JP4736040B2 - 人体内部情報投影システム - Google Patents

Description

この発明は人体内部情報投影システムに関し、特にたとえば、臓器、筋肉、骨、関節、血管等の人体の内部情報を投影する、人体内部情報投影システムに関する。

たとえば非特許文献１には、再帰性反射材を塗布または貼付したデバイスに、胸部骨格画像を投影する技術が記載されている。この技術では、再帰性反射光を観察するので、観察者の視点と光学的に共役な位置にプロジェクタが配置されて、当該位置からハーフミラーを介してスクリーンに対して投影が行われる。

また、拡張現実感(Augmented Reality)システムにおいて現実世界と仮想世界の位置合わせのために画像処理によって基準となるマーカの位置姿勢を計測する手段として、加藤らによって開発されたＡＲＴｏｏｌＫｉｔと呼ばれるソフトフェアライブラリが知られている（非特許文献２参照）。この技術では、ＨＭＤ(Head Mounted Display)に取り付けられたカラーカメラで撮影された画像に基づいて、マーカに対する当該カメラの位置姿勢がリアルタイムに計測される。そして、たとえば３次元仮想キャラクタがカード（マーカ）上に出現する画像がＨＭＤに表示される。
稲見、川上、柳田、前田、舘、「現実感融合の研究（第１報）−シームレスな現実感融合手法の提案と試験的実装−」、日本バーチャルリアリティ学会第３回大会論文集、２８１−２８４、１９９８ ＡＲＴｏｏｌＫｉｔ，http://www.hitl.washington.edu/artoolkit/

非特許文献１の技術では、再帰性反射材をスクリーンとしており、たとえば患者の手やシャツなどには映像を投影することができなかった。また、観察者はスクリーンからの再帰性反射光を観察可能な位置に存在しなければならなかった。しかし、患者は再帰性反射スクリーンを手に持って身体の前に構えるので、患者自身が投影画像を見ることは困難であった。このように、医療従事者と患者とが投影された情報を共有することが困難であったので、両者間で円滑なコミュニケーションが成立し得なかった。また、患者の動きを検出することができなかったので、スクリーンを手にした患者はその場に静止している必要があった。このように、患者の動きや移動に対応することができなかった。たとえば、リハビリテーションのような運動を伴う場面では、スクリーンを患者に所持させるのが困難であるばかりでなく、患者に画像を投影することが困難であった。

また、非特許文献２の技術では、マーカを追跡してその位置および姿勢を検出することが可能であるが、カラーのビデオカメラを使用している。したがって、プロジェクタを使用して仮想オブジェクトを現実世界に投影することを想定した場合、マーカと投影画像が重なるので、マーカの検出が困難になってしまう。なお、キャリブレーション誤差を低減するにはマーカは投影領域に配置されるのが望ましい。このように、マーカの位置および姿勢を追跡することができなくなるので、プロジェクタに基づく拡張現実感システムには適用することが不可能であり、つまり、マーカの位置および姿勢に対応した仮想オブジェクトを実世界に投影することは困難であった。なお、実世界に仮想オブジェクトを重畳した画像をＨＭＤもしくは携帯型ディスプレイなどに表示したとしても、医療従事者と患者との円滑なコミュニケーションは望むべくもないし、リハビリテーションのような運動を伴う状況では患者に更なる負担を強いることとなる。したがって、ＨＭＤの装着やディスプレイ所持等は現実的ではない。また、カラーのビデオカメラによってマーカを検出するようにしているので、患者の身体や顔などのプライバシに関わる情報がカラー映像として撮影されてしまう。したがって、非特許文献２の技術を医療に使用する場合には、患者のプライバシを保護することができないという重大な問題があった。

それゆえに、この発明の主たる目的は、患者と医療従事者間の円滑なコミュニケーションを実現できる、人体内部情報投影システムを提供することである。

この発明の他の目的は、患者の動きに追随して体内情報を患者の体表に投影することができ、しかも患者のプライバシを保護することができる、人体内部情報投影システムを提供することである。

請求項１の発明は、人体内部情報を人に投影するためのシステムであって、人の所定位置に装着されるサーマルマーカ、人およびサーマルマーカを含む遠赤外線画像を取得するためのサーマルカメラ、人体内部情報を記憶する記憶手段、サーマルカメラによって取得された遠赤外線画像に基づいてサーマルマーカの位置を検出する第１検出手段、第１検出手段によって検出されたサーマルマーカの位置に基づいて人体内部情報を投影する位置を算定する位置算定手段、および位置算定手段によって算定された位置に基づいて人体内部情報を人の体表上に投影する投影手段を備える、人体内部情報投影システムである。

請求項１の発明では、たとえば臓器、骨格、筋肉または血管といった人体内部情報をたとえば患者のような人に投影するためのシステムである。人体内部情報は、たとえば当該器官の３ＤＣＧモデルであり、記憶手段に予め記憶されている。人にはサーマルマーカが所定の位置に装着される。第１検出手段は、このような遠赤外線画像に基づいてサーマルマーカの位置を検出する。位置算定手段は、検出されたサーマルマーカの位置に基づいて人体内部情報を投影する位置を算定する。そして、投影手段によって、人体内部情報は、人の体表上であり、かつ、当該人体内部情報が存在する位置に対応する位置に投影される。

このようにして、請求項１の発明によれば、サーマルカメラによって撮影された遠赤外線画像に基づいてサーマルマーカの位置を検出するようにしたので、当該サーマルマーカの装着された人の位置を追跡することができる。そして、当該サーマルマーカの検出位置に基づいて決められた位置に人体内部情報が投影される。患者体表上に人体内部情報が投影されても、サーマルカメラで遠赤外線画像を撮影するようにしているので、サーマルマーカすなわち患者を検出することができる。したがって、患者の動きに追随して当該患者の体表上に人体内部情報を投影することができる。このように、医療従事者と患者との間で人体内部情報を共有することができるので、両者の間の円滑なコミュニケーションを実現することができる。また、患者の熱という不可視情報を利用するサーマルマーカとサーマルカメラによって患者の位置を検出するようにしたので、患者に負担をかけることがないし、患者のプライバシを保護することができる。

請求項２の発明は、人体内部情報を人に投影するためのシステムであって、遠赤外線を遮断する素材から形成され、人の所定位置に装着されるサーマルマーカ、人およびサーマルマーカを含む遠赤外線画像を取得するためのサーマルカメラ、人体内部情報を記憶する記憶手段、サーマルカメラによって取得された遠赤外線画像に基づいてサーマルマーカの位置を検出する第１検出手段、第１検出手段によって検出されたサーマルマーカの位置に基づいて人体内部情報を投影する位置を算定する位置算定手段、および位置算定手段によって算定された位置に基づいて人体内部情報を人の体表上に投影する投影手段を備える、人体内部情報投影システムである。
請求項２の発明では、サーマルマーカが遠赤外線を遮断する材料で形成されているので、人の体表上に人体内部情報を投影した状態でも、そのサーマルマーカを確実に検出することができる。
請求項３の発明は、請求項１または２の発明に従属し、サーマルマーカには人の識別情報に対応付けられたパターンが形成され、第１検出手段はサーマルマーカのパターンをさらに検出し、投影手段は、第１検出手段によって検出されたパターンに対応する人体内部情報を投影する、人体内部情報投影システムである。

請求項３の発明では、サーマルマーカには装着される人の識別情報に対応付けられたパターンが形成される。第１検出手段はサーマルマーカのパターンをさらに検出し、したがって、検出パターンによって当該サーマルマーカを装着している人を特定できる。投影手段は、検出パターンに対応する人体内部情報を投影する。つまり、サーマルマーカを装着している人に対応する人体内部情報、たとえば当該患者自身の人体内部情報や当該患者の患部に対応する人体内部情報を投影できる。

請求項４の発明は、人体内部情報を人に投影するためのシステムであって、人の識別情報に対応付けられたパターンを有するように形成され、人の所定位置に装着されるサーマルマーカ、人およびサーマルマーカを含む遠赤外線画像を取得するためのサーマルカメラ、人体内部情報を記憶する記憶手段、サーマルカメラによって取得された遠赤外線画像に基づいてサーマルマーカの位置およびパターンを検出する第１検出手段、第１検出手段によって検出されたサーマルマーカの位置に基づいて人体内部情報を投影する投影位置を算定する位置算定手段、および位置算定手段によって算定された位置に基づいて第１検出手段によって検出されたパターンに対応する人体内部情報を人の体表上に投影する投影手段を備える、人体内部情報投影システムである。
請求項４の発明でも、請求項２の発明と同様の効果が期待できる。

請求項５の発明は、請求項１ないし４のいずれかの発明に従属し、第１検出手段はサーマルマーカの姿勢をさらに検出し、第１検出手段によって検出されたサーマルマーカの位置および姿勢に基づいて人体内部情報の姿勢を変形する姿勢変形手段をさらに備える。投影手段は、人体内部情報を姿勢変形手段によって変形された姿勢で投影する。
請求項５の発明では、第１検出手段は、遠赤外線画像に基づいてサーマルマーカの姿勢をさらに検出する。姿勢変形手段は、検出されたサーマルマーカの位置および姿勢に基づいて人体内部情報の姿勢を変形する。サーマルマーカは患者の所定位置に装着されるので、サーマルマーカの位置および姿勢を検出することによって当該患者の位置および姿勢を把握することができる。したがって、当該患者の姿勢に合わせて変形された姿勢の体内情報を患者の体表に投影することができる。
請求項６の発明は、人体内部情報を人に投影するための方法であって、(a)サーマルマーカを人の所定位置に装着するステップ、(b) サーマルカメラによって人およびサーマルマーカを含む遠赤外線画像を取得するステップ、(c) 遠赤外線画像に基づいてサーマルマーカの位置を検出するステップ、(d) サーマルマーカの位置に基づいて人体内部情報を投影する投影位置を算定するステップ、および(e) 投影位置に基づいて人体内部情報を人の体表上に投影するステップを含む、人体内部情報投影方法である。
請求項６の発明でも、請求項１の発明と同様の効果が期待できる。

この発明によれば、サーマルマーカの位置を検出し当該検出位置に基づいて人体内部情報の投影位置を算出するので、サーマルマーカの装着された患者の動きに追随して、人体内部情報を当該患者の体表上に投影することができる。したがって、患者に人体内部を分かり易く提示することができるとともに、患者と医療スタッフとが人体内部情報を共有することができる。このように、視覚的な支援によって患者と医療スタッフ間で円滑なコミュニケーションが可能になり、たとえば効果的にリハビリテーションを行うことが可能になる。しかも、サーマルマーカを装着した患者をサーマルカメラで撮影するようにしているので、たとえばカラーカメラで患者の顔や身体のようなプライバシに関わる情報を撮影する事態を回避でき、患者のプライバシを守ることができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例の人体内部情報投影システム（以下単に「システム」とも言う。）１０は、人体内部情報を人の体表に投影するためのものであり、たとえば問診やリハビリテーションなどの医療コンサルテーションにおいて適用され得る。システム１０はコンピュータ１２、サーマルカメラ１４およびプロジェクタ１６を含む。投影対象である人すなわち患者にはサーマルマーカ１８が取り付けられる。

コンピュータ１２は、ＣＰＵ、ＲＡＭ、ＨＤＤ、入力装置、表示装置等を備える。ＨＤＤには、このシステム１０の全体的な動作を制御するためのプログラムおよび必要なデータが記憶される。ＣＰＵはプログラムをＲＡＭにロードして当該プログラムに従ってＲＡＭに一時的なデータを生成しまたは取得しつつ処理を実行する。また、コンピュータ１２はビデオキャプチャカードおよびグラフィックボードをさらに備えており、ビデオキャプチャカードにサーマルカメラ１４が接続され、グラフィックボードにプロジェクタ１６が接続される。

サーマルカメラ１４は、遠赤外線（熱線）を検出または観測するイメージセンサである。サーマルカメラ１４は、人すなわち患者を撮影可能なように、診察やリハビリテーションなどの医療が行われる部屋の所定の位置に所定の方向へ向けて設置される。人体の温度は環境温度よりも高いので、体温を源に放射されている遠赤外線は環境から区別して検出可能である。このサーマルカメラ１４によって取得される遠赤外線画像に基づいて、サーマルマーカ１８の装着された患者の身体の動きを獲得する。たとえば、サーマルカメラ１４は撮影した赤外線の映像信号をコンピュータ１２に出力し、コンピュータ１２のビデオキャプチャカードは当該映像信号を所定のフレームレートでディジタルデータに変換し、ＣＰＵは当該赤外線画像データをＲＡＭに取得する。

サーマルカメラ１４は可視光波長に敏感ではないので、その撮影画像で個人の顔を認識することは不可能であり、また患者の皮膚自体を撮影することも不可能である。したがって、患者のプライバシが保護される。なお、医学分野ではサーモグラフィが既に広く使用されており、サーマルカメラ１４を医療現場に設置することに抵抗はないと考えられる。

プロジェクタ１６は、画像を患者の体表へ投影する。プロジェクタ１６は、患者の体表に投影可能なように、医療が行われる部屋の所定の位置に所定の方向へ向けて設置される。たとえばＬＣＤプロジェクタが使用されてよい。画像を投影する際には、ＣＰＵは、たとえば、グラフィックボードを用いて３ＤＣＧオブジェクトデータに基づいて当該３ＤＣＧオブジェクトが所望の姿勢で所望の位置に配置される２次元画像を表示するための画像データを生成し、当該画像データをプロジェクタ１６に与えて、当該画像をプロジェクタ１６から投影させる。

サーマルマーカ１８は、サーマルカメラ１４で撮影される赤外線画像に基づいて被写体である患者を検出するための目印であり、たとえば、患者の体表に貼り付けられる。患者の体温を源とする熱線を利用して、当該サーマルマーカ１８の装着箇所に熱線の強度分布を形成することによって、目印として機能する。患者はたとえば綿のＴシャツなど遠赤外線を透過する素材の服を着ることが可能である。つまり、体内情報の投影される患者の体表は、皮膚だけでなく、衣類を含む。患者が衣類を着用する場合、衣類は白色など投影される体内情報の視認性に悪影響を及ぼさない色であることが必要とされる。サーマルマーカ１８の裏面には人間の皮膚または服に貼り付けることができるように粘着物質が設けられる。サーマルマーカ１８は所定の形状およびサイズ（たとえば３０ｍｍ×３０ｍｍの正方形）を有し、身体の所定の位置（たとえば胸骨）に貼り付けられる。視認性を考慮して、複数のサーマルマーカ１８が体表に分散配置されてよい。リハビリテーションの場面では、患者の姿勢や身体動作を精度よく検出することができるように、複数のサーマルマーカ１８が身体の複数の適宜な位置に装着される。サーマルマーカ１８のサイズ、形状および装着部位等は、実験によって、患者の動作をより精度良く検出可能であるように、適切に決定される。

サーマルマーカ１８には、熱線に対する透過性、遮断性または熱線放射性などの物理的特性の分布すなわちパターンが、各特性を有する素材または素材の有無によって形成されている。たとえば、サーマルマーカ１８では、遠赤外線を放射する素材、遠赤外線を遮断する素材、および遠赤外線を透過する素材のうちのいずれかを組み合わせることによってパターンが形成されてよい。あるいは、遠赤外線を遮断する素材から所定のパターンを切り抜くことによってサーマルマーカ１８が形成されてよい。なお、サーマルマーカ１８は、上記各素材を組み合わせることによって患者の着用する衣類に埋め込まれてもよい。

形成されるパターンは、英字、数字、記号、図形など、認識可能であればどのような形状であってもよい。ただし、サーマルマーカ１８の姿勢（方向）を検出可能なパターンでなければならない。図２に示すように、パターンは、逆三角形（Ａ）、２つの異なる矩形を組み合わせた形状（Ｂ）、郵便記号に似た形状（Ｃ）等であってよい。この実施例では、ウレタンフォームで覆われたアルミ箔が使用され、切り抜くことによってパターンが形成される。つまり、切り抜かれた部分では熱線が透過し、素材の部分では熱線が遮断される。

サーマルマーカ１８の取り付けられた箇所では、体温を源とする熱線が、パターンの形状に対応して透過され、遮断され、または放射されたりすることによって、温度差が形成される。したがって、サーマルカメラ１４で撮影された赤外線画像中におけるサーマルマーカ１８の存在箇所では、当該サーマルマーカ１８のパターンに対応する遠赤外線の強度分布が生じる。たとえば、図２（Ａ）のサーマルマーカ１８が使用される場合には、赤外線画像では、図３に示すように、中央の逆三角形の部分は熱線透過によって白く表示され、周囲の部分は熱線遮断によって黒く表示される。したがって、サーマルマーカ１８を通して患者の熱線を観測することによって、当該サーマルマーカ１８のパターンを検出することができる。

サーマルマーカ１８のパターンは、この実施例では、装着される患者ごとに異なるパターンである。つまり、サーマルマーカ１８のパターンは、患者の識別情報に対応付けられる。したがって、この実施例では、サーマルマーカ１８の識別情報すなわちパターンを検出することで、患者を特定することができる。

なお、サーマルマーカ１８やそれを用いた個人識別などの技術の一例が、本件出願人が２００４年７月１３日に出願した特願２００４−２０５８０９号に記載されるので参照されたい。

また、サーマルカメラ１４で撮影した赤外線画像からパターンを抽出して、当該サーマルマーカ１８の位置および方向（姿勢）を検出することができる。このサーマルマーカ１８のパターンの抽出および位置姿勢検出のために、背景技術の欄で記載したＡＲＴｏｏｌＫｉｔ（http://www.hitl.washington.edu/artoolkit/）を使用することができる。

ＡＲＴｏｏｌＫｉｔは、現実世界と仮想世界の位置合わせのために画像処理によってマーカの位置姿勢を計測するソフトフェアライブラリである。ＡＲＴｏｏｌＫｉｔは、入力画像から２次元マーカの位置（３次元座標）、および姿勢ないし方向（パン、チルト、ロール）を検出するための機能を提供する。また、当該マーカの識別情報すなわちパターンを自動的に抽出することもできる。

コンピュータ１２のＨＤＤなどの記憶装置には、このＡＲＴｏｏｌＫｉｔの機能を含むプログラムが記憶されている。コンピュータ１２は、ＡＲＴｏｏｌＫｉｔの機能を使用して、サーマルカメラ１４の取得した赤外線画像に基づいて、サーマルマーカ１８のパターンとともにその位置および姿勢を検出する。

サーマルマーカ１８は上述のように患者の身体の所定位置に装着されるので、検出されたサーマルマーカ１８の位置および姿勢に基づいて、患者の位置および姿勢を推定することができる。たとえば、コンピュータ１２のＨＤＤまたはＲＡＭなどの記憶装置には、たとえば自然体または所定の姿勢のときのサーマルマーカ１８の装着位置や方向などを示す初期データが記憶されている。したがって、コンピュータ１２は、サーマルマーカ１８の検出された位置および方向と、記憶された初期位置および方向とに基づいて、患者の位置および姿勢などの身体動作をリアルタイムで検出することができる。なお、実験等によって、標準的な初期データを取得して、予めコンピュータ１２の記憶装置に記憶しておいてよい。あるいは、当該患者自身にサーマルマーカ１８を装着して、自然体または所定の姿勢にさせることによって、初期データを予めまたは診察およびリハビリテーションの前に取得するようにしてもよい。

このように、人体の熱という不可視情報を情報源として用いるので、患者の見た目には何ら変化を生じさせず、不必要に管理情報を第３者に知られることがない。したがって、サーマルマーカ１８およびサーマルカメラ１４の使用によって、患者に新たな負荷を加えることなく、かつ、そのプライバシ情報を侵害することなく、患者の身体の位置および姿勢を検出することができる。

サーマルマーカ１８の検出位置に患者が存在するので、コンピュータ１２は、プロジェクタ１６を用いて当該患者の体表上に映像を重畳することができる。プロジェクタ１６によって投影される画像は、人体内部情報であり、具体的には、骨格、筋肉、血管、内臓など、皮膚以外の身体の器官ないし構成部分である。

コンピュータ１２は、図１に示すように、体内情報データベース（ＤＢ）２０および患者情報ＤＢ２２を内部または外部に備える。体内情報ＤＢ２０には、患者に投影される人体内部情報（体内情報）が登録されている。人体内部情報は３次元ＣＧモデルであり、当該患者自身を撮影することによって得られたものであってもよいし、標準モデルであってもよい。

具体的には、体内情報ＤＢ２０には、図４に示すように、複数の３次元ＣＧオブジェクトデータが体内情報ＩＤに対応付けて記憶されている。３次元オブジェクトデータのファイルフォーマットは、たとえばＶＲＭＬ(Virtual Reality Modeling Language)２．０であってよい。たとえば、肺の見本、心臓の見本、消化器系の見本、胴体骨格の見本などの標準モデルとともに、ＡＡさんの股関節のように患者個人の３ＤＣＧモデルが記憶される。患者個人の３ＤＣＧモデルが登録されていない場合等には、標準モデルが投影される。患者個人の３次元ＣＧオブジェクトデータは、当該患者の医療用画像（Ｘ線ＣＴ、ＭＲＩ、超音波など）から作成した３次元モデルデータである。標準モデルは、ＣＧソフトウェアで人の手によって作成されたものであってもよいし、不特定の人の医療用画像から作成されたものであってもよい。また、標準モデルとしては、体格（外見上の大きさや性別など）ごとに異なるデータを準備してもよい。

患者情報ＤＢ２２には、図５に示すように、患者に関する情報が記憶されている。たとえば電子カルテが記憶されてよい。具体的には、患者ＩＤに対応付けられて、マーカＩＤ、患者自身の体内情報、患部情報、体格情報等に関する情報が記憶されている。マーカＩＤは、当該患者に装着されたサーマルマーカ１８の識別情報である。たとえば、サーマルマーカ１８に形成されたパターンのＩＤが記憶されてよい。

患者自身の体内情報には、当該患者自身の３ＤＣＧモデルが体内情報ＤＢ２０に登録されている場合には当該体内情報のＩＤが記憶され、患者自身の３ＤＣＧモデルが体内情報ＤＢ２０に登録されていない場合にはたとえば無しを示すデータが記憶される。図４および図５の例では、体内情報ＤＢ２０に「ＡＡさんの股関節」が記憶されているので、患者ＤＢ２２におけるＡＡさんの患者自身の体内情報としては、当該体内情報ＩＤである「１００００５」が記憶されている。

患部情報には、当該患者の患部を示す情報が記憶されている。たとえば、患者自身の体内情報が登録されていない場合には、この患部情報に対応する標準モデルの体内情報が投影されてよい。また、当該患者の体格に合わせた標準モデルが選択されてよい。

体格情報は、当該患者の体格を示す情報が記憶される。たとえば、大人男性、大人女性、子供男性および子供女性のような外見上の大きさと性別で区別した情報が記憶される。あるいは、体格情報は、身長、体重および性別等で区別した情報であってもよい。この実施例では、この体格情報に基づいて各３ＤＣＧモデルの投影位置が調整される。各体内情報すなわち各器官の配置は人の体格に応じて異なるためである。患者の体格を考慮して体内情報を投影する位置を算定することによって、より正確な位置に体内情報を投影することができる。

体内情報の投影位置は、検出されたサーマルマーカ１８の位置を基準として算定される。たとえば、コンピュータ１２の記憶装置には、サーマルマーカ１８の装着位置を基準とした各体内情報の位置を示す体内情報配置データが記憶されていて、当該体内情報配置データと検出されたサーマルマーカ１８の位置に基づいて、各体内情報の投影位置が決められる。したがって、各体内情報は、患者の体表上において、当該体内情報の存在する位置に対応する位置で投影される。なお、この実施例のように体格を考慮する場合、体格ごとの体内情報配置データが記憶され、患者の体格情報に対応する体内情報配置データが使用されてよい。

また、投影される体内情報すなわち３ＤＣＧモデルの姿勢は、患者の姿勢に応じて変形される。患者の姿勢は、上述のように、検出されたサーマルマーカ１８の位置および姿勢に基づいて推定可能である。したがって、投影される３ＤＣＧモデルの姿勢を患者の姿勢に合わせて変化させることができる。

なお、ＡＲＴｏｏｌＫｉｔの通常の使用では、撮影装置（たとえばカラーカメラ）による撮影処理と表示装置（たとえばＬＣＤモニタ）による表示処理とでは、同一の座標系を共有するので、キャリブレーションの必要がない。しかし、このシステム１０で、サーマルカメラ１４とプロジェクタ１６とを単に配置しただけでは、両者の座標系は同一ではないので、患者の体表の指定した場所に正確に仮想世界を投影することができない。そのため、サーマルカメラ１４およびプロジェクタ１６の座標系を共通の座標系に統一するキャリブレーションが必要である。発明者らは、事前処理としてサーマルカメラ１４とプロジェクタ１６の位置合わせの実験を行い、投影位置を補正するための情報を予め準備し、当該投影位置補正情報をコンピュータ１２のＨＤＤなどの記憶装置に記憶している。体内情報の投影前には、当該投影位置補正情報に基づいて当該体内情報の投影位置が補正される。

このようにして、サーマルマーカ１８の検出によって獲得した患者の位置および姿勢を用いて、たとえばリハビリテーション中の患者と体内情報との間に幾何学的および時間的整合性が保たれるように、実時間で体内情報を変形することができ、当該変形した体内情報を動いている領域である患者の体表に重畳することができる。

たとえば、図６に示すように、患者Ｐが投影範囲内で比較的長い距離を移動した場合であっても、当該患者Ｐの動きに追随して体内情報Ｑの投影位置を変化させることによって、当該体内情報Ｑを当該患者Ｐの体表において当該体内情報Ｑの存在位置に対応する位置に投影することができる。また、図７に示すように、リハビリテーションのような患者Ｐの動きを伴う医療場面でも、当該患者Ｐの動きに合わせて、リアルタイムに体内情報Ｑ（図７では股関節を含む下肢の骨格）の位置および姿勢を変化させて当該患者Ｐの体表に投影することができる。したがって、体内情報Ｑを、患者Ｐと医者や看護師等の医療従事者Ｍとの間で共有することができる。

なお、顔や背中など患者の視点から直接見ることができない部位に投影される体内情報については、鏡を利用することによって患者に無理なく観察させることができる。

さらに、患者Ｐの体表上にプロジェクタ１６によって体内情報Ｑが投影されても、サーマルカメラ１４で遠赤外放射を観測することによってサーマルマーカ１８を検出できるので、サーマルマーカ１８を見失うようなことなく常に追跡することができ、常に患者Ｐの位置および姿勢を把握できる。しかも、取得される患者の画像は不可視であり、患者に装着されるサーマルマーカ１８は衣類内に隠したり埋め込んだりすることが可能であり、また、そのパターンは外見上は個人情報を特定不可能であるので、患者のプライバシを保護することができる。

したがって、現場での経験に委ねられていた患者の精神面でのケアや医療スタッフと患者とのコミュニケーション等の作業を視覚的に支援できる。患者の体表に投影された体内情報を患者と医療スタッフとが共有することができるので、患者と医療スタッフとの間で円滑なコミュニケーションが可能になり、たとえば効果的なリハビリテーションを行うことが可能になる。具体的には、患者が自分の体表上に投影された体内情報によって自分の目でリハビリテーションの効果を確かめながら治療を受けることができるので、患者の積極的な取り組みを導き出すことができる。また、患者が自身の体内の様子を確認しながらリハビリテーションを進めることができるので、無理なリハビリテーションによる事故を回避することもできる。たとえば、股関節など人工関節置換手術後のリハビリテーションにおいて、患者が自身の関節の可動範囲を思い違ったまま無理に動かしてしまうことによって脱臼事故を引き起こしていたような事態を防止することが可能になる。

図８には、コンピュータ１２のＣＰＵによる投影処理の動作の一例が示される。この投影処理は一定時間ごと、たとえば１フレームまたは所定数フレームごとに、繰り返し実行される。投影処理が開始されると、まず、ステップＳ１で、サーマルカメラ１４で撮影された遠赤外線画像が取得される。上述のように、コンピュータ１２はサーマルカメラ１４で撮影された映像から所定のサンプリングレートで画像データを取得する。

次に、ステップＳ３で、画像処理が実行される。具体的には、サーマルマーカ１８を認識するための前処理が実行される。上述のＡＲＴｏｏｌＫｉｔでは、可視光画像が入力情報に想定されており、赤外線は可視光よりも非常に弱い。そのため、サーマルマーカ１８の部分と体表の部分とのコントラスト比を増大させるために、取得した赤外線画像に前処理を施す。

続いて、ステップＳ５で、ＡＲＴｏｏｌＫｉｔの機能を用いてサーマルマーカ１８の認識が行われる。たとえば、前処理された画像からパターン認識によってサーマルマーカ１８が抽出される。サーマルマーカ１８のマーカＩＤに対応付けられたパターン、大きさおよび外形等の情報を含むマーカに関するデータは予め記憶装置に記憶されている。そして、サーマルマーカ１８のパターンを特定するとともに、当該サーマルマーカ１８の位置および方向（姿勢）を検出する。

そして、ステップＳ７で、体内情報読出処理が実行される。これによって、必要に応じて体内情報が読み出される。体内情報読出処理の動作の一例は図９に示される。

図９の最初のステップＳ３１では、認識されたサーマルマーカ１８のパターンから当該マーカＩＤを特定して患者情報ＤＢ２２を検索し、当該サーマルマーカ１８に対応する患者ＩＤを特定する。

次に、ステップＳ３３で、当該患者ＩＤが初めて認識されたか否かを判断する。つまり、当該患者には未だ体内情報が投影されていないか否かを判定している。ステップＳ３３で“ＹＥＳ”であれば、ステップＳ３５で、当該患者ＩＤに対応する体内情報ＩＤが特定される。たとえば、患者情報ＤＢ２２において患者自身の体内情報として体内情報ＩＤが登録されている場合には、当該患者自身の体内情報ＩＤが患者情報ＤＢ２２からＲＡＭに読み出される。一方、患者自身の体内情報が登録されていない場合には、患者情報ＤＢ２２から当該患者の患部情報を読み出して、当該患部に対応する体内情報ＩＤを特定する。なお、患部情報としては当該患部に対応する体内情報ＩＤが記憶されていてもよい。また、患者に複数の体内情報または患部情報が登録されている場合には、当該複数の体内情報ＩＤの全てを投影情報として特定してもよいし、あるいは、当該複数の体内情報ＩＤのうち入力装置の入力に応じて選択された１つまたは幾つかを投影情報として特定するようにしてもよい。ステップＳ３５を終了すると処理はステップＳ４１へ進む。

一方、ステップＳ３３で“ＮＯ”であれば、つまり、既に何らかの体内情報が患者に投影されている場合には、ステップＳ３７で、表示すべき体内情報の選択があったか否かを入力装置からの入力データに基づいて判断する。たとえば、コンピュータ１２の表示装置には、投影する体内情報を選択可能な入力画面が表示されており、医療スタッフは入力装置の操作によって投影する体内情報を選択可能になっているので、体内情報がリストから選択されて決定ボタンがクリックされたか否かが判定される。

ステップＳ３７で“ＹＥＳ”であれば、つまり、体内情報の選択が行われた場合には、ステップＳ３９で、選択された体内情報に対応する体内情報ＩＤを特定する。ステップＳ３９を終了すると処理はステップＳ４１へ進む。

また、ステップＳ３７で“ＮＯ”であれば、つまり、既に体内情報が患者に重畳されており、かつ、体内情報の選択が行われなかったときには、そのままこの体内情報読出処理を終了する。したがって、現在の体内情報の投影が継続される。

ステップＳ４１では、特定された体内情報ＩＤに基づいて体内情報ＤＢ２０が検索されて、該当する３ＤＣＧオブジェクトデータがＲＡＭに読み出される。ステップＳ４１を終了するとこの体内情報読出処理を終了して、処理は図８のステップＳ９へ戻る。このようにして、サーマルマーカ１８に対応する体内情報または医療スタッフによって選択された体内情報が必要なタイミングで読み出される。

図８のステップＳ９では、体内情報すなわち３ＤＣＧモデルの投影位置が算出される。上述のように、たとえば、検出されたサーマルマーカ１８の位置と、記憶装置に記憶されている当該サーマルマーカ１８の装着位置、当該患者の体格情報およびサーマルマーカ１８の装着位置を基準とした体内情報の配置情報とに基づいて、当該体内情報の投影位置が決められる。これによって、当該３ＤＣＧモデルは、投影面上において算出された投影位置に存在するように仮想３次元世界で対応する位置に配置される。

続いて、ステップＳ１１で、サーマルマーカ１８の位置および方向から患者の姿勢を推定する。上述のようにサーマルマーカ１８の装着情報（初期の位置および方向）が記憶されているので、検出された位置および方向に基づいて、現在の患者の姿勢を推定することができる。

そして、ステップＳ１３で、体内情報すなわち３ＤＣＧモデルの姿勢を患者の姿勢に応じて変換する。たとえば、患者の姿勢に合わせて当該３ＤＣＧモデルが仮想３次元世界でとるべき姿勢が算出される。この姿勢情報に基づいて３ＤＣＧモデルは仮想３次元世界で回転される。

さらに、ステップＳ１５で、投影位置の補正を実行する。たとえば、記憶装置に記憶されている投影位置補正情報に基づいて当該３ＤＣＧモデルの投影位置の座標を変換する。これによって、当該３ＤＣＧモデルは、投影面上で補正位置に存在するように仮想３次元世界で移動される。

そして、ステップＳ１７で、プロジェクタ１６によって、体内情報すなわち３ＤＣＧモデルを患者体表に投影する。たとえば、当該体内情報すなわち３ＤＣＧオブジェクトデータ、姿勢情報および補正された位置情報等とともに描画コマンドがグラフィックボードに与えられて、当該３ＤＣＧモデルを所望の位置および姿勢で投影するための画像データが生成される。そして、グラフィックボードから当該画像データないし画像信号がプロジェクタ１６に与えられて、プロジェクタ１６は当該画像を投影する。したがって、患者の姿勢に合わせた姿勢に変形された器官が、患者の体表上において当該器官が実際に存在する位置に対応する位置に重畳される。ステップＳ１７を終了すると処理はステップＳ１に戻る。このようにして、患者の動きを追跡することができ、患者の姿勢に合った体内情報を、当該体内情報の存在位置に対応する位置で当該患者の体表に投影することができる。

なお、上述の実施例では、サーマルマーカ１８で患者の位置および姿勢を検出するだけでなく、当該患者の個人認識も行えるようにした。しかし、他の実施例では、サーマルマーカ１８には患者の識別情報を対応付けないようにしてもよい。この場合、投影対象である患者の識別情報は、コンピュータ１２の入力装置を用いて医療従事者によって入力されるようにしてもよい。

また、上述の各実施例では、患者の位置に応じて体内情報の投影位置を変化させた画像を生成してプロジェクタ１６から投影させるようにしていた。しかし、他の実施例では、投影方向をパンおよび／またはチルト可能な変位機構を有するプロジェクタ１６によって、患者の位置に応じて投影位置を変化させて体内情報を患者体表上に投影するようにしてもよい。

また、上述の各実施例では、１つのサーマルカメラ１４を設けるようにした。しかし、他の実施例では、複数のサーマルカメラ１４のそれぞれを部屋の各所定位置に設けることによって、サーマルマーカ１８の視認性とともに患者の位置および姿勢の検出精度を向上させるようにしてもよい。

この発明の一実施例の人体内部情報投影システムの構成の一例を示す図解図である。 サーマルマーカのパターンの一例を示す図解図である。 図２（Ａ）のサーマルマーカのサーマルイメージを示す図解図である。 体内情報ＤＢに登録されるデータの一例を示す図解図である。 患者情報ＤＢに登録されるデータの一例を示す図解図である。 患者に追随して体内情報が投影されることを示す図解図である。 図１実施例がリハビリテーションに適用された場合の概要を示す図解図である。 図１実施例のコンピュータのＣＰＵの投影処理における動作の一例を示すフロー図である。 図８の体内情報読出処理の動作の一例を示すフロー図である。

符号の説明

１０ …人体内部情報投影システム
１２ …コンピュータ
１４ …サーマルカメラ
１６ …プロジェクタ
１８ …サーマルマーカ
２０ …体内情報ＤＢ
２２ …患者情報ＤＢ

Claims (6)

1. 人体内部情報を人に投影するためのシステムであって、
   前記人の所定位置に装着されるサーマルマーカ、
   前記人および前記サーマルマーカを含む遠赤外線画像を取得するためのサーマルカメラ、
   前記人体内部情報を記憶する記憶手段、
   前記サーマルカメラによって取得された前記遠赤外線画像に基づいて前記サーマルマーカの位置を検出する第１検出手段、
   前記第１検出手段によって検出された前記サーマルマーカの前記位置に基づいて前記人体内部情報を投影する位置を算定する位置算定手段、および
   前記位置算定手段によって算定された前記位置に基づいて前記人体内部情報を前記人の体表上に投影する投影手段を備える、人体内部情報投影システム。
2. 人体内部情報を人に投影するためのシステムであって、
   遠赤外線を遮断する素材から形成され、前記人の所定位置に装着されるサーマルマーカ、
   前記人および前記サーマルマーカを含む遠赤外線画像を取得するためのサーマルカメラ、
   前記人体内部情報を記憶する記憶手段、
   前記サーマルカメラによって取得された前記遠赤外線画像に基づいて前記サーマルマーカの位置を検出する第１検出手段、
   前記第１検出手段によって検出された前記サーマルマーカの前記位置に基づいて前記人体内部情報を投影する位置を算定する位置算定手段、および
   前記位置算定手段によって算定された前記位置に基づいて前記人体内部情報を前記人の体表上に投影する投影手段を備える、人体内部情報投影システム。
3. 前記サーマルマーカには前記人の識別情報に対応付けられたパターンが形成され、
   前記第１検出手段は前記サーマルマーカの前記パターンをさらに検出し、
   前記投影手段は、前記第１検出手段によって検出された前記パターンに対応する前記人体内部情報を投影する、請求項１または２記載の人体内部情報投影システム。
4. 人体内部情報を人に投影するためのシステムであって、
   前記人の識別情報に対応付けられたパターンを有するように形成され、前記人の所定位置に装着されるサーマルマーカ、
   前記人および前記サーマルマーカを含む遠赤外線画像を取得するためのサーマルカメラ、
   前記人体内部情報を記憶する記憶手段、
   前記サーマルカメラによって取得された前記遠赤外線画像に基づいて前記サーマルマーカの位置およびパターンを検出する第１検出手段、
   前記第１検出手段によって検出された前記サーマルマーカの前記位置に基づいて前記人体内部情報を投影する投影位置を算定する位置算定手段、および
   前記位置算定手段によって算定された前記位置に基づいて前記第１検出手段によって検出された前記パターンに対応する人体内部情報を前記人の体表上に投影する投影手段を備える、人体内部情報投影システム。
5. 前記第１検出手段は前記サーマルマーカの姿勢をさらに検出し、
   前記第１検出手段によって検出された前記サーマルマーカの位置および姿勢に基づいて前記人体内部情報の姿勢を変形する姿勢変形手段をさらに備え、
   前記投影手段は、前記人体内部情報を前記姿勢変形手段によって変形された姿勢で投影する、請求項１ないし４のいずれかに記載の人体内部情報投影システム。
6. 人体内部情報を人に投影するための方法であって、
   (a) サーマルマーカを前記人の所定位置に装着するステップ、
   (b) サーマルカメラによって前記人および前記サーマルマーカを含む遠赤外線画像を取得するステップ、
   (c) 前記遠赤外線画像に基づいて前記サーマルマーカの位置を検出するステップ、
   (d) 前記サーマルマーカの位置に基づいて前記人体内部情報を投影する投影位置を算定するステップ、および
   (e) 前記投影位置に基づいて人体内部情報を前記人の体表上に投影するステップを含む、人体内部情報投影方法。

Images