JP7667656B2 - 手術支援用三次元アノテーション描写システム - Google Patents

Description

本発明は、モニターに映し出される映像に手書き等によってアノテーションを描写するシステム等に関する。

現在、医療現場における手術支援ロボットを利用した手技では、手術器具を取り付けたロボットアームと内視鏡を挿入し、医師が手術コンソールと呼ばれる操作ボックスの中で、内視鏡映像を見ながらロボットアームを操作することが行われている。

医師は、ロボットアームの先端に取り付けられる鉗子等の手術器具を、患者体内の三次元空間で前後・上下・左右に移動させる必要がある。そのため、手術支援ロボットは、内視鏡によって体内を三次元映像として撮像し、操作ボックス内では、その映像を三次元モニターに表示することで、医師が体内空間を立体的に把握できるようにしている（例えば、特許文献１参照）。一般的に、医療現場における三次元モニターは偏光方式が採用されており、医師は、三次元偏光眼鏡を装着することで、立体視する。

特表２００９－５１２５１４

手技を行う医師自身や、その周囲の関係者が、その三次元映像に対して、外部入力装置によってアノテーション（患部を示す領域表示やメスを入れるライン等の注釈情報）を記入しようとしても、そのアノテーションが二次元表面（ディスプレイの表面）に表示されるため、体内の奥にある部位（血管や臓器等）を正しく指し示すことができないという問題があった。

本発明は、斯かる実情に鑑み、奥行きを加味したアノテーションを描写することが可能なシステム等を提供しようとするものである。

上記目的を達成する本発明は、計算機によって実現される三次元アノテーション描写システムであって、前記計算機は、右眼用カメラ及び左眼用カメラによって撮像される被写体の右眼用撮像信号及び左眼用撮像信号を受信するカメラ映像受信部と、前記右眼用撮像信号及び前記左眼用撮像信号に基づいて、右眼用背景映像及び左眼用背景映像を生成する背景映像生成部と、ポインタを操作するアノテーション入力装置から送信される操作信号に基づいて、前記ポインタの上下左右位置情報を生成するポインタ上下左右位置情報生成部と、前記ポインタの奥行位置情報を生成するポインタ奥行位置情報生成部と、前記操作信号に基づいて、アノテーションの記録開始情報及び記録終了情報を生成するアノテーション開始終了情報生成部と、前記記録開始情報の生成タイミングから前記記録終了情報の生成タイミングの間における前記ポインタの奥行位置情報をアノテーションの奥行位置情報として保存し、且つ、前記記録開始情報の生成タイミングから前記記録終了情報の生成タイミングの間における前記ポインタの上下左右位置情報をアノテーションの上下左右位置情報として保存するアノテーション関連情報保存部と、少なくとも前記ポインタの上下左右位置情報を参照して、右眼用ポインタ映像及び左眼用ポインタ映像を生成するポインタ映像生成部と、前記アノテーションの奥行位置情報及び前記アノテーションの上下左右位置情報を参照して、右眼用アノテーション関連映像及び左眼用アノテーション関連映像を生成するアノテーション関連映像生成部と、前記右眼用背景映像及び前記左眼用背景映像、前記右眼用ポインタ映像及び前記左眼用ポインタ映像、並びに、前記右眼用アノテーション関連映像及び前記左眼用アノテーション関連映像を合成して、右眼用最終映像及び左眼用最終映像を生成する背景アノテーション映像合成部と、を備えることを特徴とする三次元アノテーション描写システムである。

上記三次元アノテーション描写システムに関連して、前記計算機は、更に、前記右眼用最終映像及び前記左眼用最終映像を重畳させて三次元最終映像を生成する左右映像合成部を備えることを特徴とする。

上記三次元アノテーション描写システムに関連して、前記ポインタ奥行位置情報生成部は、前記アノテーション入力装置から送信される奥行移動を意味する操作信号に基づいて、前記ポインタの奥行位置情報を生成することを特徴とする。

上記三次元アノテーション描写システムに関連して、前記計算機は、前記右眼用背景映像及び前記左眼用背景映像に基づいて前記被写体の奥行位置情報を算出する被写体奥行位置情報算出部を備え、前記ポインタ奥行位置情報生成部は、前記ポインタの上下左右位置情報に対応する前記被写体の奥行位置情報に基づいて、前記ポインタの奥行位置情報を生成することを特徴とする。

上記三次元アノテーション描写システムに関連して、前記ポインタ映像生成部は、前記ポインタの奥行位置情報に基づく視差を含む前記右眼用ポインタ映像及び前記左眼用ポインタ映像を生成することを特徴とする。

本発明によれば、三次元映像に対応したアノテーションの記録及び描写を実現できるという優れた効果を奏し得る。

本発明の実施形態に係る三次元アノテーション描写システムの全体構成を示すブロック図である。 同三次元アノテーション描写システムで用いられる計算機の汎用構成を示すブロック図である。 （Ａ）は同三次元アノテーション描写システムで用いられるアノテーション入力装置の機能構成を示すブロック図であり、（Ｂ）は同機能構成をマウス型入力装置で実現する場合の正面図である。 同三次元アノテーション描写システムにおいて計算機で実現されるアノテーション処理装置の機能構成を示すブロック図である。 同三次元アノテーション描写システムにおいて計算機で実現される三次元映像生成装置の機能構成を示すブロック図である。 同三次元アノテーション描写システムにおいて被写体（術野）を示す、（Ａ）カメラの撮像軸方向から視た状態の模式図、（Ｂ）同撮像軸方向に直交且つ上方から視た状態の模式図である。 同三次元アノテーション描写システムで生成される（Ａ）右眼用背景映像及び左眼用背景映像、（Ｂ）右眼用ポインタ映像及び左眼用ポインタ映像、（Ｃ）右眼用アノテーション関連映像及び左眼用アノテーション関連映像、（Ｄ）右眼用最終映像及び左眼用最終映像を示す模式図である。 同右眼用最終映像及び左眼用最終映像から三次元最終映像を重畳生成する状態を示す図である。 同三次元アノテーション描写システムにおいて、（Ａ）利用者に認識される三次元状態の被写体をカメラの撮像軸方向から視た状態を示す模式図、（Ｂ）三次元状態の被写体を同撮像軸方向に直交且つ上方から視た状態を示す模式図である。 同三次元アノテーション描写システムにおいて、（Ａ）利用者に認識される三次元状態の被写体をカメラの撮像軸方向から視た状態を示す模式図、（Ｂ）三次元状態の被写体を同撮像軸方向に直交且つ上方から視た状態を示す模式図である。 同三次元アノテーション描写システムの変形例に係る三次元映像生成装置の機能構成を示すブロック図である。 同三次元アノテーション描写システムの変形例に係るアノテーション処理装置の機能構成を示すブロック図である。

以下、本発明の実施の形態に係る三次元アノテーション描写システムついて添付図面を参照して説明する。なお、本実施形態では、医療現場において、三次元アノテーション描写システムを手術支援ロボットと組み合わせて利用する場合を例示するが、本発明は、これに限定されず、工場等の生産ライン等と組み合わせて利用することも可能である。

（全体構成）

図１に示すように、三次元アノテーション描写システム１は、患者Ｋの体内に挿入される内視鏡５に搭載される右眼用カメラ１０Ｒ及び左眼用カメラ１０Ｌ、同体内に挿入される手術用のロボットアーム（ロボット用鉗子）２０、右眼用カメラ１０Ｒ及び左眼用カメラ１０Ｌの映像が入力される三次元映像生成装置１００、手術コンソール５０に設けられる第１三次元表示装置６０、手術コンソール５０に設けられるロボット操作装置２２、手術コンソール５０に設けられる第１アノテーション入力装置２７０、第１アノテーション入力装置２７０の操作情報が入力されるアノテーション処理装置２００、手術コンソール５０外に設けられる第２三次元表示装置８０、手術コンソール５０外に設けられる第２アノテーション入力装置２８０を備える。

なお、手術コンソール５０は、手術を行う医師Ｉによって閲覧・操作される。一方、第２三次元表示装置８０及び第２アノテーション入力装置２８０は、医師Ｉを支援する他の医師等の支援者Ｄによって閲覧・操作される。

ロボット操作装置２２は、いわゆるマスターコントロールであり、医師Ｉによって操作されることで、ロボットアーム２０及びその先端の医療器具の動作を制御する。

右眼用カメラ１０Ｒは、患者Ｋの体内を、医師Ｉの右眼の視点から撮像する。左眼用カメラ１０Ｌは、患者Ｋの体内を、医師Ｉの左眼の視点から撮像する。従って、右眼用カメラ１０Ｒによって撮像される右眼用映像と、左眼用カメラ１０Ｌによって撮像される左眼用映像を比較すると、視差が生じている。

三次元映像生成装置１００は、いわゆる計算機であり、右眼用カメラ１０Ｒ及び左眼用カメラ１０Ｌによって撮像される右眼用撮像信号及び左眼用撮像信号等を利用して、最終的な三次元映像（右眼用映像及び左眼用映像）を生成し、その三次元映像を第１三次元表示装置６０及び第２三次元表示装置８０に送信する。

第１三次元表示装置６０及び第２三次元表示装置８０は、いわゆる３Ｄモニターであり、三次元映像を映し出す。３Ｄモニターにおける三次元表示方式は様々に存在するが、例えば偏光方式の場合、互いに偏光方向（偏光回転方向）が異なる右眼用映像と左眼用映像を重畳的（これは映像自体が重なって表示させる場合と、縞状領域や格子状領域に交互配置することで重なって認識させる場合の双方を含む）に表示する。医師Ｉや支援者Ｄは、偏光眼鏡９０によって、右眼には右眼用映像のみを認識させ、左眼には左眼用映像のみを認識させる。なお、３Ｄモニターは、偏光方式以外に、ヘッドマウントディスプレイ（ＨＭＤ）のような右眼用モニターと左眼用モニターを独立して有するようにし、右眼で右眼用モニターの右目用映像を認識し、左眼で左眼用モニターの左眼用映像を認識しても良い。また、３Ｄモニターとして、プロジェクター方式を採用しても良い。

第１アノテーション入力装置２７０及び第２アノテーション入力装置２８０は、いわゆるマウス型入力装置であり、医師Ｉや支援者Ｄは、第１三次元表示装置６０及び第２三次元表示装置８０の三次元映像を視ながら、マウス型入力装置を操作して、アノテーションを映像上に描く。なお、ここではマウス入力装置を例示するが、本発明はこれに限定されず、タッチバッド型入力装置や、タッチペン型入力装置、スティック型入力装置等の各種入力装置を選定できる。

アノテーション処理装置２００は、いわゆる計算機であり、第１アノテーション入力装置２７０及び第２アノテーション入力装置２８０から送信される操作情報を受信して、アノテーション関連情報を生成・保存し、そのアノテーション関連情報を三次元映像生成装置１００に送信する。アノテーション関連情報を受信した三次元映像生成装置１００は、アノテーション用の三次元映像（右眼用アノテーション関連映像及び左眼用アノテーション関連映像）を生成する。このアノテーション用の三次元映像を、右眼用撮像信号及び左眼用撮像信号から生成される背景用三次元映像（右眼用背景映像及び左眼用背景映像）に合成することで、最終的な三次元映像が生成される。

図２に、三次元映像生成装置１００及びアノテーション処理装置２００に採用される計算機４０の汎用的な内部構成を示す。計算機４０はＣＰＵ４１と、ＲＡＭ４２と、ＲＯＭ４３と、入力装置４４と、表示装置４５と、入出力インターフェース４６と、バス４７と、記憶装置４８を備えている。なお、入力装置４４（入力キーやキーボード、マウス等）と表示装置４５（ディスプレイ）は、計算機４０自体を操作する際に用いられるものであり、省略することもできる。

ＣＰＵ４１は、いわゆる中央演算処理装置であり、各種プログラムが実行されることで、三次元映像生成装置１００やアノテーション処理装置２００の各種機能を実現する。ＲＡＭ４２は、いわゆるＲＡＭ（ランダム・アクセス・メモリ）であり、ＣＰＵ４１の作業領域として使用される。ＲＯＭ４３は、いわゆるＲＯＭ（リード・オンリー・メモリ）であり、ＣＰＵ４１で実行される基本ＯＳや各種プログラム（例えば、三次元映像生成装置１００の映像生成プログラムや、アノテーション処理装置２００のアノテーション処理プログラム）を記憶する。

記憶装置４８は、ハードディスクやＳＳＤメモリ、ＤＡＴ等であり、大量の情報を蓄積する際に用いられる。

入出力インターフェース４６は電源および制御信号が入出力される。バス４７は、ＣＰＵ４１、ＲＡＭ４２、ＲＯＭ４３、入力装置４４、表示装置４５、入出力インターフェース４６、記憶装置４８などを一体的に接続して通信を行う配線である。

ＲＯＭ４３に記憶された基本ＯＳや各種プログラムが、ＣＰＵ４１によって実行されると、計算機４０が三次元映像生成装置１００やアノテーション処理装置２００として機能することになる。

（アノテーション入力装置・アノテーション処理装置の詳細）

図３（Ａ）に、第１アノテーション入力装置２７０の機能構成を示す。なお、第２アノテーション入力装置２８０はこれと同じ構成であるので説明を省略する。

第１アノテーション入力装置２７０は、ポインタ奥行移動指示部２７２、ポインタ上下左右移動指示部２７４、アノテーション開始終了指示部２７６、アノテーション消去指示部２７８、アノテーション種別指示部２７９を有する。

図３（Ｂ）に、これらの機能をマウス型入力装置２７０Ａに反映させた場合の事例を示す。右手操作用とした場合、左クリックエリアがアノテーション開始終了指示部２７６に相当し、右クリックエリアがアノテーション消去指示部２７８に相当し、スクロールホイールがポインタ奥行移動指示部２７２に相当し、装置自体の上下左右移動検知部がポインタ上下左右移動指示部２７４に相当する。なお、スクロールホイールを前方に回転させると、ポインタを奥側に移動させることになり、手前に回転させると、ポインタを手前側に移動させることになる。アノテーション種別指示部２７９は、本実施形態では、左クリックエリアと上下左右移動検知部の組み合わせによって実現されており、例えば、第１又は第２三次元表示装置６０，８０の画面上に表示される種別リスト３４０（図８参照）の中から、記録したいアノテーション種別（文字・四角枠・丸枠・直線・曲線・自在線等）にポインタを合わせて左クリックするようになっている。

図４に、アノテーション処理装置２００の機能構成（プログラム構成）を示す。アノテーション処理装置２００は、アノテーション入力装置２７０から送信させる操作信号（右クリック信号、左クリック信号、スクロールホイール信号、上下左右移動信号）を受信して、アノテーション関連情報を生成・送信する。アノテーション処理装置２００は、ポインタ奥行位置情報生成部２０２、ポインタ上下左右位置情報生成部２０４、アノテーション開始終了情報生成部２０６、アノテーション消去情報生成部２０８、アノテーション種別情報生成部２０９、アノテーション関連情報保存部２１０、アノテーション関連情報送信部２２０を有する。

第１アノテーション入力装置２７０及びアノテーション処理装置２００の上記各機能と、患者Ｋの実際の術野の関係について図６を参照して説明する。なお、図６（Ａ）は、内視鏡５の光軸方向（ここではＺ軸方向／奥行方向と定義する）から視た患者Ｋの術野を示し、図６（Ｂ）は、光軸に対して直交且つ上下方向（ここではＹ軸方向と定義する）から視た術野を示す。なお、光軸に対して直交且つ左右方向をここではＸ軸方向と定義し、Ｘ軸－Ｙ軸によって形成される平面をＸ－Ｙ平面と定義する。

＜ポインタの移動＞

図６において、ポインタＰを、位置Ａ、位置Ｂ、位置Ｃの順に仮想的に移動させる場合を想定する。医師Ｉは、ポインタ奥行移動指示部２７２となるスクロールホイールを前方に回転させる。この信号を受信したポインタ奥行位置情報生成部２０２は、奥行方向（Ｚ軸方向）の座標Ｐａｚ、Ｐｂｚ、Ｐｃｚの順に移動する情報（ポインタ奥行位置情報）を生成する。また、医師Ｉは、ポインタ上下左右移動指示部２７４となるマウス型入力装置２７０Ａ全体を移動させる。この信号を受信したポインタ上下左右位置情報生成部２０４は、Ｘ－Ｙ平面方向の座標（Ｐａｘ，Ｐａｙ）、（Ｐｂｘ，Ｐｂｙ）、（Ｐｃｘ，Ｐｃｙ）の順に移動する情報（ポインタ上下左右位置情報）を生成する。ポインタ奥行位置情報とポインタ上下左右位置情報を合成した結果として、ポインタＰは、位置Ａ、位置Ｂ、位置Ｃの順に移動することになる。

＜アノテーション記録＞

医師Ｉが、アノテーション種別指示部２７９を操作すると、その信号を受信したアノテーション種別情報生成部２０９が、アノテーション種別信号を生成する。例えば、映像上の種別リスト３４０（図８参照）において、記録したいアノテーション種別（文字・四角枠・丸枠・直線・曲線・自在線等）の選択領域を表示させておき、ポインタを「直線」に合わせて左クリックすると、直線描写を意味するアノテーション種別信号が生成される。

医師Ｉが、アノテーション開始終了指示部２７６を操作すると、その信号を受信したアノテーション開始終了情報生成部２０６が、アノテーションの記録開始信号と、記録終了信号を生成する。例えば、マウス型入力装置２７０Ａの左クリックを押すと、記録開始信号が生成され、左クリックを開放すると記録終了信号が生成される。この結果、左クリックを押している最中は、ポインタＰに移動軌跡に沿ったアノテーションが記録されることになる。例えば、図７において、ポインタＰが位置Ａから位置Ｂに移動する最中に、記録開始信号Ｓと記録終了信号Ｅが生成されるすると、開始信号Ｓから終了信号ＥまでのポインタＰの移動軌跡と、選定済みのアノテーション種別信号を組み合わせて、第１及び第２三次元表示装置６０，８０上にアノテーションＭが表示される。

具体的に、開始信号Ｓの生成タイミングにおけるポインタ奥行位置情報及びポインタ上下左右位置情報から始まり、終了信号Ｅの生成タイミングにおけるポインタ奥行位置情報及びポインタ上下左右位置情報までの亘る一連のポインタＰの移動軌跡（奥行及び上下左右位置情報）が、アノテーション種別信号と共にアノテーション関連情報保存部２１０に保存される。

なお、本実施形態では、この開始信号Ｓから終了信号ＥまでのポインタＰの奥行及び上下左右位置情報を、アノテーション奥行位置情報及びアノテーション上下左右位置情報と定義する。また、アノテーション奥行位置情報、アノテーション上下左右位置情報、アノテーション種別情報をまとめてアノテーション関連情報と定義する。

アノテーション関連情報保存部２１０に保存されるこれらのアノテーション関連情報は、アノテーション関連情報送信部２２０によって三次元映像生成装置１００に送信される。複数回に亘ってアノテーションが記録されていくと、各々のアノテーション関連情報が、アノテーション関連情報保存部２１０にデータベースとして順次蓄積されていき、蓄積中の全てのアノテーション関連情報が、アノテーション関連情報送信部２２０からまとめて三次元映像生成装置１００に送信される。なお、アノテーションＭの映像の生成は、アノテーション関連情報を受信した三次元映像生成装置１００が実現する。

なお、アノテーション関連情報送信部２２０は、アノテーション関連情報保存部２１０に保存されるアノテーション関連情報と同時に、ポインタＰのポインタ奥行位置情報及び上下左右位置情報（以下、ポインタ関連情報）も三次元映像生成装置１００に送信される。結果、アノテーションＭとは別に、ポインタＰの映像が三次元映像生成装置１００によって生成される。

医師Ｉが、アノテーション消去指示部２７８を操作すると、その信号を受信したアノテーション消去情報生成部２０８が、過去に生成したアノテーションＭを消去するアノテーション消去信号を生成する。つまり、アノテーション関連情報保存部２１０に蓄積されるアノテーション関連情報が消去され、消去された情報について、三次元映像生成装置１００への送信が停止する。

例えば、ポインタＰが任意の位置において、医師Ｉがマウス型入力装置２７０Ａの右クリックを押すと、アノテーション関連情報に含まれる全てのアノテーションＭを消去するための消去信号が生成されるようにしても良い。一方、特定のアノテーションＭ上にポインタＰを一致させてから右クリックを押すことで、アノテーション関連情報に含まれる特定のアノテーションＭのみが消去するためのアノテーション消去信号を生成しても良い。

（三次元映像装置）

図５に、三次元映像生成装置１００の機能構成を示す。三次元映像生成装置１００は、カメラ映像受信部１０２（右眼用カメラ映像受信部１０２Ｒ，左眼用カメラ映像受信部１０２Ｌ）、背景映像生成部１０４（右眼用背景映像生成部１０４Ｒ，左眼用背景映像生成部１０４Ｌ）、ポインタ映像生成部１０６（右眼用ポインタ映像生成部１０６Ｒ，左眼用ポインタ映像生成部１０６Ｌ）、アノテーション関連映像生成部１０８（右眼用アノテーション関連映像生成部１０８Ｒ，左眼用アノテーション関連映像生成部１０８Ｌ））、背景アノテーション映像合成部１１０（右眼用背景アノテーション映像合成部１１０Ｒ，左眼用背景アノテーション映像合成部１１０Ｌ）、左右映像合成部１１２、映像出力部１１４を有する。

カメラ映像受信部１０２の右眼用カメラ映像受信部１０２Ｒは、右眼用カメラ１０Ｒによって撮像される右眼用撮像信号を受信する。同様に左眼用カメラ映像受信部１０２Ｌは、左眼用カメラ１０Ｌによって撮像される左眼用撮像信号を受信する。

図７（Ａ）に示すように、背景映像生成部１０４の右眼用背景映像生成部１０４Ｒは、右眼用撮像信号を利用して、右眼用背景映像３０４Ｒを生成する。同様に左眼用背景映像生成部１０４Ｌは、左眼用撮像信号を利用して左眼用背景映像３０４Ｌを生成する。この右眼用背景映像３０４Ｒ及び左眼用背景映像３０４Ｌは、右眼用撮像信号及び左眼用撮像信号そのものでも良いが、視認性を高めるために各種画像処理を施した静止画又は動画とすることができる。当然ながら、この右眼用背景映像３０４Ｒ及び左眼用背景映像３０４Ｌには視差が生じていることになる。本実施形態では、術野内において、Ｚ軸方向の手前側から奥側に向かって、臓器Ｕ１，臓器Ｕ２，臓器Ｕ３、血管Ｕ４、臓器Ｕ５が配置される事例を示す。

図７（Ｂ）に示すように、ポインタ映像生成部１０６の右眼用ポインタ映像生成部１０６Ｒは、アノテーション処理装置２００から受信したポインタ関連情報を参照して、右眼用ポインタ映像３０６Ｒを生成する。同様に左眼用ポインタ映像生成部１０６Ｌは、ポインタ関連情報を参照して左眼用ポインタ映像３０６Ｌを生成する。具体的には、図６（Ｂ）に示すように、位置Ａに存在するポインタＰのポインタ関連情報（Ｐａｘ，Ｐａｙ，Ｐａｚ）を受信した場合、右眼用ポインタ映像生成部１０６Ｒは、人間特有の両面視差及び輻輳角に基づいて、右眼の視軸に沿ってポインタＰを映像基準平面α（例えばＺ軸座標が０又は基準位置となる場合におけるＸ－Ｙ平面）に投影した右眼用ポインタ座標Ａｒを算出し、右眼用ポインタ映像３０６Ｒ内の右眼用ポインタ座標Ａｒに、ポインタＰの映像を挿入する。同様に、左眼用ポインタ映像生成部１０６Ｌは、人間特有の両面視差及び輻輳角に基づいて、左眼の視軸に沿ってポインタＰを映像基準平面αに投影した左眼用ポインタ座標Ａｌを算出し、左眼用ポインタ映像３０６Ｌ内の左眼用ポインタ座標Ａｌに、ポインタＰの映像を挿入する。結果、右眼用ポインタ映像３０６Ｒと左眼用ポインタ映像３０６Ｌは、視差及び輻輳角の影響が反映された三次元立体視用のポインタ映像となる。

なお、図６におけるＢ位置にポインタＰが存在する場合は、右眼用ポインタ映像３０６Ｒ内の右眼用ポインタ座標ＢｒにポインタＰの映像を挿入し、左眼用ポインタ映像３０６Ｌ内の左眼用ポインタ座標ＢｌにポインタＰの映像を挿入する。図６におけるＣ位置にポインタＰが存在する場合は、右眼用ポインタ映像３０６Ｒ内の右眼用ポインタ座標ＣｒにポインタＰの映像を挿入し、左眼用ポインタ映像３０６Ｌ内の左眼用ポインタ座標ＣｌにポインタＰの映像を挿入する。

図７（Ｃ）に示すように、アノテーション関連映像生成部１０８の右眼用アノテーション関連映像生成部１０８Ｒは、アノテーション関連情報を利用して、右眼用アノテーション関連映像３０８Ｒを生成する。同様に、左眼用アノテーション関連映像生成部１０８Ｌは、アノテーション関連情報を利用して、左眼用アノテーション関連映像３０８Ｌを生成する。

具体的には、図６（Ｂ）に示すように、アノテーションＭに相当するアノテーション関連情報を受信した場合、右眼用アノテーション関連映像生成部１０８Ｒは、人間特有の両面視差及び輻輳角に基づいて、右眼の視軸に沿ってアノテーションＭを映像基準平面αに投影した右眼用アノテーション座標Ｍｒを算出し、右眼用アノテーション関連映像３０８Ｒ内の右眼用アノテーション座標Ｍｒに、アノテーションＭの映像を挿入する。同様に、左眼用アノテーション関連映像生成部１０８Ｌは、人間特有の両面視差及び輻輳角に基づいて、左眼の視軸に沿ってアノテーションＭを映像基準平面αに投影した左眼用アノテーション座標Ｍｌを算出し、左眼用アノテーション関連映像３０８Ｌ内の左眼用アノテーション座標Ｍｌに、アノテーションＭの映像を挿入する。結果、右眼用アノテーション関連映像３０８Ｒと左眼用アノテーション関連映像３０８Ｌは、視差及び輻輳角の影響が反映された三次元立体視用のアノテーション関連映像となる。

図７（Ｄ）に示すように、背景アノテーション映像合成部１１０の右眼用背景アノテーション映像合成部１１０Ｒは、右眼用背景映像３０４Ｒ、右眼用ポインタ映像３０６Ｒ、右眼用アノテーション関連映像３０８Ｒを重ね合わせて、右眼用最終映像３１０Ｒを生成する。同様に左眼用背景アノテーション映像合成部１１０Ｌは、左眼用背景映像３０４Ｌ、左眼用ポインタ映像３０６Ｌ、左眼用アノテーション関連映像３０８Ｌを重ね合わせて、左眼用最終映像３１０Ｌを生成する。なお、この状態の右眼用最終映像３１０Ｒ及び左眼用最終映像３１０Ｌは、いわゆるサイド・バイ・サイド形式となっている。例えば、ヘッドマウントディスプレイ等の二眼方式のディスプレイの場合は、このまま映像出力部１１４から出力して、右眼用ディスプレイと左眼用ディスプレイに映し出せば良い。

図８に示すように、左右映像合成部１１２は、右眼用最終映像３１０Ｒ及び左眼用最終映像３１０Ｌを合成して単一の三次元最終映像３１２を生成する。この合成手法は様々であるが、例えば、第１三次元表示装置６０及び第２三次元表示装置８０が偏光方式モニターの場合は、右眼用最終映像３１０Ｒを櫛状領域Ｖ１，Ｖ２・・・Ｖｎに分離し、左眼用最終映像３１０Ｌを櫛状領域Ｗ１，Ｗ２・・・Ｗｎに分離し、右眼用櫛状領域Ｖ１，Ｖ２・・・Ｖｎと左眼用櫛状領域Ｗ１，Ｗ２・・・Ｗｎを交互に配置することで、単一の三次元最終映像３１２を生成できる。医師Ｉや支援者Ｄは、偏光眼鏡９０を用いて、右眼では右眼用櫛状領域Ｖ１，Ｖ２・・・Ｖｎのみを認識し、左眼では左眼用櫛状領域Ｗ１，Ｗ２・・・Ｗｎのみを認識することで、頭内で三次元立体映像が生成される。なお、三次元最終映像３１２には、別途、種別リスト３４０を付加しておくことが好ましい。

映像出力部１１４は、この三次元最終映像３１２を、第１三次元表示装置６０及び第２三次元表示装置８０に送信する。

（使用例）

次に、図９及び図１０を参照して、本三次元アノテーション描写システム１の使用方法について説明する。なお、図９（Ａ）及び図１０（Ａ）は、医師Ｉ又は支援者Ｄが、第１三次元表示装置６０及び第２三次元表示装置８０に映し出される三次元最終映像３１２によって認識される三次元空間（術野）をＺ軸方向から視た状態を模式的に示し、図９（Ｂ）及び図１０（Ｂ）は、同三次元空間をＹ軸方向から視た状態を模式的に示す。

図９では血管Ｕ４の表面に直線状のアノテーションを記録する場合を例示する。まず、医師Ｉ又は支援者Ｄは、マウス型入力装置（第１アノテーション入力装置２７０及び第２アノテーション入力装置２８０）を利用して、図９（Ａ）の種別リスト３４０からアノテーション種別（ここでは直線）を選択しておく。その後、Ｘ－Ｙ平面においてアノテーションの記録を開始したい目安位置Ｓｘｙ、つまり、血管Ｕ４にポインタＰを合わせる。その後、マウス型入力装置のスクロールホイールを前後方向に移動させることで、図９（Ｂ）の奥行方向（矢印Ｓｚ）に沿って、ポインタＰを移動させる（Ｓ１、Ｓ２、Ｓ３）。医師Ｉや支援者Ｄにとって、ポインタＰの映像は三次元空間内に立体的に認識されているので、スクロールホイールの操作と、ポインタＰが奥行方向の移動が連動する。医師Ｉ又は支援者Ｄは、ポインタＰの奥行方向の位置Ｓ２と、血管Ｕ４の奥行方向の位置が一致していることを視覚的に確認できた段階でスクロールホイールを停止する。

その後、医師Ｉ又は支援者Ｄは、再度、アノテーションの記録を開始したい正確な開始位置Ｓｘｙ（Ｓ２）にポインタＰを合わせてから、マウス型入力装置の左クリックを押し下げることでアノテーション記録開始指示を入力し、そのままマウス型入力装置を終了位置Ｅｘｙ（Ｅ２）まで移動させてから、左クリックを開放してアノテーション記録終了指示を入力する。結果、三次元空間における血管Ｕ４の表面に、直線状のアノテーションＭが記録される。このアノテーションＭは、アノテーション関連情報保存部２１０に対応するアノテーション関連情報が保続されている限り、常に表示されることになる。

図９のアノテーションＭの記録に連続して、臓器Ｕ５の表面に四角枠アノテーションＭを記録する場合について図１０を参照して例示する。まず、医師Ｉ又は支援者Ｄは、マウス型入力装置を利用して、図９（Ａ）の種別リスト３４０からアノテーション種別（ここでは四角枠）を選択しておく。その後、Ｘ－Ｙ平面においてアノテーションの記録を開始したい目安位置Ｓｘｙ、つまり、臓器Ｕ５にポインタＰを合わせる。その後、マウス型入力装置のスクロールホイールを前後方向に移動させることで、図１０（Ｂ）の奥行方向（矢印Ｓｚ）に沿って、ポインタＰを移動させる（Ｓ１、Ｓ２、Ｓ３）。医師Ｉや支援者Ｄにとって、ポインタＰの映像は三次元空間内に立体的に認識されているので、スクロールホイールの操作と、ポインタＰが奥行方向の移動が連動する。医師Ｉ又は支援者Ｄは、ポインタＰの奥行方向の位置Ｓ２と、臓器Ｕ５の奥行方向の位置が一致していることを視覚的に確認できた段階でスクロールホイールを停止する。

その後、医師Ｉ又は支援者Ｄは、再度、アノテーションの記録を開始したい正確な開始位置Ｓｘｙ（Ｓ２）にポインタＰを合わせてから、マウス型入力装置の左クリックを押し下げることでアノテーション記録開始指示を入力し、そのままマウス型入力装置を終了位置Ｅｘｙ（Ｅ２）まで移動させてから、左クリックを開放してアノテーション記録終了指示を入力する。結果、三次元空間における臓器Ｕ５の表面において、開始位置Ｓｘｙ（Ｓ２）と終了位置Ｅｘｙ（Ｅ２）を対角に有する四角枠アノテーションＭが記録される。

次に、図１１及び図１２を参照して、本実施形態の三次元アノテーション描写システム１における、三次元映像生成装置１００の変形例を紹介する。図１１に示すように、変形例となる三次元映像生成装置１００は、被写体奥行情報算出部１２０を有する。この被写体奥行情報算出部１２０は、右眼用カメラ１０Ｒ及び左眼用カメラ１０Ｌによって撮像される右眼用撮像信号及び左眼用撮像信号等を比較処理（例えばパターンマッチング）することで、視差等を計算し、被写体（臓器Ｕ１、臓器Ｕ２、臓器Ｕ３、血管Ｕ４、臓器Ｕ５）の全てＸ－Ｙ平面上のドットに対してＺ軸方向の奥行位置情報を算出する。この被写体奥行情位置報は、図１２のアノテーション処理装置２００において、ポインタ奥行位置情報を確定する際に参照される。

これにより、医師Ｉや支援者Ｄは、第１アノテーション入力装置２７０及び第２アノテーション入力装置２８０のポインタ上下左右移動指示部２７４を利用してＸ－Ｙ平面上にポインタＰを合わせるだけで、アノテーション処理装置２００は、そのＸ－Ｙ座標上のポインタＰの奥行位置情報を、上記被写体奥行位置情報から参照できることになる。つまり、ポインタＰは、常に、被写体の手前側表面をなぞるようにして、自動的に奥行位置が調整される。

更に、このポインタＰの奥行自動調整機能を有する場合は、最終映像に映し出されるポインタＰは、三次元映像化しなくても良く、二次元映像でも良い。アノテーション表示のみを三次元映像化ができる。

尚、本発明は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

１ 三次元アノテーション描写システム
５ 内視鏡
１０Ｌ 左眼用カメラ
１０Ｒ 右眼用カメラ
２０ ロボットアーム
２２ ロボット操作装置
４０ 計算機
５０ 手術コンソール
９０ 偏光眼鏡
１００ 三次元映像生成装置
１０２ カメラ映像受信部
１０４ 背景映像生成部
１０６ ポインタ映像生成部
１０８ アノテーション関連映像生成部
１１０ 背景アノテーション映像合成部
１１２ 左右映像合成部
１１４ 映像出力部
２００ アノテーション処理装置
２０２ ポインタ奥行位置情報生成部
２０４ ポインタ上下左右位置情報生成部
２０６ アノテーション開始終了情報生成部
２０８ アノテーション消去情報生成部
２０９ アノテーション種別情報生成部
２１０ アノテーション関連情報保存部
２２０ アノテーション関連情報送信部
２７０ 第１アノテーション入力装置
２７０Ａ マウス型入力装置
２７２ ポインタ奥行移動指示部
２７４ ポインタ上下左右移動指示部
２７６ アノテーション開始終了指示部
２７８ アノテーション消去指示部
２７９ アノテーション種別指示部
Ｉ 医師
Ｋ 患者
Ｍ アノテーション
Ｐ ポインタ
α 映像基準平面

Claims (5)

1. 内視鏡に搭載される右眼用カメラ及び左眼用カメラ、
   第１三次元表示装置、
   第２三次元表示装置、
   ポインタを操作するアノテーション入力装置、
   前記右眼用カメラ及び前記左眼用カメラの映像が入力される計算機、を備える手術支援用三次元アノテーション描写システムであって、
   前記計算機は、
   前記右眼用カメラ及び前記左眼用カメラによって撮像される被写体の右眼用撮像信号及び左眼用撮像信号を受信するカメラ映像受信部と、
   前記右眼用撮像信号及び前記左眼用撮像信号に基づいて、右眼用背景映像及び左眼用背景映像を生成する背景映像生成部と、
   前記アノテーション入力装置から送信される上下移動及び左右移動を意味する操作信号に基づいて、前記ポインタの上下左右位置情報を生成するポインタ上下左右位置情報生成部と、
   前記アノテーション入力装置から送信される奥行移動を意味する操作信号に基づいて、前記ポインタの奥行位置情報を生成するポインタ奥行位置情報生成部と、
   前記操作信号による前記ポインタの上下左右位置情報及び前記ポインタの奥行位置情報に基づいて、三次元空間におけるアノテーションの記録開始情報及び記録終了情報を生成するアノテーション開始終了情報生成部と、
   前記記録開始情報の生成タイミングから前記記録終了情報の生成タイミングの間における前記ポインタの奥行位置情報をアノテーションの奥行位置情報として保存し、且つ、前記記録開始情報の生成タイミングから前記記録終了情報の生成タイミングの間における前記ポインタの上下左右位置情報をアノテーションの上下左右位置情報として保存するアノテーション関連情報保存部と、
   少なくとも前記ポインタの上下左右位置情報を参照して、右眼用ポインタ映像及び左眼用ポインタ映像を生成するポインタ映像生成部と、
   前記アノテーションの奥行位置情報及び前記アノテーションの上下左右位置情報を参照して、右眼用アノテーション関連映像及び左眼用アノテーション関連映像を生成するアノテーション関連映像生成部と、
   前記右眼用背景映像及び前記左眼用背景映像、前記右眼用ポインタ映像及び前記左眼用ポインタ映像、並びに、前記右眼用アノテーション関連映像及び前記左眼用アノテーション関連映像を合成して、右眼用最終映像及び左眼用最終映像を生成する背景アノテーション映像合成部と、
   前記右眼用最終映像及び前記左眼用最終映像を、前記第１三次元表示装置及び前記第２三次元表示装置に同時に出力する映像出力部と、
   を備えることを特徴とする手術支援用三次元アノテーション描写システム。
2. 前記計算機は、更に、前記右眼用最終映像及び前記左眼用最終映像を重畳させて三次元最終映像を生成する左右映像合成部を備えることを特徴とする、
   請求項１に記載の手術支援用三次元アノテーション描写システム。
3. 前記計算機は、前記右眼用背景映像及び前記左眼用背景映像に基づいて前記被写体の奥行位置情報を算出する被写体奥行位置情報算出部を備え、
   前記ポインタ奥行位置情報生成部は、前記ポインタの上下左右位置情報に対応する前記被写体の奥行位置情報に基づいて、前記ポインタの奥行位置情報を生成することを特徴とする、
   請求項１～２のいずれか一項に記載の手術支援用三次元アノテーション描写システム。
4. 前記ポインタ映像生成部は、前記ポインタの奥行位置情報に基づく視差を含む前記右眼用ポインタ映像及び前記左眼用ポインタ映像を生成することを特徴とする、
   請求項１～３のいずれか一項に記載の手術支援用三次元アノテーション描写システム。
5. 前記アノテーション入力装置として、前記第１三次元表示装置の利用者によって操作される第１アノテーション入力装置と、前記第２三次元表示装置の利用者によって操作される第２アノテーション入力装置を備えており、
   前記計算機は、前記第１アノテーション入力装置及び前記第２アノテーション入力装置の双方から送信される操作信号を参照して、前記右眼用アノテーション関連映像及び前記左眼用アノテーション関連映像を生成することを特徴とする、
   請求項１～４のいずれか一項に記載の手術支援用三次元アノテーション描写システム。

Images