JP5800616B2 - マニピュレータシステム - Google Patents

Description

本発明は、マニピュレータシステムに関する。

従来、手術支援システムとして、操作者が操作を行うマスタマニピュレータと、マスタマニピュレータの動作に基づいて処置を行うスレーブマニピュレータとを備えるマニピュレータシステムが知られている。

たとえば特許文献１には、マスタマニピュレータ（マスタアーム）及びスレーブマニピュレータと、スレーブマニピュレータに設けられた立体視スコープと、立体視スコープによって取得された像を表示するヘッドマウントディスプレイ（ＨＭＤ）と、スレーブマニピュレータの動作を制御する制御回路とを備えるマニピュレータ制御システムが開示されている。
特許文献１に記載のマニピュレータ制御システムは、ＨＭＤを装着して操作を行う操作者の視線をセンサにより検出し、所定の範囲内を操作者が注視していないときにスレーブマニピュレータの動作を禁止する。このマニピュレータ制御システムによれば、操作者が処置対象物を見ていないときにマスタマニピュレータを操作してしまっても、スレーブマニピュレータが動作しない。

特開平７−１２４１６５号公報

しかしながら、特許文献１に記載のマニピュレータ制御システムでは、視線を検出した結果に基づいてスレーブマニピュレータの動作を制御しているので、視線の検出処理を精度よく且つ高速に行なうための処理が重い。また、人の目の形状には個人差があり、瞬きにより視線を検出できないタイミングもあるので、操作者が処置対象物を見ていないことを確実に判断するのが難しい場合がある。さらに、操作者ごとにキャリブレーションをする必要があるので処置を始めるまでに手間がかかる。

本発明は、上述した事情に鑑みてなされたものであって、その目的は、処理が軽く誤検出が少ないマニピュレータシステムを提供することである。

上記課題を解決するために、この発明は以下の手段を提案している。
本発明のマニピュレータシステムは、操作者による操作に基づいた所定の指令を発するマスタマニピュレータと、前記所定の指令に従って動作するスレーブマニピュレータと、被写体の画像を取得する画像取得部と、前記操作者の前方に設置され前記画像取得部によって取得された画像を表示する表示装置と、前記表示装置に対する前記操作者の顔の向きを検出する検出手段と、前記検出手段における検出結果に基づいて前記顔の向きが前記表示装置に対して所定角度の内にあるか否かを判定し、当該判定の結果に基づいて、前記スレーブマニピュレータの動作モードを、所定の第一制御モードと、前記第一制御モードよりも動作が制限された第二制御モードとの間で相互に移行させる制御部と、を備え、前記検出手段は、前記操作者の顔と一体に移動するように前記操作者に装着可能な指標部と、前記表示装置に対して位置決めされ所定範囲内で前記指標部を検出する検出部と、を備え、前記制御部は、前記検出部における所定範囲内に前記指標部が検出されない場合には常に前記スレーブマニピュレータを前記第二制御モードで動作させ、且つ、前記所定範囲内に前記指標部が検出されない状態から前記所定範囲内に前記指標部が検出される状態へと変化した場合には前記第二制御モードから前記第一制御モードへ移行するための操作者による許可の入力待ちとなり、前記許可の入力がされた場合には前記第二制御モードから前記第一制御モードへ移行し、前記第一制御モードから前記第二制御モードへ移行したときから前記マスタマニピュレータの動作量が所定動作量以内にあるうちに前記顔の向きが前記表示装置に対して前記所定角度内となった場合には、前記許可の入力なしに前記第二制御モードから前記第一制御モードへ移行することを特徴とするマニピュレータシステムである。

また、前記第二制御モードは、前記スレーブマニピュレータが静止し続けるモードであることが好ましい。

また、前記検出手段は、前記表示装置が設置された状態における水平方向への前記操作者の顔の向きの変化を検出し、前記制御部は、前記検出手段において前記水平方向へ前記所定角度以上前記顔の向きが変化したときに前記第二制御モードへ移行することが好ましい。

また、前記制御部は、前記顔の向きが前記表示装置に対して前記所定角度の外にあると判定したときに、前記顔の向きが前記表示装置に対して前記所定角度内になるように前記顔若しくは前記表示装置を移動させることを前記操作者に促すメッセージを、前記操作者に認識できる手段により発してもよい。
また、前記制御部は、前記顔の向きが前記表示装置に対して前記所定角度の外にあると判定したときに、前記顔の向きを前記表示装置に対して前記所定角度内とするための前記顔若しくは前記表示装置の移動方向を示すメッセージを、前記操作者に認識できる手段により発してもよい。
これらの場合、前記制御部は、前記メッセージを前記表示装置に表示してもよい。

また、前記表示装置には、前記表示装置を移動可能に支持する移動機構が設けられ、前記制御部は、前記顔の向きが前記表示装置に対して前記所定角度の外にあると判定したときに、前記顔の向きが前記表示装置に対して前記所定角度内となるように前記移動機構により前記表示装置を移動させてもよい。

また、前記第二制御モードは、前記第一制御モードよりもスレーブマニピュレータの動作速度を減じて動作させるモードであってもよい。

また、前記表示装置は、両眼の視差に基づいた２画像を同一の表示面上に表示し、前記検出手段の一部は、前記操作者に装着可能で前記２画像に基づいて立体画像を構成するための３Ｄメガネに設けられていることが好ましい。

また、前記検出手段は、前記表示装置に対する前記３Ｄメガネの距離および向きを検出し、前記制御部は、前記距離および向きのうち前記立体画像が最適に観察できる距離と向きとの範囲を示す初期位置情報を有し、前記初期位置情報に基づいて、前記検出手段により検出された前記３Ｄメガネの距離および向きが前記範囲内にある場合に前記第一制御モードへ移行することが好ましい。

また、前記制御部は、前記第一制御モードから前記第二制御モードへ移行したときから所定時間以内に前記顔の向きが前記表示装置に対して前記所定角度内となった場合には、前記許可の入力なしに前記第二制御モードから前記第一制御モードへ移行してもよい。

また、前記指標部は、所定の色彩若しくは所定の形状を有し、前記検出部は、前記指標部を含む画像を取得する撮像部を有し、前記制御部は、前記画像上に前記所定範囲を設定し、前記画像における所定の色彩若しくは所定の形状を有する部分を前記指標部として認識してもよい。

また、前記指標部は、前記指標部を装着した前記操作者における水平方向と鉛直方向との少なくともいずれかの方向に離間する複数の指標要素を有し、前記検出部は、前記複数の指標要素の位置を検出した結果に基づいて前記指標部の向きを検出してもよい。

本発明によれば、表示装置に対する操作者の顔の向きに基づいて第一制御モードと第二制御モードとを切り替えるので、処理が軽く誤検出が少ないマニピュレータシステムとすることができる。

本発明の一実施形態のマニピュレータシステムの全体図である。 同マニピュレータシステムのブロック図である。 同マニピュレータシステムにおける３Ｄメガネを示す斜視図である。 同マニピュレータシステムにおける検出手段の構成を示す模式図である。 同検出手段における光源の垂直照射角度を説明するための模式図である。 同検出手段における光源の水平照射角度を説明するための模式図である。 同マニピュレータシステムの動作を示すフローチャートである。 同実施形態の変形例の検出手段を示す模式図である。 同実施形態の他の変形例の検出手段を示す模式図である。 同実施形態のさらに他の変形例のマニピュレータシステムの一部の構成を示す斜視図である。 同実施形態のさらに他の変形例のマニピュレータシステムの一部の構成を示す斜視図である。 同実施形態のさらに他の変形例のマニピュレータシステムの動作を示すフローチャートである。 同実施形態のさらに他の変形例のマニピュレータシステムの動作を示すフローチャートである。 同実施形態のさらに他の変形例のマニピュレータシステムの一部の構成を示す模式図である。 同実施形態のさらに他の変形例のマニピュレータシステムを示すブロック図である。 同変形例のマニピュレータシステムにおけるイニシャライズの動作を説明するための説明図である。 同変形例のマニピュレータシステムにおけるイニシャライズの動作を説明するための説明図である。 同変形例のマニピュレータシステムにおけるイニシャライズの動作を説明するための説明図である。 同実施形態のさらに他の変形例のマニピュレータシステムにおける３Ｄメガネの構成を示す斜視図である。 同実施形態のさらに他の変形例のマニピュレータシステムにおける３Ｄメガネの構成を示す斜視図である。 同実施形態のさらに他の変形例のマニピュレータシステムの構成を示す模式図である。 同実施形態のさらに他の変形例のマニピュレータシステムの構成を示す模式図である。

本発明の１実施形態のマニピュレータシステム１について説明する。図１は、本実施形態のマニピュレータシステムの全体図である。図２は、マニピュレータシステムのブロック図である。図３は、マニピュレータシステムにおける３Ｄメガネを示す斜視図である。図４は、マニピュレータシステムにおける検出手段の構成を示す模式図である。
まず、マニピュレータシステム１の構成について説明する。
図１に示すように、マニピュレータシステム１は、マスタマニピュレータ２、スレーブマニピュレータ６、表示装置１０、検出手段２０、及び制御装置３０を備えて構成されている。また、本実施形態のマニピュレータシステム１は、術具１１０や検査機器等（不図示）とともに使用される手術支援システムの一部である。

マスタマニピュレータ２は、操作者Ｏｐの動きをスレーブマニピュレータ６に伝達するために設けられており、操作者Ｏｐによって動かされるマスタアーム３と、後述する動作モードの切り替え入力を行なうスイッチ５とを備える。

マスタアーム３は、スレーブマニピュレータ６及び術具１１０の可動範囲に合わせて移動可能な多軸構造を有している。さらに、マスタアーム３には、マスタアーム３の位置及び向きの変位を電気信号として発する変位センサ４が取り付けられている。変位センサ４が発した電気信号は、制御装置３０へ出力され、スレーブマニピュレータ６を動作させるための所定の指令となっている。このように、マスタマニピュレータ２は、操作者Ｏｐによる操作を受け付け、操作者Ｏｐによる操作に基づいた所定の指令を発する。

スイッチ５は、後述するマスタ制御部３１によって入力可能なタイミングが規定されたスイッチであり、マスタマニピュレータ２近傍の床面に配置されている。スイッチ５は、押されることで所定の復帰信号を制御装置３０へ出力する。

スレーブマニピュレータ６は、内視鏡装置１００及び術具１１０がそれぞれ取り付けられたスレーブアーム７と、内視鏡装置１００、術具１１０、及びスレーブアーム７をそれぞれ動作させるアクチュエータ８とを備える。内視鏡装置１００、術具１１０、及びスレーブアーム７を動作させるアクチュエータ８は、何れも制御装置３０から出力される後述する駆動信号に従って動作する。

スレーブマニピュレータ６に設けられた内視鏡装置１００は、被写体の画像を取得する画像取得部１０１を有し、表示装置１０と電気的に接続されている。画像取得部１０１によって取得される被写体は特に限定されない。たとえば、画像取得部１０１は、内視鏡装置１００を用いて処置を行う際の処置対象物を被写体として処置対象物の画像を取得することができる。本実施形態では、画像取得部１０１は、立体視可能な２画像を取得して表示装置１０へ電気信号として出力する。

スレーブマニピュレータ６に設けられた術具１１０は、画像取得部１０１の視野内で処置対象物に対して処置を行う目的で設けられている。術具１１０の種類は特に限定されず、処置の内容に応じて公知の術具を適宜採用することができる。また、術具１１０は、スレーブマニピュレータ６に取付可能な術具には限られず、スレーブマニピュレータ６と協動する術具であってもよい。

図１および図２に示すように、表示装置１０は、マスタマニピュレータ２に取り付けられており、操作者Ｏｐの前方に設置されている。表示装置１０は、内視鏡装置１００の画像取得部１０１と電気的に接続された画像処理部１１と、画像処理部１１と電気的に接続された表示パネル１２とを備える。

画像処理部１１は、画像取得部１０１から出力された画像の電気信号に基づいて公知の手段により立体視可能な画像を構成して表示パネル１２へ出力する。
表示パネル１２としては、たとえば液晶パネルや有機ＥＬパネルなどを採用することができ、両眼の視差に相当するずれを有する２画像を同一の表示面上に表示するようになっている。

表示装置１０における立体画像の表示方式としては、右目用と左目用の２画面を交互に表示する画像出力方式や、偏光をかけた右目用と左目用の２画面を同一表示面上に表示する画像出力方式等、公知の３Ｄ表示方式であればその方法を限らない。
たとえば、本実施形態では、表示装置１０は、操作者Ｏｐに装着可能で前記２画像に基づいて立体画像を構成するための３Ｄメガネ１３を備えている。

３Ｄメガネ１３は、表示パネル１２に表示される各画像の表示方式に対応して、画像取得部１０１によって取得された２画像を左右の眼にそれぞれ振り分けるための偏光板や液晶シャッターなどを有している。３Ｄメガネ１３は、表示装置１０における画像出力方式に応じて、偏光メガネ、シャッター式メガネ等から適宜選択される。

この場合、表示装置１０に表示された画像を操作者Ｏｐが見るときには、操作者Ｏｐは、３Ｄメガネ１３を装着し、３Ｄメガネ１３の偏光板や液晶シャッターを介して画像を見るようになっている。このため、マニピュレータシステム１の使用時には、３Ｄメガネ１３は、操作者Ｏｐの顔と一体に移動する。本実施形態では、検出手段２０の一部である後述の指標部２１が３Ｄメガネ１３に設けられている。

図３および図４に示すように、検出手段２０は、３Ｄメガネ１３に設けられた指標部２１と、表示パネル１２に設けられた検出部２３とを備える。

指標部２１は３Ｄメガネ１３に固定されており、所定の垂直照射角および水平照射角の範囲内で所定の波長の光を発する光源２２と、光源２２に電力を供給する電源部２２ａとを有する。本実施形態では、光源２２として発光ダイオード（ＬＥＤ）、電源部２２ａとしてリチウムポリマー電池が採用されている。

検出部２３は、光源２２から発せられた光を受光する受光部２４を有し、後述するマスタ制御部３１に電気的に接続されている。
受光部２４は、表示装置１０に対して位置決めされた受光面２５を有している。受光面２５の向きは、操作者Ｏｐが表示パネル１２の所定の基準位置Ｐ１（図５参照）を見たときの顔とディスプレイの向きの関係や、表示パネル１２に表示される画像によって好適に立体画像が構成される操作者Ｏｐと表示パネル１２の位置関係を考慮して定められている。
受光部２４は、操作者Ｏｐがマスタマニピュレータ２を操作している状態における操作者Ｏｐがいる側の範囲内で、３Ｄメガネ１３に設けられた指標部２１を検出するようになっている。

検出手段２０の構成の詳細について説明する。図５は、検出手段における光源の垂直照射角度を説明するための模式図である。図６は、検出手段における光源の水平照射角度を説明するための模式図である。
図４及び図５に示すように、指標部２１において、光源２２の光軸は、操作者Ｏｐが３Ｄメガネ１３を装着して表示パネル１２上の所定の基準位置Ｐ１を見ている状態において、光源２２からの光が受光面２５に到達するように配置されている。本実施形態では、基準位置Ｐ１は表示パネル１２の中央に設定されている。

また、光源２２の垂直照射角は、操作者Ｏｐが上記基準位置Ｐ１を見ているときの視線方向を０度として上方向をプラス、下方向をマイナスとして仰角及び俯角を表すとき、操作者Ｏｐが表示パネル１２の最上端を見上げたときの仰角の大きさと、操作者Ｏｐが表示パネル１２の最下端を見下ろしたときの俯角の大きさとを基準として定められる。本実施形態では、基準位置Ｐ１は表示パネル１２の中央であり、操作者Ｏｐが基準位置Ｐ１を見たときの操作者Ｏｐの顔と表示パネル１２の向きが垂直になるように構成しているので、上記仰角と上記俯角の大きさの絶対値は等しい。
表示パネル１２に表示される立体表示を操作者Ｏｐが見やすいように、操作者Ｏｐの顔と表示パネル１２の向きは垂直になることが好ましいが、使用する場によっては配置の制限もあるためその構成は垂直とは限らない。その場合、仰角の大きさと俯角の大きさの絶対値は操作者Ｏｐと表示パネル１２の初期配置により異なる。

たとえば、図５及び下記式１に示すように、仰角θ_Ｈは、表示パネル１２に固有の上下寸法Ｈ及び最適距離Ｌに基づいて求めることができる。なお、上下寸法Ｈとは、表示パネル１２が設置状態にあるときの上下方向の長さを表示パネル１２の表面に沿って計測した長さである。また、最適距離Ｌとは、表示パネル１２に表示される画像を人が３Ｄメガネ１３を介して見たときに当該画像が立体画像として認識される範囲内にある距離である。

光源２２の垂直照射角は、仰角θ_Ｈおよび俯角−θ_Ｈに基づいて、操作者Ｏｐが３Ｄメガネ１３を装着して上記基準位置Ｐ１を見ている状態における水平方向（光軸中心方向）を０度として、絶対値の大きさがθ_Ｈ以下となるように、仰角φ_Ｈから俯角−φ_Ｈまでの範囲に設定される。

人は、上下方向を見る際には、頭を動かさずに視線のみを動かして見ることが多いことが知られている。このため、光源２２の垂直照射角は仰角θ_Ｈおよび俯角−θ_Ｈよりも十分に狭い範囲の角度としてもよい。

また、マスタマニピュレータ２のスイッチ５としてフットスイッチが採用されている場合や、床面に他のスイッチ類が配置されている場合には、操作者Ｏｐが操作中に下方向を向くことを考慮して、垂直照射角を上方向に広く設定してもよい。つまり、この場合、操作者Ｏｐは意図せず表示パネル１２から視線を外していないので、操作者Ｏｐが表示パネル１２を見ている状態と同様に受光面に光が届くように設定を変更する。

図６に示すように、指標部２１において、光源２２の水平照射角は、垂直照射角の設定方法と同様に表示パネル１２に固有の寸法である幅寸法Ｗ及び上記最適距離Ｌに基づいて下記式２により求められた角度θ_Ｗを基準として、絶対値が角度θ_Ｗ以下となる範囲内で設定される。なお、幅寸法Ｗとは、表示パネル１２が設置状態にあるときの水平方向の長さを表示パネル１２の表面に沿って計測した長さである。

表示装置１０の表示パネル１２に操作者Ｏｐの顔が向けられているとき、すなわち操作者Ｏｐが表示パネル１２を見ているときには、指標部２１が検出部２３に検出される。逆に、操作者Ｏｐが表示パネル１２の縁より外側へ顔（視線）を向けているときには、指標部２１は検出部２３に検出されなくなる。これにより、検出手段２０は、表示装置１０が設置された状態における垂直方向及び水平方向への操作者Ｏｐの顔の向きの変化を検出することができる。

図２に示すように、制御装置３０は、マスタマニピュレータ２及びスレーブマニピュレータ６に信号線を介して電気的に接続されており、マスタ制御部３１及びスレーブ制御部３２を備える。

マスタ制御部３１は、検出手段２０における検出結果に基づいて顔の向きが表示装置１０に対して所定角度の内にあるか否かを判定し、当該判定の結果に基づいて、スレーブマニピュレータ６の動作モードを、所定の第一制御モードと、第一制御モードよりも動作が制限された第二制御モードとの間で相互に移行させる。

本実施形態では、第一制御モードは、処置対象物に対して処置を行うためにスレーブマニピュレータ６を動作させる動作モードであり、マスタマニピュレータ２のマスタアーム３の動作をスレーブマニピュレータ６に伝達する。

一方、第二制御モードは、マスタマニピュレータ２のマスタアーム３の動作によらずスレーブマニピュレータ６の動作を停止させ、スレーブマニピュレータ６を静止状態で維持するモードである。

第二制御モードは、操作者Ｏｐが意図した操作によらずにスレーブマニピュレータ６が動いてしまうのを防止する目的で実装されている。
本実施形態では、第二制御モードは、マスタマニピュレータ２から発せられた所定の指令を制御装置３０において全て無効な指令とすることにより、スイッチ５による指令以外の指令をスレーブ制御部３２へ出力しないようになっている。
また、スレーブマニピュレータ６を静止状態で維持する方法は、上記の方法に限らない。マスタマニピュレータ２からマスタ制御部３１への信号を遮断する方法や、スレーブ制御部３２からスレーブマニピュレータ６への信号を遮断する方法によっても、スレーブマニピュレータ６を静止状態で維持することができる。

また、本実施形態では、制御装置３０は表示装置１０の表示パネル１２に接続されている。具体的には、マスタ制御部３１と表示パネル１２とが接続されている。制御装置３０は、マニピュレータシステム１の動作に関する情報や警告を文字や記号により表示パネル１２に表示するようになっている。

スレーブ制御部３２は、マスタ制御部３１からの所定の指令に基づいて、スレーブアーム７、内視鏡装置１００、及び術具１１０を動作させるための駆動信号を生成してスレーブアーム７、内視鏡装置１００、及び術具１１０にそれぞれ出力する。

次に、マニピュレータシステム１の使用前のイニシャライズ、及びマニピュレータシステム１の使用時の動作について説明する。図７は、マニピュレータシステムの動作を示すフローチャートである。

図７に示すように、マニピュレータシステム１（図１参照）の起動直後は、マスタ制御部３１の動作モードは第二制御モードに設定される（ステップＳ１０１）。
ステップＳ１０１では、マスタマニピュレータ２のマスタアーム３を操作者Ｏｐが操作してもスレーブマニピュレータ６は動作しない。
これでステップＳ１０１は終了し、ステップＳ１０２へ進む。

ステップＳ１０２は、検出部２３における検出結果を参照して処理を分岐するステップである。
マニピュレータシステム１は、立体画像が適切に構成される位置関係となるように操作者Ｏｐと表示装置１０との配置を決定する目的で、マニピュレータシステム１の使用開始時に、表示装置１０に向かう操作者Ｏｐの位置を操作者Ｏｐに指示するイニシャライズを行なう。

マニピュレータシステム１の操作者Ｏｐは、表示装置１０の表示パネル１２に顔が向いている状態でたとえば椅子などに座る。また、操作者Ｏｐは、３Ｄメガネ１３を装着する。表示パネル１２に表示された画像を見て操作者Ｏｐが立体画像であると認識できるためには、表示パネル１２に対して適切な位置関係に操作者Ｏｐが位置していることが好ましい。たとえば、操作者Ｏｐが座る椅子の位置や高さなどが適切に設定されることが好ましい。

３Ｄメガネ１３に設けられた光源２２から発せられた光が検出部２３の受光面２５に到達していれば、検出部２３は指標部２１を検出することができる。逆に、光源２２から発せられた光が検出部２３の受光面２５に到達しなければ、検出部２３は指標部２１を検出することができない。本実施形態では、３Ｄメガネ１３に設けられた光源２２から発せられた光が検出部２３の受光面２５に到達している状態であれば、操作者Ｏｐは表示パネル１２上に表示される立体画像を正常に見ている状態となる。

ステップＳ１０２では、マスタ制御部３１は、検出部２３における検出結果を参照し、検出部２３によって指標部２１が検出されていない場合にはステップＳ１０３へ進む。また、検出部２３によって指標部２１が検出されている場合には、ステップＳ１０４へ進む。

ステップＳ１０３は、表示装置１０に対する操作者Ｏｐの位置又は向きを変えることを操作者Ｏｐに促すメッセージを発するステップである。
ステップＳ１０３では、マスタ制御部３１は、表示装置１０の表示パネル１２に警告を表示する。表示パネル１２に表示される警告は、たとえば、「ディスプレイ方向を向いてください」、「３Ｄメガネを装着していますか？」などである。
これでステップＳ１０３は終了し、ステップＳ１０２へ進む。

ステップＳ１０４は、第二制御モードから第一制御モードへ移行するための操作者Ｏｐによる許可を待つステップである。
ステップＳ１０４では、マスタ制御部３１は、表示パネル１２上に、「スタートするためにフットスイッチを押してください」など、スイッチ５を押すことを促すメッセージを表示する。
スイッチ５が押されるまでステップＳ１０４はループし、操作者Ｏｐによる許可の入力待ちとなる。スイッチ５が押された場合には、スイッチ５からの復帰信号がマスタ制御部３１に入力され、ステップＳ１０４は終了してステップＳ１０５へ進む。

ステップＳ１０５は第二制御モードから第一制御モードへ移行するステップである。
ステップＳ１０５では、マスタマニピュレータ２から発せられた所定の指令は、全て有効な指令とされる。
これでステップＳ１０５は終了し、ステップＳ１０６へ進む。ステップＳ１０５の後では、マスタマニピュレータ２から発せられた所定の指令はスレーブ制御部３２へ出力される。この状態で、マスタマニピュレータ２のマスタアーム３を操作者Ｏｐが操作すると、マスタマニピュレータ２から発せられた所定の指令に従ってスレーブ制御部３２は駆動信号を生成してスレーブマニピュレータ６へ出力する。スレーブマニピュレータ６は、スレーブ制御部３２から出力された駆動信号を受信し、当該駆動信号に従って動作する。

ステップＳ１０６は、スレーブマニピュレータ６を動作させることができる第一制御モード中に操作者Ｏｐの顔の向きを検出するステップである。
操作者Ｏｐの顔が、表示装置１０に対して水平方向若しくは垂直方向に大きく動いた場合には、操作者Ｏｐに装着された３Ｄメガネ１３も顔と一体に移動する。このとき、３Ｄメガネ１３に設けられた指標部２１の光源２２から発せられた光は検出部２３の受光面２５に到達しなくなる。このような動作は、たとえば操作者Ｏｐが周囲の人からの呼びかけや患者様態の急変に反応して顔を大きく動かしたりする場合に生じる。
ステップＳ１０６では、上記ステップＳ１０２と同様に、マスタ制御部３１は、検出部２３における検出結果を参照し、検出部２３によって指標部２１が検出されているか否かを判定する。
検出部２３によって指標部２１が検出されている場合にはステップＳ１０６はループし、検出部２３によって指標部２１が検出されなくなったときにステップＳ１０６は終了してステップＳ１０７へ進む。
本実施形態では、ステップＳ１０６において、操作者Ｏｐの顔の向きが、操作者Ｏｐが表示パネル１２を適切に見ている場合の角度の範囲内にあるか否が判定される。

ステップＳ１０７は、表示パネル１２上に警告を表示するステップである。
ステップＳ１０７では、マスタ制御部３１は、表示装置１０へ、たとえば、「視線が外れました」や、「ディスプレイの方を向いて処置をしてください」などのメッセージを出力する。表示装置１０の表示パネル１２上にこれらのメッセージが表示されることにより、操作者Ｏｐに、表示装置１０を正しい向きで見るように促すことができる。
また、ステップＳ１０７では、マスタ制御部３１は、「ディスプレイの向きを調整してください」というメッセージを表示装置１０に表示させてもよい。この場合には、操作者Ｏｐに、現状の操作者Ｏｐの位置において好適に立体画像が構成される位置関係となるように表示装置１０を移動させることを促すことができる。
なお、ステップＳ１０７において、表示装置１０にメッセージを表示させることに代えて、音声によりメッセージを出力してもよい。また、文字表記（視覚的情報）や音声（聴覚的情報）以外にも、操作者Ｏｐに認識できる手段によりメッセージを発する手段を有していてもよい。たとえばステップＳ１０７において、振動や圧迫などの触覚的情報によってメッセージを発するようになっていてもよい。
これでステップＳ１０７は終了し、ステップＳ１０８へ進む。

ステップＳ１０８は、第一制御モードから第二制御モードへ移行するステップである。
ステップＳ１０８では、マスタマニピュレータ２から発せられた所定の指令は、全て無効な指令とされ、スレーブ制御部３２へは出力されない。これにより、マスタマニピュレータ２のマスタアーム３を操作者Ｏｐが動かしても、スレーブマニピュレータ６は停止状態で維持される。
これでステップＳ１０８は終了し、ステップＳ１０９へ進む。

ステップＳ１０９は、スレーブマニピュレータ６が停止状態である第二制御モード中に操作者Ｏｐの顔の向きを検出するステップである。
ステップＳ１０９では、上記ステップＳ１０２と同様に、マスタ制御部３１は、検出部２３における検出結果を参照し、検出部２３によって指標部２１が検出されているか否かを判定する。検出部２３によって指標部２１が検出されていない間はステップＳ１０９はループし、検出部２３によって指標部２１が検出されたときにステップＳ１０９は終了してステップＳ１１０へ進む。

ステップＳ１１０は、第二制御モードから第一制御モードへ移行するための操作者Ｏｐによる許可を待つステップである。
ステップＳ１１０では、マスタ制御部３１は、表示パネル１２上に、「再スタートするためにフットスイッチを押してください」や「復帰しますか」など、スイッチ５を押すことを促すメッセージを表示し、操作者Ｏｐによる許可の入力待ちとなる。
スイッチ５が押された場合には、スイッチ５からの復帰信号がマスタ制御部３１へ入力されることによりステップＳ１０５へ進み、スイッチ５が押されなかった場合には、一連の処理は終了する。

なお、ステップＳ１１０の終了後に新たにステップＳ１０１ないしステップＳ１１０までの処理を行なってもよい。

このように、本実施形態のマニピュレータシステム１は、起動直後はスレーブマニピュレータ６の動作が停止状態となっており、操作者Ｏｐの顔が表示パネル１２に適切に向けられている場合にのみスレーブマニピュレータ６を動作可能としている。また、顔の向きを、３Ｄメガネ１３に設けられた光源２２からの光が受光面２５に到達したか否かによって検出するので、単純な処理で操作者Ｏｐの顔の向きを検出することができる。その結果、本実施形態のマニピュレータシステム１によれば、視線を検出する場合と比較して処理が軽く、且つ誤検出が少ない。

また、ヘッドマウントディスプレイ（ＨＭＤ）を使用して処置対象物の像を見る従来の構成では、操作者がＨＭＤを装着している間は、ＨＭＤに表示された像以外を操作者が視認することができない。たとえば、上述の特許文献１に記載のマニピュレータ制御システムを使用した場合には、処置に使用する機器の状態や、周囲のスタッフの状況などを視認するためには、ＨＭＤを外す必要があり、このときスレーブマニピュレータの動作は制御回路によって禁止されてしまう。
また、ＨＭＤを使用している場合、操作者は専らＨＭＤに投影された画像を見て処置をするので、操作者の周辺視野で知覚される情報を有効に活用しにくく、周囲の機器やスタッフの状況をとらえつつ処置をする際に不便であった。

これに対して、本実施形態のマニピュレータシステム１では、操作者Ｏｐは前方に設置された表示装置１０に表示される操作対象物に集中して操作を行いながら、同時に周囲の機器やスタッフの状況を周辺視野で容易に把握することができる。そして、スタッフの呼びかけや患者様態の急変により、操作者Ｏｐが表示装置１０から視線を大きく外す場合には、操作者Ｏｐは操作対象物から意識が逸れているので、安全のためスレーブマニピュレータ６を静止させる。つまり、操作者Ｏｐは操作対象物に集中している場合には周辺視野を確保しながら効率よく処置を行うことができ、操作対象から意識を逸らした場合は安全に処置を停止することができる。

（変形例１）
次に、上述の実施形態の変形例について説明する。図８は、本変形例の検出手段を示す模式図である。
図８に示すように、本変形例では、検出手段２０に代えて検出手段２０Ａを備えている点が異なっている。
検出手段２０Ａは、指向性の高い光を発する複数の光源２２Ａと、上述の実施形態で説明した受光部２４とを備える。
複数の光源２２Ａは、指標部２１における垂直照射角の上端と、中央と、下端とのそれぞれに光軸が向けられている。
本変形例で示した構成でも上述の実施形態と同様の効果を奏する。

また、本変形例において、発する光の波長もしくは強度が互いに異なる光源２２Ａ−１、光源２２Ａ−２、光源２２Ａ−３が複数の光源２２Ａとして設けられ、受光部２４は各光源２２Ａを波長により識別するようになっていてもよい。この場合、操作者Ｏｐの顔が表示装置１０の上下方向のどちらに動いたかを検出することができる。

また、本変形例のさらなる変形の例として、光源２２Ａに代えて、指標部２１における水平照射角の右端と、中央と、左端とのそれぞれに光軸が向けられた複数の光源が検出手段２０Ａに設けられていてもよい。

（変形例２）
次に、上述の実施形態の他の変形例について説明する。図９は、本変形例の検出手段を示す模式図である。
図９に示すように、本変形例では、検出手段２０に代えて検出手段２０Ｂを備えている点が異なっている。
検出手段２０Ｂには、受光部２４に代えて、複数の受光素子が配置された受光面２５Ｂを有する受光部２４Ｂが設けられている。
本変形例では、光源２２から発せられた光が複数の受光素子のどこに照射されたかを検出することによって、受光部２４に対して光源２２が移動した方向を検出することができる。

（変形例３）
次に、上述の実施形態のさらに他の変形例について説明する。図１０は、本変形例のマニピュレータシステムの一部の構成を示す斜視図である。
本変形例では、上述の変形例２で説明した検出手段２０Ｂを備え、マスタ制御部３１が上述の実施形態と異なる動作をする点が異なっている。
マスタ制御部３１は、上記ステップＳ１０６において操作者Ｏｐの顔の向きが表示パネル１２を見ていない向きにあると判定されたときに、上記ステップＳ１０７に代えて、判定時に受光部２４に対して光源２２が移動した方向と逆方向の矢印記号（図１０に符号Ｑ１で示す。）とともに、「ディスプレイに顔を向けてください」などのメッセージを表示パネル１２に表示させる。
本変形例では、操作者Ｏｐが顔をどちらに向ければよいかを矢印記号により容易に操作者Ｏｐに把握させることができる。

（変形例４）
次に、上述の実施形態のさらに他の変形例について説明する。図１１は、本変形例のマニピュレータシステムの一部の構成を示す斜視図である。
図１１に示すように、本変形例では、上述の変形例２で説明した検出手段２０Ｂを備え、表示パネル１２を移動可能に支持する移動機構１４が表示装置１０に設けられ、マスタ制御部３１が上述の実施形態と異なる動作をする点が異なっている。
移動機構１４は、たとえばサーボモータを備え、マスタ制御部３１による制御に従って、表示パネル１２の上下左右方向の位置及び向きを制御する。
マスタ制御部３１は、上記ステップＳ１０６において操作者Ｏｐの顔の向きが表示パネル１２を見ていない向きにあると判定されたときに、上記ステップＳ１０７に代えて、判定時に受光部２４に対して光源２２が移動した方向と同方向に移動機構１４によって表示パネル１２を移動させる。
本変形例では、操作者Ｏｐの顔が向けられた方向に追従して表示パネル１２が移動してくるので、操作者Ｏｐは、第一制御モードで作業を継続できる。

（変形例５）
次に、上述の実施形態のさらに他の変形例について説明する。
本変形例では、マスタ制御部３１の動作が上述の実施形態と異なっている。図１２は、本変形例におけるマスタ制御部３１の動作を示すフローチャートである。図１２において、上述の実施形態と同様の工程には同一の符号を付して重複する説明を省略する。

図１２に示すように、ステップＳ１０８の終了後、第二制御モードでの動作時間の計測が開始される（ステップＳ２０１）。
ステップＳ２０１では、たとえば第二制御モードに移行した時点でタイマをリセットしてカウントアップを行なってもよいし、後述する所定時間にセットされたカウントダウンタイマをスタートさせてもよい。
これでステップＳ２０１は終了し、ステップＳ２０２へ進む。

ステップＳ２０２は、スレーブマニピュレータ６が停止状態である間に操作者Ｏｐの顔の向きを検出するステップである。
ステップＳ２０２では、上記ステップＳ１０２と同様に、マスタ制御部３１は、検出部２３における検出結果を参照し、検出部２３によって指標部２１が検出されているか否かを判定する。
検出部２３によって指標部２１が検出されていない場合には、再度ステップＳ２０１へ進み、マスタ制御部３１は第二制御モードのまま維持され、ステップＳ２０１において動作時間が継続して計測される。検出部２３によって指標部２１が検出されるまで、動作時間は加算し続ける。
検出部２３によって指標部２１が検出されたときには、ステップＳ２０２は終了してステップＳ２０３へ進む。

ステップＳ２０３は、ステップＳ２０１で計測された時間に基づいて処理を分岐するステップである。
ステップＳ２０３では、計測された時間が所定時間以内である場合には、ステップＳ１０５へ進み、マスタ制御部３１は第二制御モードから第一制御モードへ移行する。
また、計測された時間が所定時間を経過していた場合には、一連の処理を終了し、継続してマニピュレータシステム１を使用する場合には、上記ステップＳ１０１からの処理が再度行われる。終了時の状態で検出部２３によって指標部２１が検出されているので、Ｓ１０４まで進み、スイッチ５による許可入力の判定が行われる。その後は同様のフローとなる。
なお、上記所定時間は、処置対象物が表示された画像から視線を外していても危険が少ない長さの時間として適宜設定される。

本変形例では、表示パネル１２から操作者Ｏｐが視線を外した時間が所定時間を越える場合には、第一制御モードへ移行させるためにはスイッチ５による許可の入力を必要とし、表示パネル１２から操作者Ｏｐが視線を外した時間が短い場合には、スイッチ５による許可の入力を必要とせずに第一制御モードへと移行できる。

（変形例６）
次に、上述の実施形態のさらに他の変形例について説明する。
本変形例では、マスタ制御部３１の動作が異なっている。図１３は、本変形例におけるマスタ制御部３１の動作を示すフローチャートである。図１３において、上述の実施形態と同様の工程には同一の符号を付して重複する説明を省略する。
図１３に示すように、本変形例では、ステップＳ１０８の終了後、マスタアーム３の変位量を計測する（ステップＳ３０１）。マスタアーム３の変位量は制御装置３０に一時記憶される。
これでステップＳ３０１は終了し、ステップＳ３０２へ進む。

ステップＳ３０２は、上記ステップＳ２０２と同様にスレーブマニピュレータ６が停止状態である間に操作者Ｏｐの顔の向きを検出するステップである。
検出部２３によって指標部２１が検出されていない場合には、再度ステップＳ３０１へ進み、マスタ制御部３１は第二制御モードのまま維持される。ステップＳ３０１において変位量が継続して計測される。検出部２３によって指標部２１が検出されるまで、変位量は加算し続ける。本変形例では変位量は、検出されたマスタアーム３の変位の絶対値を加算して求める（移動した距離）。なお、変位量は初期位置からの位置の変化量であってもよい。また位置でなく、姿勢の変化量に対して判定を行っても良い。
検出部２３によって指標部２１が検出されたときには、ステップＳ３０２は終了してステップＳ３０３へ進む。

ステップＳ３０３は、ステップＳ３０１で計測された変位量に基づいて処理を分岐するステップである。
ステップＳ３０３では、計測された変位量が閾値未満である場合にはステップＳ１０５へ進み、マスタ制御部３１は第二制御モードから第一制御モードへ移行する。このとき、スイッチ５を用いた復帰信号の入力は必要ない。
また、計測された変位量が閾値以上である場合には、一連の処理を終了する。

本変形例では、表示パネル１２から操作者Ｏｐが視線を外した後でマスタアーム３を閾値以上移動させた場合には、再びスレーブマニピュレータ６を動作可能とするためにはスイッチ５を用いた復帰信号の入力が必要となる。
また、表示パネル１２から操作者Ｏｐが視線を外したとしても、マスタアーム３の変位量が閾値未満であれば、操作者Ｏｐが表示パネル１２上に視線を戻したときに、スイッチ５を用いた復帰信号の入力を必要とせずにすぐにスレーブマニピュレータ６を動作させることができる。

（変形例７）
次に、上述の実施形態のさらに他の変形例について説明する。図１４は、本変形例のマニピュレータシステムの一部の構成を示す模式図である。
図１４に示すように、本変形例では、光源２２が検出部２３に設けられており、指標部２１には光源２２が発した光を反射する反射部２６が設けられている点が異なっている。
本変形例では、光源２２から発せられた光が反射部２６において反射して受光面２５に到達したことが検出された場合に、操作者Ｏｐの顔が表示パネル１２に適切に向けられていると判定される。
このような構成であっても、上述の実施形態と同様の効果を奏する。
また、本変形例の場合には、反射部２６は電子部品でなくてよいので、操作者Ｏｐが取り付ける３Ｄメガネに別途電源を必要としない。

（変形例８）
次に、上述の実施形態のさらに他の変形例について説明する。図１５は、本変形例のマニピュレータシステムを示すブロック図である。
図１５に示すように、本変形例では、受光部２４に代えて、撮像部２７を備える点が大きく異なっている。撮像部２７としては、ＣＣＤセンサやＣＭＯＳセンサなどを採用することができる。

本変形例では、撮像部２７は、光源２２から発せられた光を受光して、光源２２からの光によって生じる明部Ｘ１と、他の部分（暗部Ｘ２）とを含む画像を取得して制御装置３０へ出力する。

制御装置３０は、公知のエッジ検出などによって明部Ｘ１の大きさの変化を検出する画像処理部３３を有し、明部Ｘ１の大きさに基づいて、撮像部２７と指標部２１との距離を算出する。

本変形例の場合、撮像部２７と指標部２１との距離が算出できるので、表示装置１０と３Ｄメガネ１３との距離を精度よく推定することができる。これにより、表示装置１０と３Ｄメガネ１３との距離が、立体画像が好適に構成できる最適距離Ｌの近傍にあるか否かを容易に判定できる。さらに、表示装置１０と３Ｄメガネ１３と距離に応じて、「ディスプレイに近づいてください」や「ディスプレイから離れてください」などのメッセージを適宜選択して表示パネル１２に表示させて、好適に立体画像を見られる位置に操作者Ｏｐが移動するように促すこともできる。

次に、本変形例におけるマニピュレータシステム１の撮像部２７と指標部２１の位置関係のイニシャライズ方法について説明する。図１６ないし図１８は、本変形例のマニピュレータシステムにおけるイニシャライズの動作を説明するための説明図である。
本変形例において、マニピュレータシステム１のイニシャライズとは、撮像部２７による撮像領域Ｔ１内に、表示パネル１２の縁の位置に基づいて矩形状の範囲Ａを設定するものである。

まず、３Ｄメガネ１３を装着した操作者Ｏｐが、表示パネル１２の基準位置Ｐ１（本変形例の場合も基準位置Ｐ１は表示パネル１２の中央）を見る。すると、３Ｄメガネ１３に設けられた光源２２からの光は、撮像部２７の撮像領域Ｔ１内のいずれかの位置に照射される。このとき、制御装置３０は、撮像部２７の撮像領域Ｔ１を模した画像上に光源２２からの光の位置を示すマークが設けられた画像を、表示パネル１２に表示させる。操作者Ｏｐは、表示パネル１２に表示された画像を参考にして、撮像領域Ｔ１の略中央に光源２２からの光が照射されるように、表示パネル１２もしくは操作者Ｏｐ自身の位置及び向きを調整する。

その後、制御装置３０は、明部Ｘ１を中央とする矩形状の範囲Ａを撮像領域Ｔ１内に設定する。範囲Ａの形状及び大きさは、表示パネル１２の形状や大きさによって適宜決定される。さらに、範囲Ａの大きさは、明部Ｘ１の大きさが小さいほど大きく、明部Ｘ１の大きさが大きいほど小さい。これは、操作者Ｏｐが顔の向きを変える角度が同じでも、操作者Ｏｐと表示装置１０との距離が長いと撮像領域Ｔ１上での明部Ｘ１の移動距離が長くなるからである。

本変形例の場合には、明部Ｘ１が範囲Ａの外側領域に位置しているときには、操作者Ｏｐが表示パネル１２から視線を外していると判定され、明部Ｘ１が範囲Ａの内側領域に位置しているときには、操作者Ｏｐが表示パネル１２を見ていると判定される。

なお、撮像部２７の撮像領域Ｔ１内に範囲Ａが設定できる場合には、必ずしも表示パネル１２の基準位置Ｐ１が表示パネル１２の中央に設定されている必要はない。たとえば、表示パネル１２に複数の画像を表示し、注視すべき画像が表示パネル１２の中央以外に配置される場合には、注視すべき画像が配置される箇所を基準位置Ｐ１として設定してもよい。この場合にも、上述と同様にイニシャライズをすることができる。

また、撮像領域Ｔ１内に範囲Ａを設定しようとした場合にその範囲Ａが撮像領域Ｔ１からはみ出す場合には、その旨を示すメッセージを表示装置１０の表示パネル１２に表示させてもよい。これにより、操作者Ｏｐの位置若しくは表示装置１０の位置を動かすように操作者Ｏｐに促すことができる。

（変形例９）
次に、上述の実施形態のさらに他の変形例について説明する。図１９は、本変形例のマニピュレータシステムにおける３Ｄメガネの構成を示す斜視図である。
図１９に示すように、本変形例では、上述の変形例８で説明した撮像部２７を備え、指標部２１に代えて、鉛直方向に互いに離間した複数の光源２２Ｂ（第一の指標要素）と、水平方向に互いに離間した複数の光源２２Ｃ（第二の指標要素）とを備える指標部２１Ａが設けられている点が異なっている。

本変形例の場合には、複数の光源２２から発せられる光がそれぞれ撮像部２７の撮像領域Ｔ１内に照射され、それぞれの光源２２による明部Ｘ１の大きさの変化を検出することができる。これにより、検出手段２０は、複数の明部Ｘ１の大きさに基づいて算出された距離によって、撮像部２７に対する３Ｄメガネ１３の距離および向き、すなわち表示装置１０に対する３Ｄメガネ１３の距離および向きを検出することができる。

表示パネル１２に対して３Ｄメガネ１３が傾いていると、立体画像が適切に構成されなくなる場合がある。本変形例の場合には、制御装置３０には、立体画像が好適に構成される場合の表示装置１０に対する３Ｄメガネ１３の距離および向きの範囲を示す初期位置情報が記憶されている。
マスタ制御部３１は、初期位置情報として記憶されている範囲内に３Ｄメガネ１３が位置していると判定された場合には第一制御モードで動作し、初期位置情報として記憶されている範囲を逸脱していると判定された場合には第二制御モードで動作するように、動作モードを相互に移行させる。なお、本変形例の場合にも、第二制御モードから第一制御モードへ移行する際にはスイッチ５を用いた操作者Ｏｐによる許可の入力を要する。

なお、指標部２１Ａは、上記光源２２Ｂと上記光源２２Ｃとの何れか一方のみを備えていてもよい。

（変形例１０）
次に、上述の実施形態のさらに他の変形例について説明する。図２０は、本変形例のマニピュレータシステムにおける３Ｄメガネの構成を示す斜視図である。
本変形例では、指標部２１は、光源２２を有しておらず、所定の色彩若しくは所定の形状を有する標識部材２８を有している。また、検出部２３は、上述の変形例８と同様の撮像部２７を備え、標識部材２８を含む画像を取得するようになっている。

また、マスタ制御部３１は、撮像部２７によって撮像された画像上に、上記変形例８と同様に範囲Ａを設定し、撮像部２７によって撮像された画像における所定の色彩若しくは所定の形状を有する部分を画像処理により指標部２１として認識する。

本変形例でも、上記変形例８と同様に、標識部材２８の位置が範囲Ａの内側から外へ移動したときにはマスタ制御部３１の動作モードが第一制御モードから第二制御モードへ移行し、標識部材２８の位置が範囲Ａの内側に戻ったときには、スイッチ５を用いた操作者Ｏｐによる許可の入力を経て第二制御モードから第一制御モードへと移行する。
本変形例の場合には、標識部材２８が電子部品ではないので、低コストで製造することができる。

なお、裸眼立体視が可能なディスプレイを使用する場合には、３Ｄメガネ１３に代えて、頭部装着部材に指標部材２８を取り付けてもよい。また、手術に用いる帽子やマスクに標識部材２８を取り付けてもよい。この場合の標識部材２８は、たとえば刺繍やステッカーなどであってよい。

（変形例１１）
次に、上述の実施形態のさらに他の変形例について説明する。図２１は、本変形例のマニピュレータシステムの構成を示す模式図である。
本変形例のマニピュレータシステムは、操作者Ｏｐがスレーブアーム７に手動術具４０を取り付けて処置を行うマスタスレーブシステムである。手動術具４０とは、腹腔鏡手術用の鉗子やステープラ、エネルギー処置具などである。スレーブアーム７には、操作者Ｏｐの力を計測できる力計測器４１が取り付けられており、操作者Ｏｐの手の移動方向に応じてスレーブアーム７が動くように制御される。

本変形例の構成の場合、第二制御モードでは、操作者Ｏｐの入力に対してスレーブマニピュレータ６が静止するように制御する。つまり、操作者Ｏｐが表示装置１０を見ていない場合、操作者Ｏｐが手動術具３０を動かそうとしてもスレーブアーム７が静止し動かないように制御される。マスタの入力方式と構成が異なるだけで、基本的には上記第１実施形態（図１参照）にて説明したマスタスレーブシステムと同じ方法で実現でき、同じ発明の効果が得られる。
（変形例１２）

次に、上述の実施形態のさらに他の変形例について説明する。図２２は、本変形例のマニピュレータシステムの構成を示す模式図である。
本変形例の構成では、操作者Ｏｐは、位置センサ５０によって位置・姿勢情報が取得されるマスタグリップ４５を用いて処置を行う。本変形例では位置センサ５０は２眼式の撮像センサである。マスタグリップ４５には、位置センサ５０によって検出される指標４６が取り付けられている。位置センサ５０が指標４６を検出することにより、マスタグリップ４５の位置・姿勢情報が取得される。

本変形例の構成の場合、操作者Ｏｐは、上記第１実施形態で説明したマスタアーム３に代えて、マスタグリップ４５を操作してスレーブアーム７等への操作入力をする。位置センサ５０は、マスタグリップ４５の位置・姿勢を取得する。
なお、上記変形例８と同様に、操作者の頭部に他の指標を設け、位置センサ５０（撮像部）によって指標の位置を検出してもよい。本変形例では、上述の変形例８で説明したのと同様の検出手順を適用することができる。

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

たとえば、上述の実施形態において説明した表示装置１０は、立体画像ではなく二次元画像が表示される表示装置１０であってもよい。この場合、３Ｄメガネ１３を用いる必要はない。
また、上述の実施形態において説明した画像取得部１０１を有する内視鏡装置１００は、スレーブマニピュレータ６に設けられず、他の保持装置に保持されたり、助手等が持っていたりしても良い。つまり、画像取得部１０１はスレーブマニピュレータ６に設けられるものに限られるものではない。

また、上述の実施形態において説明した第二制御モードは、第一制御モードよりもスレーブマニピュレータ６の動作速度を減じて動作させる動作モードであってもよい。

また、上述の実施形態において説明した第二制御モードは、内視鏡装置１００、術具１１０、及びスレーブアーム７の位置のみが固定され、内視鏡装置１００、術具１１０、及びスレーブアーム７の先端の向きはマスタアーム３の動きに従う動作モードであってもよい。

また、上述の実施形態では、第一制御モードと第二制御モードとはマスタ制御部３１の動作モードである例を示したが、第一制御モードと第二制御モードはスレーブ制御部３２の動作モードであってもよい。すなわち、スレーブ制御部３２に検出手段２０が接続されており、検出手段２０によって検出された結果に基づいて、スレーブ制御部３２から出力される駆動信号の有無や内容を変えるようになっていてもよい。

また、マスタ制御部３１とスレーブ制御部３２とは一体であってもよい。

また、マニピュレータシステム１が第二制御モードにある場合に、表示パネル１２上に、処置対象物の画像に代えて各種の医療情報が表示されるようになっていてもよい。各種の医療情報とは、患者の識別情報や、術前や術中に行なわれた検査の結果などの情報を含む。

また、上述の実施形態で説明した制御装置３０は汎用コンピュータであってもよく、この場合、マスタ制御部３１及びスレーブ制御部３２は、汎用プロセッサを用いて動作するプログラムであってもよい。

また、上述の実施形態及び各変形例において示した構成要素は適宜に組み合わせて構成することが可能である。

１ マニピュレータシステム
２ マスタマニピュレータ
３ マスタアーム
４ 変位センサ
５ スイッチ
６ スレーブマニピュレータ
７ スレーブアーム
８ アクチュエータ
１０ 表示装置
１１ 画像処理部
１２ パネル
１３ ３Ｄメガネ
１４ 移動機構
２０、２０Ａ、２０Ｂ 検出手段
２１、２１Ａ 指標部
２２ 光源
２２Ａ、２２Ｂ、２２Ｃ 光源
２２ａ 電源部
２３ 検出部
２４、２４Ｂ 受光部
２５、２５Ｂ 受光面
２６ 反射部
２７ 撮像部
２８ 標識部材
３０ 制御装置
３１ 制御部
３２ 制御部
３３ 画像処理部
１００ 内視鏡装置
１０１ 画像取得部
１１０ 術具

Claims (13)

1. 操作者による操作に基づいた所定の指令を発するマスタマニピュレータと、
   前記所定の指令に従って動作するスレーブマニピュレータと、
   被写体の画像を取得する画像取得部と、
   前記操作者の前方に設置され前記画像取得部によって取得された画像を表示する表示装置と、
   前記表示装置に対する前記操作者の顔の向きを検出する検出手段と、
   前記検出手段における検出結果に基づいて前記顔の向きが前記表示装置に対して所定角度の内にあるか否かを判定し、当該判定の結果に基づいて、前記スレーブマニピュレータの動作モードを、所定の第一制御モードと、前記第一制御モードよりも動作が制限された第二制御モードとの間で相互に移行させる制御部と、
   を備え、
   前記検出手段は、
   前記操作者の顔と一体に移動するように前記操作者に装着可能な指標部と、
   前記表示装置に対して位置決めされ所定範囲内で前記指標部を検出する検出部と、
   を備え、
   前記制御部は、
   前記検出部における所定範囲内に前記指標部が検出されない場合には常に前記スレーブマニピュレータを前記第二制御モードで動作させ、且つ、前記所定範囲内に前記指標部が検出されない状態から前記所定範囲内に前記指標部が検出される状態へと変化した場合には前記第二制御モードから前記第一制御モードへ移行するための操作者による許可の入力待ちとなり、前記許可の入力がされた場合には前記第二制御モードから前記第一制御モードへ移行し、
   前記第一制御モードから前記第二制御モードへ移行したときから前記マスタマニピュレータの動作量が所定動作量以内にあるうちに前記顔の向きが前記表示装置に対して前記所定角度内となった場合には、前記許可の入力なしに前記第二制御モードから前記第一制御モードへ移行する
   ことを特徴とするマニピュレータシステム。
2. 請求項１に記載のマニピュレータシステムであって、
   前記第二制御モードは、前記スレーブマニピュレータが静止し続けるモードであることを特徴とするマニピュレータシステム。
3. 請求項１に記載のマニピュレータシステムであって、
   前記検出手段は、前記表示装置が設置された状態における水平方向への前記操作者の顔の向きの変化を検出し、
   前記制御部は、前記検出手段において前記水平方向へ前記所定角度以上前記顔の向きが変化したときに前記第二制御モードへ移行することを特徴とするマニピュレータシステム。
4. 請求項１に記載のマニピュレータシステムであって、
   前記制御部は、前記顔の向きが前記表示装置に対して前記所定角度の外にあると判定したときに、前記顔の向きが前記表示装置に対して前記所定角度内になるように前記顔若しくは前記表示装置を移動させることを前記操作者に促すメッセージを、前記操作者に認識できる手段により発することを特徴とするマニピュレータシステム。
5. 請求項１に記載のマニピュレータシステムであって、
   前記制御部は、前記顔の向きが前記表示装置に対して前記所定角度の外にあると判定したときに、前記顔の向きを前記表示装置に対して前記所定角度内とするための前記顔若しくは前記表示装置の移動方向を示すメッセージを、前記操作者に認識できる手段により発することを特徴とするマニピュレータシステム。
6. 請求項４または５に記載のマニピュレータシステムであって、
   前記制御部は、前記メッセージを前記表示装置に表示することを特徴とするマニピュレータシステム。
7. 請求項１に記載のマニピュレータシステムであって、
   前記表示装置には、前記表示装置を移動可能に支持する移動機構が設けられ、
   前記制御部は、前記顔の向きが前記表示装置に対して前記所定角度の外にあると判定したときに、前記顔の向きが前記表示装置に対して前記所定角度内となるように前記移動機構により前記表示装置を移動させることを特徴とするマニピュレータシステム。
8. 請求項１に記載のマニピュレータシステムであって、
   前記第二制御モードは、前記第一制御モードよりも前記スレーブマニピュレータの動作速度を減じて動作させるモードであることを特徴とするマニピュレータシステム。
9. 請求項１に記載のマニピュレータシステムであって、
   前記表示装置は、両眼の視差に基づいた２画像を同一の表示面上に表示し、
   前記検出手段の一部は、前記操作者に装着可能で前記２画像に基づいて立体画像を構成するための３Ｄメガネに設けられていることを特徴とするマニピュレータシステム。
10. 請求項９に記載のマニピュレータシステムであって、
    前記検出手段は、前記表示装置に対する前記３Ｄメガネの距離および向きを検出し、
    前記制御部は、
    前記距離および向きのうち前記立体画像が最適に観察できる距離と向きとの範囲を示す初期位置情報を有し、
    前記初期位置情報に基づいて、前記検出手段により検出された前記３Ｄメガネの距離および向きが前記範囲内にある場合に前記第一制御モードへ移行することを特徴とするマニピュレータシステム。
11. 請求項１に記載のマニピュレータシステムであって、
    前記制御部は、
    前記第一制御モードから前記第二制御モードへ移行したときから所定時間以内に前記顔の向きが前記表示装置に対して前記所定角度内となった場合には、前記許可の入力なしに前記第二制御モードから前記第一制御モードへ移行することを特徴とするマニピュレータシステム。
12. 請求項１に記載のマニピュレータシステムであって、
    前記指標部は、所定の色彩若しくは所定の形状を有し、
    前記検出部は、前記指標部を含む画像を取得する撮像部を有し、
    前記制御部は、前記画像上に前記所定範囲を設定し、前記画像における所定の色彩若しくは所定の形状を有する部分を前記指標部として認識することを特徴とするマニピュレータシステム。
13. 請求項１に記載のマニピュレータシステムであって、
    前記指標部は、前記指標部を装着した前記操作者における水平方向と鉛直方向との少なくともいずれかの方向に離間する複数の指標要素を有し、
    前記検出部は、前記複数の指標要素の位置を検出した結果に基づいて前記指標部の向きを検出することを特徴とするマニピュレータシステム。

Images