JP6284284B2 - ジェスチャ制御を用いるロボットシステム制御用の制御装置及び方法 - Google Patents

Description

本発明は、エンドエフェクタを有する手術用機器が固定された少なくとも１つのロボットアームの制御用制御装置、及びこのようなロボットシステムをジェスチャ制御を用いて制御する方法に関する。

今日ではますます、手術用ロボットの支援により最小侵襲性の方法で、人体の外科手術が行われている。手術の種類に応じて手術用ロボットは、例えば内視鏡や切開機器、把持機器、縫合機器などの種々の手術用機器を装備してもよい。手術では１つ又は複数のロボットを用いてポートを通して機器を患者の体内に挿入する。そして手術中は、例えばジェスチャ制御用の画像処理システムなどのロボットシステムの入力装置を介して、外科医が手術用機器を制御する。

外科的処置のために、例えば内視鏡、腹腔鏡手術機器、切開機器、把持機器、保持機器、結合機器、又は縫合機器、ならびにその他手術用器具などの種々の機器を使用する。手術用機器又は手術用器具の遠端部には、例えばメス、ハサミ、針、スクレーパ、ヤスリ、グリッパ、カメラなどの適切なエンドエフェクタがある。エンドエフェクタは、例えばワイヤ駆動によって、又は機器のシャフト内に組み込まれたマニピュレータを用いて操作可能である。

ジェスチャ制御用の入力装置を有するロボットシステムでは、ユーザは手術用機器およびその機器のエンドエフェクタを手動制御命令で制御できる。ロボットシステムの入力装置はこの場合カメラを含み、このカメラは所定の撮像領域内でユーザが実行するジェスチャを検知する。カメラで記録された画像データは、画像処理ユニット（ソフトウェア）により処理され、ロボットシステムの制御される構成部品に対して対応する制御命令に変換される。公知のジェスチャ制御ではロボットシステムの特定の構成部品を制御するために、例えば移動などの動的ジェスチャ、又は、例えばハンドサインなどの静的ジェスチャを、通常はユーザが設定する。制御される構成部品がユーザに対して通常はスクリーンに表示され、ユーザの操作設定に対するロボットシステムの応答をユーザが監視できる。

米国特許第６ ４２４ ８８５ Ｂ１号明細書から、手術用機器を制御する複数の手動入力装置を有する、最小侵襲性手術用ロボットシステムが公知である。制御に関して、入力装置の向きが、手術用機器のエンドエフェクタの向きと一致するようにすべきであるという問題が生じる。この問題に対して米国特許第６、４２４、８８５ Ａ号明細書では「マッピング」と呼ばれる方法を使用している。図１に示したように入力装置１は、基体２にジョイント固定された２つの部品４、５を有し、この部品は片手の指を用いて押し合わせること、又は広げることができる。部品４、５の手動操作では、右側に図示した制御されるエンドエフェクタ６の作動要素９、１０が対応して動く。入力装置１の位置は点Ｐ_１により特定される。入力装置１の向きは、点Ｐ_１と、２つの部品４及び５の間の基体２とを通って延びる長軸３により特定される。これと同様にエンドエフェクタ６の向きは、作動要素９と１０との間に延びる軸８によって確定される。上記「マッピング」法を用いて、両方の軸３及び８が同一方向に延びるように、入力装置１の向きとエンドエフェクタの向きとを一致させることができる。

しかし、米国特許第６ ４２４ ８８５ Ｂ１号明細書に記載の「マッピング」法は、入力装置１の向きをエンドエフェクタの向きに調整することのみに適している。しかしこの方法は、手の向き、位置及び／又は開き幅を、それぞれエンドエフェクタの向き、位置、開き幅に調整することには適さない。

このことから本発明の課題は、ジェスチャ制御に対する装置を有するロボットシステムを実現することであり、本ロボットシステムによりユーザは自身の手の状態を、制御される対象の状態に対して、容易かつ迅速に適合させることができる。

この課題は本発明により独立クレームに記載の特徴によって解決される。本発明の更なる実施形態は従属クレームによって達成される。

本発明では、ジェスチャ制御に対する撮像システムを含むロボットシステムを制御する制御装置が提示され、この撮像システムは少なくとも片手の制御入力を記録して判定し、ロボットシステムの１つ又は複数の構成部品に対して対応する制御命令に変換する。本発明による制御装置は制御ユニットを含み、その制御ユニットは、手術用機器のエンドエフェクタの向き及び／又は位置及び／又は開き幅を第一の値として検知し、手の向き及び／又は位置及び／又は開き幅を第二の値として検知し、１つ又は複数の第一の値がそれぞれ対応する第二の値から偏差した場合にエンドエフェクタのジェスチャ制御を停止し、少なくとも１つの第二の値がそれぞれ対応する第一の値と、又は第一の値に応じた設定値と一致する場合にエンドエフェクタのジェスチャ制御を許可する。そのため本発明では、手の向き、位置又は開き幅をまずはじめに、制御する機器の、又はその機器のエンドエフェクタの向き、位置及び／又は開き幅に適合させること、すなわち調整の実施が必要となる。そのような調整後、次いで手術用機器又はそのエンドエフェクタを手動制御できる。

ジェスチャ制御の起動は自動的に行うことができる。追加条件が満たされた場合、例えばユーザがジェスチャ制御を何度も確認するような場合にも、ジェスチャ制御を起動することができる。この場合、手とエンドエフェクタとの間の調整及び追加確認がユーザによって実行されたなときに、初めてジェスチャ制御が可能となるであろう。

本発明の好適な実施形態では、ジェスチャ制御のための装置は、ジェスチャ制御を起動するために、少なくとも２つの状態、すなわち、 制御する手の向き、位置及び開き幅を、エンドエフェクタの対応する状態と一致させる必要があるように構成される。

ユーザが調整を行うように促すために、本発明による制御装置は好適には、手の少なくとも１つの状態が対応するエンドエフェクタの状態から偏差した場合に信号がユーザに発せられるように設計される。この信号は、例えば光学信号、音声信号、又は触覚信号であってよい。この信号によりユーザに、手の向き及び／又は位置及び／又は開き幅を、エンドエフェクタの対応する状態に適合させるように促す。

少なくとも１つの状態が一致する場合に好適には、達成された調整をユーザに表示する信号がユーザに発信される。したがってユーザに、例えば光学信号を用いて達成された調整を示すことができる。

手とエンドエフェクタとの間の調整を容易にするために、例えばそのエンドエフェクタの向き及び／又は位置及び／又は開き幅がそれぞれ手の向き、位置、開き幅に対応している仮想要素を、スクリーン上で重ね合わせることができる。この仮想要素は、例えば制御されるエンドエフェクタの複製でありうる。ハサミの場合は例えば手術用ハサミの画像が表示され、又はメスの場合はメスの画像が表示される。

更に、制御されるエンドエフェクタの向き及び／又は位置及び／又は開き幅を表示し、手とエンドエフェクタとの間の調整に関する目標設定値としてユーザに利用される、追加の基準要素を表示することも可能である。したがってユーザは容易かつ感覚的に、手の向き及び／又は位置及び／又は開き幅を、基準要素の目標設定値に適合させることができる。このときユーザは調整プロセスをスクリーンで目で追うことができる。

手の向き、位置又は開き幅を特定するために原理的には複数の可能な方法がある。本発明の実施形態では、例えば手の上又は関連する腕上に撮像システムにより特定点を認識し、その点を手の位置の基準点として確定することで、手の位置を検知できる。本撮像システムは、例えば手の関節点、指先の点、又は指の中間関節の点を基準点として検知できる。この点の位置は、制御ユニットにより好適には撮像システムの座標系で検知される。

手の向きは、例えばベクトルにより確定され、そのベクトルの方向を撮像システムの座標系で検知できる。このベクトルは、例えば手の関節と人差し指先との間の直線上に、又は手の関節と親指先との間の直線上に位置しうる。更にこのベクトルは、例えば親指と人差し指との間で手の関節の方向に延びる直線上に位置することもありえよう。原理的に、その場合に手の向きに対する基準として確定される任意のベクトルが検知できる。配向ベクトルの識別又は関連する直線の識別は、好適には自動的に撮像システムにより達成される。手の向きは、好適には撮像システムの座標系で特定される。

手の開き幅は、例えば２つのベクトルを確定し、ベクトル間の角度を撮像システムの座標系で特定することで検知できる。第一のベクトルは、例えば親指の方向にある手の関節での点で提示でき、第二のベクトルは、人差し指先の方向にある手の関節での点で提示できる。ベクトル又は関連する直線は、撮像システムにより検知できる。

本発明によるロボットシステム用の制御装置は更に、ユーザの手の動作の伝達に使用される手動操作補助要素を含んでもよい。本発明の好適な実施形態では補助要素は、制御される手術用機器のエンドエフェクタと同様に、高い動作自由度を有する。対向配置された２つのグリッパジョーが軸周りに重なり合うように閉じる、又は遠ざかるように離れるという動作ができるグリッパの場合、補助要素は好適には厳密には１つの自由度を有する。更に補助要素は多少の自由度を有することができる。

補助要素の形状は、好適には制御されるエンドエフェクタの形状に対応する。手術用ハサミ又はグリッパの場合に補助要素は、例えばジョイントを介して互いに結合され、それにより開閉動作が可能な２つの脚部を備えていてもよい。

本発明の実施形態により、例えば補助要素の向き、位置及び／又は開き幅は、撮像システムにより検出できる。そのようにして得られた情報を続いて、手の向き、位置及び／又は開き幅に対する基準値として使用してもよい。手動操作補助要素は明確に規定された要素を備えているため、補助要素の向き、位置及び／又は開き幅と、それによって手の向き、位置及び／又は開き幅とをも、容易かつ正確に特定できる。したがって本方法は、手の上の点の検知に有利である。補助要素上には、識別を更に容易にするために、必要に応じてマーキングを設けてよい。

本発明により、手の向き、位置及び開き幅の特定に必要となるように、制御によって手の上又は補助要素上にある多数の点を確定できる。ジェスチャ制御のために補助要素を使用すれば、補助要素上の点も確定できる。例えば、指先上又は補助要素の構成部品上の別の点を特定できる。

その場合この点もベクトルの確定に使用できる。例えばベクトルは、２つの点を必ず通るように規定してもよい。あるいは、ベクトルが存在すべき仮想平面を形成するために、手の上及び／又は補助要素上の３点を使用してもよい。

更に先端上又は補助要素の構成部品上の点を、手の開き幅を特定するために使用してもよく、それによって指先間の距離が検知される。２つの点の間の距離が増加するにつれて、指の開き幅が増加する。

選択的に又は追加的に手動操作手段はセンサ、具体的には例えば空間内の位置及び／又は、３つの空間軸上又は軸周りの動作を測定可能な慣性センサを含んでもよい。センサデータは例えば非接触形式で制御ユニットに転送されてもよい。センサから送られたデータは、手の向き、位置及び／又は開き幅の特定に再度使用してもよい。

本発明の好適な実施形態により、手の向き、位置及び／又は開き幅は、上述の手法のうち少なくとも２つの手法により重複して検知される。すなわち手の光学的識別、補助要素の光学的識別、及び／又は補助要素に組み込まれたセンサの使用による。これによりジェスチャ制御の誤判別率を明白に低減でき、システムの信頼性を向上できる。

手の制御配分は、好適には所定の倍率を用いてエンドエフェクタの対応する動作に変換される。倍率１では、エンドエフェクタは手と同一のスケール範囲で動作する。更に倍率は、より大きく又はより小さく調整してもよい。そのようにして例えば手の動作は、倍率２に縮小されたエンドエフェクタの動作をもらたす。すなわち、２０°の指の開き幅を縮小すると、作動部品の開き幅は１０°に縮小されるであろう。異なる動作種類又は自由度に対しても異なる倍率を規定してよい。例えばｘ、ｙ、ｚの軸上の動作及び／又は軸周りの動作それぞれに対して、手の動作に関する倍率、及び開き角と開き度との割合に関する倍率を別々に設定することもできよう。距離、速度及び加速度の変換に関しても、それぞれ異なる倍率を規定してもよい。すなわち倍率は本発明により任意に調整可能である。したがって倍率は、エンドエフェクタが存在する場所に応じて異なってもよい。

冒頭で述べたようにジェスチャ制御は、ユーザが実行した手動ジェスチャを記録して評価する撮像システムを含む。手術用機器又はエンドエフェクタの制御は好適には、操作している手が所定の撮像領域内にある場合に限り起動される。手が撮像範囲から外れると、好適には制御が停止される。

本発明による制御機器は、制御される対象を記録するカメラ、及びその記録された画像を表示するスクリーンをも含む。本発明の好適な実施形態により、スクリーンでの対象の動作が手の対応する動作と一致するように、制御される対象がスクリーンに表示される。したがってスクリーンに表示された対象は、撮像システムの座標系を基準とする手の動作と同様に、ディスプレイの座標系を基準として動作する。ユーザが自身の手を例えば上方に（撮像システムの座標系のｚ方向に）動かすと、スクリーンに表示されたエンドエフェクタの画像も同様に上方に（ディスプレイの座標系のｚ方向に）動く。それに対してエンドエフェクタの実際の動作は通常、別の方向に向かっている。しかしスクリーン上には、エンドエフェクタの動作は、手の動作と同様の方向に表示される。このような表示には、ユーザ、例えば外科医がロボットシステムを非常に容易かつ感覚的に制御可能であるという実質的な利点がある。このことから長期のトレーニング期間又は発想の転換は全く必要ない。

この表示方法を実現するために、カメラで撮影された画像の観察軸に位置調整した座標系を、エンドエフェクタを撮影するカメラに割り当てる。カメラの座標系は通常、撮像システムの座標系として別の向きになっている。しかしカメラに関して座標系は好適には、撮像範囲に関して撮像システムの座標系と同じ向き、又はスクリーンに関してディスプレイの座標系と同じ向きとなる。

撮像範囲内での手の動作では、エンドエフェクタは好適には、カメラの座標系内で撮像システムの座標系内と同じ方向に動作するように制御される。ユーザが例えば撮像システムの座標系内でｚ方向の動作を実行すると、エンドエフェクタは、カメラの座標系内ではあるが、同様にｚ方向に動作する。カメラのｚ座標は、スクリーンの座標系でのｚ座標として再度表示される。他の座標についても同様に適用される。したがって本発明による制御ユニットは、撮像システムの座標系内での手の制御入力が、カメラの座標系内でのエンドエフェクタの対応する動作に変換されるように設計されている。

エンドエフェクタの向き、位置及び／又は開き幅は既知の値である。なぜならロボットシステムは通常、前述の値を測定できるセンサを多数備えているからである。したがってエンドエフェクタの向き、位置及び／又は開き幅を識別するために、システムに既存の情報を使用してもよい。制御ユニットがエンドエフェクタに対する制御命令を生成するため、したがって前述の値は制御ユニットにおいても既知である。

そのうえ、座標系変換により、ある座標系の値を別の座標系の対応する値へと変換できるように、すべての座標系が制御ユニットにおいて既知である。したがってエンドエフェクタは常にカメラ座標系内で動作可能で、カメラ座標系が他の座標系に対して位置調整されるようには影響されない。

あるいは更に、エンドエフェクタの向き、位置及び／又は開き幅は、手又は補助要素の撮像と類似して、カメラで撮影された画像データから得ることができる。

本発明は、ジェスチャ制御を用いてロボットシステムを制御するための方法にも関する。本発明により、手術用機器のエンドエフェクタの向き及び／又は位置及び／又は開き幅を第一の値として検知し、ならびに少なくとも片手の向き及び／又は位置及び／又は開き幅を第二の値として検知する。１つ又は複数の第一の値がそれぞれ対応する第二の値から偏差した場合、エンドエフェクタの手動制御が自動的に停止される。１つ又は複数の対応する値が一致するとすぐに、ジェスチャ制御が好適には自動的に許可される。後者の場合、手と制御されるエンドエフェクタとの間の調整が達成された。すなわち手及びエンドエフェクタの、向き、位置及び／又は開き幅が一致している。調整後にエンドエフェクタをジェスチャ制御により制御できる。更に、ジェスチャ制御を完全に起動するために、ユーザがジェスチャ制御を再び確認する必要があるようにあらかじめ講じてもよい。

以下に添付図面を参照して本発明の実施例をより詳細に説明する。図中、
図１は、先行技術から公知の入力装置の図示、及びその入力装置により制御されるエンドエフェクタの図示である。 図２は、２本のロボットアームを有する最小侵襲性手術用ロボットシステムの斜視図、及びジェスチャ制御を実行するための制御装置の斜視図である。 図３は、患者体内に挿入される複数の手術用機器の側面図である。 図４は、２つの手及び様々な参照点の図示、ならびに手の向き、位置及び開き幅を特定するための直線である。 図５は、図４と同様の２つの手の図示であり、ここでそれぞれの手は、手の動作を伝達するための補助要素を保持している。 図６は、ジェスチャ制御により制御されるエンドエフェクタ及び２つの仮想エンドエフェクタを表示するスクリーンである。 図７は、ジェスチャ制御を用いたロボットシステムの制御のための方法の様々な方法ステップの概略図である。

図１の説明に関してプリアンブルを参照されたい。

図２は、最小侵襲性手術用ロボットシステム１１の概略図であり、２本のロボットアーム１４、１８、及びジェスチャ制御を用いてロボットシステム１１の様々な構成部品を制御するための制御装置を有する。ロボットアーム１４、１８はここでは、ガイドレール２４を介して手術台１２に固定されている。ロボットアーム１４、１８はこのとき、同種のものとして、又は異なるものとして構成されてよい。手術台１２上に、外科手術が行われる状態にある患者１３が置かれている。

ロボットアーム１４及び１８はそれぞれ、手術用機器１５又は１９を装備している。手術用機器は原理的に、外科手術に適したすべての機器であってよく、例えばメス、グリッパ、ハサミ、電気手術機器、内視鏡、カメラ、ステープラなどがある。例えば機器１５はハサミとして、機器１９はグリッパとして形成されてよい。機器１５、１９は典型的には、機器の機能に対応するエンドエフェクタ１７、２１を遠端部に取り付けたシャフト１６、２０を有する（図３を参照のこと）。

機器１５、１９はロボットアーム１４及び１８によって動作し、小さな人工的開口部を介して患者１３の体内に挿入される。そしてエンドエフェクタ１７又は２１の操作によって実際の外科手術を実施できる。

エンドエフェクタ１７、２１の制御のために、ここでは以下で空間内での位置特定及び向き特定も実際の作動要素の操作も理解されたいが、画像処理システムを有する制御装置が備えられている。撮像システムは、立方形の撮像範囲３６を監視するカメラ２８を含む。撮像システムはこのとき、手動で実施されたジェスチャを認識して解釈する状態にある。カメラで記録された画像データは制御ユニット２５に送られ、ユニット内に含まれる評価ユニット（ソフトウェア）により評価される。次いで制御ユニット２５は、検知したジェスチャに対応する制御命令を生成し、その命令により制御される構成部品１４、１５、１７、１８、１９、２１のアクチュエータが制御される。このときロボットアーム１４、１８、機器１５、１９及び／又はエンドエフェクタ１７、２１は、それぞれ個別に、又はすべてが同時に操作されてもよい。

実施例により、例えばユーザの左手３０_Ｌによって左のエンドエフェクタ２１を操作でき、右手３０_Ｒによって右のエンドエフェクタ１７を操作できる。ここでエンドエフェクタの「操作」という概念は、エンドエフェクタ１７、２１を三次元空間内で適切な位置に置く又は向ける、ならびに例えば切開、把持又はクロット形成などの特定の機能が実施できること、と理解されたい。エンドエフェクタ１７、２１を選択的に位置制御する、又は速度制御する、あるいは速度調整してもよい。

ロボットアーム１４及び１８は、ここではそれぞれケーブル２６又は２７を介して制御ユニット２５に結合している。あるいは、無線制御を備えてもよい。

前述のように、ロボットシステム１１を制御するためにユーザが手動ジェスチャを実行できる設定済み検知領域３６をユーザが利用できる。制御装置は好適には、この領域３６の範囲内で実行されるジェスチャのみを、制御装置２５によって対応する制御命令に変換する。それに対して検知領域３６の範囲外で実行されたジェスチャは、対応する制御命令に変換されない。

検知領域３６には、三次元空間での手３０_Ｌ、３０_Ｒの位置及びその向きを明確に特定できる第一の座標系Ｋ_Ｇがある。そのようにして例えば、手３０_Ｌ、３０_Ｒ又はその指が示す方向、ならびに手３０_Ｌ、３０_Ｒの距離又は互いに向き合った指の距離が特定できる。更に手３０_Ｌ、３０_Ｒ又はその指の動作、例えば復帰行程、移動速度及び／又は移動方向なども特定できる。

手３０_Ｌ、３０_Ｒの位置を特定するために、撮像システムを用いて、手３０_Ｌ、３０_Ｒ上及び／又は関連する腕上の１つ又は複数の点を検知し、手３０_Ｌ、３０_Ｒそれぞれの位置の基準点として利用してもよい。図４に示したように、例えばそれぞれ手３０_Ｌ、３０_Ｒの関節上にある、左手３０_Ｌの点Ｐ_１Ｌと右手３０_Ｒの点Ｐ_１Ｒを特定できる。したがって両手３０_Ｌ、３０_Ｒの位置は、座標系Ｋ_Ｇで明確に記述できる。

更に手の別の点、例えば左手及び右手３０_Ｌ、３０_Ｒの親指先の点及び人差し指先の点Ｐ_２Ｌ、Ｐ_２Ｒ及びＰ_３Ｌ、Ｐ_３Ｒも基準点として規定してよい。手３０_Ｌ、３０_Ｒの向きを特定するために、手３０_Ｌ又は３０_Ｒの２点間にそれぞれ、直線３１、３２、３３又は３４があってよい。手３０_Ｌ、３０_Ｒの向きは、例えば前述の直線３１から３４までのうち１つの直線上にあるベクトルとして規定できる。あるいは更に、前述の直線３１と３２との間、又は３３と３４との間にあるベクトルＶ_１Ｌ、Ｖ_１Ｒを規定してよい。そのようなベクトルは、左手３０_Ｌの点、点Ｐ_１Ｌ、Ｐ_２Ｌ及びＰ_３Ｌを通って広がる平面内、又は右手３０_Ｒの３点Ｐ_１Ｌ、Ｐ_２Ｒ及びＰ_３Ｒを通って広がる平面内に存在しうるであろう。その場合このベクトルＶ_１Ｌ、Ｖ_１Ｒは、手３０_Ｌ又は３０_Ｒの向きに関する基準として援用される。

あるいは更に、ベクトルＶ_１Ｌ及びＶ_１Ｒは、それぞれ任意の別の角度を成しえ、例えば人差し指の指先上（点Ｐ_３Ｌ又はＰ_３Ｒ）で直接示すこともありえよう。

手３０_Ｌ、３０_Ｒの親指と人差し指との間の開き幅は、例えば直線３１と３２との間又は３３と３４との間の角度α_Ｌ又はα_Ｒにより規定できる。この角度α_Ｒ、α_Ｌは、親指と人差し指との間の距離に依存する。更に手３０_Ｌ、３０_Ｒの開き幅は、手３０_Ｌ、３０_Ｒ上の２点Ｐ_２Ｌ、Ｐ_２Ｒ、Ｐ_３Ｌ、Ｐ_３Ｒの距離によって、例えば人差し指先Ｐ_３Ｌと親指先Ｐ_２Ｌとの距離により特定できる。

したがって手３０_Ｌ、３０_Ｒの位置、向き及び開き幅は、座標系Ｋ_Ｇで明確に特定できる。更に位置、向き及び開き幅のそれぞれの変化について、関連する速度又は加速度を特定できる。

図４に示したように、ベクトルＶ_１Ｌ又はＶ_１Ｒは有利には、直線３１と３２との間又は３３と３４との間の開き角α_Ｌ又はα_Ｒの半分の角度を常に成す。

しかし、手又は腕の点の前述の識別の他にも、手の位置、向き又は開き幅を特定する様々な別の方法がある。図５に示したように、ロボットシステム１１の制御装置は、親指と人差し指との間の手の開閉動作を伝達するために使用される手動操作補助要素３５_Ｌ、３５_Ｒをも含んでよい。図示した実施例では、手３０_Ｌ、３０_Ｒそれぞれに対して、固有のガイド要素３５_Ｌ、３５_Ｒが備えられている。

補助要素３５_Ｌ、３５_Ｒはそれぞれ、互いにジョイント連結された２本の部品を含み、その形状と配置から、グリッパ又は手術用ハサミに対応する。補助要素３５_Ｌ、３５_Ｒはそれぞれ厳密な自由度を有する。すなわち既定の軸３７周りの親指先及び人差し指先が互いに近づく動作だけ、又は離れる動作だけが可能である。したがって親指及び人差し指の動作自由度を限定することで、ジェスチャ識別での誤解釈を排除できる。なぜなら指先は固定された既定の軌道に沿ってのみ動作可能だからである。補助要素３５_Ｌ、３５_Ｒの動作可能な部品は、例えばユーザが自身の親指又は人差し指をはめ込むことができるストラップ３６_Ｌ、３６_Ｒを備えていてもよい。

手３０_Ｌ、３０_Ｒ上のマークした点を特定する類似の方法では、補助要素３５_Ｌ、３５_Ｒ上の点も検知でき、それによって関連する手３０_Ｌ又は３０_Ｒの位置、向き及び開き幅を特定できる。手の関節の点Ｐ_１Ｌ又はＰ_１Ｒの代わりに、例えば図５に図示された、補助要素のジョイント点３７_Ｌ又は３７_Ｒを使用できよう。ベクトルＶ_１Ｌ及びＶ_１Ｒの代わりに、例えば点３７_Ｌ又は３７_Ｒを通って延びるジョイント軸を使用できよう。手の開き幅の基準として、例えば補助要素３５_Ｌ又は３５_Ｒの互いにジョイント連結された部品間の角度、又は（指先に類似した）両構成部品間の距離を援用することもできよう。

その代わりに又はそれに加えて、補助要素３５_Ｌ及び３５_Ｒはそれぞれセンサ３８_Ｌ及び３８_Ｒを備えることもできよう。このセンサも同様に、手の位置、向き及び／又は開き幅の特定に使用できる。例えば互いにジョイント連結された両部品の角度を測定する角度センサが備えられている場合、手３０_Ｌ又は３０_Ｒの親指と人差し指との間の開き幅が検知できる。更に磁気センサ、加速度センサ又は慣性センサをも組み込むことできよう。そしてこれらセンサによって手３０_Ｌ又は３０_Ｒの位置、向き、更に移動速度又は加速度を検知できる。センサデータを例えば非接触形式で制御ユニット２５に転送してもよい。起こりうるエラーを検出又は除去するために、重複情報を相互に比較できる。消失した情報又は不完全な情報は、例えば重複して存在する情報によっても置換できる。

最小侵襲性手術において手術が行われる場所は、１つ又は複数のカメラ２２、２３によって監視される。これに加えて図３に示したように、１つ又は複数の腹腔鏡手術機器が小さな人工的開口部を通って患者１３の体内に挿入されている。カメラ２３の画像はスクリーン２９に表示され、このスクリーン上で外科医は手術の進捗を観察し、監視できる。更に図２のロボットシステム１１には、患者１３の体外での事象を記録する別のカメラ２２が備えられている。このカメラ２２は例えば、ロボットアーム１４、１８の位置及び向き、ならびに機器１５及び１９の位置及び向き、そしてカメラ２３の位置及び向きをも検知することに使用できる。カメラ２２の画像及びカメラ２８の画像も同様に
スクリーン２９に表示できる。エンドエフェクタが患者の体内又は体外にあるかどうかによって、カメラ２２と２３との間で自動でも手動でも交互に切り替えることができる。更にオプションとして、カメラ２２で検知したエンドエフェクタ及びカメラ２３で検知したエンドエフェクタを表示するために、画像をスクリーン２９で分割してもよい。

好適にはカメラ及び／又はスクリーンは、すべて３Ｄ対応である。これに加えて例えば立体カメラ又はデュアル録画カメラなどの先行技術から既知の機器を使用してもよい。

エンドエフェクタ１７、２１を含む手術用機器１５、１９を外科医が可能な限り感覚的に操作できるようにするために、座標系Ｋ_Ｇを基準とした操作する手３０_Ｌ又は３０_Ｒの少なくとも向きを、好適には更に手の位置及び開き幅も、それぞれカメラ座標系Ｋ_Ｋ１又はＫ_Ｋ２を基準とした制御されるエンドエフェクタ１７又は２１の向き、位置又は開き幅と一致させる必要がある。ここで図示されたロボットシステム１１では、その目的のために調整プロセスが実行され、そのプロセスでユーザは手の向き及び／又は位置及び／又は開き幅を、制御されるエンドエフェクタ１７又は２１の対応する状態に適合させることができる。

前述の状態値の少なくとも１つが一致すると、好適にはすべての状態値が一致するとすぐに、制御されるエンドエフェクタ１７、２１が使用可能になる、又は起動される、そしてそれに続いて手で操作できる。起動は自動的に行われる、又はユーザの追加的操作が何度か必要になる。

手３０_Ｌ、３０_Ｒと制御されるエンドエフェクタ１７、２１との間の調整をユーザが容易に行うために、本実施例ではスクリーン２９上に仮想エンドエフェクタ１７‘を重ね合わせ、その仮想エンドエフェクタの向き、位置及び開き幅は、操作する手、例えば３０_Ｒの向き、位置及び開き幅に対応する。したがって仮想エンドエフェクタ１７‘は、操作する手、例えば３０_Ｒの状態を示す。更にウィンドウ４０に、制御されるエンドエフェクタ１７の状態を表す別のエンドエフェクタ１７‘‘が表示される。したがって第一の仮想エンドエフェクタ１７‘はユーザに自身の手３０_Ｒの現在の状態を示し、別のエンドエフェクタ１７‘‘は手３０_Ｒの目標状態を示す。

図６に示したように、手３０_Ｒの向きとエンドエフェクタ１７の向きとは、角度Δωだけ異なっている。右手３０_Ｒの向きをエンドエフェクタ１７の向きと一致させるために、ユーザは自身の手の向きを変えるだけでよい。ロボットシステム１１はユーザに、自身の手をどのように動かすべきなのかを、例えば矢印を重ね合わせて補足的に表示できる。手３０_Ｒの向きがエンドエフェクタ１７の向きと一致する場合、同様に例えばスクリーン２９にアイコンを表示することで、又は仮想エンドエフェクタ１７‘をカラーでハイライト表示することなどで、ユーザにフィードバックできる。ロボットシステム１１の設計に応じて、向きを一致させることに関して許容誤差を指定してよい。厳密な一致は必須ではない。

類似の方法で、左手３０_Ｌの向きも左のエンドエフェクタ２１と一致させることができる。向きの調整後、両方のエンドエフェクタ１７、２１のジェスチャ制御が許可される。それに加えてウィンドウ４０を非表示にしてもよい。ジェスチャ制御の起動に対する前提条件として、向きの他に手３０_Ｒ、３０_Ｌの１つ又は複数の別の状態を、それぞれ制御されるエンドエフェクタ１７、２１と一致させる必要があることを、あらかじめ設定してよい。したがって例えば、両手３０_Ｌ及び３０_Ｒの開き幅を、両方のエンドエフェクタ１７、２１の開き角φ_Ｌ及びφ_Ｒと一致させる必要があることを、あらかじめ設定してよい。開き幅の調整は、前述したように向きの調整と類似して達成できる。したがって、手３０_Ｌ、３０_Ｒの開き幅が、制御されるエンドエフェクタ１７、２１の開き幅から偏差しているかどうかが検知される。偏差した場合、ユーザに自身の手３０_Ｌ、３０_Ｒの開き幅α_Ｌ、α_Ｒを変えるように、再度求めることができる。適合が達成されてから、ジェスチャ制御が再度自動的に許可される。調整時には、両手３０_Ｌ及び３０_Ｒの開き幅α_Ｌ及びα_Ｒと、両方のエンドエフェクタ１７、２１の開き角φ_Ｌ及びφ_Ｒとの間に、オフセット値を規定してよい。このオフセット値は例えば、エンドエフェクタを閉じようとするときに、指を完全に閉じる必要がないようにする。したがってこのことは特に、手で補助要素３５_Ｌ及び３５_Ｒを操作するときに有用であり、これによって指を完全に閉じることはない。

更にジェスチャ制御の起動に対する前提条件は、操作する手３０_Ｌ又は３０_Ｒの位置Ｐ_１Ｌ又はＰ_１Ｒも補足的に、制御されるエンドエフェクタ１７又は２１の位置Ｑ_１Ｌ又はＱ_１Ｒと一致させることであってもよい。位置調整のための方法は、向き調整又は開き幅調整のための方法と類似して再度行われてもよい。図６に図示したように、仮想エンドエフェクタ１７‘の点Ｑ_１Ｒ‘位置は、エンドエフェクタ１７の点Ｑ_１Ｒに対応して配置されている。この配置は、例えばベクトル３９によって表示されてもよい。ユーザはこのとき自身の手の位置を、仮想エンドエフェクタ１７‘‘の位置と一致するまで変化させることができる。一致したことがユーザに再度表示されてもよい。したがって調整後に、手３０_Ｌ及び３０_Ｒの相対位置、ならびにエンドエフェクタ１７、２１の相対位置が互いに一致する。すなわち左手３０_Ｌの指先と右手３０_Ｒの指先とが接触すると、エンドエフェクタ１７、２１の先端も接触することになる。

ロボットシステム１１の制御をできるだけ簡単にし、特に感覚的制御を可能にするために、スクリーン２９に表示された対象１７、２１、１７‘、１７‘‘は好適には、その対象が手が動く方向へ、手の動きを正確に追随するように表示される。手３０_Ｌ、３０_Ｒを例えば撮像システムの座標系Ｋ_Ｇ内でｘ方向に動かすと、制御される対象は画像中で、例えばエンドエフェクタ１７又は仮想エンドエフェクタ１７’のように、スクリーン２９の座標系Ｋ_Ｂ内で同様にｘ方向に動く。構成部品を用いたｙ方向又はｚ方向の動作に対しても同様に適用される。スクリーン２９の座標系Ｋ_Ｂはこのとき、撮像システムの座標系Ｋ_Ｇと同じ方向を向いている（ｚ軸は例えば上に向き、ｘ軸は右に向く）。したがって右への手の動作は、制御される対象１７、１７‘のスクリーンでの右への動作を常にもたらし、上（ｚ方向）への動作は、制御される対象１７、１７‘のスクリーンでの右への対応する動作をもたらす。しかし空間内での対象１７、２１の実際の動作は、通常はスクリーン２９に表示された動作と異なる。そのような表示を実現するために、基本的には様々な方法がある。

図１から図６までに図示されたロボットシステム１１では、カメラ２２、２３に、それぞれ固有の座標系Ｋ_Ｋ１、Ｋ_Ｋ２が割り当てられている。カメラ２２又は２３がパンすると、関連する座標系Ｋ_Ｋ１又はＫ_Ｋ２はカメラも含んで左右に動く。したがってカメラの座標系Ｋ_Ｋ１又はＫ_Ｋ２の向きを、対応するカメラ２２又は２３を調節することによって決めてもよい。例えばカメラ２３は、自身の軸４２の周りに回転できる。あるいはカメラの座標系Ｋ_Ｋ１又はＫ_Ｋ２の向きを、ユーザが制御装置２５を用いて座標変換によって、カメラを強制的に調整しなくても済むように、任意に適合させてもよい。

更にカメラの座標系Ｋ_Ｋ１及びＫ_Ｋ２のそれぞれの配向は、それぞれのカメラ２２、２３に関して同一であるべきである。カメラ２２の座標系Ｋ_Ｋ１のｘ軸、及び患者１３の体内に挿入されたカメラ２３の座標系Ｋ_Ｋ２のｘ軸はそれぞれ、例えばカメラ２２、２３それぞれの撮影方向を示すことができる。スクリーン２９の座標系Ｋ_Ｂの向きは同様に座標系Ｋ_Ｋ１、Ｋ_Ｋ２の向きと一致し、このとき座標系Ｋ_Ｂはスクリーン２９に固定して位置調整されている。例えばＫ_Ｂのｚ軸は常に垂直に上を指し、ｘ軸は通常はスクリーン２９においてスクリーン表面に対して中に入り込んでいる。カメラ２３によって撮影された対象が例えば座標系Ｋ_Ｋ１内でｚ方向に移動する場合、その対象はスクリーン２９内でもスクリーン座標系Ｋ_Ｂ内でｚ方向に移動する。ロボットシステム１１は、エンドエフェクタ１７、２１がどこに存在し、対応してどこに向けられているのかを、自動的に識別する。それぞれのエンドエフェクタ１７、２１に関する座標系は、エンドエフェクタ１７、２１が患者１３の体内に挿入される、又は体内から引き出されるときに、好適には自動的に変更される。

撮像領域３６に座標系Ｋ_Ｇが割り当てられている。この座標系は、スクリーン２９の座標系Ｋ_Ｂに対応して位置調整してもよいが、必ずしも必要ではない。しかし好適には、座標系Ｋ_Ｇのｙ軸は、スクリーン２９の座標系Ｋ_Ｂに対して実質的に平行に位置調整されている。座標系Ｋ_Ｇのｘ軸は、ユーザに対して実質的に正面から前方へと向けられている。

しかしエンドエフェクタ１７、２１の空間内での実際の動作は、通常はスクリーン２９に表示された動作方向と一致せず、操作する手３０_Ｌ、３０_Ｒの空間内での動作方向とも一致しない。詳細に言えばエンドエフェクタ１７、２１は、カメラ座標系Ｋ_Ｋ１内で又はＫ_Ｋ２内で制御される。カメラ２２又は２３がどのように位置調整されているかに応じて、カメラ座標系Ｋ_Ｋ１又はＫ_Ｋ２も空間内で様々に位置調整される。すなわち座標系Ｋ_Ｇのｚ方向での手の動きは、カメラ座標系Ｋ_Ｋ１又はＫ_Ｋ２それぞれのｚ方向でのエンドエフェクタの動作となる。しかしこの場合、空間内でのエンドエフェクタの実際の動作は、空間内でのカメラ座標系Ｋ_Ｋ１又はＫ_Ｋ２のｚ軸の位置調整に左右される。

座標系Ｋ_Ｋ１及びＫ_Ｋ２の位置及び位置調整（ｘ軸、ｙ軸及びｚ軸の向き）は、ロボットシステム１１及び制御ユニット２５により認識されており、座標変換によってロボットグローバル座標系Ｋ_Ｒに変換できる。したがって、座標系Ｋ_Ｋ１、Ｋ_Ｋ２、Ｋ_Ｂ、Ｋ_Ｇそれぞれの物理量全体を座標変換によって、別の座標系の対応する量に変換できる。したがって例えば、点Ｑ_１Ｌ及びＱ_１Ｒの位置を、ベクトルによりロボットグローバル座標系で記述することもできよう。同様に点Ｑ_１Ｌ及びＱ_１Ｒの位置を、ロボット座標系Ｋ_Ｒから、カメラ２２、２３それぞれの座標系Ｋ_Ｋ１及びＫ_Ｋ２へと変換することもできよう。したがって制御装置２５は、座標系Ｋ_Ｇ内で検知される手３０_Ｌ、３０_Ｒの移動量を、カメラ座標系Ｋ_Ｋ１内又はＫ_Ｋ２内それぞれで操作されるエンドエフェクタ１７、２１に対する制御量に変換できる。

エンドエフェクタ１７、２１の向き、位置及び開き角を、手３０_Ｌ、３０_Ｒの場合と同様に、撮像システムによって検知できる。開き角は例えば、図３に示したように、２つの作動要素の間の角度により確定できる。エンドエフェクタ１７、２１の向きはベクトルＶ_２Ｌ及びＶ_２Ｒによって確定でき、エンドエフェクタ１７、２１の位置はジョイント点Ｑ_１Ｌ又はＱ_１Ｒの位置によって規定できる。あらかじめ規定されたように、手のベクトルＶ_１Ｌ及びＶ_１Ｒそれぞれが、親指と人差し指との間の半分の角度α_Ｌ又はα_Ｒで延びている場合、好適にはこれと同様に、エンドエフェクタのベクトルＶ_２Ｌ又はＶ_２Ｒが、補助要素２５_Ｌ又は２５_Ｒそれぞれの両方の作動要素間の開き角の半分φ_Ｌ又はφ_Ｒで延びるように規定される。各々の量は任意の座標系Ｋ_Ｋ１、Ｋ_Ｋ２、Ｋ_Ｒで記述できる。このようにして、制御のために相互に比較できる各種の重複情報が得られる。

エンドエフェクタ１７、２１の位置、向き及び開き角を識別するために、ロボットシステム１１にあらかじめ保存されたデータを利用してもよい。そのようにして例えば制御ユニット２５は、ロボットアーム１４の姿勢に応じてエンドエフェクタ１７の位置を特定できる。更に制御ユニット２５がエンドエフェクタ１７、２１に対する制御命令を生成するため、したがってエンドエフェクタ１７、２１それぞれの向き及び開き角も制御ユニットに認識される。

エンドエフェクタ１７、２１に対するジェスチャ制御の起動後、該当するエンドエフェクタ１７、２１を手で操作できる。操作する手３０_Ｌ、３０_Ｒが検知領域３６内にある限り、ユーザにより実行された制御入力は対応する制御命令に変換される。しかし操作する手３０_Ｌ又は３０_Ｒが検知領域３６外へと移動すると、ジェスチャ制御は好適には中断される。すなわちエンドエフェクタ１７、２１が停止される。したがって、エンドエフェクタ１７、２１が望まない動作をすることを排除できる。

該当するエンドエフェクタ１７、２１は、新たな調整プロセスが実行された後に再度起動できる。

図１から図６までに示したロボットシステム１１を制御する方法の様々な方法ステップを図７に示した。ステップＳ１で手３０_Ｌ、３０_Ｒが検知領域３６の中へと移動し、ステップＳ２でカメラ２８を用いて検知される。ステップＳ３で手の向きが特定され、このときベクトルＶ_１Ｌ、Ｖ_１Ｒが確定される。ステップＳ４でエンドエフェクタ１７、２１の向きが検知され、ベクトルＶ_２Ｌ、Ｖ_２Ｒが確定される。次いでステップＳ５で向きの変異分析が行われる。

ステップＳ６で手３０_Ｌ及び３０_Ｒの位置が特定され、対応する点Ｐ_１Ｌ、Ｐ_１Ｒが確定される。その後ステップＳ７でエンドエフェクタの位置が特定され、このとき点Ｐ_２Ｌ及びＰ_２Ｒが確定される。ステップＳ８で最後に位置の変異分析が行われる。

ステップＳ９は指の開き幅の特定について記載しており、このとき角度α_Ｌ及びα_Ｒが検知される。そして対応してステップＳ１０でエンドエフェクタ１７、２１の開き角が検知される。ステップＳ１１で最後に開き幅又は開き角の変異分析が行われる。

向き、位置及び／又は開き幅に偏差がある場合、ステップＳ１２でユーザに調整を実行するように指示が出される。少なくとも１つの現在値がそれぞれ対応する目標値に一致するとすぐに、ジェスチャ制御が起動される。その後ロボットシステム１１はユーザにより実行された手動制御入力を識別し、入力に対応してエンドエフェクタ１７、２１を制御する。

手３０_Ｌ又は３０_Ｒのパラメータがエンドエフェクタ１７、２１のそれぞれのパラメータともはや一致しない場合、このエンドエフェクタ１７、２１の制御が好適には停止される（ステップＳ１５）エンドエフェクタ１７、２１の停止は好適には、操作する手３０_Ｌ、３０_Ｒが検知領域３６から外へと移動した場合にも行われる。

それぞれの値を一致させる手順が新たに実行される場合に、エンドエフェクタ１７、２１は再度起動又は操作できる。手が識別領域３６の外で動いた場合、まず初めに手を識別領域３６の中へと移動させる必要がある（ステップＳ１を参照のこと）。手が検知領域３６にある一方で、少なくとも１つの値の不一致が中断のトリガーであるならば、それぞれの値の新たな特定を直接実行できる（ステップＳ２、Ｓ３、Ｓ６及びＳ９を参照のこと）。

図７に示したステップは、制御装置２５がいつでもそのステップを実行できるように、制御装置２５内のストレージ媒体に保存されている。

Claims (21)

1. エンドエフェクタ（１７、２１）を備えた手術用機器（１５、１９）が固定された少なくとも１つのロボットアーム（１４、１８）を有するロボットシステム（１１）の制御用制御装置であって、前記制御装置が、少なくとも片手（３０_Ｌ、３０_Ｒ）の制御入力を記録、評価し、ロボットシステム（１１）の１つ又は複数の構成部品に対する対応する制御命令に変換する撮像システムを含み、
   制御ユニット（２５）が前記制御装置の一部であり、
   前記制御ユニット（２５）が、
   −手術用機器（１５、１９）のエンドエフェクタ（１７、２１）の向き及び／又は位置及び／又は開き幅が第一の値として検知され、更に、
   −少なくとも片手（３０_Ｌ、３０_Ｒ）の向き及び／又は位置及び／又は開き幅が第二の値として検知され、１つ又は複数の前記第一の値がそれぞれ対応する前記第二の値から偏差した場合、または操作する手が検知領域の範囲外で動作する場合に前記エンドエフェクタ（１７、２１）のジェスチャ制御が自動的に停止され、１つ又は複数の前記第一の値がそれぞれ対応する前記第二の値と一致した場合で、かつ、操作する手が検知領域の範囲内で動作する場合にジェスチャ制御を用いて前記エンドエフェクタ（１７、２１）が操作できるようにジェスチャ制御が許可されるように設計されていることを特徴とする、制御装置。
2. 請求項１に記載の制御装置であって、前記ジェスチャ制御を起動するために、少なくとも２つの前記第二の値がそれぞれ対応する前記第一の値と一致する必要があることを特徴とする、制御装置。
3. 請求項１又は２に記載の制御装置であって、１つ又は複数の前記第一の値がそれぞれ対応する前記第二の値から偏差した場合、少なくとも片手（３０_Ｌ、３０_Ｒ）の前記向き及び／又は前記位置及び／又は前記開き幅を前記エンドエフェクタ（１７、２１）の対応する状態に適合させるように前記ロボットシステム（１１）のユーザに促すことになる信号を前記制御ユニット（２５）が発することを特徴とする、制御装置。
4. 請求項１から３のいずれか一項に記載の制御装置であって、１つ又は複数の前記第二の値がそれぞれ対応する前記第一の値と一致した場合に、手（３０_Ｌ、３０_Ｒ）と制御される前記エンドエフェクタ（１７、２１）との調整が達成されたことを前記ユーザに伝える信号を前記制御ユニット（２５）が発することを特徴とする、制御装置。
5. 請求項１から４のいずれか一項に記載の制御装置であって、その向き及び／又は位置及び／又は開き幅が前記手（３０_Ｌ、３０_Ｒ）の向き及び／又は位置及び／又は開き幅に対応する仮想要素（１７‘）を前記制御ユニット（２５）がスクリーン（２９）に表示することを特徴とする、制御装置。
6. 請求項１から５のいずれか一項に記載の制御装置であって、その向き及び／又は位置及び／又は開き幅が制御される前記エンドエフェクタ（１７）の向き及び／又は位置及び／又は開き幅に対応する別の仮想要素（１７‘‘）を前記制御ユニット（２５）がスクリーン（２９）に表示し、操作する前記手（３０_Ｌ、３０_Ｒ）と制御される前記エンドエフェクタ（１９、２１）との間の調整用の目標設定値として前記仮想要素が使用されることを特徴とする、制御装置。
7. 請求項１から６のいずれか一項に記載の制御装置であって、更に手動操作補助要素（３５_Ｌ、３５_Ｒ）を備えていることを特徴とする、制御装置。
8. 請求項１から７のいずれか一項に記載の制御装置であって、前記制御ユニット（２５）が、前記手の上の点又は関連している前記腕上の点、あるいは関連している補助要素（３５_Ｌ、３５_Ｒ）上の点（Ｐ_１Ｌ、Ｐ_１Ｒ、３７_Ｌ、３７_Ｒ）を確定する前記手（３０_Ｌ、３０_Ｒ）の前記位置を検知し、これらの点（Ｐ_１Ｌ、Ｐ_１Ｒ、３７_Ｌ、３７_Ｒ）を前記撮像システムの座標系（Ｋ_Ｇ）で検知することを特徴とする、制御装置。
9. 請求項１から８のいずれか一項に記載の制御装置であって、前記制御ユニット（２５）が、少なくとも１つのベクトル（Ｖ_１Ｌ、Ｖ_１Ｒ）を確定する少なくとも片手（３０_Ｌ、３０_Ｒ）の前記向きを検知し、前記ベクトルを前記撮像システムの座標系（Ｋ_Ｇ）で特定することを特徴とする、制御装置。
10. 請求項９に記載の制御装置であって、前記制御ユニット（２５）が、前記ベクトル（Ｖ_１Ｌ、Ｖ_１Ｒ）を確定するために前記手（３０_Ｌ、３０_Ｒ）の上及び／又は補助要素（３５_Ｌ、３５_Ｒ）上の少なくとも１つの別の点（Ｐ_２Ｌ、Ｐ_２Ｒ、Ｐ_３Ｌ、Ｐ_３Ｒ、３７_Ｌ、３７_Ｒ）を確定することを特徴とする、制御装置。
11. 請求項１０に記載の制御装置であって、前記ベクトル（Ｖ_１Ｌ、Ｖ_１Ｒ）が、確定された前記点（Ｐ_１Ｌ、Ｐ_１Ｒ、Ｐ_２Ｌ、Ｐ_２Ｒ、Ｐ_３Ｌ、Ｐ_３Ｒ、３７_Ｌ、３７_Ｒ）のうち少なくとも３つを通って拡がる平面内に存在することを特徴とする、制御装置。
12. 請求項１から１１のいずれか一項に記載の制御装置であって、前記制御ユニット（２５）が、前記手（３０_Ｌ、３０_Ｒ）の上及び／又は補助要素（３５_Ｌ、３５_Ｒ）上の少なくとも１つの点（Ｐ_２Ｌ、Ｐ_２Ｒ、Ｐ_３Ｌ、Ｐ_３Ｒ）を確定し、前記点が指先上又は前記補助要素（３５_Ｌ、３５_Ｒ）上に存在することを特徴とする、制御装置。
13. 請求項１から１２のいずれか一項に記載の制御装置であって、前記制御ユニット（２５）が、２つの直線（３１、３２、３３、３４）を確定する少なくとも片手（３０_Ｌ、３０_Ｒ）の前記開き幅を検知し、前記撮像システムの前記座標系（Ｋ_Ｇ）での前記直線（３１、３２、３３、３４）間の角度（α_Ｌ、α_Ｒ）を特定することを特徴とする、制御装置。
14. 請求項１１に記載の制御装置であって、前記制御ユニット（２５）が、前記手（３０_Ｌ、３０_Ｒ）の上の２点（Ｐ_２Ｌ、Ｐ_２Ｒ、Ｐ_３Ｌ、Ｐ_３Ｒ）間の距離を特定する少なくとも片手（３０_Ｌ、３０_Ｒ）の前記開き幅を検知することを特徴とする、制御装置。
15. 請求項７に記載の制御装置であって、前記手動操作補助要素（３６_Ｌ、３６_Ｒ）が、前記補助要素の空間内での姿勢及び／又は三次元空間軸上又は軸周りの前記補助要素（３６_Ｌ、３６_Ｒ）の動作を測定できる慣性センサを含むことを特徴とする、制御装置。
16. 請求項１から１５のいずれか一項に記載の制御装置であって、手（３０_Ｌ、３０_Ｒ）の操作動作が所定の倍率によって前記エンドエフェクタ（１７、２１）の対応する動作に変換されるように制御ユニット（２５）が設計されていることを特徴とする、制御装置。
17. 請求項１から１６のいずれか一項に記載の制御装置であって、前記制御装置がジェスチャ制御を用いて制御される対象（１７、２１）を表示するスクリーン（２９）を含み、このとき前記撮像システムの座標系（Ｋ_Ｇ）の最大２軸のみの前記向きが前記ディスプレイの座標系（Ｋ_Ｂ）の対応する前記軸の前記向きと一致し、前記対象が前記ディスプレイの前記座標系（Ｋ_Ｂ）に関連して、前記撮像システムの前記座標系（Ｋ_Ｇ）に関連した前記手の動きと同一方向に前記対象がスクリーン（２９）上を移動するように前記対象が表示されることを特徴とする、制御装置。
18. 請求項１から１７のいずれか一項に記載の制御装置であって、前記エンドエフェクタ（１７、２１）を記録するカメラ（２２、２３）を備え、前記カメラ（２２、２３）の座標系（Ｋ_Ｋ１、Ｋ_Ｋ２）が前記カメラ（２２、２３）で記録された画像の画像軸（４１、４２）に位置調整され、このとき座標系（Ｋ_Ｋ１、Ｋ_Ｋ２）の前記軸の１つが前記カメラ（２２、２３）の視線上に表示されることを特徴とする、制御装置。
19. 請求項１８に記載の制御装置であって、前記撮像システムの前記座標系（Ｋ_Ｇ）での手（３０_Ｌ、３０_Ｒ）の制御入力が前記カメラ（２２、２３）の前記座標系（Ｋ_Ｋ１、Ｋ_Ｋ２）での前記エンドエフェクタ（１７、２１）の対応する動作に変換されるように前記制御ユニット（２５）が設計されていることを特徴とする、制御装置。
20. 請求項１９に記載の制御装置であって、前記エンドエフェクタ（１７、２１）の制御用の機能中の前記座標系が、どのカメラ（２２、２３）によって前記エンドエフェクタ（１７、２１）が記録されているかによって、前記カメラ（２２、２３）の前記座標系（Ｋ_Ｋ１、Ｋ_Ｋ２）との間で交換することを特徴とする、制御装置。
21. 少なくとも片手（３０_Ｌ、３０_Ｒ）によるロボットシステム（１１）の制御方法であって、
    −手術用機器（１４、１８）のエンドエフェクタ（１７、２１）の向き及び／又は位置及び／又は開き幅を第一の値として検知し、
    −少なくとも片手（３０_Ｌ、３０_Ｒ）の向き及び／又は位置及び／又は開き幅を第二の値として検知し、
    −少なくとも１つの第一の値をそれぞれ対応する前記第二の値と比較し、
    −１つ又は複数の前記第一の値がそれぞれ対応する前記第二の値から偏差した場合、または操作する手が検知領域の範囲外で動作する場合、前記エンドエフェクタ（１７、２１）のジェスチャ制御が停止し、及び、
    −１つ又は複数の前記第一の値がそれぞれ対応する前記第二の値と一致した場合で、かつ、操作する手が検知領域の範囲内で動作する場合、前記エンドエフェクタ（１７、２１）が前記手（３０_Ｌ、３０_Ｒ）により制御可能になるように前記ジェスチャ制御が許可される、というステップを特徴とする、方法。