JP4237799B2

JP4237799B2 - 力覚提示方法、装置およびプログラム

Info

Publication number: JP4237799B2
Application number: JP2006548716A
Authority: JP
Inventors: 由里子鈴木; 稔小林
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 2004-12-13
Filing date: 2005-10-31
Publication date: 2009-03-11
Anticipated expiration: 2025-10-31
Also published as: EP1830243A1; WO2006064615A1; CN1934523A; US8239145B2; JPWO2006064615A1; US20080249718A1; EP1830243A4; EP1830243B1; CN100392564C

Description

本発明は、噴出空気等に受容体をかざすことによりその受容体に力を与えて操作者に力覚提示を行う力覚提示技術に関するものである。

従来から、ＶＲ（バーチャルリアリティ）技術における力覚提示方法として、噴出した空気を受容体で受けとめて操作者に力として提示する方法がある。その方法を適用した装置の一例として、図１９に示す装置がある。図１９に示す装置は、上向きに噴出空気６０１を噴出する複数の噴出口６０２を面上に配置した噴出部６を有している。噴出口６０２が並ぶ面の上方を移動する受容体１'の位置に応じて受容体１'直下やその周辺の噴出口６０２から噴出する噴出空気６０１を制御する（例えば、非特許文献１、特許文献１〜３参照）。

この場合、受容体１'は平面型や半球等の凹型の形状（図１９では半球型）であり、噴出空気６０１を受けることで、受容体１'自身を把持する操作者７もしくは受容体１'を取り付けた物を把持する操作者７に、噴出方向である上方向への力を提示する。
特開２００１−２２４９９号公報特開２００３−２５６１０５号公報特開２００４−１５７６７７号公報鈴木、小林著、「風圧によるUntethered力覚提示インターフェース：３次元オブジェクトの表現」、電子情報通信学会技術研究報告、電子情報通信学会マルチメディア・仮想環境基礎研究会（ＭＶＥ）、２００３年７月、第１０３巻、第２０９号７１−７６頁

しかしながら、この方法では操作者７に感じさせる提示力の方向は空気の噴出方向のみであった。上方向以外の方向への力を提示するには、その方向へ空気を噴出する噴出口を用意する方法が考えられる。しかし、この方法では装置が大掛かりになることに加えて、横方向の噴出口を左右に設置することで操作者７が手や腕を左右に動かしにくくなる。すなわち、その噴出口が操作者７の動きを妨げる可能性がある。

本発明の目的は、簡単な構成により、操作者に負担をかけることなく、空気等の噴出方向に対して横方向の成分を含んだ方向の力覚を操作者に提示できるようにした力覚提示技術を提供することである。

上記の目的は、受容体の位置又は向きに応じて気体又は液体を噴出手段の噴出口から噴出させ該受容体に当てることにより該受容体を介して操作者に力覚を提示する力覚提示方法であって、
前記受容体に中心部から外側に向けて前記受容体の軸線に対して傾斜した形状をなす傾斜側面部を設け、該傾斜側面部に対して前記気体又は液体を噴出することにより、前記受容体に対して、前記気体又は液体の噴出方向に垂直な方向の成分を含んだ力を与える力覚提示方法であり、
前記噴出手段は平面上に複数の噴出口を配した構造を持ち、前記受容体が当該平面上の所定の高さの位置にある場合において、前記受容体の傾斜側面部内縁と傾斜側面部外縁との間に位置し、かつ、噴出口から前記受容体の中心に向かう方向と前記受容体に与えようとする力の方向との角度差が所定の値以下となり、かつ、噴出口と前記受容体の中心との間の距離が最小となる噴出口を選択し、選択された噴出口から前記気体又は液体を噴出させることを特徴とする力覚提示方法により達成できる。

また、本発明は、受容体の位置又は向きに応じて気体又は液体を噴出手段の噴出口から噴出させ該受容体に当てることにより該受容体を介して操作者に力覚を提示する力覚提示方法において用いられる力覚提示装置であって、
前記力覚提示装置は、前記力覚提示装置に接続された受容体計測手段によって計測された前記受容体の位置又は向きに応じて前記噴出手段の噴出口から噴出する前記気体又は液体の噴出量又は噴出方向を制御する噴出制御手段を備え、
前記受容体は、中心部から外側に向けて前記受容体の軸線に対して傾斜した形状をなす傾斜側面部を有し、また、前記噴出手段は平面上に複数の噴出口を配した構造を持ち、
前記受容体が当該平面上の所定の高さの位置にある場合に、前記気体又は液体の噴出方向に垂直な方向の成分を含んだ力を前記受容体に与えるために、前記噴出制御手段は、前記受容体の傾斜側面部内縁と傾斜側面部外縁との間に位置し、かつ、噴出口から前記受容体の中心に向かう方向と前記受容体に与えようとする力の方向との角度差が所定の値以下となり、かつ、噴出口と前記受容体の中心との間の距離が最小となる噴出口を選択し、選択された噴出口から前記気体又は液体を噴出するよう前記噴出手段を制御することを特徴とする力覚提示装置として構成することもできる。

前記力覚提示装置において、前記受容体に前記傾斜側面部の位置又は向きを変化する変形機構を備え、且つ該変形機構を前記受容体計測手段によって計測された前記受容体の位置又は向きに応じて制御する受容体側面部制御手段を備えてもよい。

また、前記力覚提示装置は、前記受容体計測手段によって計測された前記受容体の位置又は向きに応じて仮想空間内の仮想オブジェクトの状態を算出するとともに、該算出結果に基づき前記仮想オブジェクトを含む前記仮想空間を仮想空間表示手段に表示させる仮想オブジェクト算出手段を備えてもよい。

また、本発明は、コンピュータを上記前記力覚提示装置における各手段として機能させるためのプログラムとして構成することもできる。

本発明によれば、噴出手段として一方向にのみ気体又は液体を噴出する簡単な構成で、しかも操作者に負担をかけることなく、噴出方向に対して垂直な方向（横方向）の成分を含んだ力を提示することができる。

また、噴出する気体又は液体の噴出方向に対して受容体の位置や傾きが変化した場合にも、傾斜側面部の変形機構によって傾斜側面部を制御することで、提示する力の方向を制御することができる。また、噴出制御手段が、気体又は液体を噴出する噴出口を適正に選択することにより、傾斜側面部に対して気体又は液体を噴出することができる。更に、本発明によれば、受容体の位置又は向きに応じて仮想空間内の仮想オブジェクトを変化させることができる。

本実施例では、平面型もしくは凹型の受容体で噴出空気を受け取り噴出方向への力として提示する従来の方式と異なり、噴出方向に対して垂直な方向（横方向）の成分を含んだ力を提示する。噴出方向に対して垂直な方向（横方向）の成分を含んだ力を提示することを実現するために、受容体に、その側面の外側に噴出空気を逃がすような傾斜面や円弧に湾曲した面をもつ傾斜側面部を具備させ、その傾斜側面部に噴出空気を当てるように噴出部を制御する。本実施例では、空気の噴出方向に対して垂直な方向（横方向）の成分を含んだ力を提示できるので、空気の噴出を、横方向から物体に接触するような映像に連動させることで、操作者に横方向から何かが接触したように感じさせることができる。この方法によれば、一方向に噴出する噴出部だけを使用しながらも、噴出方向に加えその噴出方向と垂直な方向（横方向）への力を提示することができる。なお、本実施例で説明する技術は、例えばアミューズメントの分野に適用することが可能である。

図１に実施例１の力覚提示装置の構成を示すブロック図を示す。図２にその力覚提示装置の操作者と噴出部との関係の説明図を示す。図３にその力覚提示装置の処理のフローチャートを示す。

図１に示すように、本実施例の力覚提示装置は、仮想オブジェクト算出部３及び噴出制御部５を有している。また、噴出部６が噴出制御部５に接続され、受容体１の位置と向きを計測する受容体計測部２が仮想オブジェクト算出部３と噴出制御部５に接続され、仮想空間表示部４が仮想オブジェクト算出部３に接続されている。以下、図１に示す各要素について詳細に説明する。説明の中で適宜図２を参照する。

図２に示すように、受容体１は、噴出部６の噴出口６０２から噴出される噴出空気６０１を受け止める。なお、噴出口６０２から噴出されるものとして、空気以外の気体、液体等も使用可能であるが、本実施例では空気を使用する例について説明する。操作者７はこの受容体１を把持する。操作者７は、受容体１を棒等の先等にとりつけたその棒等の物体を手に把持してもよい。更に、操作者７は、操作者７の手や身体、衣服に受容体１を取り付けることとしてもよい。受容体１を介して、操作者７は力覚の提示を受ける。

図２に示すように、この受容体１は、噴出空気６０１を受け止めて噴出方向への力を操作者７に伝える中央部１０１と、その噴出方向に対して垂直な方向（横方向）の成分を含んだ力を操作者７に伝える傾斜側面部１０２を有する。傾斜側面部１０２は１つのものとして構成してもよいし、２つ以上に分割された部分からなるものとして構成してもよい。

この傾斜側面部１０２は、受容体１の中心部から外側に向けて受容体１の軸線に対して傾斜した形状である。なお、受容体１の軸線とは、受容体１の正規姿勢時に噴出空気６０１の噴出方向に沿った線である。すなわち、噴出方向が水平面に対して垂直であれば、受容体１の軸線は、受容体１を当該水平面に置いた場合におけるその水平面に垂直な線である。傾斜側面部１０２に噴出空気６０１が当てられると、空気は噴出方向に対して垂直な方向（横方向）の成分を伴って流される。空気の流れを変えることによって噴出方向に対して垂直な方向（横方向）の成分を含んだ力が反動として生じ、その力が操作者７に伝えられる。傾斜側面部１０２の具体的な形状としては、後記するように、例えば、傾斜面や、円弧に湾曲した曲面とすることができる。

受容体計測部２は、受容体１の位置及び向きを常時検出するように構成された装置である。受容体計測部２として、カメラ、磁気センサ、超音波センサ、赤外線センサ、予め付けたマークを映像解析して検出する検出手段等を使用できる。

仮想オブジェクト算出部３は、コンピュータにより実現されるものであり、受容体計測部２で計測された受容体１の位置あるいは向きに応じて、仮想空間表示部４で表示される仮想オブジェクトの状態（位置、形状、色等）を算出する。例えば、仮想オブジェクト算出部３は、検出された受容体１の位置と連動して動く仮想オブジェクトを生成する。仮想オブジェクト算出部３は、検出した受容体１の位置あるいは向き、又は別の仮想オブジェクトの状態に応じた仮想オブジェクトを算出して生成するように構成してもよい。

仮想空間表示部４は、仮想オブジェクト算出部３の算出結果に基づき、仮想オブジェクトを含む仮想空間を表示する手段であり、例えばプロジェクタを用いて実現できる。

噴出制御部５は、受容体計測部２により計測された受容体１の位置もしくは向きに応じて、又は仮想空間内の所定の仮想オブジェクトの状態に応じて、噴出部６の噴出口６０２の空気噴出位置及び噴出空気６０１の噴出量を制御する。また、噴出口６０２の噴出方向は可変とすることもでき、その場合、噴出量とともに噴出方向も制御する。例えば、操作者に力覚を提示できるように、受容体１の位置及び向きに応じて、空気を噴出させる特定の噴出口６０２を決定し、その噴出口６０２から噴出される空気の噴出量及び噴出方向を決定する。また、仮想オブジェクトの状態は、受容体１の位置あるいは向きに関係なく別の要因で決定される場合があるので、その仮想オブジェクトの状態に応じて特定の噴出口６０２から噴出される空気の噴出量を決定する。この噴出制御部５はコンピュータによって実現できる。

噴出部６は、噴出制御部５からの制御に応じて、噴出空気６０１を噴出する。この噴出部６の具体例としては、上方向に空気が噴出する１つ以上の噴出口６０２を机等の水平面上に２次元に並べた装置がある。

本実施例の力覚提示装置における仮想オブジェクト算出部３及び噴出制御部５は、これらの機能部の処理をコンピュータに実行させるプログラムをコンピュータに搭載することにより実現することが可能である。そのプログラムはＣＤ−ＲＯＭ等の記録媒体に記録して提供することもできるし、ネットワークを通じて提供することもできる。

図３のフローチャートを参照して図１に示す力覚提示装置の動作を説明する。受容体計測部２が、操作者７に把持された、又は操作者７に取り付けられた受容体１の位置又は向きを検出する（ステップ１１）。

仮想オブジェクト算出部３は、受容体計測部２により計測された受容体１の位置又は向きに応じて、仮想空間内の仮想オブジェクトの状態（位置、形状など）を算出する（ステップ１２）。例えば、受容体１が仮想オブジェクトを押下げるように移動した場合に、仮想オブジェクトの該当部分が凹むように仮想オブジェクトの状態を算出する。

仮想空間表示部４は、仮想オブジェクト算出部３による算出結果に基づき、その仮想オブジェクトを含む仮想空間を表示する（ステップ１３）。仮想空間は別の仮想オブジェクトを含んでもよい。

また、噴出制御部５は、受容体計測部２によって計測された受容体１の位置あるいは向き、又は仮想空間６内の仮想オブジェクトの状態に応じて、受容体１の中央部１０１又は傾斜側面部１０２に空気を噴出するよう、噴出部６において空気を噴出する噴出口６０２及び噴出量を決定し、噴出部６に制御信号を送信する（ステップ１４）。例えば、操作者が仮想オブジェクトを真下に押す操作をしたことに応じて受容体１に垂直上方の力を与えるために、受容体１の真下にある噴出口６０２から、仮想オブジェクトの硬さ等に応じて決定した量の空気を噴出するように制御を行う。

そして、噴出制御部５による制御信号に基づき噴出部６が特定の噴出口６０２から空気を噴出する（ステップ１５）。そして、イベント処理を再度実行する場合にはステップ１１に戻り、再度実行しない場合は処理を終了する（ステップ１６）。

上記の処理において、ステップ１２〜１３の処理、ステップ１４〜１５の処理は、必ずしもこの順番で行う必要はない。例えば、ステップ１１の処理の後、ステップ１２〜１３の処理とステップ１４〜１５の処理とを並行して行ってもよい。

（受容体１について）
次に、受容体１について詳細に説明する。

本実施例の受容体１は、例えば、平面形状や半球などの凹形状の中央部１０１の外側（周囲）に、円弧に湾曲した曲面、もしくは傾斜面をもつ傾斜側面部１０２を具備させた構成を有している。

図４Ａ〜４Ｃに受容体１の一例の断面を示す。図４Ａは、中央部１０１として中心に半球の凹形状の部分を形成し、傾斜側面部１０２として円弧形に湾曲した曲面部を設けた受容体１を示す。図４Ｂは、中央部１０１として中心に半球の凹形状の部分を形成し、傾斜側面部１０２として傾斜面を設けた受容体１を示す。

図４Ａ、Ｂに示すように、傾斜側面部１０２を円弧形状もしくはそれに近い形状又は傾斜面とすれば、下方から流れ込んだ空気がその傾斜側面部１０２で向きを変更して、噴出方向に対して垂直な方向（横方向）の成分を伴って流される。

このような傾斜側面部１０２は受容体１の周囲の全部に又は一部に取り付けることができる。図４Ｄは受容体１を下からみた下面図であり、中心部１０１の周囲全部に傾斜側面部１０２を設けた例を示すものである。また、図４Ｅも受容体１を下からみた下面図であり、傾斜側面部１０２を複数に分割して設けた例を示すものである。なお、受容体１としては、図４Ｃに示すように、中央部１０１を無くして、円弧状に湾曲した傾斜側面部１０２のみからなる形状とすることもできる。図４Ｃは、図４Ａの例における中央部１０１を無くし、円の周囲に存在していた傾斜側面部１０２を中心に配置した例を示している。この場合でも、図４Ｄ、Ｅに示したように、傾斜側面部１０２を一体として形成してもよいし、複数に分割したものとして形成してもよい。また、傾斜側面部１０２を、中心点の周囲の一部に設けた形状とすることもできる。

以上のように構成された受容体１に対する噴出空気６０１による作用を説明する。図５Ａに示すように、受容体１の中央部１０１に噴出空気６０１を当てるときは、従来と同様に、噴出方向やそれに近い方向の力を操作者に対して提示することができる。また、図５Ｂに示すように、受容体１の傾斜側面部１０２の一部に噴出空気を当てるときは、図５Ｃに示すように、噴出空気６０１が傾斜側面部１０２に衝突し、そこから側面の主に横外側に流れ出すことになる。

噴出空気６０１が傾斜側面部１０２に衝突した場合に発生する力について図６を参照して説明する。

噴出空気６０１が傾斜側面部１０２に衝突した場合に発生する力は、噴出空気の衝突前と衝突後の運動量の変化から求めることができる。密度ρ[kg/m³]、流速v [m/s]、流量Q [m³/s]の噴出空気が、図６に示すように、静止している傾斜面に衝突し、その流れの向きが角度θ（0<θ<90度とする）だけ変化するものとする。このとき、傾斜面が受ける力F [N]のx成分をF_x、z成分をF_zとすると、以下の式が成り立つ。ただし、噴出空気がその内部の全ての点で静圧が等しい非粘性流体であると仮定し、また、噴出空気の傾斜面への衝突や傾斜面での摩擦による運動エネルギーの損失は無視している。

0 =‐F_x＋ρQv・sinθ
ρQv = F_z＋ρQv・cosθ
これより、F_xおよびF_zは以下のように求められる。

F_x =ρQv・sinθ
F_z =ρQv・(1‐cosθ)
従って、空気の流れを受容体傾斜側面部１０２の傾斜面によって噴出方向に対して垂直な方向（横方向）の成分を伴った流れに変化させることで、噴出空気６０１の噴出方向に対して垂直な方向（横方向）の成分の力F_xを含んだ力Fが発生し、その力を操作者に提示することができる。

そこで、受容体１を把持した操作者７に右方向の力を加える場合、左側の傾斜側面部１０２に空気が当たるように空気を噴出する（図５Ｂ）。右方向の力以外の力を加える場合は、同様にその逆側の傾斜側面部１０２に空気を噴出すれば良い。

図４Ｃに示したような傾斜側面部１０２のみからなる形状の受容体１に対して、横方向の成分を含んだ力を提示する場合については、図５Ｂに示した場合と同様であるが、上方向の力を提示する場合は、傾斜側面部１０２の対向する両側あるいは全面に噴出空気６０１が当たるように噴出空気を制御すればよい（図５Ｄ参照）。

なお、実際には、上式で示したように、横方向への力F_xとともに上方向への力F_zも発生する。上式より、横方向への力F_xに対する上方向への力F_zの比は、(1‐cosθ)／sinθとなり、前述の範囲（0<θ<90度）においては角度θが小さいほど横方向への力F_xに比べて上方向への力F_zが小さくなる。しかしながら、上方向への力F_zを小さくするため、角度θを小さくすれば、力の絶対量が小さくなり、横方向への力F_xも小さくなってしまう。

そこで、傾斜側面部１０２は、噴出空気の状態（噴出量や噴出速度等）と傾斜面の状態（面積や摩擦等）とに応じて、意図した横方向への力を提示することができ、かつ横方向への力に対して上方向への力ができるだけ小さくなるような傾斜角度および形状とすることが望ましい。また、上方向への力を小さくするように噴出空気６０１の衝突位置を制御することが望ましい。

図４Ｄの受容体には、傾斜側面部１０２が、空気の噴出方向に平行な軸に対し、環状形に備わっている。そのため、傾斜側面部１０２の任意の位置に噴出空気を当てることにより、噴出方向に対して垂直な任意の方向（横方向）に空気の流れを変えることができ、噴出方向に対して垂直な任意の方向（横方向）の力を提示することができる利点を持つ。

しかし、図４Ｄの受容体１のように、xy平面に平行な断面における形状が噴出口のxy平面上の位置に対して凸形の曲線となるような曲面形状の傾斜面からなる傾斜側面部を持つ受容体では、横方向への力の提示可能な大きさが小さくなってしまうという欠点がある。以下、その理由について図７を参照して説明する。

図７は、噴出空気が曲面形状の傾斜面からなる傾斜側面部１０２に衝突し、傾斜側面部１０２に対して、噴出方向と垂直な方向（図の左側方向）の力が作用する様子を示す図である。なお、図７は、傾斜側面部１０２の水平断面を噴出方向から見た図である。

図７に示すように、噴出した空気は放射状に広がり、傾斜側面部１０２の衝突点０、および衝突点０の周囲の点である衝突点１や衝突点２に衝突する。衝突点０で衝突した空気は、図７の左側方向を向いた横方向の力であるF0を生じさせる。しかし、傾斜面は噴出口から見て凸の曲面形状を有しているので、衝突点１や衝突点２に衝突した空気は、提示しようとする力とは異なる方向の力であるF1、F2を生じさせる（ここでは面の表面の摩擦は無視する）。

F1はF1_xとF1_yに、F2はF2_xとF2_yに、それぞれ分解することができ、F1_x、F2_xが図７の左側方向を向いた横方向の力として提示されるが、このF1_x、F2_xは分力であるためそれぞれF1、F2よりも小さくなる。また、衝突点１や衝突点２は、噴出口からの距離が長くなってしまうので、提示しようとする力と一致した方向の力はさらに小さくなる。

そこで、横方向への力の提示可能な大きさを大きくするために、提示可能な力の方向は限られることになるが、傾斜側面部１０２の傾斜面の形状を例えば、図８Ａ〜８Ｃに示すように、円筒形状の一部としてもよい。図８Ａは傾斜側面部１０２の傾斜面を円筒形状の一部にした受容体１を下から見た図であり、図８Ｂは当該受容体１を斜めから見た図であり、図８Ｃは当該受容体１の縦断面図である。

また、図９Ａ〜９Ｃに示すように、受容体１の傾斜側面部１０２の傾斜面を、xy平面に平行な断面における形状が噴出口のxy平面上の位置に対して凹形の曲線となるような曲面形状としてもよい。図９Ａは当該受容体１を下から見た図であり、図９Ｂは当該受容体１を斜めから見た図であり、図９Ｃは当該受容体１の縦断面図である。

傾斜側面部１０２の傾斜面の形状を図８Ａ〜８Ｃのような形状にすることで、衝突点に当たった空気は全て、傾斜面に対して垂直な同一方向の力を与えるようになるので、提示する力が大きくなる。また、傾斜側面部１０２の傾斜面の形状を図９Ａ〜９Ｃのような形状にすることで、図４Ｄのような形状の傾斜面に比べ、噴出口と衝突点との距離が短くなるので、横方向に提示する力が大きくなる。

（力の提示の具体例）
操作者７が受容体１を動かすことにより、操作者７に力が提示される具体例について以下説明する。

操作者７が受容体１を動かすことで、変化する受容体１の位置や向きが受容体計測部２により計測される。そして、その位置や向きに応じて、仮想空間内の受容体１に対応するオブジェクトが動き、そのオブジェクトが別のオブジェクトに上から又は横から接触したとき、噴出制御部５が噴出部６を制御し、上向き又は横向きの力を操作者７に提示するように受容体１に対して空気を噴出する。以下、より詳細に説明する。

まず、仮想空間内の受容体１に対応するオブジェクトが別のオブジェクトに上方向又はそれに近い方向から接触し、上向きの力を提示する場合は、受容体１の中央部１０１に噴出空気６０１が当たるように、受容体１の中央部１０１直下近くの噴出口６０２から噴出空気６０１を噴出させる（図５Ａ）。

仮想空間内の受容体１に対応するオブジェクトが別のオブジェクトに横方向や又はそれに近い方向から接触し、横向き成分を含んだ力を提示する場合は、受容体１の傾斜側面部１０２に噴出空気６０１が当たるように、噴出部６の噴出口６０２から空気を噴出する。この場合、なるべく図５Ｃに示すように、面に沿って横方向に流れやすい噴出口６０２から噴出するように噴出部６を制御する。

ただし、噴出空気６０１は噴出口６０２から遠ざかるほど広がるので、それを考慮する必要がある。具体的には、図１０Ａに示すように、受容体１の傾斜側面部１０２と噴出口６０２との間の距離が短い場合は、受容体１の傾斜側面部１０２に近い噴出口６０２から空気を噴出させる。また、図１０Ｂに示すように、受容体１が噴出口６０２の並ぶ面に対して図１０Ａの場合より高い位置にある場合は、受容体１の傾斜側面部１０２に噴出空気６０１が当たるように、空気の広がりに応じて傾斜側面部１０２から離れた噴出口６０２から空気を噴出させる。

このように、横方向から物体に接触する映像に連動させ、接触横方向成分を含んだ力を操作者７に提示することで、操作者７に横方向から接触したように感じさせることができる。

前記した仮想空間表示部４による表示方法としては、一般のディスプレイやヘッドマウントディスプレイ（head mounted display）、又はプロジェクタによる投影が挙げられる。その際、操作者7の視点位置を光学式や磁気式などによる位置検出装置によって検出し、操作者7の視点に応じた仮想空間表示を行う。また、操作者7の左右の目の位置に応じた仮想空間映像を表示し、操作者7がその映像を左右それぞれの目で見ることが可能なヘッドマウントディスプレイや立体視メガネを装着することで、立体的に仮想空間表示を行なう方法を用いることもできる。

特に実際に力覚提示される領域に、両目への映像をプロジェクタによって投影し、操作者７は立体視メガネを装着して観る方法が、操作者７への負荷が少ない方法である。この表示方法によれば、力覚提示する領域に仮想物体を立体表示させるので、視覚と力覚による提示位置を一致させることができ、より直感的な体験を可能とすることができる。また、力を伝えるために空気を使用するので、映像表示を邪魔しない特徴を生かすこともできる。この立体視メガネを使用した立体表示方法としては、赤と青の映像と赤青メガネを使用する方法、偏向をさせた投影映像と偏向メガネを使用する方法、時分割で切り替えた左右映像とシャッターメガネを使用する方法などがある。

また、操作者７の両目の視点に応じた立体映像による仮想空間表示部４と噴出部６とを統合させるため、噴出口６０２を有する噴出部６としての机の真上にプロジェクタを取り付け、コンピュータで構築された仮想空間の映像を、その机の上に投影する手法がある。この手法では、仮想空間表示部４は、机の上に存在するとした仮想物体などを、操作者７の左右の視点位置から見た場合の左右の仮想空間映像として机の上に投影する。このとき、操作者７の左右の目の位置を直接検出する代わりに、例えば操作者７に立体視メガネを装着させ、その立体視メガネの左右の目の位置に近い部分に取り付けたマーカをカメラで撮影する光学式位置検出方法などによって、操作者７の視点の位置を検出することができる。これらの結果として、操作者７の視点に応じた立体映像を投影でき、噴出部６としての机の上の空間に仮想物体が浮かび上がったように視覚提示することができる。

（噴出口の決定方法）
次に、空気の噴出方向に対して垂直な方向（横方向）の成分を含んだ力を提示する場合に、空気の噴出を行う噴出口を決定する方法について説明する。なお、以下で説明する処理は、力覚提示装置における噴出制御部５により実行される。

図１１は、平面に複数の噴出口６０２を有する噴出部６と、傾斜側面部１０２を受容体１の中央部１０１の周囲全部に設けた受容体１とを、上部から見下ろした図である。図１２は、ここで使用されている受容体１の断面図である。

図１１に示すように、受容体１の中心Pの座標を(X_Re, Y_Re)、受容体１の中心Pから傾斜側面部内縁（すなわち中央部外縁）までの距離をR1、受容体中心Pから傾斜側面部外縁までの距離を R2、ij番目の噴出口N_ij の座標を(X_i, Y_j)、受容体１に提示する力の方向を示すベクトルをV_f:(a, b)、噴出口N_ijから受容体中心PへのベクトルをV_PN とする。

まず、全ての噴出口からの噴出量及び噴出圧力が同じである場合を考える。噴出口が十分に密に配置されており、全ての位置に存在していると仮定した場合、V_f:(a, b)の方向の力を提示するために、
V_f×|V_PN|/ |V_f| =V_PNかつ R1≦|V_PN|≦R2 （式１）を満たす噴出口を選択する。つまり、傾斜側面部内縁と傾斜側面部外縁との間に位置し、噴出口から中心Ｐに向かう方向が力の方向と同じになる噴出口を選択し、空気を噴出させる。ここで、式１を満たす噴出口が複数ある場合には、それら複数の噴出口から空気を噴出する。もしくは、式１を満たす噴出口が複数ある場合において、同時に噴出する噴出口を１つまたはその内の指定の複数個とする場合には、下記のようにして１つまたは指定複数個の噴出口を選択する。

できるだけ大きな横方向の力を得るためには、受容体１に効率的に力を与える必要があるが、そのためには傾斜側面部１０２の傾斜面に沿って外側に空気が流れていくことが望ましい。そのために、傾斜側面部１０２の有効な存在範囲において、傾斜側面部１０２の傾斜カーブの最も下部近くで空気の噴出を受けることが望ましい。すなわち、傾斜側面部１０２における中央部１０１に近い位置で空気の噴出を受けることが望ましい。従って、式１を満たす噴出口が複数ある場合には、|V_PN|が最も小さい噴出口を１つ選択する。もしくは、噴出口を指定の複数個選択する場合には、|V_PN|の小さいほうから当該個数の噴出口を選択する。

噴出口が疎に配置されている場合、V_f×|V_PN|/ |V_f| =V_PNを満たす噴出口が存在しない場合がある。この場合、V_fに近いV_PNの噴出口を選択する。より詳細には、図１３に示すように、V_fとV_PNとのなす角をθ_ijとすると、
R1≦|V_PN|≦R2を満たす噴出口の中で、|θ_ij|が最も小さい噴出口を選択する（式２）。なお、θ_ij=cos^-1{ V_f・V_PN }/{ |V_f||V_PN|} (・は内積）である。つまり、この場合、傾斜側面部内縁と傾斜側面部外縁の間に位置し、かつ、噴出口から中心Ｐに向かう方向が力の方向に最も近い噴出口を選択し、空気を噴出させる。|θ_ij|が最も小さい噴出口が複数存在する場合には、|V_PN|が最も小さい噴出口を選択すればよい。

また、受容体１に与える力の大きさを優先するために、所定の範囲内のθ_ijを持つ噴出口の中で、|V_PN|が最も小さい噴出口を選択することとしてもよい。すなわち、R1≦|V_PN|≦R2かつ0≦|θ_ij|≦γを満たす噴出口のうち、|V_PN|が最も小さい噴出口を選択する（式３）。つまり、この場合、噴出口から中心Ｐに向かう方向と力の方向との角度差の大きさが所定値以下である噴出口のうち、傾斜側面部内縁と傾斜側面部外縁の間に位置し、噴出口と中心Ｐとの間の距離が最小となる噴出口を選択し、空気を噴出させる。

同時に噴出する噴出口を複数個とする場合は、同時に噴出する噴出口における個々の噴出口から中心Ｐへのベクトルを合成し、仮想的な一つのベクトルとしてV_PNを設定する。そして、上記と同様の方法で、当該複数個の噴出口を決定する。

また、個々の噴出口からの噴出量又は噴出圧力が各々異なっている場合については、個々の噴出口に対するベクトルV_PNを、噴出口の座標と受容体中心Ｐの座標に加えて、当該噴出口からの空気噴出量もしくは噴出圧力に基づき設定する。例えば、V_PNの向きを噴出口から受容体中心Ｐへの向きとし、V_PNの大きさを噴出口と受容体中心Ｐ間の距離に比例し、空気噴出量もしくは噴出圧力に反比例するように設定する。例えば、ある噴出口の空気噴出量が大きい場合、V_PNの大きさは実際の噴出口と受容体中心Ｐ間の距離より小さくなり、R1≦|V_PN|≦R2を満たす噴出口を選択することにより、傾斜側面部外縁の外側にある噴出口も選択可能となる。

式１〜式３で示す方法において、R1、R2の値として、実際の中央部１０１及び傾斜側面部１０２の大きさの値をそのまま使用することの他、物体に接触していると感じるために必要な力の大きさ等、アプリケーションに応じた大きさの力を提示するための有効な傾斜測定部１０２の範囲を考慮して設定することもできる。また、計測位置の誤差等を考慮して設定してもよい。

例えば、実験等により、必要な提示力を得るために有効な傾斜側面部１０２の範囲（受容体中心Ｐからの距離Rで示す）が、R1+α≦R≦R2-β (α, β>0)として求められた場合には、式１〜式３で示す方法において、R1をR1+αに置き換え、R2をR2-βに置き換えればよい。ただし、α, βは受容体１の位置により異なる場合があるので、様々な受容体１の位置においてRを計測し、α, βをそれぞれ受容体１の位置の関数としてもよい。

以上の噴出口の決定方法では、図１１、図１２に示すような環状形の傾斜側面部１０２を持つ受容体を前提としている。環状形の傾斜側面部１０２を持つ受容体の場合、噴出方向に対して垂直な任意の方向（横方向）の力を提示することができるため、式１〜式３で示す方法における受容体１に提示する力の方向を示すベクトルV_fも任意の向きに設定することができる。

一方、図８Ａ〜８Ｃに示したような形状の傾斜側面部１０２を持つ受容体や図９Ａ〜９Ｃに示したような形状の傾斜側面部１０２を持つ受容体の場合、提示可能な力の方向は限られることになるが、その噴出口の決定方法は、ベクトルV_fをその限られた方向に設定することで、式１〜式３で示す方法をそのまま利用することができる。

この場合について図１４Ａ、Ｂを参照して具体的に例を挙げて説明する。図１４Ａは、図８Ａ〜８Ｃに示したような傾斜側面部１０２の傾斜面を円筒形状の一部にした受容体が操作者に提示する力を説明するための図であり、図１４Ｂは、図９Ａ〜９Ｃに示したような傾斜側面部１０２の傾斜面をxy平面に平行な断面における形状が噴出口のxy平面上の位置に対して凹形の曲線となるような曲面形状にした受容体が操作者に提示する力を説明するための図である。図１４Ａ、Ｂに示す受容体はそれぞれ４つの傾斜面からなる傾斜側面部１０２を持っている。

図１４Ａ、Ｂで示した受容体の場合、各図の上側の傾斜側面部１０２に噴出空気を当てることで、図の下方向への力を操作者に提示することができる。同様に、各図の下側、左側、右側の傾斜側面部に噴出空気を当てることで、それぞれ各図の上方向、右方向、左方向への力を操作者に提示することができる。

つまり、同時に噴出する噴出口を１つとした場合は、式１〜式３で示す方法において、ベクトルV_fの方向を各図の上方向、下方向、左方向、右方向に設定することで、それぞれ各図の上方向、下方向、左方向、右方向の４方向への力を提示することができる。なお、傾斜側面部１０２を構成する傾斜面の数を増やすことで提示可能な方向を増やすこともでき、また同時に噴出する噴出口を複数とし、複数の噴出空気をそれぞれ異なる傾斜面に当てた際に発生する複数の力を合成して提示することにより提示可能な方向を増やすこともできる。

図１５に実施例２の力覚提示装置の構成を示すブロック図を示す。図１６にその力覚提示装置の処理のフローチャートを示す。

本実施例２では、受容体１の傾斜側面部１０２は、その位置や傾きを変えることが可能な変形機構を備える。また、図１５に示すように、実施例２の力覚提示装置は、仮想空間内の仮想オブジェクトの状態に応じて、又は受容体１の位置もしくは向きに応じて、受容体１の傾斜側面部１０２の位置もしくは傾きを変える受容体側面部制御部８を備える。この場合の傾斜側面部１０２は、複数に分割されている図４Ｅに示したような形状が好ましい。受容体側面部制御部８は、仮想オブジェクト算出部３及び噴出制御部５とともに、これらの処理をコンピュータに実行させるプログラムをコンピュータに搭載することにより実現することが可能である。また、受容体側面部制御部８と受容体１の変形機構との間は、有線もしくは無線で接続し、受容体側面部制御部８から受容体１に対して制御信号を送信できるようにする。

図１６に示すように、実施例２における力覚提示装置の処理は、仮想オブジェクト表示処理（ステップ２３）と噴出制御処理（ステップ２５）との間に傾斜側面部制御処理（ステップ２４）が追加されている点で実施例１における力覚提示装置の処理と異なる。ステップ２４において、受容体側面部制御部８は、噴出口から噴出する空気の流れに対して傾斜側面部１０２の方向を一定に保つように傾斜側面部１０２の位置もしくは向きを制御する。この制御は、計測された受容体１の位置もしくは向き、又は仮想空間内の仮想オブジェクトの状態に基づき行われる。

例えば、受容体１が傾いたことを受容体計測部２が検出し、その検出信号が受容体側面部制御部８に送られ、受容体側面部制御部８は、傾斜側面部１０２の状態が、受容体１が傾く前の状態における傾斜側面部１０２の状態と同じになるように傾斜側面部１０２に対する回転量等を決め、受容体１に対して当該回転量に対応する制御信号を送信する。

実施例２の傾斜側面部１０２は、例えば図１７Ａに示すように、内側と外側の２重の羽根１０２ａ，１０２ｂにより形成される。羽根１０２ａと中央部１０１間は羽根１０２ａが支点ｃを中心に回転可能なように接続されている。また、羽根１０２ａと羽根１０２ｂ間は、支点ｄを中心に互いに回転可能なように接続されている。また、各支点には、受容体側面部制御部８からの制御信号を受けて羽根を回転させるための駆動装置が備えられている。

受容体側面部制御部８は、例えば、図１７Ｂに示すように、内側の羽根１０２ｂのみ回転させるように傾斜側面部１０２を制御できる。また、受容体側面部制御部８は、例えば、図１７Ｃに示すように、内側外側の２重の羽根１０２ａ，１０２ｂを一体として中央部１０１に対して回転させて上下方向に移動させるように制御することもできる。なお、図１７Ｃに示す方向への側面回転だけでよい場合は、傾斜側面部１０２を２重にしない方法で実現することができる。

本実施例２の使用例として、上方向に空気が噴出する１つ以上の噴出口６０２を水平面上に２次元に並べた噴出部６に対して受容体１の向きが変化した場合について説明する。

横方向の力を提示するため傾斜側面部１０２に噴出している噴出口６０２の空気噴出方向に対して、受容体１全体の向き（つまり姿勢）が変化すると、受容体１と一体となっている傾斜側面部１０２の向きも噴出方向に対して変化し、操作者７に提示される力の向きも変わってしまう。

そこで、受容体１の向きが変化した場合、図１６のフローチャートのステップＳ２４に示すように、その向きの変化に応じて受容体１の傾斜側面部１０２の向きを変え、噴出空気６０１の流れに対して傾斜側面部１０２の方向（向き）が変化しないようにする。これにより、提示したい力の方向を一定に保つことができる。

図１８Ａに羽根１０２ｂを制御して傾斜側面部１０２の傾きを制御する例を示す。この例は、受容体１が、図１７Ａの状態から反時計回りの方向にある角度だけ回転した場合を示している。この場合、羽根１０２ｂを、羽根１０２aに対して図１８Aに示すように時計回りの方向に回転させる。これにより、傾斜側面部１０２における空気を受ける部分の向きを、図１７Aの状態における傾斜側面部１０２の空気を受ける部分の向きと同じに保つことができる。

図１８Bは羽根１０２ａ、１０２ｂを一体として制御する例を示す。この例は、受容体１が、図１７Ａの状態から時計回りの方向にある角度だけ回転した場合を示している。この場合、羽根１０２ａ、１０２ｂを一体として中央部１０１に対して反時計回りの方向に回転させる。これにより、傾斜側面部１０２の向きを、図１７Ａの状態における傾斜側面部１０２の向きと同じに保つことができる。なお、羽根をある支点を中心として回転させることにより、羽根の位置と向きが変更されている。上記の例では、羽根をある支点を中心として回転させる構成を示したが、羽根の位置又は向きを変更できる方法であれば、どのような構成でもよい。例えば、羽根を伸縮可能としてもよい。また、羽根自体を変形可能な構成としてもよい。

また、噴出空気６０１の噴出方向に対して受容体１の向きが変化していない場合でも、仮想空間内の仮想オブジェクトの状態に応じて、傾斜側面部１０２の傾きを制御することとしてもよい。傾斜側面部１０２の傾きを変えることにより、噴出空気６０１の方向に対して受容体１の傾斜側面部１０２から噴出空気６０１が流れ出ていく方向を変え、仮想空間内の仮想オブジェクトの状態に応じて、受容体１にかかる力の方向を制御することができる。

本発明は、上記の各実施の形態に限定されることなく、特許請求の範囲内で種々変更・応用が可能である。

実施例１の力覚提示装置の構成図である。実施例１の力覚提示装置の受容体と噴出部と操作者との関係の説明図である。実施例１の力覚提示装置の操作処理のフローチャートである。実施例１の受容体の断面図（１）である。実施例１の受容体の断面図（２）である。実施例１の受容体の断面図（３）である。実施例１の受容体を下から見た図である。実施例１の別の例の受容体を下から見た図である。実施例１の受容体に対する噴出空気の吹き付けの説明図（１）である。実施例１の受容体に対する噴出空気の吹き付けの説明図（２）である。実施例１の受容体に対する噴出空気の吹き付けの説明図（３）である。実施例１の受容体に対する噴出空気の吹き付けの説明図（４）である。噴出空気が傾斜側面部に衝突した場合に発生する力を説明するための図である。噴出空気が曲面形状の傾斜面からなる傾斜側面部に衝突した場合に発生する力を説明するための図である。傾斜側面部の傾斜面を円筒形状の一部にした受容体を下から見た図である。傾斜側面部の傾斜面を円筒形状の一部にした受容体を斜めから見た図である。傾斜側面部の傾斜面を円筒形状の一部にした受容体の縦断面図である。傾斜側面部の傾斜面を、xy平面に平行な断面における形状が噴出口のxy平面上の位置に対して凹形の曲線となるような曲面形状とした受容体を下から見た図である。傾斜側面部の傾斜面を、xy平面に平行な断面における形状が噴出口のxy平面上の位置に対して凹形の曲線となるような曲面形状とした受容体を斜めから見た図である。傾斜側面部の傾斜面を、xy平面に平行な断面における形状が噴出口のxy平面上の位置に対して凹形の曲線となるような曲面形状とした受容体の縦断面図である。実施例１の受容体に対する噴出空気の吹き付けの説明図（５）である。実施例１の受容体に対する噴出空気の吹き付けの説明図（６）である。平面に複数の噴出口を有する噴出部と、傾斜側面部を受容体の中央部の周囲全部に設けた受容体とを、上部から見下ろした図である。受容体の断面図である。 V_fとV_PNとのなす角θ_ijを説明するための図である。傾斜側面部の傾斜面を円筒形状の一部にした受容体が操作者に提示する力を説明するための図である。傾斜側面部１０２の傾斜面をxy平面に平行な断面における形状が噴出口のxy平面上の位置に対して凹形の曲線となるような曲面形状にした受容体が操作者に提示する力を説明するための図である。実施例２の力覚提示装置の構成図である。実施例２の力覚提示装置の操作処理のフローチャートである。実施例２の受容体の説明図（１）である。実施例２の受容体の説明図（２）である。実施例２の受容体の説明図（３）である。実施例２の受容体の姿勢制御の説明図（１）である。実施例２の受容体の姿勢制御の説明図（２）である。従来例の力覚提示装置の受容体と噴出手段と操作者との関係の説明図である。

符号の説明

１：受容体、１０１：中央部、１０２：傾斜側面部、１０２ａ，１０２ｂ：羽根
２：受容体計測部
３：仮想オブジェクト算出部
４：仮想空間表示部
５：噴出制御部
６：噴出部、６０１：噴出空気、６０２：噴出口
７：操作者
８：受容体側面部制御部

Claims

受容体の位置又は向きに応じて気体又は液体を噴出手段の噴出口から噴出させ該受容体に当てることにより該受容体を介して操作者に力覚を提示する力覚提示方法であって、
前記受容体に中心部から外側に向けて前記受容体の軸線に対して傾斜した形状をなす傾斜側面部を設け、該傾斜側面部に対して前記気体又は液体を噴出することにより、前記受容体に対して、前記気体又は液体の噴出方向に垂直な方向の成分を含んだ力を与える力覚提示方法であり、
前記噴出手段は平面上に複数の噴出口を配した構造を持ち、前記受容体が当該平面上の所定の高さの位置にある場合において、前記受容体の傾斜側面部内縁と傾斜側面部外縁との間に位置し、かつ、噴出口から前記受容体の中心に向かう方向と前記受容体に与えようとする力の方向との角度差が所定の値以下となり、かつ、噴出口と前記受容体の中心との間の距離が最小となる噴出口を選択し、選択された噴出口から前記気体又は液体を噴出させることを特徴とする力覚提示方法。
請求項１に記載の力覚提示方法において、
前記受容体の位置又は向きに応じて前記傾斜側面部の位置又は向きを変化させることを特徴とする力覚提示方法。
請求項１又は２に記載の力覚提示方法において、
前記受容体の位置又は向きに応じて仮想オブジェクトを算出して該算出結果に基づき該仮想オブジェクトを含む仮想空間を表示させることを特徴とする力覚提示方法。
受容体の位置又は向きに応じて気体又は液体を噴出手段の噴出口から噴出させ該受容体に当てることにより該受容体を介して操作者に力覚を提示する力覚提示方法において用いられる力覚提示装置であって、
前記力覚提示装置は、前記力覚提示装置に接続された受容体計測手段によって計測された前記受容体の位置又は向きに応じて前記噴出手段の噴出口から噴出する前記気体又は液体の噴出量又は噴出方向を制御する噴出制御手段を備え、
前記受容体は、中心部から外側に向けて前記受容体の軸線に対して傾斜した形状をなす傾斜側面部を有し、また、前記噴出手段は平面上に複数の噴出口を配した構造を持ち、
前記受容体が当該平面上の所定の高さの位置にある場合に、前記気体又は液体の噴出方向に垂直な方向の成分を含んだ力を前記受容体に与えるために、前記噴出制御手段は、前記受容体の傾斜側面部内縁と傾斜側面部外縁との間に位置し、かつ、噴出口から前記受容体の中心に向かう方向と前記受容体に与えようとする力の方向との角度差が所定の値以下となり、かつ、噴出口と前記受容体の中心との間の距離が最小となる噴出口を選択し、選択された噴出口から前記気体又は液体を噴出するよう前記噴出手段を制御することを特徴とする力覚提示装置。
請求項４に記載の力覚提示装置において、
前記受容体に前記傾斜側面部の位置又は向きを変化する変形機構を備え、且つ該変形機構を前記受容体計測手段によって計測された前記受容体の位置又は向きに応じて制御する受容体側面部制御手段を備えたことを特徴とする力覚提示装置。
請求項４又は５に記載の力覚提示装置において、
前記受容体計測手段によって計測された前記受容体の位置又は向きに応じて仮想空間内の仮想オブジェクトの状態を算出するとともに、該算出結果に基づき前記仮想オブジェクトを含む前記仮想空間を仮想空間表示手段に表示させる仮想オブジェクト算出手段を備えたことを特徴とする力覚提示装置。
受容体の位置又は向きに応じて気体又は液体を噴出手段の噴出口から噴出させ該受容体に当てることにより該受容体を介して操作者に力覚を提示する力覚提示方法において用いられる力覚提示装置の機能をコンピュータに実現させるためのプログラムであって、前記コンピュータを、
前記コンピュータに接続された受容体計測手段によって計測された前記受容体の位置又は向きに応じて前記噴出手段の噴出口から噴出する前記気体又は液体の噴出量又は噴出方向を制御する噴出制御手段として機能させるためのプログラムであり、
前記受容体は、中心部から外側に向けて前記受容体の軸線に対して傾斜した形状をなす傾斜側面部を有し、また、前記噴出手段は平面上に複数の噴出口を配した構造を持ち、
前記受容体が当該平面上の所定の高さの位置にある場合に、前記気体又は液体の噴出方向に垂直な方向の成分を含んだ力を前記受容体に与えるために、前記噴出制御手段は、前記受容体の傾斜側面部内縁と傾斜側面部外縁との間に位置し、かつ、噴出口から前記受容体の中心に向かう方向と前記受容体に与えようとする力の方向との角度差が所定の値以下となり、かつ、噴出口と前記受容体の中心との間の距離が最小となる噴出口を選択し、選択された噴出口から前記気体又は液体を噴出するよう前記噴出手段を制御することを特徴とするプログラム。
請求項７に記載のプログラムにおいて、
前記受容体は前記傾斜側面部の位置又は向きを変化する変形機構を備え、
前記コンピュータを、該変形機構を前記受容体計測手段によって計測された前記受容体の位置又は向きに応じて制御する受容体側面部制御手段として更に機能させることを特徴とするプログラム。
請求項７又は８に記載のプログラムにおいて、前記コンピュータを、
前記受容体計測手段によって計測された前記受容体の位置又は向きに応じて仮想空間内の仮想オブジェクトの状態を算出するとともに、該算出結果に基づき前記仮想オブジェクトを含む前記仮想空間を仮想空間表示手段に表示させる仮想オブジェクト算出手段として更に機能させることを特徴とするプログラム。