JP6932267B2 - コントローラ装置 - Google Patents
コントローラ装置 Download PDFInfo
- Publication number
- JP6932267B2 JP6932267B2 JP2020537927A JP2020537927A JP6932267B2 JP 6932267 B2 JP6932267 B2 JP 6932267B2 JP 2020537927 A JP2020537927 A JP 2020537927A JP 2020537927 A JP2020537927 A JP 2020537927A JP 6932267 B2 JP6932267 B2 JP 6932267B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- thumb
- controller device
- hand
- sensors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0338—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of limited linear or angular displacement of an operating part of the device from a neutral position, e.g. isotonic or isometric joysticks
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
- A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
- A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/0202—Constructional details or processes of manufacture of the input device
- G06F3/0219—Special purpose keyboards
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
- G06F3/0383—Signal control means within the pointing device
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Cardiology (AREA)
- General Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、ユーザーが手に装着して使用するコントローラ装置、及び情報処理装置、情報処理方法、及びプログラムに関する。
例えばバーチャルリアリティなどの技術においては、指の動きなどのジェスチャーによってユーザーからの操作入力を受け付けることがある。ユーザーの指の動きを認識するための技術の一つとして、ユーザーの手にコントローラ装置を装着させ、その表面に設けられたセンサーによってユーザーの指の状態を検出する方法が検討されている。
人の手の指のうち、親指は他の４本の指と比較して可動範囲が広く、その正確な位置を検出するためには広範囲を検出対象とするセンサーが必要となる。特に比較的検出範囲の小さなセンサーで精度よく親指の位置を検出しようとする場合には、多数のセンサーが必要となる。
本発明は上記実情を考慮してなされたものであって、その目的の一つは、限られた数のセンサーで効率的にユーザーの手の親指の状態を特定することのできるコントローラ装置、情報処理装置、情報処理方法、及びプログラムを提供することにある。
本発明の一態様に係るコントローラ装置は、ユーザーの手に装着されるコントローラ装置であって、前記ユーザーが当該コントローラ装置を手に装着した状態における前記ユーザーの親指の位置に向かって凸な仮想曲面に沿って配置された、前記ユーザーの親指の位置を検出する複数のセンサーを含むことを特徴とする。
本発明の一態様に係る情報処理装置は、ユーザーの手に装着されるコントローラ装置であって、前記ユーザーが当該コントローラ装置を手に装着した状態における前記ユーザーの親指に向かって凸な仮想曲面に沿って配置された、前記ユーザーの親指の位置を検出する複数のセンサーを含むコントローラ装置から、当該複数のセンサーそれぞれの検出値を取得する取得部と、前記取得した検出値に基づいて、前記ユーザーの親指の関節の少なくとも一部の回転角を算出することによって、当該親指の状態を特定する状態特定部と、を含むことを特徴とする。
本発明の一態様に係る情報処理装置は、ユーザーの手に装着されるコントローラ装置であって、所定の検出範囲内において前記ユーザーの指の位置を検出するセンサーと、前記指により操作される操作ボタンと、を含むコントローラ装置を制御する情報処理装置であって、前記センサーの検出結果を取得する取得部と、前記センサーの検出結果に基づいて前記指の状態を特定する状態特定部と、を含み、前記状態特定部は、前記操作ボタンが押下されたときには、前記センサーによる検出結果を棄却して、前記操作ボタンにより検出された操作量に基づいて、前記指の状態を特定することを特徴とする。
本発明の一態様に係る情報処理方法は、ユーザーの手に装着されるコントローラ装置であって、前記ユーザーが当該コントローラ装置を手に装着した状態における前記ユーザーの親指に向かって凸な仮想曲面に沿って配置された、前記ユーザーの親指の位置を検出する複数のセンサーを含むコントローラ装置から、当該複数のセンサーそれぞれの検出値を取得するステップと、前記取得した検出値に基づいて、前記ユーザーの親指の関節の少なくとも一部の回転角を算出することによって、当該親指の状態を特定するステップと、を含むことを特徴とする。
本発明の一態様に係るプログラムは、ユーザーの手に装着されるコントローラ装置であって、前記ユーザーが当該コントローラ装置を手に装着した状態における前記ユーザーの親指に向かって凸な仮想曲面に沿って配置された、前記ユーザーの親指の位置を検出する複数のセンサーを含むコントローラ装置から、当該複数のセンサーそれぞれの検出値を取得するステップと、前記取得した検出値に基づいて、前記ユーザーの親指の関節の少なくとも一部の回転角を算出することによって、当該親指の状態を特定するステップと、をコンピュータに実行させるためのプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。
以下、本発明の実施の形態について、図面に基づき詳細に説明する。
図１は、本発明の一実施形態に係るコントローラ装置を含む情報処理システム１の全体概要を示す構成ブロック図である。同図に示されるように、情報処理システム１は、情報処理装置１０と、コントローラ装置３０と、頭部装着型の表示装置４０と、を含んで構成されている。本実施形態では、情報処理装置１０がコントローラ装置３０を制御する制御装置として機能する。
情報処理装置１０は、コントローラ装置３０による検出結果を処理する装置であって、例えば家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピューター、スマートフォン、タブレット等であってよい。図１に示されるように、情報処理装置１０は、制御部１１と、記憶部１２と、インタフェース部１３と、を含んで構成される。
制御部１１は、ＣＰＵ等のプロセッサを少なくとも一つ含み、記憶部１２に記憶されているプログラムを実行して各種の情報処理を実行する。なお、本実施形態において制御部１１が実行する処理の具体例については、後述する。記憶部１２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部１１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。
インタフェース部１３は、コントローラ装置３０、及び表示装置４０との間のデータ通信のためのインタフェースである。情報処理装置１０は、インタフェース部１３を介して有線又は無線のいずれかでコントローラ装置３０、及び表示装置４０のそれぞれと接続される。具体的にインタフェース部１３は、情報処理装置１０が供給する映像データを表示装置４０に送信するために、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）等のマルチメディアインタフェースを含むこととする。また、コントローラ装置３０による検出結果を示す信号を受信するために、ＵＳＢ（Universal Serial Bus）等のデータ通信インタフェースを含んでいる。
コントローラ装置３０は、ユーザーの手に装着され、その指の動きを検出するためのデバイスである。図２、図３、及び図４は、コントローラ装置３０の外観の一例を示している。図２は、コントローラ装置３０を正面（ユーザーがコントローラ装置３０を装着した際の親指側）やや上方から見た斜視図であって、図３は右側面図であって、図４は背面図である。これらの図に示されるように、コントローラ装置３０は本体部３１と固定具３２とを備えており、ユーザーは自身の手のひらをこの固定具３２に通すことによってコントローラ装置３０を自身の手に装着する。ここではユーザーは、自身の左手にコントローラ装置３０を装着することとしており、そのため本体部３１の正面向かって左側に固定具３２が取り付けられている。なお、固定具３２はユーザーの手の大きさに合わせて長さを調整可能なベルト等によって構成されてよい。なお、ここではユーザーは左手にコントローラ装置３０を装着することとしているが、ユーザーは左右両方の手にそれぞれコントローラ装置３０を装着してもよい。
本体部３１の筐体表面には、ユーザーの指の動きを検出するために、複数の近接センサー３３が配置されている。近接センサー３３は、例えば赤外線センサーや静電センサーなど、検出範囲内に存在する物体までの距離を計測可能なセンサーである。この近接センサー３３の検出結果を用いて、情報処理装置１０は検出対象となるユーザーの指の位置を特定する。本実施形態において近接センサー３３の検出対象とされる指は、ユーザーがコントローラ装置３０を装着した手の親指であることとする。
本実施形態において本体部３１の筐体表面には、ユーザーの親指と相対する曲面状のセンサー領域３４が配置されている。図２や図３に示されるように、センサー領域３４は本体部３１の正面斜め上方に向けて配置されており、複数の近接センサー３３は、このセンサー領域３４内に配置されている。センサー領域３４は、ユーザーの親指側に向かって凸な仮想曲面上に配置されている。この仮想曲面は、側方から見て、ユーザーがコントローラ装置３０を装着した状態においてユーザーの親指の付け根に接する球面に近い形状を有する。
さらにセンサー領域３４は、この仮想曲面上において、細長い曲線状の形状を有する領域である。より具体的に、センサー領域３４は、ユーザーがコントローラ装置３０を手に装着した状態におけるユーザーの親指の付け根側と逆側（図２における向かって右上側）に凸な仮想曲線に沿った略円弧状の領域となっている。そして、近接センサー３３はこの仮想曲線に沿って略等間隔に並んで配列されている。このことによって、近接センサー３３は、ユーザーがコントローラ装置３０を装着して親指を伸ばした状態において、親指の付け根の関節（後述するＣＭＣ関節）を中心として回転させた際の親指先端の移動軌跡に沿って配列されることになる。このような曲線に沿って近接センサー３３を配置することによって、ユーザーが親指を広い範囲で移動させても、その位置を比較的少数の近接センサー３３で検出できるようになる。本実施形態では具体例として、４個の近接センサー３３−１〜３３−４がセンサー領域３４内に配置されることとしている。しかしながら親指検出用の近接センサー３３の数は４個に限らず、３個であってもよいし、５個以上であってもよい。
さらに、コントローラ装置３０の背面側（近接センサー３３が配置されている側と反対側）には、トリガーボタン３５が配置されている。トリガーボタン３５は、ユーザーの人差し指による押圧操作を受け付けるボタンであって、その押し込み量を検出可能に構成されている。トリガーボタン３５の表面には、近接センサー３６が配置されている。この近接センサー３６も、近接センサー３３と同様、赤外線センサーや静電センサーなどであってよく、トリガーボタン３５近傍に存在するユーザーの人差し指までの距離を測定する。すなわち、コントローラ装置３０は、近接センサー３３によってユーザーの親指の動きを、近接センサー３６及びトリガーボタン３５によってユーザーの人差し指の動きを、それぞれ検出する。なお、コントローラ装置３０には、親指及び人差し指以外の指の状態を検出するためのセンサーがさらに配置されてもよい。
さらにコントローラ装置３０は、制御回路３７を内蔵している。制御回路３７は、複数の近接センサー３３、及び近接センサー３６のそれぞれによる検出結果の内容を示す信号を、情報処理装置１０に送信する。また、トリガーボタン３５の押し込み量を示す信号を、情報処理装置１０に送信する。
表示装置４０は、ユーザーが頭部に装着して使用する映像表示装置であって、情報処理装置１０から送信される映像信号に応じた映像を表示して、ユーザーに閲覧させる。
次に、情報処理装置１０が実現する機能について図５を用いて説明する。図５に示すように、情報処理装置１０は、機能的に、センサー値取得部５１と、指状態特定部５２と、映像表示制御部５３と、を含んでいる。これらの機能は、制御部１１が記憶部１２に記憶されたプログラムを実行することにより実現される。このプログラムは、インターネット等の通信ネットワークを介して情報処理装置１０に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。
センサー値取得部５１は、コントローラ装置３０から定期的に送信されるその時点の各センサーの検出値を取得する。具体的にセンサー値取得部５１は、近接センサー３３−１〜３３−４の検出値と、近接センサー３６の検出値を、所定時間おきにコントローラ装置３０から取得する。併せてセンサー値取得部５１は、ユーザーがトリガーボタン３５を操作している場合に、その押し込み量の数値も取得する。
指状態特定部５２は、センサー値取得部５１により取得された近接センサー３３−１〜３３−４の検出値を用いて、その検出が行われた時点におけるユーザーの親指の状態を特定する。具体的に指状態特定部５２は、近接センサー３３の検出値に基づいて、ユーザーの親指の動きを規定する各関節の回転角を算出する。
親指は、その先端から数えて１番目、２番目、及び３番目の関節の動きによってその姿勢を変化させる。以下ではこれらの関節を、順にＩＰ関節、ＭＣＰ関節、及びＣＭＣ関節という。この呼び方は、論文「MRI-based skeletal hand movement model」（Georg Stillfried, Ulrich Hillenbrand, Marcus Settles and Patrick van der Smagt）などで使用されている解剖学上の関節の呼称に準拠したものである。これらの関節のうち、指の途中の関節であるＩＰ関節、及びＭＣＰ関節は、指の曲げ伸ばしに伴って、いずれも手のひらに近づいたり遠ざかったりする１方向に回転する。以下では、ＩＰ関節の回転角をピッチ角θｐｉ、ＭＣＰ関節の回転角をピッチ角θｐｍと表記する。
また、ＣＭＣ関節は、親指全体の向きを変化させるために様々な方向に動かせるようになっている。以下では、ＩＰ関節やＭＣＰ関節と同じ向きのＣＭＣ関節の回転角をピッチ角θｐｃと表記し、これと直交する２方向の回転角をそれぞれヨー角θｙｃ、及びロール角θｒｃと表記する。これら３個の関節の５個の回転角によって、親指全体の姿勢が特定される。そのため指状態特定部５２は、４個の近接センサー３３の検出値に基づいて、これら５個の回転角の値を算出する。図６は、手の指の関節を模式的に示しており、指状態特定部５２が算出する回転角の回転方向を示している。
以下では、近接センサー３３−１〜３３−４それぞれの検出値をＳ１〜Ｓ４とする。これらの検出値は、各近接センサー３３の位置から親指先端までの距離を示している。ただし、ここでは検出された距離が近ければ近いほど、検出値が大きくなるものとする。また、以下の式で算出される各検出値の合計値をＴｓと表記する。
Ｔｓ＝Ｓ１＋Ｓ２＋Ｓ３＋Ｓ４
このとき各検出値の合計値に対する比率を示す割合値が、以下のように計算できる。
Ｓ１ｒ＝Ｓ１／Ｔｓ
Ｓ２ｒ＝Ｓ２／Ｔｓ
Ｓ３ｒ＝Ｓ３／Ｔｓ
Ｓ４ｒ＝Ｓ４／Ｔｓ
Ｔｓ＝Ｓ１＋Ｓ２＋Ｓ３＋Ｓ４
このとき各検出値の合計値に対する比率を示す割合値が、以下のように計算できる。
Ｓ１ｒ＝Ｓ１／Ｔｓ
Ｓ２ｒ＝Ｓ２／Ｔｓ
Ｓ３ｒ＝Ｓ３／Ｔｓ
Ｓ４ｒ＝Ｓ４／Ｔｓ
指状態特定部５２は、ＣＭＣ関節の回転角θｙｃとθｒｃを、割合値Ｓ１ｒ〜Ｓ４ｒを用いて、以下の計算式により算出する。
θｙｃ＝ＹＣ１・Ｓ１ｒ＋ＹＣ２・Ｓ２ｒ＋ＹＣ３・Ｓ３ｒ＋ＹＣ４・Ｓ４ｒ
θｒｃ＝ＲＣ１・Ｓ１ｒ＋ＲＣ２・Ｓ２ｒ＋ＲＣ３・Ｓ３ｒ＋ＲＣ４・Ｓ４ｒ
ここでＹＣ１〜ＹＣ４、及びＲＣ１〜ＲＣ４のそれぞれは、親指の可動域を考慮して予め設定された各割合値に対する重み付け係数である。これらの計算式によって算出されるヨー角及びロール角の値は、４個の割合値の重み付け平均に比例する値となる。
θｙｃ＝ＹＣ１・Ｓ１ｒ＋ＹＣ２・Ｓ２ｒ＋ＹＣ３・Ｓ３ｒ＋ＹＣ４・Ｓ４ｒ
θｒｃ＝ＲＣ１・Ｓ１ｒ＋ＲＣ２・Ｓ２ｒ＋ＲＣ３・Ｓ３ｒ＋ＲＣ４・Ｓ４ｒ
ここでＹＣ１〜ＹＣ４、及びＲＣ１〜ＲＣ４のそれぞれは、親指の可動域を考慮して予め設定された各割合値に対する重み付け係数である。これらの計算式によって算出されるヨー角及びロール角の値は、４個の割合値の重み付け平均に比例する値となる。
また、各関節のピッチ角θｐｉ，θｐｍ，及びθｐｃは、親指からセンサー領域３４までの距離に連動して変化する値であって、各センサーの検出値Ｓ１〜Ｓ４を用いて、以下の計算式により算出される。
θｐｉ＝ＰＩ１・Ｓ１＋ＰＩ２・Ｓ２＋ＰＩ３・Ｓ３＋ＰＩ４・Ｓ４
θｐｍ＝ＰＭ１・Ｓ１＋ＰＭ２・Ｓ２＋ＰＭ３・Ｓ３＋ＰＭ４・Ｓ４
θｐｃ＝ＰＣ１・Ｓ１＋ＰＣ２・Ｓ２＋ＰＣ３・Ｓ３＋ＰＣ４・Ｓ４
これらの式におけるＰＩ１〜ＰＩ４、ＰＭ１〜ＰＭ４、及びＰＣ１〜ＰＣ４は、それぞれ、親指の可動域を考慮して予め設定された各検出値に対する重み付け係数である。これらの計算式によって算出されるピッチ角の値は、４個のセンサー検出値の重み付け平均に比例する値となる。
θｐｉ＝ＰＩ１・Ｓ１＋ＰＩ２・Ｓ２＋ＰＩ３・Ｓ３＋ＰＩ４・Ｓ４
θｐｍ＝ＰＭ１・Ｓ１＋ＰＭ２・Ｓ２＋ＰＭ３・Ｓ３＋ＰＭ４・Ｓ４
θｐｃ＝ＰＣ１・Ｓ１＋ＰＣ２・Ｓ２＋ＰＣ３・Ｓ３＋ＰＣ４・Ｓ４
これらの式におけるＰＩ１〜ＰＩ４、ＰＭ１〜ＰＭ４、及びＰＣ１〜ＰＣ４は、それぞれ、親指の可動域を考慮して予め設定された各検出値に対する重み付け係数である。これらの計算式によって算出されるピッチ角の値は、４個のセンサー検出値の重み付け平均に比例する値となる。
指状態特定部５２は、以上の計算式によって、５個の回転角の値を算出する。これらの値によって、近接センサー３３による検出が行われた時点において親指が全体としてどのような姿勢にあるかを特定できる。このように、指状態特定部５２は、各センサーの検出値、またはその合計値に対する割合値を用いて、一次元の数式による簡易な計算で各関節の回転角を算出することができる。
また、指状態特定部５２は、近接センサー３６の検出値を用いて、ユーザーの人差し指の状態を特定する。具体的に、近接センサー３６の検出値に基づいて、ユーザーの人差し指がどの程度手のひらに向かって曲げられているかを推定し、その推定結果を出力する。具体的に、ユーザーの人差し指が近接センサー３６に近づけば近づくほど、ユーザーは人差し指を自身の手のひらに向かって折り曲げていると推定される。そこで指状態特定部５２は、予め用意された変換テーブルや変換式に従って、近接センサー３６の検出値からユーザーの人差し指の曲げ量を算出する。
さらに本実施形態において、指状態特定部５２は、トリガーボタン３５に対する操作入力が検出された場合、近接センサー３６の検出値を無視（棄却）して、トリガーボタン３５に対する押し込み量を用いてユーザーの人差し指の状態を特定する。トリガーボタン３５に対する操作入力はボタンの機械的な動きを伴うため、その操作量の情報は、近接センサー３６による検出結果の情報よりも信頼性が高いと想定される。そのため指状態特定部５２は、利用可能な場合にはトリガーボタン３５に対する操作量の情報を近接センサー３６の検出結果よりも優先して利用することにより、ユーザーの人差し指の状態を精度よく特定することができる。また、トリガーボタン３５をユーザーの指の曲げ量の検出に利用することで、ユーザーが仮想空間内の物に触る場合などの感触をユーザーに提示できる。
なお、トリガーボタン３５の操作量（押し込み量）を利用する場合にも、指状態特定部５２は、近接センサー３６の検出値を利用する場合と同様に、所与の変換テーブルや変換式を用いてユーザーの人差し指の曲げ量を算出することができる。この場合の変換テーブル又は変換式は、トリガーボタン３５の操作量が０の場合にトリガーボタン３５の操作量に基づいて算出される指の曲げ量と、近接センサー３６が検出する距離が０の場合に近接センサー３６の検出結果に基づいて算出される指の曲げ量とが、一致するように定められることとする。これにより、ユーザーがトリガーボタン３５から人差し指を離した状態からトリガーボタン３５を押し込む状態まで、連続的に人差し指の状態を特定することができる。
映像表示制御部５３は、ユーザーに提示すべき映像を描画し、表示装置４０に対して出力する。本実施形態において映像表示制御部５３は、各種オブジェクトが配置された仮想空間内の様子を示す映像を描画することとする。特に映像表示制御部５３は、指状態特定部５２によって特定されるユーザーの指の曲げ伸ばし状態に連動して変化する手オブジェクトを仮想空間内に配置し、その様子を描画することとする。これにより、ユーザーがコントローラ装置３０を装着した自身の手の指を曲げたり伸ばしたり開いたりする動作を行うと、その指の動きと同じように仮想空間内の手オブジェクトを動作させることができる。そのためユーザーは、あたかも自分の手で直接仮想空間内の他のオブジェクトを触ったり掴んだりしているかのような体験をすることができる。
以上説明したように、本発明の実施の形態に係るコントローラ装置３０は、ユーザーの親指の移動軌跡に対応する曲面に沿って近接センサー３３を配置しているので、比較的少ない数の近接センサー３３で親指の状態を精度よく特定することができる。
また、近接センサー３６とトリガーボタン３５とを組み合わせることにより、ユーザーの人差し指の状態を精度よく特定することができる。
なお、本発明の実施の形態は、以上説明したものに限られない。具体的に、以上の説明で示したコントローラ装置３０の形状や近接センサー３３の配置位置は例示に過ぎず、同様の効果を奏する異なる形状や配置であってもよい。
また、以上の説明では親指を構成する各関節の回転角を全て近接センサー３３の検出値に基づいて算出することとしたが、一部のパラメータのみを算出し、算出した値に基づいて親指の姿勢を決定してもよい。また、回転角を算出する計算式も、以上説明したものと異なるものであってもよい。
また、以上の説明では押し込み量を検出可能なボタンと近接センサーとを組み合わせて人差し指の状態を特定することとしたが、これ以外の指についても同様の手法でその状態を特定してもよい。
また、以上の説明において情報処理装置１０が実行することとした処理の少なくとも一部は、コントローラ装置３０内の制御回路３７によって実行されてもよい。例えば制御回路３７は、近接センサー３３の検出結果に基づいて各関節の回転角の値を算出し、算出された値をユーザーの親指の状態を示す数値として情報処理装置１０に送信してもよい。
１ 情報処理システム、１０ 情報処理装置、１１ 制御部、１２ 記憶部、１３ インタフェース部、３０ コントローラ装置、３１ 本体部、３２ 固定具、３３ 近接センサー、３４ センサー領域、３５ トリガーボタン、３６ 近接センサー、３７ 制御回路、４０ 表示装置、５１ センサー値取得部、５２ 指状態特定部、５３ 映像表示制御部。
Claims (6)
- ユーザーの手に装着されるコントローラ装置であって、
前記ユーザーが当該コントローラ装置を手に装着した状態における前記ユーザーの親指の位置に向かって凸な仮想曲面上において、前記親指の先端の移動方向に沿って並んで配置された複数のセンサーを含み、
前記複数のセンサーそれぞれの検出値を用いて、前記ユーザーの親指の位置が検出される
ことを特徴とするコントローラ装置。 - 請求項１に記載のコントローラ装置であって、
前記複数のセンサーは、前記ユーザーが当該コントローラ装置を手に装着した状態における前記ユーザーの親指の付け根側と逆側に凸で、かつ前記親指の先端の移動方向に沿って延伸する仮想曲線に沿って、並んで配置されている
ことを特徴とするコントローラ装置。 - ユーザーの手に装着されるコントローラ装置であって、前記ユーザーが当該コントローラ装置を手に装着した状態における前記ユーザーの親指に向かって凸な仮想曲面に沿って配置された、前記ユーザーの親指の位置を検出する複数のセンサーを含むコントローラ装置から、当該複数のセンサーそれぞれの検出値を取得する取得部と、
前記取得した検出値に基づいて、前記ユーザーの親指の関節の少なくとも一部の回転角を算出することによって、当該親指の状態を特定する状態特定部と、
を含むことを特徴とする情報処理装置。 - 請求項３に記載の情報処理装置であって、
前記コントローラ装置は、所定の検出範囲内において前記ユーザーの対象指の位置を検出する検出センサーと、前記対象指により操作される操作ボタンと、を含み、
前記取得部は、前記検出センサーの検出結果を取得し、
前記状態特定部は、前記検出センサーの検出結果に基づいて前記対象指の状態を特定し、
前記状態特定部は、前記操作ボタンが押下されたときには、前記検出センサーによる検出結果を棄却して、前記操作ボタンにより検出された操作量に基づいて、前記対象指の状態を特定する
ことを特徴とする情報処理装置。 - ユーザーの手に装着されるコントローラ装置であって、前記ユーザーが当該コントローラ装置を手に装着した状態における前記ユーザーの親指に向かって凸な仮想曲面に沿って配置された、前記ユーザーの親指の位置を検出する複数のセンサーを含むコントローラ装置から、当該複数のセンサーそれぞれの検出値を取得するステップと、
前記取得した検出値に基づいて、前記ユーザーの親指の関節の少なくとも一部の回転角を算出することによって、当該親指の状態を特定するステップと、
を含むことを特徴とする情報処理方法。 - ユーザーの手に装着されるコントローラ装置であって、前記ユーザーが当該コントローラ装置を手に装着した状態における前記ユーザーの親指に向かって凸な仮想曲面に沿って配置された、前記ユーザーの親指の位置を検出する複数のセンサーを含むコントローラ装置から、当該複数のセンサーそれぞれの検出値を取得するステップと、
前記取得した検出値に基づいて、前記ユーザーの親指の関節の少なくとも一部の回転角を算出することによって、当該親指の状態を特定するステップと、
をコンピュータに実行させるためのプログラム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2018/030858 WO2020039507A1 (ja) | 2018-08-21 | 2018-08-21 | コントローラ装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2020039507A1 JPWO2020039507A1 (ja) | 2021-03-11 |
| JP6932267B2 true JP6932267B2 (ja) | 2021-09-08 |
Family
ID=69593196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020537927A Active JP6932267B2 (ja) | 2018-08-21 | 2018-08-21 | コントローラ装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11353959B2 (ja) |
| JP (1) | JP6932267B2 (ja) |
| WO (1) | WO2020039507A1 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11726552B1 (en) * | 2021-04-30 | 2023-08-15 | Meta Platforms Technologies, Llc | Systems and methods for rendering a trigger finger |
| KR20230072757A (ko) * | 2021-11-18 | 2023-05-25 | 삼성전자주식회사 | 웨어러블 전자 장치 및 웨어러블 전자 장치의 동작 방법 |
| USD1053259S1 (en) * | 2022-06-28 | 2024-12-03 | Zwift, Inc. | Controller |
| USD1057833S1 (en) * | 2022-06-28 | 2025-01-14 | Zwift, Inc. | Controller |
| USD1057671S1 (en) * | 2022-06-28 | 2025-01-14 | Zwift, Inc. | Controller |
| USD1057832S1 (en) * | 2022-06-28 | 2025-01-14 | Zwift, Inc. | Controller |
| JP7481783B1 (ja) * | 2023-01-05 | 2024-05-13 | Ｄｉｖｅｒ－Ｘ株式会社 | 位置検出装置及び情報処理システム |
| USD1100865S1 (en) * | 2024-06-12 | 2025-11-04 | Spencer Ryan Higgs | Controller |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5482056A (en) * | 1994-04-04 | 1996-01-09 | Kramer; James F. | Determination of thumb position using measurements of abduction and rotation |
| US5764164A (en) * | 1997-02-07 | 1998-06-09 | Reality Quest Corp. | Ergonomic hand-attachable controller |
| US6456275B1 (en) * | 1998-09-14 | 2002-09-24 | Microsoft Corporation | Proximity sensor in a computer input device |
| US20020163495A1 (en) * | 2001-05-02 | 2002-11-07 | Plamen Doynov | Multi-functional ergonomic interface |
| US7161579B2 (en) * | 2002-07-18 | 2007-01-09 | Sony Computer Entertainment Inc. | Hand-held computer interactive device |
| US7006074B2 (en) * | 2002-09-05 | 2006-02-28 | Thomas Peter Chesters | Multimodal pointer method |
| US7233316B2 (en) * | 2003-05-01 | 2007-06-19 | Thomson Licensing | Multimedia user interface |
| JP2005292883A (ja) * | 2004-03-31 | 2005-10-20 | Pioneer Electronic Corp | 情報入力装置 |
| US20060164383A1 (en) * | 2004-12-16 | 2006-07-27 | Media Lab Europe (In Voluntary Liquidation) | Remote controller ring for user interaction |
| US7649522B2 (en) * | 2005-10-11 | 2010-01-19 | Fish & Richardson P.C. | Human interface input acceleration system |
| US8142287B2 (en) * | 2005-10-11 | 2012-03-27 | Zeemote Technology Inc. | Universal controller for toys and games |
| JP4940294B2 (ja) | 2007-03-09 | 2012-05-30 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理システム、操作デバイス及び情報処理方法 |
| US20090115729A1 (en) * | 2007-11-01 | 2009-05-07 | Garmin International, Inc. | Cursor control device for avionics displays |
| JP5552772B2 (ja) * | 2009-08-26 | 2014-07-16 | ソニー株式会社 | 情報処理装置、情報処理方法およびコンピュータプログラム |
| WO2014144015A2 (en) * | 2013-03-15 | 2014-09-18 | Keller Eric Jeffrey | Computing interface system |
| US10444849B2 (en) | 2014-09-01 | 2019-10-15 | Yinbo Li | Multi-surface controller |
| US9999833B2 (en) * | 2015-06-11 | 2018-06-19 | Oculus Vr, Llc | Hand-held controllers with capacitive touch sensors for virtual-reality systems |
| JP2017075465A (ja) * | 2015-10-14 | 2017-04-20 | オムロンオートモーティブエレクトロニクス株式会社 | 携帯型電子機器 |
| CN108475156A (zh) * | 2015-12-31 | 2018-08-31 | 华为技术有限公司 | 一种用户界面的菜单显示方法及手持终端 |
| EP3425481B1 (en) | 2016-03-04 | 2020-11-11 | Sony Interactive Entertainment Inc. | Control device |
| US10969867B2 (en) * | 2016-12-15 | 2021-04-06 | Sony Interactive Entertainment Inc. | Information processing system, controller device, controller device control method and program |
-
2018
- 2018-08-21 JP JP2020537927A patent/JP6932267B2/ja active Active
- 2018-08-21 WO PCT/JP2018/030858 patent/WO2020039507A1/ja not_active Ceased
- 2018-08-21 US US17/267,929 patent/US11353959B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US11353959B2 (en) | 2022-06-07 |
| US20210181842A1 (en) | 2021-06-17 |
| WO2020039507A1 (ja) | 2020-02-27 |
| JPWO2020039507A1 (ja) | 2021-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6932267B2 (ja) | コントローラ装置 | |
| US10996765B2 (en) | Controller for finger gesture recognition and method for recognizing finger gesture | |
| KR101666096B1 (ko) | 강화된 제스처 기반 상호작용 시스템 및 방법 | |
| EP3035164B1 (en) | Wearable sensor for tracking articulated body-parts | |
| CN107918485B (zh) | 手势侦测系统及方法 | |
| KR101791366B1 (ko) | 증강된 가상 터치패드 및 터치스크린 | |
| US11307671B2 (en) | Controller for finger gesture recognition and method for recognizing finger gesture | |
| US20170262056A1 (en) | Selection of optimally positioned sensors in a glove interface object | |
| JP2010108500A (ja) | 着用型コンピューティング環境基盤のユーザインターフェース装置およびその方法 | |
| JP6710285B2 (ja) | 情報処理装置、制御方法、プログラム、及び記憶媒体 | |
| RU179301U1 (ru) | Перчатка виртуальной реальности | |
| RU187548U1 (ru) | Перчатка виртуальной реальности | |
| US20230142242A1 (en) | Device for Intuitive Dexterous Touch and Feel Interaction in Virtual Worlds | |
| TWI788607B (zh) | 人機交互系統和人機交互方法 | |
| RU2670649C9 (ru) | Способ изготовления перчатки виртуальной реальности (варианты) | |
| KR101530340B1 (ko) | 모션 트래커 시스템 및 자세방위 시스템을 통합하여 3차원 가상공간에서 손의 위치 및 자세 정보를 구현하는 움직임 감지 시스템 | |
| CN202230440U (zh) | 操控计算机空间绘图类软件的控制系统 | |
| RU2673406C1 (ru) | Способ изготовления перчатки виртуальной реальности | |
| KR20110033318A (ko) | 영상인식을 이용한 가상마우스 시스템 | |
| JP6861854B2 (ja) | 情報処理システム | |
| KR20250051338A (ko) | 가상 현실 컨트롤러용 글러브 | |
| WO2019083405A1 (ru) | Перчатка виртуальной реальности |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200908 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200908 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210803 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210817 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6932267 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |