Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7593676B2 - 組合せハンドルの測位方法及びロケータ、組合せハンドル及び仮想システム - Google Patents
[go: Go Back, main page]

JP7593676B2 - 組合せハンドルの測位方法及びロケータ、組合せハンドル及び仮想システム - Google Patents

組合せハンドルの測位方法及びロケータ、組合せハンドル及び仮想システム Download PDF

Info

Publication number
JP7593676B2
JP7593676B2 JP2023019193A JP2023019193A JP7593676B2 JP 7593676 B2 JP7593676 B2 JP 7593676B2 JP 2023019193 A JP2023019193 A JP 2023019193A JP 2023019193 A JP2023019193 A JP 2023019193A JP 7593676 B2 JP7593676 B2 JP 7593676B2
Authority
JP
Japan
Prior art keywords
handle
positioning
control handle
positioning information
mounted display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023019193A
Other languages
English (en)
Other versions
JP2024018886A (ja
Inventor
志彬 翁
克 周
磊 陳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pimax Technology Hangzhou Co Ltd
Original Assignee
Pimax Technology Hangzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pimax Technology Hangzhou Co Ltd filed Critical Pimax Technology Hangzhou Co Ltd
Publication of JP2024018886A publication Critical patent/JP2024018886A/ja
Application granted granted Critical
Publication of JP7593676B2 publication Critical patent/JP7593676B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/22Setup operations, e.g. calibration, key configuration or button assignment
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/24Constructional details thereof, e.g. game controllers with detachable joystick handles
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a three-dimensional [3D] space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1018Calibration; Key and button assignment
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は仮想現実の技術分野に関し、具体的に組合せハンドルの測位方法及びロケータ、組合せハンドル及び仮想システムに関する。
VR(Virtual Reality、仮想現実)装置はヘッドマウントディスプレイ及び制御ハンドルを備え、ユーザーはVRヘッドマウント表示装置を体験するとき、頭にヘッドマウントディスプレイをかぶっており、手で制御ハンドルを握りながら操作する。従来技術において、制御ハンドルは一般的にいずれもヘッドマウントディスプレイに対応して設計したものであり、従って、一般的に、ヘッドマウントディスプレイに適用される制御ハンドルはVRヘッドマウント表示装置のみに適用されるが、類似のゲーム機能を持つゲーム携帯端末に適用できない。ゲーム携帯端末の制御ハンドルはVRヘッドマウント表示装置の制御ハンドルとの共通点が多く、ユーザーがそれぞれVRヘッドマウント表示装置及びゲーム携帯端末の制御ハンドルを購入する必要がある場合、資源の浪費を引き起こすこととなる。
使用過程において、VRヘッドマウント表示装置の制御ハンドルの空間位置情報はVR体験に密接に関連するが、ゲームハンドルは空間位置情報を必要とせず、従って、ゲーム携帯端末の制御ハンドルとVRヘッドマウント表示装置の制御ハンドルを簡単に交換又は共有することができない。現在、資源の浪費を減少させるように、VRヘッドマウント表示装置及びゲーム携帯端末に汎用される制御ハンドルを必要とする。
これに鑑みて、本発明は組合せハンドルの測位方法及びロケータ、組合せハンドル及び仮想システムを提供し、従来技術における資源の浪費を減少させるようにVRヘッドマウント表示装置及びゲーム携帯端末に汎用される制御ハンドルを必要とする技術的問題を解決した。
本発明の一態様によれば、本発明は組合せハンドルの測位方法を提供し、前記組合せハンドルは制御ハンドル及びハンドルケースを備え、前記組合せハンドルの測位方法は、
前記制御ハンドルがヘッドマウント表示装置に通信接続された後、前記制御ハンドルの初期測位情報を取得し、及び前記ハンドルケースの初期測位情報を取得することと、前記制御ハンドルの測位校正値及び前記ハンドルケースの測位校正値を取得することと、前記制御ハンドルの測位校正値及び前記ハンドルケースの測位校正値に基づいて前記制御ハンドルの初期測位情報及び前記ハンドルケースの初期測位情報を校正して、前記組合せハンドルの空間測位情報を生成することと、を含む。
本発明の一実施例では、前記制御ハンドルの測位校正値及び前記ハンドルケースの測位校正値に基づいて前記制御ハンドルの初期測位情報及び前記ハンドルケースの初期測位情報を校正して、前記組合せハンドルの空間測位情報を生成することは、前記制御ハンドルの測位校正値に基づいて前記制御ハンドルの初期測位情報を校正して、前記制御ハンドルの測位情報を生成することと、前記ハンドルケースの測位校正値に基づいて前記ハンドルケースの初期測位情報を校正して、前記ハンドルケースの測位情報を生成することと、前記制御ハンドルの測位情報及び前記ハンドルケースの測位情報を整合して、前記組合せハンドルの空間測位情報を生成することと、を含む。
本発明の一実施例では、前記ハンドルケースは環状部及び把持部を備え、前記把持部の中央箇所には前記制御ハンドルを収容して固定するための凹み部が設けられ、前記組合せハンドルは前記制御ハンドルに設置される第1赤外線センサと、前記環状部に設置される第2赤外線センサとを更に備え、前記制御ハンドルがヘッドマウント表示装置に通信接続された後、前記制御ハンドルの初期測位情報を取得し、及び前記ハンドルケースの初期測位情報を取得することは、前記制御ハンドルがヘッドマウント表示装置に通信接続された後、前記ヘッドマウント表示装置の測位情報を取得することと、
前記第1赤外線センサの第1スポット画像及び前記制御ハンドルのIMUデータを取得し、且つ前記第1スポット画像、前記制御ハンドルのIMUデータ及び前記ヘッドマウント表示装置の測位情報に基づいて前記制御ハンドルの初期測位情報を計算することと、前記第2赤外線センサの第2スポット画像及び前記ハンドルケースのIMUデータを取得し、且つ前記第2スポット画像、前記ハンドルケースのIMUデータ及び前記ヘッドマウント表示装置の測位情報に基づいて前記ハンドルケースの初期測位情報を計算することと、を含む。
本発明の一実施例では、前記ヘッドマウント表示装置の測位情報を取得することは、前記ヘッドマウント表示装置の位置する空間画像を取得することと、前記ヘッドマウント表示装置のIMUデータを取得することと、前記ヘッドマウント表示装置の位置する空間画像及び前記ヘッドマウント表示装置のIMUデータを計算して、前記ヘッドマウント表示装置の測位情報を生成することと、を含む。
本発明の一実施例では、前記制御ハンドルがヘッドマウント表示装置に通信接続された後、前記制御ハンドルの初期測位情報を取得し、及び前記ハンドルケースの初期測位情報を取得する前に、前記組合せハンドルの測位方法は更に、前記組合せハンドルが出荷される前に、前記組合せハンドルにおける前記制御ハンドルのテスト測位情報及び前記ハンドルケースのテスト測位情報に対して出荷校正を行って、前記制御ハンドルの測位校正値及び前記ハンドルケースの測位校正値を生成することを含む。
本発明の一実施例では、前記組合せハンドルにおける前記制御ハンドルのテスト測位情報及び前記ハンドルケースのテスト測位情報に対して出荷校正を行って、前記制御ハンドルの測位校正値及び前記ハンドルケースの測位校正値を生成することは、前記第1赤外線センサの第1テストスポット画像及び前記制御ハンドルのテストIMUデータ、前記第2赤外線センサの第2テストスポット画像及び前記ハンドルケースのテストIMUデータを取得することと、前記第1テストスポット画像及び前記制御ハンドルのテストIMUデータに基づいて前記制御ハンドルのテスト測位情報を取得することと、前記第2テストスポット画像及び前記ハンドルケースのテストIMUデータに基づいて前記ハンドルケースのテスト測位情報を取得することと、前記制御ハンドルのテスト測位情報と前記制御ハンドルの標準測位情報を比較して、前記制御ハンドルの測位校正値を生成することと、前記ハンドルケースのテスト測位情報と前記ハンドルケースの標準測位情報を比較して、前記ハンドルケースの測位校正値を生成することと、を含む。
本発明の一実施例では、前記組合せハンドルは前記制御ハンドルに設置される第1メモリと、前記ハンドルケースに設置される第2メモリとを更に備え、前記制御ハンドルの測位校正値及び前記ハンドルケースの測位校正値を生成した後、前記組合せハンドルの測位方法は、前記制御ハンドルの測位校正値及び前記ハンドルケースの測位校正値をそれぞれ前記第1メモリ及び前記第2メモリに記憶することを更に含み、前記制御ハンドルの測位校正値及び前記ハンドルケースの測位校正値を取得することは、前記第1メモリ及び前記第2メモリからそれぞれ前記制御ハンドルの測位校正値及び前記ハンドルケースの測位校正値を呼び出すことを含む。
本発明の一実施例では、前記制御ハンドルの測位校正値は前記制御ハンドルの位置オフセット値及び前記制御ハンドルの角度オフセット値を含み、前記ハンドルケースの測位校正値は前記ハンドルケースの位置オフセット値及び前記ハンドルケースの角度オフセット値を含む。
本発明の第2態様として、本発明は組合せハンドルの測位コントローラを提供し、制御ハンドルとヘッドマウント表示装置との接続状態を決定するための接続状態決定ユニットと、前記制御ハンドルの初期測位情報を取得し、及び前記ハンドルケースの初期測位情報を取得し、前記制御ハンドルの測位校正値及び前記ハンドルケースの測位校正値を取得するための情報決定ユニットと、前記制御ハンドルの測位校正値及び前記ハンドルケースの測位校正値に基づいて前記制御ハンドルの初期測位情報及び前記ハンドルケースの初期測位情報を校正して、前記組合せハンドルの空間測位情報を生成するための空間測位ユニットと、を備える。
本発明の一実施例では、前記空間測位ユニットは、前記制御ハンドルの測位校正値に基づいて前記制御ハンドルの初期測位情報を校正して、前記制御ハンドルの測位情報を生成するための第1校正モジュールと、前記ハンドルケースの測位校正値に基づいて前記ハンドルケースの初期測位情報を校正して、前記ハンドルケースの測位情報を生成するための第2校正モジュールと、前記制御ハンドルの測位情報及び前記ハンドルケースの測位情報を整合して、前記組合せハンドルの空間測位情報を生成するための測位モジュールと、を備える。
本発明の一実施例では、前記情報決定ユニットは、前記ヘッドマウント表示装置の測位情報を取得するためのヘッドマウント表示情報決定モジュールと、前記第1赤外線センサの第1スポット画像及び前記制御ハンドルのIMUデータを取得し、且つ前記第1スポット画像、前記制御ハンドルのIMUデータ及び前記ヘッドマウント表示装置の測位情報に基づいて前記制御ハンドルの初期測位情報を計算するための第1測位情報決定モジュールと、前記第2赤外線センサの第2スポット画像及び前記ハンドルケースのIMUデータを取得し、且つ前記第2スポット画像、前記ハンドルケースのIMUデータ及び前記ヘッドマウント表示装置の測位情報に基づいて前記ハンドルケースの初期測位情報を計算するための第2測位情報決定モジュールと、を備える。
本発明の一実施例では、前記ヘッドマウント表示情報決定モジュールは、前記ヘッドマウント表示装置の位置する空間画像を取得するための画像取得モジュールと、前記ヘッドマウント表示装置のIMUデータを取得するための自由度データ取得モジュールと、前記ヘッドマウント表示装置の位置する空間画像及び前記ヘッドマウント表示装置のIMUデータを計算して、前記ヘッドマウント表示装置の測位情報を生成するための計算モジュールと、を備える。
本発明の一実施例では、前記空間測位ユニットは、前記組合せハンドルが出荷される前に、前記組合せハンドルにおける前記制御ハンドルのテスト測位情報及び前記ハンドルケースのテスト測位情報に対して出荷校正を行って、前記制御ハンドルの測位校正値及び前記ハンドルケースの測位校正値を生成するための出荷校正モジュールを更に備える。
本発明の第3態様として、本発明は更に組合せハンドルを提供し、制御ハンドルと、前記制御ハンドルに設置される第1赤外線センサと、環状部及び把持部を備え、前記把持部の中央箇所には前記制御ハンドルを収容して固定するための凹み部が設けられるハンドルケースと、前記環状部に設置される第2赤外線センサと、を備える。
本発明の一実施例では、前記組合せハンドルは、前記制御ハンドルに設置され、前記制御ハンドルのIMUデータを測定するための第1慣性センサと、前記ハンドルケースに設置され、前記ハンドルケースのIMUデータを測定するための第2慣性センサと、を更に備える。
本発明の一実施例では、前記組合せハンドルは、前記制御ハンドルに設置され、制御ハンドルの測位校正値を記憶するための第1メモリと、前記ハンドルケースに設置され、ハンドルケースの測位校正値を記憶するための第2メモリと、を更に備える。
本発明の一実施例では、前記組合せハンドルは、前記制御ハンドルに設置される主制御チップを更に備え、前記主制御チップはそれぞれ前記第1メモリ及び前記第2メモリに接続され、前記主制御チップは前記第1メモリから前記制御ハンドルの測位校正値を呼び出し、及び前記第2メモリから前記ハンドルケースの測位校正値を呼び出すためのものである。
本発明の第4態様として、本発明は更に仮想システムを提供し、以上に記載の組合せハンドルと、以上に記載の組合せハンドルの測位コントローラと、ヘッドマウント表示装置と、前記ヘッドマウント表示装置に設置され、前記第1赤外線センサの第1スポット画像を撮影し、前記第2赤外線センサの第2スポット画像及び前記ヘッドマウント表示装置の位置する空間の画像を撮影するための撮影装置と、を備え、前記組合せハンドルの測位コントローラは前記ヘッドマウント表示装置に設置され、前記撮影装置及び前記制御ハンドルはいずれも前記組合せハンドルの測位コントローラに通信接続される。
本発明の一実施例では、前記仮想システムは、前記ヘッドマウント表示装置に設置され、前記ヘッドマウント表示装置のIMUデータを測定するための第3慣性センサを更に備える。
本発明の一実施例では、前記仮想システムは仮想現実システム又は拡張現実システムを含む。
本発明に係る組合せハンドルの測位方法において、組合せハンドルがゲーム携帯端末とともにゲーム装置を構成することができるだけでなく、ヘッドマウント表示装置とともに仮想システムを構成することもできる場合、組合せハンドルの汎用性を向上させ、また、制御ハンドルが再びハンドルケースに取り付けられる場合、再び取り付けられた後の制御ハンドルとハンドルケースを改めて校正する必要があり、ユーザーが組合せを使用して仮想機能を体験するとき、組合せハンドルに対する測位をより正確にすることができ、それによりマンマシンインタラクションの流暢性を向上させ、更にユーザーの仮想体験感を向上させる。
図面を参照しながら本発明の実施例を更に詳しく説明し、本発明の上記及び他の目的、特徴及び優位性はより明らかになる。図面は本発明の実施例のさらなる理解を提供するためのものであり、且つ明細書の一部を構成し、本発明の実施例とともに本発明を解釈するためのものであり、本発明を制限するものではない。図面において、同じ参照番号は一般的に同じ部材又はステップを代表する。
本発明の一実施例に係る組合せハンドルの構造模式図である。 本発明の一実施例に係る組合せハンドルの位置校正方法のフローチャートである。 本発明の他の実施例に係る組合せハンドルの位置校正方法のフローチャートである。 本発明の他の実施例に係る組合せハンドルの位置校正方法のフローチャートである。 本発明の他の実施例に係る組合せハンドルの位置校正方法のフローチャートである。 本発明の他の実施例に係る組合せハンドルの位置校正方法のフローチャートである。 本発明の他の実施例に係る組合せハンドルの位置校正方法のフローチャートである。 本発明の他の実施例に係る組合せハンドルの位置校正方法のフローチャートである。 本発明の一実施例に係る組合せハンドルの測位コントローラの動作原理図である。 本発明の他の実施例に係る組合せハンドルの測位コントローラの動作原理図である。 本発明の他の実施例に係る組合せハンドルの測位コントローラの動作原理図である。 本発明の他の実施例に係る組合せハンドルの測位コントローラの動作原理図である。 本発明の他の実施例に係る組合せハンドルの測位コントローラの動作原理図である。 本発明の他の実施例に係る組合せハンドルの測位コントローラの動作原理図である。 本発明の他の実施例に係る組合せハンドルの測位コントローラの動作原理図である。 本発明の一実施例に係る電子機器の構造模式図である。
本発明の説明において、特に明確且つ具体的に限定しない限り、「複数」の意味は少なくとも2つ、例えば2つ、3つなどである。本発明の実施例におけるすべての方向性指示(例えば上、下、左、右、前、後、頂、底…)はある特定の姿勢(図面に示される)において各部材同士の相対位置関係、運動状況などだけを解釈するためのものであり、該特定の姿勢が変化するとき、該方向性指示も対応して変化する。また、用語「含む」、「有する」及びそれらのいかなる変形は非排他的包含を網羅することが意図される。例えば、一連のステップ又はユニットを含む過程、方法、システム、製品又は設備は列挙したステップ又はユニットに限らず、更に列挙しないステップ又はユニットを含むことが好ましく、又は、更にこれらの過程、方法、製品又は設備固有の他のステップ又はユニットを含むことが好ましい。
また、本明細書に言及した「実施例」は、実施例を参照して説明した特定の特徴、構造又は特性が本発明の少なくとも1つの実施例に含まれてもよいことを意味する。明細書の各箇所に該用語が出現することは必ずいずれも同じ実施例を指すとは限らず、他の実施例と排他性のある独立した又は代替の実施例でもない。当業者であれば明示的及び暗示的に理解されるように、本明細書に説明される実施例が他の実施例と組み合わせられてもよい。
以下、本発明の実施例の図面を参照しながら、本発明の実施例の技術案を明確且つ完全に説明し、明らかに、説明される実施例は単に本発明の実施例の一部であり、実施例の全部ではない。本発明の実施例に基づいて、当業者が進歩性のある労働を必要とせずに取得する他の実施例は、いずれも本発明の保護範囲に属する。
ヘッドマウント表示装置は制御ハンドルと組み合わせて使用されなければ、より良い体験感がなく、例えば、仮想現実ゲームのユーザーの場合、VRヘッドマウント表示装置のコントローラが制御ハンドルからアップロードした操作命令及び空間位置情報を受信することにより制御ハンドルの測位追跡、ゲームの制御などの機能を実現する。
携帯端末ゲーム装置は一般的に制御ハンドル上のボタンにより本体の制御を実現し、制御ハンドルが一般的に本体の両側に取り付けられる。
ヘッドマウント表示装置は機能及びボタンの設置の面で携帯端末ゲーム装置の制御ハンドルとの共通点が多いが、現在のヘッドマウント表示装置のハンドルは仮想ヘッドマウント表示ハンドルと組み合わせて使用されるだけであり、携帯端末装置の制御ハンドルも携帯端末装置の本体と組み合わせて使用されるだけであり、両方は汎用できず、即ち、ユーザーはヘッドマウント表示装置及び携帯端末装置においてゲームをするとき、2種類の異なるハンドルを使用する必要がある。且つ、現在、多くの制御ハンドルは1つの全体であり、即ちハンドルの各部材は分解できず、汎用を実現することも困難である。
例示的な組合せハンドル
本発明は組合せハンドルの測位方法を提供し、該組合せハンドルはヘッドマウント表示装置及び携帯端末装置に同時に適用され得る。具体的に、図1を参照すると、図1は本発明の一実施例に係る組合せハンドルの構造模式図であり、組合せハンドル32は、制御ハンドル33と、制御ハンドル33に設置される第1赤外線センサ331と、制御ハンドル33に設置され、制御ハンドルのIMUデータを測定するための第1慣性センサ332と、環状部361及び把持部362を備え、把持部362の中央箇所には制御ハンドル33を収容して固定するための凹み部が設けられるハンドルケース36と、ハンドルケース36に設置され、ハンドルケース36のIMUデータを測定するための第2慣性センサ364と、環状部361に設置される第2赤外線センサ363と、を備える。
具体的に、第1赤外線センサ331内及び第2赤外線センサ363内には赤外線を発射する超小型赤外線ランプが設置され、超小型赤外線ランプがオン状態にある場合、カメラにより超小型赤外線ランプを撮影し、超小型赤外線ランプのスポットをキャプチャすることができ、従って、スポットの位置を赤外線発射器に対応する位置として決定することができる。一般的に、各第1赤外線センサ331及び第2赤外線センサ363にいずれも若干の超小型赤外線ランプが設けられ、第1赤外線センサ331及び第2赤外線センサ363の複数のランプが1つのランプリングを形成する。即ち、カメラにより第1赤外線センサ331の第1スポット画像及び第2赤外線センサ363の第2スポット画像を撮影することができ、従って、第1スポット画像及び第2スポット画像により制御ハンドル及びハンドルケースの位置情報をそれぞれ決定することができ、例えば、第1スポット画像及び第2スポット画像により制御ハンドル及びハンドルケースの空間内での並進自由度情報を決定する。
第1慣性センサ332は制御ハンドル33のIMUデータ、即ち制御ハンドル33の3回転自由度データを検出することができる。第2慣性センサ364はハンドルケース36のIMUデータ、即ちハンドルケース36の3回転自由度データを検出することができる。
本発明の実施例の組合せハンドルは、制御ハンドル33に設置される第1赤外線センサ331を制御して発光させることにより、第1スポット画像を撮影することができ、第1スポット画像から制御ハンドル33の位置情報を決定することができ、制御ハンドル33に設置される第1慣性センサ332により制御ハンドル33の3回転自由度データを検出することができ、第1スポット画像及び制御ハンドル33の3回転自由度データに基づいて制御ハンドルの空間測位情報即ち6自由度データを決定することができる。同様に、ハンドルケース36上の第2赤外線センサ363を制御して発光させることにより、第2スポット画像を撮影することができ、第2スポット画像からハンドルケース36の位置情報を決定することができ、ハンドルケース36に設置される第2慣性センサ364によりハンドルケース36の3回転自由度データを検出することができ、第2スポット画像及びハンドルケース36の3回転自由度データに基づいてハンドルケース36の空間測位情報即ち6自由度データを決定することができる。
選択肢として、組合せハンドルは、制御ハンドル33に設置され、制御ハンドル33の測位校正値を記憶するための第1メモリと、ハンドルケース36に設置され、ハンドルケース36の測位校正値を記憶するための第2メモリと、を更に備える。組合せハンドルにおける制御ハンドルが改めてハンドルケースに取り付けられた後、制御ハンドル及びハンドルケースを改めて校正し、且つ校正後の制御ハンドル33の測位校正値を制御ハンドル33に統合される第1メモリに記憶するのに供するように、組合せハンドルが出荷される前に校正を行ってから制御ハンドルの測位校正値及びハンドルケースの測位校正値を取得することとなる。校正後のハンドルケース36の測位校正値はハンドルケース36に統合される第2メモリに記憶される。
選択肢として、組合せハンドルは制御ハンドル33に設置される主制御チップを更に備え、主制御チップはそれぞれ第1メモリ及び第2メモリに接続され、主制御チップは第1メモリから制御ハンドルの測位校正値を呼び出し、及び第2メモリからハンドルケースの測位校正値を呼び出すためのものである。
組合せハンドルが出荷される前に校正を行った後、制御ハンドル33が改めてハンドルケース36に取り付けられた後、制御ハンドル33及びハンドルケース36の位置を再び校正するとき、主制御チップを制御して直接に第1メモリから制御ハンドルの測位校正値を直接呼び出させ、第2メモリからハンドルケースの測位校正値を直接呼び出させる。
例示的な組合せハンドルの測位方法
以上に記載の組合せハンドルにおける制御ハンドルは把持部の凹み箇所に取り外し可能に取り付けられるため、制御ハンドルがゲーム装置と組み合わせて使用される場合、ユーザーがゲームを体験するのに供するように、制御ハンドルを把持部の凹み箇所から取り外してからゲーム装置に取り付けて、ゲーム装置と組み合わせて使用される。組合せハンドルにおける制御ハンドルとヘッドマウント表示装置とが仮想システムを構成する場合、制御ハンドルを把持部の凹み箇所に取り付ければよい。
このとき、制御ハンドルが取り外されてから改めて把持部の凹み箇所に取り付けられ、従って、組合せハンドルとヘッドマウント表示装置とが仮想システムを構成する場合、ユーザーは仮想システムにより仮想シーンを体験し、ユーザーが仮想システムを使用して仮想シーンを体験するとき、組合せハンドルを測位する必要があり、従って、本発明は組合せハンドルの測位方法を提供し、図2は本発明の一実施例に係る組合せハンドルの測位方法のフローチャートであり、図2に示すように、該組合せハンドルの測位方法は以下のステップを含む。
ステップS1、制御ハンドルがヘッドマウント表示装置に通信接続された後、制御ハンドルの初期測位情報を取得し、及びハンドルケースの初期測位情報を取得し、
具体的に、ヘッドマウント表示装置は仮想ヘルメットと、仮想ヘルメットに取り付けられるディスプレイとを備える。制御ハンドルとヘッドマウント表示装置との通信接続とは、制御ハンドルとヘッドマウント表示装置上の制御命令、画像などの情報を伝達する必要がある装置との通信接続、例えばヘッドマウント表示装置上のディスプレイと制御ハンドルとの通信接続を指し、更に例えば、ヘッドマウント表示装置にセンサを有し、ユーザーが仮想ヘルメットをかぶっているとき、センサがセンシング信号を制御ハンドルに伝送し、制御ハンドルはセンシング信号に基づいて制御ハンドルが仮想機能を実行することを判断し、即ち制御ハンドルがヘッドマウント表示装置と共同で仮想システムを構成し、このとき、制御ハンドルがセンサとの通信接続を実現する。
理解されるように、制御ハンドルがヘッドマウント表示装置上のどの装置との通信接続を実現するかにかかわらず、いずれも制御ハンドルが仮想機能を実行する必要があることを示すことができ、即ち制御ハンドルがヘッドマウント表示装置と共同で仮想システムを構成することを示し、従って、制御ハンドルとヘッドマウント表示装置との通信接続を決定する具体的な方式は制限されず、ユーザーが仮想シーンを体験するのに供するように、制御ハンドルがヘッドマウント表示装置と共同で仮想システムを構成することを示すことができればよい。
制御ハンドルがヘッドマウント表示装置に通信接続されることを決定した後、制御ハンドルがヘッドマウント表示装置と共同で仮想システムを構成することを示し、ユーザーが仮想シーンを体験するのに供するように、ユーザーはヘッドマウント表示装置をかぶって制御ハンドルを操縦すれば、仮想シーンを体験することができる。ユーザーが仮想シーンを体験するとき、ユーザーの現実環境における動作を仮想システムにおいてマッピングし、このとき、組合せハンドルの空間測位情報を取得する必要があり、組合せハンドルは制御ハンドル及びハンドルケースを備えるため、制御ハンドル及びハンドルケースを測位追跡する必要があり、従って、制御ハンドルの初期測位情報を取得し、及びハンドルケースの初期測位情報を取得する必要がある。
ステップS2、制御ハンドルの測位校正値及びハンドルケースの測位校正値を取得し、
組合せハンドルにおける制御ハンドルとゲーム携帯端末はゲーム装置を構成することができるため、ユーザーが仮想シーンを体験するのに供するように、組合せハンドルとヘッドマウント表示装置は仮想システムを構成することができ、従って、組合せハンドルにおける制御ハンドルがゲーム携帯端末と共同で使用されてゲーム装置を構成した後、ヘッドマウント表示装置と仮想システムを構成する場合、制御ハンドルがハンドルケースから取り外されてから改めて取り付けられるのであり、従って、制御ハンドルが再びハンドルケースに取り付けられた後、再び取り付けられた後の制御ハンドルとハンドルケースとの間の相対位置は多少ずれることとなる。従って、再び取り付けられた後の制御ハンドルの測位校正値及びハンドルケースの測位校正値を取得する必要がある。
選択肢として、制御ハンドルの測位校正値は制御ハンドルの位置オフセット値及び制御ハンドルの角度オフセット値を含み、ハンドルケースの測位校正値はハンドルケースの位置オフセット値及びハンドルケースの角度オフセット値を含む。
ステップS3、制御ハンドルの測位校正値及びハンドルケースの測位校正値に基づいて制御ハンドルの初期測位情報及びハンドルケースの初期測位情報を校正して、組合せハンドルの空間測位情報を生成する。
ステップS2において取得された制御ハンドルの測位校正値及びハンドルケースの測位校正装置に基づいて、ステップS1において取得された制御ハンドルの初期測位情報及びハンドルケースの初期測位情報を校正して、組合せハンドルの空間測位情報を取得する。
本発明に係る組合せハンドルの測位方法において、組合せハンドルがゲーム携帯端末とともにゲーム装置を構成することができるだけでなく、ヘッドマウント表示装置とともに仮想システムを構成することもできる場合、組合せハンドルの汎用性を向上させ、また、制御ハンドルが再びハンドルケースに取り付けられる場合、再び取り付けられた後の制御ハンドルとハンドルケースを改めて校正する必要があり、ユーザーが組合せを使用して仮想機能を体験するとき、組合せハンドルに対する測位をより正確にすることができ、それによりマンマシンインタラクションの流暢性を向上させ、更にユーザーの仮想体験感を向上させる。
本発明の一実施例では、図3は本発明の他の実施例に係る組合せハンドルの測位方法のフローチャートであり、図3に示すように、該組合せハンドルの測位方法におけるステップS3(制御ハンドルの測位校正値及びハンドルケースの測位校正値に基づいて制御ハンドルの初期測位情報及びハンドルケースの初期測位情報を校正して、組合せハンドルの空間測位情報を生成する)は具体的に以下のステップを含む。
ステップS31、制御ハンドルの測位校正値に基づいて制御ハンドルの初期測位情報を校正して、制御ハンドルの測位情報を生成し、
即ち、制御ハンドルの測位校正値に基づいて制御ハンドルの初期測位情報を校正し、それにより制御ハンドルの測位情報の精度を向上させる。
具体的に、制御ハンドルの測位校正値は予め校正且つ記憶されることができ、例えば、組合せハンドルが出荷される前に、制御ハンドル及びハンドルケースに対して出荷校正を行って、出荷前且つ校正後の制御ハンドルの測位校正値及びハンドルケースの測位校正値を記憶する。
ステップS32、ハンドルケースの測位校正値に基づいてハンドルケースの初期測位情報を校正して、ハンドルケースの測位情報を生成し、
即ち、ハンドルケースの測位校正値に基づいてハンドルケースの初期測位情報を校正し、それによりハンドルケースの測位情報の精度を向上させる。
ステップS33、制御ハンドルの測位情報及びハンドルケースの測位情報を整合して、組合せハンドルの空間測位情報を生成する。
校正後の制御ハンドルの測位情報及びハンドルケースの測位情報を整合して、組合せハンドルの空間測位情報を取得し、組合せハンドルの測位精度を向上させる。
本発明の一実施例では、図4は本発明の他の実施例に係る組合せハンドルの測位方法のフローチャートであり、図4に示すように、ステップS1(制御ハンドルがヘッドマウント表示装置に通信接続された後、制御ハンドルの初期測位情報を取得し、及びハンドルケースの初期測位情報を取得する)は具体的に以下のステップを含む。
ステップS11、制御ハンドルがヘッドマウント表示装置に通信接続された後、ヘッドマウント表示装置の測位情報を取得し、
ステップS12、第1赤外線センサの第1スポット画像及び制御ハンドルのIMUデータを取得し、且つ第1スポット画像、制御ハンドルのIMUデータ及びヘッドマウント表示装置の測位情報に基づいて制御ハンドルの初期測位情報を計算し、
具体的に、第1赤外線センサ内には赤外線を発射する超小型赤外線ランプが設置され、超小型赤外線ランプがオン状態にある場合、カメラによりそれを撮影し、超小型赤外線ランプのスポットをキャプチャすることができ、従って、スポットの位置を赤外線発射器に対応する位置として決定することができる。一般的に、各第1赤外線センサにいずれも若干の超小型赤外線ランプが設けられ、第1赤外線センサの複数のランプが1つのランプリングを形成する。即ち、カメラにより第1赤外線センサの第1スポット画像を撮影することができ、従って、カメラから第1赤外線センサの第1スポット画像を取得することができる。
取り外された後の制御ハンドルが改めて取り付けられた後、第1赤外線発射器の超小型赤外線ランプを制御してオンにさせ、カメラにより撮影して、第1赤外線発射器の超小型赤外線ランプのスポットを含む第1スポット画像を取得する。
具体的に、慣性センサ(Inertial Measurement Unit、IMUと略称される)は物体の3軸姿勢角(又は、角速度)及び加速度を測定する装置である。一般的に、1つのIMUは3つの単軸の加速度計及び3つの単軸のジャイロを備え、加速度計が物体の媒体座標システムにおける独立した3軸の加速度信号を検出するが、ジャイロが媒体のナビゲーション座標系に対する角速度信号を検出し、従って、慣性センサは物体の三次元空間における角速度及び加速度を測定し、且つこれに基づいて物体の姿勢を計算し、例えば物体の回転自由度を計算することができ、回転自由度とは上下、前後、左右の3つの位置に関連する自由度を指す。IMUデータは慣性センサが物体を検出する結果データ、即ち慣性センサが検出した1つの物体の三次元空間における角速度及び加速度データである。従って、制御ハンドルに設置される第1慣性センサは制御ハンドルのIMUデータを検出することができ、且つ制御ハンドルのIMUデータにより制御ハンドルの姿勢例えば制御ハンドルの回転自由度を計算することができ、回転自由度とは上下、前後、左右の3つの位置に関連する自由度を指す。
要するに、第1スポット画像及び第1慣性センサが検出した制御ハンドルのIMUデータに基づいて制御ハンドルの6自由度データ(6DOF、6 degree of freedom)、即ち制御ハンドルの6DOFデータを決定することができる。
制御ハンドルの6DOFデータ及びヘッドマウント表示装置の測位情報に基づいて制御ハンドルの初期測位情報を決定することができる。
ステップS13、第2赤外線センサの第2スポット画像及びハンドルケースのIMUデータを取得し、且つ第2スポット画像、ハンドルケースのIMUデータ及びヘッドマウント表示装置の測位情報に基づいてハンドルケースの初期測位情報を計算する。
同様に、第2赤外線センサ内には赤外線を発射する超小型赤外線ランプが設置され、超小型赤外線ランプがオン状態にある場合、カメラによりそれを撮影し、超小型赤外線ランプのスポットをキャプチャすることができ、従って、スポットの位置を赤外線発射器に対応する位置として決定することができる。一般的に、各第2赤外線センサにいずれも若干の超小型赤外線ランプが設けられ、第2赤外線センサの複数のランプが1つのランプリングを形成する。即ち、カメラにより第2赤外線センサの第2スポット画像を撮影することができ、従って、カメラから第2赤外線センサの第2スポット画像を取得することができる。
取り外された後の制御ハンドルが改めて取り付けられた後、第2赤外線発射器の超小型赤外線ランプを制御してオンにさせ、カメラにより撮影して、第2赤外線発射器の超小型赤外線ランプのスポットを含む第2スポット画像を取得し、第2スポット画像からハンドルケースの並進IMUデータを決定することができ、
ハンドルケースに設置される第2慣性センサはハンドルケースのIMUデータを検出することができ、従って、第2慣性センサからハンドルケースのIMUデータを取得することができる。且つハンドルケースのIMUデータによりハンドルケースの姿勢を計算することができ、例えばハンドルケースの回転自由度を取得し、回転自由度とは上下、前後、左右の3つの位置に関連する自由度を指す。第2スポット画像及び第2慣性センサが検出したハンドルケースのIMUデータに基づいてハンドルケースの6自由度データ即ちハンドルケースの6DOFデータを決定することができる。
ハンドルケースの6DOFデータ及びヘッドマウント表示装置の測位情報に基づいてハンドルケースの初期測位情報を決定することができる。
ユーザーが仮想現実装置を使用するとき、ヘッドマウント表示装置を頭にかぶることでヘッドマウント表示装置上のディスプレイによりゲームインターフェースを見るとともに、両手で制御ハンドル上のボタンを操作することで動作制御命令を生成する。動作制御命令は前進、後退、左への移動、右への移動、回転、ジャンプなどを含む。ユーザーの頭又は手が移動するとき、対応の位置情報が変化し、組合せハンドルの6自由度データ、ヘッドマウント表示装置の6自由度データを決定して記録し、組合せハンドルの6自由度データの変化に基づいて組合せハンドルの運動軌跡を決定し、ヘッドマウント表示装置の6自由度データの変化に基づいてヘッドマウント表示装置の運動軌跡を決定する。運動軌跡に基づいて対応するマンマシンインタラクションを生成し、例えば動作軌跡に基づいてゲームインターフェースの表示を切り換えるシーンを実現する。従って、運動軌跡を決定してから表示ページを制御して切り換えさせ、組合せハンドルが送信する動作制御命令に基づいて対応するゲーム動作を生成する。
説明されるように、制御ハンドル上の第1赤外線センサの第1スポット画像を撮影するカメラと、ハンドルケース上の第2赤外線センサの第2スポット画像を撮影するカメラは同じカメラであってもよく、異なるカメラであってもよい。例えば、第1赤外線センサ及び第2赤外線センサを撮影するカメラは同じカメラであり、且つヘッドマウント表示装置に設置されてもよく、ヘッドマウント表示装置はヘルメット及びモバイル端末を備える場合、該カメラはヘルメットに設置されてもよく、モバイル端末に設置されてもよい。更に例えば、第1赤外線センサを撮影するカメラと第2赤外線カメラを撮影するカメラは同じカメラではなく、例えば、第1赤外線センサを撮影するカメラは空間内に設置される1つの固定カメラであってもよく、第2赤外線カメラを撮影するカメラはヘッドマウント表示装置に設置される1つのカメラであってもよい。
本発明の一実施例では、図5は本発明の他の実施例に係る組合せハンドルの測位方法のフローチャートであり、図5に示すように、ステップS11(制御ハンドルがヘッドマウント表示装置に通信接続された後、ヘッドマウント表示装置の測位情報を取得する)は具体的に以下のステップを含む。
ステップS110、ヘッドマウント表示装置の位置する空間画像を取得し、
具体的に、ヘッドマウント表示装置の位置する空間画像はカメラにより撮影されてもよく、例えばヘッドマウント表示装置にカメラを設置してもよく、カメラはヘッドマウント表示装置の位置する空間画像を撮影することができる。ヘッドマウント表示装置はヘルメット及びモバイル端末を備える場合、該カメラはヘルメットに設置されてもよく、モバイル端末のバックカメラであってもよい。
ヘッドマウント表示装置の位置する空間画像に基づいてヘッドマウント表示装置の空間内での位置情報即ち並進自由度データを決定することができる。
ステップS111、ヘッドマウント表示装置のIMUデータを取得し、
具体的に、ヘッドマウント表示装置のIMUデータはヘッドマウント表示装置に設置される第3慣性センサにより検出されることができ、即ち第3慣性センサはヘッドマウント表示装置のIMUデータを検出することができる。
ステップS112、ヘッドマウント表示装置の位置する空間画像及びヘッドマウント表示装置のIMUデータを計算して、ヘッドマウント表示装置の測位情報を生成する。
ヘッドマウント表示装置の空間画像及びヘッドマウント表示装置のIMUデータに基づいてヘッドマウント表示装置の6自由度データ即ち6DOFデータを決定することができる。そして、ヘッドマウント表示装置の測位情報はヘッドマウント表示装置の6自由度データである。
本発明の一実施例では、図6は本発明の他の実施例に係る組合せハンドルの測位方法のフローチャートであり、図6に示すように、ステップS1(制御ハンドルがヘッドマウント表示装置に通信接続された後、制御ハンドルの初期測位情報を取得し、及びハンドルケースの初期測位情報を取得する)の前に、組合せハンドルの測位方法は更に以下のステップを含む。
ステップS10、組合せハンドルが出荷される前に、組合せハンドルにおける制御ハンドルのテスト測位情報及びハンドルケースのテスト測位情報に対して出荷校正を行って、制御ハンドルの測位校正値及びハンドルケースの測位校正値を生成する。
即ち、ステップS2における制御ハンドルの測位校正値及びハンドルケースの測位校正値はいずれも組合せハンドルが出荷される前に校正された後の校正値である。
具体的に、図7に示すように、ステップS10(組合せハンドルにおける制御ハンドルのテスト測位情報及びハンドルケースのテスト測位情報に対して出荷校正を行って、制御ハンドルの測位校正値及びハンドルケースの測位校正値を生成する)は具体的に以下のステップを含む。
ステップS101、第1赤外線センサの第1テストスポット画像及び制御ハンドルのテストIMUデータ、第2赤外線センサの第2テストスポット画像及びハンドルケースのテストIMUデータを取得し、
組合せハンドルが出荷される前に、カメラにより制御ハンドルに設置される第1赤外線センサの第1テストスポット画像、及びハンドルケースに設置される第2赤外線センサの第2テストスポット画像を撮影し、制御ハンドルに設置される第1慣性センサにより制御ハンドルのテストIMUデータを検出し、及びハンドルケースに設置される第2慣性センサによりハンドルケースのテストIMUデータを検出する。
ステップS102、第1テストスポット画像及び制御ハンドルのテストIMUデータに基づいて制御ハンドルのテスト測位情報を取得し、
第1テストスポット画像により制御ハンドルのテスト位置情報を決定することができ、制御ハンドルのIMUデータにより制御ハンドルのテスト角度情報を決定することができる。
ステップS103、第2テストスポット画像及びハンドルケースのテストIMUデータに基づいてハンドルケースのテスト測位情報を取得し、
第2テストスポット画像によりハンドルケースのテスト位置情報を決定することができ、ハンドルケースのIMUデータによりハンドルケースのテスト角度情報を決定することができる。
ステップS104、制御ハンドルのテスト測位情報と制御ハンドルの標準測位情報を比較して、制御ハンドルの測位校正値を生成し、
具体的に、制御ハンドルの測位校正値は第1位置オフセット値及び第1角度オフセット値を含み、制御ハンドルの標準測位情報は第1標準位置値及び第1標準角度値を含む。
第1テストスポット画像に基づいて制御ハンドルのテスト位置情報を決定し、且つテスト位置情報及び標準測位情報における第1標準位置値に基づいて第1位置オフセット値を決定する。
制御ハンドルのテストIMUデータに基づいて制御ハンドルのテスト角度情報を決定し、且つテスト角度情報及び標準測位情報における第1標準角度値に基づいて第1角度オフセット値を決定する。
ステップS105、ハンドルケースのテスト測位情報とハンドルケースの標準測位情報を比較して、ハンドルケースの測位校正値を生成する。
具体的に、ハンドルケースの測位校正値は第2位置オフセット値及び第2角度オフセット値を含み、ハンドルケースの標準測位情報は第2標準位置値及び第2標準角度値を含む。
第2テストスポット画像に基づいてハンドルケースのテスト位置情報を決定し、且つテスト位置情報及び標準測位情報における第2標準位置値に基づいて第2位置オフセット値を決定する。
ハンドルケースのテストIMUデータに基づいてハンドルケースのテスト角度情報を決定し、且つテスト角度情報及び標準測位情報における第2標準角度値に基づいて第2角度オフセット値を決定する。
制御ハンドルが手持ち部に取り付けられた後、且つ出荷される前に、制御ハンドル及びハンドルケースを測位して校正値を取得する必要がある。後続の使用中に、組合せハンドルの制御ハンドルが取り外されてから改めて組み立てられる場合、該校正値に基づいて制御ハンドル及びハンドルケースの位置を校正した後、組合せハンドルの運動軌跡の追跡を行う。
本発明の一実施例では、組合せハンドルは制御ハンドルに設置される第1メモリと、ハンドルケースに設置される第2メモリとを更に備え、図8に示すように、ステップS105の後で且つステップS2の前に、組合せハンドルの測位方法は更に以下を含む。
ステップS106、制御ハンドルの測位校正値及びハンドルケースの測位校正値をそれぞれ第1メモリ及び第2メモリに記憶し、
即ち、組合せハンドルが出荷される前に、制御ハンドルの測位校正値及びハンドルケースの測位校正値を決定した後、それぞれ制御ハンドルの測位校正値を制御ハンドルに設置される第1メモリに記憶し、ハンドルケースの測位校正値をハンドルケースに設置される第2メモリに記憶する。本発明は制御ハンドルの測位校正値及びハンドルケースの測位校正値をそれぞれ異なるメモリに記憶し、測位校正値を正確に抽出することを容易にし、また、更にデータが紛失される確率を低下させる。
測位校正値がそれぞれ記憶される場合、制御ハンドルの測位校正値及びハンドルケースの測位校正値を取得することは、それぞれ第1メモリ及び第2メモリから呼び出すことである。即ち、ステップS2(制御ハンドルの測位校正値及びハンドルケースの測位校正値を取得する)は具体的に以下を含む。
ステップS21、第1メモリ及び第2メモリからそれぞれ制御ハンドルの測位校正値及びハンドルケースの測位校正値を呼び出す。
例示的な測位コントローラ
本発明の第3態様として、本発明は更に組合せハンドルの測位コントローラを提供し、該組合せハンドルの測位コントローラはヘッドマウント表示装置に統合されてもよく、組合せハンドルにおける制御ハンドル内に統合されてもよい。図9は本発明の一実施例に係る組合せハンドルの測位コントローラの動作原理図であり、図9に示すように、且つ図1を併せて、該組合せハンドルの測位コントローラ1は接続状態決定ユニット11、情報決定ユニット12及び空間測位ユニット13を含む。
接続状態決定ユニット11は、制御ハンドルとヘッドマウント表示装置との接続状態を決定するためのものであり、
具体的に、ヘッドマウント表示装置は仮想ヘルメットと、仮想ヘルメットに取り付けられるディスプレイとを備える。制御ハンドルとヘッドマウント表示装置との通信接続とは、制御ハンドルとヘッドマウント表示装置上の制御命令、画像などの情報を伝達する必要がある装置との通信接続、例えばヘッドマウント表示装置上のディスプレイと制御ハンドルとの通信接続を指し、更に例えば、ヘッドマウント表示装置にセンサを有し、このとき、センサは接続状態決定ユニット11に通信接続され、ユーザーが仮想ヘルメットをかぶっている場合、センサはセンシング信号を接続状態決定ユニット11に伝送し、接続状態決定ユニット11はセンシング信号に基づいて制御ハンドルが仮想機能を実行することを判断し、即ち制御ハンドルはヘッドマウント表示装置と共同で仮想システムを構成し、このとき、制御ハンドルがセンサとの通信接続を実現する。
情報決定ユニット12は、制御ハンドルの初期測位情報を取得し、及びハンドルケースの初期測位情報を取得し、制御ハンドルの測位校正値及びハンドルケースの測位校正値を取得するためのものであり、
即ち、情報決定ユニット12は以上に記載の組合せハンドルの測位方法におけるステップS1及びステップS2を実行する。
具体的に、図9に示すように、情報決定ユニット12は制御ハンドル33上の第1赤外線センサ331の第1スポット画像を撮影するための第1カメラ333、ハンドルケース上の環状部361上の第2赤外線センサ363の第2スポット画像を撮影するための第2カメラ365、制御ハンドル33に設置される第1慣性センサ332、及びハンドルケースに設置される環状部361上の第2慣性センサ364に通信接続される。情報決定ユニット12は第1カメラ333から送信された第1赤外線センサ331の第1スポット画像を受信し、第1慣性センサ332から送信された制御ハンドル33のIMUデータを受信し、且つ第1スポット画像及び制御ハンドル33のIMUデータに基づいて制御ハンドル33の初期測位情報を決定する。情報決定ユニット12は第2カメラ365から送信された第2赤外線センサ363の第2スポット画像、第2慣性センサ364から伝送されたハンドルケース36のIMUデータを受信し、且つ第2スポット画像及びハンドルケース36のIMUデータに基づいてハンドルケース36の初期測位情報を決定する。
空間測位ユニット13は、制御ハンドルの測位校正値及びハンドルケースの測位校正値に基づいて制御ハンドルの初期測位情報及びハンドルケースの初期測位情報を校正して、組合せハンドルの空間測位情報を生成するためのものである。
空間測位ユニット13は以上に記載の組合せハンドルの測位方法におけるステップS3を実行するためのものである。
具体的に、空間測位ユニット13は情報決定ユニット12に通信接続され、空間測位ユニット13は情報決定ユニット12から送信された制御ハンドルの初期測位データ及びハンドルケースの初期測位データを受信し、且つ制御ハンドルの測位校正値及びハンドルケースの測位校正値に基づいて制御ハンドルの初期測位情報及びハンドルケースの初期測位情報を校正して、組合せハンドルの空間測位情報を生成する。
具体的に、図10に示すように、制御ハンドルの測位校正値及びハンドルケースの測位校正値はそれぞれ第1メモリ333及び第2メモリ366に記憶され、第1メモリ333は制御ハンドル33内に統合され、第2メモリ336はハンドルケース36内に統合され、空間測位ユニット13はそれぞれ第1メモリ333及び第2メモリ336に通信接続され、空間測位ユニット13は第1メモリ333から制御ハンドルの測位校正値を呼び出し、第2メモリ336からハンドルケースの測位校正値を呼び出す。
本発明に係る組合せハンドルの測位コントローラは、組合せハンドルがゲーム携帯端末とともにゲーム装置を構成することができるだけでなく、ヘッドマウント表示装置とともに仮想システムを構成することもできる場合、組合せハンドルの汎用性を向上させ、また、制御ハンドルが再びハンドルケースに取り付けられる場合、再び取り付けられた後の制御ハンドルとハンドルケースを改めて校正する必要があり、ユーザーが組合せを使用して仮想機能を体験するとき、組合せハンドルに対する測位をより正確にすることができ、それによりマンマシンインタラクションの流暢性を向上させ、更にユーザーの仮想体験感を向上させる。
本発明の一実施例では、図11は本発明の一実施例に係る組合せハンドルの測位コントローラの動作原理図であり、図11に示すように、空間測位ユニット13は第1校正モジュール131、第2校正モジュール132及び測位モジュール133を備える。
第1校正モジュール131は、制御ハンドルの測位校正値に基づいて制御ハンドルの初期測位情報を校正して、制御ハンドルの測位情報を生成するためのものであり、
具体的に、第1校正モジュール131は情報決定ユニット12に通信接続され、第1校正モジュール131は情報決定ユニット12から伝送された制御ハンドルの測位校正値を受信し、第1校正モジュール131は制御ハンドルの測位校正値が記憶される第1メモリ333に通信接続され、且つ第1メモリから制御ハンドルの測位校正値を呼び出すことができ、第1校正モジュール131は制御ハンドルの初期測位情報及び制御ハンドルの測位校正値を受信した後、制御ハンドルの測位校正値に基づいて制御ハンドルの初期測位情報を校正して、制御ハンドルの測位情報を生成する。
第2校正モジュール132は、ハンドルケースの測位校正値に基づいてハンドルケースの初期測位情報を校正して、ハンドルケースの測位情報を生成するためのものであり、
具体的に、第2校正モジュール132は情報決定ユニット12に通信接続され、第2校正モジュール132は情報決定ユニット12から伝送されたハンドルケースの測位校正値を受信し、第1校正モジュール131はハンドルケースの測位校正値が記憶される第2メモリ366に通信接続され、且つ第2メモリからハンドルケースの測位校正値を呼び出すことができ、第2校正モジュール132はハンドルケースの初期測位情報及びハンドルケースの測位校正値を受信した後、ハンドルケースの測位校正値に基づいてハンドルケースの初期測位情報を校正して、ハンドルケースの測位情報を生成する。
測位モジュール133は、制御ハンドルの測位情報及びハンドルケースの測位情報を整合して、組合せハンドルの空間測位情報を生成するためのものである。
測位モジュール133はそれぞれ第1校正モジュール131及び第2校正モジュール132に通信接続され、且つ第1校正モジュールから伝送された制御ハンドルの測位情報を受信し、及び第2校正モジュールから伝送されたハンドルケースの測位情報を受信し、且つ制御ハンドルの測位情報及びハンドルケースの測位情報に基づいて整合して、組合せハンドルの空間測位情報を生成する。
本発明の一実施例では、図12及び図13は本発明の一実施例に係る組合せハンドルの測位コントローラの動作原理図であり、図12及び図13に示すように、空間測位ユニット13は、
組合せハンドルが出荷される前に、組合せハンドルにおける制御ハンドルのテスト測位情報及びハンドルケースのテスト測位情報に対して出荷校正を行って、制御ハンドルの測位校正値及びハンドルケースの測位校正値を生成するための出荷校正モジュール134を更に備える。
具体的に、図12に示すように、出荷校正モジュール134は組合せハンドルの校正を完了した後、制御ハンドルの測位校正値及びハンドルケースの測位校正値を自己記憶でき、即ち制御ハンドルの測位校正値及びハンドルケースの測位校正値はいずれも出荷校正モジュール134に記憶される。出荷校正モジュール134は第1校正モジュール131及び第2校正モジュール132に通信接続され、第1校正モジュール131及び第2校正モジュール132はいずれも出荷校正モジュール134から制御ハンドルの測位校正値及びハンドルケースの測位校正値を呼び出すことができる。
また、図13に示すように、出荷校正モジュール134は組合せハンドルの校正を完了した後、制御ハンドルの測位校正値を制御ハンドル内に統合される第1メモリ333に記憶でき、ハンドルケースの測位校正値をハンドルケース内に統合される第2メモリ366に記憶でき、このとき、出荷校正モジュール134はそれぞれ第1メモリ333及び第2メモリ366に通信接続され、且つ制御ハンドルの測位校正値を制御ハンドル内に統合される第1メモリ333に記憶し、ハンドルケースの測位校正値をハンドルケース内に統合される第2メモリ366に記憶する。第1校正モジュール131は第1メモリ333に通信接続され、第1校正モジュール131は第1メモリ333から制御ハンドルの測位校正値を呼び出すことができる。第2校正モジュール132は第2メモリ366に通信接続され、第2校正モジュール132は第2メモリ366からハンドルケースの測位校正値を呼び出すことができる。
本発明の一実施例では、図14は本発明の一実施例に係る組合せハンドルの測位コントローラの動作原理図であり、図14に示すように、情報決定ユニット12は具体的にヘッドマウント表示情報決定モジュール121、第1測位情報決定モジュール122及び第2測位情報決定モジュール123を備える。
ヘッドマウント表示情報決定モジュール121は、ヘッドマウント表示装置の測位情報を取得するためのものであり、
第1測位情報決定モジュール122は、第1赤外線センサの第1スポット画像及び制御ハンドルのIMUデータを取得し、且つ第1スポット画像、制御ハンドルのIMUデータ及びヘッドマウント表示装置の測位情報に基づいて制御ハンドルの初期測位情報を計算するためのものであり、
具体的に、第1測位情報決定モジュール122はそれぞれヘッドマウント表示情報決定モジュール121、第1校正モジュール131、第1慣性センサ332及び第1カメラ333に通信接続され、第1測位情報決定モジュール122は第1慣性センサ332から伝送された制御ハンドルのIMUデータを受信し、及び第1カメラ333が撮影した第1赤外線センサ332の第1スポット画像を受信し、且つ制御ハンドルのIMUデータ、第1スポット画像及びヘッドマウント表示装置の測位情報を計算して、制御ハンドルの初期測位情報を決定し、第1測位情報決定モジュール122は制御ハンドルの初期測位情報を決定した後、制御ハンドルの初期測位情報を第1校正モジュール131に送信する。
第2測位情報決定モジュール123は、第2赤外線センサ364の第2スポット画像及びハンドルケースのIMUデータを取得し、且つ第2スポット画像、ハンドルケースのIMUデータ及びヘッドマウント表示装置の測位情報に基づいてハンドルケースの初期測位情報を計算するためのものである。
具体的に、第2測位情報決定モジュール123はそれぞれヘッドマウント表示情報決定モジュール121、第2校正モジュール132、第2慣性センサ364及び第2カメラ365に通信接続され、第2測位情報決定モジュール123は第2慣性センサ364から伝送されたハンドルケースのIMUデータを受信し、及び第2カメラ365が撮影した第2赤外線センサ364の第2スポット画像を受信し、且つハンドルケースのIMUデータ、第1スポット画像及びヘッドマウント表示装置の測位情報を計算して、ハンドルケースの初期測位情報を決定し、第2測位情報決定モジュール123はハンドルケースの初期測位情報を決定した後、ハンドルケースの初期測位情報を第2校正モジュール132に送信する。
本発明の一実施例では、図15は本発明の一実施例に係る組合せハンドルの測位コントローラの動作原理図であり、図15に示すように、ヘッドマウント表示情報決定モジュール121は具体的に画像取得モジュール1211、自由度データ取得モジュール1212及び計算モジュール1213を備える。
画像取得モジュール1211は、ヘッドマウント表示装置の位置する空間画像を取得するためのものであり、
具体的に、ヘッドマウント表示装置に第3カメラ40が取り付けられる場合、該第3カメラ40はヘッドマウント表示装置の位置する空間の空間画像を撮影することができ、このとき、画像取得モジュール1211は該第3カメラ40に通信接続され、該第3カメラ40から伝送されたヘッドマウント表示装置の位置する空間画像を受信する。
自由度データ取得モジュール1212は、ヘッドマウント表示装置のIMUデータを取得するためのものであり、
具体的に、ヘッドマウント表示装置のIMUデータはヘッドマウント表示装置に取り付けられる第3慣性センサ41を用いて検出して取得されることができ、このとき、自由度データ取得モジュール1212はヘッドマウント表示装置に取り付けられる第3慣性センサ41に通信接続され、且つ第3慣性センサ41が検出したヘッドマウント表示装置のIMUデータを受信する。
計算モジュール1213は、ヘッドマウント表示装置の位置する空間画像及びヘッドマウント表示装置のIMUデータを計算して、ヘッドマウント表示装置の測位情報を生成するためのものである。
計算モジュール1213はそれぞれ画像取得モジュール1211、自由度データ取得モジュール1212、第1測位情報決定モジュール122及び第2測位情報決定モジュール123に通信接続される。計算モジュール1213は画像取得モジュール1211から伝送されたヘッドマウント表示装置の位置する空間画像を受信し、及び自由度データ取得モジュール1212から伝送されたヘッドマウント表示装置のIMUデータを受信し、且つヘッドマウント表示装置の位置する空間画像及びヘッドマウント表示装置のIMUデータを計算して、ヘッドマウント表示装置の測位情報を決定し、且つヘッドマウント表示装置の測位情報を第1測位情報決定モジュール122及び第2測位情報決定モジュール123に伝送する。
例示的な仮想システム
本発明の第4態様として、本発明は更に仮想システムを提供し、以上に記載の組合せハンドルと、以上に記載の組合せハンドルの測位コントローラと、ヘッドマウント表示装置と、ヘッドマウント表示装置に設置され、第1赤外線センサの第1スポット画像、撮影第2赤外線センサの第2スポット画像及びヘッドマウント表示装置の位置する空間の画像を撮影するための撮影装置と、を備え、組合せハンドルの測位コントローラはヘッドマウント表示装置に設置され、撮影装置及び制御ハンドルはいずれも組合せハンドルの測位コントローラに通信接続される。
具体的に、撮影装置は以上に記載の第1カメラ、第2カメラ及び第3カメラを備えてもよく、第1カメラは第1赤外線センサの第1スポット画像を撮影するためのものであり、第2カメラは第2赤外線センサの第2スポット画像を撮影するためのものであり、第3カメラはヘッドマウント表示装置の位置する空間の画像を撮影するためのものである。
仮想システムの動作原理は以上の説明を参照し、ここで詳細な説明は省略する。
選択肢として、仮想システムは、ヘッドマウント表示装置に設置され、ヘッドマウント表示装置のIMUデータを測定するための第3慣性センサを更に備える。
選択肢として、該仮想システムは仮想現実システム又は拡張現実システムを含む。
例示的な電子機器
以下、図16を参照して本発明の実施例に係る電子機器について説明する。図16は本発明の一実施例に係る電子機器の構造模式図である。
図16に示すように、電子機器600は1つ又は複数のプロセッサ601及びメモリ602を備える。
プロセッサ601は中央処理ユニット(CPU)又はデータ処理能力及び/又は情報実行能力を持つ他の形式の処理ユニットであってもよく、且つ所望の機能を実行するように電子機器600の他のコンポーネントを制御することができる。
メモリ601は1つ又は複数のコンピュータプログラム製品を含んでもよく、前記コンピュータプログラム製品は様々な形式のコンピュータ可読記憶媒体、例えば揮発性メモリ及び/又は不揮発性メモリを含んでもよい。前記揮発性メモリは例えばランダムアクセスメモリ(RAM)及び/又はキャッシュメモリ(cache)などを含んでもよい。前記不揮発性メモリは例えば読み出し専用メモリ(ROM)、ハードディスク、フラッシュメモリなどを含んでもよい。前記コンピュータ可読記憶媒体に1つ又は複数のコンピュータプログラム情報が記憶されてもよく、プロセッサ601は前記プログラム情報を実行することにより、以上に記載の本発明の各実施例の組合せハンドルの測位方法又は他の所望の機能を実現することができる。
一例では、電子機器600は更に入力装置603及び出力装置604を備えてもよく、これらのコンポーネントはバスシステム及び/又は他の形式の接続機構(図示せず)により互いに接続される。
該入力装置603は例えばキーボード、マウスなどを含んでもよい。
該出力装置604は外部に様々な情報を出力することができる。該出力装置604は例えばディスプレイ、通信ネットワーク及びそれに接続される遠隔出力装置などを備えてもよい。
当然ながら、簡素化のために、図16には該電子機器600における本発明に関連するコンポーネントの一部のみを示し、例えばバス、入力/出力インターフェースなどのコンポーネントを省略する。それ以外に、具体的な応用状況に応じて、電子機器600は更にいかなる他の適切なコンポーネントを備えてもよい。
上記方法及び装置以外に、本発明の実施例は更にコンピュータプログラム情報を含むコンピュータプログラム製品であってもよく、前記コンピュータプログラム情報はプロセッサにより実行される際に前記プロセッサに本明細書に説明される本発明の様々な実施例に係る組合せハンドルの測位方法におけるステップを実行させる。
前記コンピュータプログラム製品は1種類又は複数種類のプログラム設計言語の任意の組合せで本発明の実施例の操作を実行するためのプログラムコードを作成し、前記プログラム設計言語はオブジェクト指向プログラム設計言語、例えばJava、C++などを含み、通常の手続きプログラム設計言語、例えば「C」言語又は類似のプログラム設計言語を更に含む。プログラムコードは完全にユーザー計算装置において実行され、部分的にユーザー装置において実行され、1つの独立したパッケージソフトウェアとして実行され、部分的にユーザー計算装置において実行されて部分的に遠隔計算装置において実行され、又は完全に遠隔計算装置又はサーバにおいて実行されてもよい。
また、本発明の実施例は更にコンピュータプログラム情報が記憶されるコンピュータ可読記憶媒体であってもよく、前記コンピュータプログラム情報はプロセッサにより実行される際に前記プロセッサに本明細書における本発明の様々な実施例に係る組合せハンドルの測位方法におけるステップを実行させる。
前記コンピュータ可読記憶媒体は1つ又は複数の可読媒体の任意の組合せを用いてもよい。可読媒体は可読信号媒体又は可読記憶媒体であってもよい。可読記憶媒体は例えば電気、磁気、光、電磁、赤外線又は半導体のシステム、装置又はデバイス、又は任意の以上の組合せを含んでもよいが、それらに限らない。可読記憶媒体のより具体的な例(網羅しないリスト)は、1つ又は複数の導線を有する電気的接続、ポータブルディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能プログラム可能読み出し専用メモリ(EPROM又はフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ(CD-ROM)、光記憶デバイス、磁気記憶デバイス、又は上記の任意の適切な組合せを含む。
以上は具体的な実施例を参照して本発明の基本原理を説明したが、指摘されるように、本発明に言及した利点、優位性、効果などは例示的なものであって制限のためのものではなく、これらの利点、優位性、効果などは本発明の各実施例が備えなければならないものと見なされるべきではない。また、上記開示される具体的な細部は単に例示のためのもの及び理解しやすくするためのものであり、制限のためのものではなく、上記細部は本発明が必ず上記具体的な細部を用いて実現されなければならないように制限されるものではない。
本発明に言及したデバイス、装置、設備、システムのブロック図は単に例示的な例とされ、且つ必ずブロック図に示される方式に基づいて接続、レイアウト、配置しなければならないように求め又は示唆することが意図されない。当業者であれば分かるように、任意の方式でこれらのデバイス、装置、設備、システムを接続、レイアウト、配置することができる。例えば「含む」、「包含」、「有する」などのワードはオープンクラス語彙であり、「〇〇を含むが、それに限らない」を意味し、且つそれと交換して使用されることができる。コンテクストに明確に指示しない限り、ここで使用される語彙「又は」と「及び」は語彙「及び/又は」を指し、且つそれと交換して使用されることができる。ここで使用される語彙「例えば」は連語「例えば○○が挙げられるが、それに限らない」を意味し、且つそれと交換して使用されることができる。
以上の説明は単に本発明創造の好適な実施例に過ぎず、本発明創造を制限するためのものではなく、本発明創造の主旨及び原則内に行われるいかなる修正、等価置換などは、いずれも本発明創造の保護範囲内に含まれるべきである。

Claims (19)

  1. 組合せハンドルの測位方法であって、
    前記組合せハンドルは制御ハンドル及びハンドルケースを備え、
    前記制御ハンドルがヘッドマウント表示装置に通信接続された後、前記制御ハンドルの初期測位情報を取得し、及び前記ハンドルケースの初期測位情報を取得することと、
    前記制御ハンドルの測位校正値及び前記ハンドルケースの測位校正値を取得することと、
    前記制御ハンドルの測位校正値及び前記ハンドルケースの測位校正値に基づいて前記制御ハンドルの初期測位情報及び前記ハンドルケースの初期測位情報を校正して、前記組合せハンドルの空間測位情報を生成することと、を含むことを特徴とする組合せハンドルの測位方法。
  2. 前記制御ハンドルの測位校正値及び前記ハンドルケースの測位校正値に基づいて前記制御ハンドルの初期測位情報及び前記ハンドルケースの初期測位情報を校正して、前記組合せハンドルの空間測位情報を生成することは、
    前記制御ハンドルの測位校正値に基づいて前記制御ハンドルの初期測位情報を校正して、前記制御ハンドルの測位情報を生成することと、
    前記ハンドルケースの測位校正値に基づいて前記ハンドルケースの初期測位情報を校正して、前記ハンドルケースの測位情報を生成することと、
    前記制御ハンドルの測位情報及び前記ハンドルケースの測位情報を整合して、前記組合せハンドルの空間測位情報を生成することと、を含むことを特徴とする請求項1に記載の組合せハンドルの測位方法。
  3. 前記ハンドルケースは環状部及び把持部を備え、前記把持部の中央箇所には前記制御ハンドルを収容して固定するための凹み部が設けられ、前記組合せハンドルは前記制御ハンドルに設置される第1赤外線センサと、前記環状部に設置される第2赤外線センサとを更に備え、
    前記制御ハンドルがヘッドマウント表示装置に通信接続された後、前記制御ハンドルの初期測位情報を取得し、及び前記ハンドルケースの初期測位情報を取得することは、
    前記制御ハンドルがヘッドマウント表示装置に通信接続された後、前記ヘッドマウント表示装置の測位情報を取得することと、
    前記第1赤外線センサの第1スポット画像及び前記制御ハンドルのIMUデータを取得し、且つ前記第1スポット画像、前記制御ハンドルのIMUデータ及び前記ヘッドマウント表示装置の測位情報に基づいて前記制御ハンドルの初期測位情報を計算することと、
    前記第2赤外線センサの第2スポット画像及び前記ハンドルケースのIMUデータを取得し、且つ前記第2スポット画像、前記ハンドルケースのIMUデータ及び前記ヘッドマウント表示装置の測位情報に基づいて前記ハンドルケースの初期測位情報を計算することと、を含むことを特徴とする請求項1に記載の組合せハンドルの測位方法。
  4. 前記ヘッドマウント表示装置の測位情報を取得することは、
    前記ヘッドマウント表示装置の位置する空間画像を取得することと、
    前記ヘッドマウント表示装置のIMUデータを取得することと、
    前記ヘッドマウント表示装置の位置する空間画像及び前記ヘッドマウント表示装置のIMUデータを計算して、前記ヘッドマウント表示装置の測位情報を生成することと、を含むことを特徴とする請求項3に記載の組合せハンドルの測位方法。
  5. 前記制御ハンドルがヘッドマウント表示装置に通信接続された後、前記制御ハンドルの初期測位情報を取得し、及び前記ハンドルケースの初期測位情報を取得する前に、前記組合せハンドルの測位方法は更に、
    前記組合せハンドルが出荷される前に、前記組合せハンドルにおける前記制御ハンドルのテスト測位情報及び前記ハンドルケースのテスト測位情報に対して出荷校正を行って、前記制御ハンドルの測位校正値及び前記ハンドルケースの測位校正値を生成することを含むことを特徴とする請求項3に記載の組合せハンドルの測位方法。
  6. 前記組合せハンドルにおける前記制御ハンドルのテスト測位情報及び前記ハンドルケースのテスト測位情報に対して出荷校正を行って、前記制御ハンドルの測位校正値及び前記ハンドルケースの測位校正値を生成することは、
    前記第1赤外線センサの第1テストスポット画像及び前記制御ハンドルのテストIMUデータ、前記第2赤外線センサの第2テストスポット画像及び前記ハンドルケースのテストIMUデータを取得することと、
    前記第1テストスポット画像及び前記制御ハンドルのテストIMUデータに基づいて前記制御ハンドルのテスト測位情報を取得することと、
    前記第2テストスポット画像及び前記ハンドルケースのテストIMUデータに基づいて前記ハンドルケースのテスト測位情報を取得することと、
    前記制御ハンドルのテスト測位情報と前記制御ハンドルの標準測位情報を比較して、前記制御ハンドルの測位校正値を生成することと、
    前記ハンドルケースのテスト測位情報と前記ハンドルケースの標準測位情報を比較して、前記ハンドルケースの測位校正値を生成することと、を含むことを特徴とする請求項5に記載の組合せハンドルの測位方法。
  7. 前記組合せハンドルは前記制御ハンドルに設置される第1メモリと、前記ハンドルケースに設置される第2メモリとを更に備え、
    前記制御ハンドルの測位校正値及び前記ハンドルケースの測位校正値を生成した後、前記組合せハンドルの測位方法は更に、
    前記制御ハンドルの測位校正値及び前記ハンドルケースの測位校正値をそれぞれ前記第1メモリ及び前記第2メモリに記憶することを含み、
    前記制御ハンドルの測位校正値及び前記ハンドルケースの測位校正値を取得することは、
    前記第1メモリ及び前記第2メモリからそれぞれ前記制御ハンドルの測位校正値及び前記ハンドルケースの測位校正値を呼び出すことを含むことを特徴とする請求項5に記載の組合せハンドルの測位方法。
  8. 前記制御ハンドルの測位校正値は前記制御ハンドルの位置オフセット値及び前記制御ハンドルの角度オフセット値を含み、
    前記ハンドルケースの測位校正値は前記ハンドルケースの位置オフセット値及び前記ハンドルケースの角度オフセット値を含むことを特徴とする請求項1に記載の組合せハンドルの測位方法。
  9. 制御ハンドル及びハンドルケースを備える組合せハンドルの測位コントローラであって、
    前記制御ハンドルとヘッドマウント表示装置との接続状態を決定するための接続状態決定ユニットと、
    前記制御ハンドルの初期測位情報を取得し、及び前記ハンドルケースの初期測位情報を取得し、前記制御ハンドルの測位校正値及び前記ハンドルケースの測位校正値を取得するための情報決定ユニットと、
    前記制御ハンドルの測位校正値及び前記ハンドルケースの測位校正値に基づいて前記制御ハンドルの初期測位情報及び前記ハンドルケースの初期測位情報を校正して、前記組合せハンドルの空間測位情報を生成するための空間測位ユニットと、を備えることを特徴とする組合せハンドルの測位コントローラ。
  10. 前記空間測位ユニットは、
    前記制御ハンドルの測位校正値に基づいて前記制御ハンドルの初期測位情報を校正して、前記制御ハンドルの測位情報を生成するための第1校正モジュールと、
    前記ハンドルケースの測位校正値に基づいて前記ハンドルケースの初期測位情報を校正して、前記ハンドルケースの測位情報を生成するための第2校正モジュールと、
    前記制御ハンドルの測位情報及び前記ハンドルケースの測位情報を整合して、前記組合せハンドルの空間測位情報を生成するための測位モジュールと、を備えることを特徴とする請求項9に記載の組合せハンドルの測位コントローラ。
  11. 前記情報決定ユニットは、
    前記ヘッドマウント表示装置の測位情報を取得するためのヘッドマウント表示情報決定モジュールと、
    第1赤外線センサの第1スポット画像及び前記制御ハンドルのIMUデータを取得し、且つ前記第1スポット画像、前記制御ハンドルのIMUデータ及び前記ヘッドマウント表示装置の測位情報に基づいて前記制御ハンドルの初期測位情報を計算するための第1測位情報決定モジュールと、
    第2赤外線センサの第2スポット画像及び前記ハンドルケースのIMUデータを取得し、且つ前記第2スポット画像、前記ハンドルケースのIMUデータ及び前記ヘッドマウント表示装置の測位情報に基づいて前記ハンドルケースの初期測位情報を計算するための第2測位情報決定モジュールと、を備えることを特徴とする請求項9に記載の組合せハンドルの測位コントローラ。
  12. 前記ヘッドマウント表示情報決定モジュールは、
    前記ヘッドマウント表示装置の位置する空間画像を取得するための画像取得モジュールと、
    前記ヘッドマウント表示装置のIMUデータを取得するための自由度データ取得モジュールと、
    前記ヘッドマウント表示装置の位置する空間画像及び前記ヘッドマウント表示装置のIMUデータを計算して、前記ヘッドマウント表示装置の測位情報を生成するための計算モジュールと、を備えることを特徴とする請求項11に記載の組合せハンドルの測位コントローラ。
  13. 前記空間測位ユニットは更に、
    前記組合せハンドルが出荷される前に、前記組合せハンドルにおける前記制御ハンドルのテスト測位情報及び前記ハンドルケースのテスト測位情報に対して出荷校正を行って、前記制御ハンドルの測位校正値及び前記ハンドルケースの測位校正値を生成するための出荷校正モジュールを備えることを特徴とする請求項10に記載の組合せハンドルの測位コントローラ。
  14. 仮想システムであって、
    制御ハンドルと、前記制御ハンドルに設置される第1赤外線センサと、環状部及び把持部を備え前記把持部の中央箇所には前記制御ハンドルを収容して固定するための凹み部が設けられるハンドルケースと、前記環状部に設置される第2赤外線センサと、を備える組合せハンドルと、
    請求項9~13のいずれか1項に記載の組合せハンドルの測位コントローラと、
    ヘッドマウント表示装置と、
    前記ヘッドマウント表示装置に設置され、前記第1赤外線センサの第1スポット画像を撮影し、前記第2赤外線センサの第2スポット画像及び前記ヘッドマウント表示装置の位置する空間の画像を撮影するための撮影装置と、を備え、
    前記組合せハンドルの測位コントローラは前記ヘッドマウント表示装置に設置され、前記撮影装置及び前記制御ハンドルはいずれも前記組合せハンドルの測位コントローラに通信接続されることを特徴とする仮想システム。
  15. 前記組合せハンドルは、
    前記制御ハンドルに設置され、前記制御ハンドルのIMUデータを測定するための第1慣性センサと、
    前記ハンドルケースに設置され、前記ハンドルケースのIMUデータを測定するための第2慣性センサと、を更に備えることを特徴とする請求項14に記載の仮想システム。
  16. 前記組合せハンドルは、
    前記制御ハンドルに設置され、制御ハンドルの測位校正値を記憶するための第1メモリと、
    前記ハンドルケースに設置され、ハンドルケースの測位校正値を記憶するための第2メモリと、を更に備えることを特徴とする請求項14に記載の仮想システム。
  17. 前記組合せハンドルは、
    前記制御ハンドルに設置される主制御チップを更に備え、前記主制御チップはそれぞれ前記第1メモリ及び前記第2メモリに接続され、前記主制御チップは前記第1メモリから前記制御ハンドルの測位校正値を呼び出し、及び前記第2メモリから前記ハンドルケースの測位校正値を呼び出すためのものであることを特徴とする請求項16に記載の仮想システム。
  18. 前記ヘッドマウント表示装置に設置され、前記ヘッドマウント表示装置のIMUデータを測定するための第3慣性センサを更に備えることを特徴とする請求項14に記載の仮想システム。
  19. 前記仮想システムは仮想現実システム又は拡張現実システムを含むことを特徴とする請求項14に記載の仮想システム。
JP2023019193A 2022-07-29 2023-02-10 組合せハンドルの測位方法及びロケータ、組合せハンドル及び仮想システム Active JP7593676B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210912287.X 2022-07-29
CN202210912287.XA CN115033120B (zh) 2022-07-29 2022-07-29 组合手柄的定位方法及定位器、组合手柄以及虚拟系统

Publications (2)

Publication Number Publication Date
JP2024018886A JP2024018886A (ja) 2024-02-08
JP7593676B2 true JP7593676B2 (ja) 2024-12-03

Family

ID=83130088

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023019193A Active JP7593676B2 (ja) 2022-07-29 2023-02-10 組合せハンドルの測位方法及びロケータ、組合せハンドル及び仮想システム

Country Status (3)

Country Link
US (1) US20240033614A1 (ja)
JP (1) JP7593676B2 (ja)
CN (1) CN115033120B (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10409392B1 (en) 2017-10-11 2019-09-10 Facebook Technologies, Llc Hand-held controller tracked by LED mounted under a concaved dome
WO2020000177A1 (zh) 2018-06-26 2020-01-02 高海艇 座椅套
JP2020091774A (ja) 2018-12-07 2020-06-11 株式会社gumi プログラム、情報処理装置、情報処理システム、情報処理方法及びヘッドマウントディスプレイ
US10705597B1 (en) 2019-12-17 2020-07-07 Liteboxer Technologies, Inc. Interactive exercise and training system and method

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10365710B2 (en) * 2017-06-23 2019-07-30 Seiko Epson Corporation Head-mounted display device configured to display a visual element at a location derived from sensor data and perform calibration
US10488223B1 (en) * 2017-09-13 2019-11-26 Facebook Technologies, Llc Methods and systems for calibrating an inertial measurement unit of an electronic device
US10514780B2 (en) * 2017-12-01 2019-12-24 Logitech Europe S.A. Input device
US11260288B2 (en) * 2019-12-31 2022-03-01 Dell Products L.P. Disassemblable information handling system game controller
US11729373B1 (en) * 2020-09-15 2023-08-15 Apple Inc. Calibration for head-mountable devices
CN112437213A (zh) * 2020-10-28 2021-03-02 青岛小鸟看看科技有限公司 图像采集方法、手柄设备、头戴设备及头戴系统
CN112822480B (zh) * 2020-12-31 2022-05-17 青岛小鸟看看科技有限公司 Vr系统及其定位追踪方法
CN213853055U (zh) * 2021-01-11 2021-08-03 东莞市霖奇电子科技有限公司 一种vr游戏手柄
CN113721767B (zh) * 2021-08-30 2024-02-02 歌尔科技有限公司 一种手柄的追踪方法、装置、系统及介质
CN114146404A (zh) * 2021-12-16 2022-03-08 广州市番禺宝联实业有限公司 一种模组化多功能游戏操控装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10409392B1 (en) 2017-10-11 2019-09-10 Facebook Technologies, Llc Hand-held controller tracked by LED mounted under a concaved dome
WO2020000177A1 (zh) 2018-06-26 2020-01-02 高海艇 座椅套
JP2020091774A (ja) 2018-12-07 2020-06-11 株式会社gumi プログラム、情報処理装置、情報処理システム、情報処理方法及びヘッドマウントディスプレイ
US10705597B1 (en) 2019-12-17 2020-07-07 Liteboxer Technologies, Inc. Interactive exercise and training system and method

Also Published As

Publication number Publication date
CN115033120A (zh) 2022-09-09
CN115033120B (zh) 2025-11-21
US20240033614A1 (en) 2024-02-01
JP2024018886A (ja) 2024-02-08

Similar Documents

Publication Publication Date Title
US20220358663A1 (en) Localization and Tracking Method and Platform, Head-Mounted Display System, and Computer-Readable Storage Medium
JP6327669B2 (ja) 付属機器、情報処理システム、情報処理装置、情報処理プログラム、操作判別方法、および、処理実行方法
CN102681958B (zh) 使用物理姿势传输数据
US20190250708A1 (en) Method for tracking hand pose and electronic device thereof
US20150138086A1 (en) Calibrating control device for use with spatial operating system
US20170300119A1 (en) Intra-oral imaging using operator interface with gesture recognition
CN111290580B (zh) 基于视线追踪的校准方法及相关装置
US20230288982A1 (en) Adaptive intelligent head-hand vr system and method
US20210064334A1 (en) Device operation apparatus, device operation system and device operation method
TWI885733B (zh) 座標系偏移計算裝置、方法及其非暫態電腦可讀取記錄媒體
JP7593676B2 (ja) 組合せハンドルの測位方法及びロケータ、組合せハンドル及び仮想システム
TWI838917B (zh) 追蹤裝置、方法及其非暫態電腦可讀取記錄媒體
CN115671705A (zh) 游戏设备、多人互动的游戏系统以及互动游戏的控制方法
CN115253275B (zh) 智能终端、掌机、虚拟系统及智能终端的空间定位方法
CN115167685B (zh) 共享虚拟场景的交互方法及控制器、手持设备及虚拟系统
JP7762662B2 (ja) コンピュータ、方法、及びプログラム
CN115300897B (zh) 分离式虚拟系统的空间定位方法、虚拟系统
KR102927771B1 (ko) 모바일 장치에 있어서 캐릭터와 사용자 간의 인터렉션을 제어하기 위한 장치 및 방법
CN113849072A (zh) 一种无线手柄以及动作捕捉系统
JP6592554B2 (ja) 付属機器、情報処理システム、情報処理装置、情報処理プログラム、操作判別方法、および、処理実行方法
JP6689679B2 (ja) 表示装置、情報表示システム、及びプログラム
CN119857261A (zh) 手持控制器、定位追踪系统及方法
JP2023120843A (ja) 情報処理装置およびデバイス位置推定方法
JP6670681B2 (ja) 位置検出方法及び位置検出システム
CN117007036A (zh) 机器人的环境感知方法、装置、环境感知组件及机器人

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240130

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240430

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241114

R150 Certificate of patent or registration of utility model

Ref document number: 7593676

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150