Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7189891B2 - ウェアラブル制御機器、仮想・拡張現実システム及び制御方法 - Google Patents
[go: Go Back, main page]

JP7189891B2 - ウェアラブル制御機器、仮想・拡張現実システム及び制御方法 - Google Patents

ウェアラブル制御機器、仮想・拡張現実システム及び制御方法 Download PDF

Info

Publication number
JP7189891B2
JP7189891B2 JP2019563848A JP2019563848A JP7189891B2 JP 7189891 B2 JP7189891 B2 JP 7189891B2 JP 2019563848 A JP2019563848 A JP 2019563848A JP 2019563848 A JP2019563848 A JP 2019563848A JP 7189891 B2 JP7189891 B2 JP 7189891B2
Authority
JP
Japan
Prior art keywords
signal
viewing
viewing information
wearable
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019563848A
Other languages
English (en)
Other versions
JP2021531520A (ja
Inventor
梓博 殷
形省 林
佳松 季
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Publication of JP2021531520A publication Critical patent/JP2021531520A/ja
Application granted granted Critical
Publication of JP7189891B2 publication Critical patent/JP7189891B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383Signal control means within the pointing device
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202Constructional details or processes of manufacture of the input device
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0362Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of one-dimensional [1D] translations or rotations of an operating part of the device, e.g. scroll wheels, sliders, knobs, rollers or belts
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Position Input By Displaying (AREA)

Description

本願は、電子機器分野に関し、特に、ウェアラブル制御機器、仮想・拡張現実システム及び制御方法に関する。
拡張現実(Augmented Reality,AR)は、コンピュータシステムが提供する情報により現実世界に対するユーザの感知を高める技術であり、仮想の情報を真実世界に適用し、コンピュータにより生成された仮想情報(仮想物体、シーン又はシステム提示情報を含む)を真実シーンに重ね合わせることにより、現実に対する拡張を実現する。
関連技術における頭部装着型視聴機器は、頭部装着型ディスプレイ、AR本体及び無線リモコンの3つの部分を含む。ここで、頭部装着型ディスプレイは、AR本体が生成した仮想情報を表示し、且つ真実環境における環境情報をキャプチャするためのものである。AR本体は、仮想を算出して頭部装着型ディスプレイに出力するためのものである。無線リモコンは、生成された仮想情報をAR本体が調整又は変更するように、ユーザの制御操作を受信してAR本体に入力するためのものである。
実際の使用において、頭部装着型ディスプレイは、ユーザの頭部に着用する必要があり、AR本体は、ユーザの腰ベルトの位置に着用可能であり、無線リモコンは、ユーザによって把持される。この無線リモコンは、非常に紛失されやすく、保管に不利である。
本発明の各実施例は、関連技術における上記の技術的課題及び他の潜在的な技術的課題のうちの少なくとも1つを解決するために、ウェアラブル制御機器、仮想・拡張現実システム及び制御方法を提供する。
本発明の一態様によれば、頭部装着型視聴機器に接続するためのウェアラブル制御機器であって、並行して設置された上ケース部と下ケース部とを含み、前記上ケース部と前記下ケース部との対向する2つの内側面の間には、スリットが形成されており、前記上ケース部と下ケース部のテール部が移行部を介して接続されており、
前記上ケース部の上面には、少なくとも1つの物理的遠隔操作ユニットが設置されており、
前記上ケース部及び/又は前記下ケース部の内部には、前記頭部装着型視聴機器に対応する計算モジュールが設置されており、前記計算モジュールと前記物理的遠隔操作ユニットとが電気的に接続されるウェアラブル制御機器を提供する。
選択的な一実施形態において、前記物理的遠隔操作ユニットは、物理ボタン、仮想ボタン、スクロールホイール、ロッカーレバー、トラックボールのうちの少なくとも1つを含む。
選択的な一実施形態において、前記物理的遠隔操作ユニットは、前記上ケース部の上面のエッジ領域に並列に設置された第1の押圧部と第2の押圧部とを含み、
ここで、前記エッジ領域は、前記上面における前記移行部から離れた局所領域である。
選択的な一実施形態において、前記物理的遠隔操作ユニットは、前記第1の押圧部と前記第2の押圧部との間に設置された第1のボタンをさらに含む。
選択的な一実施形態において、前記物理的遠隔操作ユニットは、前記第1の押圧部と前記第2の押圧部との間に設置されたスクロールホイールをさらに含む。
選択的な一実施形態において、前記物理的遠隔操作ユニットは、前記下ケース部の側面に設置された第2のボタンをさらに含む。
選択的な一実施形態において、前記移行部には、前記頭部装着型視聴機器に接続するための接続線が設置されている。
選択的な一実施形態において、前記上ケース部の長さは、前記下ケース部の長さよりも短い。
本発明の他の態様によれば、頭部装着型視聴機器に接続するためのウェアラブル制御機器であって、
ケースと、
前記ケースに設置された少なくとも1つの物理的遠隔操作ユニットと、
前記ケース内に設置された計算モジュールと、を含み、
前記計算モジュールと前記物理的遠隔操作ユニットとが電気的に接続されており、
前記計算モジュールは、前記頭部装着型視聴機器で出力されるVR視聴情報、AR視聴情報及びMR視聴情報のうちの少なくとも1つを含む視聴情報を生成し、前記物理的遠隔操作ユニットで受信されたユーザ操作に応じて前記視聴情報の制御信号を生成し、前記制御信号に応じて前記視聴情報の出力を制御するように構成されるウェアラブル制御機器を提供する。
選択的な一実施形態において、前記ケースは、並行して設置された上ケース部と下ケース部とを含み、前記上ケース部と下ケース部のテール部が移行部を介して接続されており、
少なくとも1つの前記物理的遠隔操作ユニットは、前記上ケース部の上面に設置されている。
選択的な一実施形態において、前記上ケース部と前記下ケース部との対向する2つの内側面の間には、スリットが形成されている。
選択的な一実施形態において、前記物理的遠隔操作ユニットは、物理ボタン、仮想ボタン、スクロールホイール、ロッカーレバー、トラックボールのうちの少なくとも1つを含む。
選択的な一実施形態において、前記物理的遠隔操作ユニットは、前記上ケース部の上面のエッジ領域に並列に設置された第1の押圧部と第2の押圧部とを含み、
ここで、前記エッジ領域は、前記上面における前記移行部から離れた局所領域である。
選択的な一実施形態において、前記計算モジュールは、前記第1の押圧部で前記ユーザ操作を受信すると、前記視聴情報にマッチングする確認信号、ドラッグ制御信号、多肢選択制御信号のうちの少なくとも1つを生成するように構成され、前記計算モジュールは、前記第2の押圧部で前記ユーザ操作を受信すると、前記視聴情報にマッチングする補助メニュー制御信号を生成するように構成される。
選択的な一実施形態において、前記物理的遠隔操作ユニットは、前記第1の押圧部と前記第2の押圧部との間に設置された第1のボタンをさらに含む。
選択的な一実施形態において、前記計算モジュールは、前記第1のボタンで前記ユーザ操作を受信すると、音声信号を受信し、前記音声信号に応じて音声制御信号を生成するか、又は前記音声信号を文字入力内容に変換するように構成される。
選択的な一実施形態において、前記物理的遠隔操作ユニットは、前記第1の押圧部と前記第2の押圧部との間に設置されたスクロールホイールをさらに含む。
選択的な一実施形態において、前記計算モジュールは、前記スクロールホイールで前記ユーザ操作を受信すると、数値調整命令を生成するように構成され、
ここで、前記数値調整命令は、音量調整命令、輝度調整命令、視野サイズ調整命令、シーンサイズ調整命令、視野角回転命令、視野角遠近調整命令、モノのインターネット機器調整命令のうちの少なくとも1つを含む。
選択的な一実施形態において、前記物理的遠隔操作ユニットは、前記下ケース部の側面に設置された第2のボタンをさらに含む。
選択的な一実施形態において、前記計算モジュールは、前記第2のボタンで前記ユーザ操作を受信すると、リターン信号、前のページ信号又はスクリーンキャプチャ信号のうちの少なくとも1つの制御信号を生成するように構成される。
選択的な一実施形態において、前記計算モジュールは、前記第2のボタンで前記ユーザ操作を受信すると、オン信号、オフ信号、再起動信号及び電源遮断信号のうちの少なくとも1つの制御信号を生成するように構成される。
選択的な一実施形態において、前記移行部には、前記頭部装着型視聴機器に接続するための接続線が設置されている。
選択的な一実施形態において、前記上ケース部の長さは、前記下ケース部の長さよりも短い。
本発明の他の態様によれば、頭部装着型視聴機器とウェアラブル制御機器とを含み、前記頭部装着型視聴機器と前記ウェアラブル制御機器とが接続されており、
前記ウェアラブル制御機器は、上記の態様及び選択的な実施形態で提供するウェアラブル制御機器である仮想・拡張現実システムを提供する。
本発明の他の態様によれば、上記の態様及び選択的な実施形態で提供する前記ウェアラブル制御機器に適用するウェアラブル制御機器の制御方法であって、前記ウェアラブル制御機器が頭部装着型視聴機器に接続するためのものであり、
前記頭部装着型視聴機器で出力されるVR視聴情報、AR視聴情報及びMR視聴情報のうちの少なくとも1つを含む視聴情報を生成するステップと、
前記物理的遠隔操作ユニットで受信されたユーザ操作に応じて前記視聴情報の制御信号を生成するステップと、
前記制御信号に応じて前記視聴情報の出力を制御するステップと、を含むウェアラブル制御機器の制御方法を提供する。
選択的な一実施形態において、前記物理的遠隔操作ユニットは、前記上ケース部の上面のエッジ領域に並列に設置された第1の押圧部と第2の押圧部とを含み、
前記物理的遠隔操作ユニットで受信されたユーザ操作に応じて前記視聴情報の制御信号を生成するステップは、
前記第1の押圧部で前記ユーザ操作を受信すると、前記視聴情報にマッチングする確認信号を生成するステップと、
前記第2の押圧部で前記ユーザ操作を受信すると、前記視聴情報にマッチングする補助メニュー制御信号を生成するステップと、を含む。
選択的な一実施形態において、前記物理的遠隔操作ユニットは、前記第1の押圧部と前記第2の押圧部との間に設置された第1のボタンをさらに含み、
前記物理的遠隔操作ユニットで受信されたユーザ操作に応じて前記視聴情報の制御信号を生成するステップは、
前記第1のボタンで前記ユーザ操作を受信すると、音声信号を受信し、前記音声信号に応じて音声制御信号を生成するか、又は前記音声信号を文字入力内容に変換するステップを含む。
選択的な一実施形態において、前記物理的遠隔操作ユニットは、前記第1の押圧部と前記第2の押圧部との間に設置されたスクロールホイールをさらに含み、
前記物理的遠隔操作ユニットで受信されたユーザ操作に応じて前記視聴情報の制御信号を生成するステップは、
前記スクロールホイールで前記ユーザ操作を受信すると、数値調整命令を生成するステップを含み、
ここで、前記数値調整命令は、音量調整命令、輝度調整命令、視野サイズ調整命令、シーンサイズ調整命令、視野角回転命令、視野角遠近調整命令、モノのインターネット機器調整命令のうちの少なくとも1つを含む。
選択的な一実施形態において、前記物理的遠隔操作ユニットは、前記下ケース部の側面に設置された第2のボタンをさらに含み、
前記物理的遠隔操作ユニットで受信されたユーザ操作に応じて前記視聴情報の制御信号を生成するステップは、
前記第2のボタンで前記ユーザ操作を受信すると、リターン信号、前のページ信号又はスクリーンキャプチャ信号のうちの少なくとも1つの制御信号を生成するステップ、及び/又は、
前記第2のボタンで前記ユーザ操作を受信すると、オン信号、オフ信号、再起動信号及び電源遮断信号のうちの少なくとも1つの制御信号を生成するステップを含む。
本発明の他の態様によれば、上記の態様及びいずれかの選択的な実施形態に記載のウェアラブル制御機器であって、前記ウェアラブル制御機器は、頭部装着型視聴機器に接続するためのものであり、
プロセッサと
前記プロセッサで実行可能な命令を保存するためのメモリと、を含み、
前記プロセッサは、
前記頭部装着型視聴機器で出力されるVR視聴情報、AR視聴情報及びMR視聴情報のうちの少なくとも1つを含む視聴情報を生成し、
前記物理的遠隔操作ユニットで受信されたユーザ操作に応じて前記視聴情報の制御信号を生成し、
前記制御信号に応じて前記視聴情報の出力を制御するように構成されるウェアラブル制御機器を提供する。
本発明の実施例により提供される技術案は、少なくとも以下のような技術効果を有する。
ウェアラブル制御機器のケースに物理的遠隔操作ユニットを設置することにより、ユーザは、このケース上の物理的遠隔操作ユニットを直接使用して頭部装着型視聴機器に表示される視聴情報を制御し、単独で設置された無線リモコンを使用する必要がないので、関連技術における無線リモコンが紛失されやすいという問題を解決し、ウェアラブル制御機器の携帯性及び機能性を向上させる。
以下、本願の実施例における技術案をより明確に説明するために、実施例の記載に使用する必要がある図面を簡単に紹介する。なお、以下に説明する図面はただ本願の一部の実施例に過ぎず、当業者であれば、創造的な労働を経ずに、これらの図面によって他の図面を得ることができることは、自明である。
関連技術で提供された拡張現実システムの構造模式図である。 本発明の例示的な一実施例により提供される拡張現実システムの構造模式図である。 本発明の例示的な一実施例により提供されるVR型頭部装着型視聴機器の外観模式図である。 本発明の例示的な一実施例により提供されるAR型頭部装着型視聴機器の外観模式図である。 本発明の例示的な一実施例により提供されるウェアラブル制御機器の斜視図である。 本発明の例示的な一実施例により提供されるウェアラブル制御機器の正面図である。 本発明の例示的な一実施例により提供されるウェアラブル制御機器の背面図である。 本発明の例示的な一実施例により提供されるウェアラブル制御機器の左側面図である。 本発明の例示的な一実施例により提供されるウェアラブル制御機器の右側面図である。 本発明の例示的な一実施例により提供されるウェアラブル制御機器の底面図である。 本発明の例示的な一実施例により提供されるウェアラブル制御機器の上面図である。 本発明の例示的な一実施例により提供されるウェアラブル制御機器の使用過程中の状態の参照図である。 本発明の例示的な一実施例により提供されるウェアラブル制御機器の制御方法のフローチャートである。 本発明の例示的な一実施例により提供される拡張現実システムのブロック図である。 本発明の例示的な一実施例により提供されるウェアラブル制御機器の実現の効果図である。
以下、図面を参照しながら本発明の実施例をより詳しく説明する。本発明の一部の実施例が図面に示されているが、本発明は、様々な形態で実現され、本明細書に記載の実施例に限定されるものとして解釈されるべきではなく、逆に、これらの実施例を提供するのは、本発明をより徹底的且つ完全的に理解するためである。なお、本発明の図面及び実施例は、単に例示的なものであって、本発明の保護範囲を限定するものではない。
本明細書で使用される用語「含む」及びその変形は、開放的な包含であり、即ち「を含むが、これに限定されない」ことを意味する。用語「に基づき」は、「少なくとも部分的に基づき」ことを意味する。用語「1つの実施例」は、「少なくとも1つの実施例」を意味し、用語「他の実施例」は、「少なくとも1つの他の実施形態」を意味する。他の用語に関する定義については後述する。
仮想現実技術(Virtual Reality、VR)は、サイバースペース技術又は人工環境とも呼ばれ、コンピュータシミュレーションにより3次元空間の仮想世界を生成し、ユーザに視覚、聴覚、触覚などの感覚のシミュレーションを提供して、ユーザがあたかも自分が経験しているかのように即時且つ無制限に3次元空間における事物を観察することを可能にする。ユーザが位置移動を行うと、コンピュータは、すぐに複雑な演算を行い、臨場感よく正確な3D世界映像を表現作り出すことができる。仮想現実(VR)で見たシーンと人がいずれも偽者であり、人間の意識を仮想世界に導入したものである。
拡張現実技術(Augmented Reality、AR)は、コンピュータ技術により現実世界と仮想世界を同一の画面又は同一の空間に重ね合わせ、現実世界と仮想世界でのユーザのインタラクションを拡張する。
複合現実技術(Mixed Reality、MR)は、仮想現実技術(VR)と拡張現実技術(AR)の利点を組み合わせ、コンピュータ技術により仮想世界と現実世界を混合し、拡張現実技術と比較して、新たな視覚化環境を生成するとともに物理エンティティと仮想情報を含み、ユーザがリアルタイムで環境とインタラクションを行うことができる。環境における仮想物体の相対位置とユーザの移動位置とは、互いに独立しており、ユーザが見た仮想物体と真実物体はほとんど区別できない。
図1は、関連技術で提供された拡張現実システム100を示す構造ブロック図である。この拡張現実システム100は、頭部装着型視聴機器102と、ウェアラブル制御機器104と、無線リモコン106と、を含む。頭部装着型視聴機器102とウェアラブル制御機器104との間は有線接続によって接続され、ウェアラブル制御機器104と無線リモコン106との間は無線接続によって接続される。
頭部装着型視聴機器102は、AR視聴情報を表示(又は再生、出力)するように構成される。
ウェアラブル制御機器104は、AR視聴情報を生成し、AR視聴情報を頭部装着型視聴機器102に送信するように構成される。ウェアラブル制御機器104は、無線リモコン106から報告された制御信号を受信し、制御信号に応じてAR視聴情報を調整又は変更するように構成される。
無線リモコン106は、ユーザ操作を受信し、ユーザ操作に応じて制御信号を生成し、無線接続により頭部装着型視聴機器102にこの制御信号を報告するように構成される。
使用過程において、ユーザは、頭部装着型視聴機器102を頭部に着用し、ウェアラブル制御機器104を腰部に着用し、無線リモコン106を手に持つ。ウェアラブル制御機器104は、AR視聴情報を生成して頭部装着型視聴機器102に送信し、頭部装着型視聴機器102は、AR視聴情報を出力(又は再生)する。ユーザが頭部装着型視聴機器102の表示を制御する必要がある場合、無線リモコン106を用いて制御を行う。
ARの使用シーンは真実世界と組み合わせたシーンであるので、拡張現実システム100の携帯性に対する要求が高く、ユーザが異なる真実シーンを移動する場合、非常に無線リモコン106を紛失しやすくなる。
本発明の実施例は、無線リモコンをウェアラブル制御機器に組み込んで、ユーザが無線リモコンを単独で携帯する必要がなく、頭部装着型視聴機器を制御することができるウェアラブル制御機器を提供する。
図2は、本発明の例示的な一実施例により提供される仮想・拡張現実システム200を示すブロック図である。このシステム200は、頭部装着型視聴機器202と、ウェアラブル制御機器204とを含む。頭部装着型視聴機器202とウェアラブル制御機器204とは、有線接続又は無線接続によって接続される。
頭部装着型視聴機器202は、VR視聴情報、AR視聴情報及びMR視聴情報のうちの少なくとも1つを含む視聴情報を出力(又は再生)するように構成される。VR視聴情報は、全仮想の3次元世界を表現させるための視聴情報である。AR視聴情報は、現実世界に重ね合わせて表示される仮想要素を表現させるための視聴情報である。この仮想要素は、仮想人物、仮想アニメキャラクター、仮想動物、仮想植物、仮想非生物物体、仮想メニュー、仮想チャート、仮想映像のうちの少なくとも1つである。
ウェアラブル制御機器204は、頭部装着型視聴機器202で出力(又は再生)される視聴情報を生成し、頭部装着型視聴機器202に視聴情報を送信するように構成される。ウェアラブル制御機器204のケースには、少なくとも1つの物理的遠隔操作ユニットがさらに設置されており、ウェアラブル制御機器204は、さらに、物理的遠隔操作ユニットで受信されたユーザ操作に応じて視聴情報の制御信号を生成し、この制御信号に応じて視聴情報の出力を制御するように構成される。
図2による選択的な実施例において、上記の頭部装着型視聴機器202は、VR視聴情報を出力(又は再生)するためのメガネ機器である。図3を参照すると、図3は、本発明の例示的な一実施例により提供される頭部装着型視聴機器202を示すブロック図である。この頭部装着型視聴機器202は、メガネ本体10と、メガネ本体10をユーザの顔に固定するための装着構造20と、を含む。
メガネ本体10には、第1の表面12と第2の表面14とが形成されている。ここで、第1の表面12は、ユーザの顔に向かって貼り付けられ、第2の表面14に対応するケースの内部には、ディスプレイが設置されている。いくつかの実施例において、このディスプレイは、左眼に対応する左ディスプレイと右眼に対応する右ディスプレイとを含んでもよい。このディスプレイは、VR視聴情報におけるビデオ情報を出力(又は再生)するためのものである。
装着構造20は、固定接続部22と装着調整部24とを含む。
固定接続部22の底部がメガネ本体10の頂部に固定的に接続されており、この固定接続部22とこの装着調整部24が両方とも弧状をなし、且つユーザの頭部に対応する環状構造に囲まれることにより、ユーザがこのメガネ機器を着用できるようにする。ここで、この装着調整部24は、この装着構造20を異なるユーザの頭部のサイズに適合させるように、上記の環状構造の寸法を調整するためのものである。
選択的に、メガネ本体10には、接続線インタフェース(図2には未図示)がさらに設置されており、メガネ本体10は、この接続線インターフェイスを介して接続線によりウェアラブル制御機器204に接続される。
いくつかの実施例において、この固定接続部22には、VR視聴情報における聴覚情報を再生するためのイヤホンがさらに設置されている。
図2による選択的な実施例において、上記の頭部装着型視聴機器202は、AR視聴情報を出力(又は再生)するためのメガネ機器である。図4を参照すると、図4は、本発明の例示的な一実施例により提供される頭部装着型視聴機器202を示すブロック図である。この頭部装着型視聴機器202は、メガネ本体30と2つのテンプル32とを含む。
メガネ本体30には、第1の表面31と第2の表面33が形成されている。ここで、第1の表面31は、ユーザの顔に向かって貼り付けられ、第2の表面33は、ユーザ顔から離れた側に向かっており、第2の表面33には、2つのカメラモジュール34が設置されている。この2つのカメラモジュール34の間には、例えば1cm又は2cmの離隔距離がある。選択的に、この2つのカメラモジュール34は、現実環境における環境画面及び物体距離を収集するためのものである。
一可能な実施例において、第1の表面31のユーザの眼部に向かう2つの領域には、それぞれディスプレイが設置されている。このディスプレイは、左眼に対応する左ディスプレイと右眼に対応する右ディスプレイとを含んでもよい。このディスプレイは、2つのカメラモジュール34で収集した現実環境の環境画面及びAR視聴情報におけるビデオ情報を再生するためのものである。
可能な他の実施例において、第1の表面31のユーザの眼部に向かう2つの領域には、それぞれ透明レンズが設置されている。同時に、2つのテンプル32には、透明レンズに向かう投影ユニット(図3には未図示)がさらに設置されており、この投影ユニットは、AR視聴情報におけるビデオ情報を透明レンズに投影した後、それを、ユーザが透明レンズを通して観察した現実環境の環境画面に重ね合わせるためのものである。
MR型の頭部装着型視聴機器については、AR型の頭部装着型視聴機器の外観模式図(図4を参照)を参照してもよいが、当業者がAR型の頭部装着型視聴機器の外観模式図から得られるMR型の頭部装着型視聴機器に係る技術案は容易に想到できるものである。
図5は、本発明の例示的な一実施例により提供されるウェアラブル制御機器204を示すブロック図である。このウェアラブル制御機器204は、ケース50と、ケース50上に設置された少なくとも1つの物理的遠隔操作ユニット52と、ケース50内に設置された計算モジュール(未図示)と、を含み、計算モジュールと物理的遠隔操作ユニット52とが電気的に接続される。
計算モジュールは、頭部装着型視聴機器202で出力(又は再生)されるVR視聴情報、AR視聴情報及びMR視聴情報のうちの少なくとも1つを含む視聴情報を生成し、物理的遠隔操作ユニット52で受信されたユーザ操作に応じて視聴情報の制御信号を生成し、制御信号に応じて視聴情報の出力を制御するように構成される。
選択的に、ケース50は、U型ケースであり、U型ケースの一端には、下ケース部51が形成されており、U型ケースの他端には、上ケース部53が形成されており、U型ケースの湾曲部分には、移行部54が形成されている。
少なくとも1つの物理的遠隔操作ユニット52は、上ケース部の上面に設置されている。下ケース部51と上ケース部53との対向する2つの表面との間には、スリット55が形成されている。
選択的に、物理的遠隔操作ユニット52は、物理ボタン、仮想ボタン、スクロールホイール、ロッカーレバー、トラックボールのうちの少なくとも1つを含む。本実施例は、上ケース部53の上面における物理的遠隔操作ユニット52の設置位置を限定するものではなく、同時に、物理的遠隔操作ユニット52の種類及び数を限定するものではない。
上記のように、本実施例により提供されるウェアラブル制御機器は、ウェアラブル制御機器のケースに物理的遠隔操作ユニットを設置することにより、ユーザがこのケース上の物理的遠隔操作ユニットを直接使用して頭部装着型視聴機器に表示される視聴情報を制御し、単独で設置された無線リモコンを使用する必要がないので、関連技術における無線リモコンが紛失されやすいという問題を解決し、ウェアラブル制御機器の携帯性及び機能性を向上させる。
図6乃至図11は、本発明の他の例示的な一実施例により提供されるウェアラブル制御機器204を示す6つの平面図である。ウェアラブル制御機器204は、頭部装着型視聴機器202に接続するためのものであり、ウェアラブル制御機器20は、並行して設置された上ケース部53と下ケース部51とを含み、上ケース53と下ケース部51との対向する2つの表面との間には、スリット55が形成されている。上ケース部53と下ケース部51のテール部が移行部54を介して接続されている。
上ケース部53は、複数の物理的遠隔操作ユニット52が設置されたケース部である。上ケース部53は、長い扁平状をなしている。上ケース部53は、移行部54に近接したテール部と移行部54から離れた頂部とを含む。上ケース部53は、上面と、2つの側面と、下ケース部51に向かう表面とを含む。上ケース部53の上面には、少なくとも1つの物理的遠隔操作ユニット52が設置されている。
上ケース部53の上面のエッジ領域には、第1の押圧部521と第2の押圧部522が並列に設置されている。ここで、エッジ領域は、上面における移行部54から離れた局所領域である。第1の押圧部521は左ボタンと、第2の押圧部522は右ボタンと呼ばれることができてもよい。可能な一設計において、第1の押圧部521に対応するケースは弾性を有し、この第1の押圧部521の下方に第1マイクロスイッチが設置されており、第1の押圧部521が押圧されると、第1マイクロスイッチがトリガーされて電気信号が生成される。対応的に、第2の押圧部522に対応するケースは弾性を有し、この第2の押圧部522の下方に第2マイクロスイッチが設置され、第2の押圧部522が押圧されると、第2マイクロスイッチがトリガーされて電気信号を生成する。
第1の押圧部521と第2の押圧部522との間には、離隔領域が存在する。物理的遠隔操作ユニット52は、第1の押圧部521と第2の押圧部522との間に設置された第1のボタン523とスクロールホイール524とをさらに含む。下ケース部51の側面には、第2のボタン525がさらに設置されている。
ここで、第1のボタン523と第2のボタン525は、マイクロスイッチ又は仮想ボタンを用いて実現される。スクロールホイール524は、物理スクロールホイール又は仮想スクロールホイールを用いて実現されてもよい。
下ケース部51は、長い扁平状をなしている。下ケース部51は、移行部54に近接したテール部と移行部54から離れた頂部とを含む。下ケース部51は、下面と、2つの側面と、上ケース部53に向かう表面とを含む。
上ケース部53及び/又は下ケース部51の内部には、頭部装着型視聴機器202に対応する計算モジュール(未図示)が設置されており、計算モジュールと各物理的遠隔操作ユニット52とは電気的に接続されている。
計算モジュールは、プロセッサとメモリとを含む。この計算モジュールは、1つのチップ又は複数のチップとして実現されてもよい。計算モジュールが複数のチップとして実現される場合、任意の2つのチップの分業は、同じであっても異なってもよい。一部のチップは、上ケース部53に設置されてもよく、他のチップは、下ケース部51に設置されてもよい。上ケース部53と下ケース部51のうちの少なくとも1つには、電池がさらに設置されている。
移行部54には、頭部装着型視聴機器202に接続するための接続線が設置されている。上ケース部53の長さは、下ケース部51の長さよりも短い。上ケース部53の長さは、上ケース部53の頂部から底部までの距離であり、下ケース部51の長さは、下ケース部51の頂部から底部までの距離である。
上記の各物理的遠隔操作ユニット52の動作方式は、以下のような少なくとも1つを含む。
I.第1の押圧部521でユーザ操作を受信すると、計算モジュールは、視聴情報にマッチングする確認信号、ドラッグ制御信号、多肢選択制御信号のうちの少なくとも1つを生成する。
第1の押圧部521は、「左ボタン」又は「確認ボタン」と呼ばれることができ、ユーザ操作は、シングルクリック操作、ダブルクリック操作、長押し信号のうちの少なくとも1つを含む。
確認信号とは、確認を意味するか、類似確認を意味する信号を指す。例えば、確認信号は、確認、同意、許可、次のステップなどの意味を表示することができる。確認信号の名称又は意味は、視聴情報によりわずかに変化する可能性があるが、本願の実施例はこの変化を限定しない。ドラッグ制御信号は、例えば目標対象をある位置から別の位置にドラッグすることなどの目標対象に対するドラッグ制御操作であってもよく、ここではドラッグ操作の開始位置及び目標位置を限定しない。多肢選択制御信号は、複数の目標対象を選択するための制御操作であり、ここでは多肢選択制御信号の制御対象及び選択数を限定しない。
一例において、第1の押圧部521でシングルクリック操作を受信すると、計算モジュールは、視聴情報にマッチングするシングルクリック確認信号を生成し、第1の押圧部521で長押し操作を受信すると、計算モジュールは、視聴情報にマッチングするドラッグ制御信号又は多肢選択制御信号を生成する。
II.第2の押圧部522でユーザ操作を受信すると、計算モジュールは、視聴情報にマッチングする補助メニュー制御信号を生成する。
第2の押圧部522は、「右ボタン」又は「メニューボタン」と呼ばれることができ、補助メニュー制御信号とは、視聴情報に関連する補助メニューを意味する。補助メニュー制御信号の内容は、視聴情報によりわずかに変化する可能性があるが、本願の実施例はこの変化を限定しない。一実施例において、補助メニュー制御信号は、ビューモードメニュー、ソートモードメニュー、新規コンテンツメニュー、設定メニュー、カット、コピー、ペースト、音量調整メニュー、輝度調整メニュー、視野調整メニュー、数値調整メニューのうちの少なくとも1つを含む。
一例において、視聴情報が現実シーンに重ね合わせて表示される泳ぐ可能なサメである場合、第2の押圧部522でシングルクリック操作を受信すると、補助メニューがポップアップする。この補助メニューにコピーオプションがあり、ユーザがこのコピーオプションをクリックして、泳ぐ可能な別のサメを現実シーンに重ね合わせて表示することができる。
III.第1のボタン523でユーザ操作を受信すると、計算モジュールは、音声信号を受信し、音声信号に応じて音声制御信号を生成するか、又は音声信号を文字入力内容に変換する。
第1のボタン523は、「音声活性化ボタン」と呼ばれることができ、ユーザ操作は、長押し操作又はダブルクリック操作を含む。
第1のボタン523で長押し操作を受信すると、第1のボタン523が押圧されている過程において、計算モジュールは、音声識別を行い、マイクロフォンで収集した音声信号を受信し、この音声信号識別に応じて識別して音声制御信号を取得する。選択的に、マイクロフォンは、ウェアラブル制御機器に設置されるか、或いは、頭部装着型視聴機器に設置されるか、又は第三者のマイクロフォン機器でもよい。
第1のボタン523でダブルクリック操作を受信すると、計算モジュールは、音声を文字に変換するサービスを開始し、この音声を文字に変換するサービスを利用してマイクロフォンで収集した音声信号を文字入力内容に変換する。
又は、長押し操作を受信すると、音声信号を文字入力内容に変換し、ダブルクリック操作を受信すると、音声信号を収集し識別して音声制御信号を取得し、ここでは限定しない。
IV.スクロールホイール524でユーザ操作を受信すると、数値調整命令を生成する。数値調整命令は、視聴情報に関連する任意の数値を調整するための命令である。ここで、数値調整命令は、音量調整命令、輝度調整命令、視野サイズ調整命令、シーンサイズ調整命令、視野角回転命令、視野角遠近調整命令、モノのインターネット機器調整命令のうちの少なくとも1つを含む。
スクロールホイール524は、機械的スクロールホイール又は仮想ボタンのスクロールホイールである。選択的に、このスクロールホイール524は、双方向スクロールホイール又は四方向スクロールホイールである。スクロールホイール524でユーザ操作を受信すると、視聴情報にマッチングする数値調整命令を生成する。視聴情報は、聴覚情報と視覚情報とを含む。
例示的に、ユーザ操作は、スクロールホイール524でスクロール又はスライドする操作である。
例示的に、音量調整命令は、聴覚情報に対して音量を上げるかまたは下げる命令である。輝度調整命令は、視覚情報に対して輝度を上げるかまたは下げる命令である。視野サイズ調整命令は、視覚情報における視野を拡大又は縮小する命令である。シーンサイズ調整命令は、視覚情報における環境シーン(又は仮想物体)を拡大又は縮小する命令である。視野角回転命令は、視覚情報における仮想視野角を回転させる命令であり、この回転は、上向き、下向き、左向き、右向きのうちの少なくとも1つを含む。視野角遠近調整命令は、視覚情報における仮想視野角を遠く又は近くする命令である。モノのインターネット機器調整命令は、バインディングされたモノのインターネット機器(例えばスマートホームデバイス)の動作パラメータを調整する命令である。
V.第2のボタン525でユーザ操作を受信すると、計算モジュールは、リターン信号、前のページ信号又はスクリーンキャプチャ信号のうちの少なくとも1つの制御信号を生成する。
第2のボタン525は、「電源ボタン」とも呼ばれ、リターン信号は、ホームページ又は上位メニューに戻る信号である。前のページ信号は、複数のページがある場合、現在のページの前のページに戻る信号である。スクリーンキャプチャ信号は、現在表示されている視聴情報をキャプチャする信号である。
例示的に、第2のボタン525でシングルクリック操作を受信すると、計算モジュールは、視聴情報にマッチングするリターン信号、前のページ信号又はスクリーンキャプチャ信号のうちの少なくとも1つの制御信号を生成する。
VI.第2のボタン525でユーザ操作を受信すると、計算モジュールは、オン信号、オフ信号、再起動信号及び電源遮断信号のうちの少なくとも1つの制御信号を生成する。
オン信号は、ウェアラブル制御機器(又はウェアラブル機器及び頭部装着型視聴機器)をオンにするための信号であり、オフ信号は、ウェアラブル制御機器(又はウェアラブル機器及び頭部装着型視聴機器)をオフにするための信号であり、再起動信号は、ウェアラブル制御機器(又はウェアラブル機器及び頭部装着型視聴機器)を再起動するための信号である。
例示的に、在第2のボタン525で第1の長押し操作(例えば2秒間長押し)を受信する場合、ウェアラブル制御機器がオン状態にあると、計算モジュールは、オフ信号又は再起動信号を生成し、ウェアラブル制御機器がオフ状態にあると、計算モジュールは、オン信号を生成する。
第2のボタン525で第2の長押し操作を受信する場合(例えば6秒間長押し)、ウェアラブル制御機器がオン状態にあると、計算モジュールは、電源遮断信号を生成する。
ユーザは、上記のいくつかのボタンを組み合わせて使用することにより異なる機能を実現することができ、例えば2つのボタン又は押圧部を同時に押圧することによりプリセット機能をトリガーするが、本実施例は、これに対して限定しない。いくつかの実施例において、上記の各物理的遠隔操作ユニットの機能は、ユーザのカスタマイズをサポートし、各物理的遠隔操作ユニットに対応する機能又はショートカットは、ユーザによりカスタマイズされる。
本実施例の一例として、着用された頭部装着型視聴機器とこのウェアラブル制御機器とが接続されたかどうかをユーザに確認するように、頭部装着型視聴機器とこのウェアラブル制御機器とが接続する場合、ユーザが頭部装着型視聴機器に表示される提示メッセージを受信し、このメッセージは、この頭部装着型視聴機器の名称及び型番を表示する。この時、ユーザは、実際の状況に応じて対応する選択を行う必要があり、着用された頭部装着型視聴機器とこのメッセージに表示される頭部装着型視聴機器の名称及び型番と一致すると、ユーザは、このウェアラブル制御機器における第1の押圧部51を1回クリック(即ち、左ボタンをシングルクリック)し、提示メッセージにおける「確定」の仮想ボタンを選択し、これにより、計算モジュールが確認命令を生成するようにトリガーし、この頭部装着型視聴機器との接続の確認プロセスを完成する。
本実施例の他の例として、ユーザが着用された頭部装着型視聴機器に表示される内容を管理する場合、例えば、ユーザが閲覧された写真を新規フォルダに入れると、第1の押圧部521(即ち、左ボタンを長押しし)を押圧し続けることにより、選択された写真をドラッグして、選択された写真をこの新規フォルダに入れることを実現する。また、例えば、ユーザが写真を一括削除する必要がある場合、左ボタン301を長押することで削除しようとする写真を選択し、且つ、写真をごみ箱にドラッグして、選択された写真の一括削除を実現する。
本発明の実施例によれば、上記の第2の押圧部522は、受信された長押し信号に応答して、上記の計算モジュールが補助メニュー生成命令を生成するようにトリガーして補助メニューを呼び出すように構成される。本実施例の一例として、ユーザがウェアラブル制御機器の属性パラメータを変更する場合、例えば、ユーザが第2の押圧部522を押圧し続ける(即ち、右ボタンを長押しする)場合、頭部装着型視聴機器のディスプレイインターフェイスに補助メニューがポップアップする。
本実施例の一例として、ユーザが頭部装着型視聴機器に表示されるアプリケーションのアイコンを変更する場合、第2の押圧部52を押圧し続けて(即ち、右ボタンを長押しして)、マスター制御回路が補助メニュー命令を生成するようにトリガーし、頭部装着型視聴機器に補助メニューが表示され、「アイコンの変更」の仮想ボタンを選択して、頭部装着型視聴機器に表示されるアプリケーションのアイコンの変更を実現する。なお、上記の補助メニューは、複数のショートカットオプションを含み、各ショートカットオプションは、上記の計算モジュールがショートカット命令を生成するようにトリガーして、光学表示機器のショートカット操作を制御することができる。例えば、ユーザが頭部装着型視聴機器に表示される文字のサイズを変更する場合、右ボタンを長押しして、マスター制御回路が補助メニュー命令を生成するようにトリガーし、頭部装着型視聴機器に補助メニューが表示され、補助メニューに「文字サイズの設定」のショートカットオプションが表示され、「文字サイズの設定」のショートカットオプションを選択して、文字のサイズの変更を実現する。上記の補助メニューに含まれるショートカットオプションにより、ユーザが頭部装着型視聴機器の一部のパラメータを変更する手順を簡略化して、ユーザの使用に便利であると理解すべきである。選択的に、上記の補助メニューに含まれるショートカットオプションは、ユーザの使用習慣に応じて変更することができ、例えば、上記のショートカットオプションは、「アイコンの変更」、「文字サイズの設定」などの個性的設定に設定されてもよく、「新規事項の追加」、「メールの閲覧」などの機能的設定に設定されてもよい。
本発明のいくつかの実施例において、上記の物理的制御ユニットは、上記の第1の押圧部51と上記の第2の押圧部52との間に設置された第1のボタン523をさらに含む。
本発明の実施例によれば、上記の第1のボタン523は、以下のように構成されている。押圧信号を受信すると、計算モジュールが音声識別命令を生成するようにトリガーすることで、音声データを識別する。リフティング信号を受信すると、計算モジュールがオフ命令を生成するようにトリガーすることで、音声識別機能をオフにする。ダブルクリック信号を受信すると、計算モジュールが変換命令を生成するようにトリガーすることで、音声識別機能を文字入力機能に変換する。
本実施例の一例として、ユーザが音声チャット機能によりチャット対象とチャットすることを例とすると、ユーザがチャット対象に音声形式のメッセージを送信してチャットする必要がある場合、第1の押圧部51と第2の押圧部52との間に設置された第1のボタン523を押圧し、この第1のボタン523が押圧信号を受信すると、計算モジュールが音声識別命令を生成するようにトリガーし、これにより、音声データを識別し、音声形式のメッセージを生成する。ユーザが表現すべき内容を完了した後、第1のボタン523を離す場合、この第1のボタン523がリフティング信号を受信すると、計算モジュールがオフ命令を生成するようにトリガーし、これにより、音声データ識別をオフにし、上記の生成された音声形式のメッセージがチャット対象に送信される。チャット対象が音声を送信するのに不便な環境にある場合、例えば、ユーザが静かなライブラリにおいてチャット対象とチャットする場合、第1のボタン523をダブルクリックし、この音声識別活性化ボタン523がダブルクリック信号を受信すると、計算モジュールが変換命令を生成するようにトリガーし、これにより、音声識別機能を文字入力機能に変換し、ユーザは、文字を入力してチャット対象とチャットする。
本実施例の他の例として、上記の第1のボタン523は、識別された音声を文字形式のメッセージに変換して送信することもできる。文字による入力が不可能であり、且つチャット対象が受信された音声メッセージに応答するのに不便である場合、例えば、チャット対象が劇場にいる場合、ユーザは、第1のボタン523をダブルクリックすることができ、音声から文字入力への変換の機能を選択して、識別された音声を文字形式のメッセージに変換することを実現できる。
本発明のいくつかの実施例において、上記の物理的制御ユニットは、図6に示すように、上記の第1の押圧部521と上記の第2の押圧部522との間に設置されたスクロールホイール524をさらに含む。本発明の実施例によれば、上記のスクロールホイール524は、スクロール信号を受信すると、上記の計算モジュールが調整命令を生成するようにトリガーすることで、頭部装着型視聴機器の各種パラメータを調整するように構成される。選択的に、スクロールホイール524を上方向(即ち、第1のボタン523に向かう方向)にスライドさせてもよく、スクロールホイール524を下方向(即ち、第1のボタン523から離れた方向)にスライドさせてもよい。
本実施例の一例として、頭部装着型視聴機器の表示内容の輝度を調整することを例として説明する。頭部装着型視聴機器のディスプレイの輝度が暗すぎる場合、スクロールホイール524を上方向(即ち、第1のボタン523に向かう方向)にスライドさせ、スクロールホイール524がスクロール信号を受信すると、上記の計算モジュールが表示輝度調整命令を生成するようにトリガーすることにより、頭部装着型視聴機器のディスプレイの輝度を向上させる。また、例えば、ユーザが頭部装着型視聴機器によりビデオを視聴する場合、ビデオの音が大きすぎて、スクロールホイール524を下方向(即ち、第1のボタン523から離れた方向)にスライドさせ、スクロールホイール524がスクロール信号を受信すると、上記の計算モジュールが音量調整命令を生成するようにトリガーすることにより、頭部装着型視聴機器で再生されているビデオの音量を減少させる。
本発明のいくつかの実施例において、上記の物理的制御ユニットは、図6に示すように、上記の下ケース部51の表面エッジに設置された第2のボタン525を含む。本発明の実施例によれば、この第2のボタン525は、長押し信号を受信すると、上記の計算モジュールがオン・オフ命令を生成するようにトリガーすることで、上記のウェアラブル制御機器のオン・オフを制御するように構成される。
本実施例の一例として、このウェアラブル制御機器を使用しない場合、上記の下ケース51の表面エッジに設置された第2のボタン525を押圧し続け(即ち、多機能物理ボタンを長押しし)、この第2のボタン525が長押し信号を受信すると、上記の計算モジュールがオフ命令を生成するようにトリガーすることにより、ウェアラブル制御機器をオフ状態にする。このウェアラブル制御機器を起動する必要がある場合、下ケース部51の表面エッジに設置された第2のボタン525を長押しし、この第2のボタン525が長押し信号を受信すると、上記の計算モジュールがオン命令を生成するようにトリガーすることにより、ウェアラブル制御機器を起動して、ウェアラブル制御機器をオン状態にすると理解すべきである。
本発明のいくつかの実施例において、上記の第2のボタン525は、クリック信号を受信すると、上記の計算モジュールがリターン命令を生成するようにトリガーすることで、上記の光学表示機器が前のページ又は前のステップの操作に戻ることを制御するようにさらに構成される。
本実施例の他の例として、頭部装着型視聴機器を使用してウェブページを閲覧することを例とすると、上記のウェアラブル制御機器に成功的に接続された頭部装着型視聴機器を使用して現在のウェブページを閲覧する場合、頭部装着型視聴機器に現在表示されたウェブページの前のページの内容を閲覧する必要があると、第2のボタン525をクリックし(即ち、第2のボタン525をクリックし)、上記の計算モジュールがリターン命令を生成するようにトリガーすることにより、頭部装着型視聴機器に現在表示されたウェブページから前のウェブページに戻るように制御する。この第2のボタン525がクリック信号を受信すると、上記の計算モジュールが生成されたリターン命令をトリガーし、他のアプリケーションインターフェイスに戻る操作にも使用され、例えば、上記のウェアラブル制御機器に成功的に接続された頭部装着型視聴機器を使用してオンラインでビデオを視聴する場合、ビデオを再生するためのアプリケーションのホームページで他の視聴可能なビデオを検索する必要があると、第2のボタン525をクリックし、上記の計算モジュールがリターン命令を生成するようにトリガーすることにより、頭部装着型視聴機器に現在表示された内容が変更されるように制御することで、現在のビデオ再生インターフェイスからビデオアプリケーションのホームページに戻ると理解すべきである。
本発明のいくつかの実施例において、上記の下ケース部と上ケース部との間には、スリットが形成されている。本発明の実施例によれば、スリットは、上記のウェアラブル制御機器をユーザの衣服に固定するためのものである。
本実施例の一例として、上記のウェアラブル制御機器を使用する場合、図12に示すように、このウェアラブル制御機器の下ケース部と上ケース部との間に形成されたスリットがユーザの衣服のポケットのエッジを挟むことができ、ユーザが携帯するので便利であるとともに、ウェアラブル制御機器を保管しやすくにし、より多くの構成要素を備える他の頭部装着型視聴機器と比較して、制御ユニットと計算モジュールとを組み合わせることにより、無線リモコンを単独で設置することを減少して、ユーザが無線リモコンを単独で配置することと無線リモコンが紛失されやすいという問題を避けることができる。
図13は、本願の例示的な一実施例により提供されるウェアラブル制御機器の制御方法のフローチャートを示す。この方法は、上記のようなウェアラブル機器に適用可能であり、このウェアラブル機器は、頭部装着型視聴機器に電気的に接続されており、この方法は以下のステップを含む。
ステップ601:頭部装着型視聴機器で出力される視聴情報を生成し、この視聴情報は、VR視聴情報、AR視聴情報及びMR視聴情報のうちの少なくとも1つを含む。
ウェアラブル制御機器は、頭部装着型視聴機器の種類又は性能により頭部装着型視聴機器で出力(又は再生)されるVR視聴情報、AR視聴情報及び両者の組み合わせを生成する。
例えば、頭部装着型視聴機器がVR視聴情報のみをサポートする場合、ウェアラブル制御機器は、VR視聴情報を生成し、頭部装着型視聴機器がAR視聴情報のみをサポートする場合、ウェアラブル制御機器は、AR視聴情報を生成し、頭部装着型視聴機器がVR視聴情報及びAR視聴情報を同時にサポートする場合、ウェアラブル制御機器は、頭部装着型視聴機器の現在の動作模式に応じてVR視聴情報又はAR視聴情報を生成する。
ステップ602:物理的遠隔操作ユニットで受信されたユーザ操作に応じて視聴情報の制御信号を生成する。
一例において、物理的遠隔操作ユニットは、上ケース部の上面のエッジ領域に並列に設置された第1の押圧部と第2の押圧部とを含む。このステップは、
第1の押圧部でユーザ操作を受信すると、視聴情報にマッチングする確認信号、ドラッグ制御信号、多肢選択制御信号のうちの少なくとも1つを生成するステップと、
第2の押圧部でユーザ操作を受信すると、視聴情報にマッチングする補助メニュー制御信号を生成するステップと、を含む。
一例において、物理的遠隔操作ユニットは、第1の押圧部と第2の押圧部との間に設置された第1のボタンをさらに含む。このステップは、
第1のボタンでユーザ操作を受信すると、音声信号を受信し、音声信号に応じて音声制御信号を生成するか、又は音声信号を文字入力内容に変換するステップを含む。
一例において、物理的遠隔操作ユニットは、第1の押圧部と第2の押圧部との間に設置されたスクロールホイールをさらに含む。このステップは、
スクロールホイールでユーザ操作を受信すると、数値調整命令を生成するステップを含む。
ここで、数値調整命令は、音量調整命令、輝度調整命令、視野サイズ調整命令、シーンサイズ調整命令、視野角回転命令、視野角遠近調整命令、モノのインターネット機器調整命令のうちの少なくとも1つを含む。
一例において、物理的遠隔操作ユニットは、下ケース部の側面に設置された第2のボタンをさらに含む。このステップは、
第2のボタンでユーザ操作を受信すると、リターン信号、前のページ信号又はスクリーンキャプチャ信号のうちの少なくとも1つの制御信号を生成するステップ、及び/又は、第2のボタンでユーザ操作を受信すると、オン信号、オフ信号、再起動信号及び電源遮断信号のうちの少なくとも1つの制御信号を生成するステップを含む。
ステップ603:制御信号に応じて視聴情報の出力を制御する。
上記のように、本実施例により提供される方法によれば、ウェアラブル制御機器のケースに物理的遠隔操作ユニットを設置することにより、ユーザは、このケース上の物理的遠隔操作ユニットを直接使用して頭部装着型視聴機器に表示される視聴情報を制御し、単独で設置された無線リモコンを使用する必要がないので、関連技術における無線リモコンが紛失されやすいという問題を解決し、ウェアラブル制御機器の携帯性及び機能性を向上させる。
本発明の他の実施例において、ウェアラブル制御機器を提供する。前記ウェアラブル制御機器は、上記の態様及びいずれかの選択的な実施形態に記載のウェアラブル制御機器であって、前記ウェアラブル制御機器は、頭部装着型視聴機器に接続するために使用されており、前記機器は、
プロセッサと、
前記プロセッサで実行可能な命令を保存するためのメモリとを含み、
前記プロセッサは、
前記頭部装着型視聴機器で出力される視聴情報を生成し、前記視聴情報は、VR視聴情報、AR視聴情報及びMR視聴情報のうちの少なくとも1つを含み、
前記物理的遠隔操作ユニットで受信されたユーザ操作に応じて前記視聴情報の制御信号を生成し、
前記制御信号に応じて前記視聴情報の出力を制御するように構成される。
一選択的な実施例において、前記プロセッサは、
第1の押圧部でユーザ操作を受信すると、視聴情報にマッチングする確認信号、ドラッグ制御信号、多肢選択制御信号のうちの少なくとも1つを生成し、
第2の押圧部でユーザ操作を受信すると、視聴情報にマッチングする補助メニュー制御信号を生成するように構成される。
一選択的な実施例において、前記プロセッサは、
第1のボタンでユーザ操作を受信すると、音声信号を受信し、音声信号に応じて音声制御信号を生成するか、又は前記音声信号を文字入力内容に変換するように構成される。
一選択的な実施例において、前記プロセッサは、
スクロールホイールでユーザ操作を受信すると、数値調整命令を生成するように構成される。
ここで、数値調整命令は、音量調整命令、輝度調整命令、視野サイズ調整命令、シーンサイズ調整命令、視野角回転命令、視野角遠近調整命令、モノのインターネット機器調整命令のうちの少なくとも1つを含む。
一選択的な実施例において、前記プロセッサは、
第2のボタンでユーザ操作を受信すると、リターン信号、前のページ信号又はスクリーンキャプチャ信号のうちの少なくとも1つの制御信号を生成するか、及び/又は、第2のボタンでユーザ操作を受信すると、オン信号、オフ信号、再起動信号及び電源遮断信号のうちの少なくとも1つの制御信号を生成するように構成される。
頭部装着型視聴機器がAR視聴機器であることを例とすると、図14は、本発明の例示的な一実施例により提供される拡張現実システム1400の構造ブロック図を示す。この拡張現実システム1400は、頭部装着型視聴機器202とウェアラブル制御機器204とを含む。頭部装着型視聴機器202は、AR視聴情報を出力(又は再生)するための機器である。ウェアラブル制御機器204は、頭部装着型視聴機器202に有線接続(例えば挿抜可能なケーブル)されている。
選択的に、頭部装着型視聴機器202は、左眼と右眼用の表示ユニットとして、積み重ねられた光ガイド光学素子(Light-guide Optical Element,LOE)1427を使用する。この頭部装着型視聴機器202は、投影を実現するための光源1431と、コントローラ1423と、空間光変調器(spatial light modulator,SLM)1425と、少なくとも1組の積み重ねられたLOE3390とをさらに含み、多平面集光システムとして使用される。この拡張現実システム1400は、目追跡サブシステム(未図示)をさらに含んでもよい。他の実施例が複数組の積み重ねられたLOE1446を有してもよいことを理解すべきである。
ウェアラブル制御機器204は、ユーザに表示されるAR視聴情報(仮想内容と略称する)を生成するように構成される。画像プロセッサ1446は、仮想内容に関連する画像又はビデオを、3Dでユーザに投影可能なフォーマットに変換することができる。例えば、3D内容を生成する場合、この仮想内容を初期化することを必要とする場合があり、特定の画像の部分を特定の深さの平面に表示させるが、他の部分を他の深さの平面に表示させる。一実施例において、特定の深さの平面にすべての画像を生成することができる。他の実施例において、画像プロセッサ1446は、わずかに異なる画像を右眼と左眼に提供するようにプログラムされて、一緒に見る時に3D立体効果を現出させる。
ウェアラブル制御機器204は、プロセッサ1442と、メモリ1444と、画像プロセッサ1446と、画像を生成及び処理するための他の回路と、をさらに含んでもよい。ウェアラブル制御機器204は、頭部装着型視聴機器202に提供される必要のある所望の仮想内容がプログラムされている。画像プロセッサ1446は、上記の実施例により提供されるウェアラブル制御機器の制御方法を実現するように、メモリ1444におけるコードを実行するためのものである。
ウェアラブル制御機器204は、ケーブルを介して光源1421に結合され、光源1421は、所望の仮想内容に関連する光を1つ又は複数の空間光変調器1425に投射する。光源1421は、コントローラ1423に結合される。光源1421は、特定の色のLEDと、様々な幾何学的構成で設置されたレーザと、を含んでもよい。又は、光源1421は、同じ色のLED又はレーザを含んでもよく、各レーザは、表示ユニットの視野の特定の領域に結合される。他の実施例において、光源1421は、白熱灯又は蛍光灯のような、発光領域及び位置を分割するためのマスク被覆層を有する広域発光器を含んでもよい。
様々な例示的な実施例において、SLM1425は、反射型、透過型、又は放射型のものであってもよい。SLM1425の種類(例えば、速度、サイズなど)を選択して3D知覚の作成を改善することができる。SLM1425は、所望の仮想内容により光源1421からの光をエンコードする。
SLM1425からの光は、LOE1427に案内され、SLM1425が同一の深さの平面及び/又は色の画像データでエンコードした光ビームは、LOE1427に沿って効果的に伝播してユーザの眼部に届く。各LOE1427は、所望の深さの平面又はFOV角の位置に由来するように見える画像又はサブ画像をユーザの網膜に投影するように構成される。このため、光源1421及びLOE1427は、画像を選択的に投影(コントローラ1423の制御下でSLM1425が同期エンコード)して、それが様々な深さの平面又は空間位置に由来するように見えることができる。光源1421及びLOE1427のそれぞれを使用することにより、十分に高いフレームレートで画像を順次に投影する。
コントローラ1423とウェアラブル制御機器204は、光源1421とSLM1425が通信及び操作可能のように結合され、ウェアラブル制御機器204からの適切な画像情報を利用して光源1421からの光ビームをエンコードして画像の同期表示を調整するようにSLM1425を指示する。
選択的に、拡張現実システム1400は、ユーザの目を追跡してユーザの焦点を決定するように構成された目追跡サブシステムをさらに含む。一実施例において、システム1400は、目追跡サブシステムからの入力に基づき、LOE1427のサブセットを選択的にアクティブ化することにより、画像をユーザの焦点/調節と一致する所望の深さの平面に生成させるように構成される。
上記の頭部装着型視聴機器202の構造は、例示的なものであり、本実施例は、頭部装着型視聴機器202の具体的な実施構造を限定するものではない。
図15は、本願の例示的な一実施例により提供されるウェアラブル制御機器の実現の効果図を示し、このウェアラブル制御機器の上ケース部の表面は、弧状をなし、上ケース部の表面にはボタンが設置されており、ボタンは、左ボタン(即ち、確認ボタン)521と、右ボタン(右ボタンをクリックすることにより補助メニューを開くことができる)522と、音声識別活性化ボタン(即ち、音声活性化ボタン)523と、スクロールホイール524と、リターン又は電源ボタン525と、を含む。
このウェアラブル制御機器の左ボタン521の操作は、シングルクリック操作、ダブルクリック操作、長押し操作のうちの少なくとも1つを含み、シングルクリック操作は、確認又は確認の類義語を意味する信号に使用され、ダブルクリック操作は、アプリケーション、ドキュメント、テーブル、スライド、ピクチャ、ビデオ、オーディオのうちの少なくとも1つのオブジェクトファイルを開くためのものである。長押し操作は、ファイル又はドラッグファイルのうちの少なくとも1つを一括選択するためのものである。右ボタン522は、ユーザがシングルクリック操作を行う場合、補助メニューを開くために使用され、この補助メニューの内容は、視聴情報によりわずかに変化する。音声活性化ボタン523は、長押し操作又はダブルクリック操作を受信することができ、この音声活性化ボタンがダブルクリック操作を受信する場合、このウェアラブル制御機器におけるコンピュータモジュールは、マイクロフォンで収集した音声信号を文字入力内容に変換するか、又は、この音声活性化ボタンが長押し操作を受信する場合、音声信号を文字入力内容に変換することができる。スクロールホイール524は、ユーザがスクロール又はスライドの操作を行う場合、数値調整命令を生成するために使用されており、この数値調整命令は、音量調整命令、輝度調整命令、視野サイズ調整命令、シーンサイズ調整命令、視野角回転命令、視野角遠近調整命令、モノのインターネット機器調整命令のうちの少なくとも1つを含み、模式的に、ユーザは、スクロールホイールをスクロールさせることにより音量を調整することができ、例えば、スクロールホイールを上(即ち、ユーザの指が伸びる方向)にスクロールさせると、音量を向上させ、スクロールホイールを下(即ち、ユーザの指が収縮する方向)にスクロールさせると、音量を低下させる。リターン又は電源ボタン525は、ユーザがシングルクリック操作を行う場合、ホームページ又は上位メニューに戻るためのものであるか、又は、オン操作、オフ操作、再起動操作及び電源遮断信号のうちの少なくとも1つに使用されており、例えば、リターン又は電源ボタン525を2秒間長押しする場合、ウェアラブル制御機器がオン状態にあると、ウェアラブル制御機器を起動し、ウェアラブル制御機器がオフ状態にあると、ウェアラブル制御機器をオフにする。或いは、リターン又は電源ボタン525を6秒間長押しする場合、ウェアラブル制御機器がオン状態にあると、ウェアラブル制御機器の電源をオフにする。
ユーザは、上記のいくつかのボタンを組み合わせて使用することにより異なる機能を実現することができる。例えば、2つのボタン又は押圧部を同時に押圧することによりプリセット機能をトリガーするが、本実施例は、これに対して限定しない。いくつかの実施例において、上記の各物理的遠隔操作ユニットの機能は、ユーザのカスタマイズをサポートし、各物理的遠隔操作ユニットに対応する機能又はショートカットは、ユーザによりカスタマイズされる。
以上は、本発明の好ましい実施例に過ぎず、本発明を限定するために用いられるものではなく、本発明の主旨と原則の範囲内でのすべての修正、同等の置換、改善などは本発明の保護範囲に含まれるべきである。

Claims (17)

  1. 頭部装着型視聴機器に接続するためのウェアラブル制御機器であって、
    ケースと、
    前記ケースに設置された少なくとも1つの物理的遠隔操作ユニットと、
    前記ケース内に設置された計算モジュールと、を含み、
    前記計算モジュールと前記物理的遠隔操作ユニットとが電気的に接続されており、
    前記計算モジュールは、前記頭部装着型視聴機器で出力されるVR視聴情報、AR視聴情報及びMR視聴情報のうちの少なくとも1つを含む視聴情報を生成し、前記物理的遠隔操作ユニットで受信されたユーザ操作に応じて前記視聴情報の制御信号を生成し、前記制御信号に応じて前記視聴情報の出力を制御するように構成されており、
    前記ケースは、並行して設置された上ケース部と下ケース部とを含み、前記上ケース部と前記下ケース部のテール部が移行部を介して接続されており、
    少なくとも1つの前記物理的遠隔操作ユニットは、前記上ケース部の上面に設置されており、
    前記上ケース部と前記下ケース部との対向する2つの面の間には、スリットが形成され、前記ウェアラブル制御機器をユーザの衣服に固定でき、
    前記上ケース部の内部及び前記下ケース部の内部には、前記計算モジュールが設置されており、或いは、前記下ケース部の内部には、前記計算モジュールが設置されており、
    前記物理的遠隔操作ユニットは、前記上ケース部の上面のエッジ領域に並列に設置された第1の押圧部と第2の押圧部とを含み、前記エッジ領域は、前記上面における前記移行部から離れた局所領域であり、
    前記物理的遠隔操作ユニットは、前記第1の押圧部と前記第2の押圧部との間に設置された第1のボタンをさらに含み、
    前記物理的遠隔操作ユニットは、前記第1の押圧部と前記第2の押圧部との間に設置されたスクロールホイールをさらに含み、
    前記計算モジュールは、前記第1のボタンで前記ユーザ操作を受信すると、音声信号を受信するように構成され、
    前記計算モジュールは、前記スクロールホイールで前記ユーザ操作を受信すると、数値調整命令を生成するように構成される
    ことを特徴とするウェアラブル制御機器。
  2. 前記物理的遠隔操作ユニットは、物理ボタン、仮想ボタン、スクロールホイール、ロッカーレバー、トラックボールのうちの少なくとも1つを含む
    ことを特徴とする請求項に記載のウェアラブル制御機器。
  3. 前記計算モジュールは、前記第1の押圧部で前記ユーザ操作を受信すると、前記視聴情報にマッチングする確認信号、ドラッグ制御信号、多肢選択制御信号のうちの少なくとも1つを生成するように構成され、
    前記計算モジュールは、前記第2の押圧部で前記ユーザ操作を受信すると、前記視聴情報にマッチングする補助メニュー制御信号を生成するように構成される
    ことを特徴とする請求項に記載のウェアラブル制御機器。
  4. 前記計算モジュールは、前記音声信号に応じて音声制御信号を生成するか、又は前記音声信号を文字入力内容に変換するように構成される
    ことを特徴とする請求項に記載のウェアラブル制御機器。
  5. 前記数値調整命令は、音量調整命令、輝度調整命令、視野サイズ調整命令、シーンサイズ調整命令、視野角回転命令、視野角遠近調整命令、モノのインターネット機器調整命令のうちの少なくとも1つを含む
    ことを特徴とする請求項に記載のウェアラブル制御機器。
  6. 前記物理的遠隔操作ユニットは、前記下ケース部の側面に設置された第2のボタンをさらに含む
    ことを特徴とする請求項に記載のウェアラブル制御機器。
  7. 前記計算モジュールは、前記第2のボタンで前記ユーザ操作を受信すると、リターン信号、前のページ信号又はスクリーンキャプチャ信号のうちの少なくとも1つの制御信号を生成するように構成される
    ことを特徴とする請求項に記載のウェアラブル制御機器。
  8. 前記計算モジュールは、前記第2のボタンで前記ユーザ操作を受信すると、オン信号、オフ信号、再起動信号及び電源遮断信号のうちの少なくとも1つの制御信号を生成するように構成される
    ことを特徴とする請求項に記載のウェアラブル制御機器。
  9. 前記移行部には、前記頭部装着型視聴機器に接続するための接続線が設置されている
    ことを特徴とする請求項から請求項のいずれか1項に記載のウェアラブル制御機器。
  10. 前記上ケース部の長さは、前記下ケース部の長さよりも短い
    ことを特徴とする請求項から請求項のいずれか1項に記載のウェアラブル制御機器。
  11. 頭部装着型視聴機器とウェアラブル制御機器とを含み、前記頭部装着型視聴機器と前記ウェアラブル制御機器とが接続されており、
    前記ウェアラブル制御機器は、請求項1から請求項10のいずれか1項に記載のウェアラブル制御機器である
    ことを特徴とする仮想・拡張現実システム。
  12. 請求項に記載のウェアラブル制御機器に適用するウェアラブル制御機器の制御方法であって、
    前記ウェアラブル制御機器が頭部装着型視聴機器に接続するためのものであり、
    前記頭部装着型視聴機器で出力されるVR視聴情報、AR視聴情報及びMR視聴情報のうちの少なくとも1つを含む視聴情報を生成するステップと、
    前記物理的遠隔操作ユニットで受信されたユーザ操作に応じて前記視聴情報の制御信号を生成するステップと、
    前記制御信号に応じて前記視聴情報の出力を制御するステップと、を含む
    ことを特徴とするウェアラブル制御機器の制御方法。
  13. 前記物理的遠隔操作ユニットは、前記上ケース部の上面のエッジ領域に並列に設置された第1の押圧部と第2の押圧部とを含み、
    前記物理的遠隔操作ユニットで受信されたユーザ操作に応じて前記視聴情報の制御信号を生成するステップは、
    前記第1の押圧部で前記ユーザ操作を受信すると、前記視聴情報にマッチングする確認信号、ドラッグ制御信号、多肢選択制御信号のうちの少なくとも1つを生成するステップと、
    前記第2の押圧部で前記ユーザ操作を受信すると、前記視聴情報にマッチングする補助メニュー制御信号を生成するステップと、を含む
    ことを特徴とする請求項12に記載の制御方法。
  14. 前記物理的遠隔操作ユニットは、前記第1の押圧部と前記第2の押圧部との間に設置された第1のボタンをさらに含み、
    前記物理的遠隔操作ユニットで受信されたユーザ操作に応じて前記視聴情報の制御信号を生成するステップは、
    前記第1のボタンで前記ユーザ操作を受信すると、音声信号を受信し、前記音声信号に応じて音声制御信号を生成するか、又は前記音声信号を文字入力内容に変換するステップを含む
    ことを特徴とする請求項13に記載の制御方法。
  15. 前記物理的遠隔操作ユニットは、前記第1の押圧部と前記第2の押圧部との間に設置されたスクロールホイールをさらに含み、
    前記物理的遠隔操作ユニットで受信されたユーザ操作に応じて前記視聴情報の制御信号を生成するステップは、
    前記スクロールホイールで前記ユーザ操作を受信すると、数値調整命令を生成するステップを含み、
    前記数値調整命令は、音量調整命令、輝度調整命令、視野サイズ調整命令、シーンサイズ調整命令、視野角回転命令、視野角遠近調整命令、モノのインターネット機器調整命令のうちの少なくとも1つを含む
    ことを特徴とする請求項13に記載の制御方法。
  16. 前記物理的遠隔操作ユニットは、前記下ケース部の側面に設置された第2のボタンをさらに含み、
    前記物理的遠隔操作ユニットで受信されたユーザ操作に応じて前記視聴情報の制御信号を生成するステップは、
    前記第2のボタンで前記ユーザ操作を受信すると、リターン信号、前のページ信号又はスクリーンキャプチャ信号のうちの少なくとも1つの制御信号を生成するステップ、及び/又は、
    前記第2のボタンで前記ユーザ操作を受信すると、オン信号、オフ信号、再起動信号及び電源遮断信号のうちの少なくとも1つの制御信号を生成するステップを含む
    ことを特徴とする請求項13に記載の制御方法。
  17. 請求項に記載のウェアラブル制御機器であって、前記ウェアラブル制御機器は、頭部装着型視聴機器に接続するためのものであり、
    プロセッサと、
    前記プロセッサで実行可能な命令を保存するためのメモリと、を含み、
    前記プロセッサは、
    前記頭部装着型視聴機器で出力されるVR視聴情報、AR視聴情報及びMR視聴情報のうちの少なくとも1つを含む視聴情報を生成し、
    前記物理的遠隔操作ユニットで受信されたユーザ操作に応じて前記視聴情報の制御信号を生成し、
    前記制御信号に応じて前記視聴情報の出力を制御するように構成される
    ことを特徴とするウェアラブル制御機器。
JP2019563848A 2019-06-26 2019-09-27 ウェアラブル制御機器、仮想・拡張現実システム及び制御方法 Active JP7189891B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910563002.4A CN110134197A (zh) 2019-06-26 2019-06-26 可穿戴式控制设备、虚拟/增强现实系统及控制方法
CN201910563002.4 2019-06-26
PCT/CN2019/108639 WO2020258555A1 (zh) 2019-06-26 2019-09-27 可穿戴式控制设备、虚拟/增强现实系统及控制方法

Publications (2)

Publication Number Publication Date
JP2021531520A JP2021531520A (ja) 2021-11-18
JP7189891B2 true JP7189891B2 (ja) 2022-12-14

Family

ID=67566545

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019563848A Active JP7189891B2 (ja) 2019-06-26 2019-09-27 ウェアラブル制御機器、仮想・拡張現実システム及び制御方法

Country Status (7)

Country Link
US (1) US11175758B2 (ja)
EP (1) EP3757724B1 (ja)
JP (1) JP7189891B2 (ja)
KR (1) KR102351393B1 (ja)
CN (1) CN110134197A (ja)
RU (1) RU2738725C1 (ja)
WO (1) WO2020258555A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD917478S1 (en) * 2018-06-15 2021-04-27 Beijing Xiaomi Mobile Software Co., Ltd. AR glasses
CN110134197A (zh) * 2019-06-26 2019-08-16 北京小米移动软件有限公司 可穿戴式控制设备、虚拟/增强现实系统及控制方法
CN110517683A (zh) * 2019-09-04 2019-11-29 上海六感科技有限公司 头戴式vr/ar设备及其控制方法
JP7814927B2 (ja) * 2021-12-28 2026-02-17 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013250846A (ja) 2012-06-01 2013-12-12 Nikon Corp 情報入出力装置、及び情報入出力プログラム
JP2016100769A (ja) 2014-11-21 2016-05-30 セイコーエプソン株式会社 コントローラー及び画像表示システム
JP2016126588A (ja) 2015-01-06 2016-07-11 セイコーエプソン株式会社 表示システム、プログラム、サーバー装置、及び、表示装置の制御方法
US20190018567A1 (en) 2017-07-11 2019-01-17 Logitech Europe S.A. Input device for vr/ar applications

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6443347B1 (en) * 2000-10-19 2002-09-03 International Business Machines Corporation Streamlined personal harness for supporting a wearable computer and associated equipment on the body of a user
DE10054242A1 (de) * 2000-11-02 2002-05-16 Visys Ag Verfahren zum Eingeben von Daten in ein System und Eingabeeinrichtung
SE523183C2 (sv) * 2001-09-14 2004-03-30 Perific Ab En protabel enhet för att inmata signaler till en perifer enhet, och användning av en sådan enhet
JP2003279881A (ja) 2002-03-27 2003-10-02 Hitachi Ltd 携帯情報装置
JP2003296757A (ja) * 2002-03-29 2003-10-17 Canon Inc 情報処理方法および装置
KR100585492B1 (ko) * 2004-04-22 2006-06-07 주식회사 유창이엔에스 마우스
KR100594117B1 (ko) * 2004-09-20 2006-06-28 삼성전자주식회사 Hmd 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
WO2007005932A2 (en) * 2005-07-01 2007-01-11 Hillcrest Laboratories, Inc. 3d pointing devices
US8825468B2 (en) * 2007-07-31 2014-09-02 Kopin Corporation Mobile wireless display providing speech to speech translation and avatar simulating human attributes
US8072393B2 (en) * 2007-11-15 2011-12-06 Symbol Technologies, Inc. User interface for a head mounted display
US20100309097A1 (en) * 2009-06-04 2010-12-09 Roni Raviv Head mounted 3d display
US8948824B2 (en) * 2009-08-05 2015-02-03 Apple Inc. Electronic devices with clips
WO2012040086A1 (en) * 2010-09-20 2012-03-29 Kopin Corporation Miniature communications gateway for head mounted display
US8884984B2 (en) * 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US8896992B2 (en) * 2010-11-17 2014-11-25 Solatido Inc. Wearable computer system
JP6064464B2 (ja) * 2012-09-10 2017-01-25 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、認証システム
US10585478B2 (en) * 2013-09-13 2020-03-10 Nod, Inc. Methods and systems for integrating one or more gestural controllers into a head mounted wearable display or other wearable devices
US9053654B2 (en) * 2013-09-30 2015-06-09 John Sherman Facilitating user input via arm-mounted peripheral device interfacing with head-mounted display device
JP6264871B2 (ja) * 2013-12-16 2018-01-24 セイコーエプソン株式会社 情報処理装置および情報処理装置の制御方法
KR102104136B1 (ko) * 2013-12-18 2020-05-29 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 제어 장치를 위한 증강 현실 오버레이
CN111506159A (zh) * 2014-02-21 2020-08-07 索尼公司 可穿戴设备
KR20160029525A (ko) * 2014-09-05 2016-03-15 삼성전자주식회사 사용자 인터페이스를 제어하는 방법 및 이를 제공하는 전자 장치
JP6740584B2 (ja) * 2015-09-15 2020-08-19 セイコーエプソン株式会社 表示システム、表示装置の制御方法、及び、プログラム
US20160196693A1 (en) * 2015-01-06 2016-07-07 Seiko Epson Corporation Display system, control method for display device, and computer program
JP5776919B1 (ja) * 2015-03-19 2015-09-09 明久 松園 フィンガー制御式ポインティングデバイス
CN205015852U (zh) * 2015-10-18 2016-02-03 张贵明 一种可触控多按键的鼠标
KR20170046415A (ko) * 2015-10-21 2017-05-02 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN105204165A (zh) * 2015-11-03 2015-12-30 上海乐相科技有限公司 一种头戴式虚拟现实设备
US10545584B2 (en) 2016-05-17 2020-01-28 Google Llc Virtual/augmented reality input device
JP6122537B1 (ja) * 2016-09-08 2017-04-26 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
CN207083081U (zh) * 2017-05-12 2018-03-09 倍恩(北京)科技有限公司 一种可穿戴移动智能终端设备
CN107272924A (zh) * 2017-06-01 2017-10-20 安徽润华安全技术有限公司 一种有线智能语音输入鼠标
CN109101102A (zh) * 2017-06-20 2018-12-28 北京行云时空科技有限公司 用于vr/ar的控件交互方法、装置及系统
CN107238930A (zh) * 2017-07-19 2017-10-10 北京小米移动软件有限公司 虚拟现实眼镜
CN207096576U (zh) * 2017-07-21 2018-03-13 上海真曦通信技术有限公司 一种智能眼镜系统
CN207232524U (zh) * 2017-10-12 2018-04-13 深圳市世尊科技有限公司 增强现实的智能眼镜及可穿戴系统
CN108761795A (zh) * 2018-07-25 2018-11-06 Oppo广东移动通信有限公司 一种穿戴式设备
CN110134197A (zh) * 2019-06-26 2019-08-16 北京小米移动软件有限公司 可穿戴式控制设备、虚拟/增强现实系统及控制方法
CN209859042U (zh) * 2019-06-26 2019-12-27 北京小米移动软件有限公司 可穿戴式控制设备和虚拟/增强现实系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013250846A (ja) 2012-06-01 2013-12-12 Nikon Corp 情報入出力装置、及び情報入出力プログラム
JP2016100769A (ja) 2014-11-21 2016-05-30 セイコーエプソン株式会社 コントローラー及び画像表示システム
JP2016126588A (ja) 2015-01-06 2016-07-11 セイコーエプソン株式会社 表示システム、プログラム、サーバー装置、及び、表示装置の制御方法
US20190018567A1 (en) 2017-07-11 2019-01-17 Logitech Europe S.A. Input device for vr/ar applications

Also Published As

Publication number Publication date
US20200409482A1 (en) 2020-12-31
EP3757724A1 (en) 2020-12-30
KR20210001865A (ko) 2021-01-06
US11175758B2 (en) 2021-11-16
CN110134197A (zh) 2019-08-16
WO2020258555A1 (zh) 2020-12-30
JP2021531520A (ja) 2021-11-18
KR102351393B1 (ko) 2022-01-17
RU2738725C1 (ru) 2020-12-16
EP3757724B1 (en) 2026-02-11

Similar Documents

Publication Publication Date Title
KR102778979B1 (ko) 3차원 환경들과의 상호작용을 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들
US11809213B2 (en) Controlling duty cycle in wearable extended reality appliances
US20240104877A1 (en) Methods for time of day adjustments for environments and environment presentation during communication sessions
JP7189891B2 (ja) ウェアラブル制御機器、仮想・拡張現実システム及び制御方法
US9804682B2 (en) Systems and methods for performing multi-touch operations on a head-mountable device
WO2023101881A1 (en) Devices, methods, and graphical user interfaces for capturing and displaying media
CN110460797A (zh) 创意相机
CN111970456B (zh) 拍摄控制方法、装置、设备及存储介质
TW202304212A (zh) 直播方法、系統、電腦設備及電腦可讀儲存媒體
US12602106B2 (en) Ambience-driven user experience
WO2020223140A1 (en) Capturing objects in an unstructured video stream
CN112732089A (zh) 一种虚拟现实设备及快捷交互方法
JP7714779B2 (ja) データ処理方法、装置、電子機器、及びコンピュータプログラム
JP2018525750A (ja) シースルー・グラス用の補助アイテム選択
WO2025209102A1 (zh) 显示方法以及显示系统
CN114363705A (zh) 一种增强现实设备及交互增强方法
CN114416237B (zh) 显示状态切换方法、装置及系统、电子设备、存储介质
CN209859042U (zh) 可穿戴式控制设备和虚拟/增强现实系统
WO2024249511A1 (en) Devices, methods, and graphical user interfaces for capturing and viewing immersive media
KR102842387B1 (ko) 오프라인 매장 내의 촬영 대상에 대한 원격 촬영을 서비스 하기 위한 시스템
US20260019699A1 (en) Camera user interface
US12530075B1 (en) Augmented reality (AR) content-sharing with AR-deprived audience
CN121233028A (zh) 一种显示方法、装置、设备及存储介质
CN119383387A (zh) 一种直播互动方法、装置、电子设备和存储介质
WO2026076241A1 (en) Augmented reality (ar) content-sharing with ar-deprived audience

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220127

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221014

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20221014

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20221024

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20221025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221202

R150 Certificate of patent or registration of utility model

Ref document number: 7189891

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250