Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7658375B2 - ヘッドマウントディスプレイシステムのための位置トラッキングシステム - Google Patents
[go: Go Back, main page]

JP7658375B2 - ヘッドマウントディスプレイシステムのための位置トラッキングシステム - Google Patents

ヘッドマウントディスプレイシステムのための位置トラッキングシステム Download PDF

Info

Publication number
JP7658375B2
JP7658375B2 JP2022534419A JP2022534419A JP7658375B2 JP 7658375 B2 JP7658375 B2 JP 7658375B2 JP 2022534419 A JP2022534419 A JP 2022534419A JP 2022534419 A JP2022534419 A JP 2022534419A JP 7658375 B2 JP7658375 B2 JP 7658375B2
Authority
JP
Japan
Prior art keywords
polarizer
light
angle
polarization
spatially varying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022534419A
Other languages
English (en)
Other versions
JP2023512876A (ja
Inventor
マーク ハッドマン、ジョシュア
ウェイド ラウシュ、カメロン
Original Assignee
バルブ コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by バルブ コーポレーション filed Critical バルブ コーポレーション
Publication of JP2023512876A publication Critical patent/JP2023512876A/ja
Application granted granted Critical
Publication of JP7658375B2 publication Critical patent/JP7658375B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/30Polarising elements
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/0136Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  for the control of polarisation, e.g. state of polarisation [SOP] control, polarisation scrambling, TE-TM mode conversion or separation
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/137Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells characterised by the electro-optical or magneto-optical effect, e.g. field-induced phase transition, orientation effect, guest-host interaction or dynamic scattering
    • G02F1/139Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells characterised by the electro-optical or magneto-optical effect, e.g. field-induced phase transition, orientation effect, guest-host interaction or dynamic scattering based on orientation effects in which the liquid crystal remains transparent
    • G02F1/1396Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells characterised by the electro-optical or magneto-optical effect, e.g. field-induced phase transition, orientation effect, guest-host interaction or dynamic scattering based on orientation effects in which the liquid crystal remains transparent the liquid crystal being selectively controlled between a twisted state and a non-twisted state, e.g. TN-LC cell
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a three-dimensional [3D] space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2203/00Function characteristic
    • G02F2203/07Polarisation dependent
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Nonlinear Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Position Input By Displaying (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)
  • Control Of Position Or Direction (AREA)

Description

本開示は概して、ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイシステムに関連付けられたコントローラなどのオブジェクトについての位置トラッキングに関する。
仮想現実(VR)または拡張現実(AR)体験の1つの現在の世代は、スマートフォンに組み合わされる、および/または、統合される据え付けのコンピュータ(パーソナルコンピュータ(PC)、ラップトップ、またはゲームコンソールなど)、および/または、その関連付けられたディスプレイに結合され得る、または自己完結型であり得るヘッドマウントディスプレイ(HMD)を使用して作成される。概して、HMDは、1つの眼(単眼HMD)または各目(複眼HMD)の前方に小型のディスプレイデバイスを有する、ユーザの頭部に装着されるディスプレイデバイスである。これらのディスプレイユニットは、典型的には小型化されており、例えば、CRT技術、LCD技術、シリコン上液晶(LCos)技術またはOLED技術を含み得る。双眼HMDは、異なる画像をそれぞれの目に表示する可能性を有する。この機能は、立体画像を表示するために用いられる。
スマートフォン、高精細度テレビおよび他の電子デバイスの発展に伴い、高性能のディスプレイの需要が高まっている。仮想現実システムおよび拡張現実システム、特に、HMDを用いたものが普及してきていることで、そのような需要はさらに高まっている。仮想現実システムは、一般的に、装着者の目を完全に包み込み、装着者の前における実際のまたは物理的なビュー(または実際の現実)を、"仮想"現実で置換する一方で、拡張現実システムは、一般的に、装着者の目の前における1または複数の画面の半透明または透明なオーバーレイを提供して、実際のビューが追加の情報とともに拡張されるようにし、媒介現実システムは、現実世界の要素を仮想要素と組み合わせた情報を視認者に同様に提示してよい。多くの仮想現実および拡張現実システムにおいて、ユーザの移動を反映するように画像が示されることを可能にし、インタラクティブな環境を可能にするために、そのようなヘッドマウントディスプレイの装着者の移動は、ヘッドマウントディスプレイにおけるセンサ、コントローラ、または外部センサを介するなど、様々な方式でトラッキングされ得る。
位置トラッキングにより、HMDシステムは、互いおよび周囲の環境に対する1または複数のコンポーネントの位置を推定することが可能となる。位置トラッキングは、ハードウェアおよびソフトウェアの組み合わせを利用して、HMDシステムのコンポーネントの絶対的な位置の検出を達成し得る。位置トラッキングは、ARまたはVRシステムにとって重要な技術であり、6自由度(6DOF)でHMD(および/またはコントローラまたは他の周辺機器)の動きをトラッキングすることを可能とする。
位置トラッキング技術は、ジャンプまたはしゃがむ等の異なるアクションを反映するようにユーザの視点を変化させるために用いられてよく、仮想環境内におけるユーザの手や他のオブジェクトの正確な表現を可能としてよい。位置トラッキングは、また、例えば、手の位置を用いて仮想オブジェクトをタッチにより移動することによって、物理および仮想環境との間の接続を増加してよい。位置トラッキングは、視差のためユーザの仮想環境の3次元認識を改善し、距離の認識を支援する。また、位置トラッキングは、目で見ているものと、ユーザの耳の前庭系により感じていることとの入力の不一致により引き起こされる乗り物酔いを最低減に抑えることを支援してよい。
位置トラッキングの異なる複数の方法が存在する。このような方法は、音響トラッキング、慣性トラッキング、磁気トラッキング、光学トラッキング、それらの組み合わせ等を含んでよい。
角度感知検出器は、光源からの光を受信してフィルタリングするように作用する第1偏光子と、第1偏光子に光学的に整列された空間変動偏光子であって、角度感知検出器に対する入射角によって入射光を一意的に区別するよう構成される偏光パターンを含む空間変動偏光子と、空間変動偏光子から受信された光を受信してフィルタリングするために、空間変動偏光子に光学的に整列される第2偏光子と、第2偏光子からの光を受信するよう位置決めされた光検出器であって、角度感知検出器に対する入射光の入射角を示す少なくとも1つの強度信号を出力するように作用する光検出器とを備えるものとして要約され得る。
空間変動偏光子は液晶材料を含み得る。空間変動偏光子はマルチツイスト位相差板を含み得る。空間変動偏光子は、オフに切り替えられるように作用し得、空間変動偏光子がオフに切り替えられるとき、空間変動偏光子は、入射光の偏光を変更することを中止するように作用し得る。空間変動偏光子は位相差板を含み得る。空間変動偏光子は、第1端において直線偏光を提供し得、第2端の反対側にある第2端に向かって位相差を徐々に増加させ得る。空間変動偏光子は、第2端において、4分の1波長の位相差を提供し得る。第1偏光子および第2偏光子は各々、直線偏光子を含み得る。第1偏光子および第2偏光子は各々、同一の偏光の向きを有する直線偏光子を含み得る。
角度感知検出器は、光を受信し、光をフィルタリングし、フィルタリングされた光の第1成分を出力するよう構成される第1偏光子と、複数の位置にそれぞれ関連付けられた複数の偏光変換特性を定義する、位置変動偏光パターンを有する空間変動偏光子であって、複数の偏光変換特性は、第1成分が空間変動偏光子に入射する位置に依存して異なるように、第1成分の偏光を変更するように作用し、空間変動偏光子は、複数の位置の第1位置において第1成分を受信し、第1位置に関連付けられた、複数の偏光変換特性の第1偏光変換特性に従って、第1成分の偏光を変更し、偏光変換された第1成分を出力するよう構成される空間変動偏光子と、偏光変換された第1成分を受信し、偏光変換された第1成分をフィルタリングし、偏光変換された第1成分の第2成分を出力する、よう構成される第2偏光子と、第2成分を受信し、第2成分の強度を検出し、第2成分の強度を表すデータであって、第1位置を判定するために利用可能な第2成分の強度を表すデータを出力するよう構成される光検出器とを備えるものとして要約され得る。
空間変動偏光子は液晶材料を含み得る。空間変動偏光子はマルチツイスト位相差板を含み得る。位置変動偏光パターンは、第1端における直線偏光子、第1端の反対にある第2端における円偏光子、および、第1端と第2端との間における、直線偏光子と円偏光子との間の漸進的な変化を含み得る。第1偏光子は、光が第1偏光子に入射する場所と無関係に光を均一にフィルタリングし得る。第2偏光子は、偏光変換された第1成分が第2偏光子に入射する場所とは無関係に、偏光変換された第1成分を均一にフィルタリングし得る。空間変動偏光子は、オフに切り替えられるように作用し得、空間変動偏光子がオフに切り替えられるとき、空間変動偏光子は、第1成分の偏光を変更することを中止するように作用し得る。
光検出器は、単一セルのフォトダイオードであり得る。光検出器は、複数のセルの各セルにおける第2成分のそれぞれの強度を検出するように作用する複数のセルを有するマルチセルのフォトダイオードであり得る。光は、基地局またはモバイルオブジェクトによって放射され得る。第1偏光子および第2偏光子は、同一の光フィルタリング特性を有し得る。
ヘッドマウントディスプレイシステムは、ユーザによって装着可能な第1ヘッドマウントディスプレイシステムコンポーネントと、第1ヘッドマウントディスプレイシステムコンポーネントによって保持される複数の角度感知検出器であって、動作中、1または複数の光源から放射された光の到着角度を示すセンサデータを各々がキャプチャする複数の角度感知検出器と、複数の角度感知検出器のうち1または複数で受信された光が、複数の角度感知検出器の1または複数に到着する前に反射または散乱されたかどうかを示す散乱光検出器データをキャプチャする散乱光検出器と、複数の光源を含む第2ヘッドマウントディスプレイシステムコンポーネントと、複数の光源の1または複数に光を放射させ、複数の角度感知検出器の1または複数からセンサデータを受信し、散乱光検出器から散乱光検出器データを受信し、受信されたセンサデータおよび散乱光検出器データを処理し、受信されたセンサデータおよび散乱光検出器データの処理に少なくとも部分的に基づいて、第1ヘッドマウントディスプレイシステムコンポーネントの位置をトラッキングするように作用する制御回路とを備えるものとして要約され得る。
制御回路は、散乱光検出器データを処理して、複数の角度感知検出器の1または複数によって受信された光が反射または散乱されたかどうかを判定し得、光が反射または散乱されたという判定に応答して、1または複数の角度感知検出器からのセンサデータを無視し得る。第1ヘッドマウントディスプレイシステムコンポーネントは、ユーザまたはハンドヘルドコントローラの頭部に装着可能なヘッドマウントディスプレイデバイスを含み得る。複数の角度感知検出器の各々は、フォトダイオード検出器または位置感知検出器の1つを含み得る。複数の角度感知検出器の各々は、少なくとも4つのセルを有するフォトダイオード検出器を含み得る。
第1ヘッドマウントディスプレイシステムコンポーネントは、ヘッドマウントディスプレイデバイス、コントローラ、または基地局の1つを含み得、第2ヘッドマウントディスプレイシステムコンポーネントは、ヘッドマウントディスプレイ、デバイス、コントローラ、または基地局のうち別のものを含む。第2ヘッドマウントディスプレイコンポーネントは、ヘッドマウントディスプレイシステムが操作される環境に近接する場所に固定されるコンポーネントを含み得る。複数の光源の各々は、光エミッタ、および、光エミッタの前方に位置する円偏光子を含み得る。円偏光子は、直線偏光子および4分の1波長位相差板を含み得る。散乱光検出器は、光学検出器の前方に位置する円偏光子を含み得る。散乱光検出器の円偏光子は、直線偏光子および4分の1波長位相差板を含み得る。複数の光源の各々は、光エミッタ、ならびに、右手円偏光子および左手円偏光子の一方を含み得、散乱光検出器は、右手円偏光子および左手円偏光子の他方を含み得る。
ヘッドマウントディスプレイシステムは、複数の散乱光検出器を更に備え得、散乱光検出器の各々は、複数の角度感知検出器のうち1または複数で受信された光が、複数の角度感知検出器]のうち1または複数に到着する前に反射または散乱されたかどうかを示す散乱光検出器データをキャプチャする。複数の散乱光検出器の各々は、複数の角度感知検出器のサブセットに対応し得る。動作中、第2ヘッドマウントディスプレイシステムコンポーネントは、多重化を使用して複数の光源を照射し得る。受信されたセンサおよび散乱光検出器データを処理するために、制御回路は、受信されたセンサおよび散乱光検出器データの少なくとも1つを、トレーニングされた機械学習モデルへの入力として提供し得る。
ヘッドマウントディスプレイシステムを操作する方法であって、ヘッドマウントディスプレイシステムは、ユーザによって装着可能な第1ヘッドマウントディスプレイシステムコンポーネントと、第1ヘッドマウントディスプレイシステムコンポーネントによって保持される複数の角度感知検出器と、複数の角度感知検出器のうち1または複数で受信された光が、複数の角度感知検出器のうち1または複数に到着する前に、反射または散乱されたかどうかを示す散乱光検出器データをキャプチャする散乱光検出器と、複数の光源を含む第2ヘッドマウントディスプレイシステムコンポーネントとを備え、方法は、複数の光源の少なくとも1つの光源に光を放射させる段階と、複数の角度感知検出器の各々を介して、少なくとも1つの光源から放射された光の到着角度を示すセンサデータをキャプチャする段階と、少なくとも1つのプロセッサによって、複数の角度感知検出器からセンサデータを受信する段階と、少なくとも1つのプロセッサによって、散乱光検出器から散乱光検出器データを受信する段階と、少なくとも1つのプロセッサによって、受信されたセンサデータおよび散乱光検出器データを処理する段階と、受信されたセンサデータおよび散乱光検出器データの処理に少なくとも部分的に基づいて、少なくとも1つのプロセッサによって、第1ヘッドマウントディスプレイシステムコンポーネントの位置をトラッキングする段階と、を備えるものとして要約され得る。
減衰フィルタを提供する空間変動偏光子を含む角度感知フォトダイオード構造が提供される。空間変動偏光子は、マルチツイスト位相差板(MTR)から形成され得る。これは、単一の薄膜において、広帯域、狭帯域、または、複数帯域の位相差の精密でカスタマイズされたレベルを提供する、波長板のような位相差フィルムである。空間変動偏光子は、位置変動偏光位相差特性および/または位置変動偏光位相差パターンを有するように構成される。当該特性および/またはパターンに起因して、角度感知フォトダイオード構造は、光が角度感知フォトダイオード構造に入射する位置に依存して光(例えば、その強度)を一意的に減衰させる。少なくともいくつかの実装において、空間変動偏光子は、位置に依存して、入射する光の偏光を変更するように作用する。角度感知フォトダイオード構造は、変更された位置依存的偏光を強度に変換するように作用する均一な偏光子を含み得る。したがって、角度感知フォトダイオード構造は、強度と位置との間の関係を確立する。角度感知フォトダイオード構造は、フィルタリングされた光の強度を検出するよう構成されるフォトダイオードを含み得る。位置は、検出された強度に基づいて判定され得る。
図面において、同一の参照番号は、同様の要素または動作を識別する。図面内の要素のサイズおよび相対位置は、必ずしも縮尺通りに描かれているわけではない。例えば、様々な要素の形状および角度は、必ずしも縮尺通りに描かれておらず、これらの要素のうちのいくつかは、図面の読みやすさを向上させるために任意に拡大および配置され得る。さらに、要素の描かれている特定の形状は、特定の要素の実際の形状に関する何らかの情報を伝えることが必ずしも意図されているわけではなく、図面内での認識を容易にするために選択されているに過ぎない可能性がある。
トラッキングサブシステムの実施形態を含む、本開示において説明される少なくともいくつかの技法を実行するのに適した1または複数のシステムを含むネットワーク接続環境の概略図である。
説明される技法のうちの少なくともいくつかが、ビデオレンダリングコンピューティングシステムに繋げられるとともにユーザに仮想現実ディスプレイを提供する一例のヘッドマウントディスプレイデバイスとともに使用される、一例の環境を示す図である。
双眼ディスプレイサブシステムおよび複数の角度感知検出器を有するHMDデバイスの絵図である。 HMDデバイスと共に使用され得るコントローラの絵図である。
本開示の一例の実施形態によるHMDデバイスの概略的ブロック図である。
1つの非限定的な例示の実装に係る、HMDデバイスのトラッキングサブシステムを実装するために機械学習技法が使用され得る環境の概略図である。
本開示の一例の実施形態による、使用中にHMDシステムのコンポーネントの位置、向き、および/または移動をトラッキングするためにHMDシステムの位置トラッキングシステムを操作する方法のフロー図である。
本開示の実装の1または複数において使用され得る例示的な角度感知検出器の透視図を示す。
角度感知フォトダイオード構造の第1直線偏光子、空間変動偏光子、および第2直線偏光子、ならびに、それらを通過してフォトダイオードに到達する光または光点の偏光を示す。
角度感知フォトダイオード構造の第1直線偏光子、空間変動偏光子、および第2直線偏光子、ならびに、それらを通過してフォトダイオードに到達する光または光点の偏光を示す。
本開示の実装の1または複数において使用され得る例示的な角度感知検出器の上面図である。 図11Aに示される角度感知検出器の透視図である。
1つの非限定的に示される実装による、光源および角度感知検出器を使用してHMDシステムのコンポーネントの位置を判定することを示す簡略化された図である。
1つの非限定的に示される実装による、光源および角度感知検出器の例示的な光学システムを示す図である。
1つの非限定的に示される実装による、トラッキングシステムの一例の散乱光検出モジュールおよび光源の動作を示す図である。
1つの非限定的に示される実装による、トラッキングシステムの光源および散乱光検出モジュールのコンポーネントを示す図である。
散乱または反射された光を検出するように作用し、HMDデバイスまたはそのコンポーネントの位置トラッキング中にそのような散乱光を無視するために使用され得る、双眼ディスプレイサブシステム、複数の角度感知検出器、および複数の散乱光検出モジュールを有するHMDデバイスの絵図である。
1つの非限定的に示される実装による、トラッキングシステムの光源および散乱光検出モジュールのコンポーネントの透視図である。
以下の説明では、様々な開示される実装についての完全な理解を提供すべく、特定の具体的な詳細を記載する。しかしながら、当業者であれば、これらの具体的な詳細のうちの1または複数なしで、または他の方法、コンポーネント、材料等を用いて実装が実施され得ることを認識するであろう。他の事例では、実装の説明を不必要に不明瞭にすることを回避するために、コンピュータシステム、サーバコンピュータおよび/または通信ネットワークに関連する周知の構造については、詳細に図示または説明していない。
文脈上別段の解釈が必要でない限り、本明細書およびそれに続く特許請求の範囲の全体にわたって、「備える」という語は、「含む」と同義であり、包括的またはオープンエンドである(すなわち、追加の記載されていない要素または方法の動作を排除しない)。
本明細書の全体にわたって、「一実装」または「実装」への言及は、当該実装に関連して説明する特定の特徴、構造または特性が少なくとも1つの実装に含まれることを意味する。故に、本明細書の全体にわたって様々な箇所に「一実装において」または「実装において」という語句が現れた場合、必ずしも全てが同じ実装に言及しているわけではない。さらに、特定の特徴、構造または特性は、1または複数の実装において任意の適切な方式で組み合わされ得る。
本明細書および添付の特許請求の範囲において用いられる場合、文脈上別段の明確な記載がない限り、単数形は、「a」、「an」および「the」を形成し、複数形は、複数の指示対象を含む。文脈上別段の明確な記載がない限り、「または」という用語は概して、「および/または」を含む意味で使用されていることにも留意されたい。
本明細書において提供される見出しおよび要約書は、便宜のためのみのものであり、実装の範囲または意味を解釈するものではない。
本開示の1または複数の実装は、ヘッドマウントディスプレイ(HMD)システムのコンポーネント(例えば、HMD、コントローラ、周辺機器)の位置を正確にトラッキングするためのシステムおよび方法に関する。少なくともいくつかの実装において、HMDは、前方を向くカメラ(「前方カメラ」または「フロントカメラ」)および複数の角度感知検出器または光源を保持する支持構造を含む。同様に、1または複数のコントローラは、複数の角度感知検出器または光検出器を含み得る。他の実装において、HMDは前方カメラを含まない。前方カメラは、第1フレームレート(例えば、30Hz、90Hz)で、前方カメラの視野におけるイメージセンサデータをキャプチャし得る。
下で更に説明されるように、動作中に、1または複数の固定または移動可能の光源(例えば、IR LED)に光を放射させ得る。光源は、HMD、コントローラ、環境中に配置される固定オブジェクト(例えば基地局)などに結合され得る。複数の角度感知検出器の各々は、前方カメラ(存在する場合)の第1フレームレートより大きいことがあり得る第2フレームレート(例えば、1000Hz、2000Hz)で、複数の角度感知検出器それぞれの視野におけるセンサデータをキャプチャする。少なくともいくつかの実装において、角度感知検出器の視野は、前方カメラの視野より狭いことがあり得るが、これは必須ではない。例えば、前方カメラは、90°、120°、または150°の比較的広い前方カメラの視野を有し得、角度感知検出器の各々は、比較的狭いセンサICの視野(例えば、25°、45°、75°)を有し得る。少なくともいくつかの実装において、角度感知検出器の視野は、前方カメラの視野の少なくとも実質的な部分、または、前方カメラの視野より更に大きい部分をまとめてカバーし得、角度感知検出器の視野の各々は、前方カメラの視野の異なる部分と重複する。
動作中、複数の角度感知検出器に動作可能に結合された少なくとも1つのプロセッサは、複数の光源(例えば、LED、レーザ、他の光源)からの光をキャプチャするセンサデータを受信し得る。少なくとも1つのプロセッサは、受信されたイメージセンサデータを処理して、受信されたイメージセンサデータの処理に少なくとも部分的に基づいて、ヘッドマウントディスプレイのコンポーネントの位置をトラッキングし得る。例えば、少なくとも1つのプロセッサは、角度感知検出器からのセンサデータを融合して、環境に存在する1または複数の特徴をトラッキングし得る。少なくとも1つのプロセッサは、機械学習技法、ソルバ、または別の方法を利用してセンサデータを処理し、HMDシステムの1または複数のコンポーネントの位置(例えば、場所、向き、移動)を判定し得る。少なくともいくつかの実装において、センサデータは、HMDシステムコンポーネントの前方カメラまたは慣性測定ユニット(IMU)からのセンサデータなど、他のセンサからのセンサデータと融合され得る。少なくともいくつかの実装において、1または複数の散乱光検出モジュール、または「散乱光検出器」は、光が1または複数の角度感知検出器に到達する前にいつ散乱または反射されたかを検出するために使用され得、そのような光は、光が放射された光源の場所を角度が正確に示さないので、トラッキングシステムによって無視され得る。この技法を使用すると、位置トラッキングの正確度が大きく改善され得る。本開示の実装の様々な特徴は、図を参照して以下で詳細に述べられる。
図1は、ローカルメディアレンダリング(LMR)システム110(例えば、ゲーミングシステム)を備えるネットワーク接続環境100の概略図であり、LMRシステム110は、本明細書において説明される少なくともいくつかの技法を実行するのに適したローカルコンピューティングシステム120、ディスプレイデバイス180(例えば、2つ(各目に1つ)のディスプレイパネルを有するHMDデバイス)、および、1または複数のコントローラ182を備える。図1の図示された実施形態では、ローカルコンピューティングシステム120は、送信リンク115(図2において示されるような1または複数のケーブル(ケーブル220)を介して等で有線接続されるかまたは繋げられてもよいし、その代わりにワイヤレスであってもよい)を介してディスプレイデバイス180に通信可能に接続されている。コントローラ182は、好適な有線または無線リンク186および184を介して、それぞれローカルコンピューティングシステム120またはディスプレイデバイス180に結合され得る。他の実施形態では、ローカルコンピューティングシステム120は、HMDデバイス180に加えてであるかまたはその代わりにであるかを問わず、有線または無線リンクを介してパネルディスプレイデバイス(例えば、TV、コンソールまたはモニタ)に、表示のための符号化画像データを提供してよく、ディスプレイデバイスは各々、1または複数のアドレス指定可能ピクセルアレイを備える。様々な実施形態において、ローカルコンピューティングシステム120は、汎用コンピューティングシステム、ゲーミングコンソール、ビデオストリーム処理デバイス、モバイルコンピューティングデバイス(例えば、携帯電話、PDA、または他のモバイルデバイス)、VRもしくはAR処理デバイス、または他のコンピューティングシステムを含んでよい。
図示された実施形態では、ローカルコンピューティングシステム120は、1または複数のハードウェアプロセッサ(例えば、中央処理ユニット、または「CPU」)125と、メモリ130と、様々なI/O(「入力/出力」)ハードウェアコンポーネント127(例えば、キーボード、マウス、1または複数のゲーミングコントローラ、スピーカ、マイクロフォン、IR送信機および/または受信機等)と、1または複数の専用ハードウェアプロセッサ(例えば、グラフィックス処理ユニット、または「GPU」)144およびビデオメモリ(VRAM)148を含むビデオサブシステム140と、コンピュータ可読ストレージ150と、ネットワーク接続160とを含むコンポーネントを有する。また、図示された実施形態では、トラッキングサブシステム135の一実施形態は、説明される技法のうちの少なくともいくつかを実装する自動化動作を実行するためにCPU125および/またはGPU144を使用することによって等で、それらの説明される技法を実行するためにメモリ130において実行され、メモリ130は、任意選択で、(例えば、ゲームプログラム等の、表示されるビデオまたは他の画像を生成するための)1または複数の他のプログラム133を更に実行してよい。本明細書において説明される少なくともいくつかの技法を実装する自動化動作の一部として、メモリ130において実行されるトラッキングサブシステム135および/またはプログラム133は、例示のデータベースでは、ストレージ150のデータ構造を含む様々なタイプのデータを記憶または検索してよく、この例では、使用されるデータは、データベース(「DB」)154内の様々なタイプの画像データ情報、DB152内の様々なタイプのアプリケーションデータ、DB157内の様々なタイプの構成データを含んでよく、システムデータまたは他の情報等の追加の情報を含んでよい。
LMRシステム110は、図示された実施形態では、画像生成プログラム133に加えてであるかまたはその代わりにであるかを問わず、表示のためにLMRシステム110にコンテンツを更に提供し得る例示的なネットワークアクセス可能メディアコンテンツプロバイダ190にも、1または複数のコンピュータネットワーク101およびネットワークリンク102を介して通信可能に接続されている。簡潔性のために、ネットワークアクセス可能メディアコンテンツプロバイダについてのいくつかの詳細は示されていないが、メディアコンテンツプロバイダ190は、1または複数のハードウェアプロセッサ、I/Oコンポーネント、ローカルストレージデバイスおよびメモリを含む、ローカルコンピューティングシステム120のコンポーネントと同様のコンポーネントを各々有し得る1または複数のコンピューティングシステム(図示せず)を含んでよい。
図1の図示された実施形態ではディスプレイデバイス180はローカルコンピューティングシステム120とは区別され、別個であるものとして示されているが、特定の実施形態では、ローカルメディアレンダリングシステム110のいくつかまたは全てのコンポーネントは、モバイルゲーミングデバイス、ポータブルVRエンターテイメントシステム、HMDデバイス等のような単一のデバイス内に統合または収容されてよいことが理解されよう。そのような実施形態では、送信リンク115は、例えば、1または複数のシステムバスおよび/またはビデオバスアーキテクチャを含んでよい。
ローカルメディアレンダリングシステム120によってローカルに実行される動作を伴う1つの例として、ローカルコンピューティングシステムはゲーミングコンピューティングシステムであり、それにより、アプリケーションデータ152がメモリ130を使用してCPU125を介して実行される1または複数のゲーミングアプリケーションを含むこと、および、様々なビデオフレームディスプレイデータは、ビデオサブシステム140のGPU144と組み合わせて等で、画像生成プログラム133によって生成および/または処理されることを仮定する。高品質のゲーミング体験を提供するために、(ビデオフレームごとの高い画像解像度、およびおよそ60~180のそのようなビデオフレーム毎秒の高い「フレームレート」に対応する)高ボリュームのビデオフレームデータが、ローカルコンピューティングシステム120によって生成され、有線またはワイヤレス送信リンク115を介してディスプレイデバイス180に提供される。
コンピューティングシステム120およびディスプレイデバイス180は、単に例示であり、本開示の範囲を限定するように意図されていないことも理解されよう。その代わりに、コンピューティングシステム120は、複数のインタラクトするコンピューティングシステムまたはデバイスを含んでもよく、インターネット等の1または複数のネットワークを通したもの、ウェブを介したもの、またはプライベートネットワーク(例えば、モバイル通信ネットワーク等)を介したものを含む、示されていない他のデバイスに接続されてよい。より一般的には、コンピューティングシステムまたは他のコンピューティングノードは、インタラクトし、説明されるタイプの機能を実行し得るハードウェアまたはソフトウェアの任意の組み合わせを含んでよく、これは、限定するものではないが、デスクトップまたは他のコンピュータ、ゲームシステム、データベースサーバ、ネットワークストレージデバイスおよび他のネットワークデバイス、PDA、携帯電話、ワイヤレス電話、ページャ、電子手帳、インターネット機器、(例えば、セットトップボックスおよび/またはパーソナル/デジタルビデオレコーダを使用する)テレビベースシステム、並びに適切な通信能力を含む様々な他の民生品を含む。ディスプレイデバイス180は、同様に、様々なタイプおよび形態の1または複数のディスプレイパネルを有する1または複数のデバイスを含んでよく、任意選択で、様々な他のハードウェアおよび/またはソフトウェアコンポーネントを含んでよい。
加えて、トラッキングサブシステム135によって提供される機能は、いくつかの実施形態では1または複数のコンポーネント(例えば、ローカルおよびリモート演算処理システム、HMD、コントローラ、基地局)に分散されてよく、いくつかの実施形態では、トラッキングサブシステム135の機能のうちのいくつかは提供されなくてもよく、および/または他の追加の機能が利用可能であってよい。様々なアイテムが、使用されている間メモリ内またはストレージ上に記憶されているものとして示されているが、メモリ管理またはデータインテグリティのために、これらのアイテムまたはそれらの一部はメモリと他のストレージデバイスとの間で転送されてよいことも理解されよう。それゆえ、いくつかの実施形態では、説明される技法のうちのいくつかまたは全ては、(例えば、1または複数のソフトウェアプログラムのソフトウェア命令の実行によって、および/またはそのようなソフトウェア命令および/またはデータ構造の記憶によって)1または複数のソフトウェアプログラムによって(例えば、トラッキングサブシステム135またはそのコンポーネントによって)および/またはデータ構造によって構成される場合等で、1または複数のプロセッサまたは他の構成されたハードウェア回路またはメモリまたはストレージを含むハードウェアによって実行されてよい。コンポーネント、システムおよびデータ構造のうちのいくつかまたは全ては、ハードディスクもしくはフラッシュドライブもしくは他の不揮発性ストレージデバイス、揮発性もしくは不揮発性メモリ(例えば、RAM)、ネットワークストレージデバイス、または適切なドライブ(例えば、DVDディスク、CDディスク、光学ディスク等)によってもしくは適切な接続を介して読み取られるポータブル媒体製品等の非一時的コンピュータ可読記憶媒体上に(例えば、ソフトウェア命令または構造化データとして)記憶されてもよい。システム、コンポーネントおよびデータ構造は、いくつかの実施形態では、無線ベース媒体および有線/ケーブルベースの媒体を含む様々なコンピュータ可読送信媒体上の生成されたデータ信号として(例えば、搬送波または他のアナログもしくはデジタル伝搬信号の一部として)送信されてもよく、様々な形態を(例えば、単一のもしくは多重化アナログ信号の一部として、または複数の離散デジタルパケットもしくはフレームとして)取ってよい。そのようなコンピュータプログラム製品は、他の実施形態では他の形態を取ってもよい。したがって、本発明は、他のコンピュータシステム構成とともに実践されてよい。
図2は、説明される技法のうちの少なくともいくつかが、人間のユーザ206に仮想現実ディスプレイを提供するために、繋げられた接続220(または他の実施形態では無線接続)を介してビデオレンダリングコンピューティングシステム204に結合される例示のHMDデバイス202とともに使用される一例の環境200を示している。ユーザは、HMDデバイス202を装着し、コンピューティングシステム204からHMDデバイスを介して、実際の物理的環境とは異なる模擬環境の表示情報を受信し、コンピューティングシステムは、ゲームプログラムおよび/またはコンピューティングシステム上で実行される他のソフトウェアプログラムによって生成される画像等の、模擬環境の画像を、ユーザへの表示のためにHMDデバイスに供給する画像レンダリングシステムとして機能する。ユーザは、この例では実際の物理的環境200のトラッキング対象体積201内で動き回ることが更に可能であり、ユーザが模擬環境と更にインタラクトすることを可能にする1または複数のI/O(「入力/出力」)デバイスを更に有してよく、これは、この例ではハンドヘルドコントローラ208および210を含む。
図示された例では、環境200は、HMDデバイス202またはコントローラ208および210のトラッキングを容易にし得る1または複数の基地局214(2つが示されており、ラベル付けされた基地局214aおよび214b)を含んでよい。ユーザが場所を移動するかまたはHMDデバイス202の向きを変更するにつれて、HMDデバイスの位置がトラッキングされ、例えば、模擬環境の対応する部分をHMDデバイス上でユーザに表示することが可能になり、コントローラ208および210は、コントローラの位置をトラッキングする際に使用するために(および、任意選択で、HMDデバイスの位置を決定または検証するのを支援するためにその情報を使用するために)同様の技法を更に利用してよい。HMDデバイス202のトラッキング位置が知られた後、対応する情報がテザー220を介してまたはワイヤレスにコンピューティングシステム204に送信され、これは、トラッキング位置情報を使用して、ユーザに表示するための模擬環境の1または複数の次の画像を生成する。
本明細書に記載される光学トラッキングは、限定するものではないが、とりわけ音響トラッキング、慣性トラッキング、または磁気トラッキングを含む、位置トラッキングの様々な方法と組み合わせて使用され得る。
少なくともいくつかの実装において、HMDデバイス202およびコントローラ208および210の少なくとも1つは、本開示のトラッキング機能または他の態様を実装するために使用され得る1または複数の受光器またはセンサを含み得る。少なくともいくつかの実装において、HMDデバイス202、コントローラ208および210、または他のコンポーネントの少なくとも1つは、受光器の1または複数によって検出された光を放射し得る1または複数の光源(例えばLED)を含み得る。光源は、固定位置にあり得るか、または、HMDデバイスまたはコントローラなど、可動のコンポーネント上にあり得る。
少なくともいくつかの実装において、固定点光源の生成に加えて、または、それに代えて、基地局214は各々、トラッキング対象体積201にわたって光学信号で照らし得る。各特定の実装の要件に応じて、各基地局214は、1つよりも多い光学信号を生成してよい。 例えば、6自由度のトラッキングのために単一の基地局214で典型的には十分であるが、いくつかの実施形態ではHMDデバイスおよび周辺機器についてのロバストな室内規模のトラッキングを提供するために複数の基地局(例えば、基地局214a、214b)が必要であるかまたは所望される場合がある。この例では、角度感知検出器または散乱光検出器などの受光器は、HMDデバイス202および/または他のトラッキング対象オブジェクト、例えばコントローラ208および210に組み込まれる。少なくともいくつかの実装では、受光器は、低レイテンシセンサ融合をサポートするために、各トラッキング対象デバイス上で加速度計およびジャイロスコープ慣性測定ユニット(「IMU」)と対にされてよい。
少なくともいくつかの実装では、各基地局214は、互いに直交する軸上でトラッキング対象体積201にわたって直線ビームを走査する2つのロータを備える。各走査サイクルの開始時、基地局214は、トラッキング対象オブジェクトに対して、全てのセンサにとって可視である無指向性光パルス(「同期信号」と称される)を放射してよい。それゆえ、各センサは、同期信号とビーム信号との間の継続時間を計時することによって走査体積における一意の角度位置を計算する。センサの距離および向きは、単一の剛体に固定された複数のセンサを使用して求められてよい。
トラッキングされたオブジェクト(例えば、HMDデバイス202、コントローラ208および210)上に位置決めされた1または複数のセンサは、ロータから被変調光を検出することが可能である光電子デバイスを含んでよい。可視光または近赤外(NIR)光の場合、シリコンフォトダイオードおよび適した増幅器/検出器回路が使用されてよい。環境200は基地局214信号の信号と同様の波長を有する静止信号および時変信号(光雑音)を含み得るので、少なくともいくつかの実装では、基地局光は、いずれの干渉信号からも区別すること、および/または基地局信号の波長以外の放射のいずれの波長からもセンサをフィルタリングすることを容易にするように変調されてよい。下で更に説明されるように、角度感知検出器の少なくともいくつかの実装が、HMDシステムの1または複数のコンポーネントをトラッキングするために使用され、1または複数の散乱光検出器が、光検出器によって検出される前に散乱または反射され得る光を無視するために使用され得る。
インサイドアウトトラッキング(inside-out tracking)も、HMDデバイス202および/または他のオブジェクト(例えば、コントローラ208および210、タブレットコンピュータ、スマートフォン)の位置をトラッキングするのに使用され得る一タイプの位置トラッキングである。インサイドアウトトラッキングは、HMDコンポーネントの場所を決定するのに使用されるカメラまたは他のセンサの位置によってアウトサイドイントラッキング(outside-in tracking)とは異なる。インサイドアウトトラッキングの場合、カメラまたはセンサはHMDコンポーネント、またはトラッキングされるオブジェクト上に位置し、その一方、アウトサイドアウトトラッキング(outside-out tracking)において、カメラまたはセンサは環境内の静止位置に置かれる。
インサイドアウトトラッキングを利用するHMDは、その位置が環境に対してどのように変化するのかを決定するように「外を見る(look out)」ために1または複数のセンサを利用する。HMDが動くとき、センサは、部屋内の自身の場所を再調整し、仮想環境は、これに応じてリアルタイムにおいて応答する。このタイプの位置トラッキングは、環境内に配置されたマーカを用いてまたはこれらを用いずに達成することができる。HMD上に配置されるカメラは、周囲環境の特徴を観察する。マーカを使用する場合、マーカは、トラッキングシステムによって容易に検出されるように設計され、特定のエリア内に配置される。「マーカなし」インサイドアウトトラッキングを用いる場合、HMDシステムは、環境内に元々存在する際立った特徴(例えば、自然の特徴)を使用して、位置および向きを決定する。HMDシステムのアルゴリズムは、特定の画像または形状を識別し、それらを使用して、空間におけるデバイスの位置を計算する。加速度計およびジャイロスコープからのデータは、位置トラッキングの精度を上げるためにも用いられ得る。
図3は、ユーザ342の頭部上に装着されたときの例示のHMDデバイス344の前面図を示す情報300を示している。HMDデバイス344は、1または複数のタイプの前面または前方カメラ346および複数の角度感知検出器348a-348f(総称して348)をサポートする前面構造343を備える。1つの例として、1または複数の外部デバイス(図示せず、例えば、図2の基地局214、コントローラ)から放射された光情報を検出および使用する光センサ等の、角度感知検出器348のうちのいくつかまたは全ては、空間におけるデバイス344の場所および向きを決定するのを支援してよい。角度感知検出器348は、光源から放射された光の到着角度を検出するように作用する任意のタイプの検出器であり得る。角度感知検出器の非限定的な例は、フォトダイオード検出器(例えば、バイセル検出器、クアドランドセル検出器)、抵抗性シートを使用する位置感知検出器などを含む。
示されているように、前方カメラ346および角度感知検出器348は、ユーザ342がHMDデバイス344を操作する実際のシーンまたは環境(図示せず)に向けて前方に向けられる。より一般には、角度感知検出器348は、他のエリア(例えば、上、下、左、右、後ろ)に向けられ、(例えばユーザ342によって保持される)コントローラ、または、様々な場所(例えば、壁、天井)に搭載されたオブジェクトなど様々なソースからの光を検出し得る。実際の物理的環境は、例えば、1または複数のオブジェクト(例えば、壁、天井、家具、階段、車、木、トラッキングマーカ、光源、または任意の他のタイプのオブジェクト)を含んでよい。センサ348の特定の数は、図示されているセンサの数よりも少ない(例えば、2、4)または多い(例えば、10、20、30、40)ものであってよい。HMDデバイス344は、(例えば、加速度計およびジャイロスコープ、並びに任意選択で磁力計の組み合わせを使用して)HMDデバイス344の特定の力、角速度、および/またはHMDデバイスを囲む磁界を測定および報告するIMU(慣性測定ユニット)347電子デバイス等の、前面構造に取り付けられていない(例えば、HMDデバイスの内部にある)1または複数の追加コンポーネントを更に備えてよい。HMDデバイス344は、1または複数のディスプレイパネルおよび光学レンズ系を含む、示されていない追加コンポーネントを更に備えてよく、1または複数のディスプレイパネルおよび光学レンズ系は、ユーザの目(図示せず)に向けられ、任意選択でHMDデバイス内の光学レンズ系および/またはディスプレイパネルのうちの1または複数の位置合わせまたは他の位置決めを変更するための1または複数の取り付けられた内部モータを有する。
HMDデバイス344の図示された例は、HMDデバイス344のハウジングに取り付けられ、ユーザの頭部の周囲に全体的または部分的に延びる1または複数のストラップ345に少なくとも部分的に基づいて、ユーザ342の頭部上で支持される。ここでは示されていないが、HMDデバイス344は、ストラップ345のうちの1または複数に取り付けられるもの等の1または複数の外部モータを更に有してよく、自動化補正動作は、ユーザの頭部上でのHMDデバイスの位置合わせまたは他の位置決めを修正するためにそのようなストラップを調整するのにそのようなモータを使用することを含んでよい。HMDデバイスは、図示されたストラップに加えてであるかまたはこれらの代わりにであるかを問わず、ここでは示されていない他の支持構造(例えば、ノーズピース、あご紐等)を備えてよいこと、および、いくつかの実施形態は、ユーザの頭部上でのHMDデバイスの位置合わせまたは他の位置決めを修正するために自身の形状および/または場所を同様に調整するように、1または複数のそのような他の支持構造に取り付けられたモータを備えてよいことが理解されよう。ユーザの頭部に固定されていない他のディスプレイデバイスは、ディスプレイデバイスの位置決めに影響を与える1または複数の構造に同様に取り付けられるかまたはその一部であってよく、少なくともいくつかの実施形態では、ディスプレイデバイスの1人または複数人のユーザの1または複数の瞳孔に対するディスプレイデバイスの位置合わせまたは他の位置決めを修正するために自身の形状および/または場所を同様に修正するモータまたは他の機械的アクチュエータを備えてよい。
図4は、ハンドコントローラ400の一例をより詳細に示す。実際には、HMDシステムは、上で説明されたコントローラ182、208および210と同様または同一であり得る、図4のハンドコントローラ400と同様または同一の2つのハンドコントローラを含み得る。示されるように、コントローラ400は、角度感知検出器402が位置決めされる様々な表面を有する。角度感知検出器402は、様々な異なる方向からの光学信号を受信するように配置される。コントローラ400は、ボタン、センサ、光コントロール、ノブ、インジケータ、ディスプレイなどを有し得、様々な方式のユーザによるインタラクションを可能にする。更に、上で説明されたように、少なくともいくつかの実装において、コントローラ400およびHMDデバイス344の一方は、複数の光源を含み得、コントローラおよびHMDデバイスの他方は、複数の角度感知検出器、または、他のタイプの検出器もしくはセンサを含み得る。本明細書において記載される技法は、様々なタイプの位置トラッキングに使用され得、HMD、コントローラなどに限定されない。
図5は、本開示の1または複数の実装によるHMDデバイス500の概略ブロック図を示す。HMDデバイス500は、本明細書の別の箇所で説明されたHMDデバイスと同様または同一であり得る。故に、HMDデバイスに関する上の説明はHMDデバイス500にも適用し得る。更に、HMDデバイス500のコンポーネントの少なくともいくつかは、コントローラ、基地局などのHMDシステムの他のコンポーネントに存在し得る。故に、下の説明の少なくともいくつかは、そのような他のコンポーネントに適用可能であり得る。
HMDデバイス500は、プロセッサ502、前面または前方カメラ504、複数の角度感知検出器506(例えば、クアッドセルフォトダイオード、位置感知検出器)を含み、任意選択で、IMU507または複数の光源509を含む。いくつかの実装において、HMDデバイス500は、角度感知検出器または光源の一方を含み得、他のコンポーネント(例えば、コントローラ、基地局)は、角度感知検出器または光源の他方を含み得る。下で説明されたように、少なくともいくつかの実装において、HMDデバイス500は、1または複数の散乱光検出モジュールまたは散乱光検出器を含み得る。これは、角度感知検出器のうち1または複数によって受信された光が散乱または反射されたかどうかを検出するために使用され得、したがって、無視されるべきである。HMDデバイス500は、ディスプレイサブシステム508(例えば、2つのディスプレイおよび対応する光学システム)を含み得る。HMDデバイス500はまた、位置トラッキング512のための命令またはデータ、ディスプレイ機能514(例えばゲーム)のための命令またはデータ、および/または、他のプログラム516を記憶し得る非一時的データストレージ510を含み得る。HMDシステム500は、図1に示され上で説明されるローカルコンピューティングシステム120またはメディアコンテンツプロバイダ190の機能のいくつかを含み得、または、可能にし得る。
HMDデバイス500はまた、1または複数のユーザインタフェース(例えば、ボタン、タッチパッド、スピーカ、1または複数の有線または無線通信インタフェースなど)を含み得る様々なI/Oコンポーネント518を含み得る。一例として、I/Oコンポーネント518は、HMDデバイス500が有線または無線通信リンク522を介して外部デバイス520と通信することを可能にする通信インタフェースを含み得る。非限定的な例として、外部デバイス520は、ホストコンピュータ、サーバ、モバイルデバイス(例えば、スマートフォン、ウェアラブルコンピュータ)、コントローラなどを含み得る。HMDデバイス500の様々なコンポーネントは、単一のハウジングに収容され得、別個のハウジング(例えばホストコンピュータ)に収容され得、または、その任意の組み合わせであり得る。
示されたコンピューティングシステムおよびデバイスは単に例示的なものであり、本開示の範囲を制限することを意図されていないことが理解されるであろう。例えば、HMD500および/または外部デバイス520は、インターネットのような1または複数のネットワークを通して、またはウェブを介してなど、図示されていない他のデバイスに接続されてよい。より一般的には、このようなコンピューティングシステムまたはデバイスは、デスクトップコンピュータ、ラップトップコンピュータ、スレートコンピュータ、タブレットコンピュータ、または、他のコンピュータ、スマートフォンコンピューティングデバイス、および、他の携帯電話、インターネット機器、PDA、および、他の電子手帳、データベースサーバ、ネットワークストレージデバイス、および、他のネットワークデバイス、ワイヤレス電話、ページャ、テレビベースシステム(例えば、セットトップボックス、および/または、パーソナル/デジタルビデオレコーダ、および/または、ゲームコンソール、および/または、メディアサーバの使用)、および、適切な相互通信機能を含む他の様々なコンシューマ製品を含むがこれらに限定されない適切なソフトウェアでプログラムされたまたはそうでなければ構成された場合など、記載されたタイプの機能とインタラクトして実行できるハードウェアの任意の組み合わせを備えてよい。例えば、例示のシステム500および520は、特定のコンピューティングシステムまたはデバイスによりロードおよび/または実行されると、それらシステムまたはデバイスのプロセッサを構成するように、それらシステムまたはデバイスをプログラムまたはそうでなければ構成するために使用され得る、少なくともいくつかの実施形態における実行可能ソフトウェア命令および/またはデータ構造を含んでよい。代替的に、他の実施形態においては、ソフトウェアシステムのいくつかまたは全ては、他のデバイス上のメモリで実行され、コンピュータ間通信を介して、図示されたコンピューティングシステム/デバイスと通信してよい。さらに、様々なアイテムが様々な時間(例えば使用中)にメモリまたはストレージに格納されるように示されているが、これらアイテムまたはそれらの一部は、メモリ管理および/またはデータインテグリティの目的で、メモリとストレージ間および/またはストレージデバイス間(例えば、異なる場所の)で転送されることができる。
したがって、少なくともいくつかの実施形態において、例示のシステムは、プロセッサおよび/または他のプロセッサ手段により実行されると、システムのための記載された動作を自動的に実行するようにプロセッサをプログラムするソフトウェア命令を含むソフトウェアベースシステムである。さらに、いくつかの実施形態において、システムのいくつかまたは全ては、1または複数の特定用途向け集積回路(ASIC)、標準的な集積回路、コントローラ(例えば、適切な命令を実行し、マイクロコントローラおよび/または組み込まれたコントローラを含むことによって)、フィールドプログラマブルゲートアレイ(FPGA)、コンプレックスプログラマブルロジックデバイス(CPLD)等を含むがこれらに限定されない少なくとも部分的にファームウェアおよび/またはハードウェア手段のような、他の方式で実装または提供されてよい。システムまたはデータ構造のいくつかまたは全てはまた、ハードディスクまたはフラッシュドライブまたは他の不揮発性ストレージデバイス、揮発性または不揮発性メモリ(例えば、RAM)、ネットワークストレージデバイス、または適切なドライブによりまたは適切な接続を介して読み取られるポータブル媒体製品(例えば、DVDディスク、CDディスク、光学ディスク、フラッシュメモリデバイス等)のような非一時的コンピュータ可読記憶媒体に(例えば、ソフトウェア命令コンテンツまたは構造化データコンテンツとして)格納されてよい。システム、モジュール、および、データ構造はまた、いくつかの実施形態において、無線ベースおよび有線/ケーブルベースの媒体を含み、様々な形式(例えば、単一のまたは多重化されたアナログ信号または複数の個別のデジタルパケットまたはフレームの一部として)をとることができる様々なコンピュータ可読送信媒体上で、生成されたデータ信号として(例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として)送信されてよい。そのようなコンピュータプログラム製品は、他の実施形態では他の形態を取ってもよい。したがって、本開示は、他のコンピュータシステム構成で実施されてよい。
図6は、1つの非限定的に示された実装による、本明細書で説明されたトラッキングサブシステムなど、HMDデバイス、1または複数のコントローラ、または他のコンポーネントをトラッキングするためのトラッキングサブシステムを実装するために機械学習技法が使用され得る環境600の概略図である。環境600は、モデルトレーニング部601および推論部603を備える。トレーニング部601では、トレーニングデータ602が機械学習アルゴリズム604にフィードされて、トレーニングされた機械学習モデル606が生成される。トレーニングデータは、例えば、1または複数の光源(例えば、LED)に対する特定のオブジェクトの位置および/または向きを指定する、角度感知検出器からのラベル付けされたデータ、ラベル付きされた、または、ラベル付けされていない散乱光検出器データ(下で説明される)、または他のタイプのデータを含み得る。非限定的な例として、30の角度感知検出器を有するコンポーネント(例えば、HMD、コントローラ)を含む一実施形態において、各トレーニングサンプルは、角度感知検出器の各々またはサブセットからの出力、コンポーネントの既知または推論された位置または向き、および、1または複数の光源の位置または方向についての情報を含み得る。下で説明されるように、各角度感知検出器は、単一のデータ点(例えば角度)を出力し得るか、または、角度感知検出器の特定の能動素子(例えば、サブ検出器またはセル、抵抗性シートなど)で受信された光のパワーまたは強度を各々示す2または4つの信号など複数のデータ点を出力し得る。データはまた、下で説明される散乱光検出器など、1または複数の散乱光検出器からのデータを含み得る。そのようなデータは、偏光情報(例えば、偏光のタイプまたは程度)、検出された光が散乱されたかどうかに関する情報、または他のタイプのデータを含み得る。
トレーニングデータ602は、HMDシステムの複数のユーザからおよび/または単一のユーザから得られてよい。トレーニングデータ602は、制御された環境内で、および/またはユーザによる実際の使用中(「フィールドトレーニング」)に、得られてよい。さらに、少なくともいくつかの実装では、モデル606は、正確な位置トラッキング予測を提供するために時折(例えば、周期的に、連続的に、特定のイベント後に)更新または較正されてよい。
推論部603では、ランタイムデータ608が、トレーニングされた機械学習モデル606への入力として提供され、トレーニングされた機械学習モデル606は、位置トラッキング予測610を生成する。上の例に続いて、角度感知検出器の出力データ(例えば、強度データ、角度データ)、任意選択で、1または複数の光源についての情報、および任意選択で、1または複数の散乱光検出器からの情報は、データを処理してコンポーネントの位置を予測し得る、トレーニングされた機械学習モデル606に入力として提供され得る。トラッキング予測610は次に、HMDデバイスに関連付けられた1または複数のコンポーネント、例えば、1または複数のVRまたはARアプリケーション、1または複数のディスプレイまたはレンダリングモジュール、1または複数の機械的コントロール、1または複数の追加的な位置トラッキングサブシステムなどに提供され得る。
本明細書において論述される特徴を実装するために利用される機械学習技法は、任意のタイプの適した構造または技法を含んでよい。非限定的な例として、機械学習モデル606は、決定木、統計的階層モデル(statistical hierarchical model)、サポートベクタマシン、人工ニューラルネットワーク(ANN)、例えば畳み込みニューラルネットワーク(CNN)もしくは再帰型ニューラルネットワーク(RNN)(例えば、長短期記憶(LSTM)ネットワーク)、混合密度ネットワーク(MDN:mixture density network)、隠れマルコフモデルのうちの1または複数を含んでもよいし、他のものも使用することができる。RNNを利用する実装等の少なくともいくつかの実装では、機械学習モデル606は、1または複数のHMDコンポーネントの位置を予測するために過去の入力(メモリ、フィードバック)情報を利用してよい。そのような実装は、有利には、運動情報または以前の位置予測を決定するためにシーケンシャルデータを利用してよく、これにより、より正確なリアルタイム位置予測が提供され得る。
図7は、使用中にHMDコンポーネントの位置をトラッキングするためにHMDシステムを操作する一例の方法700のフロー図である。方法700は、例えば、図5に示されるHMDシステム500の位置トラッキングシステムまたはモジュール512によって実行され得る。上で説明されたように、方法700は、HMDデバイス、1または複数のコントローラなどの任意のコンポーネントの位置をトラッキングするために使用され得る。
方法700の示される実装は、動作702で開始し、ここで、複数の角度感知検出器を有する第1HMDシステムコンポーネントが提供される。複数の角度感知検出器は、固定的に位置決めされ得る(例えば、壁または天井に搭載される)、または、可動的であり得る(例えば、HMDまたはコントローラに結合される)1または複数の光源から放射される光を検出するように作用し得る。動作中に、複数の角度感知検出器の各々は、あるフレームレートで、複数の角度感知検出器のそれぞれの視野におけるセンサデータをキャプチャする。センサデータは、角度感知検出器に対する光源の存在および方向を検出するためにプロセッサによって利用可能なデータの任意のタイプを含み得る。少なくともいくつかの実装において、角度感知検出器の各々は、画像検知回路および画像処理回路を有する1または複数のセンサ(例えばフォトダイオード)を含み得る。角度感知検出器は、比較的未加工のデータ(例えば、光強度またはパワーデータ)または処理されたデータ(例えば、入射角データ)を出力し得る。
704において、複数の光源(例えば、近IR LED)を含む第2HMDシステムコンポーネントが提供され得る。第2HMDシステムコンポーネントは、例えば固定された場所(例えば、天井、壁)に位置決めされたコントローラ、HMDデバイス、または光源を含み得る。
706において、HMDシステムの少なくとも1つのプロセッサは、光源に光を放射させ得る。光源は、角度感知検出器の各々が単一の光源からの光を同時に検出し得る方式で、またはより一般に、角度感知検出器によって検出された光が受信されどの光源から照射されたかをシステムが判定することが可能であり得る方式で照射され得る。これは、時間多重化、波長多重化、周波数多重化、偏光多重化、または、使用中に角度感知検出器の各々から受信された光の光源をシステムが知ることを可能にする他の技法など、任意の好適なタイプの多重化を使用して、光源の照射を多重化することによって達成され得る。
時間多重化の一例として、少なくとも1つのプロセッサは、光源のサブセット(例えば、1、2、4)のみを同時に照射し得る。例えば、少なくとも1つのプロセッサは、同時に1つのサブセットで、光源を順次照射し、光源の各々に応答してセンサデータを収集し得る。
波長多重化の一例として、光源の異なるサブセットは、異なる波長の光を放射し得、角度感知検出器の異なるサブセットは、異なる波長の光を検知するように作用し得る。故に、異なる波長を有する光源は、同時に照射され、対応する波長感知検出器によって検出され得る。
周波数多重化の一例として、光の特定の光源を識別するために角度感知検出器によって検出可能である判定されたパターンまたは周波数で、光源のサブセットが照射され得る。
偏光多重化の一例として、光源のサブセットが、異なるように(例えば、直線、円)偏光され得、角度感知検出器の対応するサブセットが、複数の光源が同時に照射されることを可能にする特定の偏光された光を(例えば、対応する偏光を有する光を通過させる偏光子を使用して)検出するよう構成され得る。
708において、HMDシステムに関連付けられた少なくとも1つのプロセッサは、複数の角度感知検出器からセンサデータを受信し得る。上に記載されたように、各角度感知検出器について、センサデータは、既知の光源から放射された光の到着角度を示し得る。710において、HMDシステムに関連付けられた少なくとも1つのプロセッサは任意選択で、慣性トラッキング機能、または、1または複数の追加のセンサからのセンサデータを提供するように作用する慣性測定ユニット(IMU)からセンサデータを受信し得る。
712において、HMDシステムに関連付けられた少なくとも1つのプロセッサは、受信したセンサデータを処理してよい。例えば、少なくとも1つのプロセッサは、センサデータのいくつかまたは全てをともに結合して、HMDシステムが動作する環境に存在する1または複数の特徴をトラッキングしてよい。センサデータは、複数の角度感知検出器からのセンサデータ、任意選択で、IMUまたはカメラからのセンサデータを含み得る。少なくとも1つのプロセッサは、例えば、機械学習モデル(例えば、モデル606)、または別のソルバを使用してセンサデータを処理し得る。下で更に説明されるように、少なくとも1つのプロセッサの少なくともいくつかの実装は、散乱または反射された受信済みの光を有する可能性が高いと判定された、1または複数のセンサからのデータを無視し得る。
714において、HMDシステムに関連付けられた少なくとも1つのプロセッサは、環境においてユーザによってHMDシステムが使用されている間にリアルタイムで、HMDシステムのコンポーネントの位置(例えば、場所、向き、または移動)をトラッキングし得る。HMDの動作中、方法700は引き続き、上で説明されたように、HMDシステムのコンポーネントの位置を連続的にトラッキングし得る。
図8は、本開示の実装の1または複数において使用され得る例示的な角度感知検出器800の透視図を示す。この例において、角度感知検出器800は、角度感知フォトダイオード構造804を含む。角度感知フォトダイオード構造804は、フォトダイオード806、第2直線偏光子808、空間変動偏光子810、および第1直線偏光子812を含む。フォトダイオード806は、光を受信し、光に関連付けられた強度を判定し、強度を表す信号(またはデータ)を出力する任意のデバイスであり得る。第1および第2直線偏光子812、808は各々、光が入射する任意のタイプの光フィルタであり得る。第1および第2直線偏光子812、808は、入射光の(例えば、鉛直に偏光された、または水平に偏光された)直線偏光成分を出力し、入射光の他のコンポーネントをフィルタリングして除外(例えば、反射、または、拒絶、吸収)し得る。
少なくともいくつかの実装において、空間変動偏光子810は、マルチツイスト位相差板(MTR)から形成され得る。これは、単一の薄膜において、広帯域、狭帯域、または、複数帯域の位相差の精密でカスタマイズされたレベルを提供する、波長板のような位相差フィルムである。より具体的には、MTRは、単一の配向層と共に、単一の基板上に2以上のねじれた液晶(LC)層を含む。後のLC層は、前の層によって直接的に整列され、単純な製造を可能にし、自動的な層間位置合わせを達成し、連続的に変動する光学軸を有するモノリシックのフィルムを生じさせる。
空間変動偏光子810は、複屈折材料から形成される位相差板を含み得る。複屈折は、光の偏光および伝播方向に依存する屈折率を有する材料の特性である。位相差板は、位相差板を通って進む光の偏光状態または位相を変更する。位相差板は、遅相軸(または特別な軸)および進相軸(通常の軸)を有し得る。偏光された光が位相差板を通って進むとき、進相軸に沿った光は、遅相軸に沿った光より速く進む。
図8に示されるように、第2直線偏光子808、空間変動偏光子810、および第1直線偏光子812は、フォトダイオード806上に積み重ねられ、フォトダイオード806上で連続的に層を形成し得る。本明細書では、偏光子812、808は直線偏光子として記載されているが、様々な実施形態において、偏光子812、808は、非直線偏光子であり得る、例えば、楕円または円偏光子であり得ることに留意されたい。偏光子812、808は同一の光フィルタリング特性を有し得、特定の偏光を有する光を同様にまたは同一に拒絶し得る、または通過させ得る。この簡略化された例において、角度感知検出器800は、光源820からの光818が通過することを可能にする開口816を有するカバー814を含む。示されるように、開口816を通過する光818は、光818の角度、したがって、角度感知検出器800に対する光源820の角度を判定するように電気的に特徴づけられ得る光点822を形成する。下で説明されるように、本開示のシステムおよび方法は、複数の光源および角度感知検出器を利用して、HMDシステムのコンポーネントの位置を判定し得る。
図9は、角度感知フォトダイオード構造804の第1直線偏光子812、空間変動偏光子810、および、第2直線偏光子808、ならびに、それらを通過してフォトダイオード806に到達する光818または光点822の偏光を示す。最初、光818は第1直線偏光子812に入射する。光818は任意の偏光を有し得、したがって、少なくともいくつかの実装において、無偏光であると言われ得る。少なくともいくつかの実装において、光は直線偏光され、円偏光され、または概して楕円偏光され得る。
第1直線偏光子812は、光818の直線偏光成分824を通過させ、光818の残りの偏光成分を拒絶(吸収または反射)する。第1直線偏光子812が鉛直偏光フィルタとして示されるが、様々な実施形態において、第1直線偏光子812は、とりわけ水平偏光フィルタまたは円偏光フィルタであり得る。
直線偏光成分824は次に、第1直線偏光子812の下に位置決めされた空間変動偏光子810に入射する。空間変動偏光子810は、直線偏光成分824(または任意の入射光)が入射する空間変動偏光子810上の位置にしたがって変動する光偏光特性を有するように調整される。図9に示される例において、空間変動偏光子810は、入射する直線偏光成分824を変更する。
空間変動偏光子810が、入射する直線偏光成分824を変更する方式は、入射する直線偏光成分824が空間変動偏光子810に入射する位置にしたがって変動する。位置は、光818が角度感知フォトダイオード構造804に入射する位置と実質的に同一であり得る。
この図の例において、空間変動偏光子810の第1端826(右上に示される)において、空間変動偏光子810は、入射する直線偏光成分824を鉛直偏光光信号として保持する。空間変動偏光子810は、鉛直偏光を通過させ、他の偏光成分をブロックする。第1端826に入射する直線偏光成分824は、そのまま通過する。
空間変動偏光子810の偏光フィルタリング特性は、非限定的な例として、第1端までの距離の関数として徐々に変化し得る。空間変動偏光子810の第2端828(左下に示される)において、空間変動偏光子810は、鉛直偏光された入射した直線偏光成分824を水平偏光光信号にほぼ変換する。特に、第2端828において、空間変動偏光子810は175°の直線偏光の向きを有する。したがって、第2端828において、空間変動偏光子810は、鉛直偏光成分より大きい水平偏光成分を有する光を出力する。逆に、空間変動偏光子810の中心近くにおいて、空間変動偏光子810は、約135°の直線偏光の向きを有し、したがって、空間変動偏光子810は、入射する直線偏光成分824の偏光(鉛直偏光を有する)を約45°の角度だけ水平偏光に向かって回転させる。その中心近くで空間変動偏光子810を出る光は、水平偏光成分と同一の大きさを有する鉛直偏光成分を有する。
空間変動偏光子810の空間的に変動する特性は、直線偏光成分824が入射する位置または可能な位置を識別することを可能にする。空間変動偏光子810は、図9に示されるように、フィルタリングされた光830を通過させる。水平または鉛直偏光のいずれかにおける、フィルタリングされた光830の強度は、直線偏光成分824が空間変動偏光子810に入射した位置または可能な位置を表す。直線偏光成分824が第1端826に入射するとき、フィルタリングされた光830は、最高の鉛直偏光の大きさを有する。鉛直偏光の大きさは、第1端826からの距離に反比例し得る。
フィルタリングされた光830は次に、フィルタリングされた光830の任意の水平成分を除去して鉛直光成分を通過させるように動作する第2直線偏光子808に入射する。第2直線偏光子808は、フィルタリングされた直線偏光成分832を通過させる。第2直線偏光子808は、フォトダイオード806へ通過した光が、鉛直偏光を排他的に含み、水平偏光を除外することを確実にし得る。
フォトダイオード806は、フィルタリングされた直線偏光成分832を受信して、フィルタリングされた直線偏光成分832の強度を検出する。フィルタリングされた直線偏光成分832の強度は、光818が空間変動偏光子810、結果的に角度感知フォトダイオード構造804に入射する位置または位置のセットを表す。
図9を参照して記載される具体的な偏光は、説明を容易にするための例として作られていることに留意されたい。代替的な実施形態において、異なる偏光子、偏光、または偏光パターンが利用され得る。例えば、直線偏光の代わりに、第1および第2直線偏光子812、808ならびに空間変動偏光子810は、円偏光、楕円偏光または任意の他のタイプの偏光を利用し得る。
再び図8を参照すると、開口816のサイズおよび位置は、角度感知フォトダイオード構造804上に形成された光点822のサイズを規定する。フォトダイオード806によって検出された強度は、第1および第2直線偏光子812、808ならびに空間変動偏光子810を通過した(またはそれによってフィルタリングされた)光点822の強度を表す。光点822の強度は、光点822から構成される光線の強度の和であり得る。光点822の直線偏光成分824が、1つの点ではなく、空間変動偏光子810のエリアに入射するという事実により、空間変動偏光子810の設計において、位置検出の改善を可能にするために追加の自由度が与えられる。空間変動偏光子810は、光点822の位置検出を改善することを可能にするために、領域によって変化する特性を有し得る。
いくつかの実施形態において、第1および第2直線偏光子812、808の1つが省略され得ることに留意されたい。一実施形態において、第1直線偏光子812は省略され得、水平偏光のみが位置または角度決定のために放射され得る。
一実施形態において、改善された位置検出は、複数の局地的なセルを有するフォトダイオード806を使用することによって達成され得る。
図10は、角度感知フォトダイオード構造804の第1直線偏光子812、空間変動偏光子810、および、第2直線偏光子808、ならびに、それらを通過してフォトダイオード806に到達する光818または光点822の偏光を示す。図10において、フォトダイオード806は、小さいギャップによって隔てられる4つの別個のフォトダイオードアクティブエリアまたは素子802a-802dを含むクアドランドセル(クアッドセル)フォトダイオードである。より少ない、または、より多いセルを有するフォトダイオード検出器、位置感知検出器(PSD)など、他のタイプの角度感知検出器も使用され得ることが理解されるべきである。
各素子802a-802dのアクティブエリア(例えばアノード)は個別に利用可能であり、その結果、単一の象限を照射する光点は、その象限のみにあるものとして電気的に特徴づけられ得る。光点のエネルギーは、隣接素子802a-802d間で分散され、各素子に対する電気的寄与の差が、角度感知検出器の中心に関する光点の相対位置を定義する。素子802a-802dの相対強度プロファイルは、空間変動偏光子810の相対強度プロファイルと組み合わせて光点の位置を判定するために使用され得る。
一実施形態において、空間変動偏光子810は、ベースライン強度を識別するためにオフに切り替えられ得る。空間変動偏光子810は、コントローラに結合され得る。マイクロコントローラもしくはマイクロプロセッサ、または、特に1または複数のコントローラ182もしくはプロセッサ502であり得る、本明細書に記載されるコントローラは、空間変動偏光子810のオンまたはオフを切り替え得る。空間変動偏光子810がオンに切り替えられるとき、空間変動偏光子810は、本明細書に記載されるように光をフィルタリングする。逆に、空間変動偏光子810がオフに切り替えられるとき、空間変動偏光子810は、偏光フィルタリングを中止し、代わりに、直線偏光成分824をそのまま通過させ得る。
空間変動偏光子810がオフに切り替えられるとき、フォトダイオード806は、第1および第2直線偏光子812、808と組み合わせて空間変動偏光子810によって実行される減衰なしで光818(または光点822)の強度を検出する。検出された強度は、ベースライン強度または最大検出強度として扱われ得る。ベースライン強度または最大検出強度は、第1端826に入射する光818の強度に対応し得る。
空間変動偏光子810がオンに切り替えられるとき、フォトダイオード806は、適切な位置依存的偏光フィルタリングを用いて、光818(または光点822)の強度を検出する。位置依存的偏光フィルタリングがベースライン強度に対して適切であるときの光818(または光点822)の検出強度の間の関係は、光818が角度感知フォトダイオード構造804に入射する位置または位置のセットを示す。
本明細書に記載されるように、第1および第2直線偏光子812、808のフィルタリングと組み合わせて空間変動偏光子810によって実行される偏光変換は、光818の空間的に変動する振幅(または強度)減衰をもたらす。振幅(または強度)は次に、フォトダイオード806によって検出され、位置決定に使用される。
図11Aおよび図11Bは、本開示の実装の1または複数において使用され得る例示的な角度感知検出器1100の上面図および透視図をそれぞれ示す。この例において、角度感知検出器1100は、共通の基板1104上の小さいギャップによって隔てられた4つの別個のフォトダイオードアクティブエリアまたは要素1102A-1102Dを含むクアドランドセル(クアッドセル)フォトダイオードを含む。より少ない、または、より多いセルを有するフォトダイオード検出器、位置感知検出器など、他のタイプの角度感知検出器も使用され得ることが理解されるべきである。
非限定的に示される例において、各要素1102A-1102Dのアクティブエリア(例えばアノード)は個別に利用可能であり、その結果、単一の象限を照射する光点は、その象限のみにあるものとして電気的に特徴づけられ得る。光点が角度感知検出器1100で変換されると、光点のエネルギーは、隣接素子1102A-1102D間で分散され、各素子に対する電気的寄与の差は、角度感知検出器の中心に関する光点の相対位置を定義する。素子1102A-1102Dの相対強度プロファイルは、光点の位置を判定するために使用され得る。
この簡略化された例において、角度感知検出器1100は、光源1112からの光1114が通過することを可能にする開口1108を有するカバー1110を含む。示されるように、開口1108を通過する光1114は、角度感知検出器1100に対する光1114の角度、したがって、光源1112の角度を判定するために電気的に特徴づけられ得る光点1106を形成する。下で説明されるように、本開示のシステムおよび方法は、複数の光源および角度感知検出器を利用して、HMDシステムのコンポーネントの位置を判定し得る。
本開示の角度感知検出器は、クアッドセルフォトダイオード検出器、抵抗性シートを利用する位置感知検出器(PSD)、より少ない(例えば2)またはより多い(例えば16)独立感知素子を有するフォトダイオード検出器、または、光源から放射される光の到着角度を検出することを可能にする任意の他の検出器を含む任意の好適なタイプの検出器の1または複数を含み得ることが理解されるべきである。更に、下で説明されるように、少なくともいくつかの実装において、本開示の角度感知検出器または光源は、フィルタ、レンズ、偏光子など、様々な光学コンポーネントを利用して、本明細書に説明されるシステムおよび方法の機能を改善し得る。
図12は、1つの非限定的に示される実装による、光源および角度感知検出器を使用してHMDシステムのコンポーネントの位置を判定するHMDシステムの環境1200の簡略化された図である。この例において、HMDなどの第1コンポーネント1202は、複数の光源1206(1206aおよび1206bの2つが示される)を含み、HMDシステムのコントローラなどの第2コンポーネント1204は、複数の角度感知検出器1208(1208aおよび1208bの2つが示される)を含む。角度感知検出器1208aおよび1208bは、第2コンポーネント1204上で既知の距離dだけ互いに隔てられ、光源1206aおよび1206bは、第1コンポーネント1202上で既知の距離dだけ互いに隔てられる。第1および第2コンポーネントは、HMD、コントローラ、基地局、据え付けもしくはモバイル光源、据え付けもしくはモバイル角度感知検出器など、HMDシステムの任意のコンポーネントであり得る。
この例において、角度感知検出器1208aは、光が角度1210で光源1206aから到着し、光が角度1212で光源1206bから到着すると判定するように作用する。同様に、角度感知検出器1208bは、光が角度1214で光源1206bから到着し、光が角度1216で光源1206aから到着すると判定するように作用する。検出された到着角度1210、1212、1214および1216、ならびに、光源1206と検出器1208との間の既知の幾何学的関係(例えば、距離dおよびd)を考慮して、第1コンポーネント1202と第2コンポーネント1204との間の相対位置、向き、または移動を判定およびトラッキングするための方法(例えば三角測量)が使用され得る。上で説明されるように、HMDシステムの光源に関する情報を示す角度感知検出器および/または光源データからのセンサデータを使用して、コンポーネントの位置を判定するために、1または複数のソルバまたは機械学習方法が使用され得る。
図13は、本開示の一例の光源1302および角度感知検出器1304の実例1300である。光源1302および角度感知検出器1304は、本明細書において説明される光源および角度感知検出器のいずれかと同様または同一であり得、本開示の実装のいずれかにおいて使用され得る。示される例において、光源1302は光学サブシステム1306を含み得、角度感知検出器1304は光学サブシステム1308を含み得る。光学サブシステム1306および1308は互いに同一でも、異なってもよく、各々が1または複数の光学コンポーネントを含み得る。光学サブシステム1306および1308は、光源1302および角度感知検出器1304に統合され得るか、または、別個のコンポーネントであり得る。光学コンポーネントの非限定的な例は、1または複数のレンズ、1または複数の偏光子、1または複数のフィルタ、1または複数の開口などを含む。少なくともいくつかの実装において、光源のサブセットは、1つのタイプの光学サブシステムを含み得、1または複数の他のサブセットの光源は、別のタイプの光学サブシステムを含み得る。同様に、角度感知検出器のサブセットは、1つのタイプの光学サブシステムを含み得、1または複数の他のサブセットの角度感知検出器は、別のタイプの光学サブシステムを含み得る。一例として、光学サブシステムは、可視光または他のタイプの光をフィルタリングで除去するフィルタを含み得る。上で更に説明されるように、光学サブシステムは、放射された光の光源に関する混乱なしで複数の光源が同時に照射されることを可能にする、上で説明された様々なタイプの多重化のうち1または複数を容易にするコンポーネントを含み得る。
図14は、1または複数の光学検出器(例えば、角度感知または他のタイプの検出器)によって受信された光が、1または複数の光学検出器によって受信される前に反射または散乱されたかどうかを判定するために使用され得る、本開示の散乱光検出モジュールまたは散乱光検出器1402の実例1400である。そのような情報を使用することにより、少なくとも1つのプロセッサは、散乱または反射された光信号であると判定された光データを無視するように作用し得る。なぜなら、そのような信号は、信号が放射された光源の位置を直接的に示さないからである。少なくともいくつかの実装において、散乱光検出器1402は、位置トラッキングに使用される1または複数の光学検出器と連携して使用される別個のコンポーネントであり得る。他の実装において、散乱光検出器1402は、位置トラッキングに使用される1または複数の光学検出器(例えば角度感知検出器)に統合され得る。1または複数の散乱光検出器1402は、本開示の実施形態のいずれかにおいて使用され得る。更に、散乱光検出器データを処理し、本開示のトラッキングシステムの位置トラッキング機能を改善するために、様々な機械学習または人工知能ベースの方法が使用され得る。例えば、トラッキング忠実度を改善するのに役立つ偏光情報を使用するようにトラッキングシステムをトレーニングするために、機械学習または他のAI方法が使用され得る。
非限定的に示される例において、散乱光検出器1402が示され、第1および第2光源1408および1410も示される。実際には、多くの散乱光検出器および多くの光源があり得る。非限定的な例として、散乱光検出器1402は、HMDおよびコントローラの一方に位置し得、光源1408および1410は、HMDおよびコントローラの他方に位置し得る。少なくともいくつかの実装において、散乱光検出器1402および光源1408および1410の1または複数は、固定オブジェクト(例えば、壁、天井、スタンド)または可動オブジェクト(例えば、HMD、コントローラ)に位置する、または、それに結合され得る。散乱光検出器1402および光源1408および1410は、本明細書において説明される光源および散乱光検出器のいずれかと同様または同一であり得、本開示の実装のいずれかにおいて使用され得る。
示される例において、散乱光検出器1402は、任意選択で角度感知検出器であり得る光学検出器1404および光学サブシステム1406を含み得る。光源1408は、光1420を放射する光エミッタ1412(例えばLED)および光学サブシステム1414を含み得、光源1410は、光1422を放射する光エミッタ1416および光学サブシステム1414を含み得る。光学サブシステム1406、1414および1418のいくつか、またはすべては、互いに同一でも、または異なってもよく、各々が1または複数の光学コンポーネントを含み得る。光学サブシステム1406、1414および1418は、検出器1404および光源1408および1410にそれぞれ統合され得るか、または、別個のコンポーネントであり得る。光学コンポーネントの非限定的な例は、1または複数のレンズ、1または複数の偏光子、1または複数の位相差板、1または複数のフィルタ、1または複数の開口などを含む。少なくともいくつかの実装において、光源のサブセットは、1つのタイプの光学サブシステムを含み得、1または複数の他のサブセットの光源は、別のタイプの光学サブシステムを含み得る。同様に、散乱光検出器1402のサブセットは、1つのタイプの光学サブシステムを含み得、散乱光検出器の1または複数の他のサブセットは、別のタイプの光学サブシステムを含み得る。一例として、光学サブシステムは、可視光または他のタイプの光をフィルタリングで除去するフィルタを含み得る。上で更に説明されるように、光学サブシステムは、放射された光の光源に関する混乱なしで複数の光源が同時に照射されることを可能にする、上で説明された様々なタイプの多重化のうち1または複数を容易にするコンポーネントを含み得る。
光学サブシステム1406、1414および1418の設計は、光源1408および1410からの光が散乱または反射されたかどうか、または、光が散乱または反射なく直接的に散乱光検出器に到達したかどうかを検出するように散乱光検出器1402が作用するように調整され得る。例えば、散乱光検出器1402は、散乱または反射に起因して光源によって放射された光の偏光のタイプまたは程度の変化を検出するように作用し得る。示される例において、光源1408からの光1420は、散乱光検出器1402によって直接的に受信され、一方、光源1410からの光1422は、散乱光検出器1402によって受信される光1424として表面1423で反射される。この例において、光1420は、散乱光検出器1402に関する光源1408の相対位置を示し、一方、表面1423から反射した光1424は、散乱光検出器1402に関する光源1410の相対位置を示さない。したがって、光1424が散乱または反射されたと検出することによって、トラッキングシステムは、位置トラッキングを実行するとき、散乱光検出器と同様の位置および向きのセンサなど、1または複数のセンサからの光信号を無視または拒絶し得、それにより、システムの位置トラッキング機能を改善する。
散乱光検出器1402が、光源からの光が散乱または反射され、したがって、1または複数の検出器によって無視されるべきであるかどうかを検出できることを可能にし得る複数の構成があり得る。概して、少なくともいくつかの実装において、光源1408および1410によって放射された光は、光学システム1414および1418によって決定された方式でそれぞれ偏光され得、散乱光検出器1402は、光源1408および1410から直接的に受信された光と、散乱光検出器によって受信される前に散乱または反射された光源からの光とを区別するよう構成され得る。例えば、光源からの光の偏光のタイプまたは程度は、散乱または鏡面反射の結果変更され得、散乱光検出器1402は、そのような変更を検出するよう構成され得る。1つの非限定的な例として、光源1408の光学サブシステム1414および光源1410の光学サブシステム1418は、右手または左手円偏光子の一方を含み得、散乱光検出器1402の光学サブシステム1406は、右手または左手円偏光子の他方を含み得る。例えば、光源1408の光学サブシステム1414および光源1410の光学サブシステム1418は、右手円偏光子を含み得、散乱光検出器1402の光学サブシステム1406は、左手円偏光子を含み得る。この構成において、散乱光検出器1402の光学サブシステム1406は、偏光解消表面(例えば、ランダム偏光を有する)で反射された光、または、非偏光解消表面(例えば、ガラス、金属、アクリルなど)で反射され、反射後に左円偏光された光を検出するために使用され得る。そのような光が判定閾値の上である場合、トラッキングシステムは、反射または散乱された光も受信した可能性が高いと判定された1または複数の検出器からの信号を無視し得る。
この構成の一例は、図15の実例1500に示される。これは、散乱光検出器1502および光源1504を示す。光源1504は、光エミッタ1506(例えばLED)、および、右手円偏光子1508を含む光学サブシステムを含む。この実装における円偏光子1508は、直線偏光子1510および4分の1波長位相差板または波長板1512を含み、右手円偏光を有する光1522を提供する。
散乱光検出器1502は、光学検出器1514(例えば、クアッドセル検出器、単一セル検出器)、および、左手円偏光子1516を含む光学サブシステムを含む。左手円偏光子1516は、4分の1波長位相差板または波長板1518および直線偏光子1520を含む。散乱光検出器1502は、光源の円偏光子1508とは反対の利き手の円偏光子を含むので、散乱光検出器は、反射された円偏光の利き手が反対の利き手に(すなわち、この例では右手から左手に)切り替わることに起因して、鏡面反射を介して反射された光を検出する。
動作中、散乱光検出器1502が、散乱または反射された(例えば、決定された閾値より上の)光を検出したとき、トラッキングシステムは、同一の光を受信した可能性が高いことがあり得る1または複数の光学センサ(例えば、散乱光検出器と同様の位置または向きのセンサ)からの光を拒絶または無視し得る。
図16は、ユーザ1642の頭部に装着されたときの例示のHMDデバイス1644の前面図を示す情報1600を示す。HMDデバイス1644は、前面または前方カメラ1646および1または複数のタイプの複数の角度感知検出器1648a-1648f(まとめて1648)を支持する前面構造1643を含む。一例として、角度感知検出器1648のいくつかまたはすべては、1または複数の外部デバイス(示されないが、例えば、図2の基地局214、コントローラ)から放射された光情報を検出および使用するための光センサなど、空間におけるデバイス1644の場所および向きを判定することを支援し得る。角度感知検出器1648は、光源から放射された光の到着角度を検出するために作用する任意のタイプの検出器であり得る。角度感知検出器の非限定的な例は、フォトダイオード検出器(例えば、バイセル検出器、クアドランドセル検出器)、抵抗性シートを使用する位置感知検出器などを含む。
示されるように、前方カメラ1646および角度感知検出器1648は、ユーザ1642がHMDデバイス1644を操作する実際のシーンまたは環境(図示せず)に向かって前方に向けられる。より一般には、角度感知検出器1648は、(例えばユーザ1642によって保持される)コントローラ、または、様々な場所(例えば、壁、天井)に搭載されるオブジェクトなど、様々なソースからの光を検出するために、他のエリア(例えば、上、下、左、右、後ろ)に向けられ得る。実際の物理的環境は、例えば、1または複数のオブジェクト(例えば、壁、天井、家具、階段、車、木、トラッキングマーカ、光源、または任意の他のタイプのオブジェクト)を含んでよい。センサ1648の特定の数は、図示されているセンサの数よりも少ない(例えば、2、4)または多い(例えば、10、20、30、40)ものであってよい。HMDデバイス1644は、(例えば、加速度計およびジャイロスコープ、並びに任意選択で磁力計の組み合わせを使用して)HMDデバイス1644の特定の力、角速度、および/またはHMDデバイスを囲む磁界を測定および報告するIMU(慣性測定ユニット)1647電子デバイス等の、前面構造に取り付けられていない(例えば、HMDデバイスの内部にある)1または複数の追加コンポーネントを更に備えてよい。HMDデバイス1644は、1または複数のディスプレイパネルおよび光学レンズ系を含む、示されていない追加コンポーネントを更に備えてよく、1または複数のディスプレイパネルおよび光学レンズ系は、ユーザの目(図示せず)に向けて配向され、任意選択でHMDデバイス内の光学レンズ系および/またはディスプレイパネルのうちの1または複数の位置合わせまたは他の位置決めを変更するための1または複数の取り付けられた内部モータを有する。
HMDデバイス1644の図示された例は、HMDデバイス1644のハウジングに取り付けられ、ユーザの頭部の周囲に全体的または部分的に延びる1または複数のストラップ1645に少なくとも部分的に基づいて、ユーザ1642の頭部上で支持される。ここでは示されていないが、HMDデバイス1644は、ストラップ1645のうちの1または複数に取り付けられるもの等の1または複数の外部モータを更に有してよく、自動化補正動作は、ユーザの頭部上でのHMDデバイスの位置合わせまたは他の位置決めを修正するためにそのようなストラップを調整するのにそのようなモータを使用することを含んでよい。HMDデバイスは、図示されたストラップに加えてであるかまたはこれらの代わりにであるかを問わず、ここでは示されていない他の支持構造(例えば、ノーズピース、あご紐等)を備えてよいこと、および、いくつかの実施形態は、ユーザの頭部上でのHMDデバイスの位置合わせまたは他の位置決めを修正するために自身の形状および/または場所を同様に調整するように、1または複数のそのような他の支持構造に取り付けられたモータを備えてよいことが理解されよう。ユーザの頭部に固定されていない他のディスプレイデバイスは、ディスプレイデバイスの位置決めに影響を与える1または複数の構造に同様に取り付けられるかまたはその一部であってよく、少なくともいくつかの実施形態では、ディスプレイデバイスの1人または複数人のユーザの1または複数の瞳孔に対するディスプレイデバイスの位置合わせまたは他の位置決めを修正するために自身の形状および/または場所を同様に修正するモータまたは他の機械的アクチュエータを備えてよい。
HMDデバイス1644はまた、複数の散乱光検出器1650、1652および1666を含む。散乱光検出器1650、1652および1666は、本明細書において説明される散乱光検出器のいずれかと同様または同一であり得、HMDデバイス1644に関連付けられた光源1658、1662および1670からのそれぞれの光1660、1664および1672が、HMDデバイスに到達する前にに表面で反射または散乱されたかどうかを検出するように作用し得る。上で説明されたように、散乱された光が検出されると、同一の光を受信した可能性が高いと判定された1または複数のセンサからのセンサデータは無視され得る。
少なくともいくつかの実装において、単一の散乱光検出器が検出器1648のすべてについて提供され得る。他の実装において、別個の散乱光検出器が、検出器1648の各々について提供され得るか、または、散乱光検出器が検出器1648の1または複数の一部として含まれ得る。示される簡略化された例において、前面構造1643の右側に位置する散乱光検出器1650は、領域1654における光源(例えば光源1658)からユーザ1642の右側への光を検出するために使用される検出器1648a、1648bおよび1648eに対応する。すなわち、反射または散乱された光を散乱光検出器1650が検出した場合、トラッキングシステムは、散乱光検出器1650と同様の向きに起因して、同一の光を受信した可能性が高いと判定された検出器1648a、1648bおよび1648eのうち1または複数からの信号を無視し得る。同様に、前面構造1643の左側に位置する散乱光検出器1652は、領域1656における光源(例えば光源1662)からユーザ1642の左側への光を検出するために使用される検出器1648c、1648dおよび1648gに対応する。前面構造1643の上領域の散乱光検出器1666は、ユーザ1642の上の領域1668における光源(例えば光源1670)からの光を検出するために使用される検出器1648fに対応する。上に説明されるように、どの光源または光源のグループからの光が検出器1648、1650、1652および1666によって受信されたかをシステムが知ることを可能にするために、多重化(例えば、時間、波長、パターン)が使用され得る。
図17は、本開示の実装の1または複数において使用され得る散乱光検出器1700の透視図を示す。この非限定的な例において、共通の基板1704上の小さいギャップによって隔てられる4つの別個のフォトダイオードアクティブエリアまたは素子1702A-1702Dを含む散乱光検出器1700は、クアドランドセル(クアッドセル)フォトダイオードを含む。より少ない、または、より多いセルを有するフォトダイオード検出器、位置感知検出器など、他のタイプの検出器も使用され得ることが理解されるべきである。
非限定的に示される例において、各要素1702A-1702Dのアクティブエリア(例えばアノード)は個別に利用可能であり、その結果、単一の象限を照射する光点は、その象限のみにあるものとして電気的に特徴づけられ得る。光点が検出器1700で変換されると、光点のエネルギーは、隣接素子1702A-1702D間で分散され、各素子に対する電気的寄与の差は、検出器の中心に関する光点の相対位置を定義する。素子1702A-1702Dの相対強度プロファイルは、光点の位置を判定するために使用され得る。
この簡略化された例において、検出器1700は、光源1712からの光1714が通過することを可能にする開口1708を有するカバー1710を含む。示されるように、開口1708を通過する光1714は、検出器1700に対する光1714の角度、したがって、光源1712の角度を判定するように電気的に特徴づけられ得る光点1706を形成する。下で説明されるように、本開示のシステムおよび方法は、複数の光源および検出器を利用して、HMDシステムのコンポーネントの位置を判定し得る。
示される例において、第1円偏光子1716は、光源1712に近接して(例えば隣に)位置し、第2偏光子1718は、検出器1700に近接して位置する。少なくともいくつかの実装において、光源1712によって放射された光は、第1円偏光子1716および第2円偏光子1718によって、決定された方式で偏光され得、散乱光検出器1700は、光源1712から直接的に受信された光と、散乱光検出器1700によって受信される前に散乱または反射された光源からの光とを区別するよう構成され得る。1つの非限定的な例において、第1および第2円偏光子1716および1718の一方はそれぞれ、右手または左手円偏光子の一方を含み得、第1および第2円偏光子1716および1718の他方は、右手または左手円偏光子の他方を含み得る。例えば、光源1712の第1円偏光子1716は、右手円偏光子を含み得、散乱光検出器1700の第2円偏光子1718は、左手円偏光子を含み得る。この構成において、散乱光検出器1700の第2円偏光子1718は、偏光解消表面(例えば、ランダム偏光を有する)で反射された光、または、非偏光解消表面(例えば、ガラス、金属、アクリルなど)で反射され、反射後に左円偏光された光を検出するために使用され得る。そのような光が判定閾値の上である場合、トラッキングシステムは、反射または散乱された光も受信した可能性が高いと判定された1または複数の検出器からの信号を無視し得る。
前述の詳細な説明は、ブロック図、概略図、および例を使用することにより、デバイスおよび/または処理の様々な実装を示してきた。そのような複数のブロック図、概略図、および例が1または複数の機能および/または動作を含む限りにおいて、当業者は、そのような複数のブロック図、フロー図、または例における各機能および/または動作が広範なハードウェア、ソフトウェア、ファームウェア、または実質的に、それらのいずれかの組み合わせにより個別に、および/または集合的に実装され得ることを理解するであろう。一実装において、本主題は、特定用途向け集積回路(ASIC)を介して実装されてよい。しかしながら、当業者は、本明細書に開示された実装が、1または複数のコンピュータ上で動作する1または複数のコンピュータプログラムとして(例えば、1または複数のコンピュータシステム上で動作する1または複数のプログラムとして)、1または複数のコントローラ(例えば、マイクロコントローラ)上で動作する1または複数のプログラムとして、1または複数のプロセッサ(例えば、マイクロプロセッサ)上で動作する1または複数のプログラムとして、ファームウェアとして、または、回路の設計および/またはソフトウェアおよび/またはファームウェアのコードの記述が本開示に照らして当業者の技能の十分な範囲内である実質的にそれらの任意の組み合わせとして、全体的または部分的に、標準的な集積回路で同等に実装できることを認識するであろう。
当業者は、本明細書に記載された方法またはアルゴリズムセットの多くが、追加の動作を採用し得、いくつかの動作を省略し得、および/または規定とは異なる順序で動作を実行し得ることを認識するであろう。
加えて、当業者は、本明細書で教示される複数の機構が、様々な形式でプログラム製品として配布可能であり、例示的な実装は、実際に配布を実行するために用いられる信号担持媒体の特定のタイプにかかわらず等しく適用されることを理解するであろう。信号担持媒体の例としては、フロッピディスク、ハードディスクドライブ、CD-ROM、デジタルテープ、およびコンピュータメモリ等、記録可能なタイプの媒体が挙げられるが、これらに限定されない。
上記の様々な実装を組み合わせて、さらなる実装を提供することができる。本明細書における具体的な教示および定義と矛盾しない限り、2020年2月6日に出願された米国仮特許出願第62/971,181号を含む、本明細書において参照される米国特許、米国特許出願公開、米国特許出願、外国特許、外国特許出願、および非特許公開のすべては、全体的に参照によって本明細書に組み込まれる。必要に応じて、実装の複数の態様を変更して、様々な特許、アプリケーション、および、公報のシステム、回路、および、概念を採用し、さらに別の実装を提供することができる。
上記の詳細な説明に照らして、これらおよび他の変更を実装に加えることができる。一般に、以下の請求項において、使用される用語は、請求項を明細書および請求項に開示された特定の実装に制限するものと解釈されるべきではなく、そのような請求の対象となる同等の範囲全体に沿って可能なすべての実装を含むものと解釈されるべきである。したがって、特許請求の範囲は開示によって限定されない。

Claims (20)

  1. 角度感知検出器であって、
    光源からの光を受信してフィルタリングするように作用する第1偏光子と、
    前記第1偏光子に光学的に整列された空間変動偏光子であって、前記角度感知検出器に対する入射角によって入射光を一意的に区別するよう構成される偏光パターンを含む空間変動偏光子と、
    前記空間変動偏光子から受信された光を受信してフィルタリングするために、前記空間変動偏光子に光学的に整列された第2偏光子と、
    前記第2偏光子から光を受信するよう位置決めされた光検出器であって、前記角度感知検出器に対する前記入射光の前記入射角を示す少なくとも1つの強度信号を出力するように作用する光検出器と
    を備える角度感知検出器。
  2. 前記空間変動偏光子は液晶材料を含む、請求項1に記載の角度感知検出器。
  3. 前記空間変動偏光子はマルチツイスト位相差板を含む、請求項1に記載の角度感知検出器。
  4. 前記空間変動偏光子は、オフに切り替えられるように作用し、前記空間変動偏光子がオフに切り替えられるとき、前記空間変動偏光子は、前記入射光の偏光を変更することを中止するように作用する、請求項1に記載の角度感知検出器。
  5. 前記空間変動偏光子は位相差板を含む、請求項1に記載の角度感知検出器。
  6. 前記空間変動偏光子は、第1端において直線偏光を提供し、前記第1端の反対にある第2端に向かって位相差を徐々に増加させる、請求項1に記載の角度感知検出器。
  7. 前記空間変動偏光子は、前記第2端において、4分の1波長の位相差を提供する、請求項6に記載の角度感知検出器。
  8. 前記第1偏光子および前記第2偏光子は各々、直線偏光子を含む、請求項1に記載の角度感知検出器。
  9. 前記第1偏光子および前記第2偏光子は各々、同一の偏光の向きを有する直線偏光子を含む、請求項1から8のいずれか一項に記載の角度感知検出器。
  10. 角度感知検出器であって、
    光を受信し、
    前記光をフィルタリングし、
    前記フィルタリングされた光の第1成分を出力する
    よう構成される第1偏光子と、
    複数の位置にそれぞれ関連付けられた複数の偏光変換特性を定義する位置変動偏光パターンを有する空間変動偏光子であって、前記複数の偏光変換特性は、前記第1成分が前記空間変動偏光子に入射する位置に依存して異なるように、前記第1成分の偏光を変更するように作用し、前記空間変動偏光子は、
    前記複数の位置の第1位置において前記第1成分を受信し、
    前記第1位置に関連付けられた、前記複数の偏光変換特性の第1偏光変換特性に従って、前記第1成分の偏光を変更し、
    偏光変換された第1成分を出力する
    よう構成される空間変動偏光子と、
    前記偏光変換された第1成分を受信し、
    前記偏光変換された第1成分をフィルタリングし、
    前記偏光変換された第1成分の第2成分を出力する
    よう構成される第2偏光子と、
    前記第2成分を受信し、
    前記第2成分の強度を検出し、
    前記第2成分の前記強度を表すデータであって、前記第1位置を判定するために利用可能な前記第2成分の前記強度を表すデータを出力する
    よう構成される光検出器と
    を備える角度感知検出器。
  11. 前記空間変動偏光子は液晶材料を含む、請求項10に記載の角度感知検出器。
  12. 前記空間変動偏光子はマルチツイスト位相差板を含む、請求項10に記載の角度感知検出器。
  13. 前記位置変動偏光パターンは、第1端における直線偏光子、前記第1端の反対にある第2端における円偏光子、および、前記第1端と前記第2端との間における、前記直線偏光子と前記円偏光子との間の漸進的変化を含む、請求項10に記載の角度感知検出器。
  14. 前記第1偏光子は、前記光が前記第1偏光子のどこに入射したかと無関係に、前記光を均一にフィルタリングする、請求項10に記載の角度感知検出器。
  15. 前記第2偏光子は、前記偏光変換された第1成分が前記第2偏光子のどこに入射したかと無関係に、前記偏光変換された第1成分を均一にフィルタリングする、請求項10に記載の角度感知検出器。
  16. 前記空間変動偏光子は、オフに切り替えられるように作用し、前記空間変動偏光子がオフに切り替えられるとき、前記空間変動偏光子は、前記第1成分の偏光を変更することを中止するように作用する、請求項10に記載の角度感知検出器。
  17. 前記光検出器は単一セルのフォトダイオードである、請求項10に記載の角度感知検出器。
  18. 前記光検出器は、複数のセルの各セルにおける前記第2成分のそれぞれの強度を検出するように作用する複数のセルを有するマルチセルのフォトダイオードである、請求項10に記載の角度感知検出器。
  19. 前記光は基地局またはモバイルオブジェクトによって放射される、請求項10に記載の角度感知検出器。
  20. 前記第1偏光子および前記第2偏光子は、同一の光フィルタリング特性を有する、請求項10から19のいずれか一項に記載の角度感知検出器。
JP2022534419A 2020-02-06 2021-02-04 ヘッドマウントディスプレイシステムのための位置トラッキングシステム Active JP7658375B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062971181P 2020-02-06 2020-02-06
US62/971,181 2020-02-06
PCT/US2021/016639 WO2021158804A1 (en) 2020-02-06 2021-02-04 Position tracking system for head-mounted display systems

Publications (2)

Publication Number Publication Date
JP2023512876A JP2023512876A (ja) 2023-03-30
JP7658375B2 true JP7658375B2 (ja) 2025-04-08

Family

ID=77178316

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022534419A Active JP7658375B2 (ja) 2020-02-06 2021-02-04 ヘッドマウントディスプレイシステムのための位置トラッキングシステム

Country Status (6)

Country Link
US (4) US11467660B2 (ja)
EP (1) EP4100784A4 (ja)
JP (1) JP7658375B2 (ja)
KR (1) KR20220130809A (ja)
CN (1) CN114945854B (ja)
WO (1) WO2021158804A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11467660B2 (en) * 2020-02-06 2022-10-11 Valve Corporation Position tracking system for head-mounted display systems
EP4185938A1 (en) * 2020-12-30 2023-05-31 Google LLC Device tracking with angle-of-arrival data
EP4409353A4 (en) * 2021-09-28 2025-07-09 Valve Corp POSITION TRACKING SYSTEMS AND METHODS FOR HEAD-MOUNTED DISPLAY SYSTEMS
JP2025518791A (ja) * 2022-06-03 2025-06-19 バルブ コーポレーション 画像に基づく高感度角度検出器を含む光学追跡
US12029971B2 (en) * 2022-06-10 2024-07-09 Sony Interactive Entertainment LLC Hybrid pixel dynamic vision sensor tracking using IR and ambient light (or depth sensor)
US12044846B2 (en) * 2022-09-14 2024-07-23 Valve Corporation Position tracking systems and methods for head-mounted display systems
US12244343B2 (en) * 2023-02-23 2025-03-04 Tencent America LLC High speed communication with wide area moveable receivers using invisible light
CN119535782A (zh) * 2023-08-30 2025-02-28 北京字跳网络技术有限公司 配件主体及配件
KR20250039783A (ko) * 2023-09-14 2025-03-21 삼성전자주식회사 시선 추적을 위한 전자 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080002192A1 (en) 2004-11-28 2008-01-03 Ofer David Laser Direction Detection
US20110079703A1 (en) 2009-10-02 2011-04-07 Teledyne Scientific & Imaging, Llc Object tracking system
JP2017538133A (ja) 2014-11-10 2017-12-21 バルブ コーポレーション 位置追跡システム及び方法
US10354651B1 (en) 2018-09-10 2019-07-16 Sony Corporation Head-mounted device control based on wearer information and user inputs

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3004675A (en) 1955-12-16 1961-10-17 Sylvania Electric Prod Bulb assembly transfer device
US5291273A (en) 1993-04-19 1994-03-01 Creo Products Inc. Non-contact diameter measuring method and apparatus
JP3411953B2 (ja) * 1996-04-24 2003-06-03 シャープ株式会社 光学装置および該光学装置を用いた頭部搭載型ディスプレイ
JPH09319505A (ja) 1996-05-27 1997-12-12 Nippon Syst Integureeshiyon Kk 相対角度検出装置及び仮想現実感提供装置
WO2002009424A2 (en) 2000-07-21 2002-01-31 The Trustees Of Columbia University In The City Of New York Method and apparatus for image mosaicing
US6909473B2 (en) 2002-01-07 2005-06-21 Eastman Kodak Company Display apparatus and method
US7160017B2 (en) 2004-06-03 2007-01-09 Eastman Kodak Company Brightness enhancement film using a linear arrangement of light concentrators
US8514380B2 (en) * 2006-02-13 2013-08-20 Boston Applied Technologies, Inc. Polarization imaging apparatus with auto-calibration
US7295312B1 (en) 2006-05-10 2007-11-13 United States Of America As Represented By The Secretary Of The Army Rapid 4-Stokes parameter determination via Stokes filter wheel
US8368889B2 (en) 2007-04-12 2013-02-05 The Arizona Board Of Regents On Behalf Of The University Of Arizona Compact snapshot polarimetry camera
US8004675B2 (en) * 2007-09-20 2011-08-23 Boss Nova Technologies, LLC Method and system for stokes polarization imaging
US8982313B2 (en) 2009-07-31 2015-03-17 North Carolina State University Beam steering devices including stacked liquid crystal polarization gratings and related methods of operation
US8922733B2 (en) 2009-10-24 2014-12-30 3M Innovative Properties Company Light source and display system incorporating same
US8235533B2 (en) 2009-11-12 2012-08-07 Microvision, Inc. Post-scan distortion adjustment optics for infinite focus projector system
US8950924B2 (en) 2009-12-08 2015-02-10 3M Innovative Properties Company Optical constructions incorporating a light guide and low refractive index films
US8670029B2 (en) 2010-06-16 2014-03-11 Microsoft Corporation Depth camera illuminator with superluminescent light-emitting diode
WO2013052834A1 (en) * 2011-10-07 2013-04-11 North Carolina State University Multi-twist retarders for broadband polarization transformation and related fabrication methods
EP2764399B1 (en) 2011-10-07 2023-06-28 ImagineOptix Corporation Polarization conversion systems with polarization gratings and related fabrication methods
US20130286479A1 (en) 2012-04-25 2013-10-31 Ko, Chi-Yuan of Cordic Technology Co. Ltd. Polarization recycling structure
US10302494B2 (en) * 2014-12-18 2019-05-28 Palo Alto Research Center Incorporated Obtaining spectral information from a moving object
US9712806B2 (en) 2014-12-19 2017-07-18 Datalogic ADC, Inc. Depth camera system using coded structured light
KR102474236B1 (ko) 2015-05-28 2022-12-05 구글 엘엘씨 착용 가능 헤드업 디스플레이들에 눈 추적 및 스캐닝 레이저 투사를 통합시키는 시스템들, 디바이스들 및 방법들
EP3317623A1 (en) 2015-07-02 2018-05-09 Danmarks Tekniske Universitet Street light detection
JP7180873B2 (ja) * 2015-12-22 2022-11-30 イー-ビジョン スマート オプティックス, インク. 動的集束ヘッドマウントディスプレイ
KR102460003B1 (ko) * 2016-01-08 2022-10-31 삼성디스플레이 주식회사 λ/4 위상 지연 필름, 표시 장치 및 이의 제조 방법
NZ743790A (en) * 2016-01-12 2023-01-27 Magic Leap Inc Beam angle sensor in virtual/augmented reality system
US10203489B2 (en) 2016-08-02 2019-02-12 Apple Inc. Optical system for head-mounted display
US10466036B2 (en) * 2016-10-07 2019-11-05 Arizona Board Of Regents On Behalf Of The University Of Arizona Attachable depth and orientation tracker device and method of depth and orientation tracking using focal plane polarization and color camera
JP2019532517A (ja) * 2016-10-25 2019-11-07 トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング 光学的に検出するための光検出器
US10668368B2 (en) * 2017-06-14 2020-06-02 Sony Interactive Entertainment Inc. Active retroreflectors for head-mounted display tracking
US10831028B2 (en) * 2017-06-14 2020-11-10 Sony Interactive Entertainment Inc. Tracking using retroreflectors mounted on a head-mounted display
WO2019143793A1 (en) 2018-01-18 2019-07-25 Valve Corporation Position tracking system for head-mounted displays that includes sensor integrated circuits
US20190243147A1 (en) 2018-02-07 2019-08-08 Disney Enterprises, Inc. Polarization-sensitive pancake optics
US10627899B2 (en) * 2018-02-09 2020-04-21 Microsoft Technology Licensing, Llc Eye tracking system for use in a visible light display device
WO2019160698A2 (en) * 2018-02-16 2019-08-22 Valve Corporation Using detected pupil location to align optical components of a head-mounted display
US11002955B2 (en) 2018-06-07 2021-05-11 Facebook Technologies, Llc Reverse-order crossed pancake lens with index gradient structure
US10778963B2 (en) * 2018-08-10 2020-09-15 Valve Corporation Head-mounted display (HMD) with spatially-varying retarder optics
WO2020176783A1 (en) 2019-02-28 2020-09-03 Magic Leap, Inc. Display system and method for providing variable accommodation cues using multiple intra-pupil parallax views formed by light emitter arrays
US11209657B2 (en) * 2020-01-24 2021-12-28 Valve Corporation Position tracking system for head-mounted display systems that includes angle sensitive detectors
CN114902110B (zh) * 2020-02-03 2024-11-26 威尔乌集团 用于显示器背光的空间变化偏振器
US11467660B2 (en) * 2020-02-06 2022-10-11 Valve Corporation Position tracking system for head-mounted display systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080002192A1 (en) 2004-11-28 2008-01-03 Ofer David Laser Direction Detection
US20110079703A1 (en) 2009-10-02 2011-04-07 Teledyne Scientific & Imaging, Llc Object tracking system
JP2017538133A (ja) 2014-11-10 2017-12-21 バルブ コーポレーション 位置追跡システム及び方法
US10354651B1 (en) 2018-09-10 2019-07-16 Sony Corporation Head-mounted device control based on wearer information and user inputs

Also Published As

Publication number Publication date
CN114945854B (zh) 2024-05-24
WO2021158804A1 (en) 2021-08-12
EP4100784A1 (en) 2022-12-14
US11847257B2 (en) 2023-12-19
US12135834B2 (en) 2024-11-05
EP4100784A4 (en) 2024-03-06
US20230333638A1 (en) 2023-10-19
US11467660B2 (en) 2022-10-11
US20230026078A1 (en) 2023-01-26
US20230018233A1 (en) 2023-01-19
JP2023512876A (ja) 2023-03-30
US20210247842A1 (en) 2021-08-12
KR20220130809A (ko) 2022-09-27
CN114945854A (zh) 2022-08-26
US11703946B2 (en) 2023-07-18

Similar Documents

Publication Publication Date Title
JP7658375B2 (ja) ヘッドマウントディスプレイシステムのための位置トラッキングシステム
KR102944950B1 (ko) 각도 감지 검출기들을 포함하는 머리-착용 디스플레이 시스템들에 대한 위치 추적 시스템
JP2025169318A (ja) ヘッドマウントディスプレイデバイスのための視線追跡システム及びその動作の方法
US11933976B2 (en) Position tracking systems and methods for head-mounted display systems
US11487120B2 (en) Polarization compensation for wire grid polarizer of head-mounted display system
US12044846B2 (en) Position tracking systems and methods for head-mounted display systems
JP2025518791A (ja) 画像に基づく高感度角度検出器を含む光学追跡

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250310

R150 Certificate of patent or registration of utility model

Ref document number: 7658375

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150