JP6827073B2 - 構造化光およびタイムオブフライトを用いた深度マッピング - Google Patents
構造化光およびタイムオブフライトを用いた深度マッピング Download PDFInfo
- Publication number
- JP6827073B2 JP6827073B2 JP2019114525A JP2019114525A JP6827073B2 JP 6827073 B2 JP6827073 B2 JP 6827073B2 JP 2019114525 A JP2019114525 A JP 2019114525A JP 2019114525 A JP2019114525 A JP 2019114525A JP 6827073 B2 JP6827073 B2 JP 6827073B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel group
- light
- captured
- pixel
- pixel groups
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/46—Indirect determination of position data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—Three-dimensional [3D] imaging with simultaneous measurement of time-of-flight at a two-dimensional [2D] array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/06—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the phase of light
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/529—Depth or shape recovery from texture
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
Description
本開示は、概して、仮想現実システムまたは拡張現実システムに関し、より詳細には、
局所領域の深度情報を取得する仮想現実システムのヘッドセットに関する。
局所領域の深度情報を取得する仮想現実システムのヘッドセットに関する。
仮想現実（ＶＲ）システム、または拡張現実（ＡＲ）システムは、３次元（３Ｄ）でユ
ーザを取り囲む環境の捕捉を活用することができる。しかしながら、従来のデプスカメラ
撮像アーキテクチャは、サイズが比較的大きく、重量があり、相当量の電力を消費する。
シーンの３Ｄ情報を取得するための例示的な一般的なデプスカメラ撮像アーキテクチャに
は、タイムオブフライト（パルスおよび符号化波形の両方の直接検出）、構造化光（ＳＬ
）、およびステレオビジョンが含まれる。異なるデプスカメラ撮像アーキテクチャは、そ
れぞれ異なる長所および短所を提供するので、特定のデプスカメラ撮像アーキテクチャは
、異なる動作条件において他のものよりも優れた性能を提供することができる。例えば、
ステレオビジョンアーキテクチャは周囲照明と良好に動作し、一方、アクティブ照明源を
有するタイムオブフライト型アーキテクチャは周囲照明からの信号対雑音比の制限によっ
て十分に機能を果たさない可能性がある。しかしながら、従来のデプスカメラ撮像アーキ
テクチャの比較的大きなサイズにより、デプスカメラを含む多くのシステムは、通常、特
定の使用ケースのために構成された単一タイプのデプスカメラ撮像アーキテクチャを使用
している。ヘッドマウントシステムは、様々な動作条件および動作環境においてより広範
な機能を実行するように使用される傾向にあるので、ヘッドマウントシステムおよびユー
ザを取り囲む領域の深度情報を得るために単一のデプスカメラ撮像アーキテクチャを選択
することは、ヘッドマウントシステムでのユーザーエクスペリエンスが低下する可能性が
ある。
ーザを取り囲む環境の捕捉を活用することができる。しかしながら、従来のデプスカメラ
撮像アーキテクチャは、サイズが比較的大きく、重量があり、相当量の電力を消費する。
シーンの３Ｄ情報を取得するための例示的な一般的なデプスカメラ撮像アーキテクチャに
は、タイムオブフライト（パルスおよび符号化波形の両方の直接検出）、構造化光（ＳＬ
）、およびステレオビジョンが含まれる。異なるデプスカメラ撮像アーキテクチャは、そ
れぞれ異なる長所および短所を提供するので、特定のデプスカメラ撮像アーキテクチャは
、異なる動作条件において他のものよりも優れた性能を提供することができる。例えば、
ステレオビジョンアーキテクチャは周囲照明と良好に動作し、一方、アクティブ照明源を
有するタイムオブフライト型アーキテクチャは周囲照明からの信号対雑音比の制限によっ
て十分に機能を果たさない可能性がある。しかしながら、従来のデプスカメラ撮像アーキ
テクチャの比較的大きなサイズにより、デプスカメラを含む多くのシステムは、通常、特
定の使用ケースのために構成された単一タイプのデプスカメラ撮像アーキテクチャを使用
している。ヘッドマウントシステムは、様々な動作条件および動作環境においてより広範
な機能を実行するように使用される傾向にあるので、ヘッドマウントシステムおよびユー
ザを取り囲む領域の深度情報を得るために単一のデプスカメラ撮像アーキテクチャを選択
することは、ヘッドマウントシステムでのユーザーエクスペリエンスが低下する可能性が
ある。
仮想現実（ＶＲ）システム環境または拡張現実（ＡＲ）システム環境内のヘッドセット
は、ヘッドセットを囲む領域内およびヘッドセットに含まれる撮像デバイスの視野（すな
わち、「局所領域」）内のヘッドセットと１つまたは複数の対象物との間の距離を決定す
るように構成されたデプスカメラ部品（ＤＣＡ：ｄｅｐｔｈ ｃａｍｅｒａ ａｓｓｅｍ
ｂｌｙ）を含む。ＤＣＡは、カメラ等の撮像デバイスと、対称ドットまたは準ランダムド
ット、グリッドまたは水平バーなどの特定のパターンをシーンに放射するように構成され
た照明源とを含む。例えば、照明源は、グリッドまたは一連の水平バーを局所領域に放射
する。ＤＣＡは、局所領域の表面に投影したときのパターンの変形に基づいて、三角測量
を活用して表面とヘッドセットとの間の距離を決定することができる。
は、ヘッドセットを囲む領域内およびヘッドセットに含まれる撮像デバイスの視野（すな
わち、「局所領域」）内のヘッドセットと１つまたは複数の対象物との間の距離を決定す
るように構成されたデプスカメラ部品（ＤＣＡ：ｄｅｐｔｈ ｃａｍｅｒａ ａｓｓｅｍ
ｂｌｙ）を含む。ＤＣＡは、カメラ等の撮像デバイスと、対称ドットまたは準ランダムド
ット、グリッドまたは水平バーなどの特定のパターンをシーンに放射するように構成され
た照明源とを含む。例えば、照明源は、グリッドまたは一連の水平バーを局所領域に放射
する。ＤＣＡは、局所領域の表面に投影したときのパターンの変形に基づいて、三角測量
を活用して表面とヘッドセットとの間の距離を決定することができる。
ＤＣＡは、局所領域に放射される特定のパターンを制御することに加えて、時間変化す
る強度をパターンに埋め込む。照明源から放射された光が局所領域内の対象物から反射し
て撮像デバイスに戻る正味の往復時間を表す情報（「タイムオブフライト情報」）を捕捉
する際に、ＤＣＡは、ヘッドセットの局所領域の深度情報を捕捉するための追加の機構を
有する。ＤＣＡは、撮像デバイスによって捕捉される放射光の時間に基づいて、ＤＣＡと
、照明源からの光を反射する局所領域内の対象物との間の距離を決定する。例えば、ＤＣ
Ａは、ＤＣＡに含まれる撮像デバイスによって捕捉される放射光に対して約２ナノ秒でＤ
ＣＡと局所領域内の対象物との間の１フィート（３０．４８センチメートル）の距離を決
定する。タイムオブフライト情報および構造化光情報を捕捉するために、照明源は、照明
源によって放射されるパターンの時間的強度および空間的強度を、３０メガヘルツなどの
特定の周波数を有する時間キャリア信号（ｔｅｍｐｏｒａｌ ｃａｒｒｉｅｒ ｓｉｇｎ
ａｌ）で変調する。
る強度をパターンに埋め込む。照明源から放射された光が局所領域内の対象物から反射し
て撮像デバイスに戻る正味の往復時間を表す情報（「タイムオブフライト情報」）を捕捉
する際に、ＤＣＡは、ヘッドセットの局所領域の深度情報を捕捉するための追加の機構を
有する。ＤＣＡは、撮像デバイスによって捕捉される放射光の時間に基づいて、ＤＣＡと
、照明源からの光を反射する局所領域内の対象物との間の距離を決定する。例えば、ＤＣ
Ａは、ＤＣＡに含まれる撮像デバイスによって捕捉される放射光に対して約２ナノ秒でＤ
ＣＡと局所領域内の対象物との間の１フィート（３０．４８センチメートル）の距離を決
定する。タイムオブフライト情報および構造化光情報を捕捉するために、照明源は、照明
源によって放射されるパターンの時間的強度および空間的強度を、３０メガヘルツなどの
特定の周波数を有する時間キャリア信号（ｔｅｍｐｏｒａｌ ｃａｒｒｉｅｒ ｓｉｇｎ
ａｌ）で変調する。
撮像デバイスは、空間的プロファイルおよび時間的プロファイルによって規定される、
照明源によって放射される光を含む、局所領域からの光を捕捉する。局所領域内の対象物
によって反射された照明源からのタイムオブフライト情報を決定するために、撮像デバイ
スは画素群のアレイを含む検出器を含む。各画素群は、１つまたは複数の画素を含み、個
々の画素群は、照明源が放射されたパターンを変調するために使用されるキャリア信号の
位相に対して積分時間において個々の位相シフトに関連付けられる。検出器の個々の画素
群は個々の制御信号を受信するので、個々の画素群は、制御信号によって特定される個々
の時間に光を捕捉する。これにより、検出器の個々の画素群が変調されたパターンの個々
の位相を捕捉することが可能となる。例えば、互いに最も近い４つの画素群は、４つの画
素群の各々に個々の時間で光を捕捉させる個々の制御信号を受信し、４つの画素群の各々
によって捕捉された光は、４つの画素群内の他の画素群によって捕捉された光に対して９
０度の位相シフトを有する。ＤＣＡは、４つの画素群間の相対信号を比較して、相対的な
視野に基づいて検出器に亘って変化する対象物の位置に対するキャリア信号の正味の位相
または角度を導出する。導出された正味の位相または角度は、検出器の個々の画素群によ
って捕捉された光の信号差に基づく。ＤＣＡは、任意の適切な技術を用いて、相対信号に
おける時間オフセットを補償して、局所領域に放射された構造化パターンの画像を決定す
る。例えば、ＤＣＡは、相対信号の位相角を反転させて相対的な画素毎の放射照度をスケ
ーリングし、隣接する画素からの相対信号を加算して時間バイアスを除去するか、または
、相対信号の時間オフセットおよび検出器の個々の画素から導出された正味の位相または
角度におけるオフセットに基づいて他の適切な処理を行うことによって相対信号における
時間オフセットを補償する。したがって、ＤＣＡの撮像デバイスによって捕捉されたフレ
ームは、構造化光（すなわち空間）データおよびタイムオブフライト（すなわち時間的）
データを捕捉し、ＤＣＡによる局所領域の全体的な深度情報の算定が改善される。構造化
光データおよびタイムオブフライトデータは、ＤＣＡに対する局所領域の相対的な深度に
関する異なる情報を提供するので、フレーム内の構造化光データおよびタイムオブフライ
トデータを捕捉することにより、ＤＣＡによる深度算定の正確度、精度、およびロバスト
性が改善される。構造化光データおよびタイムオブフライトデータを単一のフレームで捕
捉することにより、ＤＣＡの移動変化または動き変化に対する感度が低下し、ＤＣＡが単
一の検出器を使用してタイムオブフライトデータと構造化光データの両方の相対強度を活
用することができ、小型で軽量でよりコスト効率の良いＤＣＡの実施が提供される。
照明源によって放射される光を含む、局所領域からの光を捕捉する。局所領域内の対象物
によって反射された照明源からのタイムオブフライト情報を決定するために、撮像デバイ
スは画素群のアレイを含む検出器を含む。各画素群は、１つまたは複数の画素を含み、個
々の画素群は、照明源が放射されたパターンを変調するために使用されるキャリア信号の
位相に対して積分時間において個々の位相シフトに関連付けられる。検出器の個々の画素
群は個々の制御信号を受信するので、個々の画素群は、制御信号によって特定される個々
の時間に光を捕捉する。これにより、検出器の個々の画素群が変調されたパターンの個々
の位相を捕捉することが可能となる。例えば、互いに最も近い４つの画素群は、４つの画
素群の各々に個々の時間で光を捕捉させる個々の制御信号を受信し、４つの画素群の各々
によって捕捉された光は、４つの画素群内の他の画素群によって捕捉された光に対して９
０度の位相シフトを有する。ＤＣＡは、４つの画素群間の相対信号を比較して、相対的な
視野に基づいて検出器に亘って変化する対象物の位置に対するキャリア信号の正味の位相
または角度を導出する。導出された正味の位相または角度は、検出器の個々の画素群によ
って捕捉された光の信号差に基づく。ＤＣＡは、任意の適切な技術を用いて、相対信号に
おける時間オフセットを補償して、局所領域に放射された構造化パターンの画像を決定す
る。例えば、ＤＣＡは、相対信号の位相角を反転させて相対的な画素毎の放射照度をスケ
ーリングし、隣接する画素からの相対信号を加算して時間バイアスを除去するか、または
、相対信号の時間オフセットおよび検出器の個々の画素から導出された正味の位相または
角度におけるオフセットに基づいて他の適切な処理を行うことによって相対信号における
時間オフセットを補償する。したがって、ＤＣＡの撮像デバイスによって捕捉されたフレ
ームは、構造化光（すなわち空間）データおよびタイムオブフライト（すなわち時間的）
データを捕捉し、ＤＣＡによる局所領域の全体的な深度情報の算定が改善される。構造化
光データおよびタイムオブフライトデータは、ＤＣＡに対する局所領域の相対的な深度に
関する異なる情報を提供するので、フレーム内の構造化光データおよびタイムオブフライ
トデータを捕捉することにより、ＤＣＡによる深度算定の正確度、精度、およびロバスト
性が改善される。構造化光データおよびタイムオブフライトデータを単一のフレームで捕
捉することにより、ＤＣＡの移動変化または動き変化に対する感度が低下し、ＤＣＡが単
一の検出器を使用してタイムオブフライトデータと構造化光データの両方の相対強度を活
用することができ、小型で軽量でよりコスト効率の良いＤＣＡの実施が提供される。
図面は、例示のみを目的として本開示の実施形態を示す。当業者であれば、以下の説明
から、本明細書で説明した構造および方法の代替の実施形態を、本明細書に記載の原理ま
たは利点から逸脱することなく用いることができることを容易に認識するであろう。
から、本明細書で説明した構造および方法の代替の実施形態を、本明細書に記載の原理ま
たは利点から逸脱することなく用いることができることを容易に認識するであろう。
システムの概要
図１は、ＶＲコンソール１１０が動作する仮想現実（ＶＲ：ｖｉｒｔｕａｌ ｒｅａｌ
ｉｔｙ）システム環境１００の一実施形態のブロック図である。なお、図１は、例示のた
めのＶＲシステム環境を示しており、本明細書に記載された構成要素および機能は、様々
な実施形態における拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）システムに
含まれてもよい。本明細書で使用されるように、ＶＲシステム環境１００は、ユーザが対
話することができる仮想環境をユーザに提示する仮想現実システム環境を含み得る。図１
に示すＶＲシステム環境１００は、ＶＲコンソール１１０に接続されたＶＲヘッドセット
１０５およびＶＲ入出力（Ｉ／Ｏ）インタフェース１１５を備える。なお、図１は、１つ
のＶＲヘッドセット１０５および１つのＶＲ Ｉ／Ｏインタフェース１１５を含む例示的
なシステム１００を示しているが、他の実施形態では、任意の数のこれらの構成要素がＶ
Ｒシステム環境１００に含まれてもよい。例えば、複数のＶＲヘッドセット１０５が設け
られ、各ＶＲヘッドセット１０５が関連するＶＲ Ｉ／Ｏインタフェース１１５を有し、
各ＶＲヘッドセット１０５およびＶＲ Ｉ／Ｏインタフェース１１５がＶＲコンソール１
１０と通信してもよい。代替の構成では、異なる構成要素および／または追加の構成要素
をＶＲシステム環境１００に含ませることができる。さらに、いくつかの実施形態におい
て、図１に示される１つまたは複数の構成要素と関連して説明される機能が、図１に関連
して説明したのとは異なる方法で複数の構成要素に分配されてもよい。例えば、ＶＲコン
ソール１１０の機能の一部または全部は、ＶＲヘッドセット１０５によって提供される。
図１は、ＶＲコンソール１１０が動作する仮想現実（ＶＲ：ｖｉｒｔｕａｌ ｒｅａｌ
ｉｔｙ）システム環境１００の一実施形態のブロック図である。なお、図１は、例示のた
めのＶＲシステム環境を示しており、本明細書に記載された構成要素および機能は、様々
な実施形態における拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）システムに
含まれてもよい。本明細書で使用されるように、ＶＲシステム環境１００は、ユーザが対
話することができる仮想環境をユーザに提示する仮想現実システム環境を含み得る。図１
に示すＶＲシステム環境１００は、ＶＲコンソール１１０に接続されたＶＲヘッドセット
１０５およびＶＲ入出力（Ｉ／Ｏ）インタフェース１１５を備える。なお、図１は、１つ
のＶＲヘッドセット１０５および１つのＶＲ Ｉ／Ｏインタフェース１１５を含む例示的
なシステム１００を示しているが、他の実施形態では、任意の数のこれらの構成要素がＶ
Ｒシステム環境１００に含まれてもよい。例えば、複数のＶＲヘッドセット１０５が設け
られ、各ＶＲヘッドセット１０５が関連するＶＲ Ｉ／Ｏインタフェース１１５を有し、
各ＶＲヘッドセット１０５およびＶＲ Ｉ／Ｏインタフェース１１５がＶＲコンソール１
１０と通信してもよい。代替の構成では、異なる構成要素および／または追加の構成要素
をＶＲシステム環境１００に含ませることができる。さらに、いくつかの実施形態におい
て、図１に示される１つまたは複数の構成要素と関連して説明される機能が、図１に関連
して説明したのとは異なる方法で複数の構成要素に分配されてもよい。例えば、ＶＲコン
ソール１１０の機能の一部または全部は、ＶＲヘッドセット１０５によって提供される。
ＶＲヘッドセット１０５は、コンピュータが生成した要素（例えば、２次元（２Ｄ）ま
たは３次元（３Ｄ）画像、２Ｄまたは３Ｄ動画、音声他）を用いて物理的な現実世界環境
の拡大ビューを含むコンテンツをユーザに提示するヘッドマウントディスプレイである。
いくつかの実施形態では、提示されるコンテンツは、ＶＲヘッドセット１０５、ＶＲコン
ソール１１０、またはその両方からオーディオ情報を受信し、オーディオ情報に基づいて
オーディオデータを提示する外部デバイス（例えば、スピーカおよび／またはヘッドフォ
ン）を介して提示されるオーディオを含む。ＶＲヘッドセット１０５の一実施形態は、図
２および図３に関連して以下でさらに説明される。ＶＲヘッドセット１０５は、互いに強
固にまたは非剛性に結合され得る１つまたは複数の剛体を備え得る。剛体間の堅固な結合
は、結合された剛体を単一の剛体として機能させる。対照的に、剛体間の非剛性結合は、
剛体が互いに対して移動することを可能にする。
たは３次元（３Ｄ）画像、２Ｄまたは３Ｄ動画、音声他）を用いて物理的な現実世界環境
の拡大ビューを含むコンテンツをユーザに提示するヘッドマウントディスプレイである。
いくつかの実施形態では、提示されるコンテンツは、ＶＲヘッドセット１０５、ＶＲコン
ソール１１０、またはその両方からオーディオ情報を受信し、オーディオ情報に基づいて
オーディオデータを提示する外部デバイス（例えば、スピーカおよび／またはヘッドフォ
ン）を介して提示されるオーディオを含む。ＶＲヘッドセット１０５の一実施形態は、図
２および図３に関連して以下でさらに説明される。ＶＲヘッドセット１０５は、互いに強
固にまたは非剛性に結合され得る１つまたは複数の剛体を備え得る。剛体間の堅固な結合
は、結合された剛体を単一の剛体として機能させる。対照的に、剛体間の非剛性結合は、
剛体が互いに対して移動することを可能にする。
ＶＲヘッドセット１０５は、デプスカメラ部品（ＤＣＡ：ｄｅｐｔｈ ｃａｍｅｒａ
ａｓｓｅｍｂｌｙ）１２０、電子ディスプレイ１２５、光学ブロック１３０、１つまたは
複数の位置センサ１３５、および慣性測定ユニット（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａ
ｓｕｒｅｍｅｎｔ Ｕｎｉｔ）１４０を含む。ＶＲヘッドセット１０５のいくつかの実施
形態は、図１に関連して説明されるものとは異なる構成要素を有する。さらに、図１に関
連して説明した様々な構成要素によって提供される機能は、他の実施形態では、ＶＲヘッ
ドセット１０５の構成要素において異なるようにして分散されてもよい。
ａｓｓｅｍｂｌｙ）１２０、電子ディスプレイ１２５、光学ブロック１３０、１つまたは
複数の位置センサ１３５、および慣性測定ユニット（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａ
ｓｕｒｅｍｅｎｔ Ｕｎｉｔ）１４０を含む。ＶＲヘッドセット１０５のいくつかの実施
形態は、図１に関連して説明されるものとは異なる構成要素を有する。さらに、図１に関
連して説明した様々な構成要素によって提供される機能は、他の実施形態では、ＶＲヘッ
ドセット１０５の構成要素において異なるようにして分散されてもよい。
ＤＣＡ１２０は、ＶＲヘッドセット１０５を取り囲む領域の深度情報を表すデータを捕
捉する。ＤＣＡ１２０のいくつかの実施形態は、１つまたは複数の撮像デバイス（たとえ
ば、カメラ、ビデオカメラ）と、構造化光（ＳＬ：ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ）
パターンを放射するように構成された照明源とを含む。以下にさらに説明するように、構
造化光は、対称ドットパターンまたは準ランダムドットパターン、グリッド、または水平
バーなどの特定のパターンをシーンに投影する。例えば、照明源は、ＶＲヘッドセット１
０５を取り囲む環境上にグリッドまたは一連の水平バーを放射する。三角測量または表面
に投影されたときのパターンの認識される変形に基づいて、シーン内の対象物の深度情報
および表面情報が決定される。
捉する。ＤＣＡ１２０のいくつかの実施形態は、１つまたは複数の撮像デバイス（たとえ
ば、カメラ、ビデオカメラ）と、構造化光（ＳＬ：ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ）
パターンを放射するように構成された照明源とを含む。以下にさらに説明するように、構
造化光は、対称ドットパターンまたは準ランダムドットパターン、グリッド、または水平
バーなどの特定のパターンをシーンに投影する。例えば、照明源は、ＶＲヘッドセット１
０５を取り囲む環境上にグリッドまたは一連の水平バーを放射する。三角測量または表面
に投影されたときのパターンの認識される変形に基づいて、シーン内の対象物の深度情報
および表面情報が決定される。
ＶＲヘッドセット１０５を取り囲む領域の深度情報をよりよく捕捉するために、ＤＣＡ
１２０は、照明源から放射された光がＶＲヘッドセット１０５を取り囲む領域内の対象物
から反射して１つまたは複数の撮像デバイスに戻る時間を表すタイムオブフライト（ｔｉ
ｍｅ ｏｆ ｆｌｉｇｈｔ）情報を捕捉する。様々な実施形態において、ＤＣＡ１２０は
、構造化光情報と同時にまたはほぼ同時にタイムオブフライト情報を捕捉する。１つまた
は複数の撮像デバイスによって放射された光が捕捉される時間に基づいて、ＤＣＡ１２０
は、ＤＣＡ１２０と、照明源からの光を反射する、ＶＲヘッドセット１０５を取り囲む領
域内の対象物との間の距離を決定する。タイムオブフライト情報および構造化光情報を捕
捉するために、照明源は、放射されるＳＬパターンを、３０ＭＨｚ（様々な実施形態では
、周波数は５ＭＨｚと５ＧＨｚとの間の周波数範囲から選択され得る）等の特定の周波数
を有するキャリア信号で変調する。
１２０は、照明源から放射された光がＶＲヘッドセット１０５を取り囲む領域内の対象物
から反射して１つまたは複数の撮像デバイスに戻る時間を表すタイムオブフライト（ｔｉ
ｍｅ ｏｆ ｆｌｉｇｈｔ）情報を捕捉する。様々な実施形態において、ＤＣＡ１２０は
、構造化光情報と同時にまたはほぼ同時にタイムオブフライト情報を捕捉する。１つまた
は複数の撮像デバイスによって放射された光が捕捉される時間に基づいて、ＤＣＡ１２０
は、ＤＣＡ１２０と、照明源からの光を反射する、ＶＲヘッドセット１０５を取り囲む領
域内の対象物との間の距離を決定する。タイムオブフライト情報および構造化光情報を捕
捉するために、照明源は、放射されるＳＬパターンを、３０ＭＨｚ（様々な実施形態では
、周波数は５ＭＨｚと５ＧＨｚとの間の周波数範囲から選択され得る）等の特定の周波数
を有するキャリア信号で変調する。
撮像デバイスは、特定の波長範囲の光（即ち、「波長帯域」の光）を捕捉して記録する
。撮像デバイスによって捕捉される例示的な光の波長帯域は、可視帯域（３８０ｎｍ〜７
５０ｎｍ）、赤外線（ＩＲ）帯域（７５０ｎｍ〜２２００ｎｍ）、紫外線帯域（１００ｎ
ｍ〜３８０ｎｍ）、電磁波スペクトルの別の一部、またはそれらのいくつかの組合せを含
む。いくつかの実施形態では、撮像デバイスは、可視帯域および赤外帯域の光を含む画像
を捕捉する。ＶＲヘッドセット１０５を取り囲む領域内の対象物から反射された構造化光
パターンからの光を共同で捕捉し、照明源からのキャリア信号がその領域内の対象物から
ＤＣＡ１２０に反射する時間を決定するために、撮像デバイスは、画素群のアレイを含む
検出器を含む。各画素群は、１つまたは複数の画素を含み、個々の画素群は、キャリア信
号の位相とは異なる位相シフトで関連付けられている。様々な実施形態では、照明源によ
って放射されたキャリア信号によって変調された個々の時間位相のパターンを捕捉するた
めに個々の画素群が互いに異なる時間に起動される。例えば、画素群は、個々の時間に起
動され、隣接する画素群は、互いに対して約９０度、１８０度、または２７０度の位相シ
フトを有する光を捕捉する。ＤＣＡ１２０は、個々の画素群によって捕捉された信号デー
タから、ＤＣＡ１２０からの深度と等しいキャリア信号の位相を導出する。また、捕捉さ
れたデータは、空間パターンの画像フレームを、時間領域に亘る全画素電荷の合計によっ
て、またはキャリア位相信号を補正した後に生成する。ＤＣＡ１２０については、図３〜
図４Ｄを参照して以下でさらに説明する。
。撮像デバイスによって捕捉される例示的な光の波長帯域は、可視帯域（３８０ｎｍ〜７
５０ｎｍ）、赤外線（ＩＲ）帯域（７５０ｎｍ〜２２００ｎｍ）、紫外線帯域（１００ｎ
ｍ〜３８０ｎｍ）、電磁波スペクトルの別の一部、またはそれらのいくつかの組合せを含
む。いくつかの実施形態では、撮像デバイスは、可視帯域および赤外帯域の光を含む画像
を捕捉する。ＶＲヘッドセット１０５を取り囲む領域内の対象物から反射された構造化光
パターンからの光を共同で捕捉し、照明源からのキャリア信号がその領域内の対象物から
ＤＣＡ１２０に反射する時間を決定するために、撮像デバイスは、画素群のアレイを含む
検出器を含む。各画素群は、１つまたは複数の画素を含み、個々の画素群は、キャリア信
号の位相とは異なる位相シフトで関連付けられている。様々な実施形態では、照明源によ
って放射されたキャリア信号によって変調された個々の時間位相のパターンを捕捉するた
めに個々の画素群が互いに異なる時間に起動される。例えば、画素群は、個々の時間に起
動され、隣接する画素群は、互いに対して約９０度、１８０度、または２７０度の位相シ
フトを有する光を捕捉する。ＤＣＡ１２０は、個々の画素群によって捕捉された信号デー
タから、ＤＣＡ１２０からの深度と等しいキャリア信号の位相を導出する。また、捕捉さ
れたデータは、空間パターンの画像フレームを、時間領域に亘る全画素電荷の合計によっ
て、またはキャリア位相信号を補正した後に生成する。ＤＣＡ１２０については、図３〜
図４Ｄを参照して以下でさらに説明する。
電子ディスプレイ１２５は、ＶＲコンソール１１０から受信したデータに従って２Ｄま
たは３Ｄ画像をユーザに表示する。種々の実施形態において、電子ディスプレイ１２５は
、単一の電子ディスプレイまたは複数の電子ディスプレイ（例えば、ユーザの各眼に対す
るディスプレイ）を含む。例示的な電子ディスプレイ１２５は、液晶ディスプレイ（ＬＣ
Ｄ：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、有機発光ダイオード（ＯＬＥＤ
：ｏｒｇａｎｉｃ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）ディスプレイ、アクテ
ィブマトリクス有機発光ダイオードディスプレイ（ＡＭＯＬＥＤ：ａｃｔｉｖｅ−ｍａｔ
ｒｉｘ ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、その他のディ
スプレイ、またはそれらの組合せを含む。
たは３Ｄ画像をユーザに表示する。種々の実施形態において、電子ディスプレイ１２５は
、単一の電子ディスプレイまたは複数の電子ディスプレイ（例えば、ユーザの各眼に対す
るディスプレイ）を含む。例示的な電子ディスプレイ１２５は、液晶ディスプレイ（ＬＣ
Ｄ：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、有機発光ダイオード（ＯＬＥＤ
：ｏｒｇａｎｉｃ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）ディスプレイ、アクテ
ィブマトリクス有機発光ダイオードディスプレイ（ＡＭＯＬＥＤ：ａｃｔｉｖｅ−ｍａｔ
ｒｉｘ ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、その他のディ
スプレイ、またはそれらの組合せを含む。
光学ブロック１３０は、電子ディスプレイ１２５から受け取った画像光を拡大し、画像
光に関連する光学誤差を補正し、かつ補正された画像光をＶＲヘッドセット１０５のユー
ザに提示する。様々な実施形態において、光学ブロック１３０は、１つまたは複数の光学
素子を含む。光学ブロック１３０に含まれる例示的な光学素子は、開口、フレネルレンズ
、凸レンズ、凹レンズ、フィルタ、反射面、または画像光に影響を与える他の任意の適切
な光学素子を含む。さらに、光学ブロック１３０は、異なる光学素子の組合せを含み得る
。いくつかの実施形態では、光学ブロック１３０内の１つまたは複数の光学素子は、反射
防止コーティングのような１つまたは複数のコーティングを有することができる。
光に関連する光学誤差を補正し、かつ補正された画像光をＶＲヘッドセット１０５のユー
ザに提示する。様々な実施形態において、光学ブロック１３０は、１つまたは複数の光学
素子を含む。光学ブロック１３０に含まれる例示的な光学素子は、開口、フレネルレンズ
、凸レンズ、凹レンズ、フィルタ、反射面、または画像光に影響を与える他の任意の適切
な光学素子を含む。さらに、光学ブロック１３０は、異なる光学素子の組合せを含み得る
。いくつかの実施形態では、光学ブロック１３０内の１つまたは複数の光学素子は、反射
防止コーティングのような１つまたは複数のコーティングを有することができる。
光学ブロック１３０による画像光の拡大および集束は、より大きなディスプレイよりも
電子ディスプレイ１２５を物理的に小さくし、重量を低減し、消費電力を低減することを
可能にする。さらに、拡大は、電子ディスプレイ１２５によって提示されるコンテンツの
視野を増加させる。例えば、表示されたコンテンツの視野は、表示されたコンテンツが、
ユーザの視野のほぼすべて（例えば、約１１０度傾斜）、および場合によっては全部を使
用して提示されるようになっている。さらにいくつかの実施形態では、光学素子を追加ま
たは除去することによって拡大の量を調整することができる。
電子ディスプレイ１２５を物理的に小さくし、重量を低減し、消費電力を低減することを
可能にする。さらに、拡大は、電子ディスプレイ１２５によって提示されるコンテンツの
視野を増加させる。例えば、表示されたコンテンツの視野は、表示されたコンテンツが、
ユーザの視野のほぼすべて（例えば、約１１０度傾斜）、および場合によっては全部を使
用して提示されるようになっている。さらにいくつかの実施形態では、光学素子を追加ま
たは除去することによって拡大の量を調整することができる。
いくつかの実施形態では、光学ブロック１３０は、１つまたは複数のタイプの光学誤差
を補正するように設計されてもよい。光学誤差の例には、バレル歪み、ピンクッション歪
み、軸上色収差、または横方向色収差が含まれる。他のタイプの光学誤差は、球面収差、
コマ収差またはレンズ像面湾曲による誤差、非点収差、または他のタイプの光学誤差をさ
らに含み得る。いくつかの実施形態では、表示のために電子ディスプレイ１２５に提供さ
れるコンテンツは予歪状態であり、光学ブロック１３０は、コンテンツに基づいて生成さ
れた電子ディスプレイ１２５から画像光を受け取るときに歪みを補正する。
を補正するように設計されてもよい。光学誤差の例には、バレル歪み、ピンクッション歪
み、軸上色収差、または横方向色収差が含まれる。他のタイプの光学誤差は、球面収差、
コマ収差またはレンズ像面湾曲による誤差、非点収差、または他のタイプの光学誤差をさ
らに含み得る。いくつかの実施形態では、表示のために電子ディスプレイ１２５に提供さ
れるコンテンツは予歪状態であり、光学ブロック１３０は、コンテンツに基づいて生成さ
れた電子ディスプレイ１２５から画像光を受け取るときに歪みを補正する。
ＩＭＵ１４０は、１つまたは複数の位置センサ１３５から受信した測定信号に基づいて
、およびＤＣＡ１２０から受信した深度情報からＶＲヘッドセット１０５の位置を示すデ
ータを生成する電子デバイスである。位置センサ１３５は、ＶＲヘッドセット１０５の動
きに応答した１つまたは複数の測定信号を生成する。位置センサ１３５の例には、１つま
たは複数の加速度計、１つまたは複数のジャイロスコープ、１つまたは複数の磁力計、動
きを検出する別の適切なタイプのセンサ、ＩＭＵ１４０の誤差補正に使用されるあるタイ
プのセンサ、またはそれらの組合せが含まれる。位置センサ１３５は、ＩＭＵ１４０の外
部に、ＩＭＵ１４０の内部に、またはそれらの位置の組合せに配置することができる。
、およびＤＣＡ１２０から受信した深度情報からＶＲヘッドセット１０５の位置を示すデ
ータを生成する電子デバイスである。位置センサ１３５は、ＶＲヘッドセット１０５の動
きに応答した１つまたは複数の測定信号を生成する。位置センサ１３５の例には、１つま
たは複数の加速度計、１つまたは複数のジャイロスコープ、１つまたは複数の磁力計、動
きを検出する別の適切なタイプのセンサ、ＩＭＵ１４０の誤差補正に使用されるあるタイ
プのセンサ、またはそれらの組合せが含まれる。位置センサ１３５は、ＩＭＵ１４０の外
部に、ＩＭＵ１４０の内部に、またはそれらの位置の組合せに配置することができる。
ＩＭＵ１４０は、１つまたは複数の位置センサ１３５からの１つまたは複数の測定信号
に基づいて、ＶＲヘッドセット１０５の初期位置に対するＶＲヘッドセット１０５の推定
の現在位置を示すデータを生成する。例えば、位置センサ１３５は、並進運動（前後、上
下、左右）を測定する複数の加速度計、および回転運動（例えば、ピッチ、ヨー、ロール
）を測定する複数のジャイロスコープを含む。いくつかの実施形態では、ＩＭＵ１４０は
測定信号を迅速にサンプリングし、サンプリングされたデータからＶＲヘッドセット１０
５の推定の現在位置を計算する。例えば、ＩＭＵ１４０は、加速度計から受信した測定信
号を経時的に積分して速度ベクトルを推定し、速度ベクトルを経時的に積分して、ＶＲヘ
ッドセット１０５上の基準点の推定の現在位置を決定する。代替的に、ＩＭＵ１４０は、
サンプリングされた測定信号をＶＲコンソール１１０に提供し、ＩＭＵ１４０は、データ
を解釈して誤差を低減する。基準点は、ＶＲヘッドセット１０５の位置を表すために使用
され得る点である。基準点は、一般に、ＶＲヘッドセット１０５の向きおよび位置に関連
する空間内の点または位置として定義され得る。
に基づいて、ＶＲヘッドセット１０５の初期位置に対するＶＲヘッドセット１０５の推定
の現在位置を示すデータを生成する。例えば、位置センサ１３５は、並進運動（前後、上
下、左右）を測定する複数の加速度計、および回転運動（例えば、ピッチ、ヨー、ロール
）を測定する複数のジャイロスコープを含む。いくつかの実施形態では、ＩＭＵ１４０は
測定信号を迅速にサンプリングし、サンプリングされたデータからＶＲヘッドセット１０
５の推定の現在位置を計算する。例えば、ＩＭＵ１４０は、加速度計から受信した測定信
号を経時的に積分して速度ベクトルを推定し、速度ベクトルを経時的に積分して、ＶＲヘ
ッドセット１０５上の基準点の推定の現在位置を決定する。代替的に、ＩＭＵ１４０は、
サンプリングされた測定信号をＶＲコンソール１１０に提供し、ＩＭＵ１４０は、データ
を解釈して誤差を低減する。基準点は、ＶＲヘッドセット１０５の位置を表すために使用
され得る点である。基準点は、一般に、ＶＲヘッドセット１０５の向きおよび位置に関連
する空間内の点または位置として定義され得る。
ＩＭＵ１４０は、ＶＲコンソール１１０から１つまたは複数のパラメータを受信する。
以下でさらに説明するように、１つまたは複数のパラメータは、ＶＲヘッドセット１０５
の追跡を維持するために使用される。受信したパラメータに基づいて、ＩＭＵ１４０は、
１つまたは複数のＩＭＵパラメータ（例えば、サンプルレート）を調整することができる
。いくつかの実施形態では、特定のパラメータによって、ＩＭＵ１４０は、基準点の初期
位置が基準点の次の位置に対応するように基準点の初期位置を更新する。基準点の次の較
正された位置として基準点の初期位置を更新することは、ＩＭＵ１４０の推定の現在の位
置に関連する累積誤差を低減するのに役立つ。累積誤差は、ドリフト誤差とも呼ばれ、推
定の基準点の位置を基準点の実際の位置から経時的に「離脱」させる。ＶＲヘッドセット
１０５のいくつかの実施形態では、ＩＭＵ１４０は、専用ハードウェアコンポーネントで
あってもよい。他の実施形態では、ＩＭＵ１４０は、１つまたは複数のプロセッサに実装
されたソフトウェアコンポーネントであってもよい。
以下でさらに説明するように、１つまたは複数のパラメータは、ＶＲヘッドセット１０５
の追跡を維持するために使用される。受信したパラメータに基づいて、ＩＭＵ１４０は、
１つまたは複数のＩＭＵパラメータ（例えば、サンプルレート）を調整することができる
。いくつかの実施形態では、特定のパラメータによって、ＩＭＵ１４０は、基準点の初期
位置が基準点の次の位置に対応するように基準点の初期位置を更新する。基準点の次の較
正された位置として基準点の初期位置を更新することは、ＩＭＵ１４０の推定の現在の位
置に関連する累積誤差を低減するのに役立つ。累積誤差は、ドリフト誤差とも呼ばれ、推
定の基準点の位置を基準点の実際の位置から経時的に「離脱」させる。ＶＲヘッドセット
１０５のいくつかの実施形態では、ＩＭＵ１４０は、専用ハードウェアコンポーネントで
あってもよい。他の実施形態では、ＩＭＵ１４０は、１つまたは複数のプロセッサに実装
されたソフトウェアコンポーネントであってもよい。
ＶＲ Ｉ／Ｏインタフェース１１５は、ユーザがアクション要求を送信し、ＶＲコンソ
ール１１０から応答を受信することを可能にするデバイスである。アクション要求は、特
定のアクションを実行するための要求である。例えば、アクション要求は、画像またはビ
デオデータの捕捉を開始または終了するための命令、またはアプリケーション内で特定の
アクションを実行するための命令であってもよい。ＶＲ Ｉ／Ｏインタフェース１１５は
、１つまたは複数の入力デバイスを含むことができる。例示的な入力デバイスには、キー
ボード、マウス、ゲームコントローラ、またはアクション要求を受け取り、ＶＲコンソー
ル１１０にアクション要求を伝達するための他の適切な装置が含まれる。ＶＲ Ｉ／Ｏイ
ンタフェース１１５によって受信されたアクション要求は、アクション要求に対応するア
クションを実行するＶＲコンソール１１０に伝達される。いくつかの実施形態では、ＶＲ
Ｉ／Ｏインタフェース１１５は、ＶＲ Ｉ／Ｏインタフェース１１５の初期位置に対す
るＶＲ Ｉ／Ｏインタフェース１１５の推定の位置を示す較正データを取得する上述した
ようなＩＭＵ １４０をさらに含む。いくつかの実施形態では、ＶＲ Ｉ／Ｏインタフェ
ース１１５は、ＶＲコンソール１１０から受信した指示に従ってユーザに触覚フィードバ
ックを提供することができる。例えば、アクション要求が受信されたときに触覚フィード
バックが提供されるか、またはＶＲコンソール１１０がアクションを実行するときにＶＲ
コンソール１１０がＶＲ Ｉ／Ｏインタフェース１１５に命令を送り、ＶＲ Ｉ／Ｏイン
タフェース１１５に触覚フィードバックを生成させる。
ール１１０から応答を受信することを可能にするデバイスである。アクション要求は、特
定のアクションを実行するための要求である。例えば、アクション要求は、画像またはビ
デオデータの捕捉を開始または終了するための命令、またはアプリケーション内で特定の
アクションを実行するための命令であってもよい。ＶＲ Ｉ／Ｏインタフェース１１５は
、１つまたは複数の入力デバイスを含むことができる。例示的な入力デバイスには、キー
ボード、マウス、ゲームコントローラ、またはアクション要求を受け取り、ＶＲコンソー
ル１１０にアクション要求を伝達するための他の適切な装置が含まれる。ＶＲ Ｉ／Ｏイ
ンタフェース１１５によって受信されたアクション要求は、アクション要求に対応するア
クションを実行するＶＲコンソール１１０に伝達される。いくつかの実施形態では、ＶＲ
Ｉ／Ｏインタフェース１１５は、ＶＲ Ｉ／Ｏインタフェース１１５の初期位置に対す
るＶＲ Ｉ／Ｏインタフェース１１５の推定の位置を示す較正データを取得する上述した
ようなＩＭＵ １４０をさらに含む。いくつかの実施形態では、ＶＲ Ｉ／Ｏインタフェ
ース１１５は、ＶＲコンソール１１０から受信した指示に従ってユーザに触覚フィードバ
ックを提供することができる。例えば、アクション要求が受信されたときに触覚フィード
バックが提供されるか、またはＶＲコンソール１１０がアクションを実行するときにＶＲ
コンソール１１０がＶＲ Ｉ／Ｏインタフェース１１５に命令を送り、ＶＲ Ｉ／Ｏイン
タフェース１１５に触覚フィードバックを生成させる。
ＶＲコンソール１１０は、ＤＣＡ１２０、ＶＲヘッドセット１０５、およびＶＲ Ｉ／
Ｏインタフェース１１５のうちの１つまたは複数から受信した情報に従って処理するため
にＶＲヘッドセット１０５にコンテンツを提供する。図１に示すように、ＶＲコンソール
１１０は、アプリケーションストア１５０、追跡モジュール１５５、およびＶＲエンジン
１４５を含む。ＶＲコンソール１１０のいくつかの実施形態は、図１に関連して説明した
ものとは異なるモジュールまたは構成要素を有する。同様に、以下でさらに説明される機
能は、図１と関連して説明したものとは異なる方法で、ＶＲコンソール１１０の複数の構
成要素に分散されてもよい。
Ｏインタフェース１１５のうちの１つまたは複数から受信した情報に従って処理するため
にＶＲヘッドセット１０５にコンテンツを提供する。図１に示すように、ＶＲコンソール
１１０は、アプリケーションストア１５０、追跡モジュール１５５、およびＶＲエンジン
１４５を含む。ＶＲコンソール１１０のいくつかの実施形態は、図１に関連して説明した
ものとは異なるモジュールまたは構成要素を有する。同様に、以下でさらに説明される機
能は、図１と関連して説明したものとは異なる方法で、ＶＲコンソール１１０の複数の構
成要素に分散されてもよい。
アプリケーションストア１５０は、ＶＲコンソール１１０による実行のための１つまた
は複数のアプリケーションを格納する。アプリケーションは、プロセッサによる実行時に
、ユーザに提示するためのコンテンツを生成する１つのグループの命令である。アプリケ
ーションによって生成されるコンテンツは、ＶＲヘッドセット１０５またはＶＲ Ｉ／Ｏ
インタフェース１１５の動きによりユーザから受信した入力に応答したものであってもよ
い。アプリケーションの例には、ゲームアプリケーション、会議アプリケーション、ビデ
オ再生アプリケーション、または他の適切なアプリケーションが含まれる。
は複数のアプリケーションを格納する。アプリケーションは、プロセッサによる実行時に
、ユーザに提示するためのコンテンツを生成する１つのグループの命令である。アプリケ
ーションによって生成されるコンテンツは、ＶＲヘッドセット１０５またはＶＲ Ｉ／Ｏ
インタフェース１１５の動きによりユーザから受信した入力に応答したものであってもよ
い。アプリケーションの例には、ゲームアプリケーション、会議アプリケーション、ビデ
オ再生アプリケーション、または他の適切なアプリケーションが含まれる。
追跡モジュール１５５は、１つまたは複数の較正パラメータを使用してＶＲシステム環
境１００を較正するとともに、１つまたは複数の較正パラメータを調整して、ＶＲヘッド
セット１０５またはＶＲ Ｉ／Ｏインタフェース１１５の位置の決定における誤差を低減
することができる。例えば、追跡モジュール１５５は、較正パラメータをＤＣＡ１２０に
伝達してＤＣＡ１２０の焦点を調整し、ＤＣＡ１２０によって捕捉されるＳＬ要素の位置
をより正確に決定する。追跡モジュール１５５によって実行される較正はまた、ＶＲヘッ
ドセット１０５内のＩＭＵ１４０および／またはＶＲ Ｉ／Ｏインタフェース１１５に含
まれるＩＭＵ１４０から受信した情報を考慮する。さらに、ＶＲヘッドセット１０５の追
跡を喪失した場合（例えば、ＤＣＡ１２０が少なくとも閾値数のＳＬ要素の照準線を喪失
する）、追跡モジュール１４０は、ＶＲシステム環境１００の一部または全部を再較正す
ることができる。
境１００を較正するとともに、１つまたは複数の較正パラメータを調整して、ＶＲヘッド
セット１０５またはＶＲ Ｉ／Ｏインタフェース１１５の位置の決定における誤差を低減
することができる。例えば、追跡モジュール１５５は、較正パラメータをＤＣＡ１２０に
伝達してＤＣＡ１２０の焦点を調整し、ＤＣＡ１２０によって捕捉されるＳＬ要素の位置
をより正確に決定する。追跡モジュール１５５によって実行される較正はまた、ＶＲヘッ
ドセット１０５内のＩＭＵ１４０および／またはＶＲ Ｉ／Ｏインタフェース１１５に含
まれるＩＭＵ１４０から受信した情報を考慮する。さらに、ＶＲヘッドセット１０５の追
跡を喪失した場合（例えば、ＤＣＡ１２０が少なくとも閾値数のＳＬ要素の照準線を喪失
する）、追跡モジュール１４０は、ＶＲシステム環境１００の一部または全部を再較正す
ることができる。
追跡モジュール１５５は、ＤＣＡ１２０、１つまたは複数の位置センサ１３５、ＩＭＵ
１４０またはそれらのいくつかの組合せからの情報を使用してＶＲヘッドセット１０５ま
たはＶＲ Ｉ／Ｏインタフェース１１５の動きを追跡する。例えば、追跡モジュール１５
５は、ＶＲヘッドセット１０５からの情報に基づいて局所領域のマッピングにおけるＶＲ
ヘッドセット１０５の基準点の位置を決定する。追跡モジュール１５５は、ＩＭＵ１４０
からのＶＲヘッドセット１０５の位置を示すデータを使用して、またはＶＲ Ｉ／Ｏイン
タフェース１１５に含まれるＩＭＵ１４０からのＶＲ Ｉ／Ｏインタフェース１１５の位
置を示すデータを使用して、ＶＲヘッドセット１０５の基準点の位置またはＶＲ Ｉ／Ｏ
インタフェース１１５の基準点を決定する。さらに、いくつかの実施形態では、追跡モジ
ュール１５５は、ＩＭＵ１４０からのＶＲヘッドセット１０５の位置を示すデータの一部
ならびにＤＣＡ１２０からの局所領域の表現を使用してＶＲヘッドセット１０５の将来の
位置を予測することができる。追跡モジュール１５５は、ＶＲヘッドセット１０５または
ＶＲ Ｉ／Ｏインタフェース１１５の推定または予測した将来の位置をＶＲエンジン１４
５に提供する。
１４０またはそれらのいくつかの組合せからの情報を使用してＶＲヘッドセット１０５ま
たはＶＲ Ｉ／Ｏインタフェース１１５の動きを追跡する。例えば、追跡モジュール１５
５は、ＶＲヘッドセット１０５からの情報に基づいて局所領域のマッピングにおけるＶＲ
ヘッドセット１０５の基準点の位置を決定する。追跡モジュール１５５は、ＩＭＵ１４０
からのＶＲヘッドセット１０５の位置を示すデータを使用して、またはＶＲ Ｉ／Ｏイン
タフェース１１５に含まれるＩＭＵ１４０からのＶＲ Ｉ／Ｏインタフェース１１５の位
置を示すデータを使用して、ＶＲヘッドセット１０５の基準点の位置またはＶＲ Ｉ／Ｏ
インタフェース１１５の基準点を決定する。さらに、いくつかの実施形態では、追跡モジ
ュール１５５は、ＩＭＵ１４０からのＶＲヘッドセット１０５の位置を示すデータの一部
ならびにＤＣＡ１２０からの局所領域の表現を使用してＶＲヘッドセット１０５の将来の
位置を予測することができる。追跡モジュール１５５は、ＶＲヘッドセット１０５または
ＶＲ Ｉ／Ｏインタフェース１１５の推定または予測した将来の位置をＶＲエンジン１４
５に提供する。
ＶＲエンジン１４５は、ＶＲヘッドセット１０５から受信した情報に基づいて、ＶＲヘ
ッドセット１０５を取り囲む領域（即ち、「局所領域」）の３Ｄマッピングを生成する。
いくつかの実施形態では、ＶＲエンジン１４５は、ＶＲヘッドセット１０５のＤＣＡ１２
０によって捕捉された変形したＳＬ要素の画像に基づいて、ＤＣＡ１２０によって放射さ
れた光がＶＲヘッドセット１０５を取り囲む領域内の１つまたは複数の対象物によって反
射された後にＤＣＡ１２０によって検出される経過時間に基づいて、またはＤＣＡ１２０
によって捕捉された変形したＳＬ要素の画像と、ＤＣＡ１２０によって放射された光がＶ
Ｒヘッドセット１０５を取り囲む領域内の１つまたは複数の対象物によって反射された後
にＤＣＡ１２０によって検出される経過時間との組合わせに基づいて局所領域の３Ｄマッ
ピングに関する深度情報を決定する。様々な実施形態では、ＶＲエンジン１４５は、ＤＣ
Ａ１２０によって決定された個々のタイプの情報、またはＤＣＡ１２０によって決定され
た組合せのタイプの情報を使用する。
ッドセット１０５を取り囲む領域（即ち、「局所領域」）の３Ｄマッピングを生成する。
いくつかの実施形態では、ＶＲエンジン１４５は、ＶＲヘッドセット１０５のＤＣＡ１２
０によって捕捉された変形したＳＬ要素の画像に基づいて、ＤＣＡ１２０によって放射さ
れた光がＶＲヘッドセット１０５を取り囲む領域内の１つまたは複数の対象物によって反
射された後にＤＣＡ１２０によって検出される経過時間に基づいて、またはＤＣＡ１２０
によって捕捉された変形したＳＬ要素の画像と、ＤＣＡ１２０によって放射された光がＶ
Ｒヘッドセット１０５を取り囲む領域内の１つまたは複数の対象物によって反射された後
にＤＣＡ１２０によって検出される経過時間との組合わせに基づいて局所領域の３Ｄマッ
ピングに関する深度情報を決定する。様々な実施形態では、ＶＲエンジン１４５は、ＤＣ
Ａ１２０によって決定された個々のタイプの情報、またはＤＣＡ１２０によって決定され
た組合せのタイプの情報を使用する。
ＶＲエンジン１４５はまた、ＶＲシステム環境１００内のアプリケーションを実行して
、ＶＲヘッドセット１０５の位置情報、加速度情報、速度情報、予測した将来の位置、ま
たはそれらのいくつかの組合せを追跡モジュール１５５から受信する。受信した情報に基
づいて、ＶＲエンジン１４５は、ユーザに提示するためにＶＲヘッドセット１０５に提供
するコンテンツを決定する。例えば、受信した情報が、ユーザが左方向を見たことを示し
ている場合、ＶＲエンジン１４５は、バーチャル環境または追加のコンテンツで局所領域
を拡張する環境においてユーザの動きを反映するＶＲヘッドセット１０５に対するコンテ
ンツを生成する。さらに、ＶＲエンジン１４５は、ＶＲ Ｉ／Ｏインタフェース１１５か
ら受信したアクション要求に応答してＶＲコンソール１１０上で実行中のアプリケーショ
ン内でアクションを実行し、アクションが実行されたことをユーザにフィードバックする
。提供されるフィードバックは、ＶＲヘッドセット１０５による視覚的または聴覚的なフ
ィードバックまたはＶＲ Ｉ／Ｏインタフェース１１５による触覚フィードバックであり
得る。
、ＶＲヘッドセット１０５の位置情報、加速度情報、速度情報、予測した将来の位置、ま
たはそれらのいくつかの組合せを追跡モジュール１５５から受信する。受信した情報に基
づいて、ＶＲエンジン１４５は、ユーザに提示するためにＶＲヘッドセット１０５に提供
するコンテンツを決定する。例えば、受信した情報が、ユーザが左方向を見たことを示し
ている場合、ＶＲエンジン１４５は、バーチャル環境または追加のコンテンツで局所領域
を拡張する環境においてユーザの動きを反映するＶＲヘッドセット１０５に対するコンテ
ンツを生成する。さらに、ＶＲエンジン１４５は、ＶＲ Ｉ／Ｏインタフェース１１５か
ら受信したアクション要求に応答してＶＲコンソール１１０上で実行中のアプリケーショ
ン内でアクションを実行し、アクションが実行されたことをユーザにフィードバックする
。提供されるフィードバックは、ＶＲヘッドセット１０５による視覚的または聴覚的なフ
ィードバックまたはＶＲ Ｉ／Ｏインタフェース１１５による触覚フィードバックであり
得る。
図２は、一実施形態のＶＲヘッドセット２００の線図である。ＶＲヘッドセット２００
は、ＶＲヘッドセット１０５の一実施形態であり、前部剛体２０５、バンド２１０、基準
点２１５、左側面２２０Ａ、上面２２０Ｂ、右側面２２０Ｃ、底面２２０Ｄ、および前面
２２０Ｅを含む。図２に示されたＶＲヘッドセット２００はまた、図３および図４に関連
して以下でさらに説明される、カメラ２２５および照明源２３０を含む一実施形態のデプ
スカメラ部品（ＤＣＡ）１２０を含む。前部剛体２０５は、電子ディスプレイ１２５の１
つまたは複数の電子ディスプレイ要素（図示せず）、ＩＭＵ１３０、１つまたは複数の位
置センサ１３５、および基準点２１５を含む。
は、ＶＲヘッドセット１０５の一実施形態であり、前部剛体２０５、バンド２１０、基準
点２１５、左側面２２０Ａ、上面２２０Ｂ、右側面２２０Ｃ、底面２２０Ｄ、および前面
２２０Ｅを含む。図２に示されたＶＲヘッドセット２００はまた、図３および図４に関連
して以下でさらに説明される、カメラ２２５および照明源２３０を含む一実施形態のデプ
スカメラ部品（ＤＣＡ）１２０を含む。前部剛体２０５は、電子ディスプレイ１２５の１
つまたは複数の電子ディスプレイ要素（図示せず）、ＩＭＵ１３０、１つまたは複数の位
置センサ１３５、および基準点２１５を含む。
図２に示す実施形態において、ＶＲヘッドセット２００は、カメラ２２５を含むＤＣＡ
１２０と、既知の空間パターン（例えば、グリッド、一連のライン、対称ドットまたは準
ランダムに配向されたドットのパターン）を局所領域上に投影するように構成された照明
源２３０とを含む。例えば、空間パターンは、既知の幅と高さの１つまたは複数の幾何学
要素を含み、空間パターンが局所領域に投影されたときに様々な幾何学要素の変形を計算
して局所領域内の対象物に関する情報を提供することを可能にする。照明源２３０は、既
知の空間パターンを特定の周波数を有するキャリア信号で時間的に変調する。様々な実施
形態において、照明源２３０は、発光体に接続されたコントローラ（例えば、プロセッサ
）を含み、コントローラは、発光体によって放射される光をキャリア信号によって変調し
て、キャリア信号の変化に基づいて発光体によって放射された光の強度を経時的に変化さ
せる。発光体が既知の空間パターン（すなわち、「構造化光のパターン」または「構造化
光パターン」）を放射するとき、既知の空間パターンの強度は、キャリア信号に基づいて
経時的に変化する。例えば、照明源２３０は、既知の空間パターンを、１０ＭＨｚの周波
数を有する正弦波、１００ＭＨｚの周波数を有する方形波、または任意の他の適切な信号
で変調するコントローラに接続された発光体を含む。カメラ２２５は、局所領域の画像を
捕捉し、局所領域の画像は、図３〜４Ｂに関して以下にさらに説明するように、局所領域
の深度画像を計算するために使用される。
１２０と、既知の空間パターン（例えば、グリッド、一連のライン、対称ドットまたは準
ランダムに配向されたドットのパターン）を局所領域上に投影するように構成された照明
源２３０とを含む。例えば、空間パターンは、既知の幅と高さの１つまたは複数の幾何学
要素を含み、空間パターンが局所領域に投影されたときに様々な幾何学要素の変形を計算
して局所領域内の対象物に関する情報を提供することを可能にする。照明源２３０は、既
知の空間パターンを特定の周波数を有するキャリア信号で時間的に変調する。様々な実施
形態において、照明源２３０は、発光体に接続されたコントローラ（例えば、プロセッサ
）を含み、コントローラは、発光体によって放射される光をキャリア信号によって変調し
て、キャリア信号の変化に基づいて発光体によって放射された光の強度を経時的に変化さ
せる。発光体が既知の空間パターン（すなわち、「構造化光のパターン」または「構造化
光パターン」）を放射するとき、既知の空間パターンの強度は、キャリア信号に基づいて
経時的に変化する。例えば、照明源２３０は、既知の空間パターンを、１０ＭＨｚの周波
数を有する正弦波、１００ＭＨｚの周波数を有する方形波、または任意の他の適切な信号
で変調するコントローラに接続された発光体を含む。カメラ２２５は、局所領域の画像を
捕捉し、局所領域の画像は、図３〜４Ｂに関して以下にさらに説明するように、局所領域
の深度画像を計算するために使用される。
図３は、図２に示したＶＲヘッドセット２００の前部剛体２０５の断面図である。図３
に示すように、前部剛体２０５は、撮像デバイス２２５および照明源２３０を含む。図３
の例において示すように、前部剛体２０５は、撮像デバイス２２５に接続されたプロセッ
サ３１５を含む。しかしながら、他の実施形態では、プロセッサ３１５は、撮像デバイス
２２５に含まれる。前部剛体２０５はまた、光が前部剛体２０５を伝搬する経路に対応す
る光軸も有する。いくつかの実施形態では、撮像デバイス２２５は、光軸に沿って配置さ
れており、かつ撮像デバイス２２５の視野内の前部剛体２０５を取り囲む環境の一部であ
る局所領域３０５の画像を捕捉する。さらに、前部剛体２０５は、図１に関連して前にさ
らに説明されている電子ディスプレイ１２５および光学ブロック１３０を含む。前部剛体
２０５はまた、ユーザの眼３４０が位置する射出瞳３３５を含む。説明のために、図３は
、単一の眼３４０による前部剛体２０５の断面を示す。局所領域３０５は、入射した環境
光ならびに照明源２３０によって投影された光を反射する。
に示すように、前部剛体２０５は、撮像デバイス２２５および照明源２３０を含む。図３
の例において示すように、前部剛体２０５は、撮像デバイス２２５に接続されたプロセッ
サ３１５を含む。しかしながら、他の実施形態では、プロセッサ３１５は、撮像デバイス
２２５に含まれる。前部剛体２０５はまた、光が前部剛体２０５を伝搬する経路に対応す
る光軸も有する。いくつかの実施形態では、撮像デバイス２２５は、光軸に沿って配置さ
れており、かつ撮像デバイス２２５の視野内の前部剛体２０５を取り囲む環境の一部であ
る局所領域３０５の画像を捕捉する。さらに、前部剛体２０５は、図１に関連して前にさ
らに説明されている電子ディスプレイ１２５および光学ブロック１３０を含む。前部剛体
２０５はまた、ユーザの眼３４０が位置する射出瞳３３５を含む。説明のために、図３は
、単一の眼３４０による前部剛体２０５の断面を示す。局所領域３０５は、入射した環境
光ならびに照明源２３０によって投影された光を反射する。
図１に関連して前に説明したように、電子ディスプレイ１２５は、光学ブロック１３０
に向けて画像を形成する光を放射し、光学ブロック１３０は、電子ディスプレイ１２５か
ら受け取った光を変更する。光学ブロック１３０は、変更した画像光をユーザの眼３４０
が位置している前部剛体２０５の位置にある射出瞳３３５に向ける。図３は、ユーザの単
一の眼３４０のための前部剛体２０５の断面図を示し、前部剛体２０５に含まれる図３に
示されるものとは別個の別の電子ディスプレイ１２５および光学ブロック１３０を用いて
、局所領域３０５の拡張表現または仮想コンテンツなどのコンテンツがユーザの別の眼に
提示される。
に向けて画像を形成する光を放射し、光学ブロック１３０は、電子ディスプレイ１２５か
ら受け取った光を変更する。光学ブロック１３０は、変更した画像光をユーザの眼３４０
が位置している前部剛体２０５の位置にある射出瞳３３５に向ける。図３は、ユーザの単
一の眼３４０のための前部剛体２０５の断面図を示し、前部剛体２０５に含まれる図３に
示されるものとは別個の別の電子ディスプレイ１２５および光学ブロック１３０を用いて
、局所領域３０５の拡張表現または仮想コンテンツなどのコンテンツがユーザの別の眼に
提示される。
照明源２３０および撮像デバイス２２５を含むデプスカメラ部品（ＤＣＡ）１２０は、
照明源２３０から放射された光が局所領域３０５内の対象物から反射されて撮像デバイス
２２５に戻る時間を表す情報を捕捉するとともに、検出器を用いて照明源２３０によって
局所領域３０５上に投影された構造化光パターンの画像を捕捉する。いくつかの実施形態
では、検出器は、撮像デバイス２２５に含まれる。前で説明したように、照明源２３０か
らの光が局所領域３０５内の対象物から反射する時間を捕捉するために、照明源２３０は
、構造化光パターンを特定の周波数を有するキャリア信号で変調する。例えば、照明源２
３０は、構造化光パターンを１０ＭＨｚの正弦波で変調し、照明源２３０によって放射さ
れた光が、キャリア信号に基づいて経時的に変化するようにする。
照明源２３０から放射された光が局所領域３０５内の対象物から反射されて撮像デバイス
２２５に戻る時間を表す情報を捕捉するとともに、検出器を用いて照明源２３０によって
局所領域３０５上に投影された構造化光パターンの画像を捕捉する。いくつかの実施形態
では、検出器は、撮像デバイス２２５に含まれる。前で説明したように、照明源２３０か
らの光が局所領域３０５内の対象物から反射する時間を捕捉するために、照明源２３０は
、構造化光パターンを特定の周波数を有するキャリア信号で変調する。例えば、照明源２
３０は、構造化光パターンを１０ＭＨｚの正弦波で変調し、照明源２３０によって放射さ
れた光が、キャリア信号に基づいて経時的に変化するようにする。
空間的および時間的変調光パターンの両方を捕捉するために、撮像デバイス２２５は、
複数の画素群を含む検出器を含む。図４Ａは、撮像デバイス２２５に含まれる検出器４０
０の一例を示す。図４Ａにおける検出器は、画像データを捕捉するために画素群４１０，
４１５，４２０，４２５を起動する個々の制御信号をそれぞれ受信する個々の画素群４１
０，４１５，４２０，４２５を含む。個々の画素群４１０，４１５，４２０，４２５が個
々の制御信号を受信することにより、個々の画素群４１０，４１５，４２０，４２５がオ
フセットで、さらに制御されたタイミングシーケンスで画像データを捕捉することが可能
になる。例えば、画素群４１０，４１５，４２０，４２５によって受信された制御信号が
特定の値を有する場合、画素群４１０，４１５，４２０，４２５は、局所領域３０５から
の光を捕捉し、制御信号が別の値を有する場合、画素群４１０，４１５，４２０，４２５
は、局所領域３０５からの光を捕捉しない。検出器４００内の画素群４１０，４１５，４
２０，４２５は、互いに最も近い画素群４１０，４１５，４２０，４２５が個々の時間で
光を捕捉し、その結果、互いに最も近い画素群４１０，４１５，４２０，４２５によって
捕捉された光の間に特定の位相シフトがもたらされるように互いに対して位置決めされて
いる。図４Ａの例において、画素群４１０によって捕捉された光は、画素群４１５によっ
て捕捉された光に対して９０度の位相シフトを有し、画素群４１５によって捕捉された光
は、画素群４２０に対して９０度の位相シフト（及び画素群４１０に対して１８０度の位
相シフト）を有するように、画素群４１０，画素群４１５，画素群４２０，画素群４２５
は個々の時間に光を捕捉する。しかしながら、他の実施形態では、画素群４１０によって
捕捉された光は、画素群４１０に最も近い他の画素群４１５，４２０，４２５によって捕
捉された光に対して任意の適切な特定の位相シフトを有する（例えば、４５度の位相シフ
ト、１０度の位相シフトなど）。図４の例では、画素群４２５は、画素群４２０に対して
９０度の位相シフト（および画素群４１０に対して２７０度の位相シフト）を有する。同
様に、画素群４１５、画素群４２０、および画素群４２５の各々は、他の画素群４１０，
４１５，４２０，４２５に対して９０度の位相シフトを有する光を捕捉する。例えば、画
素群４１０、画素群４１５、画素群４２０、および画素群４２５は、それぞれ０度の位相
シフト、９０度の位相シフト、１８０度の位相シフト、および２７０度の位相シフトを有
する光を捕捉する。様々な実施形態では、画素群４１０，４１５，４２０，４２５は、繰
り返しパターンで検出器４００内に配置される。例えば、検出器４００は、図４Ａに示す
ように相互に配置された画素群４１０，４１５，４２０，４２５をそれぞれ含む複数の２
×２の格子を含む。
複数の画素群を含む検出器を含む。図４Ａは、撮像デバイス２２５に含まれる検出器４０
０の一例を示す。図４Ａにおける検出器は、画像データを捕捉するために画素群４１０，
４１５，４２０，４２５を起動する個々の制御信号をそれぞれ受信する個々の画素群４１
０，４１５，４２０，４２５を含む。個々の画素群４１０，４１５，４２０，４２５が個
々の制御信号を受信することにより、個々の画素群４１０，４１５，４２０，４２５がオ
フセットで、さらに制御されたタイミングシーケンスで画像データを捕捉することが可能
になる。例えば、画素群４１０，４１５，４２０，４２５によって受信された制御信号が
特定の値を有する場合、画素群４１０，４１５，４２０，４２５は、局所領域３０５から
の光を捕捉し、制御信号が別の値を有する場合、画素群４１０，４１５，４２０，４２５
は、局所領域３０５からの光を捕捉しない。検出器４００内の画素群４１０，４１５，４
２０，４２５は、互いに最も近い画素群４１０，４１５，４２０，４２５が個々の時間で
光を捕捉し、その結果、互いに最も近い画素群４１０，４１５，４２０，４２５によって
捕捉された光の間に特定の位相シフトがもたらされるように互いに対して位置決めされて
いる。図４Ａの例において、画素群４１０によって捕捉された光は、画素群４１５によっ
て捕捉された光に対して９０度の位相シフトを有し、画素群４１５によって捕捉された光
は、画素群４２０に対して９０度の位相シフト（及び画素群４１０に対して１８０度の位
相シフト）を有するように、画素群４１０，画素群４１５，画素群４２０，画素群４２５
は個々の時間に光を捕捉する。しかしながら、他の実施形態では、画素群４１０によって
捕捉された光は、画素群４１０に最も近い他の画素群４１５，４２０，４２５によって捕
捉された光に対して任意の適切な特定の位相シフトを有する（例えば、４５度の位相シフ
ト、１０度の位相シフトなど）。図４の例では、画素群４２５は、画素群４２０に対して
９０度の位相シフト（および画素群４１０に対して２７０度の位相シフト）を有する。同
様に、画素群４１５、画素群４２０、および画素群４２５の各々は、他の画素群４１０，
４１５，４２０，４２５に対して９０度の位相シフトを有する光を捕捉する。例えば、画
素群４１０、画素群４１５、画素群４２０、および画素群４２５は、それぞれ０度の位相
シフト、９０度の位相シフト、１８０度の位相シフト、および２７０度の位相シフトを有
する光を捕捉する。様々な実施形態では、画素群４１０，４１５，４２０，４２５は、繰
り返しパターンで検出器４００内に配置される。例えば、検出器４００は、図４Ａに示す
ように相互に配置された画素群４１０，４１５，４２０，４２５をそれぞれ含む複数の２
×２の格子を含む。
撮像デバイス２２５に接続された（または撮像デバイス２２５に含まれる）プロセッサ
３１０は、撮像デバイス２２５からデータを受け取り、以下にさらに説明するように、構
造化光のパターンを時間的に変調したキャリア信号の位相を決定する。キャリア信号の決
定された位相に基づいて、プロセッサ３１０は、構造化光の変調されたパターンが局所領
域内の１つまたは複数の対象物によって反射されて、撮像デバイス２２５の検出器４００
によって捕捉される時間を決定する。プロセッサ３１０は、局所領域内の個々の対象物に
よる構造化光のパターンの反射に対して決定された時間から、検出器４００から局所領域
内の１つまたは複数の対象物までの距離を決定し、検出器４００内の各画素群４１０，４
１５，４２０，４２５によって捕捉された光から構造化光のパターンを含むフレームを生
成する。
３１０は、撮像デバイス２２５からデータを受け取り、以下にさらに説明するように、構
造化光のパターンを時間的に変調したキャリア信号の位相を決定する。キャリア信号の決
定された位相に基づいて、プロセッサ３１０は、構造化光の変調されたパターンが局所領
域内の１つまたは複数の対象物によって反射されて、撮像デバイス２２５の検出器４００
によって捕捉される時間を決定する。プロセッサ３１０は、局所領域内の個々の対象物に
よる構造化光のパターンの反射に対して決定された時間から、検出器４００から局所領域
内の１つまたは複数の対象物までの距離を決定し、検出器４００内の各画素群４１０，４
１５，４２０，４２５によって捕捉された光から構造化光のパターンを含むフレームを生
成する。
図４Ｂは、検出器４００内の個々の画素群４１０，４１５，４２０，４２５によって受
信される制御信号の一例を示す。図４Ｂの例において、制御信号が最大値を有する場合、
制御信号を受信する画素群４１０，４１５，４２０，４２５は光を捕捉し、個々の制御信
号を受信する画素群４１０，４１５，４２０，４２５は光を捕捉しない。同様に、制御信
号が最小値を有する場合、制御信号を受信する画素群４１０，４１５，４２０，４２５は
光を捕捉しない。図４Ｂに示すように、個々の画素群４１０，４１５，４２０，４２５に
対する制御信号は、個々の時間に最大値を有するので、単一の画素群４１０，４１５，４
２０，４２５は特定の時間に光を捕捉する。例えば、画素群４１５で受信された制御信号
が最大値を有する場合、画素群４１０，４２０，４２５で受信される制御信号は最小値を
有するので、画素群４１０，４２０，４２５は光を捕捉せず、画素群４１５は光を捕捉す
る。個々の画素群４１０，４１５，４２０，４２５は、それらの制御信号に基づいて光を
連続的に捕捉する。各画素群４１０，４１５，４２０，４２５から光が捕捉されると、検
出器はフレームを生成する。様々な実施形態において、光が各画素群４１０，４１５，４
２０，４２５から複数回捕捉され、検出器は、画素群４１０，４１５，４２０，４２５に
よって捕捉された蓄積光からフレームを生成して、フレームの信号対雑音比を改善する。
個々の画素群４１０，４１５，４２０，４２５から光を個々の時間に捕捉することが、各
フレームに対する全体的な積分時間および撮像デバイス２２５のフレームレートによって
決定された１つのフレームに対して光が捕捉される時間で、次のフレームに対して繰り返
される。
信される制御信号の一例を示す。図４Ｂの例において、制御信号が最大値を有する場合、
制御信号を受信する画素群４１０，４１５，４２０，４２５は光を捕捉し、個々の制御信
号を受信する画素群４１０，４１５，４２０，４２５は光を捕捉しない。同様に、制御信
号が最小値を有する場合、制御信号を受信する画素群４１０，４１５，４２０，４２５は
光を捕捉しない。図４Ｂに示すように、個々の画素群４１０，４１５，４２０，４２５に
対する制御信号は、個々の時間に最大値を有するので、単一の画素群４１０，４１５，４
２０，４２５は特定の時間に光を捕捉する。例えば、画素群４１５で受信された制御信号
が最大値を有する場合、画素群４１０，４２０，４２５で受信される制御信号は最小値を
有するので、画素群４１０，４２０，４２５は光を捕捉せず、画素群４１５は光を捕捉す
る。個々の画素群４１０，４１５，４２０，４２５は、それらの制御信号に基づいて光を
連続的に捕捉する。各画素群４１０，４１５，４２０，４２５から光が捕捉されると、検
出器はフレームを生成する。様々な実施形態において、光が各画素群４１０，４１５，４
２０，４２５から複数回捕捉され、検出器は、画素群４１０，４１５，４２０，４２５に
よって捕捉された蓄積光からフレームを生成して、フレームの信号対雑音比を改善する。
個々の画素群４１０，４１５，４２０，４２５から光を個々の時間に捕捉することが、各
フレームに対する全体的な積分時間および撮像デバイス２２５のフレームレートによって
決定された１つのフレームに対して光が捕捉される時間で、次のフレームに対して繰り返
される。
したがって、一実施形態では、個々の画素群４１０，４１５，４２０，４２５は、局所
領域３０５からの光を、個々のオフセット時間で捕捉する。これらの捕捉は、空間パター
ンを変調するキャリア信号の周波数の往復時間の一部である。例えば、図４Ｃは、照明源
２３０が構造化光パターンを変調する例示的な正弦波キャリア信号４３０を示す。図４Ｃ
は、キャリア信号４３０を含む光を個々の時間に捕捉する個々の画素群４１０，４１５，
４２０，４２５を特定している。画素群４１０は、画素群４１０によって受信される制御
信号が最大値を有する時間の間にキャリア信号４３０の一部を含む光を捕捉し、画素群４
１５，４２０，４２５は、キャリア信号の一部を含む光を捕捉しない。残りの画素群４１
５，４２０，４２５は同様に、対応する画素群４１５，４２０，４２５によって受信され
る制御信号が最大値を有する時間間隔の間にキャリア信号４３０の一部を捕捉する。図４
Ｃは、キャリア信号４３０を正弦波として示しているが、他の実施形態では、キャリア信
号４３０は、方形波であるか、または周波数と高調波の組合わせを有する他の信号であっ
てもよい。図４Ａ〜４Ｃの例では、画素群４１０が光を捕捉するとき、残りの画素群４１
５，４２０，２４５は光を捕捉しないので、単一の画素群が光を捕捉しているとき、残り
の３つの画素群はその相対フレームの光を捕捉しない。各画素群４１０，４１５，４２０
，４２５が単一の連続パターンの光を捕捉した後、撮像デバイス２２５によって捕捉され
たフレームに対する積分時間中にシーケンスが繰り返される。
領域３０５からの光を、個々のオフセット時間で捕捉する。これらの捕捉は、空間パター
ンを変調するキャリア信号の周波数の往復時間の一部である。例えば、図４Ｃは、照明源
２３０が構造化光パターンを変調する例示的な正弦波キャリア信号４３０を示す。図４Ｃ
は、キャリア信号４３０を含む光を個々の時間に捕捉する個々の画素群４１０，４１５，
４２０，４２５を特定している。画素群４１０は、画素群４１０によって受信される制御
信号が最大値を有する時間の間にキャリア信号４３０の一部を含む光を捕捉し、画素群４
１５，４２０，４２５は、キャリア信号の一部を含む光を捕捉しない。残りの画素群４１
５，４２０，４２５は同様に、対応する画素群４１５，４２０，４２５によって受信され
る制御信号が最大値を有する時間間隔の間にキャリア信号４３０の一部を捕捉する。図４
Ｃは、キャリア信号４３０を正弦波として示しているが、他の実施形態では、キャリア信
号４３０は、方形波であるか、または周波数と高調波の組合わせを有する他の信号であっ
てもよい。図４Ａ〜４Ｃの例では、画素群４１０が光を捕捉するとき、残りの画素群４１
５，４２０，２４５は光を捕捉しないので、単一の画素群が光を捕捉しているとき、残り
の３つの画素群はその相対フレームの光を捕捉しない。各画素群４１０，４１５，４２０
，４２５が単一の連続パターンの光を捕捉した後、撮像デバイス２２５によって捕捉され
たフレームに対する積分時間中にシーケンスが繰り返される。
ＤＣＡ１２０は、画像捕捉デバイス３２０内の個々の画素群４１０，４１５，４２０，
４２５によって受光された光の強度に基づいて、キャリア信号の位相を決定する。例えば
、ＤＣＡ１２０は、画素群４２５によって捕捉された光と画素群４１５によって捕捉され
た光との間の差を決定する。さらに、ＤＣＡ１２０は、画素群４１０によって捕捉された
光と画素群４２０によって捕捉された光との間の追加の差を決定する。（最小の直交配置
である）図４Ａに示す検出器４００の構成例において、ＤＣＡ１２０は、キャリア信号の
位相を、差と追加の差との比の逆正接として決定する。決定された位相を用いて、ＤＣＡ
１２０は、照明源２３０から放射された光が局所領域３０５内の対象物によって反射され
て撮像デバイス２２５に戻る時間を決定する。ＤＣＡ１２０は、決定された時間から、１
つまたは複数のタイムオブフライト方法を使用して、ＤＣＡ１２０と局所領域３０５内の
様々な対象物との間の距離を決定する。さらに、ＤＣＡ１２０は、決定された位相を使用
して、個々の画素群４１０，４１５，４２０，４２５によって捕捉された光を、照明源３
１０から放射された構造化光パターンが局所領域３０５に対するさらなる深度情報を提供
することを可能にするフレームに合成する。１つまたは複数のタイムオブフライト方法に
よって決定された距離は、局所領域３０５内の対象物とＤＣＡ１２０との間の距離情報を
提供し、撮像デバイス２２５によって捕捉された構造化光パターンの解析は、局所領域３
０５内の対象物とＤＣＡ１２０との間に関連しているものの、固有の距離測定値を提供す
る。
４２５によって受光された光の強度に基づいて、キャリア信号の位相を決定する。例えば
、ＤＣＡ１２０は、画素群４２５によって捕捉された光と画素群４１５によって捕捉され
た光との間の差を決定する。さらに、ＤＣＡ１２０は、画素群４１０によって捕捉された
光と画素群４２０によって捕捉された光との間の追加の差を決定する。（最小の直交配置
である）図４Ａに示す検出器４００の構成例において、ＤＣＡ１２０は、キャリア信号の
位相を、差と追加の差との比の逆正接として決定する。決定された位相を用いて、ＤＣＡ
１２０は、照明源２３０から放射された光が局所領域３０５内の対象物によって反射され
て撮像デバイス２２５に戻る時間を決定する。ＤＣＡ１２０は、決定された時間から、１
つまたは複数のタイムオブフライト方法を使用して、ＤＣＡ１２０と局所領域３０５内の
様々な対象物との間の距離を決定する。さらに、ＤＣＡ１２０は、決定された位相を使用
して、個々の画素群４１０，４１５，４２０，４２５によって捕捉された光を、照明源３
１０から放射された構造化光パターンが局所領域３０５に対するさらなる深度情報を提供
することを可能にするフレームに合成する。１つまたは複数のタイムオブフライト方法に
よって決定された距離は、局所領域３０５内の対象物とＤＣＡ１２０との間の距離情報を
提供し、撮像デバイス２２５によって捕捉された構造化光パターンの解析は、局所領域３
０５内の対象物とＤＣＡ１２０との間に関連しているものの、固有の距離測定値を提供す
る。
図４Ｄは、デプスカメラ部品１２０の撮像デバイスに含まれる検出器４０５の別の例を
示す。図４Ａ〜図４Ｃに関連して説明された検出器４００において、検出器４００内の個
々の画素群４１０，４１５，４２０，４２５は、撮像デバイス２２５がフレームを生成す
るための積分時間の一部の光を捕捉するように示されている。図４Ｄの例において、検出
器４０５の各画素群４１０，４１５，４２０，４２５は、サーキュレータまたはスイッチ
のようなソフトウェアまたはハードウェアを介して実施することができる、各画素ごとに
複数の電荷格納領域を含む。これにより、各画素群４１０，４１５，４２０，４２５は積
分時間中に光を連続的に捕捉し、捕捉された光から生成された電流がキャリア信号４３０
の周波数および位相タイミングに基づいて結合される場所を動的に変化させることができ
る。個々の画素群４１０，４１５，４２０，４２５によって捕捉された光から蓄積される
電荷は、（図４Ｄに強調表示された矩形として示される）個々のサブウィンドウを提供す
る、個々の場所（例えば、メモリまたはコンデンサ）に蓄積される。図４Ｄに示すように
、サブウィンドウは互いに対して９０度の位相シフトを有するサブウィンドウを示す斜線
に沿って合成される。各画素群４１０，４１５，４２０，４２５からのサブウィンドウは
、信号対雑音比を増加させ、かつタイムオブフライト測定のためのフレームを生成するた
めに位相が合成される。個々の時間に個々の画素群４１０，４１５，４２０，４２５によ
って捕捉された光は、前述した手法により合成され、キャリア信号４３０の位相が抽出さ
れる。図４Ｄの例では、各画素群４１０，４１５，４２０，４２５が連続的に光を捕捉し
、捕捉された光からの電荷がキャリア周波数の位相で蓄積される場所を変化させるので、
特定の最大積分時間内で強調表示されたサブウィンドウが合成される。例えば、図４Ｄの
検出器４０５の各画素群４１０，４１５，４２０，４２５は、同時に光を捕捉し、かつキ
ャリア周波数の位相を保持するためにキャリア信号４３０に基づいて画素群４１０，４１
５，４２０，４２５によって蓄積される電荷が変化する場所を用いて、画素群４１，４１
５，４２０，４２５に対応する場所に電荷を蓄積する。いくつかの実施形態では、図４Ｄ
に示す検出器４０５の各画素群４１０，４１５，４２０，４２５は、検出器４０５の複数
の画素群４１０，４１５，４２０，４２５が、最大１００％のデューティサイクルにまで
光を捕捉するように構成されて、いくつかの実施形態では、検出器４０５の複数の画素群
４１０，４１５，４２０，４２５が複数の画素群４１０，４１５，４２０，４２５によっ
て捕捉された光からの電荷を連続して同時に蓄積することを可能にする。前で説明したよ
うに、個々の画素群４１０，４１５，４２０，４２５によって決定された位相角は、構造
的な光パターンを分析するために放射測定の差異の補正を可能にする。また、図４Ｄの例
では、個々の画素群４１０，４１５，４２０，４２５による光の連続的な捕捉は、構造化
光の画像解析のための受動的な補正を可能にする。各画素群４１０，４１５，４２０，４
２５について全積分ウィンドウに亘って捕捉された全電荷を合計することにより、検出器
４０５はカメラなどの画像捕捉デバイスとして動作する（画素レベルの積分タイミングに
オフセットがないように見えるため）。したがって、図４Ｄに示す検出器４０５は、構造
化光アルゴリズムに対する時間変調の影響を最小限に抑えることによって、相関する固定
パターンノイズ、時間的ノイズ、または系統的ノイズの可能性を低減する。
示す。図４Ａ〜図４Ｃに関連して説明された検出器４００において、検出器４００内の個
々の画素群４１０，４１５，４２０，４２５は、撮像デバイス２２５がフレームを生成す
るための積分時間の一部の光を捕捉するように示されている。図４Ｄの例において、検出
器４０５の各画素群４１０，４１５，４２０，４２５は、サーキュレータまたはスイッチ
のようなソフトウェアまたはハードウェアを介して実施することができる、各画素ごとに
複数の電荷格納領域を含む。これにより、各画素群４１０，４１５，４２０，４２５は積
分時間中に光を連続的に捕捉し、捕捉された光から生成された電流がキャリア信号４３０
の周波数および位相タイミングに基づいて結合される場所を動的に変化させることができ
る。個々の画素群４１０，４１５，４２０，４２５によって捕捉された光から蓄積される
電荷は、（図４Ｄに強調表示された矩形として示される）個々のサブウィンドウを提供す
る、個々の場所（例えば、メモリまたはコンデンサ）に蓄積される。図４Ｄに示すように
、サブウィンドウは互いに対して９０度の位相シフトを有するサブウィンドウを示す斜線
に沿って合成される。各画素群４１０，４１５，４２０，４２５からのサブウィンドウは
、信号対雑音比を増加させ、かつタイムオブフライト測定のためのフレームを生成するた
めに位相が合成される。個々の時間に個々の画素群４１０，４１５，４２０，４２５によ
って捕捉された光は、前述した手法により合成され、キャリア信号４３０の位相が抽出さ
れる。図４Ｄの例では、各画素群４１０，４１５，４２０，４２５が連続的に光を捕捉し
、捕捉された光からの電荷がキャリア周波数の位相で蓄積される場所を変化させるので、
特定の最大積分時間内で強調表示されたサブウィンドウが合成される。例えば、図４Ｄの
検出器４０５の各画素群４１０，４１５，４２０，４２５は、同時に光を捕捉し、かつキ
ャリア周波数の位相を保持するためにキャリア信号４３０に基づいて画素群４１０，４１
５，４２０，４２５によって蓄積される電荷が変化する場所を用いて、画素群４１，４１
５，４２０，４２５に対応する場所に電荷を蓄積する。いくつかの実施形態では、図４Ｄ
に示す検出器４０５の各画素群４１０，４１５，４２０，４２５は、検出器４０５の複数
の画素群４１０，４１５，４２０，４２５が、最大１００％のデューティサイクルにまで
光を捕捉するように構成されて、いくつかの実施形態では、検出器４０５の複数の画素群
４１０，４１５，４２０，４２５が複数の画素群４１０，４１５，４２０，４２５によっ
て捕捉された光からの電荷を連続して同時に蓄積することを可能にする。前で説明したよ
うに、個々の画素群４１０，４１５，４２０，４２５によって決定された位相角は、構造
的な光パターンを分析するために放射測定の差異の補正を可能にする。また、図４Ｄの例
では、個々の画素群４１０，４１５，４２０，４２５による光の連続的な捕捉は、構造化
光の画像解析のための受動的な補正を可能にする。各画素群４１０，４１５，４２０，４
２５について全積分ウィンドウに亘って捕捉された全電荷を合計することにより、検出器
４０５はカメラなどの画像捕捉デバイスとして動作する（画素レベルの積分タイミングに
オフセットがないように見えるため）。したがって、図４Ｄに示す検出器４０５は、構造
化光アルゴリズムに対する時間変調の影響を最小限に抑えることによって、相関する固定
パターンノイズ、時間的ノイズ、または系統的ノイズの可能性を低減する。
図５Ａは、構造化光パターン（空間パターンとも呼ばれる）を局所領域に投影する、撮
像デバイス２２５および照明源２３０の例示的な構成を示す。図５Ａにおいて、例示的な
空間パターンは、照明源２３０の視野内に投影された垂直バーを含む。散乱反射または直
接反射を介して、空間パターンは、撮像デバイス内の検出器によって捕捉されて、照明源
２３０との三角測量により、構造光の手法が局所領域の３次元レイアウトを抽出すること
を可能にする。
像デバイス２２５および照明源２３０の例示的な構成を示す。図５Ａにおいて、例示的な
空間パターンは、照明源２３０の視野内に投影された垂直バーを含む。散乱反射または直
接反射を介して、空間パターンは、撮像デバイス内の検出器によって捕捉されて、照明源
２３０との三角測量により、構造光の手法が局所領域の３次元レイアウトを抽出すること
を可能にする。
図５Ｂは、撮像デバイス２３０および時間的に変調された照明源２３０からの構造化光
パターン（空間パターンとも呼ばれる）を投影する照明源２３０の例示的な構成を示す。
図５Ｂでは、時間変調は、局所領域に到達する前に照明源２３０からほぼ等しい距離にあ
る矩形領域によって示されている。空間的なパターンが説明の便宜上、４つの垂直バーと
して図５Ｂに示されている。したがって、図５Ｂにおける撮像デバイス２２５および照明
源２３０は、空間パターンおよびタイムオブフライト情報を捕捉して、局所領域の深度を
抽出するための空間的手法および時間的手法の両方をそれぞれ提供することを可能にする
。図３〜図４Ｄに関連して前で説明したように、撮像デバイス２２５は、撮像デバイス２
２５内の個々の画素群４１０，４１５，４２０，４２５の間の位相オフセットを制御する
ことによって、空間的情報および時間的情報の両方を捕捉する共通の検出器を含む。
パターン（空間パターンとも呼ばれる）を投影する照明源２３０の例示的な構成を示す。
図５Ｂでは、時間変調は、局所領域に到達する前に照明源２３０からほぼ等しい距離にあ
る矩形領域によって示されている。空間的なパターンが説明の便宜上、４つの垂直バーと
して図５Ｂに示されている。したがって、図５Ｂにおける撮像デバイス２２５および照明
源２３０は、空間パターンおよびタイムオブフライト情報を捕捉して、局所領域の深度を
抽出するための空間的手法および時間的手法の両方をそれぞれ提供することを可能にする
。図３〜図４Ｄに関連して前で説明したように、撮像デバイス２２５は、撮像デバイス２
２５内の個々の画素群４１０，４１５，４２０，４２５の間の位相オフセットを制御する
ことによって、空間的情報および時間的情報の両方を捕捉する共通の検出器を含む。
実施形態に関する前述の説明は、例示のために提示されたものであり、網羅的であるこ
と、または開示された正確な形態に特許権を限定することを意図するものではない。当業
者であれば、上記の開示を参照して多くの変更および変形が可能であることを理解するこ
とができる。
と、または開示された正確な形態に特許権を限定することを意図するものではない。当業
者であれば、上記の開示を参照して多くの変更および変形が可能であることを理解するこ
とができる。
本明細書で使用される用語は、主に、読みやすさおよび教示目的のために選択されたも
のであり、本発明の主題を画定または制限するために選択されていない。従って、特許権
の範囲は、この詳細な説明ではなく、本明細書に基づいて出願時の任意の特許請求の範囲
によって限定されることが意図される。従って、実施形態の開示は、特許権の範囲に限定
するものではなく例示的なものとすることを意図する。
のであり、本発明の主題を画定または制限するために選択されていない。従って、特許権
の範囲は、この詳細な説明ではなく、本明細書に基づいて出願時の任意の特許請求の範囲
によって限定されることが意図される。従って、実施形態の開示は、特許権の範囲に限定
するものではなく例示的なものとすることを意図する。
Claims (20)
- 時間的に変調された構造化された光を放射するように構成された発光体と、
局所領域内の１つまたは複数の対象物から反射された、前記時間的に変調された構造化された光の強度を、異なるオフセット時間で捕捉するように構成された複数の画素群を含む検出器と、
プロセッサと
備えた装置であって、前記プロセッサが、
捕捉された前記強度の一部に基づいて時間的情報を決定し、
捕捉された前記強度に基づいて空間的情報を決定し、
前記時間的情報および前記空間的情報に基づいて、前記局所領域内の前記１つまたは複数の対象物に関する深度情報を決定する
ように構成されている、装置。 - 前記プロセッサがさらに、前記検出器の前記複数の画素群の隣接する画素群が、前記異なるオフセット時間で前記光の強度を捕捉するように、前記複数の画素群の動作を制御するように構成されている、請求項１に記載の装置。
- 前記複数の画素群の１つの画素群によって捕捉された前記反射された光の光信号が、前記１つの画素群に隣接する前記複数の画素群の別の画素群によって捕捉された前記反射された光の別の光信号に対して、位相シフトを有する、請求項１に記載の装置。
- 前記複数の画素群が、格子状のグリッドを含む繰り返しパターンで配置され、前記グリッド内の各画素群が、前記反射された光の光信号を捕捉し、当該光信号は、前記グリッド内の別の画素群によって捕捉された前記反射された光の別の光信号に対して位相シフトを有する、請求項１に記載の装置。
- 前記プロセッサはさらに、
捕捉された前記強度の前記一部に基づいて、前記構造化された光を時間的に変調するキャリア信号の位相を決定し、
前記時間的に変調された構造化された光が、前記１つまたは複数の対象物のうち１つの対象物によって反射され且つ前記検出器によって捕捉される時間を決定し、
決定された前記時間から、前記検出器から前記対象物までの距離を決定し、
決定された前記距離に部分的に基づいて、前記深度情報を決定する
ように構成されている、請求項１に記載の装置。 - 前記プロセッサはさらに、
複数の制御信号を生成し、各制御信号は値を有し、前記複数の制御信号のうち他の制御信号は別の値を有し、
対応する制御信号が前記値を有する時間オフセットの間、各画素群が前記反射された光の光信号を捕捉するように、前記複数の制御信号を前記複数の画素群に提供する
ように構成されている、請求項１に記載の装置。 - 前記プロセッサはさらに、
２つの強度、つまり前記複数の画素群の１つの画素群によって捕捉された前記反射された光の強度と、前記画素群に隣接する前記複数の画素群の別の画素群によって捕捉された前記反射された光の強度の差を決定し、
他の２つの強度、つまり前記複数の画素群の他の画素群によって捕捉された前記反射された光の強度と、前記他の画素群に隣接する前記複数の画素群のさらなる画素群によって捕捉された前記反射された光の強度の追加の差を決定し、ここで前記他の画素群と前記さらなる画素群は前記１つの画素群に隣接する、
前記追加の差に対する前記差の比に基づいて、前記構造化された光を時間的に変調するキャリア信号の位相を決定し、
決定された前記位相に部分的に基づいて、前記時間的情報を決定する
ように構成されている、請求項１に記載の装置。 - 前記プロセッサはさらに、
前記追加の差に対する前記差の逆正接としてキャリア信号の位相を決定する
ように構成されている、請求項７に記載の装置。 - 前記複数の画素群の各画素群が、その画素群内の各画素ごとに複数の電荷格納領域を含み、
各画素群が、前記反射された光を捕捉し、且つ、前記構造化された光を時間的に変調するキャリア信号の位相タイミングに部分的に基づいて、捕捉された前記反射された光からの電荷を対応する電荷格納領域内に蓄積する、請求項１に記載の装置。 - 前記プロセッサはさらに、
前記対応する電荷格納領域内に蓄積された前記電荷と、前記複数の画素群の他の画素群の対応する電荷格納領域内に蓄積された他の電荷に基づいて、前記キャリア信号の位相を決定し、
決定された前記位相に部分的に基づいて、前記時間的情報を決定する
ように構成されている、請求項９に記載の装置。 - 各画素群が、前記反射された光を捕捉し、且つ、捕捉された前記反射された光からの電荷を積分時間中に前記電荷格納領域内に蓄積し、前記プロセッサはさらに、各画素群について蓄積された前記電荷に部分的に基づいて前記空間的情報を決定するように構成されている、請求項９に記載の装置。
- 局所領域を照明する時間的に変調された構造化された光を生成することと、
前記局所領域内の１つまたは複数の対象物から反射された、前記時間的に変調された構造化された光の強度を、異なるオフセット時間で複数の画素群によって捕捉することと、
捕捉された前記強度の一部に基づいて時間的情報を決定することと、
捕捉された前記強度に基づいて空間的情報を決定することと、
前記時間的情報および前記空間的情報に基づいて、前記局所領域内の前記１つまたは複数の対象物に関する深度情報を決定すること
を含む、方法。 - 前記複数の画素群の隣接する画素群が前記異なるオフセット時間で前記光の強度を捕捉するように、前記複数の画素群の動作を制御することをさらに含む、請求項１２に記載の方法。
- 前記複数の画素群の１つの画素群によって捕捉された前記反射された光の光信号が、前記１つの画素群に隣接する前記複数の画素群の別の画素群によって捕捉された前記反射された光の別の光信号に対して、位相シフトを有するように、前記複数の画素群の動作を制御することをさらに含む、請求項１２に記載の方法。
- 前記複数の画素群が、格子状のグリッドを含む繰り返しパターンで配置され、前記方法がさらに、
前記グリッド内の各画素群が前記反射された光の光信号を捕捉するように前記複数の画素群の動作を制御すること
を含み、当該光信号は、前記グリッド内の別の画素群によって捕捉された前記反射された光の別の光信号に対して位相シフトを有する、請求項１２に記載の方法。 - 捕捉された前記強度の前記一部に基づいて、前記構造化された光を時間的に変調するキャリア信号の位相を決定することと、
前記時間的に変調された構造化された光が、前記１つまたは複数の対象物のうち１つの対象物によって反射され且つ捕捉される時間を決定することと、
決定された前記時間に基づいて、前記対象物までの距離を決定することと、
決定された前記距離に部分的に基づいて、前記深度情報を決定すること
をさらに含む、請求項１２に記載の方法。 - 複数の制御信号を生成することと、ここで各制御信号は値を有し、前記複数の制御信号のうち他の制御信号は別の値を有する、
対応する制御信号が前記値を有する時間オフセットの間、各画素群が前記反射された光の光信号を捕捉するように、前記複数の制御信号を前記複数の画素群に提供すること
をさらに含む、請求項１２に記載の方法。 - ２つの強度、つまり前記複数の画素群の１つの画素群によって捕捉された前記反射された光の強度と、前記画素群に隣接する前記複数の画素群の別の画素群によって捕捉された前記反射された光の強度の差を決定することと、
他の２つの強度、つまり前記複数の画素群の他の画素群によって捕捉された前記反射された光の強度と、前記他の画素群に隣接する前記複数の画素群のさらなる画素群によって捕捉された前記反射された光の強度の追加の差を決定することと、ここで前記他の画素群と前記さらなる画素群は前記１つの画素群に隣接する、
前記追加の差に対する前記差の比に基づいて、前記構造化された光を時間的に変調するキャリア信号の位相を決定することと、
決定された前記位相に部分的に基づいて、前記時間的情報を決定すること
をさらに含む、請求項１２に記載の方法。 - 各画素群によって、前記反射された光を捕捉し、且つ、前記構造化された光を時間的に変調するキャリア信号の位相タイミングに部分的に基づいて、捕捉された前記反射された光からの電荷を、その画素群の対応する電荷格納領域内に蓄積することと、
前記対応する電荷格納領域内に蓄積された前記電荷と、前記複数の画素群の他の画素群の対応する電荷格納領域内に蓄積された他の電荷に基づいて、前記キャリア信号の位相を決定することと、
決定された前記位相に部分的に基づいて、前記時間的情報を決定すること
をさらに含む、請求項１２に記載の方法。 - 各画素群によって、前記反射された光を捕捉し、且つ、捕捉された前記反射された光からの電荷を積分時間中に複数の電荷格納領域内に蓄積することと、
各画素群について蓄積された前記電荷に部分的に基づいて前記空間的情報を決定すること
をさらに含む、請求項１２に記載の方法。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662279629P | 2016-01-15 | 2016-01-15 | |
| US62/279,629 | 2016-01-15 | ||
| US15/268,325 US9858672B2 (en) | 2016-01-15 | 2016-09-16 | Depth mapping using structured light and time of flight |
| US15/268,325 | 2016-09-16 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018533883A Division JP6546349B2 (ja) | 2016-01-15 | 2017-01-05 | 構造化光およびタイムオブフライトを用いた深度マッピング |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019219399A JP2019219399A (ja) | 2019-12-26 |
| JP6827073B2 true JP6827073B2 (ja) | 2021-02-10 |
Family
ID=59312060
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018533883A Active JP6546349B2 (ja) | 2016-01-15 | 2017-01-05 | 構造化光およびタイムオブフライトを用いた深度マッピング |
| JP2019114525A Expired - Fee Related JP6827073B2 (ja) | 2016-01-15 | 2019-06-20 | 構造化光およびタイムオブフライトを用いた深度マッピング |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018533883A Active JP6546349B2 (ja) | 2016-01-15 | 2017-01-05 | 構造化光およびタイムオブフライトを用いた深度マッピング |
Country Status (6)
| Country | Link |
|---|---|
| US (3) | US9858672B2 (ja) |
| EP (4) | EP4524638A3 (ja) |
| JP (2) | JP6546349B2 (ja) |
| KR (2) | KR102456961B1 (ja) |
| CN (1) | CN108463740B (ja) |
| WO (1) | WO2017123452A1 (ja) |
Families Citing this family (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10481195B2 (en) | 2015-12-02 | 2019-11-19 | Machinesense, Llc | Distributed IoT based sensor analytics for power line diagnosis |
| US10648735B2 (en) | 2015-08-23 | 2020-05-12 | Machinesense, Llc | Machine learning based predictive maintenance of a dryer |
| JP6598673B2 (ja) * | 2015-12-24 | 2019-10-30 | キヤノン株式会社 | データ処理装置およびその方法 |
| US9858672B2 (en) * | 2016-01-15 | 2018-01-02 | Oculus Vr, Llc | Depth mapping using structured light and time of flight |
| US10033988B2 (en) * | 2016-10-31 | 2018-07-24 | Verizon Patent And Licensing Inc. | Methods and systems for capturing depth data using frequency-segregated structured light |
| US10025384B1 (en) * | 2017-01-06 | 2018-07-17 | Oculus Vr, Llc | Eye tracking architecture for common structured light and time-of-flight framework |
| US10154254B2 (en) | 2017-01-17 | 2018-12-11 | Facebook Technologies, Llc | Time-of-flight depth sensing for eye tracking |
| CN118260014A (zh) * | 2017-06-16 | 2024-06-28 | 微软技术许可有限责任公司 | 生成用户界面容器 |
| DE102017117211B3 (de) | 2017-07-31 | 2018-09-06 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Verfahren zur trajektorienbasierten Merkmalszuordnung in einem von einer Bilderfassungseinheit eines Fahrzeugs erfassten Bild |
| US10692279B2 (en) * | 2017-07-31 | 2020-06-23 | Quantum Spatial, Inc. | Systems and methods for facilitating making partial selections of multidimensional information while maintaining a multidimensional structure |
| US10061352B1 (en) * | 2017-08-14 | 2018-08-28 | Oculus Vr, Llc | Distributed augmented reality system |
| US10791283B2 (en) * | 2017-09-01 | 2020-09-29 | Facebook Technologies, Llc | Imaging device based on lens assembly with embedded filter |
| JP6637936B2 (ja) * | 2017-09-14 | 2020-01-29 | 株式会社Ｓｕｂａｒｕ | 車両の路面判定装置 |
| EP4268757B1 (en) * | 2017-10-06 | 2025-03-26 | VISIE Inc. | Generation of one or more edges of luminosity to form three-dimensional models of objects |
| US10491877B1 (en) * | 2017-12-21 | 2019-11-26 | Facebook Technologies, Llc | Depth camera assembly using multiplexed sensor phase measurements to determine depth using fringe interferometry |
| US10855973B1 (en) * | 2017-12-21 | 2020-12-01 | Facebook Technologies, Llc | Depth mapping using fringe interferometry |
| JP7253323B2 (ja) * | 2018-02-14 | 2023-04-06 | オムロン株式会社 | ３次元計測システム及び３次元計測方法 |
| US11716548B2 (en) | 2018-03-13 | 2023-08-01 | Meta Platforms Technologies, Llc | Timing of multiplexed sensor phase measurements in a depth camera assembly for depth determination using fringe interferometry |
| JP7214363B2 (ja) * | 2018-04-27 | 2023-01-30 | ソニーセミコンダクタソリューションズ株式会社 | 測距処理装置、測距モジュール、測距処理方法、およびプログラム |
| US10529128B1 (en) * | 2018-04-27 | 2020-01-07 | Facebook Technologies, Llc | Apparatus, system, and method for mapping a 3D environment |
| CN108648222B (zh) * | 2018-04-27 | 2021-08-17 | 华中科技大学 | 结构光深度数据空间分辨率的提升方法及装置 |
| US11187804B2 (en) * | 2018-05-30 | 2021-11-30 | Qualcomm Incorporated | Time of flight range finder for a structured light system |
| KR102596053B1 (ko) * | 2018-08-27 | 2023-11-01 | 엘지이노텍 주식회사 | 영상 처리 장치 및 영상 처리 방법 |
| WO2020045770A1 (en) | 2018-08-31 | 2020-03-05 | Samsung Electronics Co., Ltd. | Method and device for obtaining 3d images |
| KR102543027B1 (ko) * | 2018-08-31 | 2023-06-14 | 삼성전자주식회사 | 3차원 이미지를 획득하기 위한 방법 및 장치 |
| US10916023B2 (en) | 2018-09-14 | 2021-02-09 | Facebook Technologies, Llc | Depth measurement assembly with a structured light source and a time of flight camera |
| US10616550B1 (en) * | 2018-09-14 | 2020-04-07 | Facebook Technologies, Llc | Generating a representation of an object from depth information determined in parallel from images captured by multiple cameras |
| CN109343070A (zh) * | 2018-11-21 | 2019-02-15 | 深圳奥比中光科技有限公司 | 时间飞行深度相机 |
| CN109283508A (zh) * | 2018-11-21 | 2019-01-29 | 深圳奥比中光科技有限公司 | 飞行时间计算方法 |
| US10791286B2 (en) | 2018-12-13 | 2020-09-29 | Facebook Technologies, Llc | Differentiated imaging using camera assembly with augmented pixels |
| US10791282B2 (en) | 2018-12-13 | 2020-09-29 | Fenwick & West LLP | High dynamic range camera assembly with augmented pixels |
| US10855896B1 (en) * | 2018-12-13 | 2020-12-01 | Facebook Technologies, Llc | Depth determination using time-of-flight and camera assembly with augmented pixels |
| JP7438555B2 (ja) * | 2019-04-22 | 2024-02-27 | 国立大学法人 奈良先端科学技術大学院大学 | 三次元計測方法および三次元計測装置 |
| WO2021030034A1 (en) | 2019-08-15 | 2021-02-18 | Apple Inc. | Depth mapping using spatial multiplexing of illumination phase |
| US10902623B1 (en) | 2019-11-19 | 2021-01-26 | Facebook Technologies, Llc | Three-dimensional imaging with spatial and temporal coding for depth camera assembly |
| US11194160B1 (en) | 2020-01-21 | 2021-12-07 | Facebook Technologies, Llc | High frame rate reconstruction with N-tap camera sensor |
| US20210255327A1 (en) * | 2020-02-17 | 2021-08-19 | Mediatek Inc. | Emission And Reception Of Patterned Light Waves For Range Sensing |
| WO2021176873A1 (ja) * | 2020-03-03 | 2021-09-10 | ソニーグループ株式会社 | 情報処理装置と情報処理方法およびプログラム |
| US11763472B1 (en) | 2020-04-02 | 2023-09-19 | Apple Inc. | Depth mapping with MPI mitigation using reference illumination pattern |
| WO2021252153A1 (en) | 2020-06-11 | 2021-12-16 | Apple Inc. | Global-shutter image sensor with time-of-flight sensing capability |
| US12123953B1 (en) * | 2021-03-03 | 2024-10-22 | Focal Length LLC | Unified spatial-temporal phase depth sensing |
| CN113298778B (zh) * | 2021-05-21 | 2023-04-07 | 奥比中光科技集团股份有限公司 | 一种基于飞行时间的深度计算方法、系统及存储介质 |
| EP4095561A1 (en) * | 2021-05-27 | 2022-11-30 | Leica Geosystems AG | Reality capture device |
| JP2024005071A (ja) * | 2022-06-29 | 2024-01-17 | ソニーセミコンダクタソリューションズ株式会社 | 測距装置、測距システム、および測距方法 |
| CN118293799B (zh) * | 2024-04-12 | 2024-09-20 | 苏州朗伯威智能科技有限公司 | 一种相移结构光三维成像方法和系统 |
Family Cites Families (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3298081B2 (ja) | 1994-12-06 | 2002-07-02 | 日本電信電話株式会社 | ヘッドマウントディスプレイ装置 |
| US6600168B1 (en) * | 2000-02-03 | 2003-07-29 | Genex Technologies, Inc. | High speed laser three-dimensional imager |
| JP4466260B2 (ja) * | 2004-07-30 | 2010-05-26 | パナソニック電工株式会社 | 画像処理装置 |
| WO2006013901A1 (ja) | 2004-08-04 | 2006-02-09 | Asahi Glass Company, Limited | 液晶レンズ素子および光ヘッド装置 |
| US20060210111A1 (en) | 2005-03-16 | 2006-09-21 | Dixon Cleveland | Systems and methods for eye-operated three-dimensional object location |
| US8427426B2 (en) * | 2005-05-27 | 2013-04-23 | Sony Computer Entertainment Inc. | Remote input device |
| KR100791389B1 (ko) * | 2006-12-26 | 2008-01-07 | 삼성전자주식회사 | 스트럭쳐드 라이트를 이용한 거리 측정 장치 및 방법 |
| US8150142B2 (en) * | 2007-04-02 | 2012-04-03 | Prime Sense Ltd. | Depth mapping using projected patterns |
| US8224068B2 (en) * | 2007-09-18 | 2012-07-17 | University Of Kentucky Research Foundation (Ukrf) | Lock and hold structured light illumination |
| JP5280030B2 (ja) * | 2007-09-26 | 2013-09-04 | 富士フイルム株式会社 | 測距方法および装置 |
| US7986321B2 (en) * | 2008-01-02 | 2011-07-26 | Spatial Integrated Systems, Inc. | System and method for generating structured light for 3-dimensional image rendering |
| CA2763826C (en) * | 2009-06-17 | 2020-04-07 | 3Shape A/S | Focus scanning apparatus |
| EP2500687A3 (en) * | 2011-03-14 | 2013-02-20 | Heliotis SA | Structured light projector |
| KR101788032B1 (ko) * | 2011-03-24 | 2017-10-19 | 삼성전자주식회사 | 깊이 센서, 상기 깊이 센서의 깊이 정보 에러 보상 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템 |
| KR20130011692A (ko) | 2011-07-22 | 2013-01-30 | 삼성전자주식회사 | 깊이 영상과 컬러 영상을 획득하는 픽셀 구조를 가진 이미지 센서 |
| CA2750287C (en) | 2011-08-29 | 2012-07-03 | Microsoft Corporation | Gaze detection in a see-through, near-eye, mixed reality display |
| US9349182B2 (en) * | 2011-11-10 | 2016-05-24 | Carestream Health, Inc. | 3D intraoral measurements using optical multiline method |
| JP2013104784A (ja) * | 2011-11-14 | 2013-05-30 | Mitsubishi Electric Corp | 光３次元カメラ |
| WO2013078349A1 (en) * | 2011-11-23 | 2013-05-30 | The Trustees Of Columbia University In The City Of New York | Systems, methods, and media for performing shape measurement |
| US8955973B2 (en) | 2012-01-06 | 2015-02-17 | Google Inc. | Method and system for input detection using structured light projection |
| US9175957B2 (en) | 2012-09-24 | 2015-11-03 | Alces Technology, Inc. | Grayscale patterns from binary spatial light modulators |
| TWI481901B (zh) * | 2012-12-03 | 2015-04-21 | Wistron Corp | 頭戴式顯示裝置 |
| RU2012154657A (ru) | 2012-12-17 | 2014-06-27 | ЭлЭсАй Корпорейшн | Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной |
| WO2014097539A1 (ja) * | 2012-12-20 | 2014-06-26 | パナソニック株式会社 | ３次元測定装置および３次元測定方法 |
| JP2014219621A (ja) | 2013-05-10 | 2014-11-20 | 株式会社タイトー | 表示装置、表示制御プログラム |
| KR102098277B1 (ko) | 2013-06-11 | 2020-04-07 | 삼성전자주식회사 | 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치 |
| AU2014310703B2 (en) * | 2013-08-19 | 2018-09-27 | Basf Se | Optical detector |
| US10061028B2 (en) * | 2013-09-05 | 2018-08-28 | Texas Instruments Incorporated | Time-of-flight (TOF) assisted structured light imaging |
| TWI485361B (zh) * | 2013-09-11 | 2015-05-21 | Univ Nat Taiwan | 三維形貌輪廓量測裝置及其方法 |
| US20150102981A1 (en) | 2013-10-11 | 2015-04-16 | Microsoft Corporation | Eye tracking |
| JP6146293B2 (ja) | 2013-12-25 | 2017-06-14 | ソニー株式会社 | 制御装置、制御方法および制御システム |
| US9671612B2 (en) | 2014-01-29 | 2017-06-06 | Google Inc. | Dynamic lens for head mounted display |
| US9749513B2 (en) * | 2014-04-29 | 2017-08-29 | Facebook, Inc. | System and method for generating a light pattern for object illumination |
| US9753140B2 (en) * | 2014-05-05 | 2017-09-05 | Raytheon Company | Methods and apparatus for imaging in scattering environments |
| US9330464B1 (en) * | 2014-12-12 | 2016-05-03 | Microsoft Technology Licensing, Llc | Depth camera feedback |
| US9712806B2 (en) * | 2014-12-19 | 2017-07-18 | Datalogic ADC, Inc. | Depth camera system using coded structured light |
| JP6621836B2 (ja) * | 2015-02-25 | 2019-12-18 | フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ | 光パターンの強度変動を利用した体積内の物体の深さマッピング |
| US10241569B2 (en) | 2015-12-08 | 2019-03-26 | Facebook Technologies, Llc | Focus adjustment method for a virtual reality headset |
| US9858672B2 (en) * | 2016-01-15 | 2018-01-02 | Oculus Vr, Llc | Depth mapping using structured light and time of flight |
-
2016
- 2016-09-16 US US15/268,325 patent/US9858672B2/en active Active
-
2017
- 2017-01-05 CN CN201780006774.7A patent/CN108463740B/zh active Active
- 2017-01-05 EP EP25154714.7A patent/EP4524638A3/en active Pending
- 2017-01-05 EP EP17738752.9A patent/EP3403131B1/en active Active
- 2017-01-05 KR KR1020197002260A patent/KR102456961B1/ko active Active
- 2017-01-05 EP EP20186409.7A patent/EP3745185B1/en active Active
- 2017-01-05 JP JP2018533883A patent/JP6546349B2/ja active Active
- 2017-01-05 WO PCT/US2017/012346 patent/WO2017123452A1/en not_active Ceased
- 2017-01-05 KR KR1020187019263A patent/KR101949950B1/ko active Active
- 2017-01-05 EP EP25154691.7A patent/EP4521156A3/en active Pending
- 2017-11-03 US US15/803,328 patent/US9976849B2/en active Active
-
2018
- 2018-04-10 US US15/949,529 patent/US10228240B2/en active Active
-
2019
- 2019-06-20 JP JP2019114525A patent/JP6827073B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20180058844A1 (en) | 2018-03-01 |
| EP3745185B1 (en) | 2025-03-12 |
| KR101949950B1 (ko) | 2019-02-19 |
| US20180231372A1 (en) | 2018-08-16 |
| KR20190010742A (ko) | 2019-01-30 |
| US9976849B2 (en) | 2018-05-22 |
| EP3745185A1 (en) | 2020-12-02 |
| EP3403131A1 (en) | 2018-11-21 |
| CN108463740B (zh) | 2020-01-21 |
| EP3403131A4 (en) | 2019-08-21 |
| JP2019219399A (ja) | 2019-12-26 |
| JP6546349B2 (ja) | 2019-07-17 |
| JP2019504313A (ja) | 2019-02-14 |
| EP4521156A3 (en) | 2025-04-30 |
| CN108463740A (zh) | 2018-08-28 |
| US10228240B2 (en) | 2019-03-12 |
| KR20180081634A (ko) | 2018-07-16 |
| KR102456961B1 (ko) | 2022-10-21 |
| EP4524638A2 (en) | 2025-03-19 |
| EP3403131B1 (en) | 2020-11-18 |
| WO2017123452A1 (en) | 2017-07-20 |
| EP4521156A2 (en) | 2025-03-12 |
| EP4524638A3 (en) | 2025-04-30 |
| US20170206660A1 (en) | 2017-07-20 |
| US9858672B2 (en) | 2018-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6827073B2 (ja) | 構造化光およびタイムオブフライトを用いた深度マッピング | |
| US11132805B2 (en) | Depth measurement assembly with a structured light source and a time of flight camera | |
| JP6866365B2 (ja) | ステレオカメラと構造化光とを用いたヘッドマウントディスプレイを伴う奥行きマッピング | |
| JP7076368B2 (ja) | レンジゲート式デプスカメラ部品 | |
| US10469722B2 (en) | Spatially tiled structured light projector | |
| CN109425306B (zh) | 深度测量组件 | |
| US10957059B1 (en) | Multi-pattern depth camera assembly | |
| CN110275174A (zh) | 使用条纹干涉测量法进行深度确定的系统和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190820 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190820 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200828 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200908 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201222 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210118 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6827073 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |