JP7216672B2 - 統合撮像装置を使用しての視覚的データ、深さデータ、および微小振動データの抽出 - Google Patents

Description

本出願は、米国仮特許出願第６２／５３１，４１７号「Systems and Methods for Acquiring Information from an Environment（環境から情報を取得するシステムおよび方法）」（出願日２０１７年７月１２日）の優先権の利益を主張し、この文書の内容はその全体が参照により本明細書に組み込まれている。

本出願は、特許文献１（国際出願第ＰＣＴ／ＩＬ２０１５／０５１２５５号（公開番号：ＷＯ２０１６／１０３２７１号）「System and Method for Detecting Surface Vibrations（表面振動を検出するシステムおよび方法）」（出願日：２０１５年１２月２７日））を参照し、この文書の内容はその全体が参照により本明細書に組み込まれている。

本発明は、そのいくつかの実施形態においては、統合撮像装置によって撮影された画像を分析してシーン内の対象物を検出することに関し、より具体的には、以下に限定されないが、構造化光パターンを投射する統合撮像装置によって撮影された画像を分析して、シーン内の対象物を、その動きおよび微小振動を含めて検出することに関する。

対象物を自動的に検出する方法およびシステムには、ますます関心が高まっており、なぜならこれらは、商業用途、エンターテインメント用途から、自動車および／または自立走行車ならびに多数のさらなる用途に至る、複数のシステム、サービス、および／またはアプリケーションに適用できるためである。

動きおよび／または微小振動の検出を含む対象物および人の検出は、極めて挑戦的な課題であり、したがって、シーン内に存在する対象物を正確に検出および分類するツール、アルゴリズム、および方法を開発およびデプロイするための数多くの研究に、多くの利害関係者によって投資されている。

国際公開第２０１６／１０３２７１号

本発明の第１の態様によれば、統合撮像装置を使用して、対象物を検出し、対象物の深さ情報を抽出し、対象物の微小振動を識別する、コンピュータによって実施される方法であって、１つまたは複数のプロセッサを使用して、
－ 複数の拡散光要素から構成される事前定義される構造化光パターンをシーンに投射するようになされている光源、を備えた統合撮像装置の撮像センサによって撮影された、シーンの複数の画像、を受信するステップと、
－ 複数の画像の１枚または複数を視覚的に分析することによって、シーン内に存在する１つまたは複数の対象物を分類するステップと、
－ １つまたは複数の対象物から反射された複数の拡散光要素のうちの１つまたは複数の位置を分析することによって、１つまたは複数の対象物の深さデータを抽出するステップと、
－ 複数の画像の少なくとも何枚かの連続する画像において、複数の反射された拡散光要素のうちの１つまたは複数のスペックルパターンの変化を分析することによって、１つまたは複数の対象物の１つまたは複数の微小振動を識別するステップと、
－ 撮像センサによって撮影された画像の分析から導かれ、したがって共通の座標系に本質的に（inherently）記録される、分類、深さデータ、および１つまたは複数の微小振動のデータ、を出力するステップと、
を含む、方法、を提供する。

本発明の第２の態様によれば、統合撮像装置であって、
事前定義される構造化光パターンをシーンに投射するようになされている光源であって、事前定義される構造化光パターンが、複数の拡散光要素を含む、光源と、
シーンの複数の画像を撮影するようになされている撮像センサと、
を備えている、統合撮像装置、を提供する。

複数の画像の少なくとも何枚かを分析して、シーン内に存在する１つまたは複数の対象物を分類する、（１つまたは複数の）対象物の深さデータを抽出する、および、（１つまたは複数の）対象物の１つまたは複数の微小振動を識別する。これらの分類、深さデータ、および（１つまたは複数の）微小振動は、少なくとも何枚かの画像を同時に分析することから導かれ、したがって共通の座標系に本質的に記録される。

視覚的データ、深さデータ、および微小振動データは、すべて、撮影された同じ画像から導かれるため、これらのデータはいずれも共通の座標系に本質的に記録される。したがって、さまざまなモダリティ（modality）から抽出されるデータを、抽出されたデータの空間座標に従って、シーン内に存在するそれぞれの（１つまたは複数の）対象物（例えば、人、品目、背景、および／または同種のもの）に容易に関係付けることができる。さらに、シーン内に存在する１つまたは複数の対象物の、さまざまなモダリティから抽出されたデータを、抽出されたデータの空間座標に従って一緒に融合することができる。

第１の態様および／または第２の態様のさらなる実施形態においては、光源および撮像センサは、可視光、赤外光、および紫外光からなる群のメンバーである共通の光の波長スペクトルにおいて動作する。広い光スペクトルにおいて動作することにより、さまざまな照明条件（例えば日中、夜間、および／または同種のもの）を必要としうる複数のシステムおよび／またはアプリケーションに、本統合撮像装置を容易に組み込む、適合させる、および／または、そのようなシステム／アプリケーションにおいて採用する、ことが可能である。

第１の態様および／または第２の態様のさらなる実施形態においては、撮像センサによって撮影された画像の分析から導かれる分類、深さデータ、および１つまたは複数の微小振動は、時刻同期されている。これらの分類、動き、および微小振動データは、（本統合撮像装置の）同じ撮像センサによって撮影された共通の画像の分析から導かれるため、これらのデータも本質的に時刻（時間的に）同期されており、したがって、導かれたデータとシーン内の（１つまたは複数の）対象物との関係付けがさらに単純化される。

第１の態様および／または第２の態様のさらなる実施形態においては、複数の拡散光要素それぞれは、例えば、ドット、スポット、線、および／またはこれらの組合せ、である。シーンの物理的パラメータに従って、照明条件に従って、分析要件に従って、および／または同種のものに従って、さまざまなタイプの拡散光要素の１つまたは複数を含むように構造化光パターンを投射するように、本統合撮像装置を構成する、および／または制御することができる。

第１の態様および／または第２の態様のオプションの実施形態においては、光源は、反射された構造化光パターンが複数の画像のサブセットに写されるように、構造化光パターンを周期的に発するようにさらになされている。反射された構造化光パターンを写していない撮影された画像は、より正確な視覚的分析を支援することができ、なぜならこれらの画像には、反射された構造化光パターンによって引き起こされるアーチファクトおよび／または視覚的影響が存在しないためである。

第１の態様および／または第２の態様のさらなる実施形態においては、視覚的な分析は、（１つまたは複数の）対象物を分類するための１つまたは複数の訓練された機械学習モデルを使用するステップ、を含む。１つまたは複数の訓練された機械学習モデルを使用することによって、新しいシナリオ、新しい対象物、および／または同種のものに適合するように、効率的、自動的、かつ絶え間ない学習・進化を可能にすることができ、したがって検出および分類の信頼性および精度が著しく向上する。

第１の態様および／または第２の態様のさらなる実施形態においては、機械学習モデルの１つまたは複数は、（１枚または複数の）画像に写されている視覚的データに基づいて（１つまたは複数の）対象物を分類するように、訓練される。視覚的データは、（１つまたは複数の）対象物の視覚的データと、反射された拡散光要素の１つまたは複数とを含む。分類の精度、信頼性、および／または同種のものを向上させる目的で、撮影された（１枚または複数の）画像に写されている（１つまたは複数の）対象物の視覚的特性を分析することに加えて、反射された構造化光パターンの視覚的特性に従って、（１つまたは複数の）対象物、その（１つまたは複数の）属性、および／または動きを検出および分類するように、（１つまたは複数の）機械学習モデルを訓練することができる。

第１の態様および／または第２の態様のさらなる実施形態においては、（１つまたは複数の）機械学習モデルの１つまたは複数は、抽出された深さデータに基づいて生成される１つまたは複数の深さマップと組み合わされる、（１枚または複数の）画像に写されている（１つまたは複数の）対象物の視覚的データに従って、（１つまたは複数の）対象物を分類するように、訓練される。（１つまたは複数の）機械学習モデルは、両方のモダリティからのデータ（すなわち撮影された画像における視覚的データと、深さデータに基づいて作成された深さマップ）を受け取り、（１つまたは複数の）対象物、その（１つまたは複数の）属性、および／または動きを検出および分類するように、訓練することができる。

第１の態様および／または第２の態様のさらなる実施形態においては、スペックルパターンの変化は、しきい値と比較される、少なくとも何枚かの連続する画像における反射された拡散光要素の１つまたは複数の強度の経時的な標準偏差（temporal standard deviation）、を分析することによって、識別される。スペックルパターンの変化を、経時的な標準偏差に基づいて測定することにより、検出される変化の精度および／または信頼性を著しく向上させることができ、なぜなら経時的に（すなわち連続する画像において）測定される標準偏差を、しきい値と単純に比較して変化を識別することができるためである。

第１の態様および／または第２の態様のオプションの実施形態においては、経時的な標準偏差は、それぞれの（１つまたは複数の）対象物の表面から反射される複数の反射された拡散光要素の経時的な標準偏差を計算することによって、平均される。複数のスペックルパターンにわたる経時的な標準偏差を平均することによって、スペックルパターンの強度の信号対雑音比（ＳＮＲ：Signal to Noise Ratio）が著しく高まり、スペックルパターンの強度レベルに影響しうる雑音に対する耐性（immunity to noise）が改善されうる。

第１の態様および／または第２の態様のさらなる実施形態においては、スペックルパターンの変化は、スペックルパターンにスペックルパターン変換（speckle pattern translation）を適用して、スペックルパターン内の１つまたは複数の隣接する点に対する、スペックルパターン内の１つまたは複数の点の角速度を求めることによって、識別される。角速度は、（１つまたは複数の）微小振動を示す。スペックルパターン変換を適用することは、スペックルパターンの変化を識別するための有効かつ効率的な方法でありうる。

第１の態様および／または第２の態様のオプションの実施形態においては、スペックルパターン内の点のうちの１つまたは複数の強度は、複数の画像のうちの複数の連続する画像内の１つまたは複数の点に対して時間スライディングウィンドウ（temporal sliding window）を適用することによって、平均される。スライディングウィンドウは、雑音の影響を大幅に低減し可能であれば排除する目的で、経時的な（１つまたは複数の）スペックルパターンの点の強度を時間的に平均して強度を平滑化するための効率的かつ有効な方法でありうる。

第１の態様および／または第２の態様のオプションの実施形態においては、スペックルパターン内の点のうちの１つまたは複数の強度は、それぞれの（１つまたは複数の）点の強度に無限応答フィルタ（infinite response filter）を適用し、このフィルタの結果を、複数の画像のうちの複数の連続する画像において測定された強度に基づいて計算される平均強度で除算することによって、平均される。無限応答フィルタは、雑音の影響を大幅に低減し可能であれば排除する目的で、経時的な（１つまたは複数の）スペックルパターンの点の強度を時間的に平均して強度を平滑化するための効率的かつ有効な方法でありうる。

第１の態様および／または第２の態様のオプションの実施形態においては、スペックルパターン内の点のうちの１つまたは複数の強度は、スペックルパターン内の複数の隣接する点の強度を計算することによって、平均される。スペックルパターン内の複数の点の強度を空間的に平均することにより、点の１つまたは複数に存在しうる雑音の影響が大幅に低減し可能であれば排除されうる。

第１の態様および／または第２の態様のさらなる実施形態においては、シーンは、車両の車室である。車室に本統合撮像装置を配置することは、撮影された画像を分析して、（１つまたは複数の）属性、動き、および微小振動を含む、車両の乗員（例：運転者、（１人または複数の）同乗者、（１匹または複数の）ペットなど）および／または車室内に存在する他の品目、を検出および分類するために極めて有用である。

第１の態様および／または第２の態様のさらなる実施形態においては、抽出された分類、深さデータ、および（１つまたは複数の）微小振動が分析されて、車両乗員の総数、（１人または複数の）車両乗員の位置および動き、（１人または複数の）車両乗員の姿勢、（１人または複数の）車両乗員の頭部および身体部位の位置、（１人または複数の）車両乗員の行動、（１人または複数の）車両乗員に関連する１つまたは複数の品目の存在、および／または同種のもの、を導く。分類、動き、および／または微小振動データを使用することは、車両に関連する複数のアプリケーションにおいて極めて有利でありうる。

当業者には、図面および以下の詳細な説明を検討することによって、本開示の別のシステム、方法、特徴、および利点が明らかである、または明らかになるであろう。このようなさらなるシステム、方法、特徴、および利点のすべては、本説明に含まれ、本開示の範囲内であり、かつ添付のクレームによって保護されていることが想定されている。

本明細書において使用されているすべての専門用語および／または科学用語は、特に定義されていない限り、本発明が関連する技術分野における通常の技術を有する者によって一般的に理解されている意味と同じ意味を有する。本発明の実施形態を実施または試験するとき、本明細書に記載されている方法および材料に類似するかまたは同等の方法および材料を使用できるが、例示的な方法および／または材料が以下に記載してある。矛盾が生じる場合、定義を含めて本特許明細書に従うものとする。さらには、これらの材料、方法、および例は、説明のみを目的としており、必ずしも本発明を制限するようには意図されていない。

本発明の実施形態の方法および／またはシステムの実施においては、選択されたタスクを、手操作で、または自動的に、またはこれらの組合せによって、実行または完了することができる。さらには、本発明の方法および／またはシステムの実施形態の実際の機器および装置に応じて、いくつかの選択されたタスクを、ハードウェア、ソフトウェア、またはファームウェアによって、あるいはオペレーティングシステムを使用するこれらの組合せによって、実施することができる。

例えば、本発明の実施形態による選択されたタスクを実行するためのハードウェアは、チップまたは回路として実施することができる。ソフトウェアとしては、本発明の実施形態による選択されたタスクを、任意の適切なオペレーティングシステムを使用するコンピュータによって実行される複数のソフトウェア命令として実施することができる。本発明の例示的な実施形態においては、本明細書に記載されている方法および／またはシステムの例示的な実施形態による１つまたは複数のタスクは、データプロセッサ（複数の命令を実行するコンピューティングプラットフォームなど）によって実行される。オプションとして、データプロセッサは、命令および／またはデータを記憶する揮発性メモリ、および／または、命令および／またはデータを記憶する不揮発性記憶装置（例えば磁気ハードディスクおよび／またはリムーバルメディア）、を含む。オプションとして、ネットワーク接続も提供される。オプションとして、ディスプレイおよび／またはユーザ入力装置（キーボードやマウスなど）も提供される。

本明細書には、本発明のいくつかの実施形態を、添付の図面を参照しながら一例としてのみ説明してある。以下では図面を詳細に参照するが、図示されている細部は一例であり、本発明の実施形態を実例を通じて説明することを目的としていることを強調しておく。これに関して、図面を参照しながらの説明によって、当業者には、本発明の実施形態をどのように実施することができるかが明らかになる。

本発明のいくつかの実施形態に係る、統合撮像装置によって撮影された、シーンを写している画像を分析して、シーン内の対象物の画像データ、深さデータ、微小振動データを抽出する例示的なプロセス、の流れ図である。 本発明のいくつかの実施形態に係る、シーンの画像を撮影して分析し、シーン内の対象物の画像データ、深さデータ、および微小振動データを抽出する例示的な統合撮像装置、の概略図である。 本発明のいくつかの実施形態に係る、統合撮像装置によって撮影された画像を視覚的に分析してシーン内の対象物を検出および分類する目的に使用される例示的なニューラルネットワーク、の概略図である。 本発明のいくつかの実施形態に係る、深さデータを抽出するために例示的な統合撮像装置によって監視されるシーンの概略図である。 本発明のいくつかの実施形態に係る、統合撮像装置によって撮影された画像と、画像から抽出される深さデータとを分析して、シーン内の対象物を検出および分類する目的に使用される例示的なニューラルネットワーク、の概略図である。

本発明は、そのいくつかの実施形態においては、統合撮像装置によって撮影された画像を分析してシーン内の対象物を検出することに関し、より具体的には、以下に限定されないが、構造化光パターンを投射する統合撮像装置によって撮影された画像を分析して、シーン内の対象物をその動きおよび微小振動を含めて検出することに関する。

本発明のいくつかの実施形態によれば、統合撮像装置によって撮影された画像から抽出される視覚的データ、深さデータ、および（１つまたは複数の）スペックルパターンを分析することによって、シーン内に存在する１つまたは複数の対象物を、対象物および／またはその（１つまたは複数の）一部の動きおよび微小振動（小さいわずかな動き）を含めて検出および分類する装置、方法、およびシステム、を提供する。

本統合撮像装置は、光源、特にコヒーレント光源（例えば、複数の拡散光要素（例えば、ドット、スポット、線、形状、および／またはこれらの組合せ）を含む、シーンに投射される構造化光パターン、を発するように構成されているレーザおよび／またはその他）を含む。本統合撮像装置は、シーンの複数の画像を撮影するようになされている撮像センサ（例えば、カメラ、赤外線カメラ、および／または同種のもの）をさらに含む。したがって、撮像センサによって撮影された少なくとも何枚かの画像は、シーン内に存在する（１つまたは複数の）対象物から反射された１つまたは複数の拡散光要素を含む、構造化光パターンの反射を写している。

シーン内に存在する１つまたは複数の対象物（例えば、人、品目、および／または同種のもの）を検出および分類する目的で、１つまたは複数の訓練された機械学習モデルおよび／またはアルゴリズム（例えば、ニューラルネットワーク、サポートベクターマシン（ＳＶＭ：Support Vector Machine）、決定木学習アルゴリズム、Ｋ近傍アルゴリズム、および／または同種のもの）を、撮影された画像に適用することができる。撮影された画像をさらに分析して、検出された（１つまたは複数の）対象物の１つまたは複数の属性（例えば、動き、ジェスチャ、表情、身体の位置、四肢の位置、大きさ、形状、および／または同種のもの）を識別することができる。

オプションとして、（１枚または複数の）画像に写されている視覚的データの分類に基づき、およびオプションとして、反射された構造化光パターンの分類に従って、対象物を検出および分類することができるように、（１つまたは複数の）対象物および／またはそれらの（１つまたは複数の）一部の深さおよび距離を示す反射された構造化光パターンを写している訓練画像を備えた訓練データセットを使用して、（１つまたは複数の）機械学習モデルおよび／または（１つまたは複数の）アルゴリズムを構築して訓練することができる。訓練された（１つまたは複数の）機械学習モデルおよび／または（１つまたは複数の）アルゴリズムを、撮影された画像の１枚または複数に適用して、（１つまたは複数の）対象物の検出および分類を改善することができる。

撮影された画像の１枚または複数を分析して、シーンの深さデータを抽出することができ、例えば、（１つまたは複数の）対象物から反射された拡散光要素の位置を分析して、それら（１つまたは複数の）対象物に関連する深さデータを抽出することができる。深さデータは、反射された拡散光要素の三角法（triangulation）に基づいて抽出することができる。これに加えて、および／または、これに代えて、撮影された画像内のピクセルの位置にそれぞれの距離（深さ）値を関連付けてデータセット（例えば、ルックアップテーブル、リスト、データベース、および／または同種のもの）に格納する較正プロセスに基づいて、深さデータを抽出することができる。抽出された深さデータに基づいて、シーンの１つまたは複数の深さマップを生成することができる。

シーン内に存在する（１つまたは複数の）対象物および／またはそれらの識別された（１つまたは複数の）属性の検出および分類を改善するため、一般には撮影された画像と併せて（１つまたは複数の）深さマップに、（１つまたは複数の）機械学習モデルおよび／または（１つまたは複数の）アルゴリズムをさらに適用することができる。

さらには、撮影された画像の少なくとも何枚かを分析して、（１つまたは複数の）対象物の微小振動を識別することができる。微小振動は、（１つまたは複数の）対象物および／または（１つまたは複数の）一部分の、（例えばマイクロラジアンのオーダーの）極めてわずかな、小さい、および／または限られた動き（例えば、呼吸、目の動き、まぶたの動き、四肢のわずかな動き、頭部のわずかな動き、および／または同種のもの）であることがあり、したがって深さデータを分析することによって検出できないことがある。（１つまたは複数の）対象物から反射された拡散された光パターンのうちの１つまたは複数のスペックルパターンを分析することによって、（１つまたは複数の）微小振動を検出することができる。特に、わずかな微小振動を示しうる、（１つまたは複数の）スペックルパターンの変化を分析する。

シーン内の（１つまたは複数の）対象物に関連する複数の異なるモダリティ（すなわち視覚的データ、深さデータ、およびスペックルパターン）は、すべて、本統合撮像装置に組み込まれている同じ撮像センサによって撮影された同じ画像から抽出される。したがって、視覚的データの分析および／または深さデータの分析に基づいて検出される（１つまたは複数の）対象物、深さデータの分析に基づいて検出される動き、および（１つまたは複数の）スペックルパターンの分析に基づいて検出される微小振動は、共通の座標系に本質的に記録され、したがって本質的に空間的に位置が合っている。さらに、（１つまたは複数の）対象物の分類、動き、および微小振動データは、（本統合撮像装置の）同じ撮像センサによって撮影された共通の画像の分析から導かれるため、これらは本質的にさらに時刻（時間的に）同期されうる。

本発明のいくつかの実施形態によれば、本統合撮像装置は、小さい、および／または限られた空間（例えば、車室および／またはその他など）にデプロイされる（例えば、設置される、取り付けられる、組み込まれる、および／または埋め込まれる、など）。撮像センサによって撮影された画像を分析して、車両の１人または複数の乗員（すなわち運転者、同乗者、ペット）を、それらの属性、動き、および微小振動を含めて検出および分類することができる。撮影された画像をさらに分析して、車室内に存在する１つまたは複数の物体（例えば、座席、ハンドレスト、窓、ドア、車室内の品目（例：チャイルドシート、ショッピングバッグ、ブリーフケースなど）、および／または同種のもの）を検出および分類することができる。

本統合撮像装置によって撮影された画像を分析することによって、（１つまたは複数の）対象物、それらの属性、およびそれぞれの微小振動を検出することは、シーン内の対象物を検出する現在の既存の方法およびシステムと比較して、著しい利点および恩恵を提供することができる。

第一に、複数の異なるモダリティから抽出されるデータ（すなわち視覚的データ、深さデータ、および（１つまたは複数の）スペックルパターン）を使用して、（１つまたは複数の）対象物、それらの（１つまたは複数の）属性、および／またはそれらの関連する微小振動を検出することにより、一般には１つのモダリティに基づく検出および／または分類をベースとする既存の方法と比較して、これらの対象物の分類の精度を著しく向上させることができる。

さらに、訓練された（１つまたは複数の）機械学習モデルおよび／または（１つまたは複数の）アルゴリズムを使用することにより、新しいシナリオ、新しい対象物、および／または同種のものに適合するように、自動的かつ絶え間ない進化を支援することができ、したがって、検出および分類の信頼性および精度が著しく向上する。特に、（１つまたは複数の）機械学習モデルおよび／または（１つまたは複数の）アルゴリズムは、新しいシナリオ用に自身を更新するための絶え間ない大きなメンテナンスを必要とするルールベースのアルゴリズムを採用する既存の方法より、優れている。

さらには、視覚的データ、深さデータ、および微小振動データは、すべて、撮影された同じ画像から導かれるため、これらはいずれも共通の座標系に本質的に記録される。したがって、さまざまなモダリティから抽出されたデータを、抽出されたデータの空間座標に従って、シーン内に存在するそれぞれの（１つまたは複数の）対象物に容易に関係付けることができる。さらに、シーン内に存在する１つまたは複数の対象物の、さまざまなモダリティから抽出されたデータを、抽出されたデータの空間座標に従って一緒に融合することができる。これに加えて、（１つまたは複数の）対象物の分類、動き、および微小振動データは、（統合撮像装置の）同じ撮像センサによって撮影された共通の画像の分析から導かれるため、これらは本質的にさらに時刻（時間的に）同期されうる。このことは、視覚的データ、深さデータ、および／または微小振動データのそれぞれを撮影するために別々の撮影装置および／またはセンサを使用しうる既存の方法と比較して、大きな利点でありうる。別々の撮影装置では、共通の座標系に記録するための計算が複雑であり、その精度も著しく低いことがある。

また、光源および撮像センサが同じ統合装置に組み込まれているため、光源および撮像センサを、空間的かつ時間的に容易に較正することができる。さらに、１つの統合撮像装置に光源および撮像センサを組み込み、この装置を使用して、すべてのモダリティのデータ（すなわち視覚的データ、深さデータ、およびスペックルパターンデータ）を抽出し、（１つまたは複数の）対象物、それらの（１つまたは複数の）属性、それらの動き、およびそれらの微小振動を分類することによって、システムのコスト、大きさ、および／またはデプロイメントの複雑さを、大幅に低減することができる。

本統合撮像装置を車室に配置し、撮影された画像を分析して、車両乗員および車室内に存在する他の対象物を検出および分類することは、複数の用途（例えば、運転者の監視、同乗者の安全性、置き忘れられた幼児（またはペット）の監視、同乗者の快適性、インフォテインメント、車両の安全性（侵入者の警報）、および／または同種のもの）に有用でありうる。

本発明の少なくとも一実施形態を詳しく説明する前に、本発明は、その適用において、以下の説明に記載されている、および／または、図面もしくは実施例またはその両方に説明されている、構成要素の構造および配置および／または方法の細部に、必ずしも限定されないことを理解されたい。本発明は、別の実施形態が可能である、またはさまざまな方法で実施または実行することが可能である。

当業者によって理解されるように、本発明の態様は、システム、方法、またはコンピュータプログラム製品として実施することができる。したがって、本発明の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはソフトウェアの側面とハードウェアの側面を組み合わせた実施形態、の形をとることができ、これらはいずれも本明細書においては、一般に「回路」、「モジュール」、または「システム」と称することがある。さらに、本発明の態様は、コンピュータ読み取り可能なプログラムコードを実装した１つまたは複数のコンピュータ可読媒体に実施されたコンピュータプログラム製品の形をとることができる。

１種類または複数種類のコンピュータ可読媒体の任意の組合せを利用することができる。コンピュータ読み取り可能な記憶媒体は、命令実行装置によって使用するための命令を保持および記憶することのできる有形装置とすることができる。コンピュータ可読媒体は、コンピュータ読み取り可能な信号媒体またはコンピュータ読み取り可能な記憶媒体とすることができる。コンピュータ読み取り可能な記憶媒体は、例えば、以下に限定されないが、電子式、磁気式、光学式、電磁式、赤外線式、または半導体の、システム、装置、またはデバイス、またはこれらの任意の適切な組合せ、とすることができる。コンピュータ読み取り可能な記憶媒体のさらに具体的な例（すべてを網羅していないリスト）としては、以下、すなわち、１本または複数本のワイヤを有する電気接続、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光記憶装置、磁気記憶装置、またはこれらの任意の適切な組合せ、が挙げられる。本文書の文脈においては、コンピュータ読み取り可能な記憶媒体は、命令を実行するシステム、装置、またはデバイスによって使用するためのプログラムを、またはこれらのシステム、装置、またはデバイスに関連して使用するためのプログラムを、含むまたは記憶することのできる任意の有形媒体とすることができる。

コンピュータ読み取り可能な信号媒体としては、コンピュータ読み取り可能なプログラムコードが、例えばベースバンドにおいて、または搬送波の一部として実施されている、伝搬されるデータ信号、が挙げられる。このような伝搬信号は、さまざまな形（以下に限定されないが、電磁気、光、またはこれらの任意の適切な組合せを含む）のいずれかをとることができる。コンピュータ読み取り可能な信号媒体は、コンピュータ読み取り可能な記憶媒体ではなく、かつ、命令を実行するシステム、装置、またはデバイスによって、またはこれらのシステム、装置、またはデバイスに関連して使用するためのプログラムを、伝える、伝搬させる、または運ぶことのできる、任意のコンピュータ可読媒体、とすることができる。

コンピュータ可読媒体に実施されているコンピュータ読み取り可能なプログラム命令を含むコンピュータプログラムコードは、任意の適切な媒体（以下に限定されないが、ワイヤレス、有線、光ファイバケーブル、無線周波数など、またはこれらの任意の適切な組合せを含む）を使用して、送信することができる。

本発明の態様の動作を実行するためのプログラムコードは、１種類または複数種類のプログラミング言語（対象物指向プログラミング言語（Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋など）および従来の手続き型プログラミング言語（「Ｃ」プログラミング言語または類似するプログラミング言語など）を含む）の任意の組合せにおいて書かれていてよい。

プログラムコードは、独立したソフトウェアパッケージとして、その全体を使用者のコンピュータ上で実行する、またはその一部を使用者のコンピュータ上で実行する、または一部を使用者のコンピュータ上で実行しかつ一部を遠隔のコンピュータ上で実行する、または全体を遠隔のコンピュータまたはサーバ上で実行することができる。後者のシナリオでは、遠隔のコンピュータは、任意のタイプのネットワーク（ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む）を通じて使用者のコンピュータに接続することができる、または、（例えばインターネットサービスプロバイダを使用してインターネットを通じて）外部のコンピュータへの接続を形成することができる。プログラムコードは、コンピュータ読み取り可能な記憶媒体からそれぞれの計算装置／処理装置にダウンロードする、またはネットワーク（例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、および／または無線ネットワーク）を介して外部のコンピュータまたは外部の記憶装置にダウンロードすることができる。

本明細書では、本発明の実施形態に係る方法、装置（システム）、およびコンピュータプログラム製品の流れ図および／またはブロック図を参照しながら、本発明の態様を説明してある。流れ図および／またはブロック図の各ブロック、および、流れ図および／またはブロック図におけるブロックの組合せを、コンピュータ読み取り可能なプログラム命令によって実施できることが理解されるであろう。

図における流れ図およびブロック図は、本発明のさまざまな実施形態に係るシステム、方法、およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能性、および動作を示している。これに関して、流れ図またはブロック図における各ブロックは、指定された（１つまたは複数の）論理機能を実施するための１つまたは複数の実行可能命令を含むモジュール、セグメント、または命令の一部を表しうる。いくつかの代替実装形態においては、ブロックに記載されている機能は、図面に記載されている以外の順序で実行してもよい。例えば、連続して示されている２つのブロックを、関与する機能に応じて、実際には、実質的に同時に実行する、あるいは場合によってはブロックを逆の順序で実行することができる。さらに、ブロック図および／または流れ図の各ブロックと、ブロック図および／または流れ図におけるブロックの組合せは、指定された機能または動作を実行する専用ハードウェアベースのシステムによって、または専用ハードウェアおよびコンピュータ命令の組合せを実行する専用ハードウェアベースのシステムによって、実施してもよいことに留意されたい。

次に図面を参照し、図１は、本発明のいくつかの実施形態に係る、統合撮像装置によって撮影された、シーンを写している画像を分析して、シーン内の対象物の視覚的データ、深さデータ、および微小振動データを抽出する例示的なプロセス、の流れ図を示している。例示的なプロセス１００は、統合撮像装置によって撮影された画像を分析するために実行することができ、統合撮像装置は、構造化光パターンをシーン（特に、車室などの小さい、および／または限られた空間）に投射して、シーン内の１つまたは複数の対象物を、検出された対象物のうちの１つまたは複数の動きおよび微小振動を含めて識別するようになされている。

本統合撮像装置は、構造化光パターンをシーンに投射する、組み込まれた光源、を備えている。複数の拡散光要素（例えば、ドット、スポット、線、形状、および／またはこれらの組合せ）から構成されている投射された構造化光パターンを、シーン内に存在する１つまたは複数の対象物によって反射させて、本統合撮像装置に組み込まれている撮像センサによって撮影することができる。

シーン内の（１つまたは複数の）対象物から反射されて戻る拡散光要素のうちの１つまたは複数の位置を分析することによって、シーン内に存在する対象物に関連する深さデータを抽出することができる。

抽出された深さデータ（深さマップ）をオプションとして含む撮影された画像を、シーン内の（１つまたは複数の）対象物を検出および／または分類するように構築されて訓練された１つまたは複数の機械学習モデルおよび／またはアルゴリズムを使用して、分析することができる。（１つまたは複数の）機械学習モデルおよび／または（１つまたは複数の）アルゴリズムを画像および／または深さデータにさらに適用して、シーン内の（１つまたは複数の）対象物の動きを識別することができる。

抽出された深さデータを分析することでは検出することのできない、例えばマイクロラジアンのオーダーの極めてわずかな動きおよび／または動作によって表されうる微小振動は、シーン内の（１つまたは複数の）対象物から反射されて戻る拡散光要素（具体的には、反射された拡散光要素のスペックルパターン）の１つまたは複数を分析して、識別することができる。

シーン内の（１つまたは複数の）対象物に関連する複数の異なるモダリティ（すなわち視覚的データ、深さデータ、およびスペックルパターン）は、いずれも、構造化光パターンを投射する光源も組み込んでいる本統合撮像装置に組み込まれている同じ撮像センサによって撮影された同じ画像から抽出される。したがって、視覚的データの分析および／または深さデータの分析に基づいて検出される（１つまたは複数の）対象物と、深さデータの分析に基づいて検出される動きと、（１つまたは複数の）スペックルパターンの分析に基づいて検出される微小振動は、共通の座標系に本質的に記録され、したがって本質的に空間的に位置が合っている。この本質的な記録の理由で、シーン内に存在する１つまたは複数の対象物の、さまざまなモダリティから抽出されたデータを、抽出されたデータの空間座標に従って容易に関係付ける、および／または互いに融合することができる。さらに、（１つまたは複数の）対象物の分類、動き、および微小振動データは、（本統合撮像装置の）同じ撮像センサによって撮影された共通の画像の分析から導かれるため、これらは本質的にさらに時刻（時間的に）同期されうる。

さらに図２を参照し、図２は、本発明のいくつかの実施形態に係る、シーンの知覚的データを撮影して分析し、シーン内の対象物の視覚的データ、深さデータ、および微小振動データを抽出する例示的な統合撮像装置、の概略図である。例示的な撮像システム２００は、シーン２２０内に存在する（１つまたは複数の）対象物を検出および分類する目的でシーン２２０を監視するようにデプロイされている統合撮像装置２０２および処理ユニット２０４を含むことができる。

本発明のいくつかの実施形態によれば、システム２００は、車両に（具体的には車両の車室に）設置する、取り付ける、組み込む、および／または埋め込むことができ、したがってシーン２２０は車室内部であり、車室内に存在する（１つまたは複数の）対象物は、例えば、１人または複数の車両乗員（例：運転者、同乗者、ペットなど）、車室に関連付けられる１つまたは複数の対象物（例：座席、ドア、窓、ヘッドレスト、アームレストなど）、車両乗員の１人または複数に関連付けられる品目（例：チャイルドシート、ペットケージ、ブリーフケース、おもちゃなど）、および／または同種のもの、を含むことができる。

オプションとして、統合撮像装置２０２および処理ユニット２０４は、１つの装置に一緒に統合されている。

統合撮像装置２０２は、例えば１つまたは複数の光スペクトル（例えば、可視光（４００～７００ｎｍ）、近赤外線（７００～１２００ｎｍ）、近紫外線（１００～４００ｎｍ）、および／または同種のもの）において、構造化光パターンをシーン２２０に投射するようになされている光源２１０、を備えている。構造化光パターンは、複数の拡散光要素（例えば、ドット、光、および／またはこれらの組合せ）から構成することができる。特に、光源２１０は、構造化光パターンがコヒーレントな構造化光パターンであるようにコヒーレント光を発するように構成されているコヒーレント光源（例えばレーザおよび／またはその他）とすることができる。

統合撮像装置２０２は、シーン２２０の画像を撮影するための撮像センサ２１２（例えば、カメラ、赤外線カメラ、および／または同種のもの）を備えている。撮像センサ２１２は、シーン２２０内に存在する対象物から反射された構造化光パターンの拡散光要素の反射を撮影するようにさらになされている。したがって、反射された構造化光パターンを撮影する目的で、撮像センサ２１２は、光源２１０によって適用される（１つまたは複数の）光スペクトルにおいて動作するようにすることができる。

撮像センサ２１２は、事前定義される既知の位置合わせパラメータに従って、光源２１０に対して空間的に位置合わせされている。撮像センサ２１２と光源２１０との間の空間的位置合わせを確保するために、較正手順を行うことができる。統合撮像装置２０２の前方の事前定義される位置における、既知の記録された位置特性を有する１つまたは複数の較正目標物を特定し、光源２１０を動作させて構造化光パターンを投射し、撮像センサ２１２によって撮影された（１枚または複数の）較正画像から抽出される深さデータに（既知の）距離をマッピングし、（１つまたは複数の）較正目標物を表現することによって、較正を行うことができる。較正は、統合撮像装置２０２の製造時に１回、および／または周期的に、および／または要求時に、行うことができる。

統合撮像装置２０２は、処理ユニット２０４に接続するための１つまたは複数の有線および／または無線入力／出力（Ｉ／Ｏ）インタフェース（例えば、ネットワークインタフェース、無線ネットワークインタフェース、無線周波数（ＲＦ）チャネル、ユニバーサルシリアルバス（ＵＳＢ）インタフェース、シリアルインタフェース、および／または同種のもの）をさらに含むことができる。

オプションとして、統合撮像装置２０２は、シーン２２０を照らすための光（例えば、可視光、赤外光、および／または同種のもの）を発する（全体を照らす）ようになされている１つまたは複数の照明光源、を備えている。（１つまたは複数の）照明光源は、コヒーレント光源ではなく、構造化光パターンの放出とは無関係である。

処理ユニット２０４は、統合撮像装置２０２に接続するためのＩ／Ｏインタフェース２３０と、プロセス１００などのプロセスを実行する（１つまたは複数の）プロセッサ２３２と、プログラムコードおよび／またはデータを記憶する記憶装置２３４と、を含むことができる。

Ｉ／Ｏインタフェース２３０は、統合撮像装置２０２への接続性を統合システム２００に提供する１つまたは複数の有線および／または無線インタフェース（例えば、ネットワークインタフェース、無線ネットワークインタフェース、無線周波数（ＲＦ）チャネル、ユニバーサルシリアルバス（ＵＳＢ）インタフェース、シリアルインタフェース、および／または同種のもの）を含むことができる。処理ユニット２０４は、Ｉ／Ｏインタフェース２３０を通じて、統合撮像装置２０２から知覚的データ（具体的には撮像センサ２１２によって撮影された画像）を受信することができる。さらに処理ユニット２０４は、Ｉ／Ｏインタフェース２３０を使用して、統合撮像装置２０２と通信して光源２１０の動作および／または撮像センサ２１２の動作を制御することができる。

（１つまたは複数の）プロセッサ２３２（同種または異種）は、クラスタとして、および／または、１つまたは複数のマルチコアプロセッサとして、並列処理するように構成された１つまたは複数の処理ノード、を含むことができる。

記憶装置２３４は、１つまたは複数の非一時的メモリデバイス、すなわち永続的な不揮発性デバイス（例えば、読み出し専用メモリ（ＲＯＭ）、フラッシュアレイ、ハードディスクドライブ、ソリッドステートドライブ（ＳＳＤ）、および／または同種のもの）を含むことができる。さらに記憶装置２３４は、１つまたは複数の揮発性デバイス（例えば、ランダムアクセスメモリ（ＲＡＭ）デバイス、キャッシュメモリ、および／または同種のもの）を含むこともできる。

（１つまたは複数の）プロセッサ２３２は、記憶装置２３４などの非一時的媒体に記憶されておりかつプロセッサ２３２などの１つまたは複数のプロセッサによって実行される複数のプログラム命令をそれぞれが備えている、１つまたは複数のソフトウェアモジュール（例えば、プロセス、スクリプト、アプリケーション、エージェント、ユーティリティ、ツール、および／または同種のもの）、を実行することができる。例えば、（１つまたは複数の）プロセッサ２３２はアナライザ２４０を実行してプロセス１００を実行させ、シーン２２０内の（１つまたは複数の）対象物を、検出される（１つまたは複数の）対象物の動きおよび／または微小振動を含めて検出することができる。アナライザ２４０は、１つまたは複数のハードウェア要素をさらに利用することができ、これらのハードウェア要素は、例えば、プロセス１００を実行する回路、コンポーネント、集積回路（ＩＣ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、グラフィック処理装置（ＧＰＵ）、および／または同種のもの、を含むことができる。

１０２に示したように、プロセス１００は、最初に、アナライザ２４０を用いて撮像センサ２１２によって撮影された、シーン２２０を写している複数の画像、を受け取る。アナライザ２４０が、光源２１０を動作させて構造化光パターンをシーン２２０に投射することができ、さらに撮像センサ２１２を動作させてシーン２２０の画像を撮影することができる。

撮像センサ２１２は、光源２１０と同じ波長スペクトルにおいて動作するようになされている、および／または構成されているため、撮像センサ２１２によって撮影された画像の少なくとも何枚かは、シーン２２０内に存在する１つまたは複数の対象物によって反射された構造化光パターンを構成する拡散光要素のうちの少なくともいくつかの反射を含む。

オプションとして、撮像センサ２１２によって撮影される画像の１枚または複数を含む画像のサブセットが、構造化光パターンの反射を写してないように、光源２１０は、構造化光パターンを周期的に発するように動作する。

１０４に示したように、アナライザ２４０は、受信された画像の１枚または複数を視覚的に分析して、シーン２２０内に存在する１つまたは複数の対象物（例えば、人、品目、および／または同種のもの）を検出および分類する。アナライザ２４０は、シーン内の（１つまたは複数の）対象物を検出および／または分類するように訓練された１つまたは複数の機械学習モデルおよび／またはアルゴリズム（例えば、ニューラルネットワーク、サポートベクターマシン（ＳＶＭ）、決定木学習アルゴリズム、Ｋ近傍アルゴリズム、および／または、この技術分野において公知の任意の他の機械学習アルゴリズム）を適用することができる。これら（１つまたは複数の）機械学習モデルおよび／または（１つまたは複数の）アルゴリズムは、検出された（１つまたは複数の）対象物の１つまたは複数の属性（例えば、動き、ジェスチャ、表情、身体の位置、四肢の位置、大きさ、形状、および／または同種のもの）を識別するように、さらに訓練することができる。

（１つまたは複数の）機械学習モデルおよび／または（１つまたは複数の）アルゴリズムは、（１枚または複数の）画像に写されている視覚的データに従って対象物を検出および分類するように構築して訓練することができ、この場合に視覚的データは、（１つまたは複数の）対象物自体に関連しており、（１つまたは複数の）対象物から反射された構造化光パターンを含まない。反射された構造化光パターンによって引き起こされるアーチファクトおよび／または視覚的影響を防止するため、アナライザ２４０は、構造化光パターンを周期的に投射するように光源２１０を動作させることができる。光源２１０と撮像センサ２１２を時刻同期させることができるため、アナライザ２４０は、撮像センサによって撮影される１つおきのフレーム、２つおきのフレーム、４つおきのフレーム、および／または他の割合で、構造化光パターンを発するように光源２１０を動作させることができる。

オプションとして、シーン２２０内に存在する（１つまたは複数の）対象物の検出および分類の精度を向上させる目的で、（１つまたは複数の）対象物から反射された構造化光パターンを含む（１枚または複数の）画像に写されている視覚的データに従って対象物を検出および分類するように、（１つまたは複数の）機械学習モデルおよび／または（１つまたは複数の）アルゴリズムを構築して訓練することができる。したがって、（１つまたは複数の）対象物の視覚的特性に従って、かつ、（１つまたは複数の）から反射されしたがって（１枚または複数の）画像に写されている光要素によって表現される深さデータの両方に従って、対象物および／またはそれらの（１つまたは複数の）属性を分類するように、（１つまたは複数の）機械学習モデルおよび／または（１つまたは複数の）アルゴリズムを訓練することができる。

次に図３を参照し、図３は、本発明のいくつかの実施形態に係る、統合撮像装置によって撮影された画像を視覚的に分析してシーン内の対象物を検出および分類する目的に使用される例示的なニューラルネットワーク、の概略図である。例示的なニューラルネットワーク３００（例えば畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）および／またはその他）を、アナライザ２４０などのアナライザによって適用して、シーン２２０などのシーン内の１つまたは複数の対象物およびオプションとして（１つまたは複数の）対象物の属性の１つまたは複数を検出および分類することができる。

アナライザ２４０は、撮影された画像（反射された構造化光パターンを写している（１枚または複数の）画像、および／または、反射された構造化光パターンを写していない画像、を含みうる）の１枚または複数を視覚的に分析するために、ニューラルネットワーク３００を適用することができる。この実施形態に基づくと、対象物の視覚的情報に従って、さらにオプションとして、（１つまたは複数の）対象物の深さ特性を表す反射された構造化光パターンに従って、対象物を検出および分類するように、（１つまたは複数の）機械学習モデルおよび／または（１つまたは複数の）アルゴリズムを訓練することができる。

ニューラルネットワーク３００は、撮影された（１枚または複数の）画像を受け取る入力層、第１の畳み込み層３０２、第１のプーリング（ダウンサンプリング）層３０４、第２の畳み込み層３０６、第２のプーリング層３０８、第３の畳み込み層３１０、第１の全結合層３１２、第２の全結合層３１４、ＳＯＦＴＭＡＸ損失層３１６、推定された分類を出力する出力層、を含むことができる。分類は、一般には、検出された対象物がそれぞれのクラスである確率を示す確率スコアがそれぞれに関連付けられている１つまたは複数のクラスラベルを含むことができる。

ニューラルネットワーク３００は、シーン２２０などのシーン（例えば、１つまたは複数の対象物（例えば、車両乗員（例：運転者、同乗者、ペットなど）、車室の対象物、１人または複数の車両乗員に関連付けられる品目、および／または同種のもの）が存在している車両の車室、および／または同種のもの）を写している複数の訓練画像、を含む複数の訓練データセットを使用して訓練することができる。オプションとして、ニューラルネットワーク３００は、複数の訓練画像（シーンの視覚的データに加えて、画像がシーン内の（１つまたは複数の）対象物から反射された構造化光パターンを写している）を含む複数の訓練データセット、を使用して訓練される。

再び図１を参照する。

１０６において示したように、アナライザ２４０は、シーン２２０内の１つまたは複数の対象物から反射された構造化光パターンの拡散光要素の１つまたは複数の位置を分析して、それら（１つまたは複数の）対象物に関連する深さデータを抽出し、オプションとして、シーン２２０の１つまたは複数の深さマップを作成する。アナライザ２４０は、反射された拡散光要素のうちの１つまたは複数の位置を識別するために、三角法に基づいて深さデータを抽出することができる。

次に図４を参照し、図４は、本発明のいくつかの実施形態に係る、深さデータを抽出するために例示的な統合撮像装置によって監視されるシーンの概略図である。深さデータは、一般には、複数の拡散光要素を含む構造化光パターンの反射を分析することによって、抽出することができる。しかしながら簡潔さのため、図４は、単純化された光源２１０（例えば、１つのドット（光要素）を含む構造化光パターンをシーン２２０などのシーンに投射する単一のレーザ光を発するように構成されているレーザ）を提示している。

光源２１０は、光源２１０の出射面の垂直軸線に対する事前定義される角度αにおいて、単一のレーザ光を発する。光源２１０の出射面の中心と、撮像センサ２１２などの撮像センサの撮像面の中心との間のベースライン距離ｂは、オプションとして較正によって既知である。

シーン２２０内に存在する１つまたは複数の対象物の第１の表面４０２および第２の表面４０４が、レーザ光を撮像センサ２１２の方に反射する。明らかに、第１の表面４０２は、第２の表面４０４と比較して、光源２１０の出射面により近い。

光源２１０の発光面からの表面の距離に応じて、同じレーザドットが異なる角度βで撮像センサ２１２に反射され、したがって撮影された画像において異なる（１つまたは複数の）ピクセル位置に写される。例えば光のドットは、第１の表面４０２（より近い）からは、第２の表面４０４（より遠い）から光のドットが反射される反射角β_２と比較して、より大きい角度β_１で反射されうる。

アナライザ２４０などのアナライザは、撮像センサ２１２によって撮影された（１枚または複数の）画像を分析して、光のドットが特定の表面から反射される（１つまたは複数の）角度βを計算することができる。次いでアナライザは、撮像センサ２１２の撮像面とその特定の表面との間の距離ｈを、次の等式１に従って計算することができる。

等式１：

撮像センサ２１２を光源２１０に対して位置合わせするために適用される較正プロセスを、（１つまたは複数の）較正目標対象物を用いて実施して、（１つまたは複数の）光要素をピクセルに正確にマッピングし、したがって角度β_ｉを正確に計算し、したがって等式１を使用して（１つまたは複数の）表面の距離を正確に測定することができる。

アナライザ２４０は、光源２１０によってシーン２２０に投射される、より複雑な構造化光パターンの拡散光要素それぞれに対しても、同じ計算を適用することができる。

さらに、光源２１０によって投射された１つの光ドットが反射されうる位置のすべての距離は、エピポーラ線として表される線を構成する。したがってアナライザ２４０は、拡散光要素それぞれについて、エピポーラ線に対応する（を写している）ピクセルを分析することができる。（１枚または複数の）画像の分析範囲を、光要素に関連付けられるエピポーラ線の領域の分析に減らすことにより、撮影された（１枚または複数の）画像からアナライザが深さデータを抽出するために必要な計算資源（例：処理能力、記憶容量など）および／または時間を、大幅に低減することができる。

これに加えて、および／またはこれに代えて、アナライザ２４０は、データセット（例えば、撮影された（１枚または複数の）画像内の各ピクセルとそれぞれの距離の間を関係付けるルックアップテーブル）を使用することができる。アナライザ２４０は、反射された光要素を検出したすべてのピクセルについて、ルックアップテーブルを検索して、関係付けられている距離を抽出することができる。ピクセルと距離との間の関係付けは、拡散光要素の各々に対して各ピクセルにそれぞれの距離が関連付けられる較正プロセスの一部として、行うことができる。

再び図１を参照する。

本発明のいくつかの実施形態によれば、アナライザ２４０は、抽出された深さデータ（具体的には、抽出された深さデータに基づいてシーン２２０に対して作成された深さマップ）に、機械学習モデルおよび／またはアルゴリズム（例えばニューラルネットワークおよび／またはその他）の１つまたは複数を適用することができる。さらに、シーン２２０内に存在する（１つまたは複数の）対象物の検出および分類を改善するため、アナライザ２４０は、撮影された画像の視覚的内容と、撮影された（１枚または複数の）画像から抽出された深さデータから導かれる深さマップの両方に、（１つまたは複数の）機械学習モデルおよび／または（１つまたは複数の）アルゴリズムを適用することができる。

次に図５を参照し、図５は、本発明のいくつかの実施形態に係る、統合撮像装置によって撮影された画像と、画像から抽出される深さデータとを分析して、シーン内の対象物を検出および分類する目的に使用される例示的なニューラルネットワーク、の概略図である。例示的なニューラルネットワーク５００（例えばＣＮＮおよび／またはその他）は、２つのモダリティ（すなわち、撮像センサ２１２などの撮像センサによって撮影された（１枚または複数の）画像の視覚的内容と、撮影された（１枚または複数の）画像から抽出される深さデータ）を分析し、シーン２２０などのシーン内の１つまたは複数の対象物と、オプションとして（１つまたは複数の）対象物の属性の１つまたは複数を検出および分類する目的で、アナライザ２４０などのアナライザによって適用することができる。

例示的なニューラルネットワーク５００は、２本の予備的なブランチを含むことができ、一方は、撮影された（１枚または複数の）画像を処理するためのブランチであり、他方は、撮影された（１枚または複数の）画像から抽出される深さデータに基づいてシーン２２０に対して作成される（１つまたは複数の）深さマップを処理するためのブランチである。２本のブランチは、初期処理の後に合流し、シーン２２０内に存在する（１つまたは複数の）対象物を検出および分類する。視覚的処理のブランチは、撮影された（１枚または複数の）画像を受け取る入力層、第１の畳み込み層（Ａ１）５０２、プーリング層（Ａ１）５０４、および第２の畳み込み層（Ａ２）５０６を含むことができる。深さデータ処理のブランチは、（１つまたは複数の）深さマップを受け取る入力層、第１のプーリング層（Ｂ１）５０８、および第２のプーリング層（Ｂ２）５１０を含むことができる。第２の畳み込み層（Ａ２）５０６の出力と、第２のプーリング層（Ｂ２）５１０の出力が合流し、結合プーリング層５１２（joint pooling layer）、結合畳み込み層５１４（joint convolution layer）、第１の全結合層５１６、第２の全結合層５１８、ＳＯＦＴＭＡＸ損失層５２０、および推定された分類を出力する出力層、に入る。本明細書内で前述したように、分類は、一般には、検出された対象物がそれぞれのクラスである確率を示す確率スコアがそれぞれに関連付けられている１つまたは複数のクラスラベルを含むことができる。

ニューラルネットワーク５００は、シーン２２０などのシーンを写している訓練画像と、訓練画像の少なくとも何枚かから抽出される深さデータに基づいて生成される訓練深さマップとを含む、複数の訓練データセットを使用して、訓練することができる。

再び図１を参照する。

１０８に示したように、アナライザ２４０は、撮影された画像の少なくとも何枚かを分析して、シーン２２０内に存在する（１つまたは複数の）対象物から反射されて戻る構造化光パターンの拡散光要素のうちの１つまたは複数のスペックルパターンの変化を検出することによって、１つまたは複数の微小振動（例えば、呼吸、目の動き、まぶたの動き、四肢（手、足）のわずかな動き、頭部のわずかな動き、および／または同種のもの）を識別することができる。スペックルパターンの変化は、微小振動（すなわち撮影された画像から抽出される深さデータの変動を分析することによって検出するには小さすぎる極めて小さいわずかな動き）を示しうる。

例えば、アナライザ２４０は、撮影された複数の連続する画像にわたり、それぞれの反射された拡散光要素の強度の経時的な標準偏差を測定して経時的な歪みパターン（temporal distortion pattern）を識別することによって、スペックルパターンの変化を検出することができる。Ｉ_ｎは、画像ｎ内の、反射された拡散光パターンおよび／またはその一部を写している特定のピクセルのグレーレベル強度であると想定する。アナライザ２４０は、次の等式２に従って経時的な標準偏差を計算することができる。

等式２：

式中、ｎは現在の画像であり、ｋはそれまでの画像の数である。

アナライザ２４０は、経時的な標準偏差の結果を、事前定義されるしきい値と比較して、微小振動が起きたかを判定することができる。経時的な標準偏差の値が、事前定義されるしきい値を超えている場合、アナライザ２４０は、微小振動が増大したと判定し、その一方で、経時的な標準偏差の値が、事前定義されるしきい値を超えていない場合、アナライザ２４０は、微小振動の変化が起きていないと判定することができる。

事前定義されるしきい値は、あらかじめ固定して設定することができる。オプションとして、事前定義されるしきい値は、経時的に測定される経時的な標準偏差の値に従って動的に調整される。

オプションとして、スペックルパターンの強度レベルに影響しうる雑音に対する耐性を改善し、スペックルパターンの強度の信号対雑音比（ＳＮＲ）を高める目的で、アナライザ２４０は、同じ表面から反射されて、撮影された複数の画像内の同じ領域に表現されている拡散光要素の複数のスペックルパターンにわたり、経時的な標準偏差を平均することができる。

別の例においては、アナライザ２４０は、撮像センサ２１２に対するスペックルパターンの傾き（ｔｉｌｔ）を示す横方向のずれ（lateral translation）についてスペックルパターンを分析することによって、スペックルパターンの変化を検出することができる。極めて微細（例えばマイクロラジアンのオーダー）でありうる傾きは、経時的な（連続するフレームにわたる）スペックルパターンの１つまたは複数の点の角速度から導くことができる。スペックルパターンの（１つまたは複数の）点の強度が経時的に一定であると想定すると、アナライザ２４０は、撮影された複数の連続する画像内に写っている（１つまたは複数の）拡散光要素の（１つまたは複数の）スペックルパターン点の横方向のずれの分析から、次の等式３に従って角速度を導くことができる。

等式３：

式中、Ｉは、時刻ｔまたは位置ｘで微分された、撮影された画像内のグレーレベルにおけるピクセルの強度である。

撮影された画像ｎ内のｉ方向における隣接するピクセルに対する、特定のピクセル（ｉ，ｊ）の変化の角速度は、次の等式４によって表すことができる。

等式４：

特定のピクセル（ｉ，ｊ）の変化の角速度は、ｊ方向においても同様に表すことができる。角速度の結果は、フレームユニットあたりのピクセルにおいて表される。

オプションとして、アナライザ２４０は、スポット強度包絡線効果（spot intensity envelope effects）に起因する強度Ｉ_ｉ，ｊの不均一性を補正するため、ピクセル（ｉ，ｊ）の強度Ｉ_ｉ，ｊを経時的に正規化する。例えばアナライザ２４０は、時間スライディングウィンドウを適用して、撮影された画像内の１つまたは複数のピクセル（ｉ，ｊ）の強度Ｉ_ｉ，ｊを平均することによって、強度Ｉ_ｉ，ｊを正規化することができる。

別の例においては、アナライザ２４０は、Ｉ_ｉ，ｊに無限インパルス応答を適用して、時間領域において強度Ｉ_ｉ，ｊを平滑化することによって、次の等式５で表されるように平滑化された強度

を生成することができる。

等式５：

式中、αは、小さい係数（例えば０．０５）である。

アナライザ２４０は、撮影された複数の連続する画像において経時的に測定された平均強度で強度Ｉ_ｉ，ｊを除算して、ピクセル（ｉ，ｊ）の１つまたは複数の強度Ｉ_ｉ，ｊを正規化することによって、次の等式６で表されるように正規化された強度

を生成することができる。
等式６：

等式４における強度の表現を、正規化された強度に置き換えることにより、角速度を次の等式７によって表すことができる。

等式７：

雑音の影響に対する、測定された強度の堅牢性をさらに改善する目的で、アナライザ２４０は、撮影された画像内の複数の隣接する反射された拡散光要素（例：ドット、スポットなど）にわたり、強度をさらに空間的に平均することができる。アナライザ２４０は、空間的に平均された強度値に対して時間的フィルタリングをさらに適用して、結果の強度信号を改善することができる。

微小振動を検出するためのスペックルパターンの分析に関するさらなる詳細は、特許文献１に記載されており、この文書の内容はその全体が参照により本明細書に組み込まれている。

１１０に示したように、アナライザ２４０は、シーン内で検出された（１つまたは複数の）対象物の分類（クラス）、（１つまたは複数の）属性（例：動き、ジェスチャ、表情、身体の位置、四肢の位置、大きさ、形状など）、深さデータの分析から導かれた（１つまたは複数の）対象物の動き、および（１つまたは複数の）対象物において検出された（１つまたは複数の）微小振動、を出力することができる。本明細書内で前述したように、分類は、一般には、検出された対象物がそれぞれのクラスである確率を示す確率スコアがそれぞれに関連付けられている１つまたは複数のクラスラベル（例えば、ベクトル、リスト、テーブル、および／または同種のもの）を含むことができる。

すべてのモダリティ（すなわち視覚的データ、深さデータ、およびスペックルパターン）は、すべて同じ画像から抽出されるため、分類、動き、および微小振動は、同じ座標系に本質的に記録される（位置が合っている）。したがって、すべてが同じ座標系を参照するモダリティそれぞれのデータの空間パラメータ（座標）に従って、分類、動き、および微小振動を（１つまたは複数の）対象物に容易に関係付けることができる。

したがって、属性、動き、および（１つまたは複数の）微小振動を、シーン２２０内で検出された対応する（１つまたは複数の）対象物に関連付けるときの精度を、著しく向上させることができる。

車室に配置されるときには、アナライザ２４０は、（１つまたは複数の）対象物のクラス、（１つまたは複数の）属性、動き、および／または（１つまたは複数の）微小振動を、車両に関連する１つまたは複数のアプリケーションに提供することができ、これらのアプリケーションは、提供されたデータを利用することができる。例えば、運転者を監視する安全システムおよび／またはアプリケーションは、アナライザ２４０によって提供されるデータを分析して、運転者が起きており車両の運転に集中していることを確認することができる。別の例においては、同乗者の安全システムおよび／またはアプリケーションは、アナライザ２４０によって提供されるデータを分析して、車室内に検出される各車両乗員（例：運転者、同乗者）が自身のシートベルトを正しく着用していることを確認することができる。別の例においては、同乗者の安全システムおよび／またはアプリケーションは、アナライザ２４０によって提供されるデータを分析して、（１人または複数の）幼児および／または（１匹または複数の）ペットが、他の（１人または複数の）同乗者がシーンから離れた後に車室内に置き忘れられていないかを確認することができる。別の例においては、同乗者の快適性システムおよび／またはアプリケーションは、車室内に検出される車両乗員の総数（人数）に従って、空調システムを調整することができる。別の例においては、インフォテインメントシステムおよび／またはアプリケーションは、車室内に検出される車両乗員の総数に従って、具体的には、車室内の（１人または複数の）車両乗員の位置（例えば、前部座席、後部座席、右側座席、左側座席、および／または同種のもの）に従って、１つまたは複数のマルチメディアシステムを調整することができる。別の例においては、車両安全システムおよび／またはアプリケーションは、車室に入っている、および／または入ろうと試みている侵入者を検出することができる。

本出願から発生する特許権の存続期間中、数多くの関連するシステム、方法、およびコンピュータプログラムが開発されることが予測されるが、用語「構造化光パターン」および「機械学習モデル」の範囲は、このような新規の技術すべてを含むものとする。

本明細書において使用されている語「約」は、±１０％を意味する。

語「備える」、「備えている」、「含む」、「含んでいる」、「有する」、およびこれらの活用形は、「～を含み、ただしそれらに限定されない」を意味する。

語「からなる」は、「～を含み、それらに限定される」ことを意味する。

本明細書において使用されているとき、単数形（「ａ」、「ａｎ」および「ｔｈｅ」）は、文脈から明らかに複数の場合が除外されない限り、複数の場合も含む。例えば、語「化合物」または「少なくとも１種類の化合物」は、複数種類の化合物（その混合物を含む）を含むことができる。

本出願の全体を通じて、本発明のさまざまな実施形態は、範囲形式で提示されていることがある。範囲形式での記述は、便宜上および簡潔さのみを目的としており、本発明の範囲を固定的に制限するようには解釈されないことを理解されたい。したがって、範囲の記述には、具体的に開示されている可能な部分範囲すべてと、その範囲内の個々の数値とが含まれるものとみなされたい。例えば、１～６などの範囲の記述には、具体的に開示された部分範囲（例えば、１～３、１～４、１～５、２～４、２～６、３～６など）と、この範囲内の個々の数（例えば１、２、３、４、５、および６）とが含まれるものとみなされたい。このことは、範囲の広さにかかわらずあてはまる。

本明細書中に数値範囲が示されているときには、示された範囲内の任意の該当する数値（分数または整数）が含まれるものとする。第１の指示数と第２の指示数「との間の範囲」、および、第１の指示数「から」第２の指示数「までの範囲」という表現は、本明細書においては互換的に使用され、第１の示された数および第２の示された数と、それらの間のすべての分数および整数を含むものとする。

明確さを目的として個別の実施形態の文脈の中で説明されている本発明の特定の複数の特徴は、１つの実施形態の中に組み合わせて設けることもできることを理解されたい。逆に、簡潔さを目的として１つの実施形態の文脈の中で説明されている本発明のさまざまな特徴は、個別に設ける、または任意の適切な部分的な組合せとして設ける、または本発明の任意の他の説明されている実施形態において適切に設けることもできる。さまざまな実施形態の文脈の中で説明されている特定の特徴は、実施形態がそれらの要素なしでは動作・機能しない場合を除いて、それらの実施形態の本質的な特徴とはみなさないものとする。

Claims (16)

1. 統合撮像装置を使用して、対象物を検出し、前記対象物の深さ情報を抽出し、前記対象物の微小振動を識別する、コンピュータによって実施される方法であって、
   少なくとも１つのプロセッサを使用して、
   複数の拡散光要素から構成される事前定義される構造化光パターンをシーンに投射するようになされている光源、を備えた統合撮像装置の撮像センサによって撮影された、前記シーンの複数の画像、を受信するステップと、
   前記複数の画像の少なくとも１枚を視覚的に分析することによって、前記シーン内に存在する少なくとも１つの対象物を分類するステップと、
   前記少なくとも１つの対象物から反射された前記複数の拡散光要素のうちの少なくとも１つの位置を分析することによって、前記少なくとも１つの対象物の深さデータを抽出するステップと、
   前記複数の画像の少なくとも何枚かの連続する画像において、前記複数の反射された拡散光要素のうちの少なくとも１つのスペックルパターンの変化を分析することによって、前記少なくとも１つの対象物の少なくとも１つの微小振動を識別するステップと、
   前記撮像センサによって撮影された画像の前記分析から導かれ、したがって共通の座標系に本質的に記録される、前記分類、前記深さデータ、および前記少なくとも１つの微小振動のデータ、を出力するステップと、
   を含み、
   前記スペックルパターンにスペックルパターン変換を適用して、前記スペックルパターン内の少なくとも１つの隣接する点に対する、前記スペックルパターン内の少なくとも１つの点の、前記少なくとも１つの微小振動を示す角速度を求めることによって、前記スペックルパターンの前記変化が識別される、
   コンピュータによって実施される方法。
2. 前記光源および前記撮像センサが、可視光、赤外光、および紫外光からなる群のメンバーである共通の光の波長スペクトルにおいて動作する、請求項１に記載の、コンピュータによって実施される方法。
3. 前記撮像センサによって撮影された画像の前記分析から導かれる前記分類、前記深さデータ、および前記少なくとも１つの微小振動が、時刻同期されている、請求項１に記載の、コンピュータによって実施される方法。
4. 前記複数の拡散光要素それぞれが、ドット、スポット、線、およびこれらの組合せ、からなる群のメンバーである、請求項１に記載の、コンピュータによって実施される方法。
5. 前記光源が、反射された構造化光パターンが前記複数の画像のサブセットに写されるように、前記構造化光パターンを周期的に発するようにさらになされている、請求項１に記載の、コンピュータによって実施される方法。
6. 前記視覚的な分析が、前記少なくとも１つの対象物を分類するための少なくとも１つの訓練された機械学習モデルを使用するステップ、を含む、請求項１に記載の、コンピュータによって実施される方法。
7. 前記少なくとも１つの機械学習モデルが、前記少なくとも１枚の画像に写されている視覚的データに基づいて前記少なくとも１つの対象物を分類するように、訓練されており、前記視覚的データが、前記少なくとも１つの対象物の視覚的データと、前記反射された拡散光要素の少なくとも１つとを含む、請求項６に記載の、コンピュータによって実施される方法。
8. 前記少なくとも１つの機械学習モデルが、前記抽出された深さデータに基づいて生成される少なくとも１つの深さマップと組み合わされる、前記少なくとも１枚の画像に写されている前記少なくとも１つの対象物の視覚的データに従って、前記少なくとも１つの対象物を分類するように、訓練される、請求項６に記載の、コンピュータによって実施される方法。
9. しきい値と比較される、前記少なくとも何枚かの連続する画像における前記少なくとも１つの反射された拡散光要素の強度の経時的な標準偏差、を分析することによって、前記スペックルパターンの前記変化が識別される、請求項１に記載の、コンピュータによって実施される方法。
10. 前記少なくとも１つの対象物の表面から反射される複数の反射された拡散光要素の前記経時的な標準偏差を計算することによって、前記経時的な標準偏差を平均するステップ、
    をさらに含む、請求項９に記載の、コンピュータによって実施される方法。
11. 前記複数の画像のうちの複数の連続する画像内の前記少なくとも１つの点に対して時間スライディングウィンドウを適用することによって、前記少なくとも１つの点の強度を平均するステップ、
    をさらに含む、請求項１に記載の、コンピュータによって実施される方法。
12. 前記少なくとも１つの点の強度に無限応答フィルタを適用し、前記フィルタの結果を、前記複数の画像のうちの複数の連続する画像において測定された前記強度に基づいて計算される平均強度で除算することによって、前記少なくとも１つの点の前記強度を平均するステップ、
    をさらに含む、請求項１に記載の、コンピュータによって実施される方法。
13. 前記スペックルパターン内の複数の隣接する点の強度を計算することによって、前記少なくとも１つの点の前記強度を平均するステップ、
    をさらに含む、請求項１に記載の、コンピュータによって実施される方法。
14. 前記シーンが車両の車室である、請求項１に記載の、コンピュータによって実施される方法。
15. 前記抽出された分類、前記深さデータ、および前記少なくとも１つの微小振動が分析されて、
    車両乗員の総数、少なくとも１人の車両乗員の位置および動き、少なくとも１人の車両乗員の姿勢、少なくとも１人の車両乗員の頭部および身体部位の位置、少なくとも１人の車両乗員の行動、および、少なくとも１人の車両乗員に関連付けられる少なくとも１つの品目の存在、のうちの少なくとも１つ、
    を導く、請求項１４に記載の、コンピュータによって実施される方法。
16. 統合撮像装置であって、
    事前定義される構造化光パターンをシーンに投射するようになされている光源であって、前記事前定義される構造化光パターンが、複数の拡散光要素を含む、前記光源と、
    前記シーンの複数の画像を撮影するようになされている撮像センサと、
    を備えており、
    前記統合撮像装置は、
    前記複数の画像の少なくとも１枚を視覚的に分析することによって、前記シーン内に存在する少なくとも１つの対象物を分類するステップと、
    前記少なくとも１つの対象物から反射された前記複数の拡散光要素のうちの少なくとも１つの位置を分析することによって、前記少なくとも１つの対象物の深さデータを抽出するステップと、
    前記複数の画像の少なくとも何枚かの連続する画像において、前記複数の反射された拡散光要素のうちの少なくとも１つのスペックルパターンの変化を分析することによって、前記少なくとも１つの対象物の少なくとも１つの微小振動を識別するステップと、
    前記撮像センサによって撮影された画像の前記分析から導かれ、したがって共通の座標系に本質的に記録される、前記分類、前記深さデータ、および前記少なくとも１つの微小振動のデータ、を出力するステップと、
    を実行し、
    しきい値と比較される、前記少なくとも何枚かの連続する画像における前記少なくとも１つの反射された拡散光要素の強度の経時的な標準偏差、を分析することによって、前記スペックルパターンの前記変化が識別される、
    統合撮像装置。

Images