以下の詳細な説明では、関連する開示の完全な理解を提供するために、多数の特定の詳細が、例として記載される。しかしながら、本開示は、そのような詳細なしに実施され得ることは、当業者に明らかであるべきである。他の例では、本開示の態様を不必要に不明瞭にすることを避けるために、周知の方法、手順、構成要素、及び/または回路が、詳細なしに、比較的高レベルで記載されている。
一実施形態では、本開示は、無線監視システムの方法、装置、デバイス、システム、及び/またはソフトウェア(方法/装置/デバイス/システム/ソフトウェア)を開示する。無線マルチパスチャネルの時系列チャネル情報(CI)は、プロセッサ、プロセッサと通信可能に結合されたメモリ、及びメモリに記憶された一連の指示を使用して(例えば、動的に)得られ得る。CIの時系列(TSCI)は、チャネルを介して場所(venue)でタイプ1異種(heterogeneous)無線装置(たとえば、無線送信機、TX)とタイプ2異種無線装置(たとえば、無線受信機、RX)との間で送信される無線信号(信号)から抽出され得る。チャネルは、場所のオブジェクトの表現(例えば、動き、動き、表現、及び/または位置/ポーズ/形状/表現の変化)によって影響され得る。オブジェクト及び/またはオブジェクトの運動の特性及び/または空間-時間情報(STI、例えば、動き情報)は、TSCIに基づいて監視され得る。タスクは、特性及び/またはSTIに基づいて実行され得る。タスクに関連付けられたプレゼンテーションは、ユーザのデバイス上のユーザインターフェース(UI)において生成されてもよい。TSCIは、無線信号ストリームであってもよい。TSCIまたは各CIは、前処理され得る。装置は、ステーション(STA)であってもよい。記号「A/B」は、本開示における「A及び/又はB」を意味する。
表現(expression)は、配置、移動可能な部分の配置、場所、位置、向き、同定可能な場所、領域、空間座標、プレゼンテーション、状態、表現、静的な表現、サイズ、長さ、幅、高さ、角度、スケール、形状、カーブ、表面、面積、体積、ポーズ、姿勢、兆候、体表現、動的な表現、動的な体言、運動、動きシーケンス、ジェスチャ、伸長、収縮、歪み、変形、身体表現(例えば、頭部、顔面、目、口、舌、髪、声、首、肢、腕、手、脚、足、筋肉、可動部分)、表面表現(例えば、形状、質感、材料、色、電磁気(EM)特性、視覚パターン、湿度、反射率、半透明度、柔軟性)、材料特性(例えば、生きている組織、毛、織物、金属、木、皮革、プラスチック、金属、人工材料、固体、液体、ガス、温度)、動き、活動、ふるまい、表現の変化、及び/又は 何らかの組み合わせ、を含むことができる。
無線信号は、送信/受信信号、EM放射、RF信号/送信、認可された/無免許/ISM帯域内の信号、帯域制限信号、ベースバンド信号、無線/移動/セルラ通信信号、無線/移動/セルラネットワーク信号、メッシュ信号、光信号/通信、ダウンリンク/アップリンク信号、ユニキャスト/マルチキャスト/ブロードキャスト信号、標準(例えばWLAN、WWAN、WPAN、WBAN、国際、国内、業界、デファクト、IEEE、IEEE 802、802.11/15/16、WiFi、802.11n/ac/ax/be、3G/4G/LTE/5G/6G/7G/8G、3GPP、blue tooth、BLE、Zigbee、RFID、UWB、WiMax)準拠シグナル、プロトコル信号、標準フレーム、ビーコン/パイロット/探索/問い合わせ/確認/ハンドシェイク/同期シグナル、管理/制御/データ信号、標準化された無線/セルラ通信プロトコル、参照信号、ソースシグナル、モーションプローブ/検出/ センシングシグナル、及び/または一連のシグナル、を含むことができる。無線信号は、見通し線(LOS)、及び/または非LOS構成要素(または経路/リンク)を含み得る。各CIは、タイプ2デバイスのレイヤ(例えば、OSIモデルのPHY/MACレイヤ)において抽出/生成/計算/検出され、アプリケーション(例えば、ソフトウェア、ファームウェア、ドライバ、アプリ、無線監視ソフトウェア/システム)によって得られ得る。
無線マルチパスチャネルは、以下を含むことができる:通信チャネル、アナログ周波数チャネル(例えば、700/800/900MHz、1.8/1.8/2.4/3/5/6/27/60GHz付近のアナログ搬送周波数、)、符号化チャネル(例えば、CDMA)、及び/または無線ネットワーク/システムのチャネル(例えば、WLAN、WiFi、メッシュ、LTE、4G/5G、Bluetooth、Zigbee、UWB、RFID、マイクロ波)。それは、2つ以上のチャネルを含み得る。チャネルは連続(隣接/重なり帯域など)または非連続チャネル(重なりのないWiFi チャネル、1つは2.4GHz で、1つは5GHz)である可能性がある。
TSCIは、タイプ2デバイスのレイヤ(例えば、OSI参照モデルのレイヤ、物理レイヤ、データリンクレイヤ、論理リンク制御レイヤ、メディアアクセス制御(MAC)レイヤ、ネットワークレイヤ、トランスポートレイヤ、セッションレイヤ、プレゼンテーションレイヤ、アプリケーションレイヤ、TCP/IPレイヤ、インターネットレイヤ、リンクレイヤ)において、無線信号から抽出することができる。TSCIは、無線信号(例えば、RF信号)から導出された導出信号(例えば、ベースバンド信号、動き検出信号、動きセンシング信号)から抽出されてもよい。それは、既存のメカニズム(例えば、無線/セルラ通信標準/ネットワーク、3G/LTE/4G/5G/6G/7G/8G、WiFi、IEEE 802.11/15/16)を使用する、通信プロトコル(例えば、標準化されたプロトコル)によって検出される(無線)測定であり得る。導出された信号は、プリアンブル、ヘッダ及びペイロード(例えば、無線リンク/ネットワークにおけるデータ/制御/管理のための)のうちの少なくとも1つを有するパケットを含み得る。TSCIは、パケット中のプローブシグナル(例えば、トレーニングシーケンス、STF、LTF、L-STF、L-LTF、L-SIG、HE-STF、HE-LTF、HE-SIG-A、HE-SIG-B、CEF)から抽出され得る。動き検出/センシング信号は、プローブ信号に基づいて認識/識別されてもよい。パケットは、標準準拠プロトコルフレーム、管理フレーム、コントロールフレーム、データフレーム、サウンディングフレーム、エキサイテーションフレーム、イルミネーションフレーム、ヌルデータフレーム、ビーコンフレーム、パイロットフレーム、プローブフレーム、要求フレーム、応答フレーム、関連付けフレーム、再関連付けフレーム、離脱フレーム、認証フレーム、アクションフレーム、レポートフレーム、ポールフレーム、アナウンスフレーム、拡張フレーム、問い合わせフレーム、確認応答フレーム、RTSフレーム、CTSフレーム、QoSフレーム、CF-Pollフレーム、CF-Ackフレーム、ブロック確認応答フレーム、参照フレーム、トレーニングフレーム、及び/または同期フレームであり得る。
パケットは、制御データ及び/または動き検出プローブを含み得る。ペイロードからデータ(例えば、タイプ1デバイスのID/パラメータ/特性/設定/制御信号/命令/指示/通知/放送関連情報)を取得することができる。無線信号は、タイプ1デバイスによって送信され得る。それは、タイプ2デバイスによって受け取られ得る。データベース(例えば、ローカル・サーバ、ハブ・デバイス、クラウド・サーバ、ストレージ・ネットワークにおける)は、TSCI、特性、STI、署名、パターン、挙動、傾向、パラメータ、分析、出力応答、識別情報、ユーザ情報、デバイス情報、チャネル情報、場所(例えば、地図、環境モデル、ネットワーク、近接デバイス/ネットワーク)情報、タスク情報、クラス/カテゴリ情報、プレゼンテーション(例えば、UI)情報、及び/または他の情報を記憶するために使用され得る。
タイプ1/タイプ2デバイスは、エレクトロニクス、回路、送信機(TX)/受信機(RX)/トランシーバ、RFインターフェース、「オリジンサテライト」/「トラッカーボット」、ユニキャスト/マルチキャスト/ブロードキャストデバイス、無線電源デバイス、電源/デスティネーションデバイス、無線ノード、ハブデバイス、対象デバイス、動き検出デバイス、センサデバイス、遠隔/無線センサデバイス、無線通信デバイス、無線対応デバイス、標準準拠デバイス、及び/または受信機のうちの少なくとも1つを含み得る。タイプ1(またはタイプ2)装置は、タイプ1(またはタイプ2)装置の複数の例が存在する場合、異なる回路、エンクロージャ、構造、目的、補助機能性、チップ/IC、プロセッサ、メモリ、ソフトウェア、ファームウェア、ネットワーク接続性、アンテナ、ブランド、モデル、外観、形態、形状、色、材料、及び/または仕様を有し得るため、異種であり得る。タイプ1/タイプ2デバイスは、アクセスポイント、ルータ、メッシュルータ、物のインターネット(IoT)デバイス、無線端末、1つ以上の無線/RFサブシステム/無線インターフェース(例えば、2.4GHz無線、5GHz無線、フロントホール無線、バックホール無線)、モデム、RFフロントエンド、RF/無線チップまたは集積回路(IC)を含み得る。
タイプ1デバイス、タイプ2デバイス、それらの間のリンク、オブジェクト、特性、STI、動きの監視、及びタスクのうちの少なくとも1つは、UUIDなどの識別(ID)に関連付けられ得る。タイプ1/タイプ2/別のデバイスは、TSCIを取得/保存/検索/アクセス/前処理/条件/プロセス/分析/監視/適用することができる。タイプ1及びタイプ2デバイスは、無線信号と並列に他のチャネル(例えば、イーサネット、HDMI(登録商標)、USB、Bluetooth、BLE、WiFi、LTE、他のネットワーク、無線マルチパスチャネル)でネットワークトラフィックを通信することができる。 タイプ2デバイスは、タイプ1デバイスとの接続(例えば、関連付け/認証)を確立することなく、またはタイプ1デバイスからサービスを要求することなく、無線マルチパスチャネルにおいてタイプ1デバイスからの無線信号を受動的に観察/監視/受信し得る。
送信機(すなわち、タイプ1デバイス)は、受信機(すなわち、タイプ2デバイス)として、一時的に、散発的に、連続的に、反復的に、交換可能に、交互に、同時に、並列に、及び/または同時に、機能する(その役割を果たす)ことができ、逆もまた同様である。装置は、一時的に、散発的に、連続的に、繰り返して、同時に、並列に及び/または同時的に、タイプ1デバイス(送信機)及び/またはタイプ2デバイス(受信機)として機能し得る。それぞれがタイプ1(TX)及び/またはタイプ2(RX)装置である複数の無線ノードが存在する場合がある。TSCIは、無線信号を交換/通信するとき、2つのノードごとに取得され得る。オブジェクトの特性及び/またはSTIは、TSCIに基づいて個別に、または2つ以上(例えば、すべて)のTSCIに基づいて共同で監視され得る。
オブジェクトの動きは、能動的に(そのタイプ1デバイス、タイプ2デバイス、またはその両方は、オブジェクトの着用可能/関連付けられる点で)及び/または受動的に(タイプ1デバイス及びタイプ2デバイスの両方はオブジェクトの着用可能ではない/関連付けられないという点で)監視され得る。それは、オブジェクトがタイプ1デバイス及び/またはタイプ2デバイスに関連付けられていない可能性があるため、受動的であり得る。オブジェクト(例えば、ユーザ、自動誘導車両またはAGV)は、いかなる装着物/固定具も持ち運ぶ/設置する必要はないかもしれない(すなわち、タイプ1デバイス及びタイプ2デバイスは、オブジェクトがタスクを実行するために持ち運ぶ必要がある装着可能/取り付けられた装置ではない)。これは、オブジェクトがタイプ1デバイスまたはタイプ2デバイスのいずれかに関連付けられている可能性があるため、アクティブになっている可能性がある。オブジェクトは、装着可能/取付け具(例えば、タイプ1デバイス、タイプ2デバイス、タイプ1デバイスまたはタイプ2デバイスのいずれかと通信可能に結合された装置)を運ぶ(または設置する)ことができる。
プレゼンテーションは、ビジュアル、オーディオ、画像、ビデオ、アニメーション、グラフィックプレゼンテーション、テキストなどである。タスクの計算は、タイプ1デバイスのプロセッサ(または論理ユニット)、タイプ1デバイスのICのプロセッサ(または論理ユニット)、タイプ2デバイスのプロセッサ(または論理ユニット)、タイプ2デバイスのICのプロセッサ、ローカルサーバ、クラウドサーバ、データ解析サブシステム、信号解析サブシステム、及び/または別のプロセッサによって実行することができる。このタスクは、無線フィンガードプリントまたはベースライン(例えば、収集、処理、処理、送信、及び/またはトレーニングフェーズ/前回の調査/最新の調査/初期の無線調査、受動指摘書)、トレーニング、プロフィール、トレーニングされたプロフィール、静態的プロフィール、静態的プロフィール、調査、初期無線調査、初期設定、設置、再トレーニング、更新及びリセット)を用いて/しないで実施することができる。
タイプ1デバイス(TX装置)は、少なくとも1つの異種無線送信機を備えることができる。タイプ2デバイス(RXデバイス)は、少なくとも1つの異種無線受信機を含み得る。タイプ1デバイス及びタイプ2デバイスは、コロケーションされ得る。タイプ1デバイスとタイプ2デバイスは同じ装置であってもよい。任意の装置は、データ処理ユニット/装置、計算ユニット/システム、ネットワークユニット/システム、プロセッサ(例えば、論理ユニット)、プロセッサと通信可能に結合されたメモリ、及びプロセッサによって実行されるべきメモリに記憶された命令のセットを有し得る。一部のプロセッサ、メモリ、及び一連の指示は、協調することができる。
同じタイプ2デバイス(または複数のタイプ2デバイス)と相互作用する(例えば、通信する、交換信号/制御/通知/他のデータ)複数のタイプ1デバイスが存在してもよく、及び/または同じタイプ1デバイスと相互作用する複数のタイプ2デバイスが存在してもよい。複数のタイプ1デバイス/タイプ2デバイスは、同期及び/または非同期、同じ/異なるウィンドウ幅/サイズ及び/または時間シフト、同じ/異なる同期開始時間、同期終了時間などであり得る。複数のタイプ1デバイスによって送信される無線信号は、散発的、一時的、連続的、反復的、同期的、同時的、同時的、及び/または同時的であってもよい。複数のタイプ1デバイス/タイプ2デバイスは、独立して、及び/または協働して動作し得る。タイプ1及び/またはタイプ2のデバイスは、異種ハードウェア回路(例えば、無線信号を生成/受信し、受信信号からCIを抽出し、またはCIを利用可能にすることができる異種チップまたは異種IC)を有する/備えることができる。それらは、同一または異なるサーバ(例えば、クラウドサーバ、エッジサーバ、ローカルサーバ、ハブ装置)に通信可能に結合され得る。
1つの装置の動作は、動作、状態、内部状態、記憶装置、プロセッサ、メモリ出力、物理的位置、計算リソース、別の装置のネットワークに基づくことができる。異なる装置は、直接的に、及び/または別の装置/サーバ/ハブ装置/クラウドサーバを介して通信し得る。装置は、1人以上のユーザに関連付けられ、関連付けられた設定を持つことができる。設定は、一度選択され、事前にプログラムされ、及び/または経時的に変更され得る(例えば、調整され、変化され、修正され)/変化され得る。方法には、さらなるステップが存在し得る。方法のステップ及び/または追加のステップは、示された順序で、または別の順序で実行され得る。任意のステップは、並行して、反復して、または他の方法で反復して、または別の方法で実行され得る。ユーザは、ヒト、成人、高齢成人、男性、女性、幼児、子供、乳児、ペット、動物、生物、機械、コンピュータモジュール/ソフトウェアなどであり得る。
1つまたは複数のタイプ2デバイスと相互作用する1つまたは複数のタイプ1デバイスの場合、任意の処理(例えば、時間領域、周波数領域)は、異なるデバイスについて異なることができる。処理は、位置、向き、方向、役割、ユーザ関連特性、設定、構成、利用可能なリソース、利用可能な帯域幅、ネットワーク接続、ハードウェア、ソフトウェア、プロセッサ、コプロセッサ、メモリ、バッテリ寿命、利用可能な電力、アンテナ、アンテナの種類、アンテナの指向性/一方向特性、電力設定、及び/または装置の他のパラメータ/特性に基づくことができる。
無線受信機(例えば、タイプ2デバイス)は、無線送信機(例えば、タイプ1デバイス)から信号及び/または別の信号を受信し得る。無線受信機は、別の無線送信機(例えば、第2のタイプ1デバイス)から別の信号を受信することができる。無線送信機は、信号及び/または別の信号を別の無線受信機(例えば、第2のタイプ2のデバイス)に送信することができる。無線送信機、無線受信機、別の無線受信機及び/または別の無線送信機は、オブジェクト及び/または別のオブジェクトと共に移動してもよい。別のオブジェクトを追跡することができる。
タイプ1及び/またはタイプ2デバイスは、少なくとも2つのタイプ2及び/またはタイプ1デバイスと無線結合することが可能であり得る。タイプ1デバイスは、場所の別の位置で、タイプ2デバイスから第2のタイプ2デバイスへの無線結合(例えば、関連付け、認証)を切り替える/確立するように引き起こされ得る/制御され得る。同様に、タイプ2デバイスは、場所のさらに別の場所で、タイプ1デバイスから第2のタイプ1デバイスへの無線結合を切り替える/確立するように、引き起こされ/制御され得る。スイッチングは、サーバ(またはハブ装置)、プロセッサ、タイプ1デバイス、タイプ2デバイス、及び/または別の装置によって制御できる。切り替え前後に使用する無線機は異なっていてもよい。第2の無線信号(第2の信号)は、チャネルを通して、タイプ1デバイスと第2のタイプ2デバイスとの間(またはタイプ2デバイスと第2のタイプ1デバイスとの間)に送信され得る。第2の信号から抽出されたチャネルの第2のTSCIが得られ得る。第2の信号は、第1の信号であってもよい。オブジェクトの特性、STI及び/または別の量は、第2のTSCIに基づいて監視され得る。タイプ1デバイスとタイプ2デバイスは同じであってもよい。異なるタイムスタンプを有する特性、STI及び/または別の量は、波形を形成し得る。波形は、プレゼンテーションで表示することができる。
無線信号及び/または別の信号は、データが埋め込まれていてもよい。無線信号は、一連のプローブ信号(例えば、プローブ信号の繰り返し送信、1つまたは複数のプローブ信号の再使用)であってもよい。プローブ信号は、時間の経過とともに変化/変化しうる。プローブ信号は、規格準拠信号、プロトコル信号、標準化無線プロトコル信号、制御信号、データ信号、無線通信ネットワーク信号、セルラーネットワーク信号、WiFi信号、LTE/5G/6G/7G信号、参照信号、ビーコン信号、動き検出信号、及び/または動きセンシング信号であってもよい。プローブ信号は、無線ネットワーク標準(例えば、WiFi)、セルラーネットワーク標準(例えば、LTE/5G/6G)、または別の標準に従ってフォーマットされ得る。プローブ信号は、ヘッダ及びペイロードを有するパケットを含み得る。プローブ信号は、データが埋め込まれていてもよい。ペイロードは、データを含むことができる。プローブ信号は、データ信号に置き換えられてもよい。プローブ信号は、データ信号に埋め込まれてもよい。無線受信機、無線送信機、別の無線受信機及び/または別の無線送信機は、少なくとも1つのプロセッサ、それぞれのプロセッサと通信可能に結合されたメモリ、及び/または実行されたときにプロセッサに、オブジェクトのSTI(例えば、動き情報)、初期STI、初期時間、方向、瞬間位置、瞬間角度、及び/または速度を判定するために必要な任意のステップ及び/またはすべてのステップを実行させる、メモリに記憶されたそれぞれの命令セットに関連付けられてもよい。
プロセッサ、メモリ及び/または命令のセットは、タイプ1デバイス、少なくとも1つのタイプ2デバイス、オブジェクト、オブジェクトに関連付けられた装置、場所に関連付けられた別の装置、クラウドサーバ、ハブ装置、及び/または別のサーバに関連付けられ得る。
タイプ1デバイスは、場所のチャネルを通して少なくとも1つのタイプ2デバイス(単数または複数)に放送方式で信号を送信することができる。信号は、任意のタイプ2デバイスとの無線接続(例えば、関連付け、認証)を確立するタイプ1デバイスなしで、及びタイプ1デバイスからのサービスを要求するタイプ2デバイスなしで送信される。タイプ1デバイスは、複数のタイプ2デバイスに共通の特定のメディアアクセスコントロール(MAC)アドレスに送信できる。各々のタイプ2デバイスは、そのMACアドレスを特定のMAC アドレスに調整できる。特定のMACアドレスは、場所に関連付けられ得る。関連付けは、関連付けサーバ(例えば、ハブデバイス)の対応付けテーブルに記録され得る。場所は、特定のMACアドレス、一連のプローブ信号、及び/またはプローブ信号から抽出された少なくとも1つのTSCIに基づいて、タイプ1デバイス、タイプ2デバイス及び/または別の装置によって識別され得る。
例えば、タイプ2デバイスは、場所の新しい位置に(例えば、別の場所から)移動され得る。タイプ1デバイスは、タイプ1及びタイプ2デバイスが互いに認識しないように、場所に新たに設定され得る。セットアップ中、タイプ1デバイスは、一連のプローブ信号を特定のMACアドレスに送るように、指示され/ガイドされ/引き起こされ/制御され得る(例えば、ダミー受信機を使用すること、ハードウェアピン設定/接続を使用すること、保存された設定を使用すること、ローカル設定を使用すること、リモート設定を使用すること、ダウンロードされた設定を使用すること、ハブ装置を使用すること、またはサーバを使用すること)。電源を投入すると、タイプ2デバイスは、異なる場所(例えば、ハウス、オフィス、エンクロージャ、フロア、多層ビル、店舗、空港、モール、スタジアム、ホール、ステーション、地下鉄、ロット、地域、領域、区域、地方、都市、国、大陸などの異なる場所に使用される異なるMACアドレス)でブロードキャストするために使用され得るMACアドレスのテーブル(例えば、指定されたソース、サーバ、ハブデバイス、クラウドサーバに記憶された)に従って、プローブ信号をスキャンし得る。タイプ2デバイスが、特定のMACアドレスに送られたプローブ信号を検出すると、タイプ2デバイスは、MACアドレスに基づいて場所を識別するために、テーブルを使用することができる。
場所のタイプ2デバイスの位置は、特定のMACアドレス、一連のプローブ信号、及び/またはプローブ信号からタイプ2デバイスによって得られる少なくとも1つのTSCIに基づいて計算され得る。計算は、タイプ2デバイスによって実行されてもよい。
特定のMACアドレスは、経時的に変更(例えば、調整、変更、修正)され得る。それは、予定表、ルール、方針、モード、条件、状況及び/または変化に従って変更され得る。特定のMACアドレスは、MACアドレスの利用可能性、予め選択されたリスト、衝突パターン、トラフィックパターン、タイプ1デバイスと他の装置との間のデータトラフィック、有効な帯域幅、ランダム選択、及び/またはMACアドレススイッチングプランに基づいて選択することができる。特定のMACアドレスは、第2の無線デバイス(例えば、ダミー受信機、またはダミー受信機として機能する受信機)のMACアドレスであり得る。
タイプ1デバイスは、一組のチャネルから選択されたチャネルにおいて、プローブ信号を送信してもよい。選択されたチャネルの少なくとも1つのCIは、選択されたチャネルにおいて送信されるプローブ信号から、それぞれのタイプ2デバイスによって取得され得る。
選択されたチャネルは、経時的に変更(例えば、調整、変更、修正)され得る。変更は、予定表、ルール、方針、モード、条件、状況、及び/または変化に従うことができる。選択されたチャネルは、チャネルの利用可能性、ランダム選択、予め選択されたリスト、同一チャネル間干渉、チャネル間干渉、チャネルトラフィックパターン、タイプ1デバイスと別のデバイスとの間のデータトラフィック、チャネルに関連する有効帯域幅、セキュリティ基準、チャネルスイッチングプラン、基準、品質基準、信号品質条件、及び/または考慮に基づいて選択され得る。
特定のMACアドレス及び/または選択されたチャネルの情報は、ネットワークを介してタイプ1デバイスとサーバ(例えば、ハブ装置)との間で通信することができる。特定のMACアドレス及び/または選択されたチャネルの情報は、別のネットワークを介してタイプ2デバイスとサーバ(例えば、ハブ装置)との間で通信することもできる。タイプ2デバイスは、特定のMACアドレス及び/または選択されたチャネルの情報を別のタイプ2デバイス(例えば、メッシュネットワーク、Bluetooth、WiFi、NFC、ZigBeeなどを介して)に通信することができる。特定のMACアドレス及び/または選択されたチャネルは、サーバ(例えば、ハブ装置)によって選択され得る。特定のMACアドレス及び/または選択されたチャネルは、タイプ1デバイス、タイプ2デバイス及び/またはサーバ(例えば、ハブ装置)によってアナウンスメントチャネル内でシグナリングされ得る。通信される前に、任意の情報が前処理され得る。
タイプ1デバイスと別の無線装置との間の無線接続(例えば、関連付け、認証)は、(例えば、シグナルハンドシェイクを使用して)確立され得る。タイプ1デバイスは、第1のハンドシェイク信号(例えば、サウンディングフレーム、プローブ信号、送信要求RTS)を別の装置に送ることができる。別のデバイスは、第2のハンドシェイク信号(例えば、コマンド、または送信可CTS)をタイプ1デバイスに送信することによって応答することができ、いずれのタイプ2デバイスとの接続を確立することなく、複数のタイプ2デバイスにブロードキャスト方式で信号(例えば、一連のプローブ信号)を送信するようにタイプ1デバイスをトリガする。第2のハンドシェイク信号は、第1のハンドシェイク信号に対する応答または確認応答(例えば、ACK)であり得る。第2のハンドシェイク信号は、場所、及び/またはタイプ1デバイスの情報を有するデータを含み得る。別の装置は、タイプ1デバイスとの無線接続を確立し、第1の信号を受信し、及び/または第2の信号を送るための目的(例えば、一次目的、二次目的)を有するダミー装置であり得る。別の装置は、タイプ1デバイスに物理的に取り付けられてもよい。
別の例では、別の装置は、いずれのタイプ2デバイスとの接続(例えば、関連付け、認証)を確立することなく、信号(例えば、一連のプローブ信号)を複数のタイプ2デバイスにブロードキャストすることをタイプ1デバイスにトリガする第3のハンドシェイク信号をタイプ1デバイスに送ることができる。タイプ1デバイスは、第4のハンドシェイク信号を他の装置に送信することにより第3の特別信号に応答することができる。別の装置は、複数のタイプ1デバイスがブロードキャストすることをトリガするために使用され得る。トリガは、連続的、部分的に連続的、部分的に並列、または完全に並列であってもよい。別の装置は、複数の送信機を並列にトリガするために、複数の無線回路を有してもよい。並列トリガはまた、少なくとも1つのさらに別の装置を使用して、別の装置と並行して(別の装置が行うのと同様の)トリガを実行することによって達成され得る。別の装置は、タイプ1デバイスとの接続を確立した後、タイプ1デバイスと通信(または通信を一時停止)できない。一時停止した通信が再開される場合がある。別の装置は、タイプ1デバイスとの接続を確立した後、非アクティブモード、休眠モード、スリープモード、スタンバイモード、低電力モード、OFFモード及び/またはパワーダウンモードに入ることができる。別の装置は、タイプ1デバイスが信号を特定のMACアドレスに送信するように、特定のMACアドレスを有してもよい。タイプ1デバイス及び/または別の装置は、タイプ1デバイスに関連付けられた第1のプロセッサ、別の装置に関連付けられた第2のプロセッサ、指定されたソースに関連付けられた第3のプロセッサ、及び/または別の装置に関連付けられた第4のプロセッサによって制御及び/または調整されてもよい。第1及び第2のプロセッサは、互いに調整することができる。
第1の一連のプローブ信号は、第1の場所の第1のチャネルを通して、タイプ1デバイスの第1のアンテナによって少なくとも1つの第1のタイプ2デバイスに送信されてもよい。第2の一連のプローブ信号は、第2の場所の第2のチャネルを通して、タイプ1デバイスの第2のアンテナによって、少なくとも1つの第2のタイプ2デバイスに送信されてもよい。第1の一連のプローブ信号及び第2の一連のプローブ信号は、異なっていてもよい/異なっていなくてもよい。少なくとも1つの第1のタイプ2デバイスは、少なくとも1つの第2のタイプ2デバイスと異なっていてもよい/異なっていなくてもよい。第1及び/または第2の一連のプローブ信号は、タイプ1デバイスと任意のタイプ2デバイスとの間で確立された接続(例えば、関連付け、認証)なしにブロードキャストされ得る。第1及び第2のアンテナは、同じ/異なるものであってもよい。
2つの場所は、異なるサイズ、形状、マルチパス特性を有することができる。第1及び第2の場所は、重複してもよい。第1及び第2のアンテナの近傍のそれぞれの直近の領域は、重複することができる。第1及び第2のチャネルは、同じ/異なることができる。例えば、第1のものはWiFiであってもよく、第2のものはLTEであってもよい。または、両方ともWiFiであってもよいが、最初のものは2.4GHzのWiFiであってもよく、2番目は5GHzのWiFiであってもよい。または、両方とも2.4GHz WiFiであってもよいが、異なるチャネル番号、SSID名、及び/またはWiFi設定を有する。
各タイプ2デバイスは、それぞれの一連のプローブ信号から少なくとも1つのTSCIを取得することができ、CIは、タイプ2デバイスとタイプ1デバイスとの間のそれぞれのチャネルである。いくつかの第1のタイプ2デバイス(単数または複数)及びいくつかの第2のタイプ2デバイス(単数または複数)は、同じであり得る。第1及び第2の一連のプローブ信号は、同期/非同期であってもよい。プローブ信号は、データと送信されてもよく、またはデータ信号で置き換えられてもよい。第1のアンテナと第2のアンテナは同じであってもよい。
第1の一連のプローブ信号は、第1の速度(例えば、30Hz)で送信されてもよい。第2の一連のプローブ信号は、第2の速度(例えば、200Hz)で送信されてもよい。第1及び第2の速度は、同じ/異なることができる。第1及び/または第2の速度は、経時的に変更(例えば、調整、変化、修正)され得る。変更は、予定表、ルール、方針、モード、条件、状況、及び/または変化に従うことができる。任意の速度は、経時的に変更(例えば、調整、変更、修正)され得る。
第1及び/または第2の一連のプローブ信号は、それぞれ、第1のMACアドレス及び/または第2のMACアドレスに送信され得る。2つのMAC アドレスは同じ/異なる場合がある。第1の一連のプローブ信号は、第1のチャネル内で送信されてもよい。第2の一連のプローブ信号は、第2のチャネルで送信されてもよい。2つのチャネルは、同じ/異なることができる。第1または第2のMACアドレス、第1または第2のチャネルは、時間の経過と共に変化し得る。任意の変更は、予定表、ルール、方針、モード、状態、状況、及び/または変化に従うことができる。
タイプ1の装置及び別の装置は、制御及び/または調整され、共通の装置に物理的に取り付けられ、または共通の装置のもの/共通の装置の中であり得る。それらは、共通のデータプロセッサークにより制御され/へ接続され、又は、共通のバスインターコネクト/ネットワーク/LAN/Bluetoothネットワーク/ NFCネットワーク/ BLE/有線ネットワーク/無線ネットワーク/メッシュネットワーク/モバイルネットワーク/クラウドに接続されてもよい。それらは、共通メモリを共有することができ、あるいは、共通ユーザ、ユーザ装置、プロファイル、アカウント、アイデンティティ(ID)、識別子、家庭、住宅、物理アドレス、位置、地理座標、IPサブネット、SSID、家庭装置、オフィス装置、及び/または製造装置と関連付けることができる。
各タイプ1デバイスは、それぞれのタイプ2デバイスのセットの信号源であり得る(すなわち、それは、それぞれの信号(例えば、それぞれの一連のプローブ信号)をそれぞれのタイプ2デバイスのセットに送る)。各タイプ2デバイスは、その信号源として全てのタイプ1デバイスの中からタイプ1デバイスを選択する。各タイプ2デバイスは非同期に選択できる。少なくとも1つのTSCIは、タイプ1デバイスからのそれぞれの一連のプローブ信号から、それぞれのタイプ2デバイスによって取得され得、CIは、タイプ2デバイスとタイプ1デバイスとの間のチャネルである。
それぞれのタイプ2デバイスは、すべてのタイプ1デバイスの中から、アイデンティティ(ID)またはタイプ1/タイプ2デバイスの識別子、実行されるべきタスク、過去の信号源、履歴(例えば、過去の信号源、タイプ1デバイス、別のタイプ1デバイス、それぞれのタイプ2受信機、及び/または別のタイプ2受信機の)、信号源を切り替えるための閾値、及び/またはユーザの情報、アカウント、アクセス情報、パラメータ、特性、及び/または信号強度(例えば、タイプ1デバイス及び/またはそれぞれのタイプ2受信機に関連する)に基づいて、タイプ1デバイスをその信号源として選択する。
最初に、初回で、タイプ1デバイスは、初期のそれぞれのタイプ2デバイスのセット(すなわち、タイプ1デバイスは、初期のそれぞれのタイプ2デバイスのセットにそれぞれの信号(一連のプローブ信号)を送る)の信号源であり得る。各初期のそれぞれのタイプ2デバイスは、その信号源として、すべてのタイプ1デバイスの中からタイプ1デバイスを選択する。
特定のタイプ2デバイスの信号源(タイプ1デバイス)は、次の場合に変更(例えば、調整、変更、修正)され得る、(1)タイプ2デバイスの現在の信号源から受信される2つの隣接するプローブ信号(例えば、現在のプローブ信号とすぐ前のプローブ信号との間、または次のプローブ信号と現在のプローブ信号との間)の間の時間間隔は、第1の閾値を超える、(2)タイプ2デバイスの現在の信号源に関連する信号強度は、第2の閾値未満である、(3)タイプ2デバイスの現在の信号源に関連する処理済み信号強度が第3の閾値未満であり、信号強度は、ローパスフィルタ、バンドパスフィルタ、メジアンフィルタ、移動平均フィルタ、加重平均フィルタ、線形フィルタ及び/または非線形フィルタで処理される、及び/または(4)タイプ2デバイスの現在の信号源に関連する信号強度(または処理された信号強度)は、最近のタイムウィンドウのかなりのパーセンテージ(例えば、70%、80%、90%)に対して、第4の閾値を下回っている。パーセンテージは、第5の閾値を超えることができる。第1、第2、第3、第4及び/または第5の閾値は、時間変化し得る。
条件(1)は、タイプ1デバイスとタイプ2デバイスとが徐々に互いに遠くになるときに起こり得、その結果、タイプ1デバイスからのいくつかのプローブ信号が弱すぎて、タイプ2デバイスによって受信されないようになる。条件(2)~(4)は、信号強度が非常に弱くなるように、2つのデバイスが互いに遠く離れると発生する可能性がある。
タイプ2デバイスの信号源は、他のタイプ1デバイスが、現在の信号源のファクタ(例えば、1、1.1、1.2、または1.5)よりも弱い信号強度を有する場合、変わらなくてもよい。
信号源が変更された場合(調整、変更、修正など)、新しい信号源は近い将来(例えば、それぞれの次回)に有効になることがある。新しい信号源は、最も強い、信号強度及び/または処理された信号強度、を有するタイプ1デバイスであってもよい。現在の信号源と新しい信号源は同じでも、異なってもよい。
使用可能なタイプ1デバイスのリストは、各タイプ2デバイスにより初期化及び保持されうる。リストは、タイプ1デバイスのそれぞれのセットに関連する信号強度及び/または処理された信号強度を調べることによって更新され得る。タイプ2デバイスは、第1のタイプ1デバイスからの第1の一連のプローブ信号と、第2のタイプ1デバイスからの第2の一連のプローブ信号との間で、それぞれのプローブ信号レート、MACアドレス、チャネル、特徴/特性/状態、タイプ2デバイスによって実行されるべきタスク、第1及び第2の一連の信号強度、及び/または別の考慮事項に基づいて選択することができる。
一連のプローブ信号は、一定の速度(例えば、100Hz)で送信されてもよい。一連のプローブ信号は、規則的な間隔(例えば、100Hzに対して0.01s)でスケジュールされ得るが、各プローブ信号は、おそらく、タイミング要件、タイミング制御、ネットワーク制御、ハンドシェイキング、メッセージパッシング、衝突回避、キャリアセンシング、輻輳、リソースの利用可能性、及び/または別の考慮事項に起因して、小さな時間摂動を経験し得る。
レートは、変更され得る(例えば、調整され、変更され、修正され得る)。変更は、予定表(例えば、1時間ごとに変更される)、規則、方針、モード、条件及び/または変化(例えば、あるイベントが発生したときにいつでも変更される)に従うことができる。たとえば、レートは通常100Hzであるが、要求の厳しい状況では1000Hzに変更され、低電力/スタンバイ状況では1Hzに変更される。プローブ信号は、バーストで送信されてもよい。
プローブ信号レートは、タイプ1デバイスまたはタイプ2デバイスによって実行されるタスクに基づいて変化する場合がある(例えば、タスクは通常100Hz、20秒間について一時的に1000Hzを必要とする場合がある)。一例では、送信機(タイプ1デバイス)、受信機(タイプ2デバイス)、及び関連するタスクは、クラス(例えば、低優先度、高優先度、緊急、クリティカル、通常、特権、非加入、加入、有料、及び/または非課金であるクラス)に適応的に(及び/または動的に)関連付けられ得る。(トランスミッターの)レートは、いくつかのクラス(例えば、高優先度クラス)のために調整され得る。そのクラスの必要性が変化した場合、レートを変更することができる(例えば、調整、変更、修正)。受信機が臨界的に低い電力を有する場合、レートは、プローブ信号に応答するために受信機の電力消費を低減するために低減されてもよい。1つの例では、プローブ信号を使用して、電力を無線で受信機(タイプ2デバイス)に転送し、レートを調整して、受信機に転送される電力の量を制御してもよい。
レートは、以下によって(またはそれに基づいて)変更することができる:サーバ(例えば、ハブデバイス)、タイプ1デバイス及び/またはタイプ2デバイス。制御信号は、それらの間で通信されてもよい。サーバは、タイプ2デバイスの必要性及び/又はタイプ2デバイスによって実行されるタスクを監視、追跡、予測及び/又は予想し、かつレートを変更するためにタイプ1デバイスを制御することができる。サーバは、予定表に従って、レートにスケジュールされた変更を行うことができる。サーバは、緊急事態を検知し、直ちにレートを変更することができる。サーバは、発展状態を検出し、レートを徐々に調整することができる。
特性及び/またはSTI(例えば、動き情報)は、特定のタイプ1デバイス及び特定のタイプ2デバイスに関連するTSCIに基づいて個別に監視され得るか、及び/または特定のタイプ1デバイス及び任意のタイプ2デバイスに関連する任意のTSCIに基づいて共同で監視され得るか、及び/または特定のタイプ2デバイス及び任意のタイプ1デバイスに関連する任意のTSCIに基づいて共同で監視され得るか、及び/または任意のタイプ1デバイス及び任意のタイプ2デバイスに関連する任意のTSCIに基づいてグローバルに監視され得る。任意の共同モニタリングは、以下に関連し得る:ユーザ、ユーザアカウント、プロファイル、家庭、場所の地図、場所の環境モデル、及び/またはユーザ履歴、など。
タイプ1デバイスとタイプ2デバイスとの間の第1のチャネルは、別のタイプ1デバイスと別のタイプ2デバイスとの間の第2のチャネルとは異なりうる。2つのチャネルは、異なる周波数帯域、帯域幅、搬送波周波数、変調、無線規格、コーディング、暗号化、ペイロード特性、ネットワーク、ネットワークID、SSID、ネットワーク特性、ネットワーク設定、及び/またはネットワークパラメータなどに関連し得る。
2つのチャンネルは、異なる種類の無線システム(例えば次の、WiFi、LTE、LTE-A、LTE-U、2.5G、3G、3.5G、4G、ビヨンド4G、5G、6G、7G、携帯ネットワーク規格、UMTS、3GPP、GSM、EDGE、TDMA、FDMA、CDMA、WCDMA(登録商標)、TD-SCDMA、802.11システム、802.15システム、802.16システム、メッシュネットワーク、Zigbee、NFC、WiMax、Bluetooth、BLE、RFID、UWB、マイクロ波システム、レーダー類似システム、の内の2つ)に関連することができる。例えば、一方はWiFiであり、他方はLTEである。
2つのチャネルは、同様の種類の無線システムに関連付けられている場合があるが、ネットワークが異なる。例えば、第1のチャネルは、20MHzの帯域幅を有する2.4GHz帯域で「Pizza及びPizza」と命名されたWiFiネットワークに関連付けられ得、一方、第2のチャネルは、40MHzの帯域幅を有する5GHz帯域で「StarBudホットスポット」のSSIDを有するWiFiネットワークに関連付けられ得る。2つのチャネルは、同じネットワーク内で異なるチャネルになる場合がある(「StarBud ホットスポット」ネットワークなど)。
一実施形態では、無線監視システムは、複数のイベントに関連付けられたトレーニングTSCIに基づいて、場所の複数のイベントの分類器(classifier)をトレーニングすることを含むことができる。イベントに関連するCIまたはTSCIは、そのイベント(及び/または場所、環境、オブジェクト、オブジェクトの動き、状態/感情状態/精神状態/状態/ステージ/ジェスチャ/歩容/アクション/動き/活動/日常活動/履歴/オブジェクトのイベントなど)に関連する無線サンプル/特性/フィンガプリントを考慮/含むことができる。
既知のイベントに関連するそれぞれのトレーニング(例えば、調査、無線調査(wirelee survey)、初期無線調査)時間において場所で起こる複数の既知のイベントの各々について、それぞれのトレーニング無線信号(例えば、それぞれの一連のトレーニングプローブ信号)は、第1のタイプ1デバイスのプロセッサ、メモリ、及び命令のセットを使用する第1のタイプ1異種無線装置のアンテナによって、それぞれのトレーニング時間において場所の無線マルチパスチャネルを通して少なくとも1つの第1のタイプ2異種無線装置に送信され得る。
トレーニングCIの少なくとも1つのそれぞれの時系列(トレーニングTSCI)は、(それぞれの)トレーニング信号から、少なくとも1つの第1のタイプ2デバイスのそれぞれによって非同期的に取得され得る。CIは、既知のイベントに関連するトレーニング時間において、第1のタイプ2デバイスと第1のタイプ1デバイスとの間のチャネルのCIであり得る。少なくとも1つのトレーニングTSCIは、前処理され得る。トレーニングは、無線調査(例えば、タイプ1デバイス及び/またはタイプ2デバイスの設置の間の)であり得る。
現在の期間において場所内で起こる現在のイベントについて、現在の無線信号(例えば、一連の現在のプローブ信号)は、第2のタイプ1デバイスのプロセッサ、メモリ、及び命令のセットを使用する第2のタイプ1異種無線装置のアンテナによって、現在のイベントに関連する現在の期間において場所のチャネルを通して少なくとも1つの第2のタイプ2異種無線装置に送信され得る。
現在のCIの少なくとも1つの時系列(現在のTSCI)は、現在の信号(例えば、一連の現在のプローブ信号)から少なくとも1つの第2のタイプ2デバイスの各々によって非同期的に取得され得る。CIは、現在のイベントに関連する現在の期間において、第2のタイプ2デバイスと第2のタイプ1デバイスとの間のチャネルのCIであり得る。少なくとも1つの現在のTSCIは、前処理され得る。
分類器(classifier)は、少なくとも1つの第2のタイプ2デバイスによって、一連の現在のプローブ信号から得られる少なくとも1つの現在のTSCIを分類するために、特定の現在のTSCIの少なくとも1部分を分類するために、及び/または特定の現在のTSCIの少なくとも1部分と別のTSCIの別の部分との組み合わせを分類するために、適用され得る。分類器は、TSCI (または特徴/STIまたは他の分析または出力応答)をクラスタに分割し、クラスタを特定のイベント/オブジェクト/対象/位置/動き/活動に関連付けることができる。ラベル/タグは、クラスタについて生成され得る。クラスタは、記憶及び検索することができる。分類器は、現在のTSCI (または、おそらく現在のイベントに関連する特性/STIまたは他の分析/出力応答)を、以下と関連付けるために適用され得る:クラスタ、既知/特定のイベント、クラス/カテゴリ/グループ/グループ化/リスト/クラスタ、既知のイベントのセット/対象/位置/移動/アクティビティ、未知イベント、クラス/カテゴリ/グループ/グループ化/リスト/クラスタ/未知イベントのセット/対象/位置/移動/アクティビティ、及び/または別のイベント/対象/位置/移動/アクティビティ/クラス/カテゴリ/グループ/グループ化/リスト/クラスタ。各TSCIは、それぞれがそれぞれのタイムスタンプに関連する少なくとも1つのCIを含み得る。2つのタイプ2デバイスに関連する2つのTSCIは、異なる開始時間、持続時間、停止時間、CIの量、サンプリング頻度、サンプリング期間、によって異なる。それらのCIは、異なる特徴を有し得る。第1及び第2のタイプ1デバイスは、場所の同じ位置にあってもよい。それらは、同じ装置であってもよい。少なくとも1つの第2のタイプ2デバイス(またはそれらの位置)は、少なくとも1つの第1のタイプ2デバイス(またはそれらの位置)の置換であり得る。特定の第2のタイプ2デバイス及び特定の第1のタイプ2デバイスは、同じ装置であり得る。
第1のタイプ2デバイスのサブセットと第2のタイプ2デバイスのサブセットは同じであってもよい。少なくとも1つの第2のタイプ2デバイス及び/または少なくとも1つの第2のタイプ2デバイスのサブセットは、少なくとも1つの第1のタイプ2デバイスのサブセットであり得る。少なくとも1つの第1のタイプ2デバイス及び/または少なくとも1つの第1のタイプ2デバイスのサブセットは、少なくとも1つの第2のタイプ2デバイスのサブセットの置換であり得る。少なくとも1つの第2のタイプ2デバイス及び/または少なくとも1つの第2のタイプ2デバイスのサブセットは、少なくとも1つの第1のタイプ2デバイスのサブセットの置換であり得る。少なくとも1つの第2のタイプ2デバイス及び/または少なくとも1つの第2のタイプ2デバイスのサブセットは、少なくとも1つの第1のタイプ2デバイスのサブセットと同じそれぞれの位置であり得る。少なくとも1つの第1のタイプ2デバイス及び/または少なくとも1つの第1のタイプ2デバイスのサブセットは、少なくとも1つの第2のタイプ2デバイスのサブセットと同じそれぞれの位置であり得る。
タイプ1デバイスのアンテナ及び第2のタイプ1デバイスのアンテナは、場所の同じ位置にあってもよい。少なくとも1つの第2のタイプ2デバイスのアンテナ及び/または少なくとも1つの第2のタイプ2デバイスのサブセットのアンテナは、少なくとも1つの第1のタイプ2デバイスのサブセットのそれぞれのアンテナと同じそれぞれの位置であり得る。少なくとも1つの第1のタイプ2デバイスのアンテナ及び/または少なくとも1つの第1のタイプ2デバイスのサブセットのアンテナは、少なくとも1つの第2のタイプ2デバイスのサブセットのそれぞれのアンテナと同じそれぞれの位置であり得る。
第1のTSCIの第1の持続時間の第1のセクションと、第2のTSCIの第2のセクションの第2の持続時間の第2のセクションとを整列(aligne)させてもよい。第1セクションのアイテムと第2セクションのアイテムとの間のマップを計算することができる。第1のセクションは、第1の開始/終了時間を有する第1のTSCIの第1のセグメント(例えば、サブセット)、及び/または処理された第1のTSCIの別のセグメント(例えば、サブセット)を含み得る。処理された第1のTSCIは、第1の操作によって処理された第1のTSCIであってもよい。第2のセクションは、第2の開始時間及び第2の終了時間を有する第2のTSCIの第2のセグメント(例えば、サブセット)、ならびに処理された第2のTSCIの別のセグメント(例えば、サブセット)を含み得る。処理された第2のTSCIは、第2の操作によって処理された第2のTSCIであってもよい。第1の操作及び/または第2の操作は、サブサンプリング、再サンプリング、補間、フィルタリング、変換、特徴抽出、前処理、及び/または別の操作を含み得る。
第1のセクションの第1のアイテムは、第2のセクションの第2のアイテムにマッピングされ得る。第1セクションの第1アイテムはまた、第2セクションの別のアイテムにマッピングされ得る。第1セクションの別のアイテムはまた、第2セクションの第2アイテムにマッピングされ得る。マッピングは、1対1、1対多、多対1、多対多であり得る。第1のTSCIの第1のセクションの第1のアイテム、第1のTSCIの別のアイテム、第1のアイテムのタイムスタンプ、第1のアイテムの時間差、第1のアイテムの時間差、第1のアイテムの隣接タイムスタンプ、第1のアイテムの隣接タイムスタンプ、第1のアイテムに関連する別のタイムスタンプ、第2のTSCIの第2のセクションの第2のアイテム、第2のTSCIの別のアイテム、第2のアイテムのタイムスタンプ、第2のアイテムの時間差、第2のアイテムの時間差、第2のアイテムの隣接タイムスタンプ、及び第2のアイテムに関連する別のタイムスタンプのうちの少なくとも1つの少なくとも1つの関数は、少なくとも1つの制約を満たすことができる。
1つの制約は、第1のアイテムのタイムスタンプと第2のアイテムのタイムスタンプとの間の差が、適応的(及び/または動的に調整された)上側閾値によって上限され得、適応的下側閾値によって下限され得ることであり得る。
最初のセクションは、最初のTSCI全体であってもよい。第2のセクションは、第2のTSCI全体であってもよい。第1の時間持続時間は、第2の時間持続時間に等しくてもよい。TSCIの時間持続時間のセクションは、適応的に(及び/または動的に)判定され得る。TSCIの仮セクションを計算することができる。セクション(例えば、仮セクション、セクション)の開始時間及び終了時間を判定することができる。セクションは、仮セクションの開始部分及び終了部分を除去することによって判定することができる。仮セクションの開始部分は、以下のように判定することができる。反復的に、タイムスタンプの増加に伴う仮セクションのアイテムは、一度に1つのアイテムである現在のアイテムと見なすことができる。
各反復において、少なくとも1つの活動尺度/指標が計算及び/または考慮され得る。少なくとも1つの活動尺度は、現在のタイムスタンプに関連する現在のアイテム、現在のタイムスタンプよりも大きくないタイムスタンプをもつ仮セクションの過去のアイテム、及び/または現在のタイムスタンプよりも小さくないタイムスタンプをもつ仮セクションの将来のアイテムのうちの少なくとも1つに関連することができる。少なくとも1つの活動尺度に関連する少なくとも1つの基準(例えば、品質基準、信号品質条件)が満たされる場合、現在のアイテムは、仮セクションの開始部分に追加されてもよい。
活動尺度に関連する少なくとも1つの基準は、以下のうちの少なくとも1つを含み得る:(a)活動尺度は適応的な(動的に調整される)上側閾値よりも小さい。(b)活動尺度は適応的な下側閾値よりも大きい。(c)活動尺度は、少なくとも連続したタイムスタンプの所定の量に対して連続して適応的上限閾値よりも小さい、(d)活動尺度は、少なくとも連続したタイムスタンプの別の所定の量に対して連続して適応的下側閾値よりも大きい、(e)活動尺度は、少なくとも連続したタイムスタンプの所定の量の所定のパーセンテージに対して連続して適応的な上側閾値よりも小さい、(f)活動尺度は、少なくとも連続したタイムスタンプの別の所定の量の別の所定のパーセンテージに対して連続して適応的な下側閾値よりも大きい、(g)現在のタイムスタンプに関連した別のタイムスタンプに関連した別の活動尺度は、別の適応的上側閾値よりも小さく、別の適応的下側閾値よりも大きい、(h)現在のタイムスタンプに関連した少なくとも1つのそれぞれのタイムスタンプに関連した少なくとも1つの活動尺度は、それぞれの上側閾値よりも小さく、それぞれの下側閾値よりも大きい。(i)現在のタイムスタンプに関連付けられた一組のタイムスタンプにおける、それぞれの上限閾値よりも小さく、それぞれの下限閾値よりも大きい、活動尺度に関連付けられたタイムスタンプのパーセンテージが、閾値を超える、及び(j)別の基準(例えば、品質基準、信号品質条件)。
時間T1におけるアイテムに関連する活動尺度/指標は、以下の少なくとも1つを含み得る:(1) 時間T1でのアイテム及び時間T1-D1でのアイテムの第1の関数であって、ここで、D1は、所定の正の量(例えば、一定時間オフセット)、(2)時間T1でのアイテム及び時間T1+D1でのアイテムの第2の関数、(3)時間T1でのアイテム及び時間T2でのアイテムの第3の関数であり、ここで、T2は、所定の量(例えば、固定された初期基準時間; T2は、時間とともに変更(例えば、調整、変化、修正)され得る; T2は、周期的に更新され得る;T2は、期間の開始であり得、T1は、期間におけるスライディングタイムであり得る)、ならびに(4)時間T1でのアイテム及び他のアイテムの第4の関数。
第1の関数、第2の関数、第3の関数、及び/または第4の関数のうちの少なくとも1つは、少なくとも2つの引数X及びYを持つ関数(例えば、F(X、Y、...))であり得る。2つの引数は、スカラーであってもよい。関数(例えば、F)は、X、Y、(X-Y)、(Y-X)、abs(X-Y)、X^a、Y^b、abs(X^a-Y^b)、(X-Y)^a、(X/Y)、(X+a)/ (Y+b)、(X^a/Y^b)、及び((X/Y)^a-b)のうちの少なくとも1つの関数であり得、ここでa及びbは、ある所定量であり得る。例えば、この関数は、単にabs(X-Y)、または(X-Y)^2、(X-Y)^4とすることができる。この関数は、ロバストな関数であってもよい。例えば、関数は、abs(X-Y)が閾値Tよりも小さい場合には(X-Y)^2であり、abs(X-Y)がTよりも大きい場合には(X-Y)+aである。あるいは、abs(X-Y)がTより大きい場合、関数は定数であってもよい。また、abs(X-y)がTより大きい場合、関数はゆっくりと増加する関数によって制限され得、その結果、外れ値は、結果に重大な影響を及ぼすことができない。この関数の別の例は、(abs(X/Y)-a)(式中、a=1)であり得る。このようにして、X=Y (すなわち、変更または活動なし)の場合、関数は0の値を与える。XがYより大きい場合、(X/Y)は1より大きくなり(XとYが正であると仮定)、関数はポジティブとなる。XがYより小さい場合、(X/Y)は1より小さくなり、関数はネガティブになる。別の例では、引数XとYの両方が、X=(x_1、x_2、...、x_n)とY=(y_1、y_2、...、y_n)となるn-タプル(n-tuples)であってもよい。この関数は、x_i,y_i,(x_i-y_i),(y_ix_i), abs(x_i-y_i),x_i^a, y_i^b,abs(x_i^a-y_i^b), (x_i-y_i)^a,(x_i/y_i),(x_i+a)/(y_i +b),(x_i^a/y_i^b),及び((x_i/y_i)^a-b)のうち少なくとも1つの関数であってもよく、ここで、iは、n-タプルX及びYの成分インデックスであり、1<=i<=nである。例えば、x_1 の成分インデックスはi=1で、x_2の成分インデックスはi=2 である。関数は、x_i,y_i,(x_i-y_i),(y_ix_i),abs(x_i-y_i),x_i^a,y_i^b,abs(x_i^a-y_i^b),(x_i-y_i)^a,(x_i/y_i),(x_i+a)/(y_i +b),(x_i ^a/y_i^b),及び((x_i/y_i)^a-b)のうちの少なくとも1つのコンポーネントごとの別の関数の合計を含むことができ、iは、nタプルX及びYのコンポーネントインデックスである。例えば、この関数は、sum_{i=1}^n(abs(x_i/y_i)-1)/n,又はsum_{i=1}^nw_i*(abs(x_i/y_i)-1) の形式である可能性がある。ここで、w_iはコンポーネントiの重みである。
マップは、動的タイムワーピング(dynamictime warping:DTW)を使用して計算され得る。DTWは、マップ、第1のTSCIのアイテム、第2のTSCIのアイテム、第1の持続時間、第2の持続時間、第1のセクション、及び/または第2のセクションのうちの少なくとも1つに対する制約を含み得る。マップで、i^{th} ドメインアイテムがj^{th} 範囲アイテムにマップされているとする。制約は、iとjとの許容可能な組み合わせ(iとjとの間の関係に関する制約)上であり得る。第1のTSCIの第1の持続時間の第1のセクションと、第2のTSCIの第2の持続時間の第2のセクションとの間のミスマッチコストを計算することができる。
第1のセクション及び第2のセクションは、複数のリンクを含むマップが、第1のTSCIの第1のアイテムと第2のTSCIの第2のアイテムとの間で確立され得るように、整列され得る。各リンクでは、第1のタイムスタンプを持つ第1のアイテムの1つと、2番目のタイムスタンプを持つ2番目のアイテムの1つを関連付けることができる。整列された第1のセクションと整列された第2のセクションとの間のミスマッチコストが計算され得る。ミスマッチコストは、マップの特定のリンクによって関連付けられる第1のアイテムと第2のアイテムとの間のアイテムに関するコストと、マップの特定のリンクに関連付けられるリンクに関する(link-wise)コストとの関数を含むことができる。
整列された第1のセクション及び整列された第2のセクションは、それぞれ、同じベクトル長の第1のベクトル及び第2のベクトルとして表され得る。ミスマッチコストは、第1のベクトルと第2のベクトルとの間の、内積、内積様量、相関に基づく量、相関インジケータ、共分散に基づく量、識別スコア、距離、ユークリッド距離、絶対距離、Lk距離(例えば、L1、L2、・・・)、加重距離、距離様量及び/または別の類似値のうちの少なくとも1つを含み得る。ミスマッチコストは、それぞれのベクトル長によって正規化され得る。
第1のTSCIの第1の持続時間の第1のセクションと、第2のTSCIの第2の持続時間の第2のセクションとの間のミスマッチコストから導出されるパラメータは、統計的分布でモデル化され得る。統計的分布のスケールパラメータ、位置パラメータ及び/または別のパラメータのうちの少なくとも1つを推定することができる。
第1のTSCIの最初の持続時間の第1のセクションは、第1のTSCIのスライディングセクションであり得る。第2のTSCIの第2の持続時間の第2のセクションは、第2のTSCIのスライディングセクションであってもよい。
第1のスライディングウィンドウは、第1のTSCIに適用され得、対応する第2のスライディングウィンドウは、第2のTSCIに適用され得る。第1のTSCIの第1スライディングウィンドウと第2のTSCIの対応する第2のスライディングウィンドウとは、整列され得る。
第1のTSCIの整列された第1のスライディングウィンドウと、第2のTSCIの対応する整列された第2のスライディングウィンドウとの間のミスマッチコストを計算することができる。現在のイベントは、ミスマッチコストに基づいて、既知のイベント、未知のイベント及び/または別のイベントのうちの少なくとも1つに関連付けられてもよい。
分類器は、少なくとも1つの仮分類結果を得るために、第1のTSCIの第1の持続時間の各第1のセクション、及び/または第2のTSCIの第2の持続時間の各第2のセクション、のうちの少なくとも1つに適用され得る。各仮分類結果は、それぞれの第1のセクション及びそれぞれの第2のセクションに関連付けられ得る。
現在のイベントは、ミスマッチコストに基づき、既知のイベント、未知のイベント、クラス/カテゴリ/グループ/グループ化/リスト/未知イベントのセット、及び/または別のイベント、のうちの少なくとも1つに関連することができる。現在のイベントは、第1のTSCIの複数のセクション及び対応する第2のTSCIの複数のセクションにおける最も多数の仮分類結果に基づいて、既知のイベント、未知のイベント及び/または別のイベント、の少なくとも1つに関連し得る:。例えば、ミスマッチコストが、N回の連続した(例えば、N=10)特定の既知のイベントを指し示す場合、現在のイベントは、特定の既知のイベントに関連付けられ得る。別の例では、現在のイベントは、特定の既知のイベントを指し示すN回の連続した直前のN個内のミスマッチコストのパーセンテージが、所定の閾値(例えば、>80%)を越える場合、特定の既知のイベントに関連付けられ得る。
別の例では、現在のイベントは、時間内の最も多くの回数について最小のミスマッチコストを達成する既知のイベントに関連付けられ得る。現在のイベントは、少なくとも1つの第1のセクションに関連する少なくとも1つのミスマッチコストの加重平均である、最小の全体的ミスマッチコストを達成する既知のイベントに関連付けられ得る。現在のイベントは、別の全体的なコストの最小を達成する特定の既知のイベントに関連付けられ得る。現在のイベントは、既知のイベントのいずれも、少なくとも1つの第1のセクションの十分なパーセンテージにおいて、第1の閾値T1よりも低いミスマッチコストを達成しない場合、「未知のイベント」と関連付けられ得る。現在のイベントはまた、いずれのイベントも第2の閾値T2よりも低い全体的なミスマッチコストを達成しない場合、「未知のイベント」に関連付けられ得る。現在のイベントは、第1のTSCIの少なくとも1つの追加セクション及び第2のTSCIの少なくとも1つの追加セクションに関連するミスマッチコスト及び追加のミスマッチコストに基づいて、既知のイベント、未知のイベント及び/または別のイベント、のうちの少なくとも1つに関連付けられ得る。既知のイベントは、ドア閉めイベント、ドア開けイベント、窓閉めイベント、窓開けイベント、マルチ状態イベント、オン状態イベント、オフ状態イベント、中間状態イベント、連続状態イベント、離散状態イベント、人の存在イベント、人の不在イベント、生命存在イベント、及び/または生命不存在イベントのうちの少なくとも1つを含み得る。
各CIのための射影(projection)は、トレーニングTSCIに基づく次元削減方法を使用してトレーニングされ得る。次元削減法は、主成分分析(PCA)、異なるカーネルを有するPCA、独立成分分析(ICA)、フィッシャー線形判定式、ベクトル量子化、教師あり学習、教師なし学習、自己組織化マップ、オートエンコーダ、ニューラルネットワーク、ディープニューラルネットワーク、及び/または別の方法のうちの少なくとも1つを含み得る。射影は、分類器のための、少なくとも1つのイベントに関連するトレーニングTSCI、及び/または現在のTSCIのうちの少なくとも1つに適用され得る。
少なくとも1つのイベントのための分類器は、少なくとも1つのイベントに関連する射影及び関連するトレーニングTSCIに基づいてトレーニングされ得る。少なくとも1つの現在のTSCIは、射影及び現在のTSCIに基づいて分類/カテゴリ化され得る。射影は、トレーニングTSCI、射影を再トレーニングする前の少なくとも1つの現在のTSCI、及び/または追加のトレーニングTSCIのうちの少なくとも1つに基づいて、次元削減方法、及び別の次元削減方法のうちの少なくとも1つを使用して、再トレーニングされ得る。別の次元削減方法は、主成分分析(PCA)、異なるカーネルを有するPCA、独立成分分析(ICA)、フィッシャー線形判定式、ベクトル量子化、教師あり学習、教師なし学習、自己組織化マップ、オートエンコーダ、ニューラルネットワーク、ディープニューラルネットワーク、及び/またはさらに別の方法のうちの少なくとも1つを含み得る。少なくとも1つのイベントの分類器は、再トレーニングされた射影、少なくとも1つのイベントに関連するトレーニングTSCI、及び/または少なくとも1つの現在のTSCIのうちの少なくとも1つに基づいて、再トレーニングされ得る。少なくとも1つの現在のTSCIは、再トレーニングされた射影、再トレーニングされた分類器、及び/または現在のTSCIに基づいて分類され得る。
各CIは、複素数値のベクトルを含み得る。各複素数値は、複素数値の大きさを与えるために前処理され得る。各CIは、対応する複素数値の大きさを含む非負の実数のベクトルを与えるために前処理され得る。各トレーニングTSCIは、射影のトレーニングにおいて重み付けされ得る。射影は、複数の射影構成要素を含み得る。射影は、少なくとも1つの最も有意な射影構成要素を含むことができる。射影は、分類器に有益であり得る少なくとも1つの射影された構成要素を含み得る。
チャネル/チャネル情報/場所(venue)/時空間(spatia-temporal)情報/動き/オブジェクト
チャネル情報(CI)は、信号強度、信号振幅、信号位相、スペクトルパワー尺度、モデムパラメータ(例えば、WiFi、4G/LTEなどのデジタル通信システムにおける変調/復調に関連して使用される)、動的ビームフォーミング情報(例えばIEEE802.11又は他の標準などの標準化プロセスに従って、無線通信デバイスによって生成されるフィードバック又はステアリングマトリックスを含む)、伝達関数コンポーネント、無線状態(例えば、デジタルデータ、ベースバンド処理状態、RF処理状態などを復号するためにデジタル通信システムで使用される)、測定可能変数、センシングデータ、層の粗視化/細粒度情報(例えば、物理層、データリンク層、MAC層など)、デジタル設定、利得設定、RFフィルタ設定、RFフロントエンドスイッチ設定、DCオフセット設定、DC補正設定、IQ補正設定、伝搬中の環境(例えば場所)による無線信号への影響、入力信号(タイプ1デバイスによって送信される無線信号)の出力信号(タイプ2デバイスによって受信される無線信号)への変換、環境の安定した挙動、状態プロファイル、無線チャネル測定、受信信号強度指標(RSSI)、チャネル状態情報(CSI)、ビームフォーミング動的情報(例えばIEEE802.11又は他の標準などの標準化プロセスに従って、無線通信デバイスによって生成されるフィードバック又はステアリングマトリックスを含む)、チャネルインパルス応答(CIR)、チャネル周波数応答(CFR)、帯域幅における周波数成分(例えばサブキャリア)の特性、チャネル特性、チャネル応答、タイムスタンプ、補助情報、データ、メタデータ、ユーザデータ、アカウントデータ、アクセスデータ、セキュリティデータ、セッションデータ、ステータスデータ、監督データ、家庭データ、識別(ID)、識別子、装置データ、ネットワークデータ、近傍データ、環境データ、リアルタイムデータ、センサデータ、記憶されたデータ、暗号化データ、圧縮データ、保護されたデータ、及び/または別のチャネル情報、に関連付けられる/含みうる。各CIは、タイムスタンプ、及び/または到達時間に関連付けられ得る。CSIは、マルチパスチャネル効果(送信チャネル)を等化し/元に戻し/最小化し/低減するのに使用され、マルチパス・チャネルを通して送信機によって送信されたものと同様の信号を復調することができる。CIは、チャネルを通る信号の周波数帯域、周波数シグネチャ、周波数位相、周波数振幅、周波数トレンド、周波数特性、周波数様特性、時間領域要素、周波数領域要素、時間-周波数領域要素、直交分解特性、及び/または非直交分解特性に関連する情報に関連付けられ得る。TSCIは、無線信号(例えば、CI)のストリームであり得る。
CIは、前処理、処理、後処理、格納(例えば、ローカルメモリ、ポータブル/モバイルメモリ、リムーバブルメモリ、ストレージネットワーク、クラウドメモリに、揮発性の方法で、不揮発性の方法で)、検索、送信及び/または受信され得る。1つ以上のモデムパラメータ及び/または無線状態パラメータを一定に保つことができる。モデムパラメータは、無線サブシステムに適用することができる。モデムパラメータは無線状態を表すことができる。動き検出信号(例えば、ベースバンド信号、及び/またはベースバンド信号から復号/復調されたパケットなど)は、記憶されたモデムパラメータによって表される無線状態を使用して、無線サブシステムによって第1の無線信号(例えば、RF/WiFi/LTE/5G信号)を処理(例えば、ダウンコンバート)することによって取得され得る。モデムパラメータ/無線状態は、(例えば、以前のモデムパラメータまたは以前の無線状態を使用して)更新することができる。前の及び更新されたモデムパラメータ/無線状態の両方が、デジタル通信システムの無線サブシステムに適用され得る。前回及び更新されたモデムパラメータ/無線状態の両方を、タスクで比較/解析/処理/監視することができる。
チャネル情報はまた、無線信号を処理するために使用されるモデムパラメータ(例えば、記憶された、または新しく計算された)であり得る。無線信号は、複数のプローブ信号を含んでもよい。複数のプローブ信号を処理するために、同じモデムパラメータを使用することができる。同じモデムパラメータを使用して、複数の無線信号を処理することもできる。モデムパラメータは、無線センサデバイスの無線サブシステムまたはベースバンドサブシステム(またはその両方)の動作のための設定または全体構成を示すパラメータを含むことができる。モデムパラメータは、利得設定、RFフィルタ設定、RFフロントエンドスイッチ設定、DCオフセット設定、または無線サブシステムのためのIQ補償設定、またはデジタルDC補正設定、デジタル利得設定、及び/またはデジタルフィルタリング設定(例えば、ベースバンドサブシステムのための)、のうちの1つまたは複数を含み得る。CIはまた信号の、時間、時間シグネチャ、タイムスタンプ、時間振幅、時間位相、時間トレンド、及び/または時間特性に関連する情報に関連してもよい。CIは信号の、時間-周波数分割、シグネチャ、振幅、位相、トレンド、及び/または特性に関連する情報に関連付けられ得る。CIは、信号の分解に関連し得る。CIは、方向、到達角度(AoA)、指向性アンテナの角度、及び/またはチャネルを通る信号の位相に関連する情報に関連し得る。CIは、チャネルを通る信号の減衰パターンに関連し得る。各CIは、タイプ1デバイス及びタイプ2デバイスに関連付けられ得る。各CIは、タイプ1デバイスのアンテナ及びタイプ2デバイスのアンテナに関連付けられ得る。
CIは、CIを提供することができる通信ハードウェア(例えば、タイプ2デバイス、またはタイプ1デバイス)から得ることができる。通信ハードウェアは、WiFi対応チップ/IC (集積回路)、802.11または802.16または他の無線/無線標準に準拠したチップ、次世代WiFi対応チップ、LTE対応チップ、5G対応チップ、6G/7G/8G対応チップ、Bluetooth対応チップ、NFC(近距離無線通信)対応チップ、BLE (Bluetooth低電力)対応チップ、UWBチップ、他の通信チップ(例えば、Zigbee、WiMax、メッシュネットワーク)などであり得る。通信ハードウェアはCIを計算し、CIをバッファメモリに保存して、CIを抽出に使用できるようにする。CIは、チャネル状態情報(CSI)に関連するデータ及び/または少なくとも1つのマトリックスを含み得る。少なくとも1つのマトリックスは、チャネル等化、及び/またはビームフォーミングなどのために使用され得る。チャネルは、場所に関連付けられ得る。減衰は、場所における信号伝搬、空気(例えば、場所の空気)を通る/での/近傍の信号伝搬/反射/屈折/回折、壁、ドア、家具、障害物及び/または障壁などの屈折媒体/反射面などに起因し得る。減衰は、床、天井、家具、備品、オブジェクト、人、ペットなどの表面及び障害物(例えば、反射面、障害物)における反射によるものであり得る。各CIは、タイムスタンプに関連付けられうる。各CIは、N1個の成分(例えば、CFRにおけるN1個周波数ドメイン成分、CIRにおけるN1個時間ドメイン成分、またはN1個分解成分)を含み得る。各成分は、成分インデックスに関連付けられ得る。各成分は、実数、虚数、または複素数量、大きさ、位相、フラグ、及び/またはセットであり得る。各CIは、複素数のベクトルまたはマトリックス、混合量のセット、及び/または少なくとも1つの複素数の多次元の集合を含み得る。
特定の成分インデックスに関連するTSCIの成分は、それぞれのインデックスに関連するそれぞれの成分時系列を形成し得る。TSCIは、N1個の成分時系列に分けられ得る。各個別の成分時系列は、それぞれの成分インデックスに関連付けられる。オブジェクトの動きの特性/STIは、成分時系列に基づいて監視することができる。1つの例では、CI成分の1つ以上の範囲(例えば、成分11から成分23までの1つの範囲、成分44から成分50までの2番目の範囲、及び1つの成分のみを有する3番目の範囲)は、さらなる処理のための基準/コスト関数/信号品質メトリック(例えば、信号対雑音比、及び/又は干渉レベルに基づいて)に基づいて選択され得る。
TSCIの成分-特徴時系列の成分に関する(component-wise)の特性を計算してもよい。成分に関する(component-wise)特性は、スカラー(例えば、エネルギー)であってもよいし、ドメインと範囲を持つ関数(例えば、自己相関関数、変換、逆変換)であってもよい。オブジェクトの動きの特性/STIは、成分に関する特性に基づいて監視され得る。TSCIの全特性(例えば、集約された特性)は、TSCIの各成分時系列の成分に関する特性に基づいて計算され得る。全特性は、成分に関する特性の加重平均であってもよい。オブジェクトの動きの特性/STIは、全特性に基づいて監視され得る。総量は、個々の量の加重平均であってもよい。
タイプ1デバイス及びタイプ2デバイスは、WiFi、WiMax、3G/3Gビヨンド、4G/4Gビヨンド、LTE、LTE-A、5G、6G、7G、Bluetooth、NFC、BLE、Zigbee、UWB、UMTS、3GPP、GSM、EDGE、TDMA、FDMA、CDMA、WCDMA、TD-SCDMA、メッシュネットワーク、独自の無線システム、IEEE 802.11規格、802.15規格、802.16規格、3GPP規格、及び/または別の無線システムをサポートし得る。
共通の無線システム及び/または共通の無線チャネルは、タイプ1トランシーバ及び/または少なくとも1つのタイプ2トランシーバによって共有され得る。少なくとも1つのタイプ2トランシーバは、共通無線システム及び/または共通無線チャネルを使用して、同時(または:非同期、同期、散発的、連続、繰り返し、並行、同時及び/または一時に)にそれぞれの信号を送信することができる。タイプ1トランシーバは、共通無線システム及び/または共通無線チャネルを使用して、信号を少なくとも1つのタイプ2トランシーバに送信することができる。
各タイプ1デバイス及びタイプ2デバイスは、少なくとも1つの送受信アンテナを有することができる。各CIは、タイプ1デバイスの送信アンテナのうちの1つ、及びタイプ2デバイスの受信アンテナのうちの1つに関連付けられ得る。送信アンテナ及び受信アンテナの各ペアは、リンク、経路、通信経路、信号ハードウェア経路などに関連付けられ得る。例えば、タイプ1デバイスがM(例えば、3)の送信アンテナを有し、タイプ2デバイスがN(例えば、2)の受信アンテナを有する場合、M×N (例えば、3×2=6)のリンクまたは経路があり得る。各リンクまたはパスは、TSCIに関連付けられ得る。
少なくとも1つのTSCIは、タイプ1デバイスとタイプ2デバイスとの間の種々のアンテナの対に対応し得る。タイプ1デバイスは、少なくとも1つのアンテナを有することができる。タイプ2デバイスも、少なくとも1つのアンテナを有してもよい。各TSCIは、タイプ1デバイスのアンテナ及びタイプ2デバイスのアンテナに関連付けられ得る。アンテナリンクにわたる平均化または重み付け平均化を実行してもよい。平均化または重み付け平均化は、少なくとも1つのTSCIにわたってもよい。平均化は、オプションとして、アンテナ対のサブセットに対応する少なくとも1つのTSCIのサブセットに対して実行され得る。
TSCIの一部のCIのタイムスタンプは、不規則であり得、時間補正されたCIの補正されたタイムスタンプが時間的に均一に間隔を空けられ得るように補正され得る。複数のタイプ1デバイス及び/または複数のタイプ2デバイスの場合、修正されたタイムスタンプは、同じクロックまたは異なるクロックに関係している可能性がある。CIの各々に関連するオリジナルなタイムスタンプが判定され得る。オリジナルなタイムスタンプは、時間的に均一な間隔ではないかもしれない。現在のスライディングタイムウィンドウにおける特定のTSCIの特定の部分のすべてのCIのオリジナルなタイムスタンプは、時間補正されたCIの補正されたタイムスタンプが時間的に均一な間隔にできるように補正され得る。
特性及び/またはSTI(例えば、動き情報)は、位置、位置の座標、位置の変化、位置(例えば初期位置、新しい位置)、マップ上の位置、高さ、水平位置、垂直位置、距離、変位、速度、加速度、回転速度、回転加速度、方向、動き角、方位、運動の方向、回転、経路、変形、変換、収縮、伸長、歩容、歩容サイクル、頭部運動、繰り返し運動、周期的運動、擬似周期的運動、インパルス運動、突然の動き、転倒運動、過渡的運動、挙動、過渡的挙動、運動周期、動きの頻度、時間傾向、時間的プロファイル、時間的特性、発生、変化、時間的変化、CIの変化、周波数の変化、タイミングの変化、歩容サイクルの変化、タイミング、開始時間、始まり時間、終了時間、継続時間、動きの履歴、動きの種類、動きの分類、周波数、周波数スペクトル、周波数特性、存在、不存在、近接、近接する、後退する、オブジェクトの識別/識別子、オブジェクトの構成物、頭部運動速度、頭部運動方向、口に関連するレート、目に関連するレート、呼吸速度、心拍数、一回換気量、呼吸の深さ、吸入時間、吐き出し時間、吸入対掃き出し時間比、空気流量、心拍間隔、心拍数変動性、手の動きレート、手の運動方向、脚の運動、身体の動き、歩行速度、手の動き速度、位置の特性、オブジェクトの動きに関連する特性(例えば位置/場所の変化)、工具の動き、機械の動き、複合運動、及び/または多重運動の組み合わせ、イベント、信号統計値、信号動態、異常、運動統計、運動パラメータ、動き検出の表示、動きの大きさ、動きの位相、類似性スコア、距離スコア、ユークリッド距離、加重距離、L_1ノルム、L_2ノルム、k>2のためのL_kノルム、統計的距離、相関、相関インジケータ、 自己相関、共分散、自己共分散、相互共分散、内積、直積、動き信号変換、動き特徴、動きの存在、動きの不存在、動きの局在化、運動識別、動きの認識、対象物の存在、対象物の不存在、オブシェクトの入り口、オブシェクトの出口、オブジェクトの変化、動作サイクル、動き回数、歩容周期、動きリズム、動き変形、ジェスチャ、手書き、頭部動き、口の動き、心臓運動、体内臓運動、動きトレンド、サイズ、長さ、領域、容量、容量、形状、形態、タグ、開始/開始位置、終了位置、開始/開始量、終了量、イベント、転倒イベント、セキュリティイベント、事故イベント、ホームイベント、オフィスイベント、工場イベント、ウェアハウスイベント、製造イベント、組立ラインイベント、保守イベント、カー関連イベント、ナビゲーションイベント、追跡イベント、ドアイベント、ドア開けイベント、ドアクローズイベント、窓イベント、窓開けイベント、窓閉めイベント、繰り返し可能イベント、ワンタイムイベント、消費量、未消費量、状態、物理的状態、健康状態、快適状態、感情状態、精神状態、別のイベント、分析、出力応答、及び/または別の情報、を含みうる。特性及び/またはSTIは、CIまたはTSCIから計算された特徴(例えば、特徴計算/抽出)に基づいて計算/監視され得る。静的セグメントまたはプロファイル(及び/または動的セグメント/プロファイル)は、特徴の分析に基づいて、同定/計算/分析/監視/抽出/取得/マーク/提示/指示/強調/記憶/通信され得る。分析は、動き検出/動き評価/存在検出を含み得る。計算ワークロードは、タイプ1デバイス、タイプ2デバイス、及び別のプロセッサで共有できる。
タイプ1デバイス及び/またはタイプ2デバイスは、ローカルデバイスであり得る。ローカルデバイスは、スマートフォン、スマートデバイス、TV、サウンドバー、セットトップボックス、アクセスポイント、ルータ、リピータ、無線信号リピータ/エクステンダー、リモコン、スピーカ、ファン、冷蔵庫、マイクロ波オーブン、コーヒーマシン、熱湯ポット、器具、テーブル、椅子、ライト、ランプ、ドアロック、カメラ、マイクロホン、動きセンサ、防犯装置、消火栓、ガレージドアスイッチ、電源アダプタ、コンピュータ、ドングル、コンピュータ周辺、電子パッド、ソファ、タイル、アクセサリ、家庭デバイス、車両デバイス、オフィスデバイス、建築設備、製造設備、腕時計、ガラス、時計、テレビ、オーブン、エアコンディショナー、アクセサリ、ユーティリティ、電気器具、スマートマシン、スマートビークル、物のインターネット(IoT)、スマートハウス、スマートオフィス、スマートビル、スマート駐車場、スマートシステム、及び他のデバイス、でありうる。
各タイプ1デバイスは、それぞれの識別子(例えば、ID)に関連付けられてもよい。各タイプ2デバイスはまた、それぞれの識別(ID)に関連付けられ得る。IDは、数字、テキストと数字の組み合わせ、名前、パスワード、アカウント、アカウントID、ウェブリンク、ウェブアドレス、何らかの情報へのインデックス、及び/または別のID、を含むことができる。IDを割り当てることができる。IDは、ハードウェア(例えば、ハードワイヤード、ドングル及び/または他のハードウェアを介して)、ソフトウェア及び/またはファームウェアによって割り当てることができる。IDは、記憶されうる(例えば、データベース内、メモリ内、サーバ内(例えば、ハブ装置)内、クラウド内、ローカルに記憶され、リモートに記憶され、永久に記憶され、一時的に記憶され)、そして検索され得る。IDは、少なくとも1つのレコード、アカウント、ユーザ、家庭、住所、電話番号、社会保障番号、顧客番号、別のID、別の識別子、タイムスタンプ、及び/またはデータの収集、に関連付けられ得る。タイプ1デバイスのID及び/またはIDの一部は、タイプ2デバイスに利用可能にされ得る。IDは、タイプ1デバイス及び/またはタイプ2デバイスによって、登録、初期化、通信、識別、検証、検出、認識、認証、アクセス制御、クラウドアクセス、ネットワーキング、ソーシャルネットワーキング、ロギング、記録、カタログ、分類、タグ付け、アソシエーション、ペアリング、トランザクション、電子トランザクション、及び/または知的所有権制御、に使用され得る。
オブジェクトは、人、ユーザ、対象、乗客、子供、老人、幼児、睡眠中の幼児、車両中の幼児、患者、労働者、高価値労働者、専門家、専門医、ウエイター、モールにおける顧客、空港/電車ステーション/バスターミナル/出荷ターミナルの旅行者、工場/モール/スーパーマーケット/オフィス/職場におけるスタッフ/労働者/顧客サービス職員、下水/空気換気システム/リフトウェルにおけるサービス職員、リフトウェルにおけるリフト、エレベータ、被収容者、追跡/モニタリングされる人、動物、植物、生物、ペット、イヌ、猫、スマートフォン、電話付属物、コンピュータ、タブレット、携帯コンピュータ、ドングル、コンピュータ付属装置、ネットワーク設備、WiFi装置、IoT装置、スマートウォッチ、スマート眼鏡、スマートデバイス、スピーカ、キー、スマートキー、札入れ、財布、ハンドバッグ、バックパック、商品、貨物、荷物、装置、モータ、機械、空気調和機、ファン、空調機器、照明器具、可動式ライト、テレビ、カメラ、オーディオ及び又はビデオ装置、 ステーショナリ、監視装置、パーツ、看板、道具、カート、チケット、駐車券、通行チケット、飛行機チケット、クレジットカード、プラスチックカード、アクセスカード、食品包装、器具、テーブル、椅子、洗浄器具/道具、車両、自動車、駐車施設の車両、倉庫/店舗/スーパーマーケット/流通センター内の商品、ボート、自転車、飛行機、ドローン、リモコン車/飛行機/ボート、ロボット、製造装置、組立ライン、工場フロア上の材料/未完成部品/ロボット/ワゴン/輸送手段、空港/ショッピングマート/スーパーマーケット内の追跡対象物、非対象物、対象物の非存在、対象物の存在、形状のあるオブジェクト、形状を変化させたオブジェクト、形状のないオブジェクト、流体の質量、液体の質量、気体/煙の質量、火、火炎、電磁(EM)源、EM媒体、及び/または他のオブジェクト、でありうる。
オブジェクト自体は、WiFi、MiFi、3G/4G/LTE/5G/6G/7G、Bluetooth、NFC、BLE、WiMax、Zigbee、UMTS、3GPP、GSM、EDGE、TDMA、FDMA、CDMA、WCDMA、TD-SCDMA、メッシュネットワーク、アドホックネットワーク、及び/または他のネットワークなどのいくつかのネットワークと通信可能に結合され得る。オブジェクト自体はAC電源でかさばることがあるが、設置、清掃、メンテナンス、リフォームなどの際に移動する。またオブジェクトは、リフト、パッド、可動式、プラットフォーム、エレベータ、コンベアベルト、ロボット、ドローン、フォークリフト、自動車、ボート、車両などの可動式プラットフォームに設置することもできる。オブジェクトは、複数の部分を有することができ、各部分は、異なる動き(例えば、場所/位置の変化)を有する。例えば、オブジェクトは、前を歩く人であってもよい。歩行中、彼の左手と右手は、異なる瞬間速度、加速度、動きを有して異なる方向に移動し得る。
無線送信機(例えば、タイプ1デバイス)、無線受信機(例えば、タイプ2デバイス)、別の無線送信機及び/または別の無線受信機は、(例えば、前の移動、現在の移動及び/または将来の移動において)オブジェクト及び/または別のオブジェクトと共に移動し得る。それらは、1つ以上の近くのデバイスに通信可能に結合され得る。それらは、TSCI及び/またはTSCIに関連する情報を、近くのデバイスに、及び/または互いに送信することができる。それらは、近くの装置と一緒であってもよい。無線送信機及び/又は無線受信機は、小型(例えば、コインサイズ、タバコ箱サイズ、又は更に小型の)軽量携帯装置の一部であってもよい。ポータブルデバイスは、近くのデバイスと無線で結合されてもよい。
近くの装置(nearby device)は、スマートフォン、iPhone(登録商標)、Androidフォン、スマートデバイス、スマートアプライアンス、スマートビークル、スマートガジェット、スマートTV、スマート冷蔵庫、スマートスピーカ、スマートウォッチ、スマート眼鏡、スマートパッド、iPad(登録商標)、コンピュータ、ウェアラブルコンピュータ、ノートブックコンピュータ、ゲートウェイであり得る。近くの装置は、クラウドサーバ、ローカルサーバ(例えば、ハブ装置)及び/又は他のサーバに、インターネット、有線インターネット接続及び/又は無線インターネット接続を介して接続することができる。近くの装置は携帯型であってもよい。ポータブルデバイス、近くの装置、ローカルサーバ(例えば、ハブデバイス)、及び/またはクラウドサーバは、タスク(例えば、TSCIを取得し、オブジェクトの移動(例えば、位置/位置の変化)に関連するオブジェクトの特性/STIを判定し、電力(例えば、信号強度)情報の時系列の計算を行い、特定の関数を判定/計算し、局所極値を探索し、分類、オフセット時間の特定値を識別し、雑音除去し、処理、単純化、クリーニング、無線スマートセンシングタスク、信号からのCIの抽出、スイッチング、セグメント化、軌跡/経路/追跡を推定し、マップを処理し、環境モデル/制約/制限に基づく軌跡/経路/追跡の処理、補正、補正調整、調整、マップベース(またはモデルベース)補正、誤差検出、境界ヒットについての確認、閾値化)及び情報(例えば、TSCI)についての計算及び/又は格納を共有することができる。近くの装置は、オブジェクトとともに動く/動かない場合がある。近くの装置は、携帯型/非携帯型/移動型/非移動型であり得る。近くの装置は、電池電力、太陽光、AC電源及び/または他の電源を使用することができる。近くの装置は、交換可能/交換不可能バッテリ、及び/または充電可能/非充電可能バッテリを有してもよい。近くの装置は、オブジェクトに類似していてもよい。近くの装置は、オブジェクトと同一の(及び/又は同様の)ハードウエア及び/又はソフトウェアを有することができる。近くの装置は、スマートデバイス、ネットワーク対応デバイス、WiFi/3G/4G/5G/6G/ Zigbee/ Bluetooth/ NFC/ UMTS/3GPP/ GSM/ EDGE/ TDMA/ FDMA/ CDMA/ WCDMA/ TD-SCDMA/アドホックネットワーク/他のネットワークへの接続を有する装置、スマートスピーカ、スマートウオッチ、スマート時計、スマートアプライアンス、スマートマシン、スマート機器、スマートツール、スマートビークル、物のインターネット(IoT)装置、インターネット対応デバイス、コンピュータ、ポータブルコンピュータ、タブレット、及び他のデバイスであり得る。無線受信機、無線送信機、別の無線受信機、別の無線送信機及び/またはクラウドサーバ(クラウド内)に関連する近くのデバイス及び/または少なくとも1つのプロセッサは、オブジェクトの初期STIを判定し得る。それらのうちの2つ以上は、共同して初期空間-時間情報を判定し得る。それらのうちの2つ以上は、初期STI(例えば、初期位置)の判定において中間情報を共有し得る。
一例では、無線送信機(例えば、タイプ1デバイス、またはトラッカーボット)は、オブジェクトと共に移動する。無線送信機は、信号を無線受信機(例えば、タイプ2デバイス、またはオリジンレジスタ(Origin Register))に送るか、またはオブジェクトの初期STI (例えば、初期位置)を判定することができる。無線送信機はまた、信号及び/または別の信号を、オブジェクトの動き(空間-時間情報)の監視のために、別の無線受信機(例えば、別のタイプ2デバイス、または別のオリジンレジスタ)に送ることができる。また、無線受信機は、オブジェクトの動きを監視するために、無線送信機及び/又は別の無線送信機からの信号及び/又は別の信号を受信してもよい。無線受信機及び/または別の無線受信機の位置は、分かりうる。別の例では、無線受信機(例えば、タイプ2デバイス、またはトラッカーボット)は、オブジェクトと共に移動し得る。無線受信機は、オブジェクトの初期空間-時間情報(例えば、初期位置)を判定するために、無線送信機(例えば、タイプ1デバイス、またはオリジンレジスタ)から送信された信号を受信しうる。無線受信機はまた、オブジェクトの現在の動き(例えば、空間-時間情報)の監視のために、別の無線送信機(例えば、別のタイプ1デバイス、または別のオリジンレジスタ)から信号及び/または別の信号を受信してもよい。無線送信機はまた、信号及び/または別の信号を、オブジェクトの動きを監視するために、無線受信機及び/または別の無線受信機(例えば、別のタイプ2デバイス、または別のトラッカーボット)に送信してもよい。無線送信機及び/又は別の無線送信機の位置は知ることができる。
場所は、センシング領域、部屋、家屋、事務所、財産、作業空間、廊下、リフト、リフトウェル、エスカレータ、エレベータ、下水道、換気システム、階段、集合領域、ダクト、空気ダクト、管、閉鎖空間、閉鎖構造、半閉鎖構造、少なくとも1つの壁を有する閉鎖領域、植物、機械、エンジン、構造物、木材を有する構造、ガラスを有する構造物、金属を有する構造物、壁を有する構造物、ドアを有する構造物、隙間を有する構造物、反射面を有する構造物、液体を有する構造、建物、屋上、店舗、工場、アセンブリライン、ホテルの部屋、博物館、教室、学校、大学、政府の建物、倉庫、ガレージ、モール、空港、駅、バス端末、ハブ、交通ハブ、貨物ターミナル、庁舎、公共施設、学校、大学、エンターテイメント施設、レクリエーション施設、病院、小児/新生児病棟などの空間、老人ホーム、老人介護施設、老人施設、コミュニティセンター、スタジアム、遊び場、フィールド、バスケットボールコート、テニスコート、サッカースタジアム、野球場、体育館、ガレージ、ショッピングマート、ノール、スーパーマーケット、製造施設、パーキング施設、建設現場、鉱山施設、輸送施設、幹線道路、道路、谷間、森林、木、地形、景観、ほら穴、パティオ、陸地、道路、アミューズメントパーク、都市部、農村部、郊外エリア、大都市部、庭、四角い広場、広場、音楽ホール、ダウンタウン施設、解放施設、半開放施設、閉領域、電車プラットフォーム、電車駅、配給センター、倉庫、店、配給センター、貯蔵施設、地下空間、空間(例えば、地上部、宇宙)施設、フローティング施設、洞窟、トンネル施設、屋内施設、屋外施設、いくつかの壁/ドア/反射バリアを有する屋外施設、開放施設、セミオープン施設、自動車、トラック、バス、バン、コンテナ、船舶/ボート、潜水艦、列車、電車、飛行機、乗り物、移動ホーム、洞穴、トンネル、パイプ、チャネル、大都市圏、比較的高い建物がある繁華街エリア、谷、井戸、ダクト、経路、ガスライン、油管、水管、相互接続経路/アレイ/道路/チューブ/空洞/洞窟/パイプ様構造/空間/流体スペース、人体、動物のからだ、体腔、器官、骨、歯、軟組織、硬組織、堅い組織、非硬組織、血液/体液管、風管、空気ダクト、巣穴、などの領域である。場所は、室内空間、屋外空間であってもよく、場所は、空間の内側及び外側の両方を含んでもよい。例えば、場所は、建物の内側及び建物の外側の両方を含むことができる。例えば、場所は、1階または複数階を有するビルであり得、ビルの一部は、地下であり得る。建物の形状は、例えば、丸形、正方形、長方形、三角形、又は不規則な形状とすることができる。これらは単なる例である。本開示は、他のタイプの場所または空間におけるイベントを検出するために使用することができる。
無線送信機(例えば、タイプ1デバイス)及び/または無線受信機(例えば、タイプ2デバイス)は、オブジェクトと共に移動し得る(例えば、前の移動及び/または現在の移動において)ポータブルデバイス(例えば、モジュール、またはモジュールを有するデバイス)に埋め込まれ得る。ポータブルデバイスは、有線接続(例えば、USB、マイクロUSB、ファイアワイヤ、HDMI、シリアルポート、パラレルポート、及び他のコネクタを介して)及び/または接続(例えば、Bluetooth、Bluetooth Low Energy (BLE)、WiFi、LTE、NFC、ZigBee)を使用して、オブジェクトと通信可能に結合され得る。ポータブルデバイスは、軽量な装置であってもよい。ポータブルは、電池、充電池及び/またはAC電源により電力を供給され得る。ポータブルデバイスは、非常に小さくてもよく(例えば、サブミリメートルスケール及び/またはサブセンチメートルスケールで)、及び/または小さくてもよい(例えば、コインサイズ、カードサイズ、ポケットサイズ、またはそれより大きい)。携帯装置は、大型で、サイズが大きく、及び/または、かさばる(例えば、設置された重機械)ことがある。ポータブルデバイスは、WiFiホットスポット、アクセスポイント、モバイルWiFi(MiFi)、USB/マイクロUSB/ファイアワイヤ/他のコネクタ付きドングル、スマートフォン、ポータブルコンピュータ、コンピュータ、タブレット、スマートデバイス、物のインターネット(IoT)デバイス、WiFi対応デバイス、LTE対応デバイス、スマートウォッチ、スマートガラス、スマートミラー、スマートアンテナ、スマートバッテリ、スマートライト、スマートペン、スマートリング、スマートドア、スマートウィンドウ、スマートクロック、スマートバッテリ、スマート札入れ、スマートベルト、スマートハンドバッグ、スマートクロス/ガーメント、スマートオーナメント、スマートパッケージング、スマートペーパー/ブック/マガジン/ポスター/印刷物/サイネージ/ディスプレイ/明るくされたシステム/照明システム、スマートキー/ツール、スマートブレスレット/チェーン/ネックレス/衣服/アクセサリ、スマートパッド/クッション、スマートタイル/ブロック/ブリック/建材/他の材料、 スマートゴミ缶/廃棄物容器、スマート食料キャリッジ/格納、スマートボール/ラケット、スマートチェア/ソファ/ベッド、スマート靴/履物/カーペット/マット/靴棚、スマート手袋/ハンドウェア/リング/ハンドウェア、スマートハット/帽子/化粧品/ステッカー/タトウ、スマートミラー、スマート玩具、スマートピル、スマート調理器具、スマートボトル/食品容器、スマートツール、スマートデバイス、IoTデバイス、WiFi対応デバイス、ネットワーク対応デバイス、3G/4G/5G/6G対応デバイス、UMTSデバイス、3GPPデバイス、GSMデバイス、EDGEデバイス、TDMAデバイス、FDMAデバイス、CDMAデバイス、WCDMAデバイス、TD-SCDMAデバイス、埋め込みデバイス、埋め込み可能なデバイス、エアコン、冷蔵庫、ヒータ、炉、家具、オーブン、調理デバイス、テレビ/セットトップボックス(STB)/DVDプレーヤー/オーディオプレーヤー/ビデオプレーヤー/リモコン、ハイファイ、オーディオデバイス、スピーカ、ランプ/ライト、壁、ドア、窓、屋根、瓦/屋根板/構造/屋根裏構造/デバイス/特徴/設置/固定具、芝刈り機/園具/工具/機械工具/ガレージ用具、ごみかん/コンテナ、20フィート/40フィートコンテナ、貯蔵容器、工場/生産/製造装置、修理工具、流体容器、機械、設置された機械、車両、カート、ワゴン、倉庫車両、自動車、自転車、オートバイ、ボート、船舶、飛行機、バスケット/箱/バッグ/バケット/容器、スマートプレート/カップ/ボウル/ポット/マット/器具/台所用具/台所用品/キッチンアクセサリ/キャビネット/テーブル/椅子/タイル/ライト/水道管/蛇口/ガスレンジ/オーブン/食器洗浄機/、などでありうる。ポータブルデバイスは、交換可能、交換不可能、再充電可能、及び/または非再充電可能であり得るバッテリを有し得る。ポータブルデバイスは、無線で充電されてもよい。ポータブルデバイスは、スマートペイメントカードであってもよい。ポータブルデバイスは、駐車場、高速道路、エンターテイメントパーク、または支払いを必要とする他の場所/施設で使用されるペイメントカードであってもよい。ポータブルデバイスは、上述のように、アイデンティティ(ID)/識別子を有することができる。
イベントはTSCIに基づいて監視され得る。イベントは、オブジェクト(例えば、人及び/または疾病者)の転倒、回転、躊躇、休息、衝撃(例えば、人がサンドバッグ、ドア、窓、ベッド、椅子、テーブル、机、キャビネット、箱、別の人、動物、鳥、飛行、テーブル、椅子、ボール、ボウリングボール、テニスボール、フットボール、サッカーボール、野球、バスケットボール、バレーボールをたたく)、二体作用(例えば、バルーンを放置し、魚を捕らえ、粘土を成形し、論文を書き、人がコンピュータに入力する)、自動車をガレージで移動させる、スマートフォンを携帯し、空港/モール/官庁/オフィス/などを歩き回る人、周りを移動する自律移動可能なオブジェクト/機械(例えば、バキュームクリーナー、ユーティリティービークル、カー、ドローン、自走自動車)などのオブジェクト関連イベントであり得る。
タスクまたは無線スマートセンシングタスクは、オブジェクト検出、存在検出、近接検出、オブジェクト認識、アクティビティ認識、オブジェクト検証、オブジェクト計数、日常アクティビティモニタリング、健康モニタ、生命兆候モニタリング、健康状態モニタリング、ベビーモニタリング、老人モニタリング、睡眠モニタリング、睡眠段階モニタリング、歩行モニタリング、動きモニタリング、ツール検出、ツール認識、ツール検証、患者検出、患者モニタリング、患者検証、機械検出、機械検証、人間検出、人間認識、人間検証、ベビー検出、ベビー認識、ベビー検証、人間呼吸検出、人間呼吸認識、人間呼吸推定、人間呼吸検証、人間心拍検出、人間心拍認識、人間心拍推定、人間心拍検証、転倒検出、転倒認識、転倒推定、転倒検証、感情検出、感情認識、感情推定、感情検証、動き検出、動き度合い推定、運動認識、動き推定、動作検証、周期的運動検出、周期的運動推定、周期的運動検証、繰り返し動き検出、周期運動認識、反復運動推定、反復運動検証、静止運動認識、静止運動検出、静止運動推定、静止運動検証、周期定常(cycrostationary)運動検出、周期定常運動認識、周期定常運動推定、周期定常運動検証、過渡運動検出、過渡運動認識、過渡運動推定、過度運動検証、トレンド検出、トレンド認識、トレンド推定、トレンド検証、呼吸検出、呼吸認識、呼吸推定、ヒト生体計測検出、ヒト生体計測学的認識、ヒト生体計測学的推定、ヒト生体計測学的検証、環境情報学的検出、環境情報学的認識、環境情報学的推定、環境情報学的検証、歩容検出、歩容認識、歩容推定、歩容検証、ジェスチャ検出、ジェスチャ認識、ジェスチャ推定、ジェスチャ検証、機械学習、教師有り学習、教師なし学習 半教師有り学習、クラスタ化、特徴抽出、特徴トレーニング、主成分分析、固有値分解、周波数分解、時間分解、 時間-周波数分解、函数分解、他の分解、トレーニング、識別トレーニング、教師有りトレーニング、教師なしトレーニング、半教師ありトレーニング、ニューラルネットワーク、突然の動きの検出、転倒検出、危険検出、生命-脅威検出、規則的運動検出、静止運動検出、周期定常運動検出、侵入検出、怪しい動き検出、セキュリティ、安全性モニタリング、ナビゲーション、ガイダンス、地図ベースの処理、地図ベースの補正、モデルベースの処理/補正、不規則性検出、位置特定、部屋センシング、追跡、複数オブジェクト追跡、室内追跡、室内位置決め、室内ナビゲーション、エネルギー管理、電力伝送、無線電力伝送、オブジェクト計数、パーキングガレージにおける自動車追跡、デバイス/システムの起動(例えば、防犯システム、アクセスシステム、警報、サイレン、スピーカ、テレビ、娯楽システム、カメラ、ヒータ/空調(HVAC)システム、換気システム、照明システム、ゲームシステム、コーヒーマシン、調理器具、クリーニング装置、ハウスキーピング装置)、幾何学的推定 、拡張現実、無線通信、データ通信、信号ブロードキャスト、ネットワーキング、調整、管理、暗号化、保護、クラウド計算、他の処理及び/または他のタスク、を含んでもよい。タスクは、タイプ1デバイス、タイプ2デバイス、別のタイプ1デバイス、別のタイプ2デバイス、近くの装置、ローカルサーバ(ハブ装置など)、エッジサーバ、クラウドサーバ、及び/または別の装置によって実行できる。 このタスクは、タイプ1デバイスとタイプ2デバイスの任意の対の間のTSCIに基づくことができる。タイプ2デバイスは、タイプ1デバイスであってもよく、逆もまた同様である。タイプ2デバイスは、タイプ1デバイスの役割(例えば、機能性)を、一時的に、連続的に、散発的に、同時に、及び/または同時的に、及び/またはその逆に、果たし得る。タスクの第1の部分は、前処理、処理、信号調整、信号処理、後処理、散発的/連続的/同時/同時的/動的/適応的/オンデマンド的/必要に応じた処理、較正、雑音除去、特徴抽出、コーディング、暗号化、変換、マッピング、動き検出、動き推定、動作変化検出、動きパターン検出、動きパターン推定、動きパターン認識、バイタルサイン検出、バイタルサイン推定、バイタルサイン認識、周期的動き検出、周期的動き推定、反復動作検出/推定、呼吸数検出、呼吸数推定、呼吸パターン検出、呼吸パターン推定、呼吸パターン認識、心拍検出、心拍推定、心臓パターン検出、心臓パターン推定、心臓パターン認識、ジェスチャ検出、ジェスチャ推定、ジェスチャ認識、速度検出、速度推定、オブジェクト位置決め、オブジェクト追跡、ナビゲーション、加速度推定、加速度検出、転倒検出、変化検出、侵入者(及び/または不法行為)検出、ベビー検出、ベビーモニタリング、患者モニタリング、オブジェクト認識、無線電力伝送、及び/または無線充電、のうちの少なくとも1つを含み得る。
タスクの第2の部分は、スマートホームタスク、スマートオフィスタスク、スマートビルディングタスク、スマートファクトリータスク(例えば、機械または組立ラインを用いた製造)、スマート物のインターネット(IoT)タスク、スマートシステムタスク、スマートホームオペレーション、スマートオフィスオペレーション、スマートビルディングオペレーション、スマート製造オペレーション(例えば、機械/組立ラインへの供給品/部品/原材料の移動)、IoTオペレーション、スマートシステムオペレーション、ライトの点灯、ライトの消灯、部屋、領域、及び/または場所の少なくとも1つでの光の制御、サウンドクリップの再生、部屋、領域、及び/または場所の少なくとも1つでのサウンドクリップの再生、ウェルカム、グリーティング、別れ、第1のメッセージ、及び/またはタスクの第1の部分に関連する第2のメッセージのうちの少なくとも1つのサウンドクリップの再生すること、家電製品をオンにする、家電製品をオフにする、 部屋、領域、及び/または場所の少なくとも1つにおいて電気製品を制御すること、電気システムをオンにすること、電気システムをオフにすること、部屋、領域、及び/または場所の少なくとも1つにおいて電機システムを制御すること、防犯システムをオンにすること、防犯システムをオフにすること、部屋、領域、及び/または場所の少なくとも1つにおいて防犯システムを制御すること、機械システムをオンにすること、機械システムをオフにすること、部屋、領域、及び/または場所の少なくとも1つにおいて機械システムを制御すること、及び/または空調システム、暖房システム、換気システム、照明システム、暖房装置、ストーブ、エンターテイメントシステム、ドア、塀、窓、ガレージ、コンピュータシステム、ネットワーク化された装置、ネットワーク化されたシステム、家電機器、事務機器、照明装置、ロボット(例えば、ロボットアーム)、スマートビークル、スマートマシン、 アセンブリライン、スマートデバイス、物のインターネット(IoT)デバイス、スマートホームデバイス、及び/またはスマートオフィスデバイスの少なくとも1つを制御すること、のうちの少なくとも1つを含みうる。
このタスクは、ユーザの帰宅を検知し、ユーザの外出を検知し、1つの部屋から別の部屋へ移動するユーザを検知し、窓/ドア/ガレージドア/ガレージドア/ブラインド/カーテン/パネル/ソーラーパネル/サンシェードをコントロール/ロック/解除/オープン/クローズ/部分的にオープンすることを検知し、ペットを検知し、ユーザが何か(例えば、ソファで寝ていること、寝室で寝ていること、トレッドミルで走ること、調理していること、ソファで座っていること、TVを見ること、台所で食事をすること、食堂で食事を食べること、階段を上り下りすること、外出/戻ること、洗面所にいること)することを検出/監視し、ユーザ/ペットの位置を監視/検知し、検知すると自動的に何か(例えば、メッセージを送ること、人に知らせること/報告すること)、を行い、ユーザを検知するとユーザに対して何かを行うこと、ライトをオン/オフ/暗くすること、音楽/ラジオ/ホームエンターテイメントシステムをオン/オフし、テレビ/ハイファイ/セットトップボックス(STB)/ホームエンターテイメントシステム/スマートスピーカ/スマートデバイスをオン/オフ/調整/制御し、エアコンシステムをオン/オフ/調整し、換気システムをオン/オフ/調整し、暖房システムをオン/オフ/調整し、カーテン/ライトシェードを調整/コントロールし、コンピュータをオン/オフ/起動し、コーヒーマシン/温水ポットをオン/オフ/プレヒート/制御し、クッカー/オーブン/電子レンジ/他の調理機器をオン/オフ/プレヒート/制御し、温度をチェック/調整し、天気予報をチェックし、電話メッセージボックスをチェックし、メールのチェックをし、システムをチェックし、システムを制御/調整し、防犯システム/ベビーモニタをチェック/制御/用意/解除し、冷蔵庫をチェック/制御し、報告すること(例えば、グーグルホーム、アマゾンエコーなどのスピーカを通して、ウェブページ/電子メール/メッセージングシステム/通知システムを介し。)、を含みうる。
例えば、ユーザが自宅に車内に到着した場合、そのタスクは、ユーザまたはその乗り物が近づいていることを自動的に検出し、検出時にガレージドアを開き、ユーザがガレージに近づくにつれて私設車道/ガレージにライトを点灯させ、空調装置/ヒータ/ファンをオンさせるなどであってもよい。ユーザが家に入るにつれて、そのタスクは、自動的に、入口ライトをオンにし、私設車道/ガレージのライトをオフにし、ユーザをウェアカムするグリーティングメッセージを発し、音楽をオンにし、ラジオをオンにし、ユーザの好きなラジオニュースチャネルに合わせて調整し、カーテン/ブラインドを開き、ユーザの気分を監視し、ユーザの気分またはユーザの毎日のカレンダー上の現在/差し迫ったイベント(例えば、ユーザが1時間でガールフレンドと食事する予定であるため、ロマンチックな照明及び音楽を行う)に応じて照明及び音環境を調整し、ユーザが朝に準備した食品をマイクロウェーブで暖め、ハウス内の全てのシステムの診断チェックを行い、明日の作業のための天気予報をチェックし、ユーザの興味のあるニュースをチェックし、ユーザのカレンダー、to-doリスト。リマインダをチェックし、電話応答システム、メッセージングシステム、電子メールをチェックし、対話システム/音声合成を使って口頭報告を伝え、ユーザの母の誕生日を思い出させる(例えば、スピーカ、ハイファイ、音声合成、サウンド、声、音楽、歌、音場、バックグラウンド音場、対話システムなどの可聴ツールを使い、TV/エンターテイメントシステム/コンピュータ/ノートブック/スマートパッド/ディスプレイ/光/色/明るさ/パターンなどの視覚ツールを使用し、触覚ツール/仮想現実ツール/ジェスチャ/ツールを使用し、スマートデバイス/器具/材料/家具/備品を使用し、ウェブツール/サーバ/ハブデバイス/クラウドサーバ/フォグサーバ/エッジサーバ/ホームネットワーク/メッシュネットワークを使用し、メッセージングツール/通知ツール/通信ツール/スケジューリングツール/電子メールを使用し、ユーザインターフェース/GUIを使用し、香り/匂い/芳香/味を使用し、神経ツール/神経システムツールを使用し、組合せを使用し)、報告書を作成し、報告書を提供する(例えば、上述のように思い出させるためのツールを使用する)。タスクは、事前に空調装置/ヒータ/換気システムを起動したり、事前にスマートサーモスタットの温度設定を調整したりすることがある。ユーザが玄関からリビングに移動するとき、そのタスクは、リビングルームライトを点灯し、リビングルームカーテンを開き、窓を開き、ユーザの背後にある玄関の光を消し、TVとセットトップボックスをオンにし、セットトップボックスをオンにし、TVをユーザの好みのチャネルに設定し、ユーザの好み及び条件/状態に応じて器具を調整する(例えば、照明を調整し、ロマンチックな雰囲気を構築するために音楽を選択/再生する)ことなどであり得る。
別の例は、以下であり得る。ユーザが朝、目を覚ましたとき、そのタスクは、ベッドルーム内を動き回るユーザを検出し、ブラインド/カーテンを開き、窓を開き、目覚まし時計をオフにし、室内温度プロファイルを夜間温度プロファイルから昼間温度プロファイルに調整し、ベッドルームライトをオンにし、ユーザがトイレに近づくにつれてトイレライトをオンにし、ラジオまたはストリーミングチャネルをチェックし、朝のニュースを再生し、コーヒーマシンをオンにし、水を予熱し、防犯システムをオフにするなどすることであり得る。ユーザがベッドルームから台所へ歩くとき、そのタスクは、台所及び廊下灯を点灯させ、ベッドルーム及びトイレの照明を消し、音楽/メッセージ/リマインダをベッドルームから台所に移動させ、台所のTVを点灯させ、TVを朝のニュースチャネルに変更し、台所ブラインドを下げ、新鮮な空気をもたらすために台所窓を開け、ユーザがバックヤードをチェックするためにバックドアを解錠し、台所の温度設定を調整することなどであり得る。別の例は、以下であり得る。ユーザが仕事のために家から離れるとき、そのタスクは、ユーザが離れることを検出し、別れをし、及び/または、良い一日を過ごすようにとメッセージを発し、ガレージドアを開閉し、ガレージ灯及び私設車道灯をオン/オフにし、エネルギーを節約するためにオフ/暗くし(ユーザが失敗した場合にのみ)、全ての窓/ドアを閉じ/ロックし(ユーザが失敗した場合にのみ)、器具(特に、ストーブ、オーブン、電子レンジ)をオフにし、侵入者に対して家の防護のために家の防犯システムをオン/装備し、エネルギーを節約するために「家から離れた」プロファイルに空調/暖房/換気システムを調整し、警告/報告/更新をユーザのスマートフォンに送るなどであり得る。
動きは、動きなし、休息の動き、動きのない動作、動き、場所/位置の変化、決定論的動き、過渡的動き、転倒動き、繰り返し動き、周期的動き、疑似周期的動き、呼吸に関連する周期的/繰り返し動き、心拍に関連する周期的/繰り返し動き、生物に関連する周期的/繰り返しの動き、機械に関連する周期的/繰り返し動き、人工物体に関連する周期的/繰り返し動き、自然に関連する周期的/繰り返しの動き、過渡的要素及び周期的要素に関連する複雑な動き、反復動き、非決定論的動き、確率論的動き、カオス動き、ランダムな動き、非決定論的要素及び決定論的要素を有する複雑な動き、定常ランダム動き、疑似定常ランダム動き、周期定常ランダム動き、非定常ランダム動き、周期的自己相関関数(ACF)を有する非定常ランダム動き、期間に対する周期的ACFを伴ったランダム動き、期間に対する疑似定常的なランダム動き、瞬間ACFが期間に対して疑似周期的/反復的要素を持つランダム動き、機械運動、メカニカルな動き、ビークルの動き、ドローンの動き、空気関連の動き、風関連の動き、天気関連動作、水関連動作、流体関連動作、地面関連運動、磁気特性の変化、地表面下運動、地震動、植物の動き、動物の動き、動物の運動、人体の運動、正常な動き、異常な動き、危険な動き、警告動作、疑わしい動き、雨、火災、洪水、津波、爆発、衝突、差し迫った衝突、人体運動、頭部運動、顔面運動、眼運動、口腔運動、舌運動、首運動、指の動き、手の動き、腕の動き、肩の動き、体動、胸の動き、腹部の動き、腰の運動、脚の動き、足の動き、体関節運動、膝の動き、ひじの動き、上体の動き、下半身の動き、皮膚の動き、皮下の動き、皮下組織運動、 血管の動き、静脈運動、臓器運動、心臓の動き、肺の動き、胃ぼ動き、腸の動き、便通運動、摂食運動、呼吸運動、顔の表情、眼の表情、口の表情、声の動き、歌う動き、摂食運動、ジェスチャ、手のジェスチャ、腕のジェスチャ、キーストローク、タイピングストローク、ユーザインターフェースジェスチャ、マンマシン相互作用、歩容、ダンスの動き、協調運動、及び/または協調身体運動、のうちの少なくとも1つを含んでもよい。
タイプ1デバイス及び/または任意のタイプ2受信機の異種ICは、低雑音増幅器(LNA)、電力増幅器、送信-受信スイッチ、メディアアクセスコントローラ、ベースバンド無線機、2.4GHz無線機、3.65GHz無線機、4.9GHz無線機、5GHz無線機、5.9GHz無線機、6GH未満の無線機、60GHz無線機、60GHz未満無線機及び/または別の無線機を含み得る。異種ICは、プロセッサと、プロセッサと通信可能に結合されたメモリと、プロセッサによって実行されるメモリに記憶された命令のセットとを含み得る。IC及び/または任意のプロセッサは、汎用プロセッサ、特殊目的プロセッサ、マイクロプロセッサ、マルチプロセッサ、マルチコアプロセッサ、並列プロセッサ、CISCプロセッサ、RISCプロセッサ、マイクロコントローラ、中央処理ユニット(CPU)、グラフィカルプロセッサユニット(GPU)、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、埋め込みプロセッサ(例えばARM)、論理回路、他のプログラマブル論理デバイス、ディスクリートロジック及び/または組み合わせ、のうちの少なくとも1つを含み得る。異種ICは、ブロードバンドネットワーク、無線ネットワーク、モバイルネットワーク、メッシュネットワーク、セルラーネットワーク、無線ローカルエリアネットワーク(WLAN)、ワイドエリアネットワーク(WAN)、メトロポリタネリアネットワーク(MAN)、WLAN標準、WiFi、LTE、LTE-A、LTE-U、802.11規格、802.11a、802.11b、802.11g、802.11n、802.11ac、802.11af、802.11ah、802.11ax、802.11ay、メッシュネットワーク標準802.16、3G、3.5G、4G、ビヨンド4G、4.5G、6G、7G、8G、9G、UMTS、3GPP、GSM、EDGE、TDMA、FDMA、CDMA、WCDMA、TD-SCDMA、Bluetooth、Bluetooth Low-Energy (BLE)、NFC、Zigbee、WiMax、その他の無線ネットワークプロトコル、をサポートしうる。
プロセッサは、汎用プロセッサ、特別目的プロセッサ、マイクロプロセッサ、マイクロコントローラ、組込みプロセッサ、デジタルシグナルプロセッサ、中央処理装置、グラフィカル処理ユニット(GPU)、マルチプロセッサ、マルチコアプロセッサ、及び/またはグラフィック能力を有するプロセッサ、及び/または組み合わせ、を含むことができる。メモリは、揮発性、不揮発性、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、プログラム可能ROM(EPROM)、電気的に消去可能なプログラマブルROM(EEPROM)、ハードディスク、フラッシュ・メモリ、CD-ROM、DVD-ROM、磁気記憶装置、光記憶装置、有機記憶装置、記憶システム、記憶ネットワーク、ネットワーク記憶装置、クラウド記憶装置、エッジ記憶装置、ローカル記憶装置、外部記憶装置、内部記憶装置、または技術的に知られている他の形態の非一時的記憶媒体であってもよい。方法のステップに対応する命令のセット(マシン実行可能コード)は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせで直接実施可能である。指示のセットは、組み込み、プリロード、ブート時にロード、オンザフライでロード、オンデマンドでロード、プリインストール、インストール、及び/またはダウンロードすることができる。
プレゼンテーションは、視覚的な方法(例えば、視覚、グラフィックス、テキスト、シンボル、色、シェード、ビデオ、アニメーション、サウンド、音声、音響などの組み合わせを使用する)、グラフィカルな方法(例えば、GUI、アニメーション、ビデオを使用する)、テキスト的な方法(例えば、テキスト付ウェブページ、メッセージ、アニメーションテキスト)、記号的な方法(例えば、絵文字、サイン、手のジェスチャ)、または機械的な方法(例えば、バイブレーション、アクチュエータの動き、触覚など)によるプレゼンテーションであってもよい。
基本計算
この方法に関連する計算ワークロードは、プロセッサ、タイプ1異種無線装置、タイプ2異種無線装置、ローカルサーバ(例えば、ハブ装置)、クラウドサーバ、及び他のプロセッサの間で共有される。
操作、前処理、処理及び/または後処理は、データ(例えば、TSCI、自己相関、TSCIの特徴)に適用され得る。操作には、前処理、処理及び/または後処理がありうる。前処理、処理及び/または後処理は、操作であってもよい。操作は、前処理、処理、後処理、スケーリング、信頼係数の計算、視線(LOS)量の計算、非LOS (NLOS)量の計算、LOS及びNLOSを含む量の計算、単一リンク(例えば、パス、通信経路、送信アンテナと受信アンテナの間のリンク)量の計算、多重リンクを含む量の計算、オペランドの関数を計算すること、フィルタリング、線形フィルタリング、非線形フィルタリング、フォールディング、グルーピング、エネルギー計算、ローパスフィルタリング、バンドパスフィルタリング、ハイパスフィルタリング、メジアンフィルタリング、ランクフィルタリング、四分位フィルタリング、パーセンタイルフィルタリング、有限インパルス応答(FIR)フィルタリング、無限インパルス応答(IIR)フィルタリング、移動平均(MA)フィルタリング、自己回帰(AR)フィルタリング、自己回帰移動平均(ARMA)フィルタリング、選択フィルタリング、適応フィルタリング、補間、デシメーション、サブサンプリング、アップサンプリング、リサンプリング、時間補正、時間ベース補正、位相補正、大きさ補正、位相洗浄、振幅洗浄、マッチドフィルタリング、エンハンスメント、復元、雑音除去、スムージング、信号調整、エンハンスメント、復元、線形変換、非線形変換、逆変換、周波数変換、逆周波数変換、フーリエ変換(FT)、離散時間FT (DTFT)、離散FT(DFT)、高速FT(FFT)、ウェーブレット変換、ラプラス変換、ヒルバート変換、ハダマール変換、トリゴノメトリック変換、サイン変換、コサイン変換、DCT、2のべき乗変換、スパース変換、グラフベース変換、グラフ信号処理、高速変換、ゼロパディングと組み合わせた変換、サイクリックパディング、パディング、ゼロパディング、特徴抽出、分解、射影、直交射影、非直交射影、過剰射影(oecomlee ojecion)、固有分解、特異値分解(SVD)、原理成分分析(ICA)、独立成分分析(ICA)、グループ化、仕分け、閾値化、ソフト閾値化、ハード閾値化、クリッピング、ソフトクリッピング、一次微分、二次微分、高次微分、畳み込み、乗算、分割、加算、減算、積分、最大化、最小化、最小二乗誤差、再帰最小二乗、制約付き最小二乗法、バッチ最小二乗、最小絶対偏差、最小平均二乗偏差、最小絶対偏差、局所最大化、局所最小化、コスト関数の最適化、ニューラルネットワーク、認識、ラベリング、トレーニング、クラスタリング、機械学習、教師有り学習、教師なし学習、半教師あり学習、他のTSCIとの比較、類似度スコア計算、量子化、ベクトル量子化、マッチング追跡、圧縮、暗号化、符号化、記憶、送信、正規化、時間正規化、周波数領域正規化、分類、クラスタリング、ラベリング、タグ付け、学習、検出、推定、学習ネットワーク、マッピング、再マッピング、拡張、記憶、検索、送信、受信、表現、結合、合併すること、分割、追跡、監視、マッチドフィルタリング、カルマンフィルタリング、粒子フィルタリング、内挿、外挿、ヒストグラム推定 、重要度サンプリング、モンテカルロサンプリング、圧縮センシング、表現、合併、結合、分割、スクランブリング、エラー保護、前方エラー訂正、何もしない、時間変動処理、調整平均化、加重平均化、算術平均、幾何平均、調和平均、選択された周波数にわたる平均化、アンテナリンクにわたる平均化、論理的操作、置換、組合せ、ソーティング、AND、OR、XOR、結合、交差、ベクトル加算、ベクトル減算、ベクトル乗算、ベクトル除算、逆、ノルム、距離、及び/または別の演算、を含みうる。操作は、前処理、処理、及び/または後処理であり得る。動作は、複数の時系列または関数上で共同して適用され得る。
関数(例えばオペランドの関数)は、スカラー関数、ベクトル関数、離散関数、連続関数、多項式関数、特性、特徴、大きさ、位相、指数関数、対数関数、三角関数、超越関数、論理関数、線形関数、代数的関数、非線形関数、区分関数、実数関数、複素関数、ベクトル値関数、逆関数、導関数、積分関数、円形関数、他の関数の関数、1対1関数、1対多関数、多対1関数、多対多関数、ゼロクロス、絶対関数、指標関数、平均、モード、中央値、範囲、統計、ヒストグラム、分散、標準偏差、変化の尺度、拡大、分散、偏差、ダイバージェンス、範囲、四分位範囲、全偏差、絶対偏差、算術平均、幾何平均、調和平均、トリム平均、パーセンタイル、二乗、立方、平方根、パワー、サイン、コサイン、タンジェント、コタンジェント、楕円関数、放物線関数、双曲線関数、ゲーム関数、ゼータ関数、絶対値、閾値、制限関数、フロア関数、丸め関数、符号関数、量子化、区分定数関数、合成関数、関数の関数、演算で処理される時間関数(例えばフィルタリング)、確率論的関数、推計学的関数、決定論的関数、周期関数、反復関数、変換、周波数変換、逆周波数変換、離散時間変換、ラプラス変換、ヒルベルト変換、正弦変換、余弦変換、三角変換、ウェーブレット変換、整数変換、2のべき乗変換、スパース変換、射影、分解、主成分分析(PCA)、ニューラルネットワーク、特徴抽出、移動関数、時系列の隣接項目の移動ウィンドウの関数、フィルタリング関数、畳み込み、平均関数、ヒストグラム、分散/標準偏差関数、統計関数、短時間変換、離散変換 、離散フーリエ変換、離散コサイン変換、離散サイン変換、アダマール変換、固有値分解、固有値、特異値分解(SVD)、特異値、直交分解、マッチング追求、スパース変換、任意の分解、グラフベース処理、グラフベース変換、グラフ信号処理、分類、クラス/グループ/カテゴリの識別、ラベリング、学習、機械学習、検出、推定、特徴抽出、学習ネットワーク、特徴抽出、雑音除去、信号強調、符号化、暗号化、マッピング、再マッピング、ベクトル量子化、ローパスフィルタリング、ハイパスフィルタリング、バンドパスフィルタリング、マッチドフィルタリング、カルマンフィルタリング、前処理、後処理、粒子フィルタリング、FIRフィルタリング、IIRフィルタリング、自己回帰(AR)フィルタリング、適応的フィルタリング、一次導関数、高次導関数、積分、ゼロ交差、スムージング、メディアンフィルタリング、モードフィルタリング、サンプリング、ランダムサンプリング、リサンプリング関数、ダウンサンプリング、ダウンコンバーティング、アップサンプリング、アップコンバーティング、内挿、外挿、重要度サンプリング、モンテカルロサンプリング、圧縮センシング、統計学、 短期統計、長期統計、自己相関関数、相互相関、積率母関数、時間平均、加重平均、特殊関数、ベッセル関数、誤差関数、相補誤差関数、ベータ関数、ガンマ関数、積分関数、ガウス関数、ポアソン関数など、を含みうる。
本開示のステップ(または各ステップ)には、機械学習、トレーニング、識別トレーニング、ディープラーニング、ニューラルネットワーク、連続時間処理、分散計算、分散記憶、GPU/DSP/コプロセッサ/マルチコア/マルチプロセッシングを使用するアクセラレーション、が適用され得る。
周波数変換は、フーリエ変換、ラプラス変換、アダマール変換、ヒルベルト変換、サイン変換、コサイン変換、三角変換、ウェーブレット変換、整数変換、2のべき乗変換、ゼロパディング及び変換の組み合わせ、ゼロパディングを有する電力フーリエ変換、及び/または別の変換を含んでもよい。変換の高速バージョン及び/または近似バージョンが実行され得る。変換は、浮動小数点、及び/または固定小数点演算を使用して行うことができる。
逆周波数変換は、逆フーリエ変換、逆ラプラス変換、逆アダマール変換、逆ヒルベルト変換、逆サイン変換、逆コサイン変換、逆三角変換、逆ウェーブレット変換、逆整数変換、逆2のべき乗変換、ゼロパディング及び変換の組み合わせ、ゼロパディングを有する逆フーリエ変換、及び/または別の変換を含むことができる。変換の高速バージョン及び/または近似バージョンが実行され得る。変換は、浮動小数点、及び/または固定小数点演算を使用して行うことができる。
TSCIから量/特徴を計算することができる。量は、運動、位置、マップ座標、高さ、速度、加速度、移動角度、回転、寸法、体積、時間トレンド、ワンタイムパターン、反復パターン、発展パターン、時間パターン、相互に除外されるパターン、関連/相関パターン、原因-効果、短期/長期相関、傾向、傾き、好み、統計、典型的挙動、非典型的挙動、時間トレンド、時間プロファイル、周期的運動、反復運動、反復、傾向、変化、急激な変化、ゆるやかな変化、頻度、過渡的、呼吸、歩容、行動、イベント、疑わしいイベント、危険イベント、警告イベント、警告、信念、近接、衝突、電力、信号、信号電力、信号強度、信号量、受信信号強度指標(RSSI)、信号振幅、信号位相、信号周波数成分、信号周波数帯域成分、チャネル状態情報(CSI)、マップ、時間、周波数、時間-周波数、分解、直交分解、非直交分解、追跡、呼吸、動悸、統計パラメータ、心肺統計/分析(例えば、出力応答)、日常活動統計/分析、慢性疾患統計/分析、医療統計/分析、早期(または瞬間または同時または遅延)指示/示唆/兆候/標識/検証器/検出/症状/条件/状態、生体計測、ベビー、患者、機械、デバイス、温度、車両、駐車場、場所、リフト、エレベータ、空間、道路、流体流、家庭、室、事務所、家屋、建物、倉庫、保管、システム、換気、ファン、パイプ、ダクト、人々、人間、車、ボート、トラック、飛行機、ドローン、ダウンタウン、群集、衝動的イベント、周期定常、環境、振動、材料、表面、3次元、2次元、局所、全体、存在、及び/または他の測定可能な量/変数、のうちの少なくとも1つの統計量を含みうる。
スライディングウインドウ/アルゴリズム
スライディングタイムウィンドウは、時間変化するウィンドウ幅を有し得る。迅速な獲得を可能にするためには、最初はより小さくてもよく、定常状態サイズまで経時的に増加してもよい。定常状態サイズは、監視される周波数、反復運動、過渡的運動、及び/またはSTIに関連し得る。定常状態においてさえ、ウィンドウサイズは、電池寿命、電力消費、利用可能な計算パワー、対象の量の変化、監視される動きの性質などに基づいて、適応的に(及び/または動的に)変化され得る(例えば、調整され、変化され、修正され)。
隣接する時間事例における2つのスライディングタイムウィンドウ間の時間シフトは、時間にわたって(経時的に)一定/可変/局所的に適応/動的に調節され得る。より短い時間シフトが使用される場合、任意の監視の更新は、より頻繁であり得、これは、迅速に変化する状況、オブジェクトの動き、及び/またはオブジェクトのために使用され得る。より長い時間シフトは、より遅い状況、オブジェクトの動き、及び/またはオブジェクトのために使用され得る。
ウィンドウ幅/サイズ及び/または時間シフトは、ユーザの要求/選択に応じて変更(例えば、調整、変更、修正)され得る。時間シフトは、自動的に(例えば、プロセッサ/コンピュータ/サーバ/ハブ装置/クラウドサーバによって制御されるように)及び/または適応的に(及び/または動的に)変更することができる。
関数(例えば、自己相関関数、自己共分散関数、相互相関関数、相互共分散関数、パワースペクトル密度、時間関数、周波数ドメイン関数、周波数変換)の少なくとも1つの特性(例えば、特徴値、または特徴点)は、(例えば、オブジェクト追跡サーバ、プロセッサ、タイプ1異種デバイス、タイプ2異種デバイス、及び/または別の装置によって)決定され得る。この関数の少なくとも1つの特性は、最大、最小、極値、局所的最大値、局所的最小値、局所的極値、正の時間オフセットを有する局所的極値、正の時間オフセットを有する第1の局所的極値、正の時間オフセットを有するn番目の局値、負の時間オフセットを有する第1の局所的極値、制限された最大、制限された最小、制限された極値、有意な最大、有意な最小、有意な極値、勾配、導関数、高次の導関数、最大勾配、最小勾配、局所最大勾配、正の時間オフセットを有する局所的最大勾配、局所的最小勾配、制限された最大の勾配、制限された最小勾配、最大の高次の導関数、最小の高次の導関数、制限された高次の導関数、ゼロ交差、正の時間オフセットを有するゼロ交差、正の時間オフセットを有するn^番目のゼロ交差、負の時間オフセットを有するゼロ交差、負の時間オフセットを有するn^番目のゼロ交差、制限されたゼロ交差、勾配のゼロ交差、高次の導関数の勾配のゼロ交差、及び/またはその他の特性、を含みうる。関数の少なくとも1つの特性に関連する関数の少なくとも1つの引数が、識別され得る。ある量(例えば、オブジェクトの空間的-時間的情報)は、関数の少なくとも1つの引数に基づいて決定され得る。
特性(例えば場所におけるオブジェクトの動き特性)は、瞬時特性、短期特性、反復特性、繰返し特性、履歴、増分特性、変化特性、偏差特性、位相、振幅、度合い、時間特性、周波数特性、時間周波数特性、分解特性、直交分解特性、非直交分解特性、決定論的特性、確率特性、推計学的な特性、自己相関関数(ACF)、平均、分散値、標準偏差、変化の尺度、広がり、ばらつき、偏差、ダイバージェンス、範囲、四分位数範囲、全変動、絶対偏差、全偏差、統計、持続時間、時期、トレンド、周期特性、反復特性、長期特性、履歴特性、平均特性、最新特性、過去特性、将来特性、予測特性、位置、距離、高さ、速度、方向、ベロシティ、加速度、加速度の変化、角度、角速度(angular speed)、角速度(angular velocity)角速度の変化、オブジェクトの 角加速度、角加速度の変化、オブジェクトの方向、回転の角度、オブジェクトの変形、オブジェクトの形状、オブジェクトの形状の変化、オブジェクトの大きさの変化、オブジェクトの構造の変化、及び/またはオブジェクトの特性の変化、のうちの少なくとも1つを含む。
関数の少なくとも1つの極大値及び少なくとも1つの極小値が識別され得る。少なくとも1つの局所信号対雑音比類似(SNR類似)パラメータは、隣接する極大値及び極小値の各対に対して計算されてもよい。SNR類似パラメータは、極小値の同じ量にわたる極大値の量(例えば、電力、大きさ)の分数(fraction)の関数(例えば、線形、対数、指数関数、単調関数)であり得る。それはまた、極大値の量と極小値の同じ量との間の差の関数であり得る。有意な局所ピークを識別または選択することができる。各有意な局所ピークは、閾値T1より大きいSNR類似パラメータを有する極大、及び/または閾値T2より大きい振幅を有する極大であり得る。周波数領域内の少なくとも1つの極小値及び少なくとも1つの極小値は、持続性に基づくアプローチを使用して識別/計算され得る。
選択された有意な局所的ピークのセットは、選択基準(例えば、品質基準、信号品質状態)に基づいて、識別された有意な局所的ピークのセットから選択され得る。オブジェクトの特性/STIは、選択された有意な局所的ピークのセット及び選択された有意な局所的ピークのセットに関連する頻度値(frequency values)に基づいて計算され得る。1つの例において、選択基準は、範囲内の最も強いピークを選択することに常に対応し得る。最も強いピークが選択されてもよいが、選択されていないピークは、依然として有意であり得る(むしろ強い)。
未選択の有意なピークは、将来のスライディングタイムウィンドウにおける将来の選択において使用するための「予約」ピークとして保存及び/または監視され得る。一例として、経時的に一貫して現れる特定のピーク(特定の周波数における)が存在し得る。最初は、有意であっても選択されない場合がある(他のピークがより強くなる可能性があるため)。しかし、後の時間には、ピークがより強く、より支配的になり、選択され得る。「選択」となった場合は、時間的に逆トレースされ、有意であるが選択されていない早い時期に「選択」されたとすることができる。このような場合、逆トレースされたピークは、早い時期に、以前に選択されたピークを置き換えることができる。置換されたピークは、比較的弱いピーク、または時間的に分離して現れる(すなわち、時間的に短時間のみ現れる)ピークであり得る。
その他の例では、選択基準は、範囲内の最も強いピークを選択することに対応しない場合がある。その代わりに、ピークの「強さ」だけでなく、過去に起こった可能性のあるピーク、特に長い間識別されたピークの「トレース」を考慮してもよい。
例えば、有限状態機械(FSM)が使用される場合、それは、FSMの状態に基づいてピークを選択し得る。判定閾値は、FSMの状態に基づいて適応的に(及び/または動的に)計算され得る。
類似性スコア及び/または成分類似性スコアは、TSCIの一対の時間的に隣接するCIに基づいて(例えば、サーバ(例えば、ハブ装置)、プロセッサ、タイプ1デバイス、タイプ2デバイス、ローカルサーバ、クラウドサーバ、及び/または別の装置によって)計算され得る。対は、同じスライディングウィンドウまたは2つの異なるスライディングウィンドウから得られ得る。類似性スコアはまた、二つの異なるTSCIからの一対の、時間的に隣接しているか、それほど隣接していない、CIに基づいてもよい。類似性スコア及び/または成分類似性スコアは、時間反転共鳴強度(time reversal resonating strength(TRRS))、相関、相互相関、自己相関、相関インジケータ、共分散、相互共分散、自己共分散、2つのベクトルの内積、距離スコア、ノルム、メトリック、品質メトリック、信号品質条件、統計特性、識別スコア、ニューラルネットワーク、ディープラーニングネットワーク、機械学習、トレーニング、識別、加重平均、前処理、雑音除去、信号調整、フィルタリング、時間補正、時間調整、位相オフセット補償、変換、成分ごとの操作、特徴抽出、有限状態機械、及び/または別のスコア、でありうる/含み得る。特性及び/またはSTIは、類似性スコアに基づいて判定され/計算され得る。
任意の閾値は、有限状態機械によって予め判定され、適応的に(及び/または動的に)判定され、及び/または判定され得る。適応的判定は、時間、空間、位置、アンテナ、経路、リンク、状態、バッテリ寿命、バッテリ残量、利用可能電力、利用可能な計算資源、利用可能なネットワーク帯域幅などに基づいてもよい。
2つのイベント(または2つの条件、または2つの状況、または2つの状態)、A及びBを区別するために試験統計に適用される閾値は、判定され得る。データ(例えば、CI、チャネル状態情報(CSI)、電力パラメータ)は、トレーニングの場面においてAの下及び/またはBの下で収集され得る。試験的統計値は、データに基づいて計算することができる。Aの下の試験的統計値の分布は、Bの下の試験的統計値の分布(リファレンス分布)と比較することができ、閾値は、いくつかの基準に従って選択することができる。判定基準は、最尤推定(ML)、最大事後確率(MAP)、識別トレーニング、所与のタイプ2誤差についての最小タイプ1誤差、所与のタイプ1誤差についての最小タイプ2誤差、及び/または他の判定基準(例えば、品質基準、信号品質条件)を含み得る。閾値は、A、B、及び/または別のイベント/条件/場面/状態に対する異なる感度を達成するように調整され得る。閾値調整は、自動、半自動及び/または手動であってもよい。閾値調整は、1回、時には、しばしば、周期的に、繰り返し、時折、散発的に、及び/またはオンデマンドで適用され得る。閾値調整は、適応的(及び/または動的に調整され得る)であり得る。閾値調整は、オブジェクト、オブジェクト移動/位置/方向/動作、オブジェクト特性/ STI/サイズ/特性/形質/習慣/挙動、場所、場所における/場所での/場所の、特徴/備品/家具/バリア/材料/機械/生物/物体/オブジェクト/境界/表面/媒体、マップ、マップの制約(または環境モデル)、イベント/状態/場面/条件、時間、タイミング、持続時間、現在の状態、過去の履歴、ユーザ、及び/または個人的な好みなどに依存し得る。
反復アルゴリズムの停止基準(またはスキップまたはバイパスまたはブロッキングまたは一時停止または通過または拒否する基準)は、反復における更新における現在のパラメータ(例えば、オフセット値)の変化が閾値未満であることであり得る。閾値は、0.5、1、1.5、2、または別の数であり得る。閾値は、適応的(及び/または動的に調整される)であり得る。それは、反復が進行するにつれて変化し得る。オフセット値に関して、適応的閾値は、タスク、初回の特定の値、現在の時間オフセット値、回帰ウィンドウ、回帰分析、回帰関数、回帰誤差、回帰関数の凸性、及び/または反復数に基づいて判定され得る。
局所極値は、回帰ウィンドウにおける回帰関数の対応する極値として決定され得る。局所極値は、回帰ウィンドウ内の時間オフセット値のセット及び関連する回帰関数値のセットに基づいて決定され得る。時間オフセット値のセットに関連する関連する回帰関数値のセットの各々は、回帰ウィンドウにおける回帰関数の対応する極値からの範囲内であり得る。
局所極値の探索は、ロバスト探索、最小化、最適化、最適化、統計的最適化、双対最適化、制約最適化、凸最適化、大域最適化、局所最適化、エネルギー最小化、線形回帰、二次回帰、高次回帰、線形計画法、非線形計画法、確率的プログラミング、コンビナトリアル最適化、制約プログラミング、制約充足、バリエーションの計算、最適制御、動的計画法、数理計画法、多目的最適化、マルチモーダル最適化、選言的プログラミング、空間マッピング、無限次元最適化、ヒューリスティク、メタヒューリスティク、凸計画法、半正定値計画問題、円錐計画法、二次錐計画問題、整数計画法、二次計画法、フラクショナルプログラミング、数値解析、シンプレックスアルゴリズム、反復法、勾配降下、部分勾配法、座標勾配法、共役勾配法、ニュートンのアルゴリズム、逐次二次計画法、内点法、楕円法、縮小勾配法、準ニュートン法、同時摂動確率近似、補間法、パターン探索法、線探索、非微分最適化、遺伝的アルゴリズム、進化的アルゴリズム、動的緩和 山登り法、粒子群最適化、重力探索アルゴリズム、シミュレーテッドアニーリング、ミームティック(memetic)アルゴリズム、差分進化、動的緩和、確率的トンネリング、タブ探索、反応探索最適化、曲線あてはめ、最小二乗、シミュレーションベース最適化、変分計算、及び/または変形、を含みうる。局所的極値の検索は、目的関数、損失関数、コスト関数、効用関数、フィットネス関数、エネルギー関数、及び/またはエネルギー関数に関連しうる。
回帰は、回帰ウィンドウにおいて、サンプリングされたデータ(例えば、CI、CIの特徴、CIの成分)または別の関数(例えば、自己相関関数)に適合させるために、回帰関数を使用して実施され得る。少なくとも1つの反復において、回帰ウィンドウの長さ及び/または回帰ウィンドウの位置が変化し得る。回帰関数は、線形関数、二次関数、三次関数、多項式関数、及び/又は別の関数であり得る。
回帰分析は、誤差、集計誤差、成分誤差、射影領域における誤差、選択された軸における誤差、選択された直交軸における誤差、絶対誤差、二乗誤差、絶対偏差、二乗偏差、高次誤差(例えば、三次、四次)、ロバスト誤差(例えば、より小さい大きさの誤差のため及びより大きい誤差のための絶対誤差に対する二乗誤差、またはより小さい大きさの誤差のための第1の種類の誤差及びより大きい大きさの誤差のための第2の種類の誤差)、別の誤差、絶対/二乗誤差の加重和(または加重平均)(例えば、複数のアンテナを有する無線送信機及び複数のアンテナを有する無線受信機の場合、送信機アンテナ及び受信機アンテナの各対はリンクを形成する)、平均絶対誤差、平均二乗誤差、平均絶対偏差、及び/または平均二乗偏差、のうちの少なくとも1つを最小化し得る。異なるリンクに関連する誤差は、異なる重みを有し得る。1つの可能性は、いくつかのリンク及び/またはより大きな雑音またはより低い信号品質メトリックを有するいくつかの構成要素が、より小さいまたはより大きな重みを有し得ることである。(二乗誤差の加重和、高次誤差の加重和、ロバスト誤差の加重和、別の誤差の加重和、絶対コスト、二乗コスト、高次コスト、ロバストコスト、別のコスト、絶対コストの加重和、二乗コストの加重和、高次コストの加重和、ロバストコストの加重和、及び/または別のコストの加重和)。
判定される回帰誤差は、絶対誤差、二乗誤差、高次誤差、ロバスト誤差、さらに別の誤差、絶対誤差の加重和、二乗誤差の加重和、高次誤差の加重和、ロバスト誤差の加重和、及び/またはさらに別の誤差の加重和であり得る。
回帰ウィンドウ内の特定の関数に関する回帰関数の最大回帰誤差(または最小回帰誤差)に関連する時間オフセットは、反復における更新された現在の時間オフセットとなり得る。
局所極値は、2つの異なる誤差の差(例えば、絶対誤差と二乗誤差との間の差)を含む量に基づいて検索することができる。2つの異なる誤差の各々は、絶対誤差、二乗誤差、高次誤差、ロバスト誤差、別の誤差、絶対誤差の加重和、二乗誤差の加重和、高次誤差の加重和、ロバスト誤差の加重和、及び/または別の誤差の加重和を含み得る。
量は、F-分布、中心F-分布、別の統計的分布、閾値、確率/ヒストグラムに関連する閾値、偽ピークを発見する確率/ヒストグラムに関連する閾値、F-分布に関連する閾値、中心F-分布に関連する閾値、及び/または別の統計的分布に関連する閾値などの参照データまたは参照分布と比較され得る。
回帰ウィンドウ(regression window)は、オブジェクトの移動(例えば、場所/位置の変化)、オブジェクトに関連する量、オブジェクトの移動に関連するオブジェクトの少なくとも1つの特性及び/またはSTI、局所的極値の推定位置、雑音特性、推定雑音特性、信号品質メトリック、F分布、中心F分布、別の統計的分布、閾値、事前設定しきい値、確率/ヒストグラムに関連する閾値、所望の確率に関連する閾値、誤ったピークを発見する確率に関連する閾値、F分布に関連する閾値、中心F分布に関連する閾値、別の統計的分布に関連する閾値、ウィンドウ中心におけるその量が回帰ウィンドウ内で最大である条件、回帰ウィンドウ内で初めて特定の値についての特定の関数の局所的極値のうちの1つのみが存在する条件、別の回帰ウィンドウ、及び/または他の条件、うちの少なくとも1つに基づいて判定されうる。
回帰ウィンドウの幅は、検索される特定の局所極値に基づいて判定され得る。局所的極値は、第1の局所最大、第2の局所最大、高次の局所最大、正の時間オフセットを有する第1の局所最大、正の時間オフセット値を有する第2の局所最大、正の時間オフセット値を有する高次の局所最大、負の時間オフセット値を有する第1の局所最大、負の時間オフセット値を有する第2の局所最大、負の時間オフセット値を有する第2の局所最大、負の時間オフセット値を有する高次の局所最大、第1の局所最小、第2の局所最小、高次の局所的最小、正の時間オフセット値を有する第1の局所最小、正の時間オフセット値を有する第2の局所最小、正の時間オフセット値を有する高次の局所最小、負の時間オフセット値を有する第1の局所最小、負の時間オフセット値を有する第2の局所最小、負の時間オフセット値を有する高次の局所最小、第1の局所的極値、第2の局所的極値、高次の局所極値、正の時間オフセット値を有する第1の局所極値、正の時間オフセット値を有する第2の局所極値、負の時間オフセット値を有する第1の局所極値、負の時間オフセット値を有する第2の局所極値、負及び/または 負の時間オフセット値を有する高次の極値、を含みうる。
現在のパラメータ(例えば、時間オフセット値)は、ターゲット値、対象プロファイル、トレンド、過去のトレンド、現在のトレンド、目標速度、速度プロファイル、目標速度プロファイル、過去の速度トレンド、オブジェクトの運動または移動(例えば、場所/位置の変化)、オブジェクトの動きに関連するオブジェクトの少なくとも1つの特性及び/またはSTI、オブジェクトの位置量、オブジェクトの動きに関連するオブジェクトの初期速度、事前定義された値、回帰ウィンドウの初期幅、持続時間、信号の搬送波周波数に基づく値、信号のサブ搬送波周波数に基づく値、信号の帯域幅、チャネルに関連するアンテナの総計、雑音特性、信号 h メトリック、及び/または適応(及び/または動的に調整された)値に基づいて初期化され得る。現在の時間オフセットは、回帰ウィンドウの中心、左側、右側、及び/または別の固定相対位置にあってもよい。
プレゼンテーションでは、情報は、場所の地図(または環境モデル)と共に表示され得る。情報は、位置、ゾーン、領域、領域、カバレッジ領域、補正された位置、おおよその位置、場所の地図に関する(w.r.t.)位置、分割された場所に関する位置、方向、経路、マップ及び/またはセグメンテーションに関する経路、トレース(例えば、過去5秒、または過去10秒などのタイムウィンドウ内の位置、タイムウィンドウ持続時間を適応的に(及び/または動的に)調整することができ、タイムウィンドウ持続時間は、適応的に(及び/または動的に)速度、加速度に関して調整されうる)、経路の履歴、経路に沿った近似領域/ゾーン、過去の位置の履歴/概要、過去の関心位置の履歴、頻繁に訪れた領域、顧客トラフィック、群れの布、群れの挙動、群れの制御情報、速度、加速度、運動統計、呼吸速度、心拍数、運動の存在/不在、人またはペットまたはオブジェクトの有無、バイタルサインの有無、ジェスチャ制御(ジェスチャを用いた装置の制御)、位置ベースのジェスチャ制御、位置ベースの操作の情報、関心のあるオブジェクト(例えば、ペット、人、自己ガイド式機械/デバイス、車両、ドローン、カー、ボート、自転車、無人車、ファン付き機械、空調機、TV、可動部を備えた機械)のアイデンティティ(ID)または識別子、ユーザの識別(例えば、人)、ユーザの情報、位置/速度/加速/方向/動き/ジェスチャ/ジェスチャ制御/動きトレース、ユーザのIDまたは識別子、ユーザの活動、ユーザの状態、ユーザの睡眠/休息特性、ユーザの感情状態、ユーザの生命サイン、場所の環境情報、場所の天気情報、地震、爆発、暴風雨、雨、火災、温度、衝突、衝撃、振動、イベント、ドア開けイベント、ドア閉めイベント、窓開けイベント、ウィンドウ閉めイベント、転倒イベント、燃焼イベント、凍結イベント、水関連イベント、風関連イベント、空気移動イベント、事故イベント、擬似周期的イベント(例えば、トレッドミル上での走行、ピョンピョン跳ねる、縄跳び、でんぐり返しなど)、繰り返しイベント、群れるイベント、車両イベント、ユーザのジェスチャ(例えば、手ジェスチャ、アームジェスチャ、足ジェスチャ、足ジェスチャ、身体ジェスチャ、頭部ジェスチャ、顔ジェスチャ、口のジェスチャ、目のジェスチャなど)、を含みうる。
位置は、2次元(例えば、2次元座標を用いて)、3次元(例えば、3次元座標を用いて)であり得る。位置は、相対的(例えば、地図または環境モデルに関して)または関係的(例えば、点Aと点Bとの間の中間、角の周り、上の階、テーブルの上、天井、床上、ソファ上、点Aに近い、点Aからの距離R、点AからのRの半径内など)であり得る。位置は、直交座標、極座標、及び/または別の表現で表現され得る。
情報(例えば、場所)は、少なくとも1つのシンボルでマークされ得る。シンボルは、時間変化してもよい。シンボルは、色/強度を変化させても変化させなくても点滅及び/または脈動してもよい。サイズは、経時的に変化し得る。シンボルの向きは、経時的に変化し得る。シンボルは、瞬時量(例えば、ユーザのバイタルサイン/呼吸数/心拍数/ジェスチャ/状況/状態/動作/動き、温度、ネットワークトラフィック、ネットワーク接続性、デバイス/機械の状態、デバイスの残り電力、デバイスの状態など)を反映する数であってもよい。変化速度、サイズ、配向、色、強度及び/またはシンボルは、それぞれの運動を反映し得る。情報は、視覚的に提示され、及び/または口頭で説明され得る(例えば、事前に記録された音声、または音声合成を使用して)。情報は、テキストで記述することができる。情報はまた、機械的な方法(例えば、アニメーション化されたガジェット、可動部分の動き)で提示され得る。
ユーザインターフェース(UI)デバイスは、スマートフォン(例えば、iPhone、Android phone)、タブレット(例えば、iPad)、ラップトップ(例えば、ノートパソコン)、パーソナルコンピュータ(PC)、グラフィックユーザインターフェース(GUI)を有するデバイス、スマートスピーカ、音声/音/スピーカ能力を有する装置、仮想リアリティ(VR)装置、拡張リアリティ(AR)装置、スマートカー、車内ディスプレイ、音声アシスタント、車内音声アシスタントなどであり得る。
地図(または環境モデル)は、2次元、3次元及び/またはより高次元であってもよい。(例えば、時間的に変化する2次元/3次元マップ/環境モデル)、壁、ウィンドウ、ドア、入口、出口、禁止区域は、地図またはモデルにマークされることがある。地図は、施設のフロアプランを含むことができる。マップまたはモデルは、1つまたは複数のレイヤー(オーバーレイ)を有することができる。地図/モデルは、水道管、ガス管、配線、ケーブル配線、エアダクト、クロールスペース、天井レイアウト、及び/または地下レイアウトを含むメンテナンス地図/モデルとすることができる。場所は、ベッドルーム、リビングルーム、貯蔵室、歩行路、台所、食堂、ホワイエ、ガレージ、1階、2階、トイレ、事務所、会議室、受付エリア、各種事務所エリア、各種倉庫エリア、各種施設エリアなどのような、複数のゾーン/領域/地理的領域/セクタ/セクション/テリトリー/地区/行政上の区域/現場/近隣/エリア/ストレッチ(stretch)/広々した場所に区分/細分化/領域化/グループ化することができる。セグメント/領域/区域は、マップ/モデルで提示することができる。異なる領域は、色分けされてもよい。異なる領域は、特性(例えば、色、明るさ、色強度、テクスチャ、アニメーション、点滅、点滅速度など)をもって提示されてもよい。場所の論理的セグメンテーションは、少なくとも1つの異種タイプ2デバイス、またはサーバ(例えば、ハブ装置)、またはクラウドサーバなどを使用して行うことができる。
ここでは、開示されるシステム、装置、及び方法の一例である。ステファンと彼の家族は、開示された無線動き検出システムを設置して、ワシントン州シアトルの2000平方フィートの2階建てタウンハウス内での動きを検出したいと考えている。彼の家は二階建てであるので、ステファンは1つのタイプ2デバイス(Aという名前のもの)と2つのタイプ1デバイス(BとCという名のもの)を1階に使うことにした。1階は台所、食堂、居間の3部屋を中心に、食堂は真ん中に、直線に並んで配置されている。台所と居間は家の反対側にある。彼は、タイプ2デバイス(A)を食堂に置き、1台のタイプ1デバイス(B)を台所に置き、もう1台のタイプ1デバイス(C)を居室に置いた。この装置の設置に伴い、動き検知システムを用いて、彼は具体的には1階を3区域(食堂、居室、台所)に区画化している。動きがAB対及びAC対によって検出される場合、システムは、動き情報を分析し、動きを3つのゾーンのうちの1つに関連付ける。
ステファンと彼の家族が週末に外出するとき(例えば、長い週末にキャンプに行くとき)、ステファンは携帯電話アプリ(例:AndroidフォンアプリやiPhoneアプリ)を使って動き検出システムをオンにした。システムが動きを検出すると、警告信号がステファンへ送信される(例えば、SMSテキストメッセージ、電子メール、携帯電話アプリへのプッシュメッセージなど)。ステファンが月々の料金(例えば、10ドル/月)を払う場合、サービス会社(例えば、セキュリティ会社)は、有線ネットワーク(例えば、ブロードバンド)または無線ネットワーク(例えば、家庭用WiFi、LTE、3G、2.5Gなど)を通して警告信号を受信し、ステファンのためのセキュリティ手順を実行する(例えば、問題を確認させるために彼に電話し、ある人に家をチェックするために送り、ステファンに代わって警察に連絡する、など)。ステファンは彼の年をとった母親が大好きで、家に一人でいるときは彼女の幸せを気にかけている。家族の残りが外出中(例えば、仕事に行く、ショッピングに行く、または休みに行く)に母親が家に一人でいる場合、ステファンは、母親が大丈夫でいることを確実にするために、彼のモバイルアプリを使用して動き検出システムをオンにする。その後、彼はモバイルアプリを使って、家の中での母親の動きをモニタリングする。ステファンがモバイルアプリを使って、母親が3つの領域の間で家の中を動き回っているのを見ると、彼女の日々のルーチンによれば、ステファンは母親が大丈夫であることを知っている。ステファンは、動き検出システムが、彼が家から離れている間、彼の母親の幸福を監視するのを助けることができることに感謝している。
典型的な日には、母親は午前7時頃に目覚める。彼女は約20分間で台所で朝食を作るつもりだった。それから食堂で朝食を30分くらい食べた。それから、居間のソファーに座って、自分の好きなテレビ番組を見る前に、リビングルームで毎日の運動をしていた。動き検出システムは、ステファンが家の3つの領域のそれぞれにおける動きのタイミングを見ることを可能にする。動きが毎日のルーチンに合致するとき、ステファンは母親が上手くやっているはずであることを大まかに知っている。しかし、運動パターンが異常に見えると(例えば、AM10時まで運動がないか、長く台所に滞在しすぎるか、長く動かないままであるか、など)、ステファンは何かが違っていると疑い、母親をチェックするために母親に電話をする。ステファンは、誰か(例えば、家族、近所の人、有給の職員、友人、ソーシャルワーカー、サービス提供者)に母親を確認してもらうことさえある。
時には、ステファンはタイプ2デバイスの位置を変えるように感じる。彼は、単に装置を元のAC電源プラグから抜き、別のAC電源プラグに差し込むだけである。彼は、無線動き検出システムがプラグアンドプレイであり、再配置がシステムの動作に影響しないことを満足している。電源を入れると、すぐに機能する。
またの機会には、ステファンは、われわれの無線動き検出システムが、非常に高い精度と非常に低い警報で運動を実際に検出できることを確信しており、実際にモバイルアプリを使用して、1階の運動を監視することができる。彼は、2階の寝室を監視するために、2階に同様の構成(すなわち、1つのタイプ2デバイス及び2つのタイプ1デバイス)を設置することを決定する。再び、彼は、タイプ2デバイス及びタイプ1デバイスを2階のAC電源プラグに単に差し込む必要があるので、システムセットアップが極めて容易であることを発見した。特別な設置は必要ない。そして、同じモバイルアプリを使用して、1階と2階の動きを監視することができる。1階/2階の各タイプ2デバイスは、1階と2階の両方のタイプ1デバイスすべてと相互に作用することができる。ステファンは、タイプ1デバイス及びタイプ2デバイスへの投資を2倍にするにつれて、組み合わされたシステムの2倍以上の能力を有することを見て幸せである。
様々な実施形態によれば、各CI(CI)は、チャネル状態情報(CSI)、周波数ドメインCSI、CSIの周波数表現、少なくとも1つのサブバンドに関連する周波数ドメインCSI、時間領域CSI、ドメイン内CSI、チャネル応答、チャネル応答推定、チャネルインパルス応答(CIR)、チャネル周波数応答(CFR)、チャネル特性、チャネルフィルタ応答、無線マルチパスチャネルのCSI、無線マルチパスチャネルの情報、タイムスタンプ、補助情報、データ、メタデータ、ユーザデータ、アカウントデータ、アクセスデータ、セキュリティデータ、セッションデータ、ステータスデータ、管理データ、家族データ、アイデンティティ(ID)、識別子、デバイスデータ、ネットワークデータ、近傍データ、環境データ、リアルタイムデータ、センサデータ、記憶データ、暗号化データ、圧縮データ、保護データ、及び/または別のCIのうちの少なくとも1つを含み得る。一実施形態では、開示されるシステムは、ハードウェア構成要素(例えば、アンテナを備えた無線送信機/受信機、アナログ回路、電源、プロセッサ、メモリ)及び対応するソフトウェア構成要素を有する。本開示の様々な実施形態によれば、開示されるシステムは、バイタルサイン検出及びモニタリングのためのBot(タイプ1デバイスと呼ばれる)及びオリジン(Origin)(タイプ2デバイスと呼ばれる)を含む。各デバイスは、トランシーバと、プロセッサと、メモリとを備える。
開示されたシステムは、多くの場合に適用することができる。一例では、タイプ1デバイス(送信機)は、テーブル上に載置される小さなWiFi対応装置であってもよい。また、WiFi対応テレビ(TV)、セットトップボックス(STB)、スマートスピーカ(例えば、Amazonエコー)、スマート冷蔵庫、スマート電子レンジ、メッシュネットワークルータ、メッシュネットワークサテライト、スマートフォン、コンピュータ、タブレット、スマートプラグなどであってもよい。一例では、タイプ2(受信機)は、テーブル上に置かれるWiFi対応デバイスであってもよい。また、WiFi対応テレビ(TV)、セットトップボックス(STB)、スマートスピーカ(例えば、Amazonエコー)、スマート冷蔵庫、スマート電子レンジ、メッシュネットワークルータ、メッシュネットワークサテライト、スマートフォン、コンピュータ、タブレット、スマートプラグなどであってもよい。タイプ1デバイス及びタイプ2デバイスは、人々を数えるために、会議室の中/近くに配置され得る。タイプ1デバイス及びタイプ2デバイスは、日常活動及び症状の任意の徴候(例えば、認知症、アルツハイマー病)を監視するための高齢者についての健康監視システムであり得る。タイプ1デバイス及びタイプ2デバイスは、生きている幼児のバイタルサイン(呼吸)を監視するための幼児モニタにおいて使用され得る。タイプ1デバイス及びタイプ2デバイスは、睡眠の質及び任意の睡眠時無呼吸を監視するために、寝室に配置され得る。タイプ1デバイス及びタイプ2デバイスは、乗客及び運転手の健康を監視し、運転手の睡眠を検出し、自動車内に残されたすべての赤ちゃんを検出するために、自動車内に配置され得る。タイプ1デバイス及びタイプ2デバイスは、トラック及びコンテナに隠された人間を監視することによって、人身売買を防止するために、物流において使用され得る。タイプ1デバイス及びタイプ2デバイスは、がれきの中の捕われたた被害者を探索するために、災害地域の救急サービスによって配備され得る。タイプ1デバイス及びタイプ2デバイスは、任意の侵入者の呼吸を検出するために、ある領域に配置され得る。装着型ではない無線呼吸モニタリングには、多数のアプリケーションがある。
ハードウェアモジュールは、タイプ1トランシーバ及び/またはタイプ2トランシーバを含むように構成されてもよい。ハードウェアモジュールは、最終的な市販品を設計、構築、及び販売するために、バリアブルブランドで販売/使用され得る。開示されたシステム及び/または方法を使用する製品は、家庭/事務セキュリティ製品、睡眠監視製品、WiFi製品、メッシュ製品、TV、STB、エンターテイメントシステム、HiFi,スピーカ、家電製品、ランプ、ストーブ、オーブン、電子レンジ、テーブル、椅子、ベッド、棚、工具、器具、トーチ、バキュームクリーナー、煙検知器、ソファ、ピアノ、ファン、ドア、ウィンドウ、ドア/ウィンドウハンドル、ロック、煙検出装置群、カーアクセサリ、コンピューティングデバイス、事務用品、エアコン、ヒータ、パイプ、コネクタ、監視カメラ、アクセスポイント、コンピュータ装置群、モバイル装置、LTE装置、3G/4G/5G/6Gデバイス、UMTSデバイス、3GPP装置、GSM装置、EDGE装置、TDMA装置、FDMA装置、CDMA装置、WCDMA装置、TD-SCDMA装置、ゲーム装置、めがね、ガラスパネル、VRゴーグル、ネックレス、腕時計、ウェストバンド、ベルト、ウォレット、ペン、ハット、衣服、インプラント用具、タグ、パーキングチケット、スマートフォン、等、でありうる。
要約は、以下を含むことができる:分析、出力応答、選択したタイムウィンドウ、サブサンプリング、変換、及び/または射影。プレゼンテーションは、月/週/日毎のビュー、簡略化/詳細のビュー、断面ビュー、小型/大型フォームファクタビュー、色分けビュー、比較ビュー、要約ビュー、動画、ウェブビュー、音声アナウンス、及び繰り返し動きの周期的/反復特性に関連する別のプレゼンテーション、のうちの少なくとも1つを提示することを含み得る。
タイプ1/タイプ2デバイスは、アンテナ、アンテナを有するデバイス、筐体を有するデバイス(例えば、無線機、アンテナ、データ/信号処理ユニット、無線IC、回路のための)、別のデバイス/システム/コンピュータ/電話/ネットワーク/データアグリゲータにインターフェース/付属/接続/リンクされるデバイス、ユーザインターフェース(UI)/グラフィカルUI/ディスプレイを有するデバイス、無線送受信機を有するデバイス、無線送信機を有するデバイス、無線受信機を有するデバイス、インターネットオブスイング(IoT)デバイス、無線ネットワークを有するデバイス、有線ネットワーク機能及び無線ネットワーク機能の両方を有するデバイス、無線集積回路(IC)を有するデバイス、Wi-Fiデバイス、Wi-Fiチップを有するデバイス(例えば、802.11a/b/g/n/ac/ax規格に準拠する)、Wi-Fiアクセスポイント(AP)、Wi-Fiクライアント、WiFiルータ、 Wi-Fiリピータ、WiFiハブ、WiFiメッシュネットワークルータ/ハブ/AP、無線メッシュネットワークルータ、アドホックネットワークデバイス、無線メッシュネットワークデバイス、モバイルデバイス(例えば、2G/2.5G/3G/3.5G/4G/LTE/5G/6G/7G、UMTS、3GPP、GSM、EDGE、TDMA、FDMA、CDMA、WCDMA、TD-SCDMA)、セルラーデバイス、基地局、モバイルネットワーク基地局、モバイルネットワークハブ、モバイルネットワーク互換デバイス、LTEデバイス、LTEモジュールを有するデバイス、モバイルモジュール(例えば、Wi-Fiチップ、LTEチップ、BLEチップ、のようなモバイルイネーブルチップ(IC)を有する回路基板)、モバイルモジュールを有するデバイス、スマートフォン、スマートフォン用のコンパニオンデバイス(例えばドングル、アタッチメント、プラグイン)専用デバイス、プラグインデバイス、AC電源方式デバイス、バッテリ電源方式デバイス、プロセッサ/メモリ/命令のセットを有するデバイス、スマートデバイス/ガジェット/アイテム:時計、ステーショナリ、ペン、ユーザインターフェース、紙、マット、カメラ、テレビ(TV)、セットトップボックス、マイクロホン、スピーカ、冷蔵庫、オーブン、マシン、電話、財布、家具、ドア、ウィンドウ、天井、床、壁、テーブル、椅子、ベッド、ナイトスタンド、エアコンディショナー、ヒータ、パイプ、ダクト、ケーブル、カーペット、装飾、ガジェット、USBデバイス、プラグ、ドングル、ランプ/ライト、タイル、装飾品、ボトル、車両、自動車、AGV、ドローン、ロボット、ラップトップ、タブレット、コンピュータ、ハードディスク、ネットワークカード、機器、ラケット、ボール、靴、着用可能装置、衣類、眼鏡、帽子、ネックレス、食品、錠剤、生き物の体内(例えば、血管、リンパ液、消化システム)で移動する小型デバイス、及び/又は別のデバイスでありうる。タイプ1デバイス及び/またはタイプ2デバイスは、インターネット、インターネットにアクセスする別の装置(例えば、スマートフォン)、クラウドサーバ(例えば、ハブ装置)、エッジサーバ、ローカルサーバ、及び/またはストレージと通信可能に結合され得る。タイプ1デバイス及び/またはタイプ2デバイスは、ローカル制御で動作してもよく、有線/無線接続を介して別の装置によって制御されてもよく、自動的に動作してもよく、またはリモート(例えば、家から離れた)にある中央システムによって制御されてもよい。
一実施形態において、タイプBデバイスは、オリジン(タイプ2デバイス、Rxデバイス)及びボット(タイプ1デバイス、Txデバイス)の双方として実行してもよい送受信機であってもよく、すなわち、タイプBデバイスはタイプ1(Tx)デバイス及びタイプ2(Rx)デバイスの双方であってもよく(例えば、同時に又は交互に)、例えばメッシュデバイス、メッシュルータ等であってもよい。一実施形態において、タイプAデバイスは、ボット(Txデバイス)としてのみ機能してもよい送受信機であってもよく、すなわち、タイプ1デバイスのみ又はTxのみであってもよく、例えば単純なIoTデバイスであってもよい。これはオリジン(タイプ2デバイス、Rxデバイス)の機能を有してもよいが、実施形態においては何らかの形でボットとしてのみ機能している。全てのタイプAデバイス及びタイプBデバイスは、ツリー構造を形成する。ルート(root)は、ネットワーク(例えば、インターネット)にアクセスできるタイプBデバイスであってもよい。例えば、これは有線接続(例えば、イーサネット、ケーブルモデム、ADSL/HDSLモデム)接続又は無線接続(例えば、LTE、3G/4G/5G、WiFi、Bluetooth、マイクロ波リンク、衛星リンク等)を介してブロードバンドサービスに接続されてもよい。一実施形態において、全てのタイプAデバイスはリーフノードである。各タイプBデバイスはルートノード、非リーフノード又はリーフノードであってもよい。
タイプ1デバイス(送信機、またはTx)およびタイプ2デバイス(受信機、またはRx)は同じデバイス(例えば、RFチップ/IC)上にあってもよく、または単に同じデバイス上にあってもよい。デバイスは、28GHz、60GHz、77GHzなどの高周波帯域で動作することができる。RFチップには、専用のTxアンテナ(32本のアンテナなど)と専用のRxアンテナ(別の32本のアンテナなど)がある場合がある。
1つのTxアンテナは無線信号(例えば、一連のプローブ信号、恐らく100Hzで)を送信することができる。代替的に、全てのTxアンテナを使用して、(Txにおいて)ビームフォーミングで無線信号を送信することができ、その結果、無線信号は特定の方向にフォーカスされる(例えば、エネルギー効率のために、またはその方向における信号対雑音比をブーストするために、またはその方向に「走査」する場合は低電力動作、またはオブジェクトがその方向にあることが知られている場合は低電力動作)。
無線信号は場所(例えば、部屋)内でオブジェクト(例えば、Tx/Rxアンテナから4フィート離れた寝台上に横たわっている生きている人間、呼吸および心拍)にぶつかる。オブジェクト動き(例えば、呼吸速度に従った肺動、または心拍に従った血管動)は、無線信号に影響を与え/変調し得る。すべてのRxアンテナを使用して無線信号を受信することができる。
(Rxおよび/またはTxにおける)ビームフォーミングは異なる方向を「走査」するために(デジタル的に)適用されてもよい。多くの方向が同時に走査または監視されてもよい。ビームフォーミングとともに、「セクター」(例えば、方向、方向、方位、ベアリング、ゾーン、領域、セグメント)はタイプ2デバイスに関連して(例えば、アンテナ配列の中心位置に対して)定義されてもよい。各プローブ信号(例えば、パルス、ACK、制御パケット等)について、チャネル情報またはCI(例えば、チャネルインパルス応答/CIR、CSI、CFR)が各セクターについて(例えば、RFチップから)取得/計算される。呼吸検知ではCIRをスライディングウインドウ(例えば、30秒、100Hzの鳴動/プロービング速度では30秒以上の3000CIRを有する可能性がある)で収集することができる。
CIRは多くのタップ(例えば、N1個成分/タップ)を有することができる。各タップはタイムラグ、または飛行時間(time-of-fright)(例えば、4フィート離れた人間をヒットしてバックする時間)に関連付けられてもよい。ある距離(例えば、4フィート)である方向に息をしているとき、「ある方向」でCIRを探し、次に、「ある距離」に対応するタップを探すことができる。次に、そのCIRのそのタップから呼吸速度および心拍数を計算することができる。
スライディングウインドウ内のそれぞれのタップ(例えば、「成分時系列」の30秒ウインドウ)を時間関数(例えば、「タップ関数」、「成分時系列」)と見なすことができる。強い周期的挙動(例えば、おそらく10bpm~40bpmの範囲の呼吸に対応する)を探索する際に、各タップ関数を調べることができる。
タイプ1デバイスおよび/またはタイプ2デバイスは、外部接続/リンクおよび/または内部接続/リンクを有することができる。外部接続(例えば、接続1110)は、2G/2.5G/3G/3.5G /4G/LTE/5G/6G/ 7G/ NBIoT、UWB、 WiMax、Zigbee、802.16などに関連付けられ得る。内部接続(たとえば、1114Aおよび1114B、 1116、1118、1120) は、WiFi、IEEE802.11標準、802.11a /b/g/n/ac/ad/af/ag/ah/ai/aj/aq/ax/ay、Bluetooth1.0/1.1/1.2/2.0/2.1 /3.0/4.0/4.1/4.2/5、BLE、メッシュネットワーク、IEEE802.16/1/1a/1b/2/2a/a/ b/c/d/e/f/g/h/i/j/k/l/ m/n/o/p/標準に関連付けることができる。
タイプ1デバイスおよび/またはタイプ2デバイスはバッテリーにより電力を供給される(例えば、AAバッテリー、AAAバッテリー、コインセルバッテリー、ボタンセルバッテリー、小型バッテリー、バッテリーバンク、パワーバンク、カーバッテリー、ハイブリッドバッテリー、車両バッテリー、容器バッテリー、非再充電可能バッテリー、再充電可能バッテリー、NiCdバッテリー、NiMHバッテリー、リチウムイオンバッテリー、亜鉛カーボンバッテリー、塩化亜鉛バッテリー、鉛蓄電池、アルカリバッテリー、無線充電器付きバッテリー、スマートバッテリー、ソーラーバッテリー、ボートバッテリー、プレーンバッテリー、他のバッテリー、一時的なエネルギ貯蔵デバイス、キャパシタ、フライホイール。)
任意のデバイスはDCまたは直流(例えば、上述のような蓄電池、発電機、電力コンバータ、ソーラーパネル、整流器、DC-DCコンバータから、1.2V、1.5V、3V、5V、6V、9V、12V、24V、40V、42V、48V、110V、220V、380Vなどの様々な電圧)で電力供給されてもよく、したがって、DC電力用の少なくとも1つのピンを有するDCコネクタまたはコネクタを有する可能性がある。
任意のデバイスはACまたは交流(例えば、家庭内の壁面コンセント、変圧器、インバータ、ショアパワー、100V、110V、120V、100~127V、200V、220V、230V、240V、220~240V、100~240V、250V、380V、50Hz、60Hzなどの様々な電圧を持つ)によって電力供給されてもよく、したがって、AC電力用の少なくとも1つのピンを有するACコネクタまたはコネクタを有する可能性がある。タイプ1デバイスおよび/またはタイプ2デバイスは場所内または場所外に配置(例えば、設置、配置、移動)されてもよい。
例えば、車両(例えば、自動車、トラック、ローリー、バス、特殊車両、トラクター、掘削機、掘削機、テレポーター、ブルドーザー、クレーン、フォークリフト、電気自動車、AGV、非常用車両、貨物、貨車、トレーラー、コンテナ、ボート、フェリー、船舶、潜水船、航空機、飛行船、リフト、モノレール、列車、電車、鉄道車両、軌道車等)において、タイプ1デバイス及び/又はタイプ2デバイスは車両に埋め込まれた埋め込みデバイス、又は車内のポート(例えば、OBDポート/ソケット、USBポート/ソケット、付属品ポート/ソケット、12V補助電源コンセント、及び/又は12Vシガーライタポート/ソケット)に差し込まれたアドオンデバイス(例えば、アフターマーケットデバイス)であってもよい。
例えば、一方のデバイス(例えば、タイプ2デバイス)は12Vシガレットライター/アクセサリーポートまたはOBDポートまたはUSBポート(例えば、自動車/トラック/車両の)に差し込まれてもよく、他方のデバイス(例えば、タイプ1デバイス)は、12Vシガレットライター/アクセサリーポートまたはOBDポートまたはUSBポートに差し込まれてもよい。OBDポートおよび/またはUSBポートは、(自動車/トラック/車両の)電力、シグナリング、および/またはネットワークを提供することができる。2つのデバイスは、車内の子供/赤ん坊を含む乗客を共同で監視することができる。それらは、乗客をカウントし、運転者を認識し、乗り物内の特定の座席/位置における乗客の存在を検出するために使用されてもよい。
別の実施形態では1つのデバイスが12Vシガレットライター/アクセサリーポートまたはOBDポートまたは自動車/トラック/車両のUSBポートに差し込まれてもよく、一方、他のデバイスは12Vシガレットライター/アクセサリーポートまたはOBDポートまたは別の自動車/トラック/車両のUSBポートに差し込まれてもよい。
別の例では多くの異種車両/ポータブルデバイス/スマートガジェット(例えば、自動誘導車両/AGV、買い物/手荷物/移動カート、駐車券、ゴルフカート、自転車、スマートフォン、タブレット、カメラ、記録デバイス、スマートウオッチ、ローラースケート、シューズ、ジャケット、ゴーグル、帽子、アイウェア、ウェアラブル、セグウェイ、スクータ、手荷物タグ、清掃機、掃除機、ペットタグ/カラー/ウェアラブル/インプラント)に同じタイプA(例えば、タイプ1またはタイプ2)の多くのデバイスが存在し得、それぞれのデバイスは車両の12Vアクセサリポート/OBDポート/USBポートに差し込まれるか、または車両に埋め込まれ得る。ガソリンスタンド、街灯、街角、トンネル、多層式駐車場、工場/スタジアム/駅/ショッピングモール/建設現場のような広い領域を覆うスキャッタロケーションなどの位置に設置された他のタイプBの1つ以上のデバイス(例えば、Aがタイプ2である場合にはBはタイプ1であり、Aがタイプ1である場合にはBはタイプ2である)があってもよい。タイプAデバイスは、TSCIに基づいて配置、追跡、または監視することができる。
エリア/場所は、広帯域サービス、WiFi等のローカル接続性を持たなくてもよい。タイプ1および/またはタイプ2デバイスは、携帯可能であってもよい。タイプ1及び/又はタイプ2デバイスは、プラグアンドプレイをサポートすることができる。
対での(pairwise)無線リンクは、多くのペアのデバイス間に確立され、ツリー構造を形成することができる。それぞれのペア(および関連するリンク)において、デバイス(第2のデバイス)は、非リーフ(non-leaf)(タイプB)であってもよい。他方のデバイス(第1のデバイス)は、リーフ(タイプAまたはタイプB)または非リーフ(タイプB)であってもよい。リンクにおいて、第1のデバイスは無線マルチパスチャネルを介して第2のデバイスに無線信号(例えば、プローブ信号)を送信するためのボット(タイプ1デバイスまたは送信デバイス)として機能する。第2のデバイスは無線信号を受信し、TSCIを取得し、TSCIに基づいて「リンクに関する分析」を計算するためのオリジン(タイプ2デバイスまたはRxデバイス)として機能することができる。
すべての計算デバイスがカメラまたはスピーカを有するわけではないが、それらのほとんどすべてが1つまたは複数の無線モジュールを含む。2.4GHz/5GHzのWiFi無線を使用してキーストローク認識を行うことはできるが、これらのWiFi ベースのアプローチは狭帯域幅、長い波長、限られたアンテナ数によって制限される。例えば、20MHz/40MHzの帯域幅によって制限されるが、これらのシステムのレンジ分解能は数メートルとすることができ、そこでは全てのターゲットからの反射信号とバックグラウンド環境とが重畳され、分離しにくい。さらに、WiFiベースのアプローチは妥当な認識精度を達成するために煩わしいデータ駆動型トレーニングを必要とし、混合信号のために複数同時キーストロークを認識することができず、通常、単一の固定キーボード配置についてトレーニングされる。
本開示では、無線追跡システムまたは仮想キーボードシステム(「mmKey」と呼ばれる)が、様々な実施形態によれば、仮想キーボード上のキーストロークを無線で追跡するためにミリメートル波(ミリ波)無線に基づいて設計される。いかなる追加のハードウェアもなく、mmKeyは、印刷された紙またはペイントされた領域などの任意の平坦な表面を対話型タイピング媒体に変換することができる。従来の手法と比較して、mmKeyは、同時にキーストロークサポートとユーザ定義キーボード配置の別個の特徴を可能にする。いくつかの実施形態では、いかなるトレーニングを必要とすることなく、mmKeyは動く指から反射されたミリ波信号を捕捉し、信号処理の新規なパイプラインを使用することによって、ユニバーサル仮想キーボードシステムにおけるこれらの特徴のすべてを達成する。その結果、mmKeyは環境に依存しないで位置に依存しないため、どこでも動作し、コンピュータキーボード、ピアノ鍵盤、フォン・キーパッド、または他のユーザがカスタマイズしたレイアウトなどのさまざまなキーボードにコストゼロで容易に適応できる。
mmKeyは汎用ミリ波無線に関する実用的なシステムを提供するために、多数の課題を克服する。第1に、キーストローク認識ができるようになる前に、キーボード上の微小な動きを捕捉することができるロバストな動き検出器をデザインすることが重要である。この課題に対処するために、mmKeyはまず、信号変動を感知し、動きの存在を推論するために、チャネルインパルス応答(CIR)の振幅差分にz-スコア異常検出を適用する。キャリア周波数が高いため、信号は伝播距離の経過とともに急激に減衰するため、キーストローク検出用の閾値は距離に適応するはずである。ターゲットがない状態で測定された空のCIRを参照することによって、適応z-スコア検出器をデザインすることができる。ロバスト性を改善するために、複数のアンテナ及び異なったレンジを更に活用することができる。
第2に、キーストロークは、指の動きだけでなく、手のひらおよび潜在的に腕の移動も含むので、キーストローク(指動き)と他の動きとの間を区別することは困難である。さらに、キーストローク動きと一緒に混合されるバックグラウンドオブジェクトからの無関係な反射も存在する。この課題を克服するために、最初に、キーストロークと動きの他のタイプとの間の動的な信号の空間分布の差分と共に、CIR位相の感度を活用することによって、新規な動きフィルタを考案することができる。次いで、適応バックグラウンドキャンセルを利用して、CIRの変化を追跡することにより、動的な反射のみを抽出することができる。
第3に、ミリ波デバイスのアンテナが多いにもかかわらず、受信アンテナアレイの有効開口が小さいため、空間分解能が物理的に制限される可能性がある。いくつかの実施形態ではオンチップアナログビームフォーミングは1.8cm×1.8cmの配列サイズの例示的な実験デバイス上に15°角度分解能を提供することができ、これはとりわけ、キーサイズが非常に小さいか、または同時にキーストロークが互いに接近している場合に、キーストロークを局所化し、認識するのに不十分である。空間分解能を高めるために、mmKeyのいくつかの実施形態では、受信したCIRに対してMUSIC(MUltiple SIgnal Classification)アルゴリズムを実行し、キーストロークの正確な位置特定を可能にする。最初の指の位置特定によってのみ、デバイスに対する動きの位置を知ることができる。ユーザによって押されたキーを判定するために、初期設定時に低労力の1回の較正段階を使用することができ、これは、3回のキー押下と同じくらい簡単であり、その結果、MUSICによる推定位置をキーボードの対応するキーにマッピングすることができる。
いくつかの実施形態では、mmKeyシステムは、レーダのような動作を可能にし、CIRを報告するために追加の配列が取り付けられた汎用60GHz802.11ad/ayネットワークチップセット上に実装することができる。mmKeyの性能は、コンピュータキーボード、ピアノ鍵盤、電話機キーパッドを含む3つの異なる仮想キーボード上で、家庭環境と事務所環境の両方で異なる位置で、10人のボランティアが関与する広範な実験によって検証された。いくつかの実施形態によれば、実験結果は、単一キーストロークシナリオについて95%を超え、複数同時キーストロークについて90%を超える顕著な精度を実証する。さらに、市販のテキストコレクションツールにmmKeyのアウトプットを供給することによって、印刷されたコンピュータキーボード上での自然なタイピングに対して97%を超える相当な単語認識精度を達成することができる。優れた性能を備えたmmKeyはコンピュータ、モバイル、ウェアラブル、およびIoTデバイスにミリ波無線を装備した場合に、ユニバーサル仮想キーボードを提供する。
図1Aは、本開示のいくつかの実施形態による、mmKeyシステムのための例示的なデバイス設定を示す。図1Aに示すように、mmKeyシステムは、デバイスと、送信機(Tx)アンテナアレイ110と、受信機(Rx)アンテナアレイ120とを含む。いくつかの実施形態では、このデバイスは3.52GHzの帯域幅で60GHzの周波数帯で動作する。いくつかの実施形態では、送信機(Tx)および受信機(Rx)アレイの各々が6×6配置で組み立てられた32アンテナを有する。CIRを抽出するために、Tx110は32パルスの群で構成されるバーストを送信することができ、これらのパルスは図1Aに示すように、周囲の環境によって反射された後に、異なるRxアンテナ120によって逐次受信される。
いくつかの実施形態では送信機110が上述したようにボットであり、受信機120は上述したようにオリジンである。図1Aでは送信機110と受信機120は互いに物理的に結合されているが、他の実施形態では別のデバイスに分離されていてもよい。いくつかの実施形態では、Tx110およびRx 120を含むデバイスはレーダーのように機能し、表面101がレーダーに面したときにキーストロークが追跡される。
いくつかの実施形態では、図1Cに示すように、各パルスの継続期間がTp=10μ秒(μs)であり、各バーストの継続期間はTb=100ミリ秒(ms)である。別個の伝搬経路に対応する到達時間(ToA)の差分を調べることによって、システムは、異なるレンジに位置する反射器を区別することができる。いくつかの実施形態では、実験デバイス上の3.52GHzの帯域幅は0.28nsの時間分解能を与え、これは0.28nsより大きい遅延差分を持つ2つの経路を識別できることを意味し、4.26cmの距離分解能に相当する。いくつかの実施形態では、タイムスロットでn番目のアンテナによって測定されるCIRは次のように表すことができる。
(式1)
ここで、Lはレンジタップの数、Nはアンテナの数、δ(・)はDelta関数、gn,l及びτlはそれぞれl番目のレンジタップの複素チャネルゲインと伝搬ディレイである。
送信されたパルス信号は、指191、手190、表面101、及び表面101上の任意の他のオブジェクトを含む周囲のオブジェクトによって反射され、最終的にRx120によってCIRとして受け取られる。この実施形態では、仮想キーボード130が平坦な紙または平坦な板であってもよい表面101上に印刷される。他の例では、仮想キーボード130が表面101に投影される光であってもよい。いくつかの実施形態では、表面101は仮想キーボード130全体を示す必要はない。ユーザは最初の段階で表面101上のどこに指を置くかを分かっている限り、mmKeyシステムを使用してキーをタイプすることができ、コンピュータ、電話機、ピアノ、または時計のモニタ上に表示することができる。例えば、表面101は仮想コンピュータキーボードの2つの基準キー(例えば、FおよびJ)の位置を表す2つのマークを表示し、ユーザが最初に基準キーFおよびJを発見し、コンピュータのモニタ上で表示されたキーを見ながらキーを入力することによって、mmKeyシステムを使用してキーをタイプすることができるように、Tx110およびRx 120はそれに応じて配置される。
各タイムスロットtについて、捕捉されたCIRはN×L複素行列である。受信された信号を分析することによって、指191によるキーストロークおよび/または手190の手の動きを含む周囲の活動を監視することができる。図1Bに示すような座標系を使用してもよい。ここでθ、φ、γは、仰角、方位角、およびレンジをそれぞれ示す。このように、反射信号は様々な方位角φと仰角θで受信アンテナアレイに当たる。
mmKeyの概要。mmKeyの主な課題は、指だけでなく、腕や他の静的オブジェクトから反射されたRF信号からのキーストロークを直ちにかつロバストに認識することである。図2に示すように、mmKeyシステムは、以下の手順200によって課題に対処することができる。まず、システムは、Rxが受信した反射信号から動作210でCIRを収集する。次に、システムは、動作220で動き検出を実行して、動きの存在を適応的かつロバストに検出する。動作230で、システムは手、腕、および他のオブジェクトによって引き起こされる関心のない動きから指によるキーストロークを区別するために、動き識別を実行する。キーストロークが検出されない場合、処理は動作220に戻り、さらなる動きを検出する。検出された動きが、動作230においてキーストロークであると判断される場合、システムはオプションで、動作240において適応バックグラウンドキャンセルを実行して、重畳された反射信号の混合物から動的な反射を抽出することができる。次に、動作250において、システムは、高解像度でキーストロークをローカライズするキーストロークの位置特定を実行することができる。いくつかの実施形態では動作260において、例えば、CIRを収集する前または最中に、初期設定時のキー位置のマッピングのために、1回の較正を使用することができるが、3回のキー押下のみであるため、労力は最小限に抑えられる。動作270では、キーストロークの位置と較正中に生成されたキー位置のマッピングとに基づいてキーストロークが認識される。
キーストローク検出と識別 -動き検出
いくつかの実施形態では、初期のCIR位相と振幅は時間と共に同期するため、時間tでl番目のレンジタップに対してn番目のアンテナによって測定されたCIRを次のようにモデル化することができる。
(式2)
ここで、
は時間t-1におけるCIRと比較した、動いているターゲットからの反射によって導入されたCIRの変化を表し、εn,l(t)は計測雑音によるCIRの変化を表す。例えば、CIR振幅は、以下のようにモデル化することができる。
(式3)
ここで、
は
からの寄与を反映し、
はεn,l(t)に起因する。
は
と正確に等しくない場合があるが、
を複素数値hn,l(t)の方向に投影し、
についても同じであることに注意する。
したがって、CIR振幅の差分は次のように計算できる。
(式4)
動きがない場合、すなわち、式2において
、及び式3において
、式4に基づいて
。一般性を失うことなく、計測雑音
のみによって生じる振幅変化はガウス分布に従うと仮定できる。次に、動きがないときにΔ|hn,l(t)|のシーケンスを収集することによって、Δ|href,n,l|として示される「静止」フレームを構築することができ、Z-スコア異常検出法を使用して、入力のCIR振幅差分Δ|hn,l(t)|とΔ|href,n,l|を比較することによってリアルタイムで動きを検出することができる。
より具体的には、サンプル平均およびサンプル標準偏差Δ|href,n,l|でΔ|hn,l(t)|をセンタリングして正規化することによってΔ|hn,l(t)|のZ-スコアを次のように評価することができる。
(式5)
ここで、
はΔ|href,n,l|のサンプル平均および標準偏差である。Zn,l(t)の値が大きいほど、サンプルは基準フレームから発散しやすくなり、時間tで動きが発生する可能性が高くなる。
図3Aは、基準フレームΔ|href,n,l|の例を示す。Z-スコアベースの異常検出は基準サンプルシーケンスがガウス分布に従うと仮定できる。したがって、図3Bに示すように、Δ|href,n,l|の正規化サンプルの分位点-分位点(Q-Q)プロットを調べることができる。正規化された分布Δ|href,n,l|は、正規分布に非常に近く、Z-スコア演算の要件を満たす。図3Cは、6つのキーストロークの動きを含むΔ|hn,l(t)|を示す。キーストロークがあるたびに、Δ|hn,l(t)|は変動を生じ、変動は、図3Cの点線によって示されるように、式(5)によって計算された閾値でΔ|hn,l(t)|を評価することによって捉えることができる。
動き検出は、キーストロークの始まりと終わりの時刻と、それに対応する範囲を検出することを目的とする。一つの単一アンテナから計算されたZ-スコアに依存する代わりに、ロバスト性を改善するために、利用可能な全てのアンテナおよびレンジタップを利用することができる。いくつかの実施形態では長さWを有するスライディングウインドウを入力CIRストリームに適用し、各々のウィンドウについてCIRを複素数値行列N×L×Wとして得ることができ、ここで、N及びLはそれぞれ、アンテナ数及びレンジタップ数である。次に、対応する値|Δhn,l|に多数決を採用し、N×L×W次元を有するインジケータ行列I(t)を構築することができ、ここで、各要素In,l(t)=1{Zn,l(t)>υ}、ここで、1は指示関数であり、υ=3はZ-スコア異常検出に一般的に使用される値であり、|Δhn,l|の3標準偏差を超える値の違いが検出されることを意味する。Zn,l(t)とυを比較することは、Δ|hn,l(t)|を閾値処理することと等価である。次に、I(t)の要素の大部分が1である場合、現在のウィンドウに対して動きが検出される。次に、動きのレンジタップを、
を満たすものとしてさらに推定することができる。動きの開始または終点は、動きを観測する
のタップ上の最初および最後の異常タイムスロットを探索することによって判定することができる。
キーストロークの識別
動き検出器はどのレンジタップが動きによって影響されるかを識別することができるが、動きがキーストロークによって引き起こされるか、手の動きによって引き起こされるかを区別することはできない。キーストロークと手の動きを区別することは、2つの観察により生じ得る。1) 手の動きには通常、手の位置のいくらかの移動が伴うが、指のキーストロークには伴わない、2)手の動きは、指の動きよりもはるかに大きな反射領域に影響を与えることができる。したがって、キーストロークと手の動きを区別するために、2つの特徴、CIR位相とダイナミックレベルとを考案することができる。
未処理のCIR位相:CIR振幅と比較して、CIR位相は反射板の微小な位置シフトに対してより敏感である。いくつかの実施形態では、CIR位相がすべてのアンテナとすべてのサンプルとの間ですでに同期されている。例えば、60.48GHzで動作するキャリア周波数では波長はλ=c/f=5mmであり、これは半径方向に無線に向かって/遠ざかる2.5mmの反射板のわずかなシフトがCIR位相に2πの変化を生じさせ、大きい(例えば、手)および微細な(例えば、指先)動きの正確な分類を支えることを意味する。
図4AはCIRの振幅差分Δ|hn,l(t)|を示し、図4Bはより濃い線の長方形によって示される3つの手のひらの動きを含むCIRのシーケンスからのCIR位相∠hn,l(t)を示し、それぞれの後に、より薄い線の長方形によって示される単一の指のキーストロークが続く。明らかな変動Δ|hn,l(t)|に基づいて、6つの動き全てを検出することができる。Δ|hn,l(t)|から、動きが指のキーストロークであるかどうかを知ることは難しく、それは∠hn,l(t)を測定することによってより識別可能であり得る。図4Bに示すように、手の動きは、指のキーストロークよりも大きな位置変更のために、はるかに高いピークを生成する。したがって、ピーク高さは、これら2つの動きを区別するための有望な特徴として作用する。CIR未処理の位相のピーク高さを示す図4Cのように、ピーク高さをピークの両側の高さの平均値として定義することができる。手のシフトはより多くのアンテナに衝撃を与え、複数のタップを横切る可能性があるので、全てのアンテナにわたってCIR位相∠hn,l(t)と、ターゲットタップを中心とする3つの隣接タップ、すなわち
(例えば、約13cmの範囲に対応する)とを統合することができる。
動的レベル:手の移動は指のキーストロークよりも大きな反射領域に影響を与えることを観測することにより、そのような差分を記述するための動的レベルの新規な特徴を明らかにすることができる。動的レベルは、CIRの総電力に対する非DC電力の比率として定義されてもよい。γによって、それは次のように書くことができる。
(式6)
ここで、Hl,n(f)=FFT(hl,n(t))である。分母は、静的バックグラウンドと動的な手/指の両方から反射される信号の総電力である。分子は(直流成分を除いた)動くオブジェクトによってのみ反射される電力である。したがって、動的レベルは、反射領域の大きさが増すにつれて増加する。言い換えれば、手の動きは、指の動きよりも高い動的レベルをもたらすことができる。図4Dは、それぞれ、1本指のキーストローク、2本指のキーストローク、3本指のキーストローク、および手の移動についてのダイナミックレベルの分布を示す。図示されるように、3つのタイプのキーストロークは同様の動的レベルを共有し、一方、手の動きは、はるかに大きな値を経験し、手と指の動きを区別するための効果的なメトリックとしてそれを提供する。
2つの特徴を一緒に組み合わせると、簡単な2段階検証で動きを区別することができる。例えば、動きが検出され、セグメント化されると、CIRのフレームは、未処理のCIR位相のピーク高さをしきい値処理し、動的レベルをしきい値処理することによって評価される。いくつかの実施形態では、低ピーク高さと小さな動的レベルの両方を有する動きのみが指のキーストロークと考えられる。実験ではこの控えめな判断規則が経験的な予め設定された閾値で手による干渉の動きを完全にフィルタして除去することができるが、指のキーストロークのいくらかのミス検出を引き起こすこともあり、これは検出精度によって測定され、後に評価される。他の実施形態では、低ピーク高さまたは小さな動的レベルを有する動きは指のキーストロークと見なすことができる。
キーストロークの位置特定
適応バックグラウンドキャンセル:図5Aに示されるように、受信信号は、全ての動的および静的オブジェクトからの反射の混合物である。したがって、バックグラウンド反射を除去し、キーストロークに関連するダイナミック成分のみを抽出することができる。
式(2)によれば、タイムスロットtごとに、CIR hn,l(t)は、CIR hn,l(t-1)とそれらの差分の組み合わせとして表すことができる。t-1からtへ、静的バックグラウンドからの反射はhn,l(t-1)に埋め込まれ、CIRの変化は、新しいダイナミック反射
による成分と雑音εn,l(t)による成分とを含む。したがって、ターム hn,l(t-1)を減算することによって、バックグラウンド反射の影響を解消することができる。図5Bに示されるように、M個の連続するサンプルについて
は有意な変化を経験しないと仮定すると、
は以下のように推定することができる。
(式7)
ここで、Mは、バックグラウンドキャンセルに使用されたサンプルの個数を示す。
キーストロークの位置特定
MUSICによる位置特定
指のキーストロークによって与えられる動的な信号を抽出した後、キーストローク位置の3次元(3-D)座標を得ることができ、これは、後に詳述するように、実際のキーに変換することができる。空間分解能は受信アンテナアレイの小さな有効開口により制限されうる。いくつかの実施形態で、空間分解能を向上させ、したがってキーストロークを正確に位置特定するために、mmKeyシステムは、MUSIC(MUltiple Signal Classification)アルゴリズムに基づいて、受信されたCIRに対してディジタルビームフォーミングを実行する。MUSICアルゴリズムの基本的アイデアはCIRの共分散行列に対する固有値分解を実行することであり、その結果、雑音部分空間に直交する信号部分空間が得られる。MUSICは、典型的には10キーストローク未満の位置を特定するという目標に沿った、スパース信号の空間スペクトルを再構成するために使用される。
以下の例では、前のモジュールで推定されたターゲットの
のレンジタップに焦点を当てる。図1Bに示す座標系において、異なった方位角φと仰角θを有する受信アンテナアレイに衝突するD個の反射信号があると仮定する。次に、CIR hは、以下のように定式化することができる、
(式8)
ここで、S(θi,φi)は(θi,φi)を指し示すステアリングベクトルであり、i番目の反射信号の方向に対応し、すなわち、方向(θi,φi)から来る信号に対するアンテナアレイの正規化された位相レスポンスである。xiはi番目の反射信号の複素値を表し、εjはj番目のアンテナによる加法熱雑音を表し、これは、平均が0で、異なった受信アンテナに対して独立かつ同一分布(I.I.D.)を持つガウス確率変数であると仮定される加法熱雑音を表す。Nはアンテナの数である。式(8)のより簡潔な行列表現は従ってh=Sx+εとして書くことができ、ここでSはステアリング行列として定義される。そしてhの共分散は、以下のように評価することができる、
(式9)
ここで、
およびRs及びRεは、それぞれ、信号および雑音成分の共分散行列である。そして、固有値分解は、以下のように表すことができる。
(式10)
ここで、Usは信号空間であり、一方、Uεは雑音空間である。MUSIC空間スペクトルは次のように表すことができる。
(式11)
図6は、単一のキーストロークの動きの擬似空間スペクトルを示す。空間スペクトルPのピークは指のキーストロークによる反射信号の存在を示し、一方、Pの低い値は、そのような反射がないことを示す。従来のビームフォーミング(CBF)や最小分散歪みレスポンス(MVDR)ビームフォーミング(Caponビームフォーミングとしても知られる)のような他のスペクトル推定法を採用することもできる。
位置リファイン
MUSICアルゴリズムは動きのソースの位置を突き止める際に高分解能を達成することができるが、実際には通常知られていない、ソース数の事前知識を必要とする。この課題に対処するために、ターゲットの位置特定の前にピーク選択モジュールを適用することができる。所定個数のターゲットKをMUSICアルゴリズムに供給し、最初の擬似スペクトルを得る。K個のピークは、実際に存在するターゲットの個数にかかわらず、擬似スペクトルから抽出されるであろう。次に、ピーク選択モジュールは、偽ピークを除去するように設計される。
図7A~7Cは、異なった数のターゲットKを有する単一のキーストロークの動きの擬似スペクトルを示す。Kが増加することにつれて、(i)バックグラウンドにおけるより低いピーク、および(ii)ターゲットピークから拡散したより高いピークを含む、ますます多くの異常値ピークが存在する。
偽ピークを除去し、真のターゲットの個数を判定するために、2つの基準に従うことができる。まず、あらかじめ設定された適応閾値th1よりも低い高さを持つピークを雑音ピークとみなし、フィルタで除去する。一般的であるために、th1は最も高いピークの高さの比例関数であってもよく、すなわち、th1=c・max(p1、...、pk)であり、これは、較正段階で判定される。第2に、隣接する拡散ピークについて、これらのピーク間の空間角距離が閾値dth内にある場合に、凝集型階層クラスタリングを適用してそれらを併合する。指の上部によって反射される信号のために、図7Bおよび図7Cに示すようにピークが仰角方向により拡大する傾向があることを観測すると、仰角方向において比較的小さな重みを適用することができる。より具体的には、2つのピーク(Δθ,Δφ)間の距離がそれぞれ(a,b)で重み付けられ、ここでθにおけるピークぼけのより多くの拡大を許容するためにa<bである。dthは、クラスタの大きさを示す適応的閾値であり、無線デバイスとキーボードとの間の距離の関数、すなわち
の関数として振る舞う。
検出されたピークをフィルタし、クラスタ化した後、キーストロークの数がクラスタの数として推定され、それぞれのクラスタにおける最高のピークがクラスタの代表的なとして考慮され、
として示される推定位置は、以下に説明するキーストローク認識モジュールに供給される。
キーストローク認識
超解像MUSICアルゴリズムによって推定された指のキーストロークの位置
は、Rxに対するキーストロークの相対位置のみを反映することができる。キーストローク位置をキーボードにマッピングし、どのキーが押されているかを推測するために、Rxに対するキーボードの位置の知識が必要があるかもしれない。これにより位置
のキーストロークを特定のキーに変換することができる。このような写像関係を得るために、簡単な較正工程を採用することができ、これは、キーボードの初期設定時に一度だけ行う必要がある。mmKeyは、ピアノ鍵盤やコンピュータキーボードなど、さまざまなタイプのキーボードと互換性があるため、以下の例ではピアノキーボードの白いキーを例にして1次元(1-D)ケースから始め、後でコンピュータキーボードや電話機のキーパッド用の一般的な2次元(2-D)ケースまで拡張する。
1-Dケース。最小限の労力でキーボード較正を完了するために、ユーザはランダムに3つのキーを選択し、押すことができる。図8Aに示されるように、キーw1,w6,及びw10が較正中に押され、MUSICアルゴリズムによって対応する推定方位角は
で表されると仮定すると、そこから
を得ることができる。図8Aに示すように、Sinの法則によれば、次の式を有することができる
(式12)
ここで、β1およびβ2は、2つの隣接する三角形に属し、平角を形成する2つの未知の角度である。式(12)から|BC|に対する|AC|の比率をηとして示すと、次式を有することができる。
(式13)
この例題では、キーボード配置に従って比率|AD|/|BD|はすでに5/4として知られている。全てのキーストロークがキーの中心で発生すると仮定するとηの値を導出することができる。また、隣り合う2つのキー毎の方位角の境界を導出することもできる。例えば、図8Bに示されるように、キーw2とw3との間の境界を計算するために、Sinの法則を次のように再度適用することができる。
(式14)
ここで
は、図8Bの角度に対応する角度である。すると、次式が得られる。
(式15)
式(15)に基づいて、キーボード配置に従って、比率|AE|/|BE|が1/5として既知であるので、
の厳密な値を得ることができる。同様に、(w1、w2)、...、(w9、w10)のような他の隣り合うキー間の境界を導出することができる。w1の絶対方位角を差し引くことにより、キーストローク認識のために境界の方位角を計算することができる。
2-D ケース。1次元ケースの幾何学的モデルは2次元に拡張することができ、仰角及び方位角角度の両方が、キーストローク認識のために使用される。図9に示すように、較正のために、3つのキー「1」、「G」及び「M」が押される。水平方位角方向において、三角形ΔA1B1C1を有することができ、この三角形からキーの全ての方位角境界を導出することができる、一方、垂直仰角方向においては、三角形ΔA2B2C2を有し、それを用いて仰角境界を計算することができる。ここで、方位角と仰角のディメンジョンから見てC1とC2とはそれぞれデバイスの同じ位置を示す。それぞれのキーの境界方位角角度および境界仰角角度の値が与えられると、推定キーストローク位置を、既知の配置のキーボード上のターゲットキーにマッピングすることによって、リアルタイムにキーストロークを容易に認識することができる。
実験的評価:mmKeyを試作し、802.11ad/ayチップセットをレーダ的なプラットフォームとして再利用するテストベッドを使用して実世界実験を行うことができる。デバイスは印刷された仮想キーボードを支える平坦な面を覆うように置かれる。QWERTYコンピュータキーボード、ピアノ鍵盤、スマートフォンキーパッドなどのさまざまなタイプのキーボードを考慮することができる。キーボードごとに、ユーザが実際のキーボードと同じくらいなじみのあるタイピング感を保つように、同じ物理的な大きさを維持しながら、レイアウトを用紙に印刷してもよい。いくつかの実施形態では、キーボードとデバイスとの間の距離が、キーボードが方位角方向及び仰角方向の両方に対して100°であるデバイスの視野(FoV)内に確実に入るように、20cmに設定される。デフォルトサンプリングレートは、fs=1/Tb=100Hzであり得、ここでTbは、図1Cに示されるようなバースト継続期間である。
評価には主に3つのメトリックを使用することができる。検出精度(detection accuracy (DA))および認識精度(recoginition accuracy(RA)は、mmKeyがどのようにキーストロークを正しく検出するか、およびどのようにそれらを位置特定および認識するかを、それぞれ定量化するために定義される。DAおよびRAに基づいて、全体的な精度(over all accuracy(OA))は、OA=DA×RAとして計算される。DA及びRAは、以下のように定義される。
(式16)
まず、仮想コンピュータキーボードに対するmmKeyの性能を調べた。印刷された標準英数字キーボードは、隣接するキー19mm間の距離をもつ一般的QWERTYベースの配置を有する。関係するのは、実験における文字および数字のキーであり、較正のための目印キーとして「1」、「G」および「M」を選択することである。設定が完了すると、各参加者は、事前定義されたキーのシーケンスを何度も押す。仮想コンピュータキーボード上の36キー(26文字+10数字)を認識するためのOA混同行列を図10Aに示す。本実施の形態では、mmKeyがコンピュータキーボードに対して平均値OA95.42%で顕著なキーストローク認識を達成する。いくつかの状況では、あるキーのいくつかのサンプルは、とりわけ実キーより下のサンプルが隣接キーとして認識される。これは、指関節(knuckle)からの反射が存在し、仰角方向の推定エラーにつながるためである。ユーザが典型的なテキストをタイプしている実際の活用では、これらのエラーはしっかりしたスペルチェック技法によって容易に回復されうる。
単語復元:さらに、入力文を復元する際のmmKeyの能力が調査され、精度が単語レベルで評価される。この例では文サンプルを収集することにより、ユーザは印刷されたコンピュータキーボード上で5回、以下の文のそれぞれをタイプするように求められる。S1=「素早い茶色の狐が怠惰な犬の上を飛び越える」、S2=「ロウソクが消えた理由を誰も知らなかった」、S3=「秋の葉は黄金の雪のように見える」、S4=「想像ほど深いものではない」、およびS5=「私の小さなペットマウスが彼のケージから逃げた」。
最初に、CIRデータ上でmmKeyを実行し、直接出力、すなわち、認識されたキーのシーケンスを得ることができる。次に、一般的な市販の英語筆記ツールである、Grammarlyに訂正のために出力を供給することができる。ここで、単語レベル精度(WA)を
によって計算することができ、その結果を図10Bに示す。1つの誤って認識された文字が誤って認識された単語につながるので、およそ80%であるmmKeyの直接出力上のWAは、そのOAほど高くないことが予想される。スペルチェック/テキスト訂正の助けを借りて、単語レベルの誤認識は、97%を超えるかなりの精度で容易に訂正することができる。高精度で、mmKeyは、実際のあらゆる場所で、移動、携帯使用のためのユビキタス仮想キーボードを約束することができた。
仮想ピアノ鍵盤。白色キーと黒色キーの両方について考慮し、図11Aは単一キーキーストロークについての混同行列を示し、ここで「?」は、検出のミスを意味する。図11Aに示すように、mmKeyは99.12%の高いOAを達成する。
ユーザはピアノを演奏するために、複数のキーを同時に押す必要があるかもしれない。図11Bに示すように、ユーザが2つの同時キーを押すときの精度について、mmKeyは、2つのキーが十分に遠くに位置するときにキーストロークを正確に認識する。しかしながら、2つの押されたキーが近づき、とりわけ隣接したキーの場合、同じ位置に配置された指のために、精度が低下する可能性がある。この例では、ダブルキーキーストローク認識の総合的な精度はすべての場合に対して92.54%であり、その精度は隣り合うキー以外の場合は96.93%になる。対角線に沿った精度を観察すると、OAは、エッジ位置での指間妨害(inter-finger blockage)の影響のために、キーボードのエッジ付近で減少することが分かる。
図12A~12Bはマルチキーストローク精度を示し、図12Aはキーストロークの個数に対する精度を示し、図12Bは、検出のための混同行列を示す。3つ以上の同時押下またはタイプ入力キーの場合、結果は、OAが押下またはタイプ入力されている3つのキーがあるとき76.67%まで減少し、さらに4キーのために65.94%へ減少することを示す。検出精度は図12Bに示されており、そこではより多くのキーストロークが複数指の間の妨害により、より多くのミス検出をもたらすが、図12Aに例示されているように、認識精度にあまり影響を及ぼさない。キーストロークが検出されると、mmKeyは、それを正確に認識することができる。
図13は、本開示のいくつかの実施形態による、キーストロークを無線で追跡するための例示的な方法1300のフローチャートを示す。動作1302において、第1の無線信号は、表面を含む場所の無線チャネルを介して送信される。動作1304では第2の無線信号が無線チャネルを介して受信され、ここで、第2の無線信号は場所の少なくとも1つの動くオブジェクトによる第1の無線信号の反射を含む。動作1306において、無線チャネルのチャネル情報(CI)の時系列が第2の無線信号に基づいて取得され、ここで、それぞれのCIは、チャネル状態情報(CSI)、チャネルインパルス応答(CIR)、チャネル周波数応答(CFR)、または受信信号強度インデックス(RSSI)のうちの少なくとも1つを含む。動作1308において、表面上の少なくとも1つのキーストロークが、CIの時系列(TSCI)に基づいて検出される。動作1310において、表面上の少なくとも1つのキーストロークの少なくとも1つの位置が判定される。動作1312において、少なくとも1つのキーストロークに関連する少なくとも1つのキーが、少なくとも1つの位置に基づいて判定される。図13の動作の順序は、本開示の様々な実施形態に従って変更することができる。
いくつかの実施形態では、無線キーストローク追跡方法が以下に説明するステップs1~s7を含む。
ステップs1:1つの送信(Tx)アンテナと複数の受信(Rx)アンテナ(例えば、h(Rxアンテナ,距離))を使用して、CIR の時系列がキャプチャされる。
ステップs2:ステップs2a~s2dを含む動きの存在を検出する。受信アンテナごとに、ステップs2aとステップs2b が実行される。
ステップs2a: 空のケースにおけるCIRのフレームを基準として、空のCIRの差分的な大きさを計算する(例えば、空のCIRのΔ|h(Rxアンテナ,距離)|)。それぞれのRxアンテナと距離に対して、そのサンプル平均と標準偏差(uとs) を計算する。
ステップs2b:それぞれの時間インスタンスにおいて、ターゲットCIRの差分的な大きさを計算する(例えば、ターゲットCIRのΔ|h(Rxアンテナ,距離)|)。受信アンテナと距離ごとについて、z-スコアを算出する。z-スコアを閾値T1と比較する。時間tでz-スコアがTaより大きい場合、そのアンテナと距離に対して動きが検出される。その後、すべてのRxアンテナに対して多数決が行われる。z-スコアは、Δ|h(Rxアンテナ、距離)|とuとの間の差分を取ることによって計算され、式5のようにsにより正規化する。閾値T1は経験的な閾値であり、3は、T1のために一般的に使用される数値である。
ステップs2c:Rxアンテナの大部分が動きを検出したときに、最初と最後の時間インスタンスを特定することにより、動きの開始と終了時刻を判定する。
ステップs2d:最大の動き距離を判定する(すべてのアンテナおよび動き継続期間にわたるz-スコアの合計)。
いくつかの実施形態では、雑音の分散値は動きの分散値よりもはるかに小さいという仮定を用いて、動きはCIR振幅|h(Rxアンテナ、距離)|の分散を閾値化することによって検出され得る。次に、動きが起こるターゲット範囲は、レンジディメンジョンにわたる分散を最大化することによって判定することができる。
ステップs3:ステップs3aおよびs3bを含む、指の動きの識別。
ステップs3aで:各ターゲット距離及びターゲット距離に隣接する距離(例えば、l-1、l、l+1)について、ステップs3a1およびs3a2が実行される。ステップs3a1:未処理のCIR位相のピーク高さを計算し、それを閾値T2と比較する。ステップs3a2:動的レベルを計算し、それを閾値T3と比較する。閾値T2およびT3は較正段階中に判定され、動的レベルは式(6)によって計算される。
ステップs3bで:すべてのアンテナと距離について多数決を実行する。ピーク高さの大部分がT2より小さくかつ動的レベルがT3より小さい場合、動きはキーストロークと認識される。
いくつかの実施形態では、キーストロークは短い継続期間における非常に迅速な動きであるという前提で、動きの継続期間は、キーストロークを他の動きと区別するための特徴として使用することができる。いくつかの実施形態では、手の動きが指の動きよりも多くのアンテナに影響するという前提で、全てのアンテナの分散値合計をキーストロークを他の動きと区別するために使用してもよい。
ステップs4:ターゲット距離lにおけるそれぞれのキーストロークの動きに関連するCIRについて、CIRの時間変化する成分を抽出し、ステップs4aおよび/またはs4bを含む、バックグラウンド減算(例えばΔh)を行う。ステップs4a:バックグラウンド減算は、連続的なCIR減算によって実行されてもよい。ステップs4b:バックグラウンド減算は、いくつかの先行のCIRフレームの時間平均を差し引くことによって実行されてもよい。
ステップs5:予め設定された数のキーストロークKを用いて、ΔhにMUSICを実行し、2D擬似スペクトルP(シータ、ファイ)を得る。下側のスペクトルピークをスレッショルドして除去し、拡散したピークを集めることで擬似スペクトルをリファインする。最終角度方向(シータ*、ファイ*)を得る。ステップs5は、ステップs5a~s5cを含む。ステップs5a: Kが経験的に判定される。実験ではK =5であった。ステップs5b:T4より低い高さを有するピークは、雑音ピークとして考慮され、フィルタ除去される。T4は、較正段階において判定される。ステップs5cでは、ピークは拡散ピークとみなされ、ピークと最高ピークとの間の距離が閾値T5よりも小さい場合、フィルタ除去される。距離は仰角ディメンションに置かれるより多くの重みを用いて、2-D空間で計算される(例: シータ)。T5は較正段階で判定される。(シータ、ファイ)における重みは、実験において(2、1)である。
いくつかの実施形態では、従来のビームフォーミング(CBF)および/または最小分散歪みレスポンス(MVDR)を用いてビームフォーミングを行うことができる。いくつかの実施形態では、擬似スペクトルピークをリファインするために、ソースの数を導出するために、MUSICまたは他のヒューリスティックなピーク選択方法における適応的サブ間隔を使用することができる。
ステップs6:ステップs6a~s6hのうちの1つまたは複数を含む較正が実行される。いくつかの実施形態では、最初の設定時に、3つの異なったキーを押してキーボードを較正する。式13から式15に示される幾何学的関係に基づいて隣り合うキーの角度境界を算出する(rがキーボードに対するTx/Rx配置に基づいて同じであると仮定して)。ステップs6a:2-D配置を有するキーボードについて、3つのキーは異なった行及び列(例えば、(シータ、ファイ))上に配置される。ステップs6b:較正段階は、指の動き(キーストローク)と手の動き(1つのキーストロークから他への移動)の両方を含む。ステップs6c:キーストロークのターゲット距離および数は、較正段階において既知である。ステップs6d: T2は、ターゲット距離におけるキーストロークの動きおよび手の動きのCIR位相ピーク高さを平均することによって計算されてもよい。ステップs6e: T3は、ターゲット距離におけるキーストローク動きおよび手の動きの動的レベルを平均することによって計算され得る。ステップs6fにおいて、T4は、擬似スペクトルにおける雑音ピーク高さおよびキーストロークピーク高さを平均化することによって計算されてもよい。ステップs6gでは、T5は最も高いピークへの拡散ピークの最大距離によって計算され得る。ステップs6hで:T1~T5は、較正段階内の関連パラメータを観察することによって手動で決定されてもよい。
ステップs7で、ステップs5のキーストローク(シータ*、ファイ*)を、ステップs6の角度境界に従ってキーボードにマップする。
以下の番号付き項は、キーストロークをワイヤレスで追跡するための実施例を提供する。
項1.表面上のキーストロークを無線で追跡するためのシステムであって、送信アンテナを使用して、前記表面を含む場所の無線チャネルを介して第1の無線信号を送信するように構成された送信機と、複数の受信アンテナを使用して、前記無線チャネルを介して第2の無線信号を受信するように構成された受信機であって、前記第2の無線信号は、前記場所の少なくとも1つの動くオブジェクトによる前記第1の無線信号の反射を含む、受信機と、プロセッサであって、前記複数の受信アンテナの各々に関して、前記第2の無線信号に基づいて前記無線チャネルのチャネル情報(CI)の時系列を取得することであって、各々のCIは、チャネル状態情報(CSI)、チャネルインパルス応答(CIR)、チャネル周波数応答(CFR)、または受信信号強度インデックス(RSSI)のうちの少なくとも1つを含む、取得することと、前記複数の受信アンテナのそれぞれに関して得られたCIの時系列(TSCI)に基づいて、前記表面上の少なくとも1つのキーストロークを検出することと、前記表面上の前記少なくとも1つのキーストロークの少なくとも1つの位置を判定することと、前記少なくとも1つの位置に基づいて、前記少なくとも1つのキーストロークに関連付けられた少なくとも1つのキーを判定することと、をするように構成されたプロセッサと、を含むシステム。
項2.項1に記載のシステムであって、各CIがCIRを含み、前記第1の無線信号がミリメートル波で搬送され、前記少なくとも1つの動くオブジェクトのそれぞれは、仮想キーボード上でタイプしてキーストロークを行うように構成された指または先端部であり、前記場所の複数の空間ビンに基づいて判定された位置を有し、前記複数の空間ビンの各々は、それぞれの角度方向および前記受信機から生じるそれぞれの距離範囲によって判定され、それぞれの角度方向は対応する方位角角度および対応する仰角角度によって識別される、システム。
項3.項2に記載のシステムであって、前記少なくとも1つのキーストロークを検出することは、前記複数の受信アンテナのそれぞれに関して取得された前記CIの時系列(TSCI)に基づいて、前記表面上の前記少なくとも1つの動くオブジェクトのそれぞれの動きを検出することと、前記動くオブジェクトによって実行されるキーストロークとして前記動きを認識することと、を含むシステム。
項4.項3に記載のシステムであって、各動くオブジェクトの動きを検出することが、各時間インスタンスについて、複数の関心距離範囲のそれぞれおよび前記複数の受信アンテナのそれぞれについて、前記関心距離範囲について、前記時間インスタンスにおいて前記受信アンテナによって測定されたCIR振幅と前記時間インスタンスの前の先行する時間インスタンスにおいて前記受信アンテナによって測定されたCIR振幅とに基づく差分CIRを計算することと、前記受信アンテナおよび前記関心距離範囲について、前記差分CIR、基準差分CIRのサンプル平均、および前記基準差分CIRの標準偏差に基づく測定スコアを計算することと、前記測定スコアと第1の閾値とを比較することと、前記測定スコアが前記第1の閾値よりも大きい場合に、前記関心距離範囲で前記受信アンテナによって候補の動きが検出されたと判定することと、を含むシステム。
項5.項4に記載のシステムであって、前記基準差分CIRは、2つの連続する時間インスタンスにおいて前記受信アンテナによって測定された参照CIRの振幅に基づいて計算され、前記参照CIRは前記無線チャネルのCIRであり、前記参照CIRは前記場所において動くオブジェクトなしで取得される、システム。
項6.項4に記載のシステムであって、それぞれの動くオブジェクトの動きを検出することは、各候補の動きに対して、前記候補の動きが時間インスタンスにおいて前記複数の受信アンテナの大部分によって検出された場合に、前記候補の動きがターゲットの動きであると判定することをさらに含むシステム。
項7.項6に記載のシステムであって、それぞれの動くオブジェクトの動きを検出することは、各ターゲットの動きについて、前記複数の受信アンテナの大部分が前記ターゲットの動きを検出した最初の時間インスタンスに基づいて前記ターゲットの動きの開始時間を判定することと、前記複数の受信アンテナの大部分が前記ターゲットの動きを検出した最後の時間インスタンスに基づいて前記ターゲットの動きの終了時間を判定することと、をさらに含むシステム。
項8.項7のシステムであって、それぞれの動くオブジェクトの動きを検出することは、各ターゲットの動きに対して、前記複数の受信システムの全て及び前記開始時間から前記終了時間までの全ての時間インスタンスについて計算された測定スコアの合計を最大化する距離範囲に基づいて、前記ターゲットの動きのターゲット距離範囲を判定することをさらに含むシステム。
項9.項8に記載のシステムであって、前記動きをキーストロークとして認識することは、各ターゲットの動きについて、前記複数の受信アンテナのそれぞれについて、および前記ターゲットの動きの前記ターゲット距離範囲を中心とする3つの空間的に連続する距離範囲のそれぞれについて、前記距離範囲に対して前記受信アンテナによって測定されたCIR位相のピークの高さを計算することと、前記距離範囲に対して前記受信アンテナによって測定されたCIR信号のゼロ以外の周波数成分の第1の総電力を計算することと、前記距離範囲に対して前記受信アンテナによって測定された前記CIR信号のすべての周波数成分の第2の総電力を計算することと、を含むシステム。
項10.項9に記載のシステムであって、前記動きをキーストロークとして認識することは、ターゲットの動きごとに、前記3つの空間的に連続する距離範囲のすべてについて、前記複数の受信アンテナのすべてによって測定されたCIR位相のピーク高さに基づいて、集約ピーク高さを計算することと、前記集約ピーク高さを第2の閾値と比較することと、前記複数の受信アンテナのすべておよび前記3つの空間的に連続する距離範囲のすべてについて計算された第1の総電力に基づいて、第1の集約電力を計算することと、前記複数の受信アンテナのすべておよび前記3つの空間的に連続する距離範囲のすべてについて計算された第2の総電力に基づいて第2の集約電力を計算することと、第1の集約電力と第2の集約電力との間の比率に基づいて、前記ターゲットの動きに関連する反射領域を表す動的レベルを計算することと、前記動的レベルを第3の閾値と比較することと、前記集約されたピーク高さが前記第2の閾値よりも小さく、前記動的レベルが前記第3の閾値よりも小さい場合に、前記ターゲットの動きをキーストローク動きとして認識することと、をさらに含むシステム。
項11.項10に記載のシステムであって、前記第2の閾値および前記第3の閾値のそれぞれは、前記システムの較正に基づいて予め判定され、前記較正は、それぞれが既知のターゲット距離範囲に対応するキーストロークと、それぞれが1つのキーストロークから別のものへの移動に対応する手の動きとに関連し、前記第2の閾値は、前記ターゲット距離範囲におけるキーストロークおよび手の動きのCIR位相のピーク高さを平均することによって計算され、前記第3の閾値は、前記ターゲット距離範囲におけるキーストロークおよび手の動きの動的レベルを平均することによって計算される、システム。
項12.項9に記載のシステムであって、前記動きをキーストロークとして認識することは、各ターゲットの動きについて、および複数のアンテナ-距離群であって、各アンテナ-距離群は、前記複数の受信アンテナのそれぞれの1つと、前記ターゲットの動きの前記ターゲット距離範囲を中心とする3つの空間的に連続した距離範囲のそれぞれの1つとを含む、前記複数のアンテナ-距離群のそれぞれについて、前記ピーク高さを第2の閾値と比較することと、前記第1の総電力と前記第2の総電力との間の比率に基づいて、前記ターゲットの動きに関連する反射領域を表す動的レベルを計算することと、前記動的レベルを第3の閾値と比較することであって、前記第2の閾値及び前記第3の閾値のそれぞれは、前記システムの較正に基づいて予め定められている、計算することと、前記ピーク高さが前記第2の閾値よりも小さく、前記動的レベルが前記第3の閾値よりも小さい場合に、前記ターゲットの動きを候補キーストローク動きとして認識することと、それぞれのターゲットの動きについて、前記複数のアンテナ-距離群の大多数によって前記ターゲットの動きが候補キーストローク動きとして認識された場合に、前記ターゲットの動きをキーストローク動きとして認識することと、をさらに含むシステム。
項13.項12に記載のシステムであって、前記プロセッサは、各CIRについて、各時間インスタンスにおいて、各キーストローク動きに関連して、前記CIRから前記時間インスタンスの前の先行する時間インスタンスのCIRを減算すること、または前記CIRから前記時間インスタンスの前の複数の先行する時間インスタンスの複数のCIRの時間平均値を減算すること、のうちの少なくとも1つによって、バックグラウンドを差し引いたCIRを計算するようにさらに構成される、システム。
項14.項13に記載のシステムであって、前記少なくとも1つのキーストロークの前記少なくとも1つの位置を判定することは、ターゲット距離範囲における各キーストローク動きに関連付けられたバックグラウンドを差し引いたCIRの各々について、MUSIC(MUltiple SIgnal Classification)及び前記場所において同時に発生する可能性のあるキーストロークの最大量を表す所定の数Kとに基づいて、バックグラウンドを差し引いたCIRにデジタルビームフォーミングを適用することと、前記デジタルビームフォーミングに基づいて、それぞれが前記ターゲット距離範囲における方位角角度および仰角角度を含む角度方向によって表される異なる位置の関数としてCIR電力を含む2次元空間スペクトルを計算することと、前記2次元空間スペクトル中のK個の最高CIR電力に対応するK個のピークを識別することと、を含むシステム。
項15.項14に記載のシステムであって、前記少なくとも1つのキーストロークの前記少なくとも1つの位置を判定することは、前記K個のピークから、高さが第4閾値よりも低いピークを除去すること、または前記K個のピークから、前記2次元空間スペクトルにおける前記K個ピークの最高ピークに対する距離が第5の閾値よりも小さい拡散ピークを除去することのうちの少なくとも1つによって、前記K個のピークをリファインして、少なくとも1つのリファインされたピークを得ことと、前記少なくとも1つのリファインされたピークの各々に基づいて、前記少なくとも1つのキーストロークの前記少なくとも1つの位置に対応する1つを判定することと、をさらに含むシステム。
項16.項15に記載のシステムであって、前記第4の閾値および前記第5の閾値のそれぞれは、前記システムの較正に基づいて予め判定され、前記第4の閾値は、前記2次元空間スペクトルにおける雑音ピーク高さおよびキーストロークピーク高さを平均することによって計算され、前記第5閾値は、すべての拡散ピークから前記二次元空間スペクトルの最高ピークへの距離の中で最大の距離に基づいて計算される、システム。
項17.項15に記載のシステムであって、前記送信機は、前記送信アンテナを使用する前記システムの較正中に、前記場所の前記無線チャネルを介して3つの無線信号を送信するようにさらに構成され、前記受信機は、前記複数の受信アンテナを使用して、前記無線チャネルを介して3つの反射無線信号を受信するようにさらに構成され、ここで、前記3つの反射無線信号の各々は、前記仮想キーボード上で3つの既知のキーに対応する3つのキーストロークのうちの対応する1つが実行される場合、前記3つの無線信号のそれぞれ対応する1つの反射を含み、前記プロセッサは、前記複数の受信アンテナの各々に関して、前記3つの反射無線信号のそれぞれに基づいて前記無線チャネルのTSCIを取得し、対応するTSCIに基づいてそれぞれが対応する3つの既知のキーのそれぞれに対応する、仮想キーボード上の3つの位置を判定し、前記3つの既知のキーの前記3つの位置と、前記仮想キーボードの異なったキーの幾何学的関係とに基づいて、前記仮想キーボード上の隣り合うキーの角度境界を計算するようにさらに構成された、システム。
項18.項17に記載のシステムであって、前記仮想キーボードは2次元配置を有し、前記3つの既知のキーは、前記仮想キーボードの異なる行および異なる列に配置される、システム。
項19.項17に記載のシステムであって、前記少なくとも1つのキーストロークに関連する前記少なくとも1つのキーを判定することは、前記少なくとも1つの位置のそれぞれについて、前記キャリブレーション中に計算された前記角度境界に従って、前記位置を表す角度方向を前記仮想キーボードにマッピングして、前記仮想キーボード上の対応するキーを判定することを含む、システム。
項20.項14に記載のシステムであって、キーストローク。前記少なくとも1つのキーストロークの前記少なくとも1つの位置を判定することは、適応サブスペーシング方法またはヒューリスティックピーク選択方法に基づいて、前記K個のピークをリファインして、少なくとも1つのリファインされたピークを取得することと、前記少なくとも1つのリファインされたピークのそれぞれに基づいて、前記少なくとも1つのキーストロークの前記少なくとも1つの位置のうちの対応する1つを判定することとをさらに含む、システム。
項21.項13に記載のシステムであって、前記少なくとも1つのキーストロークの前記少なくとも1つの位置を判定することは、ターゲット距離範囲における各キーストローク動きに関連付けられた前記バックグラウンドを差し引いたCIRのそれぞれについて、MVDR(minimum variance distortion response)に基づいて、バックグラウンドを差し引いたCIRにビームフォーミングを適用することと、前記ビームフォーミングに基づいて、それぞれがターゲット距離範囲における方位角角度および仰角角度を含む角度方向によって表される異なる位置の関数としてCIR電力を含む2次元空間スペクトルを計算することと、前記2次元空間スペクトルにおけるK個の最高CIR電力に対応するK個のピークを識別することであり、ここで、Kは、場所で同時に起こり得るキーストロークの予め定められた量である、識別することと、を含むシステム。
項22.項7に記載のシステムであって、前記動きをキーストロークとして認識することは、ターゲットの動きごとに、前記ターゲットの動きの開始時刻と前記ターゲットの動きの終了時刻との間の時間継続期間を判定することと、前記時間継続期間が所定の閾値よりも小さい場合に、前記ターゲットの動きをキーストロークとして認識することとを含む、システム。
項23.項3に記載のシステムであって、各動くオブジェクトの動きを検出することは、前記複数の受信アンテナのそれぞれによって測定されたCIR振幅の分散と所定の閾値との間の比較に基づいて、前記複数の受信アンテナの大部分によってターゲットの動きが検出されることを判定することと、前記CIR振幅の分散を最大化する距離範囲に基づいて前記ターゲットの動きのターゲット距離範囲を判定することと、含むシステム。
項24.項23に記載のシステムであって、前記動きをキーストロークとして認識することは、各ターゲットの動きについて、前記複数の受信アンテナのすべてによって測定されたCIR振幅の分散の合計を計算することと、前記合計が所定の閾値よりも小さい場合に、前記ターゲットの動きをキーストローク動きとして認識することと、を含むシステム。
項25.項2に記載のシステムは、前記表面上の前記仮想キーボードのディスプレイをさらに含み、ここで前記プロセッサは、前記少なくとも1つのキーに基づいて、コンピュータ、ピアノ、電話機、または時計のうちの少なくとも1つへのユーザの意図する入力を判定するようにさらに構成されるシステム。
項26.項1に記載のシステムであって、前記送信機および前記受信機は、前記表面の同じ面上で互いに物理的に結合されるシステム。
項27.無線追跡システムの無線デバイスであって、プロセッサと、前記プロセッサに通信可能に結合されたメモリと、前記プロセッサに通信可能に結合された受信機とを備え、前記無線追跡システムの追加の無線デバイスは、表面を含む場所の無線チャネルを通して第1の無線信号を伝達するように構成され、前記受信機は前記無線チャネルを介して第2の無線信号を受信するように構成され、前記第2の無線信号は前記場所の少なくとも1つの動くオブジェクトによる前記第1の無線信号の反射を含み、前記プロセッサは、前記第2の無線信号に基づいて前記無線チャネルのチャネル情報(CI)の時系列を取得することであって、各々のCIは、チャネル状態情報(CSI)、チャネルインパルス応答(CIR)、チャネル周波数応答(CFR)、または受信信号強度インデックス(RSSI)のうちの少なくとも1つを含む、取得することと、CIの時系列(TSCI)に基づいて前記表面上の少なくとも1つのキーストロークを検出することと、前記表面上の前記少なくとも1つのキーストロークの少なくとも1つの位置をはんていすることと、前記少なくとも1つの位置に基づいて、前記少なくとも1つのキーストロークに関連付けられた少なくとも1つのキーを判定することと、をするように構成された、無線デバイス。
項28.項27に記載の無線デバイスであって、各CIがCIRを含み、前記少なくとも1つの動くオブジェクトのそれぞれが、キーストロークを実行するために仮想キーボード上でタイプするように構成された指または先端であり、場所内の複数の空間ビンに基づいて判定された位置を有し、前記複数の空間ビンの各々は、それぞれの角度方向および前記無線デバイスから生じるそれぞれの距離範囲によって判定され、それぞれの角度方向は対応する方位角角度および対応する仰角角度によって識別される、無線デバイス。
項29.項28に記載の無線デバイスであって、前記追加の無線デバイスは、前記無線追跡システムの較正中に、前記場所の前記無線チャネルを介して3つの無線信号を送信するようにさらに構成されており、前記無線デバイスは、前記無線チャネルを介して3つの反射無線信号を受信するようにさらに構成され、前記3つの反射無線信号のそれぞれは、前記仮想キーボード上の3つの既知のキーに対応する3つのキーストロークのうちの対応する1つが実行されるときに、前記3つの無線信号のうちの対応する1つの反射を含み、前記プロセッサは、前記3つの反射無線信号のそれぞれに基づいて前記無線チャネルのTSCIを取得することと、前記仮想キーボード上の3つの位置を判定することであって、それぞれが対応するTSCIに基づいて3つの既知のキーのそれぞれに対応する、判定することと、前記3つの既知のキーの前記3つの位置と、前記仮想キーボードのさまざまなキーの幾何学的関係とに基づいて、仮想キーボード上の隣り合うキーの角度境界を計算することと、前記少なくとも1つの位置のそれぞれについて、前記角度境界に従って前記位置を表す角度方向を前記仮想キーボードにマッピングして、前記仮想キーボード上の対応するキーを判定することと、をするようにさらに構成され、無線デバイス。
項30.無線追跡システムの方法であって、表面を含む場所の無線チャネルを介して第1の無線信号を送信することと、前記無線チャネルを介して第2の無線信号を受信することであって、前記第2の無線信号は前記場所の少なくとも1つの動くオブジェクトによって前記第1の無線信号の反射を含む、第2の無線信号を受信することと、前記第2の無線信号に基づいて前記無線チャネルのチャネル情報(CI)の時系列を取得することであって、それぞれのCIはチャネル状態情報(CSI)、チャネルインパルス応答(CIR)、チャネル周波数応答(CFR)、または受信信号強度インデックス(RSSI)のうちの少なくとも1つを含む、取得することと、CIの時系列(TSCI)に基づいて前記表面上の少なくとも1つのキーストロークを検出することと、前記表面上の前記少なくとも1つのキーストロークの少なくとも1つの位置を判定することと、前記少なくとも1つの位置に基づいて少なくとも1つのキーストロークに関連する少なくとも1つのキーを判定することと、を含む。
被験者の存在はRFの信号伝搬に影響を及ぼし、例えば、人間の身体から反射されたRF信号は呼吸及び心拍によって引き起こされる胸部の動きのような身体の動きによって変調されるので、被験者のバイタル情報はチャネル伝搬特性を分析することによって明らかにすることができる。RF信号は呼吸速度(RR)と心拍数(HR)を推定するために使用できるが、各々の心拍の正確なタイミングなしに、RRとHRから心拍数変動性(HRV)を得ることはできない。正確なHRV推定は、HR推定よりもはるかに困難である。HR推定システムは通常、より高いHR推定精度を達成するために、時間領域で多数のサンプルをとり、これは、あるタイムウインドウにわたって心拍を平均化することに等しい。しかし、これらは、それぞれの心拍の厳密な時間を必要とし、以下の課題を伴うHRV推定には適用可能ではない。第1に、人間の胸部によって反射されたRF信号は呼吸および心拍の両方によって変調され、呼吸によって引き起こされる距離変化は心拍によって引き起こされるものよりも大きい。信号処理の用語法においては、信号対干渉ノイズ比(SINR)は混合された信号から心拍波を回収し分離するのには非常に低かった。第2に、心臓ポンプ動きは、最初に骨および組織を通って胸壁に到達しなければならず、その後、RF信号によって検出されなければならない。結果として、人体の骨および組織はフィルタとして作用し、したがって、信号を減衰させる。従って、RF信号で捕捉された心拍波は心電図(ECG)信号のような鋭いピークを欠き、IBIを識別することを困難にする。さらに、HRV推定のためのロバストなシステムを提供するためには、被験者ごとにHRVを推定する前に、ターゲットの個数およびそれらの位置を判定しなければならず、これも同様に自明ではない。
本開示は、汎用品オフザシェルフ(COTS)ミリメートル波(ミリ波)無線を使用する多人数HRV推定システム(以下、「mmHRV」と呼ぶ)を開示する。いくつかの実施形態では、事前の較正なしで、ユーザ数とその位置を識別するために、ターゲット検出器が考案される。ミリ波RF信号の速い減衰のため、信号の強度は、より長い距離を渡るにつれて低下する。様々な距離で被験者を検出するために、mm‐HRVは雑音レベルを推定するためにレンジ-方位角平面において2次元の一定誤警報検出器を利用でき、従ってターゲット検出のための適応閾値を提供する。位相情報はさらに、静的オブジェクト(例えば、壁、家具)をフィルタで除去するためにさらに使用される。単一の被験者に対して2つ以上の反射点があってもよい。その結果、ターゲット数を判定するために、mmHRVはそれぞれの被験者に対応するレンジ-方位角ビン(bins)を識別するために、ノンパラメトリッククラスタリングをさらに採用することができる。
いくつかの実施形態ではターゲット検出後、心拍数を推定するために、位相が呼吸運動と心拍運動の両方を含む胸部動き全体を含む合成受信信号から心拍波を抽出する必要がある。いくつかの実施形態では、呼吸運動が6~30毎分呼吸数(BPM)の周波数で4~12mmの範囲であり、一方、心拍運動は50~120BPMの周波数で0.2~0.5mmの範囲であり、両方とも準周期的信号である。この性質を利用して、mmHRVは心拍波抽出器を利用でき、これは合成信号を幾つかの帯域制限信号成分へ分解することを最適化する。分解された信号成分のうち、心拍波は、典型的な心拍信号の要件を満たす振幅および周波数を有する波である。合成信号を逐次分解することに関するアプローチと比較して、mmHRVは信号成分を同時に分解することによりエラー伝搬問題を回避できる。さらに、mmHRVシステムはターゲット検出によりマルチユーザのケースで動作することができ、同時に複数の人の心拍信号のHRVおよび/または他の統計値を同時に監視する。
次に、推定された心拍波のピークが認識されて、それぞれの心拍の厳密な時間が識別される。その結果、IBIは、連続差分の二乗平均平方根(RMSSD)、すべてのIBIの標準偏差(SDRR)、および50msを超えて異なる連続するIBIの割合(pNN50)などの、一般に使用されるHRVのメトリックを計算するために、さらに導出され、使用されることができる。
図14Aは本開示のいくつかの実施形態による、無線バイタル監視システム、例えば、mmHRVシステムのための例示的な設定を示す。図14Aに示すように、mmHRVシステムは、デバイス1400と、送信機(Tx)アンテナアレイ1401と、受信機(Rx)アンテナアレイ1402とを含む。いくつかの実施形態では、デバイス1400が28GHz、60GHz、77GHzなどの高周波帯域で動作し、帯域幅は3~5GHzである。チャネル情報を得るために、Tx1401は1つまたは複数のアンテナ、無線信号を使用して送信することができ、この無線信号は図14Aに示す場所でオブジェクトおよび人間によって反射された後に、別のRxアンテナ1402によって受信される。
図14Aに示すように、デバイス1400が位置する場所には、静的オブジェクト1408および被験者1405、1406、1407を含む複数のオブジェクトが存在し得る。mmHRVシステムはRx1402による反射信号から得られたチャネル情報に基づいて、場所内の他の静的オブジェクト1408の有無にかかわらず、場所内の複数の人物1405、1406、1407について同時にHRVを監視することができ、mmHRVシステムの実効動作に影響を及ぼすことなく、デバイス1400から異なる方向に異なるオブジェクトを配置することができる。例えば、被験者1407、被験者1405、及び椅子1408は、デバイス1400から異なる方位角角度に配置される。mmHRVシステムの実効動作に影響を及ぼすことなく、デバイス1400から異なる距離に異なるオブジェクトを配置することもできる。例えば、被験者1405および被験者1406はデバイス1400から異なった距離範囲(しかし、同じ方位角角)に位置する。異なる被験者は、mmHRVシステムの実効動作に影響を及ぼすことなく、場所内の異なる方向を向くことができる。例えば、図14Aに示すように、被験者1405、1406、1407は異なった方向を向いている。
いくつかの実施形態ではTx 1401が上述したようにボットであり、Rx1402は上述したようにオリジンである。図14AではTx 1401とRx 1402は物理的に互いに結合されているが、他の実施形態では別のデバイスに分離されていてもよい。いくつかの実施形態では、デバイス1400がレーダのように機能する。
いくつかの実施形態では、mmHRVシステムの性能を評価するために、20~60歳の11人の参加者に、異なる距離、向き、および入射角を含む異なる設定で大規模な実験を実施するように求めた。視野外(NLOS)シナリオと複数人数シナリオも調べた。いくつかの実施形態では、実験結果がmmHRVがIBI推定に対して約28msの中間エラー(96.16%精度について)で正確な推定を達成することを示した。NLOSおよびマルチユーザケースの二乗平均平方根エラー(RMSE)は依然としてそれぞれ32msおよび69ms以内である。最新の研究と比較してより良好な性能を示すHRVメトリックも評価した。mmHRVは、ユーザがデバイスから1メートル離れているとき、平均値IBIの平均値エラー3.89ms、RMSSDの平均値エラー6.43ms、SDRRの平均値エラー6.44ms、およびpNN50の平均値エラー2.52%を達成することができる。
mmHRVシステムはユーザの身体から反射されたRF信号を純粋に使用することによって被験者の心拍信号を正確に検出しそれらのHRVを推定することができる無線システムである。図14Bは、本開示のいくつかの実施形態による、mmHRVシステムの例示的な処理のワークフローを示す。いくつかの実施形態では、mmHRVシステムは周波数変調連続波(FMCW)レーダを利用してRF信号を送信し、被験者と静的オブジェクトの反射を捕捉する。
図14Bに示されるように、チャネル情報は、Rxによって捕捉された反射に基づいて、動作1410で得られる。異なる位置で被験者を検出するために、動作1420で、例えばバートレットビームフォーマによってビームフォーミングが実行され、異なる方位角レンジビンでチャネル情報が得られる。次いで、動作1430で、例えば、様々な距離および方位角角度における雑音レベルを適応的に推定し、したがって反射オブジェクトの存在を検出するターゲット検出器によってターゲット検出が行われる。位相の分散値は、被験者と静的オブジェクトとを区別するためにさらに利用される。ターゲットの個数およびそれらの位置を識別するために、ノンパラメトリッククラスタリングアルゴリズムを使用することができる。
動作1440において、呼吸および心拍の両方によって変調された位相情報から心拍信号を抽出するために、mmHRVは、位相信号をいくつかの狭帯域信号に同時に分解し、心拍波の推定を与えることができる心拍信号抽出器を工夫することができる。検出された被験者のHRVは、推定された心拍信号から導出されたインタービート間隔(IBI)に基づいて、動作1450においてさらに分析され得る。
信号モデル:いくつかの実施形態では、チャープ信号がFMCWレーダによって送信される。ここで、瞬間的送信周波数は図15に示すように、周期的な線形に増加する信号であり、次式で表すことができる
(式A1)
ここで、fcはチャープ開始周波数であり、Tcチャープ継続期間であり、Bは帯域幅である。周波数変調(FM)によれば、送信信号xT(t)は次のように表すことができる、
(式A2)
ここで、ATは送信電力である。電磁波(EM)が人間の胸部の距離d(t)で反射される場合、反射信号xR(t)は次のように表すことができる、
(式A3)
ここでは、ARは受信信号の振幅を示す。tdは往復遅延を表し、td=2d(t)/cを意味する。cは光の速度である。
受信信号を送信信号のレプリカと混合し、低域フィルタを後続すると、チャネル情報h(t)は次のように表すことができる、
(式A4)
ここで
項は、特に短距離シナリオでは無視できることに留意されたい。したがって、h(t)は次のように書くことができる、
(式A5)
これは、周波数
がターゲットの距離に依存する正弦波信号である。それぞれのチャープに対して、ベースバンド信号h(t)はアナログ-デジタル変換器(ADC)によってデジタル化され、高速時間(fast time)と呼ばれるチップ当たりのN個サンプルを生成する。チャープの送信に対応する時間は図15に示すように、低速時間(slow time)と呼ばれる。したがって、n番目のADCサンプルおよびm番目のチャープについてのデジタル化チャネル情報は、以下のように表すことができる
(式A6)
ここでTfおよびTsは、それぞれ高速時間および低速時間における時間間隔である。λcはチャープの波長を示す。
mmHRVのいくつかの実施形態では、図16に示されるように、チップセットの複数アンテナを利用することができ、2つのTxアンテナおよび4つのRxアンテナを使用することができる。方位角分解能を上げるために、チャープは2つのTxアンテナを通して順次送信することにより時分割多重(TDM)モードで伝送される。これは、図16に示すような8エレメント仮想アレイに相当する。したがって、チャネルlについて、チャネル情報は次のように書き換えることができる、
(式A7)
ここで、dlは仮想アンテナlによって導入される相対距離である。θは図16に示すように、ターゲットの方位角度である。
チャネル情報の位相は呼吸と心拍の周期的運動により、低速時間において周期的に変化する。図18Aは、システムによって収集されたバイタルサインを含む典型的な位相信号を示す。
実用上は、バイタルサイン検出に先立ってターゲット検出を行う必要がある。EM波の強い反射を伴う様々なオブジェクト(例えば壁、机、メタルオブジェクトなど)が存在する室内シナリオでは、とりわけターゲット検出を達成するのは難しい。
レンジ(range)FFTとディジタルビームフォーミング:いくつかの実施形態では、静的オブジェクトがあるときのチャネル情報は次の式である。
(式A8)
ここでd0はオブジェクトとデバイスとの間の距離で低速時間において一定のままである。
反射オブジェクトに対応するチャネル情報は高速時間における周期信号であり、周期性は式A6及びA8に示すように距離に関係する。反射オブジェクトのレンジ情報を判定するために、高速フーリエ変換(FFT)は各々のチャープについて高速時間にわたって実行されてもよく、すなわちレンジFFTを実行してもよく、チャネル情報はhr(l,m)として書かれてもよく、ここでrはレンジタップインデックスである。反射オブジェクトに対応するレンジタップは、反射オブジェクトがない場合と比較してより大きなエネルギを観測するであろう。
反射オブジェクトの方位角角度を更に判定するために、デジタルビームフォーミングは各レンジタップについて全てのアンテナエレメントにわたって実行され、レンジr及び方位角角度θに対応するチャネル情報は次のように表すことができる。
(式A9)
ここでsH(θ)は、角度θに向かうステアリングベクトルである。mmHRVのいくつかの実施形態では、バートレットビームフォーマが適用され、ここでl番目のアンテナの係数は、
(式A10)
ε(m)は、異なるレンジ方位角ビンに対して独立かつ同一に分布する(I.I.D)と仮定される加法性白色ガウス雑音である。
は全アンテナエレメントのレンジタップrにおけるチャネル情報ベクトルである。したがって、低速時間のサンプルmごとに、レンジrおよび方位角角度θを有する異なる位置ビンにおけるチャネル情報を含むチャネル情報行列h(r,θ)を有することになる。図17Bは、レンジ-方位角平面におけるチャネル情報の振幅を示す。
反射オブジェクト検出器:いくつかの実施形態では、被験者の探し出すためには、最初に、反射オブジェクトを有するレンジ-角度ビンを識別する必要がある。反射オブジェクトのないビンのチャネル情報は雑音のみを含み、したがって、反射オブジェクトのあるビンのチャネル情報のエネルギは式A6及び式A8にそれぞれ示すように、反射オブジェクトのないビンのエネルギよりも大きい。しかしながら、ターゲット検出のための普遍的な所定の閾値を見つけることは困難である。EM波の伝搬法則によれば、同じ反射オブジェクトについて、より短い距離はより大きな反射エネルギに対応する。mmHRVのいくつかの実施形態では一定誤警報率(CFAR)検出器を利用することができ、これはCFARウィンドウ(図17Aに示される)をレンジ-方位角平面(図17Bに示される)でのチャネル情報と畳み込むことによって雑音レベルを推定することができ、図17Cに示されるように、反射オブジェクトを伴う位置ビンはそのエネルギが雑音レベルを上回るものである。図17(D)はレンジ領域におけるCFAR検出の例を示しており、閾値は破線で示されている。
被験者検出器:いくつかの実施形態では、反射オブジェクト検出器が空のタップをフィルタ除去することができるが、被験者を静止反射オブジェクトから区別することはできない。静的オブジェクトとは異なり、被験者とデバイスとの間の距離は動き(例えば、呼吸および心拍)のために低速時間にわたり変化し、したがって、図18Aに示されるような位相変化を生じる。したがって、静止反射オブジェクトをさらにフィルタ除去するために、反射オブジェクト検出器によって選択された候補ビンの位相情報を活用することができる。
図18A~18Dは、被験者検出器の一例を示す。グランドトゥルースは3人の被験者がおり、そのうちの1つはデバイスから1.5m離れて方位角角度0°で座り、他の2つはデバイスから1m離れて方位角角度30°及びー30°にそれぞれ座るというものである。図18Aは被験者に対応する位相情報であり、図18Bは静的反射オブジェクトに対応する位相情報であり、図18Cは被験者検出器の結果であり、黒点は被験者に対応し、図18Dは、ターゲットごとのクラスタリング結果を示す。
EM波が被験者で反射されると、人間の動きの変調のために、位相は低速時間にわたり変化する。したがって、被験者に対応するビンには大きな位相分散がある。しかしながら、静的オブジェクトに対応するビン(例えば、机、壁等)については、位相分散が図18A及び図18Bに示されるように、ずっと小さくなるであろう。したがって、mmHRVのいくつかの実施形態では、静的オブジェクトをフィルタ除去するために、低速時間にわたる位相情報の分散を確認するとよく、被験者に対応するビンは、ある閾値を超える位相分散を有するビンである。
図18Cに示すように、被験者の体積を考慮すると、被験者に対応する2つ以上のビンが存在することになる。ターゲット数を識別するために、mmHRVはノンパラメトリッククラスタリング法、すなわち、雑音を有するアプリケーションの密度ベース空間クラスタリング(DBSCAN)アルゴリズムを利用して、いくつかの実施形態ではクラスタ数の事前知識なしに候補ビンをクラスタする。クラスタリング結果を図18(D)に示す。それぞれのクラスタの代表的は、最良の周期性を有するビンであってもよい。例えば、自己相関の第1ピークに対して最も高いピークを有するビンが選択され、これは、バイタルサインの最も高いSNRを有するビンに対応する。
心拍抽出とHRV推定:いくつかの実施形態では、HRV推定はインタービート間隔(IBI)の正確な推定を必要とする。したがって、mmHRVは胸壁の複合変位変化から心拍(別名、心拍波)によって引き起こされる変位変化を抽出し、心拍が生じる瞬間を検出することができる。
心拍抽出アルゴリズム:位相情報は、バイタルサインによって引き起こされる距離変化を反映する。簡単にするために、信号のアナログ形式を直接的に使用することができ、人間の胸部の距離変化は、以下のように書くことができる
(式A11)
ここでsm(t)、は、身体動きによって引き起こされる距離変化を示す。sr(t)及びsh(t)はそれぞれ呼吸と心拍によって引き起こされる距離変化を示している。n(t)は、ノイズによって導入されるランダムな位相オフセットであり、バイタルサインによって引き起こされる位相変化とは無関係である。
sr(t)及びsh(t)は両方とも、周期が経時的にわずかに変化しうる準周期的信号である。その上、身体動きは少数の振動、すなわちベースバンド信号を導入すると仮定することができる。従って、被験者に関係した信号はスペクトル領域で疎であり、少数の帯域制限信号でこれらの信号を再構成できる。例えば、それぞれの成分uk(t)は、分解と共に判定されるべき中心脈動ωkの周りでコンパクトであると仮定される。さらに、分解はスペクトルのスパース性とデータの忠実度を同時に達成すべきであり、それは次のようにモデル化される
(式A12)
ここで、第1の項はそれぞれの成分に関連する分析信号の帯域幅を評価し、第2項は、データ忠実度を評価する。Kは分解成分の総数であり、ここで、
はそれぞれ、すべての成分およびそれらの中心周波数についての集合である。αは、帯域幅の制約とデータ忠実度のバランスをとるためのパラメータである。
ハイパーパラメータが分かると、式(A12)の最適化問題は、収束するまで、代替的にまたは反復的にuk(t)及びωkを更新することにより解くことができる。ukを更新するために、次のようにサブ問題を記述することができる。
(式A13)
パーセバル(Parseval)の定理を使用することによって、問題は次のように書き直すことができる。
(式A14)
ここで、
は、それぞれuk(t)及びy(t)のフーリエ変換である。周波数にわたる積分をとり、変数の変更を実行した後、更新した式を得ることができ、ここで、
(式A15)
中心周波数ωkは帯域幅の制約においてのみ現れ、したがって、サブ問題は以下のように書くことができる
(式A16)
上述したように、フーリエ領域で最適を見つけることができ、次の式を得る。
(式A17)
上記の二次問題の最小化は、
(式A18)
である。
図19A~19Bは、実験からの典型的な1分間の位相信号の分解を示し、ここでは元の位相情報が4成分に分解されている。図19Aは時間領域における分解結果であり、図19Bは、それぞれの成分の対応するスペクトルである。いくつかの実施形態では、第1の成分1901は被験者の身体動きを反映し、第2の成分1902は呼吸動きであり、第3の成分1903は心拍波である。雑音は、バイタル信号と異なった振動特性を有するため図19A~19Bに示されるように、信号の分解の残留1904と同様に、異なったモードに落ちる。
一旦ハイパーパラメータが適切に定義されると、分解の問題を解決することができる。しかしながら、これらのハイパーパラメータを、心拍波抽出のための実際のアプリケーションにおいて予め定義することは困難である。第1に、人間の動きは必ずしも存在せず、人間の呼吸は強い第2高調波成分を有することがあり、成分数を判定することをさらに困難にする。さらに、ハイパーパラメータαは、分解性能にも影響を及ぼす。ハイパーパラメータをどのように選択するかを論じる前に、分解結果に対するハイパーパラメータの影響を以下に開示する。
αが小さすぎる場合、すなわち、帯域幅の制約が緩すぎる場合、Kが小さすぎると、混合の問題が起こり、その結果、2つの信号が単一の分解された成分に統合され得る。Kが大きすぎると、分解された成分の一部に雑音が含まれることがある。αが大きすぎる場合、つまり帯域幅の制約がきつすぎる場合では、Kが小さすぎると、一部のターゲット信号が雑音で破棄されることがある。Kが大きすぎる場合、信号のいくつかの重大な部分は、2つ以上の分解された成分に分離され得る。
mmHRVのいくつかの実施形態では、信号を正確に分解し、関心のある成分、すなわち心拍波を得るために、成分数K及びαを、異なるデータセットに対して適応的に変更することができる。ここでは、適切な分解結果を得るための反復処理としてKとαを変更するためのヒューリスティックな方法が開示される。心拍によって引き起こされる距離変化は、呼吸および人間の動きによって引き起こされる距離変化よりもはるかに小さいので、心拍に対応する成分が分解されると、目的関数におけるデータ忠実度制約を考慮して、呼吸および動きに対応する成分も同じように分解されるべきである。従って、心拍に対応する成分が得られるとアルゴリズムは終了する。
HRV推定:いくつかの実施形態では、一旦心拍波が抽出されると、心拍波のピークによって、それぞれの心拍に対応する厳密な時間を識別することができる。さらに精度を上げるために、ピークを抽出する前に正規化を行ってもよい。
いくつかの実施形態では、心拍波の包絡線が図20Aに破線で示すように、心拍成分の絶対値に移動平均を取ることによって推定される。雑音を減少させるために、元の心拍波に対する移動平均フィルタをさらに実行してもよい。正規化波はフィルタした心拍波と推定包絡線との比率である。したがって、IBIは、2つの隣り合う心拍間の時間の期間を計算することによって導出することができる。図20Bは心拍波のセグメントおよびそのECGグランドトゥルースを示し、ここで破線は、市販のECGセンサからのそれぞれの心拍の厳密な時間を示す。正規化された心拍波のピークはグランドトゥルースと整合し、ここで図20Cは、推定されたIBIおよびECGグランドトゥルースを示す。
HRVの特性は、IBIのシーケンスからさらに得ることができる。mmHRVのいくつかの実施形態では、HRVを評価するために以下の3つのメトリックを使用することができる。1つは連続差分の二乗平均平方根(RMSSD)であり、これは連続するIBIの変更を測定し、次式で計算することができる。
(式A19)
ここでNIBIは測定対象のIBIの総数である。全てのIBIの標準偏差(SDRR)はIBIの変動を測定し、以下のように計算することができる。
(A20)
ここで、
は各測定のIBIの経験的平均(empirical mean)である。メトリックpNN50は50ミリ秒(ms)を超えて異なる連続するIBIの割合を測定し、これは、以下によって計算することができる
(式A21)
ここで1{・}は指示関数である。
実験評価:いくつかの実施形態では、3.5m×3.2mの大きさの典型的な事務所において汎用のミリ波のFMCWレーダを活用することによって、mmHRVのシステムを試作できる。2つのTxアンテナと4つのRxアンテナをTDM-MIMOモードに設定することで、システムは理論方位角分解能15°を達成できる。視野領域(FoV)は半径約4mで水平面内に100°であり、これは典型的な部屋をカバーするのに十分である。真の心拍信号を得るために、ECGセンサを使用して、実験中にmmHRVと同時にグランドトルースを収集する。合計で、20~60歳の11人の参加者(6人の男性および5人の女性)が、LOSおよびNLOSシナリオの両方で実験を行うために招かれる。実験は被験者とレーダとの間の、異なる距離、入射角、向きおよび妨害物を含む様々な設定で行われる。
提案したシステムの性能をさらに評価するために、mmHRVシステムを、バンドパスフィルタバンク(BPFB)を用いたHRV推定技術と比較することができる。図21は、mmHRVおよびBPFB法の全体的なIBI推定精度を示す。実験は、11人の参加者を含み、15の異なる実験設定(例えば、異なる距離、入射角、向き、および妨害物)がそれぞれの参加者に対して行われる。図21に示すように、BPFBは約44msの中間エラーを生じ、90パーセンタイルエラーは約200msである。mmHRVは約28msの中間エラーを達成し、80msの90パーセンタイルエラーで、約60%BPFBを上回る。HRV推定精度を徹底的に評価するために、以下の表Iは、ユーザとデバイスの距離が約1mである参加者11人の平均IBI、RMSSD、SDRRおよびpNN50に関する推定HRV特性を示す。mHRVは、平均値IBIの平均値エラー3.89ms、RMSSDの平均値エラー6.43ms、SDRRの平均値エラー6.44ms、およびpNN50の平均値エラー2.52%を達成できることを示した。これに対応して、BPFBの平均推定エラーは、平均IBIの15.33ms、RMSSDの41.94ms、SDRRの32.59ms、およびpNN50推定の12.17%である。
表1
図22は、本開示のいくつかの実施形態による、無線バイタル監視のための例示的な方法2200のフローチャートを示す。動作2202において、第1の無線信号が場所の無線チャネルを介して送信される。動作2204において、第2の無線信号が無線チャネルを介して受信され、ここで、第2の無線信号は、場所内の少なくとも1つの反復運動を有する少なくとも1つの生物による第1の無線信号の反射を含む。動作2206において、無線チャネルのチャネル情報(CI)の時系列が第2の無線信号に基づいて取得され、それぞれのCIは、チャネル状態情報(CSI)、チャネルインパルス応答(CIR)、チャネル周波数応答(CFR)、または受信信号強度インデックス(RSSI)のうちの少なくとも1つを含む。動作2208で、少なくとも1つの生物のそれぞれについて、生物のすべての反復運動を表すバイタル信号が、複数のTSCIに基づいて生成される。動作2210で、それぞれの生物のバイタル信号から心拍信号が抽出される。動作2212で、場所内の生物ごとに、心拍信号に基づいて心拍数変動性が監視される。図22の動作の順序は、本開示の様々な実施形態に従って変更することができる。
いくつかの実施形態では、無線バイタル監視方法は以下に説明するステップs1~s8を含む。
ステップs1:複数の送信(Tx)アンテナと複数の受信(Rx)アンテナを使用してCSIをキャプチャする。ステップs2:ビームフォーミングを適用して方向性CSI(CIR など)を取得する。方向と距離がCSIに関連付けられる場合がある。ステップs3:各方向について実行されるステップs3aおよびs3bを含む、各方向におけるオブジェクトの存在を検出することによって関心方向(direction-of-interest(DoI))を判定する。
ステップs3a:それぞれの時間インスタンスについてCSI(例えば、CIRの|h(シータ、距離)|)の大きさを計算する。そして、それをタイムウインドウにわたって時間平均する。ステップs3b:時間平均された大きさレスポンスが閾値T1より大きい場合、オブジェクトが方向(すなわち方向はDoIである)に存在すると判定し、ここで閾値T1はシータと距離の方向における|h|の2次元CFARフィルタリングであってもよい。
ステップs4:各DoI(すなわち、オブジェクトの存在が検出される方向)について、オブジェクトを、(a)静的オブジェクト(例えば、家具)、(b)静止する人間(呼吸および心拍を伴う)、および(c)ステップs4a~s4eを含む無作為身体動きに分類することによって動き検出を行う。
ステップs4a:CSIの位相(例えばh(シータ,距離)の位相)のタイムウインドウでの経時変化の分散値(V)を計算する。いくつかの実施形態では、より大きな位相分散がターゲットが心拍を持つ生物であることを意味する。ステップs4b:Vが閾値T2未満である場合、動きを「静的オブジェクト」として分類する。ステップs4c:V>T2の場合、自己相関関数(ACF)を計算し、有意な特徴点(例えば、第1のピーク)P1を見つける。ステップs4d:V>T2およびP1>T3の場合、動きを「静止する人間」と分類する。ステップs4e:V>T2およびP1<T3の場合、動きを「無作為身体動き」と分類する。いくつかの実施形態では、より大きなP1がより周期的な特徴を意味する。
ステップs5:静止する被験者の数およびそれらの対応するバイタル動きを判定する。これはステップs5a~s5bを含む。
ステップs5a:関心地点(PoI)のセット(すなわち、ステップs4における静止する人間に対応する(θ、距離))をクラスタリングし、ここでPoIはクラスタ数の事前の知見なしにクラスタリングされる。すなわち、ノンパラメトリッククラスタリングされる。PoIは密度ベースの手法(例えば、DBSCAN)に基づいて分類することができ、または距離に基づいて分類することができる(例えば、2つのPoI間の距離>人間の身体の一般的な大きさ、の場合、それらは異なったクラスタに属する)。
ステップs5b:それぞれの被験者に対応するバイタル動きを生成する。2つ以上のPoIが被験者に対応する場合、例えば、PoIの位相計測値を重み付き平均することによって、対応する動きを組み合わせることができ、または、支配的(dominant)なPoIを識別することができ、バイタル動きは支配的なタップに関連付けられる。
ステップs6:それぞれの被験者について、ステップs6aのように分解を共同で最適化するか、またはステップs6bのように連続的分解かのいずれかによって、いくつかの帯域制限信号を用いてバイタル信号を分解することによって心拍信号を抽出する。
ステップs6a:ステップs6a1、s6a2およびs6a3を使用してモデル化された未加工の信号の分解を共同で最適化する。
ステップs6a1:帯域幅の制約とデータ忠実度をバランスさせるための成分数Kとパラメータαの初期設定を与えて、成分とそれらの中心周波数を交互に最適化する。
ステップs6a2:いくつかの特徴による心拍に対応する成分があるかどうかを検査することであって、信号の振幅が範囲[T4、T5]に位置し、その中心周波数が範囲[T6、T7]に位置する場合、成分が心拍波に対応する。いくつかの実施形態では、ステップs6a2で呼吸/呼吸信号を抽出することもできる。
ステップs6a3で、心拍に対応する分解された成分がある場合、ステップs7で心拍信号を正規化し、そうでない場合、成分数Kおよびトレードオフ係数αの値をアップデートし、ステップs6a1からs6a3を繰り返す。
ステップs6b:ステップs6b1、s6b2、およびs6b3を使用して心拍波を得るために未加工の信号を連続的に分解する。
ステップs6b1:支配的な(大きさが大きい)周期信号の影響を除去/抑制することによって未加工の信号を処理する(例えば、未加工の信号のフィルタリング、または支配的な周期信号を推定し、未加工の信号からそれを差し引く)。ここで、支配的な周期信号は未加工の信号に対する操作(例えば、平滑化、ローパスフィルタリング、スプライン補間、B-スプライン、3次スプライン補間、多項式フィッティング、距離/タップに基づいて適応的に選択された次数を有する多項式フィッティングなど)によって推定され得る。
ステップs6b2:処理された未加工の信号に基づいて、次に支配的な周期信号の特性を計算する。特性は、周波数変換、三角変換(trigonometric transform)、高速フーリエ変換(FFT)、ウェーブレット変換、ACFなどに基づいて計算されてもよい。また、特性は制約付き最適化(例えば、平滑さの制約(smoothness constraint)を受けるエネルギ関数の最小化)によって計算されてもよい。エネルギ関数は周波数のエネルギ(例えば、信号が融合/クラスタ化された信号であり得る、支配的成分を除去した信号のFFTのエネルギ)であり得る。
ステップs6b3:成分がいくつかの特徴による心拍に対応するかどうかを検査する。ここで、信号の振幅が範囲[T4、T5]に位置し、その中心周波数が範囲[T6、T7]に位置する場合、成分は心拍波に対応する。それが心拍に対応する場合、ステップs7で心拍信号を正規化し、そうでない場合、その成分を取り除き、次いでステップs6b2およびs6b3を繰り返す。
いくつかの実施形態では、他のモードの分解法がステップs6に対して適用することができ、ここで、モードは、例えばアンサンブル経験的モード分解(ensemble empirical mode decomposition(EEMD))によって、周波数成分、信号等として見ることができる。いくつかの実施形態では、心拍を抽出するための入力として位相情報を使用する代わりに、心拍信号/波を抽出するためにCIR振幅に依存することもできる。
ステップs7:推定された心拍波を信号の包絡線で除算して正規化する。ここで、包絡線は未加工の信号に対する操作(例えば、平滑化、低域フィルタリング、スプライン補間、B‐スプライン、3次スプライン補間、多項式フィッティング及び移動平均)によって推定できる。
ステップs8:各心拍の正確な時間を識別し、次いで、心拍数変動性(HRV)および/またはインタービート間隔の他の統計値を推定するためのインタービート間隔を計算し、ここで、各心拍の正確な時間はいくつかの方法、例えば、心拍波のピークを識別すること、ゼロクロス点を識別すること、または連続ウェーブレット変換を行った後にいくつかの特徴点を見つけることによって識別することができる。
以下の番号付き項は、無線バイタル監視の実施例を提供する。
項B1.N1個の送信アンテナを使用して場所の無線チャネルを介して第1の無線信号を送信するように構成された送信機と、N2個の受信アンテナを使用して前記無線チャネルを介して第2の無線信号を受信するように構成された受信機であって、N1およびN2は正の整数であり、前記第2の無線信号は、前記場所における少なくとも1つの反復運動を有する少なくとも1つの生物による前記第1の無線信号の反射を含む、受信機と、前記第2の無線信号に基づいて前記無線チャネルの複数のチャネル情報の時系列(TSCI)を取得するように構成されたプロセッサであって、前記複数のTSCIの各々は、前記送信機のそれぞれの送信アンテナと、前記受信機のそれぞれの受信アンテナとに関連付けられ、少なくとも1つの生物の各生物について、前記複数のTSCIに基づいて前記生物のすべての反復運動を表すバイタル信号を生成し、各生物の前記バイタル信号から心拍信号を抽出し、前記場所における各生物について前記心拍信号に基づいて心拍数変動性を監視するプロセッサと、を含む無線監視のためのシステム。
項B2.項B1に記載のシステムであって、前記少なくとも1つの生物は、人間または動物を含み、前記第1の無線信号はミリメートル波で搬送され、前記場所のそれぞれのオブジェクトは、前記場所における複数の空間ビンに基づいて判定された位置を有し、前記複数の空間ビンの各々は、前記受信機からの方向及び距離範囲によって判定され、それぞれの方向は、角度、方位角角度、または仰角角度のうちの少なくとも1つに関連付けられる、システム。
項B3.項B2に記載のシステムであって、各生物のための前記バイタル信号を生成することは、前記複数のTSCIに基づいてビームフォーミングを計算することと、前記ビームフォーミングに基づいて方向にそれぞれ関連付けられた方向性チャネル情報(CI)の時系列のセットを計算することとを含む、システム。
項B4.項B3に記載のシステムであって、各生物に対する前記バイタル信号を生成することは、それぞれの方向に関連付けられた各方向性CIについて、時間インスタンスのそれぞれについて、前記それぞれの方向に対する前記方向性CIと、経時的にCI振幅を取得するための距離範囲とに基づいて、CI振幅を計算することと、タイムウインドウに基づいて前記CI振幅の時間平均を計算することと、前記時間平均が第1の閾値よりも大きいときに前記それぞれの方向の前記距離範囲におけるオブジェクトの存在を検出することと、それぞれがオブジェクトの存在が検出される方向を含む関心方向(DoI)のセットを判定することと、をさらに含むシステム。
項B5.項B4に記載のシステムであって、前記第1の閾値は、2次元一定誤警報率(CFAR)に基づいて、前記それぞれの方向において前記距離範囲で前記CI振幅をフィルタするように適応的に決定されるシステム。
項B6.項B4に記載のシステムであって、それぞれの生物について前記バイタル信号を生成することが、前記DoIのセットの各DoIおよび各距離範囲について、タイムウインドウ内で経時的にDoIに関連付けられた方向性CIの位相分散を計算することと、前記位相分散が第2の閾値未満である場合に、前記距離範囲及び前記DoIで検出されたオブジェクトを、反復運動なしの静的オブジェクトとして分類することと、前記位相分散が前記第2の閾値以上である場合に、前記距離範囲及び前記DoIで検出されたオブジェクトを、反復運動を有する生物として分類することと、をさらに含むシステム。
項B7.項B6に記載のシステムであって、それぞれの生物について前記バイタル信号を生成することは、検出された生物ごとに複数のターゲット空間ビンを判定することであって、前記複数のターゲット空間ビンのそれぞれは、ターゲットDoIおよびターゲット距離範囲によって判定される、判定することと、ターゲット空間ビンごとに、前記ターゲット空間ビンに関連付けられた前記方向性CIに基づいて自己相関関数を計算することと、前記自己相関関数の第1のピークを判定することと、前記第1のピークが第3の閾値よりも大きい場合に、前記ターゲット空間ビンにおいて検出された生物の動きを反復運動として分類することと、前記第1のピークが前記第3の閾値以下である場合、前記ターゲット空間ビンにおいて検出された生物の動きを無作為な身体動きとして分類することと、をさらに含むシステム。
項B8.項B7に記載のシステムであって、それぞれの生物について前記バイタル信号を生成することが、関心地点(point-of-interest(PoI))のセットを計算することであって、前記PoIのセットのそれぞれのPoIは、前記PoIで検出された生物に関連付けられ、かつ、前記PoIで検出された生物の反復運動に関連付けられる場所のターゲット空間ビンである、計算することと、少なくとも1つのPoIクラスタを生成するために前記PoIのセットを総クラスタ数でクラスタ化することであって、前記PoIのセットは、クラスタ化後の前記総クラスタ数を事前に知ることなくクラスタ化され、前記PoIのセットは、前記PoIのセットに関連する密度、前記PoIのセットの任意の2つのPoI間の距離、または生物の大きさに関連する閾値のうちの少なくとも1つに基づいてクラスタ化される、クラスタ化することと、前記総クラスタ数に基づいて前記場所のターゲット生物の量を判定することと、をさらに含むシステム。
項B9.項B8に記載のシステムであって、各生物について前記バイタル信号を生成することは、前記少なくとも1つのPoIクラスタのそれぞれについて、前記PoIで測定されたCI位相の重み付き平均、または前記PoIに関連する自己相関関数の前記第1のピークの中で最も高いピークを有する支配的PoIのうちの少なくとも1つに基づいて、組み合わされた(combined)PoIを生成するために、前記PoIクラスタ内でPoIを組み合わせることと、前記組み合わされたPoIに対応するCI位相信号に基づいて、前記PoIクラスタに対応するターゲット生物のためのバイタル信号を生成することであって、前記CI位相信号は、前記ターゲット生物のすべての反復運動に関連付けられる。生成することと、をさらに含むシステム。
項B10.項B9に記載のシステムであって、前記バイタル信号から心拍信号を抽出することと、各生物について、前記CI位相信号の分解の統合最適化、または前記CI位相信号の連続分解のうちの少なくとも1つに基づいて、前記心拍信号を生成するために前記生物に関連する前記CI位相信号を分解することと、を含むシステム。
項B11.項B10に記載のシステムであって、前記統合最適化は、前記CIフェーズ信号の可能性のある信号成分の量を表す数値Kを判定することであって、Kは前記場所の生物の量以上である、判定することと、帯域幅の制約およびデータ忠実度をバランスさせるためのトレードオフ係数を判定することと、同時に前記CI位相信号のスペクトルのスパース性およびデータ忠実度を最大にする目的関数に基づいて、前記トレードオフ計数、前記CI位相信号のK個の信号成分および前記K個の信号成分の中心周波数に基づいて、前記目的関数が収束するまで、反復的に最適化することと、前記反復的に最適化することに基づいて、前記CI位相信号のK個の分解された成分を同時に生成することと、を含むシステム。
項B12.項B11のシステムであって、前記統合最適化は、前記K個の分解された成分が、第1の値の範囲内に位置する振幅を有し、かつ、第2の値の範囲内に位置する中心周波数を有する心拍成分を含むかどうかを判定することであって、前記第1の値の範囲および前記第2の値の範囲のそれぞれは、心拍統計に基づいて予め決められる、心拍成分を含むかどうかを判定することをさらに含むシステム。
項B13.項B12に記載のシステムであって、前記統合最適化は、前記K個の分解された成分に心拍成分がある場合、平滑化、ローパスフィルタリング、スプライン補間、B-スプライン、3次スプライン補間、多項式フィッティング、または移動平均のうちの少なくとも1つに基づいて、前記心拍成分の包絡線を推定することと、前記心拍成分を前記心拍成分の包絡線で除算して前記心拍成分を正規化し、前記生物の正規化心拍信号を生成することと、をさらに含むシステム。
項B14.項B12に記載のシステムであって、前記統合最適化は、前記K個の分解された成分に心拍成分がない場合、前記数Kを更新して、前記CI位相信号の起こり得る信号成分の更新された量を表す更新された数K’を生成することと、前記トレードオフ係数を更新して、帯域幅の制約およびデータ忠実度をバランスさせるための更新されたトレードオフ係数を生成することと、同時に前記CI位相信号のスペクトルのスパース性とデータ忠実度を最大化する目的関数に基づいて、前記更新されたトレードオフ係数、前記CI位相信号成分のK’個の信号成分及び前記K’個の信号成分の中心周波数に基づいて、前記目的関数の収束まで、反復的に最適化を行って、前記CI位相信号のK’個の分解された成分を同時に生成することと、をさらに含むシステム。
項B15.項B10に記載のシステムであって、前記連続分解が、平滑化、ローパスフィルタリング、スプライン補間、または多項式フィッティングのうちの少なくとも1つに基づいて、前記CI位相信号の支配的成分を推定することと、処理済みCI位相信号を生成するために前記CI位相信号から前記支配的成分を除去することと、周波数変換、三角変換、高速フーリエ変換、またはウェーブレット変換のうちの少なくとも1つを利用して、前記処理済みCI位相信号に基づいてCI位相信号の第2の支配的成分の特性を計算することと、前記特性に基づいて、前記第2の支配的成分が第1の値の範囲内に位置する振幅を有し、かつ、第2の値の範囲内に位置する中心周波数を有する心拍成分であるかどうかを判定することであって、前記第1の値の範囲および前記第2の値の範囲のそれぞれは心拍に関連する、判定することと、を含むシステム。また、前記特性は、平滑さの制約を受けるエネルギ関数の最小化によって計算されてもよい。
項B16.項B15に記載のシステムであって、前記連続分解は、前記第2の支配的成分が心拍成分である場合、平滑化、ローパスフィルタリング、スプライン補間、B-スプライン、3次スプライン補間、多項式フィッティング、または移動平均のうちの少なくとも1つに基づいて前記心拍成分の包絡線を推定することと、前記心拍成分を前記心拍成分の前記包絡線で除算して前記心拍成分を正規化し、前記生物の正規化心拍信号を生成することと、をさらに含むシステム。
項B17.項B15に記載のシステムであって、前記連続分解は、前記第2の支配的成分が心拍成分でない場合、前記第2の支配的成分を前記CI位相信号から除去して追加の処理済みCI位相信号を生成することと、前記追加の処理済みCI位相信号に基づいて前記CI位相信号の次の支配的成分の追加の特性を計算することと、前記追加の特性に基づいて、前記次の支配的成分が、前記第1の値の範囲内に位置する振幅を有し、かつ、前記第2の値の範囲内に位置する中心周波数を有する心拍成分であるかどうかを判定することと、をさらに含むシステム。前記追加の特性は、周波数変換によって、又は平滑さの制約を受けるエネルギ関数の最小化によって計算され得る。
項B18.項B10に記載のシステムであって、前記心拍数変動性を監視することは、各生物について、前記心拍信号のピークを識別すること、前記心拍信号のゼロクロス点を識別すること、または前記心拍信号について連続的なウェーブレット変換を実行することの内の少なくとも1つに基づいて、各時間インスタンスにおける前記生物についての心拍時間を判定して心拍時間を計算することと、前記心拍時間に基づいて複数のインタービート間隔を計算することと、前記インタービート間隔の統計に基づいて前記生物の心拍数変動性を推定することと、をさらに含むシステム。
項B19.項B2に記載のシステムであって、前記バイタル信号から心拍信号を抽出することが、各生物について、前記バイタル信号の周波数成分に基づく前記バイタル信号の分解、または前記生物に関連するCI振幅信号の分解のうちの少なくとも1つに基づいて前記心拍信号を生成することを含むシステム。
項B20.項B1に記載のシステムであって、前記送信機および前記受信機は、互いに物理的に結合されている、システム。
項B21.プロセッサと、前記プロセッサに通信可能に結合されたメモリと、前記プロセッサに通信可能に結合された受信機とを備える無線監視システムの無線デバイスであって、前記無線監視システムの追加の無線デバイスは場所の無線チャネルを介して第1の無線信号を送信するように構成され、前記受信機は前記無線チャネルを介して第2の無線信号を受信するように構成され、前記第2の無線信号は前記場所における少なくとも1つの反復運動を有する少なくとも1つの生物による前記第1の無線信号の反射を含み、前記プロセッサは、前記第2の無線信号に基づいて前記無線チャネルの時系列のチャネル情報(TSCI)を取得し、前記少なくとも1つの生物のそれぞれの生物について、前記TSCIに基づいて前記生物のすべての反復運動を表すバイタル信号を生成し、各生物の前記バイタル信号から心拍信号を抽出し、前記場所の各生物について、前記心拍信号に基づいて心拍数変動性を監視するように構成される、無線デバイス。
項B22.項B21に記載の無線デバイスであって、前記少なくとも1つの生物が、人間または動物を含み、前記第1の無線信号はミリメートル波で搬送され、前記場所の各オブジェクトは前記場所の複数の空間ビンに基づいて判定された位置を有し、前記複数の空間ビンのそれぞれは、受信機から生じる方向および距離範囲によって判定され、各方向は、角度、方位角角度、または仰角角度のうちの少なくとも1つに関連付けられる、無線デバイス。
項B23.項B22に記載の無線デバイスであって、それぞれの生物について前記バイタル信号を生成することは、前記TSCIに基づいてビームフォーミングを計算することと、前記ビームフォーミングに基づく方向にそれぞれ関連付けられた方向性チャネル情報(CI)の時系列のセットを計算することと、それぞれの方向に関連付けられた各方向性CIについて、各時間インスタンスについて、前記それぞれの方向についての前記方向性CIに基づくCI振幅と、経時的にCI振幅を取得するための距離範囲と、を計算することと、タイムウインドウに基づいて前記CI振幅の時間平均を計算することと、前記時間平均が第1の閾値よりも大きいときに前記それぞれの方向の距離範囲でオブジェクトの存在を検出することであって、前記第1の閾値は、2次元一定誤警報率(CFAR)に基づいてそれぞれの方向の前記距離範囲において前記CI振幅をフィルタするように適応的に判定される、検出することと、それぞれが物体の存在が検出される方向を含む関心方向(direction-of-interest's(DoI))の集合を判定することと、を含む無線デバイス。
項B24.項B23に記載の無線デバイスであって、それぞれの生物について前記バイタル信号を生成することは、前記DoIのセットの各DoIについておよび各距離範囲について、タイムウインドウにおいて経時的に前記DoIに関連付けられた方向性CIの位相分散を計算することと、前記位相分散が第2の閾値未満である場合、前記距離範囲でかつ前記DoIで検出されたオブジェクトを反復運動なしの静的オブジェクトとして分類し、前記位相分散が前記第2の閾値以上である場合、前記距離範囲でかつ前記DoIで検出されたオブジェクトを反復運動を伴う生物として分類することと、各検出された生物について複数のターゲット空間ビンを判定することであって、前記複数のターゲット空間ビンのそれぞれは、ターゲットDoIおよびターゲット距離範囲によって判定される、複数のターゲット空間ビンを判定することと、ターゲット空間ビンごとに、前記ターゲット空間ビンに関連付けられた前記方向性CIに基づいて自己相関関数を計算することと、前記自己相関関数の第1のピークを判定することと、前記第1のピークが第3の閾値より大きい場合に、前記ターゲット空間ビンにおける前記検出された生物の動きを反復運動として分類することと、前記第1のピークが前記第3の閾値以下である場合に、前記ターゲット空間ビンにおける前記検出された生物の動きをランダム身体動きとして分類することと、をさらに含む無線デバイス。
項B25.項B24に記載の無線デバイスであって、それぞれの生物について前記バイタル信号を生成することは、関心地点(PoI)のセットを計算することであって、前記PoIのセットのそれぞれのPoIは、前記PoIにおける検出された生物に関連付けられ、前記PoIにおける前記検出された生物の反復運動に関連付けられた前記場所のターゲット空間ビンである、計算することと、前記PoIのセットをクラスタリングして、総クラスタ数を有する少なくとも1つのPoIクラスタを生成することと、前記総クラスタ数に基づいて前記場所のターゲット生物の量を判定することと、前記少なくとも1つのPoIクラスタのそれぞれについて、前記PoIで測定されたCI位相の重み付き平均、または前記PoIに関連する前記自己相関関数の前記第1のピークの中で最も高いピークを有する支配的なPoIのうちの少なくとも1つに基づいて、前記PoIクラスタのPoIを組み合わせて、組み合わされたPoIを生成することと、前記組み合わされたPoIに対応するCI位相信号に基づいて、前記PoIクラスタに対応するターゲット生物のためのバイタル信号を生成することであって、前記CI位相信号は、前記ターゲット生物のすべての反復運動に関連する、バイタル信号を生成することと、をさらに含む無線デバイス。
項B26.項B21に記載の無線デバイスであって、前記バイタル信号から心拍信号を抽出することは、それぞれの生物について、CI位相信号の分解の統合最適化に基づいて前記心拍信号を生成するために前記生物に関連付けられた前記CI位相信号を分解することを含み、前記統合最適化は、前記CI位相信号の可能性のある信号成分の量を表す数Kを判定することであって、Kは前記場所の生物の量以上である、数Kを判定することと、帯域幅の制約とデータ忠実度とをバランスさせるトレードオフ係数を判定することと、スペクトルのスパース性と前記CI位相信号のデータ忠実度とを同時に最大化する目的関数に基づいて、前記トレードオフ係数、前記CI位相信号のK個の信号成分及び前記K個の信号成分の中心周波数に基づいて、前記目的関数の収束まで、反復的に最適化することと、前記反復的な最適化に基づいて前記CI位相信号のK個の分解された成分を同時に生成することと、を含む無線デバイス。
項B27.項B26に記載の無線デバイスであって、前記統合最適化は、前記K個の分解された成分が、第1の値の範囲内に位置する振幅を有し、かつ、第2の値の範囲内に位置する中心周波数を有する心拍成分を含むかどうかを判定することをさらに含み、前記第1の値の範囲および前記第2の値の範囲のそれぞれは、心拍統計に基づいて予め決められる、無線デバイス。
項B28.項B27に記載の無線デバイスであって、前記統合最適化は、前記K個の分解された成分に心拍成分がある場合、平滑化、ローパスフィルタリング、スプライン補間、B-スプライン、3次スプライン補間、多項式フィッティング、または移動平均のうちの少なくとも1つに基づいて前記心拍成分の包絡線を推定し、前記心拍成分を前記心拍成分の包絡線で除算することによって前記心拍成分を正規化して、前記生物についての正規化心拍信号を生成することをさらに含む、無線デバイス。
項B29.項B27に記載の無線デバイスであって、前記統合最適化は、前記K個の分解された成分に心拍成分がない場合、前記数Kを更新して、前記CI位相信号の可能性のある信号成分の更新された量を表す更新された数K’を生成することと、前記トレードオフ係数を更新して、帯域幅の制約とデータ忠実度とをバランスさせるための更新されたトレードオフ係数を生成することと、前記CI位相信号のスペクトルのスパース性およびデータ忠実度を同時に最大化する目的関数に基づいて、前記更新されたトレードオフ係数、前記CI位相信号のK’個の信号成分及び前記K’個の信号成分の中心周波数に基づいて、前記目的関数の収束まで反復的に最適化して、前記CI位相信号のK’個の分解された成分を同時に生成することと、をさらに含む無線デバイス。
項B30.無線監視システムの方法であって、場所の無線チャネルを介して第1の無線信号を送信することと、前記無線チャネルを介して第2の無線信号を受信することであって、前記第2の無線信号は、前記場所の複数の人間による前記第1の無線信号の反射を含む、受信することと、前記第2の無線信号に基づいて前記無線チャネルのチャネル情報の時系列(TSCI)を取得することであって、それぞれのCIは、チャネル状態情報(CSI)、チャネルインパルス応答(CIR)、チャネル周波数応答(CFR)または受信信号強度インデックス(RSSI)のうちの少なくとも1つを含む、取得することと、前記複数の人間のそれぞれについて、前記TSCIに基づいて前記人間のすべての反復運動を表すバイタル信号を生成することと、各人間の前記バイタル信号から心拍信号を抽出することと、前記複数の人間のそれぞれについて、前記心拍信号に基づく心拍数変動性を同時に監視することと、を含む方法。
本開示は、ターゲット動きが近接しているか否かを認識することに焦点を当てた近接感知システムを開示する。いくつかの実施形態では、システムには単にゼロ・エフォート・トレーニングを搭載した商用WiFiトランシーバのペアが含まれているだけで、WiFiベースの動き検出/位置特定の範囲が大幅に拡大する可能性がある。近接感知のために、システムは主に、人間が歩いている経路が何であれ、人間(またはユーザまたはターゲットとしての別のオブジェクト)と受信機(Rx)との間の距離に注意を払う。いくつかの実施形態では、システムは人間-Rx距離とサブキャリア上のCSI電力レスポンスの相関/共分散の間の関係を調査し、これに基づいて効率的な近接センシングのためにいくつかの簡単であるがロバストな特徴が発見され得る。
スマートホームセンシングおよびセキュリティの多くの用途において、ターゲットの厳密な位置に加えて、ターゲットが関心のあるセンシング領域に入ったかどうかを知ることも有益な情報を提供することができる。例えば、光やヒーターなどのスマートホーム機器は、ユーザが近づく場合に自動制御の潜在的な省エネを十分に実現でき、一方、室内監視カメラは、小さな範囲内の動きの存在でのみライブストリーミングと録画を可能にする。加えて、侵入検知器は誤警報を回避しながら、同時に関心のある検知領域に時間ターゲットを検知する必要がある。ロバストで複雑性の低い近接検知は、開示されたシステムによって実現することができる。
図23は、本開示のいくつかの実施形態による、場所における無線近接感知システム2300のための例示的な設定を示す。図23に示されるように、システム2300は送信機(Tx)2310および受信機(Rx)2320を含み、いずれも異なった部屋を有する建物内に位置する。建物内の無線マルチパスチャネルのチャネル情報を取得するために、送信機2310は、1つまたは複数のアンテナを使用して、無線信号を送信し、それは受信機2320が1つまたは複数のアンテナを使用して受信することができる。無線信号の無線伝搬の間、建物内の壁、家具及びユーザ2302、2304の人体よって引き起こされる反射、回折および散乱のために、無線信号の電波は多重経路を越えてRx2320に到着する。無線信号がこれらの多重経路を伝搬するので、ユーザ2302、2304の動きおよび位置情報を含む環境情報が受信信号によって記録される。
図23に示すように、建物内に位置する被験者2302と、建物に入る被験者2304とを含む複数のオブジェクトがあってもよい。システムは、受信機2320によって受信された信号から得られたチャネル情報に基づいて、建物内のそれぞれのオブジェクトまたは被験者の近接情報を計算することができる。近接情報は、各々のオブジェクトと受信機2320との間の距離を含むことができる。異なるオブジェクトは、受信機2320から異なる距離に位置してもよい。例えば、被験者2302はRx2320からの距離D1 2332で配置され、被験者2304はRx 2320からの距離D2 2334で配置される。したがって、システムは動くオブジェクトと受信機2320との間の距離を監視することができ、したがって、監視された距離に基づいて作業を実行またはトリガすることができる。いくつかの実施形態では送信機2310が上述したようにボットであり、受信機2320は上述したようにオリジンである。図23ではTx2310とRx 2320とが物理的に分離されているが、他の実施形態ではこれらは互いに結合されてもよい。
本開示は近接における動きを検出するためのいくつかの効率的な特徴を示し、それらは周波数領域にわたる相関と共分散に基づいて抽出される。無線通信では、チャネル周波数応答(CFR)とも呼ばれるCSIが送信機(Tx)からRxへの信号の伝搬を描写する。ある時点tでの周波数fを有するサブキャリア上のCSIの推定値はそれぞれ、送信された信号および受信された信号示すX(f,t)及びY(f,t)で
として表すことができる。CSIは今は主流のWiFiデバイスでアクセス可能である。WiFi信号が伝搬環境によって変更されることを利用することによって、屋内WiFiセンシングシステムは、受信されたCSIの変化を通じて環境内の活動をキャプチャすることができる。
受信されたCSIの挙動を分析するために、重ね合わせの原則に基づいて、H(t,f)を次式のように様々なスキャッタによって寄与される信号の合計に分解することができる。
(式B1)
ここでΩs(t)およびΩd(t)は、それぞれ、静的スキャッタおよび移動スキャッタの集合を示し、一方、Hs(t,f)及びHd(t,f)は対応する重ねられた静的および動的信号である。しかしながら、実際には、測定されたH(t,f)はキャリア周波数オフセット(CFO)、サンプリング周波数オフセット(SFO)、シンボルタイミングオフセット(STO)、および位相ロックループ(PLL)のジッタを含む厳しい同期エラーにより損なわれている。これらのエラーはCSI位相を著しく歪ませる可能性があり、これは、さらなる処理の前に較正される必要がある。CSI振幅への影響は無視でき、従って、CSI測定値Hmeasure(t,f)の電力レスポンスG(t,f)を利用することができ、それはその大きさの2乗として定義され、次の形態をとる。
(式B2)
ここでμ(t,f)は信号伝搬の総電力であり、ε(t、f)は平均が0かつ
の分散がある加法性白色ガウス雑音と仮定される計測エラーを示す。μ(t,f)およびε(t、f)の間の無相関性及びε(t、f)の白色性を仮定すると、2つの周波数f1及びf2にわたるG(t,f)の相互共分散は、
(式B3)
として導出される。ここで、δ(・)はディラックデルタ関数であり、σε(f)は固定したfに対して一定であると考えられる。したがって、以下では、γG(f1,f2)の特性を調べるために、第1項
に焦点を当てるだけでよい。γμ(f1,f2)を分析するために、μ(t,f)を次のようにさらに分解することができる、
(式B4)
その中で、静的信号Hs(t,f)の成分は一定に保たれ、その電力|Hs(t,f)|2も同様である。Hd(t,f)は多数のマルチパスダイナミック無線により寄与された重ねられた信号であり、中心極限定理を通して円形複素ガウス分布に従い、従ってレイリー分布振幅と一様分布位相を持つ。したがって、
は両方ともゼロ平均を有する。壁のような空間内の大きな静的反射体によって反射される静的信号|Hs(t,f)|の振幅と比較して、動的信号|Hd(t,f)|の振幅は非常に小さく、従って、成分|Hd(t,f)|2は無視できるほど小さく、γμ(f1,f2)は次のように計算できる
(式B5)
ここで
は、すべての実現におけるアンサンブル平均を表しており、Re{・}は複素数の実数部分をとる演算を示す。
Hs(f)はAs(f)ejΦs(f)と、Hd(t,f)はAd(t,f)ejΦd(t,f)と書くことができる。f2→f1のとき、静的信号成分についてHs(f2)→Hs(f1)及びHd(t,f2)→Hd(t,f1)、すなわち、As(f1)→As(f2)およびΦs(f1)→Φs(f2)があり得、一方、動的信号成分について、Ad(t,f1)→Ad(t,f2)及びΦd(t,f1)→Φd(t,f2)であり得る。そうすれば
(式B6)
ここでNは、アンサンブル平均演算のためのサンプル数である。前述のように、Φd(t,f1)は0と2πの間で一様に分布する。したがって、f2→f1のとき、(B6)式中
はまた、振幅に依存しない[0、π]にわたる均一な配分に従う。すなわち、同様なf1とf2とで
であり得る。このような場合、式(B5)は、次のように近似することができる
(式B7)
ここで、Im{・}は、複素数の虚数部をとる演算を示す。
は、周波数f1と周波数f2での静的信号の振幅に関連する正の定数係数である。f2→f1とするときに、Φs(f1)-Φs(f2)→0及びcos(Φs(f1)-Φs(f2))→1、sin(Φs(f1)-Φs(f2))→0であり得る。したがって、式(B7)を、
(式B8)
としてさらに単純化することができる。ここで
は正の定数である。そして、式(B3)のγG(f1,f2)は、次のように書き換えることができる
(式B9)
ここでは
はHd(t,f1)とHd(t,f2)との間の共分散を計算する。相互共分散と相互相関の関係によれば、γG(f1,f2)は相互相関の形で次のように書き換えることができる。
(式B10)
動的信号の分散は、
で示され、ρd(f1、f2)はHd(t,f1)とHd(t、f2)との間の相関係数を表す。G(f1)及びG(f2)の対応する相互相関関数ρG(f1,f2)は、以下によって得られる、
(式B11)
γG(f1,f2)とρG(f1、f2)とが人間-Rxの距離と共にどのように変化するかを調べるために、式(B10)及び式(B11)のそれぞれの成分を調べてもよい。項
は、人間-Rxの距離が増加することにつれて減少する、人間の身体から反射される動的エネルギを表す。人間-Rxの距離でRe{ρd(f1,f2)}がどのように振る舞うかを探求するために、通信分野におけるマルチパスモデルにたよることができる。
屋内での無線無線伝搬の間、室内環境での壁、家具および人間の身体によって引き起こされる反射、回折およびスキャッタにより、無線波は複数の経路を介してRxに到着する。信号がこれらの複数の経路を伝搬するにつれて、受信された信号によって環境情報が記録される。マルチパス成分のL個の独立したクラスタにより、マルチパスチャネルh(t)は、以下のように定義することができる、
(式B12)
ここでβlは第l番目のマルチパス成分(MPC)の係数を指し、τlはβlに関連する遅延である。次に、周波数領域で推定されたCSIは、以下のように書くことができ、
(式B13)
これは複素数であり、市販のWiFiの物理層から得ることができる。
マルチパス伝搬の統計的特徴は、送信遅延とチャネルゲインの間の関係を特徴づける、|h(t,τ)|2によって与えられる電力遅延プロファイル(PDP)を用いて評価できる。
特定の時間tにおけるMPCのエネルギは簡単にするために減衰率αを有する指数関数的包絡線に従うと仮定することができ、
をもたらし、
は第1のタップのエネルギである。PDPのフーリエ変換は伝達関数H(f)の周波数相関関数を与え、RH(Δf)で表される。連続の
について、周波数相関関数は
として導出することができ、平均電力ゲインは設定Δf=0、すなわち
によって得られる。したがって、正規化された周波数相関関数は
、その実数部は
である。Δf固定では、減衰率αが小さいほどRe{ρH(Δf)}は小さくなる。20MHz/40MHz WiFiの限られた帯域幅を考慮すると、複数の弱いMPCが合計して単一の分解可能なMPCになり、τを離散的にする。しかしながら、より小さな減衰率αはより「フラット」なPDPを反映しており、これは、周波数領域における「より狭い」ピークに対応し、従って、固定されたΔfではより小さなRe{ρH(Δf)}になる。極端な場合には、全てのMPCが同じエネルギーを有するとき、Re{ρH(Δf)}は、Δf=0でのみゼロでない値が現れるδ(Δf)になる。
TxがRxに近いとき、TxとRxとの間の直接リンクに沿った見通し線(LOS)信号は主成分として伝搬を支配するが、より大きな到達遅延での信号はより小さな電力をもたらし、これは図24Aが示すように大きなαを示し、従って、Δf固定についてはより小さなRe{ρH(Δf)}になる。TxがRxから離れるにつれ、振幅減衰のために、Rx側で主成分の影響が減少するが、より大きな遅延タップでのスキャッタ場は、より豊富なスキャッタ/反射のために顕著になり、これは図24Bが示すように、無線チャネルの時間分散をもたらし、指数関数的減衰αの速度を低下させる。従って、Re{ρH(Δf)}はより大きなTx‐Rxの距離で減少する。換言すれば、Re{ρH(Δf)}はTx-Rxの距離を示す。
人がRxの近傍を移動するとき、元の信号の減衰され遅延されたコピーが、身体からの反射によって生成され、様々な経路を介して送信される。したがって、動く人間の身体は、Tx’で表される動的な仮想送信機と見なすことができる。動く人間の身体のみから反射される動的信号を考慮すると、人間の身体がRxからどのくらい離れているかを、Re{ρd(Δf)}、すなわち、CSI動的成分Hd(t、f)の異なる周波数間の周波数相関関数を評価することにより大まかに予測することができる。固定されたΔfでのより大きなRe{ρd(Δf)}は人間の身体が近づいていることを示す。しかし、重ねられた信号から動的成分を分離し、Re{ρd(Δf)}を直接的に推定することは、マルチパス効果のために容易ではない。しかし、式(B11)に基づくρGとρdとの間の関係によれば、十分に小さなΔfでρG(Δ)を計算することによってRe{ρd(Δf)}を評価することができ、これは、単に、CSI電力レスポンスの周波数相関関数である。
CSI位相に関する仮定を検証する必要があるかもしれない。著しいCSI位相歪みのために、真の位相を得るために完全に位相をサニタイズすることを実行することは困難である。位相の較正に続いて、未処理の位相読み取り値に対して線形変換を実行することができる。次に、クリーンにされたCSIの平均値を取得し、CSI平均値を減算することにより、HsとHdとをそれぞれ推定でき、それらは
として示される。図25Aは、900個のサンプルによる隣接するサブキャリアにわたる
の位相合計の分布を示す。隣接するサブキャリアをf1およびf2として表すと、式B6のΦd(t,f1)+Φd(t,f2)に対応するそれらの位相の合計は、[-π、π]にほぼ均一に分布し、近似式B7の仮定を満たす。図25Bは、150個のサンプルによる隣り合うサブキャリア間のHsの位相差分の分布を示す。図示されるように、式B7のΦs(f1)-Φs(f2)に対応する位相差分は、隣り合うサブキャリア間で小さく、近似式B8の要件を満たす。このようなケースでは、ρG(f1,f2)は式(B11)の形式として近似することができ、Re{ρd(f1,f2)}として一貫した挙動を有し、つまり、Tx’-Rxの距離が減少するにつれてρG(f1,f2)は低下します。ここでf1とf2は隣接するサブキャリアである。図26および図27は、それぞれ、2つの隣接するサブキャリアのG(t)の静的および動的ケースを示す。予想されるように、近接において動きがない場合、2つのサブキャリア上のG(t)の変動はランダムであるが、近くの人間の動きは、同様に連続するサブキャリア上のCSI電力応答に影響し、これら2つのサブキャリア間の電力G(t)の高い正の相関を意味する。
図28A~28Cは、人が異なった距離で動くときのサブキャリア間のサンプル相関係数を示す。予想されるように、とりわけ隣接するサブキャリア間の相関を反映する対角に近い値に対して人間の身体が離れるにつれてρG(Δf)は劣化する。同様に、式(B9)に基づいて、γGの変化はγμの傾向と一致する。したがって、サブキャリアγG間の共分散は、Tx’-Rxの距離も反映する。図29A~29Cに示されるように、Tx’-Rx距離が小さくなるにつれて、周波数共分散行列の対角要素およびほぼ対角要素は大きくなる。すなわち、γG(Δf)は、とりわけ小さなΔfで、近傍の動きを示す。
CSIを取得した後、システムは以下に説明するように、近接を計算するために複数の動作を実装することができる。
CSI前処理:未処理のCSIサンプルは、市販のWiFiデバイスによって収集され、測定されてもよい。Wi-Fiデバイスは、自動ゲインコントローラに起因するCSIの変化する振幅を報告することができるので、システムは次のように、k番目のサブキャリア上のサンプルパワーレスポンスを正規化することによってCSIシーケンスを前処理することができる
(式B14)
ここでNsはサブキャリアの数であり、Hrawは報告されたCSIである。
特徴抽出:サブキャリア相関。図28A~28Cのパターンに触発されて、システムは隣り合うサブキャリアにわたって相関係数を平均化し、近接における動きを検出するために以下のメトリックを採用してもよい。
(式B15)
ここでkはサブキャリアのインデックスであり、fkは対応するサブキャリア周波数である。
サブキャリア共分散。先に図29A~29Cに示されるように、Tx’-Rx距離情報は、隣接するサブキャリア間の共分散に埋め込まれる。同様に、異なるサブキャリアにおけるCSIの共同変動性を捕捉するために、システムは、Rにおける対角線に近い要素を考慮に入れ、それらを特徴として平均化し、
(式B16)
閾値ベースの検出は、存在/近接センシングのために採用されてもよい。MρまたはMγと人間(Tx’)-Rx距離との間の単調な関係に基づいて、閾値ベースの手法が検出のために適用されてもよい。具体的な閾値は必要とされない場合があり、システムは様々な閾値を用いて真陽性率(TPR)ならびに偽陽性率(FPR)を計算でき、2つのメトリックについて受信機動作特性(ROC)曲線をそれぞれ生成することができる。ここで、TPRはRxに近い全ての動きの中で正しく検出された近傍の動きの比率であり、FPRは、近くの動きとして間違えられた遠くの動きの割合である。
評価:市販の既製品のWiFiデバイスを用いて、典型的な事務所環境における近接/存在センシングの性能を評価することができる。様々な実生活シナリオにおける大規模な実験は、提示された近接センシング方式は、廊下および部屋の環境においてそれぞれ90%および99%を超える真陽性率を達成することができ、一方で対応する偽陽性率を5%未満および1%未満に維持する。さらに、提案方式の応答性は、2mの検出距離について1.5s内の測定検出遅延により検証された。
図30は、本開示のいくつかの実施形態による、無線近接センシングのための例示的な方法3000のフローチャートを示す。動作3002において、第1の無線信号が場所の無線マルチパスチャネルを介して送信される。動作3004では、第2の無線信号が無線マルチパスチャネルを介して受信され、第2の無線信号は場所のオブジェクトの動きによって影響を受ける無線マルチパスチャネルのために第1の無線信号とは異なる。動作3006において、無線チャネルのチャネル情報の時系列(TSCI)が第2の無線信号に基づいて取得され、TSCIのそれぞれのチャネル情報(CI)は、複数のCI成分を含む。動作3008において、複数のCI成分に基づいて成分間統計が計算される。動作3010では、成分間統計に基づいて、場所の基準位置に対するオブジェクトの近接が計算される。動作3012では、オブジェクトの近接に基づいてタスクが実行される。図30の動作の順序は、本開示の様々な実施形態に従って変更することができる。
図31は、本開示の一実施形態による、無線システムの第1の無線デバイス、例えばボット3100の例示的なブロック図を示す。ボット3100は、本明細書で説明する様々な方法を実施するように構成することができるデバイスの一例である。図31に示すように、ボット3100は、プロセッサ3102、メモリ3104、送信機3112及び受信機3114を含むトランスセイバー3110、同期コントローラ3106、電力モジュール3108、オプションキャリア構成部3120及び無線信号発生器3122を含む住宅3140を含む。
この実施形態では、プロセッサ3102がボット3100の一般的動作を制御し、プロセッサ3102は、中央処理装置(CPU)および/または汎用マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)プログラマブルロジックデバイス(PLD)、コントローラ、状態マシン、ゲートロジック、ディスクリートハードウェア構成、専用ハードウェア有限状態マシン、またはデータの演算または他の操作を実行することができる任意の他の好適な回路、デバイスおよび/または構造の組み合わせなどの1つまたは複数の処理回路またはモジュールを含むことができる。
読み出し専用メモリ(ROM)とランダムアクセスメモリ(RAM)の両方を含むことができるメモリ3104は、プロセッサ3102に命令およびデータを提供することができる。メモリ3104の一部は、不揮発性ランダムアクセスメモリ(NVRAM)を含むこともできる。プロセッサ3102は、典型的にはメモリ3104内に記憶されたプログラム命令に基づいて、論理及び演算動作を実行する。メモリ3104に記憶された命令(またはソフトウェア)は、本明細書に記載する方法を実行するためにプロセッサ3102によって実行することができる。プロセッサ3102とメモリ3104は共にソフトウェアを格納し実行するプロセッシングシステムを形成する。本明細書において、「ソフトウェア」とはソフトウェア、ファームウェア、ミドルウェア、マイクロコードなどと称されるかを問わず、任意のタイプの命令を意味し、これらは1つ以上の所望の機能または処理を実行するようにマシンまたはデバイスを構成することができる。命令はコードを含むことができる(例えば、ソースコードフォーマット、バイナリコードフォーマット、実行可能コードフォーマット、または任意の他の適切なフォーマットのコード)。命令は1つ以上のプロセッサによって実行されるとき、本明細書に記載する様々な機能を処理システムに実行させる。
送信機3112および受信機3114を含むトランシーバ3110は、ボット3100が遠隔デバイス(例えば、オリジンまたは別のボット)との間でデータを送受信することを可能にする。アンテナ3150は、典型的には筐体3140に取り付けられ、送受信機3110に電気的に結合される。様々な実施形態では、ボット3100が複数の送信機、複数の受信機、および複数のトランシーバを含む(図示せず)。一実施形態では、アンテナ3150は、それぞれが別個の方向を指す複数のビームを形成することができるマルチアンテナアレイ3150に置き換えられる。送信機3112は様々なタイプまたは機能を有する信号を無線で送信するように構成することができ、そのような信号は、プロセッサ3102によって生成される。同様に、受信機3114は異なるタイプまたは機能を有する無線信号を受信するように構成され、プロセッサ3102は複数の異なるタイプの信号を処理するように構成される。
この例におけるボット3100は本明細書に開示される任意のシステムにおけるボットまたは送信機、例えば、場所における、図1Aにおける仮想キーボードシステムのボット110、図14Aにおける無線バイタル監視システムのボット1401、または無線近接センシングのための図23におけるボット2310、として用いられ得る。例えば、無線信号発生器3122は送信機3112を介して、場所の無線チャネルを通る無線信号を生成し、送信し得る。無線信号は、チャネルの情報を搬送する。無線信号は場所のオブジェクトまたは人間によって反射または回折またはスキャッタされるので、チャネル情報はオブジェクトまたは人間の近接情報を含む。無線信号発生器3122における無線信号の生成は別のデバイス、例えば、オリジンからの無線近接センシングの要請に基づいてもよく、またはシステムの事前構成に基づいてもよい。すなわち、ボット3100は、送信された無線信号が無線動き追跡,無線バイタル監視または無線近接センシングのために使用されることを知っていても、いなくてもよい。
この例における同期コントローラ3106はボット3100の動作を、別のデバイス、例えば、オリジンまたは別のボットと同期または非同期になるように制御するように構成され得る。一実施形態では、同期コントローラ3106がボット3100によって送信された無線信号を受信するオリジンと同期するようにボット3100を制御してもよい。別の実施形態では、同期コントローラ3106が他のボットと非同期に無線信号を送信するようにボット3100を制御することができる。別の実施形態では、ボット3100および他のボットのそれぞれは無線信号を個別に非同期で送信することができる。
キャリア構成部3120は無線信号発生器3122によって生成された無線信号を送信するための送信リソース(例えば、時間および搬送波)を構成するための、ボット3100内のオプションの構成である。一実施形態では、CIの時系列の各CIが無線信号の送信のキャリアまたはサブキャリアにそれぞれ対応する1つまたは複数の成分を有する。無線近接センシングは、成分の任意の1つまたは任意の組み合わせに基づくことができる。
電力モジュール3108は、1つまたは複数のバッテリーなどの電源と、図31の上述のモジュールのそれぞれに制御された電力を供給するパワーレギュレータとを含むことができる。いくつかの実施形態では、ボット3100が専用の外部電源(例えば、壁面電源コンセント)に接続される場合、電力モジュール3108は変圧器およびパワーレギュレータを含むことができる。
上述の様々なモジュールは、バスシステム3130によって互いに結合される。バスシステム3130はデータバス、および、例えば、データバスに加えて、電力バス、制御信号バス、および/または状態信号バスを含むことができる。ボット3100のモジュールは、任意の好適な技術および媒体を使用して、互いに動作可能に結合され得ることが理解される。
複数の別個のモジュールまたは構成が図31に示されているが、当業者はモジュールのうちの1つまたは複数を組み合わせるか、または共通的に実装することができることを理解するのであろう。例えば、プロセッサ3102は、プロセッサ3102に関して上述した機能を実施することができるだけでなく、無線信号発生器3122に関して上述した機能を実施することもできる。逆に、図31に示すモジュールのそれぞれは、複数の別個の部品または要素を使用して実装することができる。
図32は、本開示の一実施形態による、無線システムの第2の無線デバイス、例えばオリジン3200の例示的ブロック図を示す。オリジン3200は、本明細書で説明する様々な方法を実施するように構成することができるデバイスの一例である。この例におけるオリジン3200は本明細書に開示される任意のシステムにおけるオリジン又は受信機、例えば、場所における、図1Aにおける仮想キーボードシステムのオリジン120、図14Aにおける無線バイタル監視システムのオリジン1402、またはオリジンにおける無線近接センシングのための図23におけるオリジン2320、として用いられ得る。図32に示すように、オリジン3200は、プロセッサ3202、メモリ3204、送信機3212及び受信機3214を含む送受信機3210、電力モジュール3208、同期コントローラ3206、チャネル情報抽出部3220、及びオプションの動き検出器3222を含む筐体3240を含む。
この実施形態ではプロセッサ3202、メモリ3204、送受信機3210、および電力モジュール3208は、ボット3100内のプロセッサ3102、メモリ3104、送受信機3110、および電力モジュール3108と同様に機能する。アンテナ3250またはマルチアンテナアレイ3250は、典型的には筐体3240に取り付けられ、送受信機3210に電気的に結合される。
オリジン3200は第1の無線デバイスとは別のタイプを有する第2の無線デバイス(例えば、ボット3100)であってもよい。特に、オリジン3200内のチャネル情報抽出部3220は無線チャネルを介して無線信号を受信し、無線信号に基づいて無線チャネルのチャネル情報(CI)の時系列を取得するように構成される。チャネル情報抽出部3220は抽出されたCIを、場所の無線近接センシングのために、オプションの動き検出器3222に、またはオリジン3200の外の動き検出器に送ってもよい。
動き検出器3222は、オリジン3200のオプションの構成である。一実施形態では、図32に示すように、オリジン3200内にある。別の実施形態では、それはオリジン3200の外部の別のデバイス内にあり、それはボット、別のオリジン、クラウドサーバ、フォグサーバ、ローカルサーバ、およびエッジサーバとすることができる。オプションの動き検出器3222は、場所のオブジェクトまたは人間の情報を検出するように構成することができる。検出された情報は、無線動き追跡,無線バイタル監視および/または無線近接センシングのために、動き検出器3222またはオリジン3200の外部の別の動き検出器によるCIの時系列に基づいて計算される。
この例における同期コントローラ3206は、例えばボット、別のオリジン、または独立した動き検出器などの別のデバイスと同期するか、同期しないようにオリジン3200の動作を制御するように構成されてもよい。一実施形態では、同期コントローラ3206が無線信号を送信するボットと同期するようにオリジン3200を制御してもよい。別の実施形態では、同期コントローラ3206が他のオリジンと非同期に無線信号を受信するようにオリジン3200を制御することができる。別の実施形態では、オリジン3200および他のオリジンの各々が個別にかつ非同期に無線信号を受信することができる。一実施形態では、オプションの動き検出器3222またはオリジン3200の外部の動き検出器がCIのそれぞれのCIの時系列に基づいてそれぞれの異種な動きおよび近接情報を非同期的に計算するように構成される。
上述した種々のモジュールは、バスシステム3230によって互いに結合されている。バスシステム3230はデータバス、および、例えば、データバスに加えて、電力バス、制御信号バス、および/または状態信号バスを含むことができる。オリジン3200のモジュールは、任意の好適な技術および媒体を使用して、互いに動作可能に結合され得ることが理解される。
複数の別個のモジュールまたは構成が図32に示されているが、当業者はモジュールのうちの1つまたは複数を組み合わせるか、または共通的に実装することができることを理解するのであろう。例えば、プロセッサ3202は、プロセッサ3202に関して上述した機能を実施することができるだけでなく、動き検出器3222に関して上述した機能も実施することができる。逆に、図32に示すモジュールのそれぞれは、複数の別個の成分または要素を使用して実装することができる。
以下の番号付けされた項は、無線近接感知のための実施例を提供する。
項C1.無線近接センシングシステムの方法/デバイス/システム/ソフトウェアであって、場所の無線マルチパスチャネルを介して前記システムのタイプ1異種無線デバイスから無線信号を送信することであって、前記無線マルチパスチャネルは前記場所のオブジェクトの動きによって影響を受ける、送信することと、前記無線マルチパスチャネルを介して前記システムのタイプ2異種無線デバイスによって前記無線信号を受信することであって、前記受信した信号は前記場所の前記無線マルチパスチャネル及び前記オブジェクトの前記動きのために前記送信された信号と異なる、受信することと、プロセッサ、メモリ及び命令のセットを使って前記受信した信号に基づいて前記無線マルチパスチャネルのチャネル情報の時系列(TSCI)を取得することであって、各チャネル情報(CI)はN1個のCI成分を含み、各CI成分はインデックスに関連する、取得することと、2つ以上のCI成分に基づいて成分間統計を計算することと、前記成分間統計に基づいて前記オブジェクトの近接情報を計算することと、を含む方法/デバイス/システム/ソフトウェア。
項C2.項C1に記載の無線近接センシングシステムの方法/デバイス/システム/ソフトウェアであって、前記オブジェクトの前記近接情報が基準位置に対するものである、方法/デバイス/システム/ソフトウェア。
項C3.項C2に記載の無線近接センシングシステムの方法/デバイス/システム/ソフトウェアであって、前記基準位置が、タイプ1デバイスまたはタイプ2デバイスのうちの1つの位置である、方法/デバイス/システム/ソフトウェア。
項C4.項C2に記載の無線近接センシングシステムの方法/デバイス/システム/ソフトウェアであって、前記基準位置の近傍は複数のセグメントにセグメント化され、前記近接情報は前記オブジェクトを特定のセグメントに関連づける、方法/デバイス/システム/ソフトウェア。
項C5.項C4に記載の無線近接センシングシステムの方法/デバイス/システム/ソフトウェアであって、前記オブジェクトを前記成分間統計に基づいて前記特定のセグメントに関連付けることをさらに含む、方法/デバイス/システム/ソフトウェア。
項C6.項C2に記載の無線近接センシングシステムの方法/デバイス/システム/ソフトウェアであって、前記オブジェクトの前記近接情報は、前記基準位置に対する近接分類のセットに関する前記オブジェクトの近接分類である、方法/デバイス/システム/ソフトウェア。
項C7.項C6に記載の無線近接センシングシステムの方法/デバイス/システム/ソフトウェアであって、前記成分間統計に基づいて近接分類の前記セットに関して前記オブジェクトを分類する、方法/デバイス/システム/ソフトウェア。
項C8.項C1に記載の無線近接センシングシステムの方法/デバイス/システム/ソフトウェアであって、複数の多成分統計を計算することであって、各多成分統計は複数のCI成分に基づく、計算することと、前記複数の多成分統計に基づいて前記成分間統計を計算することと、をさらに含む方法/デバイス/システム/ソフトウェア。
項C9.項C8に記載の無線近接センシングシステムの方法/デバイス/システム/ソフトウェアであって、すべての多成分統計は同量のCI成分に基づく、方法/デバイス/システム/ソフトウェア。
項C10.項C9に記載の無線近接センシングシステムの方法/デバイス/システム/ソフトウェアであって、各多成分統計がペアワイズ統計であり、各ペアワイズ統計がCI成分のペアに基づく、ペアワイズ統計の数を計算することと、前記ペアワイズ統計の数に基づいて成分間統計を計算することと、をさらに含む方法/デバイス/システム/ソフトウェア。
項C11.項C10に記載の無線近接センシングシステムの方法/デバイス/システム/ソフトウェアであって、N1個のCI成分をCI成分の2つ以上の選択されたペアに配置することと、ペアワイズ統計の数を計算することとをさらに含み、各ペアワイズ統計は、それぞれの選択されたペアに関連付けられる、方法/デバイス/システム/ソフトウェア。
項C12.項C11に記載の無線近接センシングシステムの方法/デバイス/システム/ソフトウェアであって、第1のインデックスに関連付けられた第1のCI成分と、第2のインデックスに関連付けられた第2のCI成分とを含むCI成分の選択されたペアのそれぞれが、前記第1のインデックスと前記第2のインデックスとの間の差であるインデックス差分(ID)に関連付けられ、すべての選択されたペアの前記IDが共通のID値に等しくなるように、CI成分の2つ以上の選択されたペアを選択することであって、前記共通のID値は1、2、3、または50未満の別の数のうちの1つに等しい選択する。
項C13.項C1に記載の無線近接センシングシステムの方法/デバイス/システム/ソフトウェアであって(注:この項Cが項C12に従属することができる)、2つ以上のCI成分の特性を計算することであって、それぞれのCI成分の特性はそれぞれのCI成分の特性であり、前記特性は、大きさ、位相、実数成分、虚数成分、マッピング、またはこれらのいずれかのファンクションのうちの少なくとも1つを含む、計算することと、前記2つ以上のCI成分の前記それぞれの特性に基づいて成分間統計を計算することと、をさらに含む方法/デバイス/システム/ソフトウェア。
項C14.項C13に記載の無線近接センシングシステムの方法/デバイス/システム/ソフトウェアであって、前記TSCIのCIのタイムウインドウに基づいて、現在時刻における成分間統計を計算することをさらに含み、前記タイムウインドウは前記現在時刻に関連付けられる、方法/デバイス/システム/ソフトウェア。
項C15.項C14に記載の無線近接センシングシステムの方法/デバイス/システム/ソフトウェアであって、前記タイムウインドウの前記TSCIの各CIの前記各CI成分の前記CI成分の特性を計算することと、前記現在時刻に関連付けられた前記タイムウインドウの前記TSCIの各CIの前記各CI成分の前記CI成分の特性に基づいて、前記現在時刻における前記成分間統計を計算することと、をさらに含む方法/デバイス/システム/ソフトウェア。
項C16.項C15に記載の無線近接センシングシステムの方法/デバイス/システム/ソフトウェアであって、複数の多成分統計を計算することであって、前記タイムウインドウの前記TSCIの各CIの複数のCI成分のCI成分の特性に基づく各多成分統計と、前記複数の多成分統計に基づいて、前記現在時刻での前記成分間統計を計算することと、をさらに含む方法/デバイス/システム/ソフトウェア。
項C17.項C15に記載の無線近接センシングシステムの方法/デバイス/システム/ソフトウエアであって、複数のペアワイズ統計を計算することであって、前記タイムウインドウの前記TSCIの各CIのCI成分のペアのCI成分の特性に基づく各ペアワイズ統計と、前記複数のペアワイズ統計に基づいて前記現在時刻での前記成分間統計を計算することと、をさらに含む方法/デバイス/システム/ソフトウエア。
項C18.項C17に記載の無線近接センシングシステムの方法/デバイス/システム/ソフトウエアであって、1、2、3、または50未満の別の数字のうちの1つに等しい共通インデックス差分を判定することと、前記タイムウインドウの前記TSCIの各CIについて、第1のインデックスと第2のインデックスとの間の差が前記共通インデックス差分に等しくなるように、前記第1のインデックスに関連付けられた第1のCI成分と、前記第2のインデックスに関連付けられた第2のCIと、をそれぞれが備えるCI成分の複数の選択されたペアを選択することと、前記それぞれのCIのCI成分のそれぞれの選択されたペアのCI成分の特性にそれぞれ基づいて、それぞれの複数のペアワイズ統計を計算することと。をさらに含む方法/デバイス/システム/ソフトウエア。
項C19.項C18に記載の無線近接センシングシステムの方法/デバイス/システム/ソフトウエアであって、前記タイムウインドウの前記TSCIの各々のCIに対して、前記それぞれの複数の前記ペアワイズ統計のそれぞれの1番目の代表的な値を計算することと、前記タイムウインドウの前記TSCIの前記CIに関連付けられている前記1番目の代表的な値の2番目の代表的な値として、前記現在時刻での成分間統計を計算することと、をさらに含み、前記1番目の代表的な値および前記2番目の代表的な値の各々は、合計、重み付き合計、平均、重み付き平均、算術平均、幾何平均、調和平均、トリミング平均、中央値、最頻値、またはパーセンタイルのうちのそれぞれ1つを含む、方法/デバイス/システム/ソフトウエア。
項C20.項C18に記載の無線近接センシングシステムの方法/デバイス/システム/ソフトウエアであって、CI成分のそれぞれの選択されたペアについて、それぞれの複数の前記ペアワイズ統計のそれぞれの1番目の代表的な値を計算することであって、前記タイムウインドウの前記TSCIのそれぞれのCIのCI成分の前記選択されたペアのCI成分の特性に基づくそれぞれのペアワイズ統計と、CI成分の前記複数の選択されたペアに関連付けられた前記1番目の代表的な値の2番目の代表的な値として、現在時刻での前記成分間統計を計算することと、をさらに含み、前記1番目の代表的な値および前記2番目の代表的な値の各々は、合計、重み付き合計、平均、重み付き平均、算術平均、幾何平均、調和平均、トリミング平均、中央値、最頻値、またはパーセンタイルのうちのそれぞれ1つを含む、方法/デバイス/システム/ソフトウエア。
項C21.項C19または20に記載の無線近接センシングシステムの方法/デバイス/システム/ソフトウエアであって、成分間統計は次の2成分統計、すなわち積、商、比率、合計、差分、算術平均、幾何平均、調和平均、相関、相関係数、相互共分散、サブキャリア相関、隣接サブキャリア相関、近傍サブキャリア相関、サブキャリア共分散、隣接サブキャリア共分散、隣接サブキャリア共分散、上記いずれかの単調関数、上記のうちの少なくとも2つの線形結合、及びそれぞれのインスタンスが別々のインデックス差分に関連付けられている、上記のいずれかの複数インスタンスの重み付き平均、の少なくとも1つを含む、方法/デバイス/システム/ソフトウエア。
項C22.項C1に記載の無線近接センシングシステムの方法/デバイス/システム/ソフトウエアであって、前記成分間統計に対する、特徴抽出,射影,分解、固有値分解、特異値分解、マッピング、特徴トレーニング,主成分解析,独立成分分析、変換、機械学習,教師有り学習,教師なし学習,トレーニング、教師有りトレーニング、教師なしトレーニング、識別トレーニング、クラスタ化、分類、しきい値化、量子化、ベクトル量子化、神経回路網、モデル化、検出、認識、推定、検証、最尤、最大事後確率(MAP)、ラベリング、最適化、最大化、最小化、制約付き最適化、差別化、微分、積分、正規化および別の動作、の適用に基づいてオブジェクトの近接情報の計算をする、方法/デバイス/システム/ソフトウエア。
項C23.項C1に記載の無線近接センシングシステムの方法/デバイス/システム/ソフトウエアであって、前記オブジェクトの近接情報に基づいてタスクを実行することであって、前記タスクは、カメラ、マイクロフォン、ダイアログシステム、ドアベル、イルミネーション又はセキュリティデバイスの制御又はオン・オフ、ドア、ウィンドウ、入口、出口の開閉、ロック、出入口の点灯、スマート機器、ハブ、照明、ブラインド、シェード、ランプ、電球、スイッチ、ディスプレイ、ファン、エアコン、テレビ、スピーカー、煙感知器、メディアシステム、スマートアシスタント、スマートデバイス、IoTデバイス,スマートホームデバイス,スマートオフィスデバイス、スマート産業デバイスの制御、オン、オフ、ユーザへの通知、プレゼンテーションの調整、前記ユーザからの応答を再生、警告メッセージの再生、会話を行うこと、前記オブジェクトの調査・質問、前記オブジェクトの識別、前記オブジェクトの認識し、前記オブジェクト等の検証、のうちの少なくとも1つを含む方法/デバイス/システム/ソフトウエア。
項C24.項C1に記載の無線近接センシングシステムの方法/デバイス/システム/ソフトウエアであって、前記タイプ1デバイスは少なくとも1つのTxアンテナを含み、前記タイプ2デバイスは、少なくとも1つのRxアンテナを含み、それぞれが前記タイプ1デバイスのそれぞれのTxアンテナおよび前記タイプ2デバイスのそれぞれのRxアンテナに関連する複数のTSCIを取得することと、各TSCIについて、前記TSCIに関連付けられた複数のCI成分にそれぞれ基づいて複数の成分間統計を計算することと、すべてのTSCIに関連付けられた前記成分間統計、またはそれぞれのTSCIに基づき成分間統計に基づいてそれぞれ計算された複数の別個の近接情報のうちの少なくとも1つに基づいて、前記オブジェクトの前記近接情報を計算することと、をさらに含む方法/デバイス/システム/ソフトウエア。
項C25.項C1に記載の無線近接センシングシステムの方法/デバイス/システム/ソフトウエアであって、場所の無線マルチパスチャネルを介して前記場所の異なった位置に位置する前記システムの複数のタイプ1異種無線デバイスの1つから非同期に複数の無線信号それぞれを送信することであって、前記無線マルチパスチャネルは、前記場所のオブジェクトの動きによって影響を受ける、送信することと、前記無線マルチパスチャネルを介して前記システムのタイプ2異種無線デバイスによって非同期的に前記複数の無線信号を受信することであって、各々の受信された無線信号は前記場所の前記無線マルチパスチャネル及び前記オブジェクトの前記動きのために、それぞれの前記送信された無線信号とは異なる、受信することと、プロセッサ、メモリ、および命令のセットを使用して、それぞれの受信無線信号に基づいて、前記無線マルチパスチャネルの複数のチャネル情報の時系列(TSCI)を取得することであって、各TSCIの任意のチャネル情報(CI)はそれぞれの複数のCI成分を含み、各CI成分はインデックスに関連付けられる、取得することと、それぞれのTSCIの2つ以上のCI成分に基づいて個々に計算された複数の個別の成分間統計を計算することと、それぞれのTSCIに関連付けられた複数のCI成分に基づいて共同で計算された共同成分間統計を計算することと、前記共同成分間統計、または前記複数の個別の成分間統計のうちの少なくとも1つに基づいて、前記オブジェクトの前記近接情報を計算すること。
項D1.無線近接センシングのためのシステムであって、場所の無線マルチパスチャネルを介して第1の無線信号を送信するように構成された送信機と、前記無線マルチパスチャネルを介して第2の無線信号を受け取るように構成された受信機であって、前記第2の無線信号は前記場所のオブジェクトの動きによって影響を受ける前記無線マルチパスチャネルのために前記第1の無線信号とは異なる、受信機と、プロセッサであって、前記第2の無線信号に基づいて前記無線マルチパスチャネルのチャネル情報の時系列(TSCI)を取得することであって、前記TSCIの各チャネル情報(CI)は複数のCI成分を含み、各CI成分のそれぞれはインデックスに関連付けられる、取得することと、前記複数のCI成分に基づいて成分間統計を計算することと、前記成分間統計に基づいて前記場所の基準位置に対する前記オブジェクトの近接情報を計算することと、前記オブジェクトの前記近接情報に基づいてタスクを実行することと、をするように構成されたプロセッサと、を含むシステム。
項D2.項D1に記載のシステムであって、前記基準位置は前記送信機の位置または前記受信機の位置である、システム。
項D3.項D1に記載のシステムであって、前記基準位置の近傍は複数のセグメントにセグメント化され、前記近接情報は前記オブジェクトを前記複数のセグメントの特定のセグメントに関連付ける、システム。
項D4.項D3に記載のシステムであって、前記オブジェクトは、前記成分間統計に基づいて前記特定のセグメントに関連付けられる、システム。
項D5.項D1に記載のシステムであって、前記オブジェクトの前記近接情報は、前記基準位置に対する近接分類のセットに関する前記オブジェクトの近接分類を含む、システム。
項D6.項D5に記載のシステムであって、前記プロセッサは、前記成分間統計に基づいて前記近接分類のセットに関して前記オブジェクトを分類するようにさらに構成される、システム。
項D7.項D1に記載のシステムであって、前記成分間統計を計算することは、それぞれが前記複数のCI成分の中の複数のCI成分に基づいて計算される複数の多成分統計を計算することと、前記複数の多成分統計に基づいて前記成分間統計を計算することとを含む、システム。
項D8.項D7に記載のシステムであって、前記複数の多成分統計のすべてが同じ量のCI成分に基づいて計算される、システム。
項D9.項D8に記載のシステムであって、前記複数の多成分統計の各々は前記複数のCI成分の中のCI成分のペアに基づいて計算されたペアワイズ統計であり、前記成分間統計は、前記複数のペアワイズ統計に基づいて計算される、システム。
項D10.項D9に記載のシステムであって、前記プロセッサは、前記複数のCI成分をCI成分の複数の選択されたペアに配置するようにさらに構成され、前記複数のペアワイズ統計のそれぞれは前記複数の選択されたペアの中のCI成分のそれぞれの選択されたペアに関連付けられる、システム。
項D11.項D10に記載のシステムであって、CI成分のそれぞれの選択されたペアが、第1のインデックスに関連付けられた第1のCI成分と、第2のインデックスに関連付けられた第2のCI成分とを備え、それぞれの選択されたCI成分のペアは、前記第1のインデックスと前記第2のインデックスとの間の差であるインデックス差分(ID)に関連付けられ、全ての選択されたペアに関連するインデックス差分(ID)が50未満の共通ID値に等しくなるように、CI成分の前記複数選択ペアが選択される、システム。
項D12.項D1に記載のシステムであって、前記成分間統計を計算し、各々が前記複数のCI成分のそれぞれのCI成分の特性である、複数のCI成分特性を計算するシステムであって、前記複数のCI成分の特性の各々は、それぞれのCI成分の大きさ、位相、実数成分、虚数成分、またはマッピング、および前記複数のCI成分の特性に基づいて前記成分間統計を計算すること、のうちの少なくとも1つのファンクションを備える、システム。
項D13.項D12に記載のシステムであって、前記成分間統計は、現在時刻に関連するタイムウインドウに基づいて前記現在時刻に計算される、システム。
項D14.項D13に記載のシステムであって、前記複数のCI成分特性を計算することが、前記現在時刻に関連付けられた前記タイムウインドウの前記TSCIのそれぞれのCIのそれぞれのCI成分のCI成分の特性を計算することとを含み、前記成分間統計は、前記タイムウインドウの前記TSCIの各々のCIの前記それぞれのCI成分の前記CI成分の特性に基づいて前記現在時刻で計算される、システム。
項D15.項D14に記載のシステムであって、前記成分間統計を計算することは、複数の多成分統計を計算することであって、その各々は、前記タイムウインドウの前記TSCIの各CIの前記各CI成分の前記CI成分の特性に基づいて計算されることをさらに含み、前記成分間統計は、複数の多成分統計に基づいて前記現在時刻で計算される、システム。
項D16.項D14に記載のシステムであって、前記成分間統計を計算することは、複数のペアワイズ統計を計算することであって、その各々は、前記タイムウインドウの前記TSCIの各CIのCI成分のペアのCI成分の特性に基づいて計算されることをさらに含み、前記成分間統計は、前記複数のペアワイズ統計に基づいて前記現在時刻で計算される、システム。
項D17.項D16に記載のシステムであって、前記複数のペアワイズ統計を計算することは、50未満の整数である共通インデックス差分を判定することと、各CIの前記複数のCI成分の中から複数の選択されたCI成分のペアを選択することであって、各選択されたペアは、第1のインデックスに関連付けられた第1のCI成分と、 第2のインデックスに関連付けられた第2のCI成分とを含み、選択されたペアについての前記第1のインデックスと前記第2のインデックスとの間の差は、前記共通インデックス差分に等しい、選択することと、前記タイムウインドウの前記TSCIのそれぞれのCIについて、それぞれの複数のペアワイズ統計を計算することであって、前記それぞれのCIのCI成分のそれぞれの選択されたペアのCI成分の特性に基づいてそれぞれが計算される、計算することと、を含むシステム。
項D18.項D17に記載のシステムであって、前記成分間統計を計算することが、前記タイムウインドウの前記TSCIのそれぞれのCIについて、前記それぞれの複数のペアワイズ統計に基づいて1番目の代表的な値を計算することと、2番目の代表的な値を、前記タイムウインドウの前記TSCIのすべてのCIに関連付けられた前記1番目の代表的な値に基づいて、前記現在時刻の成分間統計として計算することと、をさらに含み、前記1番目の代表的な値および前記2番目の代表的な値の各々は、合計、重み付き合計、平均、重み付き平均、算術平均、幾何平均、調和平均、トリミング平均、中央値、最頻値、またはパーセンタイルのうちのそれぞれ1つに基づいて計算される、項D17に記載のシステム。
項D19.項D17に記載のシステムであって、前記成分間統計を計算することは、前記タイムウインドウの前記TSCIの各CIのCI成分の各選択されたペアについて、それぞれの複数のペアワイズ統計に基づいて1番目の代表的な値を計算することであって、そのそれぞれはCI成分の前記選択されたペアのCI成分の特性に基づいて計算される、計算することと、前記タイムウインドウの前記TSCIのすべてのCIのCI成分のすべての選択されたペアに関連する1番目の代表的な値に基づいて、前記現在時刻での前記成分間統計として2番目の代表的な値を計算することと、をさらに含み、前記1番目の代表的な値および前記2番目の代表的な値の各々は、合計、重み付き合計、平均、重み付き平均、算術平均、幾何平均、調和平均、トリミング平均、中央値、最頻値、またはパーセンタイルのうちのそれぞれ1つに基づいて計算される、システム。
項D20.項D19に記載のシステムであって、前記成分間統計が、積、商、比率、合計、差分、相関、または相互共分散の2成分統計のうちの少なくとも1つを含む、システム。
項D21.項D1に記載のシステムであって、前記オブジェクトの前記近接情報は、特徴抽出,射影,分解、マッピング、特徴トレーニング、変換、機械学習、最尤、ラベル付け、最適化、または正規化のうちの少なくとも1つを前記成分間統計に適用することに基づいて計算される、システム。
項D22.項D1に記載のシステムであって、前記タスクを実行することは、カメラ、マイクロフォン、ダイアログシステム、ドアベル、照明、セキュリティデバイスの1つの制御又はオン・オフ、ドア、窓、入口、出口のうちの1つの開閉、又は点灯、又はスマートデバイス、ファン、エアコン、テレビジョン、スピーカ、煙感知器、メディアシステム、スマートアシスタント、またはIoTデバイスの1つを制御またはオン・オフすることのうちの少なくとも1つを含む、システム。
項D23.項D1に記載のシステムであって、前記タスクを実行することは、前記オブジェクトに関するユーザへの通知、前記オブジェクトに関するプレゼンテーションの調整、前記オブジェクトに関するユーザからのレスポンスの再生、前記オブジェクトについてのユーザとの会話、前記オブジェクトを質問すること、または前記オブジェクトを識別すること、のうちの少なくとも1つを含むシステム。
項D24.項D1のシステムであって、前記送信機は複数の送信アンテナを含み、前記受信機は、複数の受信アンテナを含み、前記プロセッサはさらに、複数のTSCIを取得することであって、各TSCIは前記送信機のそれぞれの送信アンテナおよび前記受信機のそれぞれの受信アンテナに関連付けられている、取得することと、各TSCIについて、前記TSCIに関連付けられたCI成分に基づいて、複数の成分間統計を計算することと、前記オブジェクトの前記近接情報を、すべてのTSCIに関連する前記成分間統計、またはそれぞれのTSCIに基づいて計算されるそれぞれの成分間統計に基づいてそれぞれが計算される複数の個別の近接情報のうちの少なくとも1つに基づいて計算することと、をするように構成される、システム。
項D25.項D1に記載のシステムであって、前記送信機および前記受信機が、互いに物理的に分離されている、システム。
項D26.プロセッサと、前記プロセッサに通信可能に結合されたメモリと、前記プロセッサに通信可能に結合された受信機とを備える、無線近接センシングシステムの無線デバイスであって、前記無線近接センシングシステムの追加の無線デバイスは、場所の無線マルチパスチャネルを介して第1の無線信号を送信するように構成され、前記受信機は、前記無線マルチパスチャネルを介して第2の無線信号を受信するように構成され、前記第2の無線信号は、前記場所のオブジェクトの動きによって影響を受ける前記無線マルチパスチャネルのために前記第1の無線信号とは異なり、前記プロセッサは、前記第2の無線信号に基づいて前記無線マルチパスチャネルのチャネル情報の時系列(TSCI)を取得することであって、前記TSCIの各チャネル情報(CI)は複数のCI成分を含み、その各々はインデックスに関連付けられる、取得することと、前記複数のCI成分に基づいて成分間統計を計算することと、前記成分間統計に基づいて、前記場所の基準位置に対する前記オブジェクトの近接情報を計算することと、前記オブジェクトの前記近接情報に基づいてタスクを実行することと、をするように構成される。
項D27.項D26に記載の無線デバイスであって、前記基準位置は前記送信機の位置または前記受信機の位置であり、前記基準位置の近傍は、複数のセグメントにセグメント化されており、前記近接情報は、前記オブジェクトを前記複数のセグメントの特定のセグメントに関連付け、前記オブジェクトは、前記成分間統計に基づいて前記特定のセグメントに関連付けられる、無線デバイス。
項D28.項D26に記載の無線デバイスであって、前記成分間統計を計算することは、複数の多成分統計を計算することであって、その各々は前記複数のCI成分の中の複数のCI成分に基づいて計算される、複数の多成分統計を計算することと、前記複数の多成分統計に基づいて前記成分間統計を計算することであって、前記複数の多成分統計の各々は前記複数のCI成分の中のCI成分のペアに基づいて計算されたペアワイズ統計であり、前記成分間統計は前記複数のペアワイズ統計に基づいて計算される、成分間統計を計算すること、を含む無線デバイス。
項D29.無線近接センシングシステムの方法であって、場所の無線マルチパスチャネルを介して第1の無線信号を送信することと、前記無線マルチパスチャネルを介して第2の無線信号を受信することであって、前記第2の無線信号は、前記場所のオブジェクトの動きによって影響を受ける前記無線マルチパスチャネルのために前記第1の無線信号とは異なる、受信することと、前記第2の無線信号に基づいて前記無線マルチパスチャネルのチャネル情報の時系列(TSCI)を取得することであって、前記TSCIの各チャネル情報(CI)は複数のCI成分を含む、取得することと、前記複数のCI成分に基づいて成分間統計を計算することと、前記成分間統計に基づいて、前記場所の基準位置に対する前記オブジェクトの近接情報を計算することと、前記オブジェクトの前記近接情報に基づいてタスクを実行することと、を含む方法。
項D30.無線近接センシングシステムの方法であって、場所の異なった位置に位置する前記無線近接センシングシステムの複数のタイプ1異種無線デバイスのうちの1つからそれぞれ、前記場所の無線マルチパスチャネルを介して、複数の無線信号を非同期的に送信することと、前記無線マルチパスチャネルを介して前記無線近接センシングシステムのタイプ2異種無線デバイスによって非同期的に前記複数の無線信号を受信することであって、それぞれの受信した無線信号は、前記場所のオブジェクトの動きによって影響を受ける前記無線マルチパスチャネルのために、前記それぞれの送信された無線信号とは異なる、受信することと、それぞれの受信した無線信号にそれぞれ基づいて、前記無線マルチパスチャネルの複数のチャネル情報の時系列(TSCI)を取得することであって、各TSCIの各チャネル情報(CI)はそれぞれの複数のCI成分を含む、取得することと、複数の個別の成分間統計を計算することであって、その各々がそれぞれのTSCIのCI成分に基づいて個別に計算される、計算することと、それぞれのTSCIに関連付けられたCI成分に基づいて共同で共同成分間統計を計算することと、前記共同成分間統計、または前記複数の個別の成分間統計のうちの少なくとも1つに基づいて、オブジェクトの近接情報を計算することと、を含む方法。
上記の特徴は、データ記憶システム、少なくとも1つの入力デバイス、及び少なくとも1つの出力装置からデータ及び命令を受信し、それらにデータ及び命令を送信するように結合された少なくとも1つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能な1つまたは複数のコンピュータプログラムで有利に実施することができる。コンピュータプログラムは、特定のアクティビティを実行したり、特定の結果をもたらすために、コンピュータ内で直接的または間接的に使用される一連の命令である。コンピュータ・プログラムは、コンパイルされた又は解釈された言語を含む任意の形式のプログラミング言語(例えば、C、Java)で書かれてもよく、また、スタンドアロン・プログラムとして又はモジュールとして、構成要素、サブルーチン、ブラウザ・ベースのウェブ・アプリケーション、又はコンピューティング環境での使用に適した他のユニットを含む任意の形式で配置されてもよい。
命令のプログラムを実行するのに適したプロセッサは、例えば、汎用及び専用マイクロプロセッサ、デジタル信号プロセッサ、ならびに任意の種類のコンピュータの単独のプロセッサまたは複数のプロセッサまたはコアのうちの1つを含む。一般に、プロセッサは、読み出し専用可能メモリ又はランダムアクセスメモリ、あるいはその両方から命令及びデータを受信する。コンピュータの本質的な要素は、命令を実行するためのプロセッサと、命令及びデータを格納するための1つ以上のメモリである。一般に、コンピュータは、データファイルを記憶するための1つまたは複数の大容量記憶装置も含み、またはそれと通信するように動作可能に結合され、そのような装置は、磁気ディスクのような内部ハードディスク及び取外し可能ディスクな光磁気ディスク、及び光ディスクを含む。コンピュータプログラム命令及びデータを具体的に具現化するのに適した記憶装置は、例として、EPROM、EEPROM、及びフラッシュメモリデバイスなどの半導体メモリデバイス、内部ハードディスクなどの磁気ディスク、及び光磁気ディスク、ならびにCD-ROM及びDVD-ROMディスクなどのリムーバブルディスクを含む、すべての形態の不揮発性メモリを含む。プロセッサ及びメモリは、ASIC(特定用途向け集積回路)によって補完されてもよく、またはASICに組み込まれてもよい。
本開示は、多くの具体的な実施の詳細を含むが、これらは、本開示の範囲またはクレームされ得るものに対する限定として解釈されるべきではなく、むしろ、本開示の特定の実施形態に特有の特徴の説明として解釈されるべきである。別個の実施形態の文脈で本明細書に記載される特定の特徴は、一の実施形態において組み合わせて実施されてもよい。逆に、一の実施形態の文脈で説明される様々な特徴は、複数の実施形態で別々に、または任意の適切な組合せで実装されてもよい。
同様に、動作は、特定の順序で図面に示されているが、これは、望ましい結果を達成するために、そのような動作が、示された特定の順序で、または連続的な順序で実行されること、または示されたすべての動作が実行されることを必要とするものとして理解されるべきではない。特定の状況では、マルチタスキング及び並列処理が有利であり得る。さらに、上記の実施形態における様々なシステム構成要素の分離は、すべての実施形態においてそのような分離を必要とするものとして理解されるべきではなく、説明されるプログラム構成要素及びシステムは、一般に、単一のソフトウェア製品に一緒に統合されてもよく、または複数のソフトウェア製品にパッケージ化されてもよいことを理解されたい。
主題の特定の実施形態を説明した。上述の特徴及びアーキテクチャの任意の組合せは、以下の特許請求の範囲内にあることが意図される。他の実施形態もまた、以下の特許請求の範囲内である。場合によっては、特許請求の範囲に記載されたアクションは、異なる順序で実行されてもよく、依然として望ましい結果を達成することができる。さらに、添付の図面に示されるプロセスは、所望の結果を達成するために、必ずしも示される特定の順序、または連続する順序を必要としない。いくつかの実装形態では、マルチタスキング及び並列処理が有利であり得る。