JP7656424B2 - 高齢者介護のための非接触活動検出ネットワーク - Google Patents

Description

関連出願への相互参照
本出願は、２０１７年１０月６日に出願された「ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ Ａ ＮＯＮ－ＣＯＮＴＡＣＴ ＡＣＴＩＶＩＴＹ ＳＥＮＳＩＮＧ ＮＥＴＷＯＲＫ ＦＯＲ ＥＬＤＥＲＬＹ ＣＡＲＥ」という名称の米国仮特許出願第６２／５６９，４０５号の優先権を主張し、上記出願は参照により本明細書に組み込まれる。

本出願は、相互接続されたハードウェア、ソフトウェア、およびクラウドコンポーネントを使用した活動のリモートモニタリングの分野を対象としており、特に、超広帯域レーダーと、適切なサンプルで学習された幾何学的なＡＩモデルを使用した高齢者の日常生活の活動のリモートモニタリングに関する。

世界人口の急速な高齢化は、現代の労働力の規模と構成、経済と健康保険の劇的な変化から、家族のライフスタイルと高齢者介護の構造とコストの劇的な変化に至るまで、私たちの文明にとってますます増大するリストと規模の課題を提示している。

国連の２０１７年世界人口高齢化報告書によると、６０歳以上の世界人口は２０１７年には１９８０年と比較して２倍以上の９億６２００万人に達し、２０５０年にはさらに倍増して約２１億人に達すると予想されている。さらに、８０歳以上の人の数は上記の割合よりもさらに速く増加し、２０１７年から２０５０年の間に１億３，７００万人から４億２５００万人に３倍になると予想されている。２０３０年までに、高齢者（６０歳以上）は１０歳未満の子供を上回り、２０５０年までに１０～２４歳の青少年および若者の数を上回る（２１億対２０億）。割合的には、２０５０年までに、高齢者人口がヨーロッパでは人口の３５％、北米では２８％、ラテンアメリカでは２５％を占めると予想されている。

現在、日本は世界で最も高齢化した国であり、６０歳以上が人口の３３．４％である（６０歳以上が２９．４％である２番目に高齢化した国であるイタリアよりも４％高い）。日本は、少なくとも２０５０年まで世界で最も高齢化した国であり続け、２０５０年には６０歳以上が人口の４２．４％になると推定されている。

先進国の人口高齢化は、２つの主な要因の結果であり、それは出生率の低下と平均余命の延長である。したがって、出生率が低いために全体の人口が減少している日本や他のいくつかの国では、男性と女性の両方について世界で最も高い平均余命のいくつかが、高齢化人口の割合を急速に増加させている。

高齢化する世界の人口に加えて、ますます多くの高齢者が一人暮らしをしているという顕著で増大する傾向がある。平均して、独立して（単独でまたは配偶者だけと）生活している高齢者の割合は、１９９０年の２４％から２０１０年の３７％に増加した。独立して生活している高齢者の割合は多くの先進国ではるかに高くなっており、「より発展した地域」では、国連の分類により、独立して生活している高齢者の割合は７５％に近づき、そのうち女性の３４．５％および男性の１７％は一人暮らしである。

上記の人口の高齢化傾向を念頭に置いて、長期高齢者介護（ＬＴＣ）は、ますます多くの国で国家的に重要な問題になっている。６５歳以上の個人の約７０％は、生涯に何らかのタイプの長期介護サービスを必要とすると推定されている。世界中の政府、企業、非営利組織は、多くの長期介護オプションを提供している。特に、長期介護保険は、国民健康保険システムの有機的な部分になりつつある（例えば、米国では１９７０年代後半から民間保険会社で、日本では２０００年から地方自治体で利用可能である）。

米国の長期介護提供者およびサービスには、成人デイサービスセンター、在宅医療機関、ホスピス、養護ホーム、および居住介護コミュニティが含まれる。米国の長期介護提供者、サービス、およびユーザに関する２０１４年のＣＤＣの包括的な調査によると、６５歳以上の６００万人を超える個人が上記の提供者およびサービスの約６３，０００人から支援を受けており、上記の提供者およびサービスには１５６００の養護ホーム、３０２００の居住介護コミュニティが含まれるが、さらに１３４万人の個人に介護を提供する４０００のホスピスは除外されている。日本では、約２５０００の専門的な長期介護施設が長期高齢者介護を提供している。

高齢者向けの長期介護システムの最も重要なタスクの１つは、長期介護施設での安全な滞在を確保するための状態の永続的な非侵襲的モニタリングと、日常生活活動（ＡＤＬ）の適切なパフォーマンスおよび転倒などの外傷（特に、熟練した看護施設の高齢患者の１６％で発生することが知られている）の防止である。ビデオカメラやその他の侵襲的な追跡方法は、高齢者のプライバシー要件を満たしていないため、永続的に使用することはできない。Ｗｉ－Ｆｉネットワークと小型レーダーを利用した複数の解決策が、高齢者および他の聴衆を追跡する目的で最近提案された。例としては、京都大学がパナソニックと共同で開発したレーダーヘルスモニター、およびコグニティブシステムズ社のオーラＷｉ－Ｆｉモーション技術などがある。

高齢者向けの非侵襲的な追跡技術とシステムの開発の顕著な進歩にもかかわらず、既存の解決策はまだ初歩的であり、手元の問題とタスクの大部分に対処していない。Ｗｉ－Ｆｉモーション技術は低周波信号を使用しており、不正確さと個人のステータスの検出の失敗について否定的なレビューを受け取る。レーダーヘルスモニターは、個人の静止したポジショニングを必要とする心拍数などの個人のバイタルサインの監視に重点を置いているが、しかし、既存の解決策は、歩いている人、立っている人、座っている人を区別することができないため、特定の瞬間の測定の正確性や適用性さえ疑わしい場合がある。

したがって、高齢者の包括的で非侵襲的でインテリジェントな監視のための技術とシステムを創造することが望ましい。

本明細書に記載のシステムによれば、人の身体的状態を判定する段階は、人の異なる部分の位置を検出する段階と、人の検出された位置を、部分の各々の動きに従って変化する密度を有する点群に変換する段階と、点群からの動きと位置のデータを既知の身体的状態の位置および異なる状態間の遷移と相関させる段階と、点群からのデータを特定の身体的状態と照合することにより、特定の身体的状態を選択する段階と、を含む。人の異なる部分の位置は追跡装置を使用して検出されてもよい。追跡装置は、非接触追跡装置であってもよい。追跡装置は、少なくとも１つの広帯域レーダーを含んでもよい。追跡装置は、クラウドコンピューティングシステム内の少なくとも１つのサーバーと無線で通信してもよい。状態には、歩いている、立っている、座っている、横になっている、寝返りをする、転倒する、および／または退出していることが含まれてもよい。転倒は、人が歩いている状態から横になった状態に遷移することに応答して検出されてもよい。遷移中には、人は点群の重心が次第に低くなるように検出されてもよい。転倒を確認し、基本的な指示を人に提供するために、音声生成装置が転倒に続いて人とやり取りしてもよい。音声生成装置が人と通信することに続いて、人が動かないかまたはやり取りしない場合には、介護者に連絡してもよい。音声生成装置は、人からの音声通信を受信するマイクを含んでもよい。状態の各々は、点群の点密度、サイズ、方向、重心、および境界ボックスの配置に関連付けられてもよい。異なる状態のサンプルの境界ボックス、点密度、および重心の位置のパラメトリック表現が、ニューラルネットワーク分類器への入力として提供されてもよい。ニューラルネットワークは、人の異なる部分の位置を検出し、クラウドコンピューティングシステムと無線通信する追跡装置からデータを受信するクラウドコンピューティングシステムのサーバーにニューラルネットワークを提供することにより学習されてもよい。ニューラルネットワークは、長・短期記憶回帰ニューラルネットワークであってもよい。ニューラルネットワーク分類器は、点群からの動きおよび位置データを既知の身体的状態位置と相関させてもよく、異なる状態間で遷移して特定の身体的状態を選択してもよい。人の身体的状態を決定する段階はまた、人の習慣的ルーチン状態の遷移および位置に対応する情報を維持する段階を含んでもよい。習慣的ルーチン状態の遷移および位置は、複雑なユーザの行動を表すオブジェクト、時間間隔、位置、および状態遷移のシーケンスの多次元空間内の点のクラスタを検出することによって決定されてもよい。人が習慣的ルーチン状態の遷移および位置から逸脱することに応答して、警報が介護者に提供されてもよい。習慣的ルーチン状態の遷移および位置から逸脱することは、長期間にわたって部屋を循環すること、または２つのオブジェクト間を繰り返し前後に移動することを含んでもよい。行動をさらに分類し、危険な状況の検出を改善するために、習慣的なルーチンに対応する点のクラスタが、他の人々の習慣的なルーチンに対応する点のクラスタと比較するためにクラウドコンピューティングシステムに提供されてもよい。人が部屋にいてもよく、部屋内のオブジェクトが、様々なユーザ状態における点群の境界ボックスの絶対座標を監視することにより最初に検出されてもよい。オブジェクトは、ベッド、テーブル、椅子、本棚、ドア、および／または窓を含んでもよい。部屋の領域から境界ボックスの複数の位置を減算することにより、部屋内のオブジェクトが検出されてもよい。人が床から特定の高さで横たわった状態にあることを観察することにより、ベッドが検出されてもよい。横たわった状態、横たわった状態になる前または横たわった状態の後の座った状態、および座る前の立った状態に対応する境界ボックスを追跡することによって、ベッドの境界が決定されてもよい。ベッドまたはカウチに対応する位置に立っている、座っている、および横たわる隣接状態を観察することによって、ベッドまたはカウチが検出されてもよい。人が部屋の境界に比較的長い時間立っていることを観察することによって、窓が検出されてもよい。

さらに、本明細書で説明されるシステムによれば、非一時的コンピュータ可読媒体は、人の身体的状態を決定するソフトウェアを格納する。ソフトウェアは、人の異なる部分の位置を検出する実行可能コードと、人の検出された位置を、部分の各々の動きに従って変化する密度を有する点群に変換する実行可能コードと、点群からの動きと位置のデータを既知の身体的状態の位置および異なる状態間の遷移と相関させる実行可能コードと、点群からのデータを特定の身体的状態と照合することにより、特定の身体的状態を選択する実行可能コードと、を含む。人の異なる部分の位置は追跡装置を使用して検出されてもよい。追跡装置は、非接触追跡装置であってもよい。追跡装置は、少なくとも１つの広帯域レーダーを含んでもよい。追跡装置は、クラウドコンピューティングシステム内の少なくとも１つのサーバーと無線で通信してもよい。状態には、歩いている、立っている、座っている、横になっている、寝返りをする、転倒する、および／または退出していることが含まれてもよい。転倒は、人が歩いている状態から横になった状態に遷移することに応答して検出されてもよい。遷移中には、人は点群の重心が次第に低くなるように検出されてもよい。転倒を確認し、基本的な指示を人に提供するために、音声生成装置が転倒に続いて人とやり取りしてもよい。音声生成装置が人と通信することに続いて、人が動かないかまたはやり取りしない場合には、介護者に連絡してもよい。音声生成装置は、人からの音声通信を受信するマイクを含んでもよい。状態の各々は、点群の点密度、サイズ、方向、重心、および境界ボックスの配置に関連付けられてもよい。異なる状態のサンプルの境界ボックス、点密度、および重心の位置のパラメトリック表現が、ニューラルネットワーク分類器への入力として提供されてもよい。ニューラルネットワークは、人の異なる部分の位置を検出し、クラウドコンピューティングシステムと無線通信する追跡装置からデータを受信するクラウドコンピューティングシステムのサーバーにニューラルネットワークを提供することにより学習されてもよい。ニューラルネットワークは、長・短期記憶回帰ニューラルネットワークであってもよい。ニューラルネットワーク分類器は、点群からの動きおよび位置データを既知の身体的状態位置と相関させてもよく、異なる状態間で遷移して特定の身体的状態を選択してもよい。ソフトウェアはまた、人の習慣的ルーチン状態の遷移および位置に対応する情報を維持する実行可能コードを含んでもよい。習慣的ルーチン状態の遷移および位置は、複雑なユーザの行動を表すオブジェクト、時間間隔、位置、および状態遷移のシーケンスの多次元空間内の点のクラスタを検出することによって決定されてもよい。人が習慣的ルーチン状態の遷移および位置から逸脱することに応答して、警報が介護者に提供されてもよい。習慣的ルーチン状態の遷移および位置から逸脱することは、長期間にわたって部屋を循環すること、または２つのオブジェクト間を繰り返し前後に移動することを含んでもよい。行動をさらに分類し、危険な状況の検出を改善するために、習慣的なルーチンに対応する点のクラスタが、他の人々の習慣的なルーチンに対応する点のクラスタと比較するためにクラウドコンピューティングシステムに提供されてもよい。人が部屋にいてもよく、部屋内のオブジェクトが、様々なユーザ状態における点群の境界ボックスの絶対座標を監視することにより最初に検出されてもよい。オブジェクトは、ベッド、テーブル、椅子、本棚、ドア、および／または窓を含んでもよい。部屋の領域から境界ボックスの複数の位置を減算することにより、部屋内のオブジェクトが検出されてもよい。人が床から特定の高さで横たわった状態にあることを観察することにより、ベッドが検出されてもよい。横たわった状態、横たわった状態になる前または横たわった状態の後の座った状態、および座る前の立った状態に対応する境界ボックスを追跡することによって、ベッドの境界が決定されてもよい。ベッドまたはカウチに対応する位置に立っている、座っている、および横たわる隣接状態を観察することによって、ベッドまたはカウチが検出されてもよい。人が部屋の境界に比較的長い時間立っていることを観察することによって、窓が検出されてもよい。

提案されたシステムは、１つまたは複数の部屋内の高齢者（ユーザ）を永続的に追跡するための技術、ハードウェア、ソフトウェア、およびシステムを提供し、それは、歩行、立位、座位、横たわり、転倒、退室など、ユーザの現在の状態の検出と、呼吸や心拍数など、ユーザのバイタルサインを取り込んで監視することと、家具などの部屋内のオブジェクトを検出することと、転倒や習慣的なルーチンからの大幅な逸脱などの、ユーザの習慣的経路とルーチンを特定することと、ユーザとの音声録音および自動音声通信を使用して、危険なユーザ状態を確認することと、危険でリスクのある状態を検出し確認したときに介護者に警報と警告を発することと、を含む。このシステムは、部屋やその他の施設に組み込まれたコンパクトな常時接続装置上に構築され、ローカルソフトウェアを実行する超広帯域レーダーを含み、クラウドベースのソフトウェアと通信し、人工知能と機械学習を使用してユーザ状態を検出する。

システムのハードウェア部分は、部屋に埋め込まれた（例えば、ＡＣコンセントまたは他の電源に接続された）常時接続追跡装置によって表され、以下の構成要素を含む。
１．１つまたは複数の超広帯域レーダー、例えば周波数変調連続波（ＦＭＣＷ）レーダーなどであって、室内をカバーする複合アクティブゾーンを備える。
２．ローカルデータ処理および他の動作用のファームウェアおよびソフトウェアを実行するチップセット。
３．システムのクラウドベース部分とのデータ交換および無線ソフトウェアとファームウェアのアップグレードのためのセルラーまたは他のＷＡＮもしくはＬＡＮネットワークとの無線接続。
４．音声記録装置。
５．ユーザおよび介護者と通信するためのマイク。
６．任意選択的に、ユーザの睡眠期間中に光の強度と色温度を測定する光センサー。

部屋に置かれた追跡装置は、主に部屋の１人の居住者（ユーザ）を常時監視するように指定され、ユーザのＡＤＬの状態とパフォーマンスを追跡し、ユーザの習慣を学習し、追跡モデル（例えば、ユーザの歩行のモデリング）と習慣的なルーチンを調整し、ユーザのバイタルサインに関する統計を測定して収集し、通常の状態からの大幅な逸脱を判定し、危険な状況（転倒や部屋の周りをやる気がなくさまようなど）を検出し、ユーザと音声で通信して危険な状態を確認して、すぐにアドバイスを提供し、介護者に伝えられる警告や警報を生成する。他のタスクには、ユーザステータスレポートの生成と、ユーザと介護者とのユーザステータスレポートの共有が含まれる。追跡装置の追加の指定は、家具など、部屋内の静止したまたは比較的静止したオブジェクトを検出することと、ユーザのバイタルサインを確実に測定できる期間を決定することと、ユーザモデルを学習することと、ローカルとクラウドソフトウェアとの間のデータ交換と処理タスクの分散を最適化し、装置のファームウェアとソフトウェアをアップグレードすることと、を含んでもよい。さらに、モデルを改善し、介護経験を共有する目的で、学習結果とモデルパラメータがクラウドに蓄積されてもよい。

追跡装置は、単一の部屋に限定してはいけない。例えば、複数の装置を隣接する部屋やバスルームなどに設置し、より広範なユーザＡＤＬ、経路、およびルーチンを共同で監視してもよい。

ユーザ状態の動的モデリングで使用される基本オブジェクトは、ユーザの体の動きを表し、追跡装置のレーダーによって生成される点群である。クラウドの密度と表現の精度は、レーダーの様々な特性に依存してもよい。様々な市販の安価なレーダーの場合、装置は部屋を歩いている人に対して平均で５０～１２０点を生成し、身体の幾何学的近似は動的に変化する点群の境界ボックスに制限される。ユーザ点群は、ユーザ状態の実質的に２つのカテゴリを反映することができ、それは、移動（歩行または部屋を横切るカートでの移動、ベッドまたは椅子での回転、スクワットなどの運動の実行など）および静止（立ち、座り、ベッドまたは床の上に横たわった後の横たわりなど）である。静止状態でのユーザの点群の密度は、静止状態での体の動きが呼吸と心拍による胸部の動きに本質的に限定されるため、移動状態よりも大幅に低くなり得る。境界ボックスの寸法と位置、および点群の重心とともに、点群の密度を使用して、直接の幾何学的処理により、ＬＳＴＭ（長・短期記憶）ベースの回帰ニューラルネットワーク分類器などのＡＩメソッドにより、直接／ＡＩを組み合わせた方法などにより、ユーザ状態を判定することができる。

具体的には、システムは、ユーザならびに点群、その重心、および境界ボックスの付随する特性に関する次の状態を含んでもよい。

・Ｗ－部屋を横切って歩いている。点群は、他の状態と比較して最高の密度を有しており、レーダー波面に対する移動方向に依存してもよい。境界ボックスは他の状態と比較して最大の高さを有し、境界ボックスの重心はユーザの歩行によって異なってもよい。

・Ｓｔ－部屋の中央またはオブジェクト（椅子、テーブル、本棚、窓、ベッドなど）の近くに立っている。ユーザの静止した位置のために点群の密度は低く、取り込まれた点群の境界ボックスは、吸入後のユーザの胸にほぼ対応している。点群の重心は、すべての状態の中で最も高い垂直位置（床からの距離）を有する。

・Ｓ－座っている（椅子、ベッド、ソファの上に）。点群の境界ボックスの寸法は、立っているときの寸法に似ているが、通常、境界ボックスの重心は低くなる。すなわち、点群は座席の高さと特定の身体パラメータ（脚の長さなど）に応じてユーザ固有の高さ間隔だけ下にシフトする。

・Ｌ－横たわっている（ベッドのソファなどに）。境界ボックスの寸法は、立っているときと座っているときに対応する寸法に似ているが、境界ボックスは、（ｉ）水平軸を中心に９０度回転し、（ｉｉ）ベッド表面の高さだけ床面より上に上がる。

・Ｔ－寝返りをする。境界ボックスと重心の寸法と位置は、横たわっているときに対応する寸法に似ている。追加の移動により、点群の密度は横たわっている状態よりも高くなる。

・Ｆ－転倒（転倒後に床に横たわる）。境界ボックスが床レベルにあることを除いて、横たわっているときと同じである。

・Ｄ－退出している、ユーザは部屋に不在である。ユーザを追跡するために複数の装置が長期介護施設に設置されている場合には、１つの部屋から離れると別の部屋、バスルーム、パティオなどに歩いて行くことがある。

上記のリストは、考えられるすべてのユーザ状態を網羅しているわけではない。例えば、シャワーを浴びる、風呂に入る、シェービングするなど、浴室関連のＡＤＬに固有のユーザ状態があり得る。

このシステムの重要な機能の１つは、ユーザのバイタルサインの定期的な測定と監視である。バイタルサインは、静止状態（立っている、座っている、横たわっている）でのみ確実に取り込むことができる。したがって、提案されたシステムは、従来のソリューションとは対照的に、ユーザ状態を認識することにより、バイタルサインの自動取り込みに最適な期間を検出することができる。また、このシステムは、例えば座っているときとベッドで眠っているときなどのバイタルサインをきめ細かく区別することもできる。レーダー信号の反射に基づいて呼吸と心拍を表す脈動を測定する方法とソフトウェアは周知であり、ファームウェアレベルで埋め込まれ、必要に応じて無線で更新され得る。

歩いている状態でのユーザの動きを追跡すると、境界ボックスの位置と点群の重心の周期的な変化に基づいて、ユーザの歩行をモデル化できる。潜在的にフーリエ変換に基づくユーザの歩行の固有のプロファイルは、他の状態の境界ボックスの特性と組み合わせて、ユーザの識別に使用できる（部屋に複数の人がいる場合）。ユーザの歩行の固有のプロファイルは、ユーザの歩行パラメータが正常から大幅に逸脱している場合（例えば、足を引きずる、不確実な歩行など）の警告状況を検出するためにも利用できる。

追跡装置によって検出された点群が部屋内の複数の人を識別する場合には、例えば、クラウドが、看護師、訪問者、または他の人の存在を示す２つ以上の異なる点のクラスタに分割されている場合には、システムは取得した情報を様々な方法で処理することができる。ゲストモードでは、システムはユーザ状態の監視を一時停止し、それに応じて、バイタルサイン（本明細書で説明するように静止状態の判定が必要）の測定をマスターユーザが部屋に一人で現れるまで停止する。より高度なオプションでは、点群の固有のパラメータと点群のダイナミクス（サイズ、歩行パラメータなど）に基づいてマスターユーザを識別し、部屋にいる他の個人を無視して、マスターユーザの監視を続行することができる。

システムの指向状態グラフは頂点としてユーザ状態を有するが、グラフのエッジはある状態から別の状態へ実行可能な遷移である。すべての遷移が実行可能であるわけではない。例えば、ユーザはベッドの上に横たわった後すぐに歩き始めたり、退出後に部屋に入った直後に窓の近くに立ったりすることはできない。

ユーザ状態間のすべての可能な遷移は、部屋に入って椅子まで歩く、椅子の近くに立つ、椅子に座る、ベッドまで歩く、ベッドの近くに立つ、ベッドに座る、ベッドに横になるなど、基本的なユーザルートを規定する。状態間のほとんどの遷移には、遷移に割り当てられた特定の遷移手順がある。このような遷移手順は、ユーザ状態の検出精度を向上させるために、システムによって検証される。例えば、歩いている状態から立っている状態に遷移するには、ユーザの速度を落とす必要がある。別の例では、ユーザが部屋を横切って歩いているときに突然倒れた場合、ユーザの体は急激に前方または後方に曲がる。したがって、歩いている状態から転倒状態への遷移中に取り込まれた中間点群の境界ボックスは、境界ボックスの高さを徐々に減らし、重心の低い位置を取得し、長さを増やす。このような遷移手順は、ＬＳＴＭ ＲＮＮモデルの学習の対象となる場合があり、結果分類器はこれらの手順を使用して後続のユーザ状態を検証することができる。代わりに、または機械学習に加えて、点群とその境界ボックスの幾何学的形状を直接処理することにより、遷移手順を特定することができる。

基本的なユーザルートは、習慣的なルーチンにさらに組み合わせることができ、これは、状態グラフ上のパラメータ化された経路として正式に表すことができ、パラメータには、部屋のオブジェクト、各状態でユーザが費やした時間間隔などが含まれる。習慣的なルーチンの例は次のとおりである。

Ｄ（部屋の外で２５分を費やす）→Ｗ（部屋に入ってテーブルまで歩く、１０秒）→Ｓｔ（椅子の近くに立つ、２秒）→Ｓ（椅子に座る、５分）→Ｗ（窓まで歩く、１５秒）→Ｓｔ（窓の近くに立つ、２分）→Ｗ（ベッドまで歩く、７秒）→Ｓｔ（ベッドの近くに立つ、５秒）→Ｓ（ベッドに座る、９０秒）→Ｌ（ベッドの上に横になる、７時間。）
インストールされた装置がユーザの日常の行動と習慣を監視するにつれて、システムはかなりの数の様々な習慣的なルーチンを蓄積することができ、それは、オブジェクト、時間間隔、その他のパラメータの多次元空間内の点のクラスタとして幾何学的にマッピングでき、複雑なユーザの行動を表現することができる。その後に、新しいルーチンが蓄積されたクラスタと比較され、新しいルーチンが既存のクラスタの各々から著しく離れている場合には、介護者に信号を送信することができ、介護者は、新しいルーチンを、健康的な習慣の出現または介護者による行為を必要とし得る健康的な行動からの逸脱の第１のケースとして分類することができる。習慣的なルーチンのスペースをクラウドに送信し、他のユーザのスペースと比較して、動作をさらに分類し、危険な状況の検出を改善することができる。

危険な状況は、以下の様々な方法を使用して追跡装置によって検出され得る。

・転倒検出は、本明細書の他の所で説明されているように、ＬＳＴＭ分類器を使用したり、レーダーによって生成された点群の直接的な幾何学的処理を行ったりする状態検出エンジンの通常の機能であり得る（例えば、関連する遷移手順の上記の説明を参照）。転倒が検出された場合には、システムはさらに、音声記録の断片を他の遷移手順の記録と比較して転倒を確認することができる。その後に、システムは追跡装置のマイクを使用してユーザとやり取りし、ユーザに代わって介護者に連絡するか、またはユーザが応答しない場合に自動的に介護者に連絡する。

・例えば、部屋を長時間循環したり、２つのオブジェクト間を繰り返し前後に移動したり、習慣的なルーチンから大幅に逸脱したりするなど、不規則または説明できない行動は、上記の習慣的ルーチン検出エンジンを使用して検出できる。そのような行動が検出されると、その行動は警報または警告を介して介護者に即座に伝えられる。追跡装置の音声システムを介してユーザとやり取りしようとする試みもオプションである。

睡眠不足は、呼吸や心拍数、長時間横になっているユーザの体位などのバイタルサインを監視することで検出できる。

・足を引きずる、不確実な歩行、頻繁な停止など、ユーザの歩行の望ましくない変化。

・上記のように、健康状態からのその他の著しい逸脱は、静止したユーザ状態で定期的に得られるバイタルサインの監視に依存することができる。

新しく設置された追跡装置が機能する初期段階で、システムは部屋のポートレイトを構築し、様々なユーザ状態のユーザ点群の境界ボックスの絶対座標を監視することにより、ベッド、テーブル、椅子、本棚、ドア、窓などの様々なオブジェクトを検出する。例えば、歩行しているユーザが習慣的に通っている部屋の領域は、オブジェクトが占めるスペースから差し引かれる。立った状態、座った状態、横たわった状態（床の上の高さ、ベッドの高さに対応する）の隣接する状態の境界ボックスは、ベッドまたはカウチのおおよその位置を示すことができる。ベッドまたはカウチの位置と境界は、座る前にオブジェクトに近づき、座って、横たわる状態の点群の境界ボックスの位置を監視し、起きた後にこれらの状態を反転させることでさらに強化することができる。同様に、以前に検出された部屋の境界（減算された歩行エリアを使用）にある遠い地点の近くに長い間立っていると、窓が暗示される。

本明細書に記載されるシステムの実施形態は、図面に従ってより詳細に説明されるが、図面について以下で簡単に説明する。

本明細書に記載のシステムの一実施形態による、部屋、家具、追跡装置および様々なユーザ状態の点群の概略図である。 本明細書に記載のシステムの一実施形態による追跡装置の概略図である。 本明細書に記載のシステムの一実施形態による、ユーザ状態およびニューラルネットワークベースの分類器の概略図である。 本明細書に記載のシステムの一実施形態による、ユーザ状態グラフの概略図である。 本明細書に記載のシステムの一実施形態による、転倒プロセスの幾何学的形状の概略図である。 本明細書に記載のシステムの一実施形態による、習慣的なルーチンおよび関連するクラスタの概略図である。 図７Ａは、本明細書に記載のシステムの一実施形態による、通常のユーザルーチンの概略図である。図７Ｂは、本明細書に記載のシステムの一実施形態による、警告すべきユーザルーチンの概略図である。 本明細書に記載のシステムの一実施形態によるシステムダッシュボードの概略図である。 本明細書に記載のシステムの一実施形態による、ユーザ状態およびルーチンを識別および分類することに関連して機能するシステムを示すシステムフロー図である。

ここで説明するシステムは、ユーザ状態を検出し、ユーザ行動を分析し、有害な状態と条件を特定し、必要に応じて介護者に警告するために、超広帯域レーダーベースのインターネット対応追跡装置と、点群を処理する新しいＡＩの強力な幾何学的手法を使用して、長期介護施設または他の場所にいる高齢者を継続的、非侵襲的かつ包括的に監視するメカニズムを提供する。

図１は、部屋１１０、家具、追跡装置、および様々なユーザ状態の点群の概略図１００である。長期介護を受ける人は、壁のＡＣコンセントに接続された追跡装置１２０を備えた部屋１１０に居住している。部屋１１０は、ドア１３０ａ、窓１３０ｂを有し、ベッド１４０ａ、テーブル１４０ｂ、２つの椅子１４０ｃ、１４０ｄ、および本棚１４０ｅを備えている。図１は、より密度の高い点群とより大きなサイズの境界ボックスを有する１つの動的なユーザ状態である歩いている状態１５０、１５０ａ、および以下の３つの静止したユーザ状態を示している。

・本棚１４０ｅの近くに立っている状態－大きな箱１６０ａはユーザの身体のより大きな部分を示しており、静止した位置のためにレーダー点を生成しないが、胸部１６０はユーザの呼吸により点を生成する。

・椅子１４０ｃに座っている状態－胸部１７０と、胸部１７０の実際の点群および境界ボックスのみが示されている。

・ベッド１４０ａに横たわった状態－立っている場合と同様に、胸部１８０のみが身体１８０ａ内に点を生成する。

図２は、追跡装置１２０の概略図２００である。チップセット２１０は、データ収集、処理、およびクラウドとのデータ交換を可能にする。超広帯域レーダー２２０は、１８０度に近いカバレッジエリアを有し、部屋内で移動するオブジェクトを追跡する。より小さな捕捉角度を備えたより安価なレーダーが利用される場合、追跡装置１２０は、より広い組み合わせられた捕捉領域を提供するために、垂直軸の周りで互いに対して回転する対応する捕捉領域を備えたいくつかのそのような高度でないレーダーを含んでもよい。音声記録装置２３０は、日常生活およびユーザルーチンの活動の音を取り込み、潜在的に日常生活およびユーザルーチンの活動を警報活動中に記録された異常なサウンドトラックと比較するために使用される。マイクまたは他の音声生成装置２４０を使用して、ユーザとやり取りする（例えば、転倒を確認して基本的な指示を提供する）か、介護者と通信することができる。電源プラグ２５０は説明するまでもない。セルラー、Ｗｉ－Ｆｉ、またはその他のインターネット接続２６０を使用して、追跡装置１２０と、システムソフトウェアの一部がサーバー２８０で実行されているクラウド２７０との間でデータを交換することができる。

図３は、ユーザ状態およびニューラルネットワークベースの分類器の概略図３００である。ユーザ状態は、本明細書の別の所で説明されており、歩いている状態３１０、立っている状態３２０、座っている状態３３０、横たわっている状態（ベッド、ソファなどに）３４０、寝返りをしている状態３５０、転倒状態３６０は、アイテム３１５、３２５、３３５、３４５、３５５、３６５でニーモニックに示されている、点群の境界ボックスの特徴的な点密度、サイズ、方向、および配置に関連付けられている。特徴的な境界ボックス、点密度、重心の位置のパラメトリック表現は、ニューラルネットワーク分類器の学習材料を構成する。したがって、図１の点群の境界ボックスの図と同様に、関連するユーザ状態３１０ａ、３２０ａ、３３０ａ、３４０ａ、３５０ａ、３６０ａに関連付けられている、境界ボックス１５０ｂ、１６０ｂ、１７０ｂ、１８０ｂ、３５７、３６７内で正規化された実生活および初期のレーダーで捕捉した点群のサンプルは、回帰ニューラルネットワークのＬＳＴＭモデルなどの機械学習サブシステム３７０に送られる。結果分類器３８０は、その後のユーザ状態の連続的な識別のための主要なシステム構成要素になり得る。

図４は、ユーザ状態グラフの概略図４００である。様々なユーザ状態３１０ｂ、３２０ｂ、３３０ｂ、３４０ｂ、３５０ｂ、３６０ｂ、４１０は、状態グラフの頂点を表す。グラフの方向付けされたエッジは太字の矢印で表され、状態間の可能な遷移を示す。一部のユーザ状態では、両方向に遷移が発生する場合があり、例えば、歩いている状態３１０ｂの後に立っている状態３２０ｂが続いてもよいし、逆も同様である。同時に、歩いている状態３１０ｂの後に転倒状態３６０ｂが続く場合があるが、逆の遷移は不可能である（少なくとも、ユーザは立ち上がってから歩かなければならない。これは、転倒状態３６０ｂと立っている状態３２０ｂとの間の両方向のエッジに対応する）。

ユーザ状態間の実行可能な各遷移は、遷移手順に関連付けられている。歩いている状態３１０ｂが立っている状態３２０ｂに遷移するときの減速、または歩いている状態３１０ｂが転倒状態３６０ｂに遷移するときの前方または後方への屈曲など、合計１６の遷移手順がある。これらの遷移手順のうちの１４は、遷移が両方向で利用可能な７組の頂点に関連付けられている。すなわち、遷移モジュール４１５、４３５、４４５、４５５、４６５、４７５、４８５はそれぞれ２つの遷移を含んでいるが、一方、２つの遷移４２５、４９５は一方向でのみ使用できる。

機械学習には、遷移手順のためにキャプチャされた点群の境界ボックスの特性とパラメータを学習すること、および新しい状態に至る遷移手順をチェックすることにより新しい状態を認識することを含むことができる。あるいは、例えば、特定の条件につながる記録されたユーザ軌跡の逆追跡を使用した直接的な幾何学的計算により、遷移手順を検証することができる。

図４のユーザ状態３１０ｂ、３５０ｂのうち２つは動的であり、３つの状態３２０ｂ、３３０ｂ、３４０ｂは静止したものであり、１つの状態４１０はユーザの不在を示し、１つの状態３６０ｂは危険であり、本明細書の他の所で説明されているように、警報または警告４３０を伴う場合がある。静止状態をバイタルサイン測定モジュール４２０と接続する破線の矢印は、（本明細書の他の所で説明されているように）心拍数４２０ａや呼吸数４２０ｂなどのバイタルサインの取り込みの最適化を示している。

図５は、転倒プロセスの幾何学的形状の概略図５００である。本書で説明する基本的な幾何学的モデルでは、ユーザの位置が追跡装置のレーダーによって捕捉された点群の境界ボックスで表され、システムは３次元座標軸に平行な境界ボックスを認識する。したがって、ユーザが歩いている状態１５０ｃで開始し、例えば前方に曲がると、ユーザの体の中間位置が傾斜したボックス５１０、５３０で示され得る。しかし、システムは標準的な境界ボックスのみを認識し、傾斜したボックス５１０、５３０を標準の境界ボックス５２０、５４０に置き換え、それは重心と垂直高さの位置が徐々に低くなり、最終状態３６７ａに遷移する。幾何学的特徴は、図４に関連して説明したように、ユーザ軌跡処理ソフトウェアによって直接取り込まれてもよいし、自動分類器によって考慮されてもよい。

図６は、オブジェクトおよび時間間隔の多次元空間における習慣的なルーチンおよび関連するクラスタの概略図６００である。毎日のユーザの行動と習慣を継続的に長時間監視すると、ユーザが従う一連の習慣的なルーチンが明らかになり得る。ルーチンは、頻繁に繰り返される状態のシーケンス、関連オブジェクト、各状態に留まる時間間隔、および他の関連するパラメータとして定義することができる。図６に、習慣的なルーチンの２つの例を示す。

第１のルーチン６１０（Ｒ_１）には、６つのユーザ状態、すなわち、歩いている状態３１０ｃ、窓１３０ｂ’の近くに立っている状態３２０ｃ、窓からベッド１４０ａ’まで歩いている状態３１０ｄ、ベッドの近くに立っている状態３２０ｃ、短時間ベッドに座っている状態３３０ｃ、および長時間ベッドに横たわっている状態３４０ｃが含まれる。第２のルーチン６２０（Ｒ_２）は、第１のルーチンの最後に開始され、４つのユーザ状態、すなわち、ベッド１４０ａ’に座っている状態３３０ｄ（長時間ベッドに横たわった後）、立ち上がっている状態３２０ｄ、ドア１３０ａ’を通って部屋の外に歩いている状態３１０ｅ、および長時間部屋の外に留まっている状態（退出状態４１０ａ）を含む。

ルーチン６１０、６２０を形成するユーザ状態の両方のシーケンスは、毎日何回も繰り返すことができる。各状態に留まるための時間間隔６３０は、明らかに変化する。各ルーチンでユーザが遭遇するオブジェクトも異なる場合がある。したがって、ベッドは第１のルーチンの最終点（および第２のルーチンの開始点）のままであり得るが、窓１３０ｂ’は、例えば、本棚１４０ｅ（図１を参照）によって置き換えられ得る。習慣的なルーチンの異なるインスタンスは、多次元空間６４０内の点として解釈でき、座標は、例えば、部屋内のオブジェクトと、ルーチン内の各状態の滞在時間を反映する時間シーケンスと、を表す。点のクラスタ６５０、６６０は、習慣的なルーチンを表す。したがって、システムによって検出された新しいルーチンは、同じ空間内の点６７０として同様に示す。点が既存のクラスタから遠く離れている場合には、その点は、介護者またはユーザが説明する必要のある新しいルーチンまたは警告すべき状態のシーケンスとして自動的にマークされ得る。

図７Ａ～図７Ｂは、システムによって取り込まれた通常のユーザルーチンおよび警告すべきユーザルーチンの概略図である。

図７Ａは、可能性のある２つの独立した習慣的なルーチンを組み合わせた通常のルーチンを示しており、その１つは図６に関連して説明されている。ルーチンには、部屋に入り、椅子まで歩き、立って、椅子に座り（状態４１０ｂから状態３１０ｆへ、状態３２０ｅへ、状態３３０ｅへ）、次に、立ち上がり、本棚まで歩いて、本棚の近くに立って（状態３２０ｆから状態３１０ｇへ、状態３２０ｇへ）、窓まで歩いて、窓の近くに立ち、それからベッドまで歩いて、立って、座って、横になることを含む（状態３１０ｈから状態３２０ｈへ、状態３１０ｉへ、状態３２０ｉへ、状態３３０ｆへ、状態３４０ｄへ、これは、図６の習慣的なルーチン６２０と一致する）。ルーチン内の各ユーザ状態が占める妥当な時間間隔では、それはごく普通のことであり、システムに警告すべき状況を疑わせることはない。

図７Ｂは、ユーザルーチンの異なる例を示している。ここで、ユーザは椅子、本棚、窓の間を歩き、状態３１０ｊ、３１０ｋ、３１０ｌを変えているが、停止したり座ったりせずに、（一点鎖線の矢印で示すように）歩行方向をランダムに変更している。そのような落ち着きのない行動は、ユーザの不快感または不安を示す場合があり、システムに警報７１０を生成させ、介護者に通知させる場合がある。システムは、ユーザの行動を明確にするために、音声システム（マイク）を介してユーザとのやり取りを試みることもできる。

図８は、介護者およびおそらくユーザ８１０に表示され得るシステムダッシュボードの概略図８００である。ダッシュボードは、ユーザ８１０の個人データ８２０、ユーザ統計を計算するための時間枠の選択８３０、選択された時間枠の毎日の睡眠平均８４０、平均歩行統計８５０、覚醒状態および睡眠状態で測定された心拍数８６０ａおよび呼吸数８６０ｂなどのバイタルサイン統計８６０、訪問者の平均数と滞在期間８７０を含んでもよい。そのような電子ダッシュボードは、介護センターとの通信のための対話パネル８８０を含んでもよい。メッセージの例には、メッセージフィールド８８０ｄを介して入力された看護師と訪問者との間のやり取り８８０ａ、８８０ｂ、（自動的に入力された）現在のユーザ状態統計および警報８８０ｃなどが含まれてもよい。

図９を参照すると、システムフロー図９００は、ユーザ状態およびルーチンを識別および分類することに関連して機能するシステムを示している。処理はステップ９１０で始まり、そこでは１つまたは複数の追跡装置がユーザルームなどの長期介護施設に設置される。ステップ９１０の後に、処理はステップ９１５に進み、追跡装置に含まれるレーダーにより捕捉された点群の形態で学習データが収集される。ステップ９１５の後に、処理はステップ９２０に進み、本明細書の他の所で説明されているように、学習の最初のラウンドが実施される（例えば、図３および添付のテキストを参照）。ステップ９２０の後に、処理はステップ９２２に進み、部屋に複数のユーザがいる場合、またはマスターユーザが一時的に部屋にいない可能性がある場合に、ユーザを特定するために、すべてのユーザ状態に対してマスターユーザの幾何学的シグネチャが構築される。ステップ９２２の後に、処理はステップ９２５に進み、例えば図３および付随するテキストで説明したように、状態分類器が最初に構築される。ステップ９２５の後に、処理はステップ９３０に進み、システムは、ユーザ軌跡およびユーザ状態に対する家具の相補的な位置に基づいて、家具などの部屋内の静止したオブジェクトを検出する。ステップ９３０の後に、処理はステップ９３２に進み、システムは検出されたユーザ状態のシーケンスを監視し、初期ルーチン、ルーチンクラスタおよび統計を構築する（特に、図６および付随するテキストを参照）。

ステップ９３２の後に、処理はステップ９３５に進み、システムおよび追跡装置が部屋または他の施設を継続的に監視する。ステップ９３５の後に、処理はテストステップ９４０に進み、そこで追跡装置によって点群が検出されたかどうかが判定される。そうでない場合には、処理はステップ９４５に進み、ここでシステムにより退出ユーザ状態が設定または確認される（さらなる説明については図３、図４、図６、図７および付随するテキストを参照）。ステップ９４５の後に、処理は監視ステップ９３５に戻り、それはステップ９３２から独立して到達することができる。テストステップ９４０で点群が検出されたと判定された場合には、処理はテストステップ９５０に進み、点群が単一のオブジェクトに対応するかどうかが判定される。そうでない場合には、処理はテストステップ９５５に進み、システムのゲストモードがオンであるかどうかが判定される（ゲストモードでは、追跡装置は、部屋でマスターユーザだけが見つかるまでマスターユーザの追跡詳細を一時停止する）。そうである場合には、処理は監視ステップ９３５に戻り、それはステップ９３２およびステップ９４５から独立して到達することができる。そうでない場合には、処理はステップ９５７に進み、本明細書の他の所で説明されているように、システムはマスターユーザの点群を識別する。

ステップ９５７の後に、処理は以下に説明するテストステップ９６５に進む。テキストステップ９５０で点群が単一のオブジェクトに対応すると判定された場合には、処理はテストステップ９６０に進み、検出されたオブジェクトがマスターユーザであるかどうかが判定される。そうである場合には、処理はテストステップ９６５に進み、それはステップ９５７から独立して到達することができる。そうでない場合には、処理は監視ステップ９３５に戻り、それはステップ９３２、９４５およびテストステップ９５５から独立して到達することができる（システムはマスターユーザのみを監視し、部屋に一人で現れる可能性のある他の個人、例えば、マスターユーザが朝食のために部屋を出たときに部屋に入った介護者やサービスマンを無視する）。テストステップ９６５で、マスターユーザの新しい状態が検出されたかどうかが判定される。検出されない場合には、処理は監視ステップ９３５に戻り、それはステップ９３２、９４５およびテストステップ９５５、９６０から独立して到達することができる。そうでない場合には、処理はステップ９７０に進み、システムは、本明細書の他の所で説明するように、以前のユーザ状態から新しいユーザ状態への遷移段階の幾何学的な逆追跡によって新しい状態をオプションで検証することができる（特に図４をおよび付随するテキスト参照）。

ステップ９７０の後に、処理はテストステップ９７２に進み、新しいユーザ状態が転倒であるかどうかが判定される。そうである場合には、処理はステップ９８５に進み、システムは、警報、警告、および通知（本明細書の他の所で説明するように、ユーザとの可能性のある音声通信を含む）を生成および起動する。ステップ９８５の後に、処理は完了する。テストステップ９７２で、現在のユーザ状態が転倒ではないと判定された場合には、処理はステップ９７５に進み、新しいユーザ状態が現在のユーザルーチン（例えば、図６、図７および付随するテキストで説明されたユーザ状態のシーケンス）に追加される。ステップ９７５の後に、処理はテストステップ９８０に進み、現在のルーチンがシステムにとって既知であるかどうか（以前に完全または部分的なルーチンとして記録されているか）が判定される。そうである場合には、処理はテストステップ９８２に進み、現在のルーチンが完了しているか（例えば、本明細書の他の所で説明されているように、習慣的なルーチンとして以前に記録されているか）どうかが判定される。そうでない場合には、処理は監視ステップ９３５に戻り、それはステップ９３２、９４５およびテストステップ９５５、９６０、９６５から独立して到達することができる。そうでなければ、処理はステップ９９５に進み、そこで多次元空間内の現在のルーチンの統計およびクラスタ表現（詳細については図６および付随するテキストを参照）が更新される。ステップ９９５の後に、処理が完了する。

テストステップ９８０で、現在のルーチンが未知である（以前に記録されたことがない）と判定された場合には、処理はテストステップ９８７に進み、例えば、図７Ｂに関連して説明するように、現在のルーチンが警告すべきものかどうかが判定される。そうである場合には、処理はステップ９８５に進み、それはテストステップ９７２から独立して到達することができる。そうでない場合には、処理はテストステップ９９０に進み、（新しい、以前は未知の）ルーチンが完了したように見える（またはシステム基準に従って完全に宣言される）かどうかが判定される。そうでない場合には、処理は監視ステップ９３５に戻り、それはステップ９３２、９４５およびテストステップ９５５、９６０、９６５、９８２から独立して到達することができる。そうでない場合、処理はステップ９９２に進み、新しいルーチンがシステムに追加され、多次元空間内の関連するクラスタおよび統計が開始される。ステップ９９２の後に、処理が完了する。

本明細書で説明する様々な実施形態は、本明細書で説明するシステムに関連して適切な組み合わせで互いに組み合わせることができる。さらに、場合によっては、必要に応じて、フローチャート、フロー図、および／または説明されているフロー処理のステップの順序を変更してもよい。その後に、システムの構成と機能は、本明細書に示す図と異なってもよい。さらに、本明細書で説明するシステムの様々な態様は、様々なアプリケーションを使用して実施することができ、スマートフォン、タブレット、およびその他のモバイルコンピュータを含むがこれらに限定されない、様々な装置に展開することができる。スマートフォンおよびタブレットは、ｉＯＳ、Ａｎｄｒｏｉｄ ＯＳ、Ｗｉｎｄｏｗｓ Ｐｈｏｎｅ ＯＳ、Ｂｌａｃｋｂｅｒｒｙ ＯＳ、およびＬｉｎｕｘ ＯＳのモバイルバージョンで構成されるグループから選択されたオペレーティングシステムを使用してもよい。モバイルコンピュータとタブレットは、Ｍａｃ ＯＳ、Ｗｉｎｄｏｗｓ ＯＳ、Ｌｉｎｕｘ ＯＳ、Ｃｈｒｏｍｅ ＯＳで構成されるグループから選択されたオペレーティングシステムを使用してもよい。

本明細書で説明されるシステムのソフトウェア実施態様は、コンピュータ可読媒体に格納され、１つまたは複数のプロセッサによって実行される実行可能コードを含んでもよい。コンピュータ可読媒体は、非一時的であってもよく、コンピュータハードドライブ、ＲＯＭ、ＲＡＭ、フラッシュメモリ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、フラッシュドライブ、ＳＤカードなどのポータブルコンピュータ記憶媒体および／または例えばユニバーサルシリアルバス（ＵＳＢ）インターフェースを備えた他のドライブ、ならびに／あるいは実行可能なコードが格納され、プロセッサにより実行される他の適切な有形または非一時的なコンピュータ可読媒体またはコンピュータメモリを含んでもよい。ソフトウェアは、バンドル（プリロード）されてもよく、アプリストアからインストールされてもよく、またはネットワークオペレータの場所からダウンロードされてもよい。本明細書で説明されるシステムは、任意の適切なオペレーティングシステムに関連して使用されてもよい。

本発明の他の実施形態は、本明細書の考察または本明細書に開示した本発明の実施から当業者には明らかであろう。本明細書および実施例は例示としてのみ考慮されることが意図されており、本発明の真の範囲および趣旨は添付の特許請求の範囲によって示される。

Claims (29)

1. 人の身体的状態を判定する方法であって、
   所定の空間における前記人の異なる部分の位置を検出する段階と、
   検出された所定の空間における前記人の異なる部分の位置を、前記異なる部分の各々の動きに従って変化する点密度を有する点群に変換する段階と、
   前記点群からの動きと前記所定の空間における位置のデータを既知の身体的状態の位置および異なる状態間の遷移と相関させる段階と、
   前記点群からの前記データを特定の身体的状態と照合することにより、前記所定の空間における位置を含む前記特定の身体的状態を選択する段階と、
   を含む方法。
2. 前記人の異なる部分の位置は追跡装置を使用して検出される、請求項１に記載の方法。
3. 前記追跡装置は非接触追跡装置である、請求項２に記載の方法。
4. 前記追跡装置は少なくとも１つの広帯域レーダーを含む、請求項２に記載の方法。
5. 前記追跡装置は、クラウドコンピューティングシステム内の少なくとも１つのサーバーと無線で通信する、請求項４に記載の方法。
6. 前記状態は、歩いている状態、立っている状態、座っている状態、横になっている状態、寝返りをする状態、転倒する状態、および退出している状態のうちの少なくとも１つをさらに含む、請求項１に記載の方法。
7. 転倒は、前記人が前記歩いている状態から前記横になった状態に遷移することに応答して検出される、請求項６に記載の方法。
8. 前記遷移中には、前記人は前記点群の重心が次第に低くなるように検出される、請求項７に記載の方法。
9. 転倒を確認し、基本的な指示を前記人に提供するために、音声生成装置が前記転倒に続いて前記人とやり取りする、請求項７に記載の方法。
10. 前記音声生成装置が前記人と通信することに続いて、前記人が動かないかまたはやり取りしない場合には、介護者に連絡する、請求項９に記載の方法。
11. 前記音声生成装置は、前記人からの音声通信を受信するマイクを含む、請求項１０に記載の方法。
12. 前記状態の各々は、前記点群の点密度、サイズ、方向、重心、および境界ボックスの配置に関連付けられる、請求項１に記載の方法。
13. 異なる状態のサンプルの前記境界ボックス、前記点密度、および前記重心の位置のパラメトリック表現が、ニューラルネットワーク分類器への入力として提供される、請求項１２に記載の方法。
14. ニューラルネットワークは、検出された所定の空間における前記人の異なる部分の位置を検出し、クラウドコンピューティングシステムと無線通信する追跡装置からデータを受信する前記クラウドコンピューティングシステムのサーバーに前記ニューラルネットワークを提供することにより学習される、請求項１３に記載の方法。
15. 前記ニューラルネットワークは、長・短期記憶回帰ニューラルネットワークである、請求項１４に記載の方法。
16. 前記ニューラルネットワーク分類器は、前記点群からの動きおよび位置データを既知の身体的状態位置と相関させ、異なる状態間で遷移して前記特定の身体的状態を選択する、請求項１３に記載の方法。
17. 前記人の習慣的ルーチン状態の遷移および位置に対応する情報を維持する段階をさらに含む、請求項１に記載の方法。
18. 習慣的ルーチン状態の遷移および位置は、複雑なユーザの行動を表すオブジェクト、時間間隔、位置、および状態遷移のシーケンスの多次元空間内の点のクラスタを検出することによって決定される、請求項１７に記載の方法。
19. 前記人が前記習慣的ルーチン状態の遷移および位置から逸脱することに応答して、警報が介護者に提供される、請求項１７に記載の方法。
20. 前記習慣的ルーチン状態の遷移および位置から逸脱することは、長期間にわたって部屋を循環すること、または２つのオブジェクト間を繰り返し前後に移動することを含む、請求項１９に記載の方法。
21. 行動をさらに分類し、危険な状況の検出を改善するために、習慣的なルーチンに対応する点のクラスタが、他の人々の習慣的なルーチンに対応する点のクラスタと比較するためにクラウドコンピューティングシステムに提供される、請求項１８に記載の方法。
22. 前記所定の空間は部屋であり、
    前記人が前記部屋にいて、前記部屋内のオブジェクトが、様々なユーザ状態における前記点群の境界ボックスの絶対座標を監視することにより最初に検出される、請求項１に記載の方法。
23. 前記オブジェクトは、ベッド、テーブル、椅子、本棚、ドア、または窓のうちの少なくとも１つを含む、請求項２２に記載の方法。
24. 前記部屋の領域から前記境界ボックスの複数の位置を減算することにより、前記部屋内のオブジェクトが検出される、請求項２２に記載の方法。
25. 前記人が床から特定の高さで横たわった状態にあることを観察することにより、ベッドが検出される、請求項２４に記載の方法。
26. 横たわった状態、横たわった状態になる前または横たわった状態の後の座った状態、および座る前の立った状態に対応する境界ボックスを追跡することによって、前記ベッドの境界が決定される、請求項２５に記載の方法。
27. ベッドまたはカウチに対応する位置に立っている、座っている、および横たわる隣接状態を観察することによって、前記ベッドまたは前記カウチが検出される、請求項２４に記載の方法。
28. 前記人が前記部屋の境界に比較的長い時間立っていることを観察することによって、窓が検出される、請求項２４に記載の方法。
29. 人の身体的状態を決定するソフトウェアを格納する非一時的コンピュータ可読媒体であって、前記ソフトウェアは、
    所定の空間における前記人の異なる部分の位置を検出する実行可能コードと、
    検出された所定の空間における前記人の異なる部分の位置を、前記異なる部分の各々の動きに従って変化する点密度を有する点群に変換する実行可能コードと、
    前記点群からの動きと前記所定の位置のデータを既知の身体的状態の位置および異なる状態間の遷移と相関させる実行可能コードと、
    前記点群からの前記データを特定の身体的状態と照合することにより、前記所定の空間における位置を含む前記特定の身体的状態を選択する実行可能コードと、
    を含む、非一時的コンピュータ可読媒体。

Images