JP6006790B2 - 共通寝具における複数の被験者の移動及び呼吸をモニタリングするための方法及び装置 - Google Patents

Description

本発明は、共通寝具（例えば、同床者）における運動及び呼吸をモニタリングするための方法及び装置に関する。とりわけ、本発明は、共通寝具に配置された複数の被験者の運動をモニタリングするための方法であって、光学センサにより前記寝具を撮像するステップと、前記光学センサから受信された、連続的な画像の間、又は、離れている幾つかのフレームである画像の間の、対応する画像ブロックの局所的変位を示す動作ベクトルを生成することにより動作推定を実行するステップと、前記動作ベクトルの空間的及び時間的相関を測定することにより動作クラスタを計算するステップと、対応する被験者への各動作クラスタの割当てにより、算出された動作クラスタを分割するステップとを有し、対応する被験者に対する動作クラスタの割当てが、互いの間の動作クラスタの空間的及び／又は時間的類似性並びに前の動作割当て結果に基づく、方法に関する。

呼吸は、非常に重要な睡眠パラメータである、例えば、とりわけ、リラクゼーション、睡眠深度、無呼吸及びいびきの事象の状態に対する洞察を与える。運動も非常に重要な睡眠パラメータである、例えば、人の睡眠覚醒状態及び周期的肢運動に対する洞察を与える。ベッドにおける１人よりも多い人は、そのベッドにおいて呼吸及び運動をモニタリングすることに関して困難をもたらす。これは、２人の人が接近して寝ているときだけでなく、同じ羽布団の下であまり接近せずに寝ているときにも当てはまる。それ故、本発明は、２又はそれ以上の被験者が共通ベッドを共有したときに、呼吸及び運動をモニタリングすることに関する。この関心事において、"被験者"は、人及び／又は動物として理解されるべきである一方で、共通ベッドは、同時に少なくとも２人の被験者により共通に用いられる、例えばベッドのような、休む場所として理解されるべきである。

呼吸は、光学センサ及び小型マイクロホンを用いてコンタクトレスの手段でモニタリングされ得る。呼吸をモニタリングすることは、閉ループペース（closed-loop paced）の呼吸デバイス又は他のリラクゼーションデバイス、種々のタイプの無呼吸又はいびきをモニタリングするためのデバイス、睡眠指導、睡眠深度モニタ、コンタクトレスの"睡眠クオリティスコアラ"等のような、多くの睡眠／リラクゼーションアプリケーションに役立ち得る。睡眠の間の運動も非常に重要な睡眠パラメータである、例えば、人の睡眠覚醒状態及び周期的肢運動に対する洞察を与える。運動も、光学センサを用いたコンタクトレスな手段でモニタリングされ得る。運動をモニタリングすることは、人の睡眠／覚醒状態に反応するシステム（例えば、人が寝入ったときにオフにするシステム）、周期的肢運動をモニタリングするためのデバイス、睡眠深度モニタ、コンタクトレスの"睡眠クオリティスコアラ"等のような、幾つかの睡眠／リラクゼーションアプリケーションに役立ち得る。

上記のデバイスは、典型的には、１人のユーザをモニタリングするか又は１人のユーザに影響を与えることを目的としている。しかしながら、多くの人々は、ベッドを同床者と共有する。同床者は、多かれ少なかれ接近して眠る場合がある。例えば、複数組の睡眠位置が存在する。例えば、
− "セーリングアウェイ（Sailing away）"：パートナーは、ベッドの最も遠くのコーナーにおいて、又は、頭を足に向けて、眠っている。
− "ハグ（Hug）"：パートナーは、深い抱擁において顔を顔に向けてパートナーと眠る。
− "スプーン（Spoon）"：一方のパートナーが側臥位で横たわっており、他方のパートナーがパートナーを抱きながらこのパートナーの背後に横たわっている。
− "ルーズタイト（Loosely tight）"：この位置は、"スプーン（Spoon）"に類似しているが、違いは、一方のパートナーが他方のパートナーとの間にいくつかの距離を保つことである。それにもかかわらず、双方のパートナー間には常に接触が存在する（膝、手、足等）。

多くの人々は、１つのベッドにおいて及び１つの羽布団の下で一緒に眠る。１，０００人以上の成人の回答者の世論調査をしている全国睡眠財団による調査は、ほとんどの夜に、回答者の６１％が大切な人と眠り、１２％がほとんどの夜に彼らのペットと眠り、５％が彼らの子供と眠ることを見出した。１０人中６人よりも多い回答者（６２％）は、彼らの大切な人と眠るのを好むことを報告する。

体上センサは、睡眠の間の運動（例えば、挙動記録装置）又は呼吸（例えば、胸部又は／及び腹部に巻かれた呼吸ベルト）をモニタリングするために用いられ得る。しかしながら、これらのセンサは、ユーザにとって快適でもなく便利でもない。光学センサのような体外センサは、それ故、ユーザにとってより理想的であり、より信頼性が高い手段で睡眠をモニタリングする可能性を有する。

一緒に眠ることは、夜の間に固定された位置を有する体外センサにより運動及び／又は呼吸をモニタリングすることに関して困難をもたらす。これは、呼吸運動を含む小さな運動及び大きな運動の双方がベッドの一方から他方まで進行し得るので、２人の人が物理的に一緒に接近して眠っているときだけでなく、あまり接近して一緒に眠っていないが依然として同じ布団の下にいるときにも当てはまる。

Proceedings - 19^th Int. Conference IEEE/EMBS, Oct. 30-Nov. 2, 1997 Chicago, IL, USA における、Nakajimaらによる刊行物"A method for measuring respiration and physical activity in bed by optical flow analysis"は、画像シーケンス分析を導入することによる体運動の光学的なフロー検出に基づく、完全に非接触及び無制約のモニタリング方法を開示している。時空的な局所的最適化方法は、画像シーケンスにおける光学的なフローを決定するために適用される。光学的なフローは、ベッドにおける呼吸及び姿勢の変化による胸部運動を含む、全ての体動作の外見上の速度フィールドを視覚化する。心拍数の時間的増加は、身体的活動の大きさを反映する。２つの候補パラメータは、試験的結果の比較に基づく呼吸及び身体的活動の評価のために提案される。二乗動作速度の平均は、身体的活動の大きさを反映する。代表的なフィールド平均化成分は、鼻部サーミスタで得られた呼吸に対応する周期的変動を有する波形を示す。

Proceedings of the 22^nd annual EMBS international conference, July 23-28, 2000, Chicago, IL, USAにおける、Nakajimaらによる刊行物"A monitor for posture changes and respiration in bed using real time image sequence analysis"は、ベッドにおける被験者の姿勢変化及び呼吸を評価するために、画像シーケンス分析のリアルタイムシステムを開示した。システムは、（センサとして用いられる）ＣＣＤビデオカメラ、画像処理盤及びＰＣから成る。２５６ＣＰＵを含む画像処理盤は、１５０ｍｓの範囲内で２５６×２４０ピクセルの光学的なフロー（外見上の速度）を検出する。代表的なフィールド平均化速度は、大きなピーク及び周期的変動を有する２つの成分を含む波形を示す。大きなピークは姿勢変化の間に発生し、周期的変動は鼻部サーミスタで得られた呼吸に対応する。システムは療養所においてテストされた。ここで、問題なく全体で５６時間動作した。

IEEE Transactions on Information Technology in Biomedicine, Vol. 14, No.2, March 2010における、Kuoらによる刊行物"A visual context-awareness-based sleeping-respiration measurement system"は、高齢者人口の急速な成長により、高齢者の健康管理の特定の態様を向上させることがより重要になっていることを開示した。高齢者のための睡眠モニタリングシステムは珍しい。この刊行物において、高齢の睡眠者の呼吸情報を測定する、視覚的な状況認識に基づく睡眠呼吸測定システムが提案される。正確な呼吸測定は、眠っている人のための全ての考えられる状況を考慮することを必要とする。提案されたシステムは、体動作状況検出サブシステム、呼吸状況検出サブシステム及び高速動作ベクトル推定に基づく呼吸測定サブシステムから成る。システムは、研究人口に対する正確な呼吸測定をもたらした。

米国特許第７，４３１，７００号明細書は、屋内の照明光による影響を受けることなく眠っている人の呼吸を検出することができ、画像測定を介して量的に検出された呼吸を容易に評価することができるモニタを開示している。このモニタは、指定された照明パターンを投射するための手段と、投射された光の画像を連続的に取り込むための手段と、異なる時間に画像ピックアップ手段により取得された２つのフレームの画像から照明パターンのフレーム間運動を計算するための手段と、時系列に配置されたフレーム間運動を有する運動波形データを生成するための手段と、運動波形データからオブジェクトの運動を検出するための手段とを有する。

それ故、この発明の目的は、とりわけ２又はそれ以上の被験者がベッドを共有するときに、体外センサにより呼吸及び運動をモニタリングする精度を向上させることにある。

本発明のこの目的は、共通寝具に配置された複数の被験者の運動をモニタリングするための方法であって、光学センサにより前記寝具を撮像するステップと、前記光学センサから受信された、連続的な画像の間、又は、離れている幾つかのフレームである画像の間の（フレームの数はカメラに設定されたフレーム速度に依存する）、対応する画像ブロックの局所的変位を示す動作ベクトルを生成することにより動作推定を実行するステップと、前記動作ベクトルの空間的及び時間的相関を測定することにより動作クラスタを計算するステップと、対応する被験者への各動作クラスタの割当てにより、計算された動作クラスタを分割するステップとを有し、対応する被験者への動作クラスタの割当ては、互いの間の動作クラスタの空間的及び／又は時間的類似性及び前の動作ベクトル割当てに基づく、方法により達成される。

本発明によれば、夜間に渡る被験者自身の運動及び呼吸リズムを正確に解析するために、一の被験者又は／及び他の被験者に対して画像部分を最適に割り当てることができる光学センサによる技術が提案される。これは、複数の被験者が２つの別個のマットレス上で眠っているときにも、彼らが一緒に接近して同じ羽布団の下にいるときにも、適用できる。更に、提案された技術は、ベッドにおける複数の被験者を同時にモニタリングするために１つのセンサしか利用しない。

この関心事における撮像は、共通ベッドにおける被験者に関する光学情報を集めるものとして理解されるべきである。しかしながら、この光学情報が高い解像度カメラシステムにより得られる必要はない。動作推定を実行するために、低解像度画像は、例えば、１６×１６ピクセルの解像度をもつ光学マウスで使用される光学センサに類似した光学センサから構築される。低解像度画像処理は、処理パワーの必要性を低減し、これは、小型の処理システムのみが用いられたときであっても、順次、本方法をより高速にする。加えて、低解像度画像の使用は、顔のような認識できない特徴を伴う被験者の匿名のモニタリングを可能にする。更に、光学情報は、電磁スペクトルの可視範囲内にある必要はない。例えば、光学情報は、電磁スペクトルの赤外線の（ＩＲ）範囲において構築されてもよい。ＩＲの使用は、肉眼に対して可視ではなく、従ってより快適であるので、本方法がモニタリングされた被験者に対してあまり妨害しないという利点を提供する。

動作推定に関して、適切な動作ベクトルを与える任意の種類のアルゴリズム、例えば、IEEE Transactions on Circuits and Systems for Video Technology, Vol. 3, No. 5, October 1993における、de Haanらによる刊行物"True-motion estimation with 3-D recursive search block matching"において提案されたアルゴリズムが適用可能である。しかしながら、通常、動作情報を計算する任意のアルゴリズムが適用され得る。例えば、光学フロー推定、最大帰納的な確率推定、マルコフランダム場推定、平均平方エラー計算、絶対差分計算の合計、平均絶対差分計算、二乗エラー計算の合計及び絶対的な変換差分計算の合計が、本発明の方法に対して適用可能である。

本発明の一実施形態によれば、前の画像の分割結果が、後の画像における対応する被験者に対する動作クラスタの割当てのために考慮される。こうすることによって、割当ての精度が増大する一方で、必要とされる処理パワーは減少する。

本発明の他の実施形態によれば、呼吸分析は、光学センサにより供給された、連続的な画像、又は、離れている幾つかのフレームである画像（フレームの数はカメラに設定されたフレーム速度に依存する）からのデータに基づいて共通ベッドにおける各被験者に対して実行される。

呼吸を測定することは、健康管理及び消費者向け市場において有益である。健康管理において、多数の疾患（例えば、心不全、呼吸又は肺疾患、腎不全）は、被験者の呼吸パターンを分析することにより認識され得る。例えば、心不全が助長されたときには、チェーンストークス（Cheyne-Stoke）呼吸（周期的呼吸）が発症するかもしれない。以下、とりわけ呼吸パターンにおいて心不全の症状がそれ自身どのように表し得るかを述べる。とりわけ原因が心臓発作である場合には、心不全の症状は急に始まるかもしれない。しかしながら、ほとんどの人々は、心臓が最初に問題を発症し始めたときには、症状がない。その後、症状は、数日、数ヶ月又は数年に渡って段階的に発症する。最も一般的な症状は、息切れ及び疲労である。心不全は、時間の期間の間安定し得るが、多くの場合、ゆっくりと知らぬ間に進行する。右心不全及び左心不全は異なる症状をもたらす。心不全の双方のタイプが存在し得るにも関わらず、多くの場合、一方の不全の症状が際立つ。最終的に、左心不全は右側不全をもたらす。左心不全は、肺における体液蓄積をもたらし、これは息切れをもたらす。最初、息切れは、運動の間にのみ生ずるが、心不全が進行するにつれて、より少ない運動によって生じ、最終的には休憩しているときでさえも生じる。重度の左心不全をもつ人々は、重力がより多くの体液を肺に移動させるので、横になっているときに息切れする場合がある（起坐呼吸と呼ばれる状態）。体を起こすことは、体液の一部が肺の底部に排出することをもたらし、呼吸をより容易にする。心不全が助長されたときに、チェーンストークス呼吸（周期的呼吸）が発症する場合がある。呼吸のこの異常なパターンにおいて、人は、急速に深く呼吸し、そして、よりゆっくりと呼吸し、その後、数秒の間全く呼吸しない。脳への血流が低減され、それ故、呼吸を制御する脳のエリアが十分な酸素を受けないので、チェーンストークス呼吸が発症する。心不全のある一部の人々は 起坐呼吸、発作性の夜行性の呼吸困難又は双方を経験する。起坐呼吸は、体を起こすことにより和らげられた人が横になったときの息切れである。発作性の夜行性の呼吸困難は、睡眠の間の息切れの突然の（多くの場合恐ろしい）発作である。この状態は、起坐呼吸の極端な形式及び重篤な心不全のサインである。また、呼吸困難は、酸素を組織へ運ぶ赤血球の減少した数のため、貧血又は失血を有する人々において発生し得る。人は、血液中の酸素の量を増加させようとする再帰の取り組みにおいて、急速に深く呼吸する。重篤な腎不全、真性糖尿病の突然の悪化を伴う人、又は、或る薬又は毒を服用した人は、息切れしていると感じ、血液中の大量の酸の蓄積のため、直ぐに息切れし始める場合がある（代謝性アシドーシスと呼ばれている状態）。また、貧血及び心不全は、腎不全を伴う人々について呼吸困難に寄与する場合がある。加えて、３つの形式の睡眠無呼吸、中枢神経系（ＣＳＡ）、閉塞性（ＯＳＡ）、及び、複雑な又は混合された睡眠無呼吸（即ち、中枢神経系及び閉塞性の組み合わせ）が存在する。ＣＳＡにおいて、呼吸は、呼吸努力の欠乏により中断される。ＯＳＡにおいて、呼吸は、呼吸努力にも関わらずエアフローに対する物理的なブロックにより中断され、いびきは一般的である。

タイプに関わらず、睡眠無呼吸を伴う人は、起きたときでさえも、呼吸の困難さにめったに気づかない。睡眠無呼吸は、多くの場合、発症期間中の人を目撃している他人により問題として認識されるか、又は、体に対するその効果のため推測される。症状は、識別されずに数年の間又は数十年の間でさえも存在し得る。その間、患者は、睡眠障害の重大なレベルと関連する日中の眠気及び疲労に慣れ得る。

心不全（ＨＦ；Heart failure）は、ＥＳＣ（European Society of Cardiology）及びＨＦＳＡ（Heart Failure Society of America）により報告される極めて一般的な疾患である。ＥＳＣは、９００，０００，０００より多くの組み合わせた人口をもつ国を表し、それらの５１カ国においてＨＦをもつ少なくとも１５，０００，０００人の患者がいる。無症候性心室機能不全の罹患率は同程度であり、その結果、ＨＦ又は無症候性心室機能不全は、人口の４％までにおいて明らかである。ＨＦの罹患率は、２〜３％にあり、７５歳までの年齢で急激に上がり、従って、７０〜８０歳の人々の罹患率は、１０〜２０％である。ＨＦの全体の罹患率は、高齢の全体的な人口のため、増加している。ＨＦＳＡは心不全が一般的であると実証しているが、未確認であり、多くの場合誤診されている。これは、ほぼ５，０００，０００人のアメリカ人に影響を及ぼす。心不全は、増加している唯一の大きな心血管障害である。心不全の約４００，０００〜７００，０００の新たな事例が毎年原因究明され、この状態からのアメリカにおける死亡数は、１９７９年以降２倍以上になっており、毎年平均で２５０，０００人が死亡する。

ＨＦインシデントの大きな量は、高い保健医療費により自然に付随される。心臓病に加えて、呼吸器疾患は、広範囲に渡り、早めの介入又はより簡単な診断は、人の健康及び関連した保健医療費の双方に対して有益であるだろう。イギリスの肺基金は、以下の事実を明らかにしている。
− 気管及び／又は肺に影響を及ぼすとともに人の呼吸する能力に影響を与える４０を超える状態がある。これらは、とりわけ、肺癌、結核、喘息、ＣＯＰＤ（慢性閉塞性肺疾患）、嚢胞性線維症、睡眠無呼吸、鳥インフルエンザ、細気管支炎を含む。
− 英国におけるそれぞれ７人に１人は、肺疾患により影響を受ける。これは、おおよそ８，０００，０００人に等しい。
− 呼吸器疾患は、僅かに多くの死亡を占めるにすぎない（２００４における英国における１２２，５００の死亡）組み合わせられた全ての非呼吸性の癌の後の英国における２番目に大きなキラー（２００４における１１７，４５６の死亡）である。
− 呼吸器疾患は、心血管疾患の後の世界的に２番目に大きなキラーである。
− ２０２０において、世界中の６８，０００，０００人の死亡の中の、１１，９００，０００は、肺疾患によりもたらされるだろう。
− 呼吸器疾患からの英国の死亡率は、ヨーロッパの平均のほぼ倍であり、ヨーロッパにおいて６番目に高いものである。
− 職業性肺疾患による死亡は、１９８８〜１９９８の中皮腫死亡の数の７５％の増加により急速に上昇している。
− 呼吸器疾患は、子供における最も一般的に報告された長期疾患であり、大人について３番目に一般的に報告される。

呼吸モニタリングは、とりわけリラクゼーションのために、消費者向け市場において有益である。今日では、不規則な睡眠、シフト任務、パフォーマンスプレッシャー及びストレスにより、リラックスした態様で眠ることがより困難である。リラクゼーション周辺のソリューションがますます重要になっている。リラクゼーションの人の状態は、彼らの呼吸特性に密接に関連付けられる。呼吸パターンが寝入るプロセスの全体を通じて変化するので、呼吸分析は、リラクゼーションのために速度が整えられた呼吸のような、睡眠強化介入の制御パラメータを与え得る。

更に、人間は眠ることに彼らの生活のほぼ１／３を費やすので、良質な睡眠は、良好な健康や幸福のために必須である。しかしながら、ライフスタイル及び環境的要因は、ここで述べられたような眠ることの困難さをますますもたらしている。今日では、疾患、不規則な睡眠、シフト任務、パフォーマンスプレッシャー及びストレスにより、睡眠クオリティの増大された悪化が存在する。不十分な睡眠は、行動、ムード、パフォーマンス、安全性、精神的及び肉体的健康に対して負の影響を及ぼす。

呼吸分析は、典型的に深度の定量化のために用いられるような、移相インターフェロメトリに相当する方法により実行され得る。そのために、光パターンは、分析されるエリア上に投射される。投射された光パターンがない場合、観察された垂直シフトと自然な源から届く反射された光の実垂直シフトとの間の関係が分析される。呼吸からのミクロ運動は、自然光からの投射された光のこのパターンを大幅に変形させる。要件が緩和されるとともに画像クオリティが充分である場合には、ミクロ運動は、任意の追加のパターン投射を伴うことなく画像から抽出され得る。

本発明の他の実施形態によれば、共通寝具における複数の被験者の呼吸の分析において、連続的な画像又は離れている幾つかのフレームである画像における最も大きな動作エリア（フレームの数はカメラに設定されたフレーム速度に依存する）は、被験者による肢運動がない時間において識別される。動作ベクトルを与えるために動作推定を実行するときには、最も大きな動作エリアは、最も大きな動作ベクトルを有するエリアである。肢運動がない時間を識別するために、動作ベクトルの閾値が適用され得る。動作ベクトルが閾値より低い場合、最も大きな動作ベクトルのエリアが識別され、呼吸分析は、これらのエリアにおいてのみ実行される。これは、分析のために必要とされる計算パワーを減少させ、スタンドアロンシステムとして機能する小型モニタリングデバイスのための方法の実装を可能にする。

本発明の他の実施形態によれば、被験者毎の個々の呼吸分析は、識別された最も大きな動作エリア毎に独立した呼吸分析を実行することにより実行される。これは、複数の被験者が例えば共通ベッドにおいて又は１つの布団の下で互いに近接して配置されているときであっても、個々の被験者の呼吸の正確なモニタリングを可能にする。

本発明の他の実施形態によれば、光学センサから届く画像は、支配的な胸部動作の境界に分割される。斯様な分割は、例えば、同じ配置を有する動作ベクトルを１つのセグメントに割り当てることにより、計算された動作推定及び動作ベクトルの結果に基づき得る。配置は、割当てのための定義可能な閾値レベルの範囲内で変えてもよい。一般に、共通環境に配置された異なる被験者の胸部動作ベクトルは、それらの配置によって大幅に異なり、従って、異なる被験者を表す異なるセグメントに対するベクトルの割当てが可能であることが見出された。

本発明の他の実施形態によれば、光学センサは、共通ベッドを共有している複数の被験者に加えて、ベッドの環境を撮像する。こうすることによって、被験者がモニタリングされた環境（例えば、ベッドルーム等）に入ったポイントで被験者動作がまさにモニタリングされ得る。被験者の動作を常にモニタリングすることにより、連続的な画像又は離れている幾つかのフレームである画像が分析されたときに前の画像から届く動作推定の結果が考慮され得るので、異なる被験者への動作の割当てがより容易になる。

本発明の他の実施形態によれば、動作推定から生ずる動作ベクトルは、寝具の環境における被験者を追跡するために用いられる。こうすることによって、被験者動作は、彼らが依然として共通環境（例えばベッドルーム等）にいる限り、共通寝具から離れるときにもモニタリングされ得る。被験者の動作を常にモニタリングすることにより、連続的な画像又は離れている幾つかのフレームである画像が分析されたときに前の画像から届く動作推定の結果が考慮され得るので、異なる被験者への動作の割当てがより容易になる。

別の態様においては、本発明は、共通寝具に配置された複数の被験者の運動をモニタリングするための装置であって、光学センサとデータ処理ユニットとを有し、前記光学センサは、共通寝具を撮像可能であり、連続的な画像又は離れている幾つかのフレームである画像のデータを前記データ処理ユニットに供給し、前記データ処理ユニットは、前記処理ユニットが前述した方法を実行可能な一組の指示を有するコンピュータプログラムを実行可能である、装置に関する。

とりわけ、コンピュータプログラムは、光学センサから受信された、連続的な画像の間の、又は、離れている幾つかのフレームである画像の間の、対応する画像ブロックの局所的変位を示す動作ベクトルを生成し、動作ベクトルの空間的及び時間的相関を測定することにより動作クラスタを計算し、各動作クラスタの対応する被験者への割当てにより、計算された動作クラスタを分割することにより、前記光学センサから受信された画像に対して動作推定を実行する機能を有し、対応する被験者への動作クラスタの割当ては、互いの間の動作クラスタの空間的及び／又は時間的類似性並びに前の分割結果に基づく。

本発明の他の実施形態において、装置は、前記共通寝具上に光パターンを投射可能な光投射手段を有する。好ましくは、光投射手段は、人の目に対して見えない波長で、例えば電磁スペクトルのＩＲ範囲において、光パターンを投射する。

別の態様においては、本発明は、マシン読み取り可能な媒体に取り込まれたときに情報処理システムが前述した方法を実行可能な一組の指示を有するコンピュータプログラムに関する。とりわけ、コンピュータプログラムは、光学センサから受信された、連続的な画像の間の、又は、離れている幾つかのフレームである画像の間の、対応する画像ブロックの局所的変位を示す動作ベクトルを生成し、動作ベクトルの空間的及び時間的相関を測定することにより動作クラスタを計算し、各動作クラスタの対応する被験者への割当てにより、計算された動作クラスタを分割することにより、前記光学センサから受信された画像に対して動作推定を実行する機能を有し、対応する被験者への動作クラスタの割当ては、互いの間の動作クラスタの空間的及び／又は時間的類似性並びに前の分割結果に基づく。

呼吸のモニタリングは、閉ループペースの呼吸デバイス又は他のリラクゼーションデバイス、無呼吸又はいびきをモニタリングするためのデバイス、睡眠指導、睡眠深度モニタ、コンタクトレスの"睡眠クオリティスコアラ"等のような、多くの睡眠／リラクゼーションアプリケーションに役立ち得る。運動のモニタリングも、人の睡眠／覚醒状態に反応するシステム（例えば、人が寝入ったときにオフになるシステム）、周期的肢運動をモニタリングするためのデバイス、睡眠深度モニタ、コンタクトレスの"睡眠クオリティスコアラ"等のような、多くの睡眠／リラクゼーションアプリケーションに役立ち得る。これらは、典型的に、１人のユーザをモニタリングするか又は１人のユーザに影響を与えることを目的としたデバイスである。しかしながら、多くの人々は、彼らのベッドを他の人と共有する。本発明は、２人を対象とするシステム、例えば２（又はそれ以上の）人による使用に対して設計されたペース呼吸デバイス又は他のリラクゼーションデバイスに更に関連する。

本発明のこれらの及び他の態様は、後述される実施形態から明らかになり、これらを参照して説明されるだろう。

２人の眠っている被験者の動作ベクトルを示す。 運動を正しい被験者に割り当てるブロック図を示す。 個々の呼吸信号を抽出するブロック図を示す。 一晩の睡眠シーケンスからのグレースケールイメージを示す。 呼吸サイクルの間の実例を示す。 呼吸サイクルの間の他の実例を示す。 呼吸サイクルの間の他の実例を示す。 個別に処理された呼吸信号を表す図を示す。

本発明が図面及び前述の説明において示され、詳述された一方で、斯様な図例および説明は、例示又は単なる例であり、限定するものではないものとみなされるべきである。本発明は、開示された実施形態に限定されるものではない。開示された実施形態に対する他のバリエーションは、図面、開示及び添付の特許請求の範囲の研究から、当業者によって理解され、実施され得る。請求項において、"有する"という用語は、他の要素又はステップを除外するものではなく、単数表記は、複数を除外するものではない。特定の手段が相互に異なる従属請求項に記載されるという単なる事実は、これらの手段の組み合わせが有効に用いられ得ないことを示すものではない。請求項中のいかなる参照符号も、その範囲を限定するものとして解釈されるべきでない。

図１は、２人の眠っている被験者１０及び２０の動作ベクトルを示している。（現実の家の状況において記録される）２人の眠っている被験者の動作ベクトルは、符号化された色／番号である。異なる色／番号は、異なる動作ベクトルを示す。２人の被験者は、互いに近くで横になっており、眠っている間に運動を行っている。図１Ａ：異なるタイプの動作ベクトルは、被験者を互いから分割するために用いられ得る。即ち、青いエリア１００は、右側の被験者に属しており、紫のエリア２００は、左側の被験者に属している。図１Ｂ：主に、右側の被験者が移動しており、これは、彼／彼女の側にある強い動作ベクトル１００により可視である。頭部は、体（緑のエリア１２０）と異なる方向に移動する（赤いエリア１１５）。

図２は、運動を正しい被験者に割り当てるブロック図を示している。動作推定３００が、例えば光学フローアルゴリズムにより、動作ベクトル３１０をもたらす光学センサから受信された画像データ上で実行された後、動作ベクトル３１０間の空間的及び時間的相関がステップ３２０において測定される。同じ配置を有する動作ベクトル３１０は、許容誤差範囲内で、動作クラスタ３３０にマージされる。これらの動作クラスタ３３０は、対応する被験者に割り当てられる。割当ての精度を増大させるために、及び、必要とされる計算パワーを低減するために、動作ベクトル３１０の空間的及び時間的相関を測定したときに、前の画像分析の分割履歴３４０が考慮される。

図３は、個々の呼吸信号を抽出するブロック図を示している。１つのセンサにより被験者毎の呼吸波形を抽出するために、図３において述べられるアプローチが提案される。任意のタイプの光学センサベースの呼吸アルゴリズムは、例えば移相インターフェロメトリに相当する方法により、適用され得る。これは、深度の定量化のために典型的に用いられる。そのために、光パターンは、分析されるべきエリア上に投射される。投射された光パターンがない場合、同じ画像エリア（例えば、画像ブロック）間の時間的相互関係が観察される。例えば、反射された赤外線の量は、呼吸エリアにおいて時間に渡って変化するだろう。呼吸からのミクロ運動は、自然光からの投射された光のパターンを大幅に変形させる。画像全体の全体的な呼吸信号に主に寄与している動作エリア４００（元の入力画像に関して図４を参照）が分析され、支配的な動作中心４１０が得られる（図５，６，７における強調されたエリアを参照）。画像は、見つけられた動作中心に更に分割され、呼吸分析アルゴリズム４２０は、複数の（ベッドにおける被験者の数に依存して、２又はそれ以上の）画像領域上で独立して実行される。これは、図８に示すような２つの独立した波形をもたらす。波形は、画像における呼吸運動を主観的に評価することにより、視覚的に確認されている。

図４は、一晩の睡眠シーケンスからのグレースケールイメージを示している。密接に並んで横になっている２人の被験者による一晩の睡眠シーケンスからのこの元のグレースケールイメージは、（先に述べたような動作推定のための入力として用いられる）連続的な画像、又は、離れている幾つかのフレームである画像のための一例である。

図５は、呼吸サイクルの間の実例を示している。これは、双方の被験者の胸部が移動しているときの呼吸サイクルの間の実例である。左側の画像において、呼吸モニタリングの間の強調された動作エリア５００，５１０が示される一方で、右側の画像は、元のグレースケール像による高い胸部動作出力５００，５１０のオーバレイ（右）を示す。

図６は、呼吸サイクルの間の他の実例を示している。ここで、呼吸サイクルの間の実例は、左側の被験者の胸部が移動しているときに示される。呼吸モニタリング６００の間の強調された動作エリア（左）及び元のグレースケール像による高い胸部動作出力６００のオーバレイ（右）が示される。

図７は、呼吸サイクルの間の他の実例を示している。ここで、呼吸サイクルの間の実例は、右側の被験者の胸部が移動しているときに示される。呼吸モニタリング７００の間の強調された動作エリア（左）及び元のグレースケールイメージによる高い胸部動作出力７００のオーバレイ（右）が示される。

図８は、個別に処理された呼吸信号を表す図を示している。画像エリアを分割してこれらを対応する被験者に割り当てた後の２人の眠っている被験者の個別に処理された呼吸信号が示される。左側の被験者（黒、８００）は、右側の被験者（青、９００）より高い呼吸数を有し、時々、右側の被験者と同じ位相で呼吸しており、時々、反対の位相で呼吸していることが見える。呼吸信号が正規化されていないので振幅のスケールは無視され得ることに留意されたい。

Claims (11)

1. 光学センサとデータ処理ユニットとを有する装置を用いて、共通寝具に配置された複数の被験者の運動をモニタリングするための方法であって、前記被験者は、人及び／又は動物であり、当該方法は、
   前記光学センサにより、前記共通寝具を撮像するステップと、
   前記データ処理ユニットにより、前記光学センサから受信された、連続的な画像の間、又は、離れている幾つかのフレームである画像の間の、対応する画像ブロックの局所的変位を示す動作ベクトルを生成することにより動作推定を実行するステップと、
   前記データ処理ユニットにより、前記動作ベクトルの空間的及び時間的相関を測定することにより動作クラスタを計算するステップと、
   前記データ処理ユニットにより、各動作クラスタを対応する被験者に割当てることにより、計算された動作クラスタを分割するステップとを有し、
   対応する被験者への動作クラスタの割当ては、互いの間の動作クラスタの空間的及び／又は時間的類似性に基づき、
   前記データ処理ユニットによる呼吸分析が、前記光学センサにより供給された、連続的な画像又は離れている幾つかの画像のデータに基づいて前記共通寝具における各被験者に対して実行され、
   前記呼吸分析は、被験者による肢運動がない時間の間に識別される、連続的な画像又は離れている幾つかのフレームである画像における最も大きな動作エリアを用いることにより実行される、方法。
2. 前の画像の分割結果が、後の画像における対応する被験者への動作クラスタの割当てのために考慮される、請求項１に記載の方法。
3. 前記画像は、支配的な胸部動作の境界に分割される、請求項１に記載の方法。
4. 被験者毎の個々の呼吸分析は、識別された最も大きな動作エリア毎に独立した呼吸分析を実行することにより実行される、請求項１又は請求項３に記載の方法。
5. 光パターンが前記共通寝具上に投射され、投射された光のパターンは、一の被験者又は他の被験者による呼吸によるミクロ運動が前記画像から抽出され得るように変形される、請求項４に記載の方法。
6. 前記光学センサは、前記共通寝具で眠っている２又はそれ以上の被験者に加えて、前記寝具の環境を追加的に撮像する、請求項１−５のうちいずれか一項に記載の方法。
7. 前記動作推定から生ずる前記動作ベクトルは、前記寝具の環境内の被験者を追跡するために用いられる、請求項６に記載の方法。
8. 前記動作推定は、ブロックマッチングアルゴリズム、光学フロー推定、最大帰納的な確率推定、マルコフランダム場推定、平均平方エラー計算、絶対差分計算の合計、平均絶対差分計算、二乗エラー計算の合計及び絶対的な変換差分計算の合計からなるグループからの少なくとも１つのアルゴリズムにより実行される、請求項１−７のうちいずれか一項に記載の方法。
9. 共通寝具の環境に配置された複数の被験者の運動をモニタリングするための装置であって、
   光学センサとデータ処理ユニットとを有し、
   前記光学センサは、前記共通寝具を撮像するように構成され、
   前記データ処理ユニットは、
   前記光学センサから受信された、連続的な画像の間、又は、離れている幾つかのフレームである画像の間の、対応する画像ブロックの局所的変位を示す動作ベクトルを生成することにより動作推定を実行し、
   前記動作ベクトルの空間的及び時間的相関を測定することにより動作クラスタを計算し、
   各動作クラスタを対応する被験者に割当てることにより、計算された動作クラスタを分割するように構成され、
   対応する被験者への動作クラスタの割当ては、互いの間の動作クラスタの空間的及び／又は時間的類似性に基づき、
   前記データ処理ユニットは、前記光学センサにより供給された、連続的な画像又は離れている幾つかの画像のデータに基づいて前記共通寝具における各被験者に対して呼吸分析を実行するように構成され、
   前記呼吸分析は、被験者による肢運動がない時間の間に識別される、連続的な画像又は離れている幾つかのフレームである画像における最も大きな動作エリアを用いることにより実行される、装置。
10. 前記共通寝具上に光パターンを投射するための手段を更に有する、請求項９に記載の装置。
11. マシン読み取り可能な媒体に取り込まれたときにシステムが請求項１−８のうちいずれか一項に記載の方法を実行可能な一組の指示を有する、コンピュータプログラム。

Images