JP7779312B2 - 患者モニタリングシステム - Google Patents

Description

本技術は、患者モニタリングシステムに関し、特に、患者の状態を適切にモニタリングすることができるようにした患者モニタリングシステムに関する。

医療現場においては、患者の容態が急変することがある。ICUでは多くの患者が生命の危機的な状態または手術後の状態にあり、患者の容態が急変する可能性が特に高い。そこで、患者を適切にモニタリングする方法が求められている。

例えば、特許文献１には、生体モニタに表示されるモニタ画面を監視し、異常があった時刻を強調して表示することが記載されている。

特開２００９－２３３０４２号公報

ところで、医師や看護師はバイタルサインの変化だけを見て患者の容態を把握しているのではない。医師や看護師は、バイタルサインの変化とともに、患者の外観上の様子を見て経験的に違和感を覚えることで、患者の異常や容態が急変する予兆を感じ取っている。

本技術はこのような状況に鑑みてなされたものであり、患者の状態を適切にモニタリングすることができるようにするものである。

本技術の一側面の患者モニタリングシステムは、患者のバイタルサインを示すバイタル情報と、前記患者を映した映像を解析して得られた映像解析情報とを第１の学習モデルに入力して、前記患者の状態を推定する推定部と、前記推定部による推定結果に基づいて前記患者の状態をモニタリングするモニタリング部とを備える。

本技術の一側面においては、患者のバイタルサインを示すバイタル情報と、前記患者を映した映像を解析して得られた映像解析情報とを第１の学習モデルに入力して、前記患者の状態が推定され、推定結果に基づいて前記患者の状態がモニタリングされる。

本技術を適用した患者モニタリングシステムの一実施の形態を示す図である。 情報処理装置が取得するデータの例を示す図である。 情報処理装置が行う処理の流れを示す図である。 目の周辺の特徴量の抽出方法の流れを示す図である。 顔と肩の特徴量の抽出方法の流れを示す図である。 多変量解析に用いられる時系列データの例を示す図である。 表示画面の例を示す図である。 各患者用のカメラの配置例を示す図である。 患者モニタリングシステムの他の構成例を示す図である。 情報処理装置の機能構成例を示すブロック図である。 各解析に用いられる学習モデルの学習データセットの例を示す図である。 情報処理装置の処理について説明するフローチャートである。 コンピュータのハードウェアの構成例を示すブロック図である。

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．患者モニタリングシステム
２．情報処理装置の構成
３．情報処理装置の動作
４．変形例

＜１．患者モニタリングシステム＞
図１は、本技術を適用した患者モニタリングシステムの一実施の形態を示す図である。

患者モニタリングシステムは、患者のバイタルサインデータ、診断データ、および属性データに加えて、患者を映した映像から得られる外観特徴量を用いた解析を行うことで、患者の異常検知や急変予知を行うシステムである。異常検知や急変予知の結果は医療者に提供される。医療者は医師や看護師を含む。

図１の患者モニタリングシステムは、カメラ１Ａ乃至１Ｃと医療機器２Ａ乃至２Ｃが、有線や無線の通信を介して情報処理装置３に接続されることにより構成される。情報処理装置３にはモニタ４も接続される。患者モニタリングシステムを構成する各機器は、例えばICU(Intensive Care Unit)内に設置される。図１の例においては、患者Ａ乃至Ｃがそれぞれ利用する３台のベッドがICU内に設置されている。なお、カメラ１Ａ乃至１Ｃと医療機器２Ａ乃至２Ｃは、ネットワークを介して情報処理装置３に接続されてもよい。また、カメラ１Ａ乃至１Ｃと医療機器２Ａ乃至２Ｃは、所定の通信プロトコル（例えば、ＩＰ（Internet Protocol））に変換するＩＰコンバータを経由して情報処理装置３と接続されてもよい。ＩＰコンバータはＣＰＵやメモリを含む情報処理回路を備える。

カメラ１Ａ乃至１Ｃは、例えば、撮像方向や画角を変えることが可能なパンチルトズームカメラとして構成される。カメラ１Ａ乃至１Ｃは、撮像を行い、患者Ａ乃至Ｃのそれぞれを映した映像を取得する。患者Ａ乃至Ｃのそれぞれを映した映像として、例えばRGB映像がカメラ１Ａ乃至１Ｃにより取得される。なお、以下、カメラ１Ａ乃至１Ｃを区別する必要がない場合、単にカメラ１と称する。複数設けられる他の機器についても同様である。

医療機器２Ａ乃至２Ｃは、患者Ａ乃至Ｃのそれぞれのバイタルサインを検出し、所定の期間のバイタルサインの時系列データをバイタルサインデータ（バイタル情報）として取得する。

カメラ１と医療機器２は、例えば、各患者用の機器として、各患者に対して１台ずつ設けられる。図１においては、３台のカメラ１と３台の医療機器２がICU内に設けられているが、実際には、患者の人数やベッドの数に応じた数のカメラ１と医療機器２がICU内に設けられる。

情報処理装置３は、患者の異常検知や急変予知を行い、患者の状態をモニタリングする装置である。情報処理装置３は、ICU内の機器や他のシステム、病院内の他のシステムなどから各種のデータを取得する。

図２は、情報処理装置３が取得するデータの例を示す図である。

図２のＡに示すように、患者の性別、年齢、既往歴などを示す属性データや、血液検査の結果などを示す診療データが、ICU内の他のシステムや病院内の他のシステムから取得される。診療データは、例えば、所定の期間ごとに行われた血液検査の結果の時系列データとされる。

図２のＢに示すように、心電図、呼吸数、SpO2、体温、血糖値、観血的動脈圧などの時系列データがバイタルサインデータとして、医療機器２から取得される。

図２のＣに示すように、患者の顔を映した顔画像と、患者の全身を映した全身画像とがカメラ１から取得される。患者を映した映像を構成するフレーム画像が、顔画像と全身画像として取得される。

図１の情報処理装置３は、カメラ１から取得された顔画像と全身画像から患者の外観特徴量を抽出する。情報処理装置３は、外観特徴量、属性データ、診療データ、およびバイタルサインデータに基づいて解析を行うことで、患者の状態を推定する。また、情報処理装置３は、外観特徴量、診療データ、およびバイタルサインデータの記録も行う。

モニタ４は、患者Ａ乃至Ｃのそれぞれについての映像、バイタルサインデータ、患者の状態の推定結果などの一覧を表示したり、１人の患者についての映像、バイタルサインデータ、状態の推定結果などの一覧を表示したりする。

図３は、情報処理装置３が行う処理の流れを示す図である。

図３の矢印Ａ１に示すように、情報処理装置３は、顔画像から顔特徴量と呼吸パターンを抽出する。例えば、患者の表情に基づく、苦悶状態を示す数値が顔特徴量として顔画像から抽出される。また、例えば、患者の口や鼻、喉、首の筋肉の動きに基づく、呼吸状態を示す数値が呼吸パターンとして顔画像から抽出される。

ICUに入室している患者は人工呼吸器を装着していることが多い。人工呼吸器が患者の顔の一部を隠してしまうため、顔特徴量を抽出するために、汎用的な表情検出技術を用いると、表情検出の精度が悪化する可能性がある。

そこで、情報処理装置３は、顔特徴量としての、患者の目の周辺の特徴量の抽出に特化した表情認識を行う。

図４は、目の周辺の特徴量の抽出方法の流れを示す図である。

図４の矢印Ａ２１に示すように、情報処理装置３は、患者の顔の上半分が映る領域を顔画像から大まかに検出する。図４の例においては、矩形の枠Ｆ１に示すように、患者の鼻から額までを囲む、目の周辺の領域が、目の周辺の特徴量抽出に用いる領域として検出されている。

情報処理装置３は、目の周辺の領域を顔画像から切り出して部分画像を生成する。情報処理装置３は、目の周辺の部分画像を回転させた後、矢印Ａ２２に示すように、その画像から目の周辺のランドマークを検出する。例えば、瞼の縁の位置、目の中心位置（虹彩の中心位置）、眉毛の位置、目頭の位置、目尻の位置、および鼻筋の位置のうちの少なくともいずれかの位置が目の周辺のランドマークの位置として検出される。目の周辺の部分画像上の灰色の点は、目の周辺のランドマークの位置を示す。

目の周辺の領域のみをランドマークの検出の対象とすることで、人工呼吸器の影響を受けることなく、ランドマークを高精度に検出することが可能となる。

情報処理装置３は、矢印Ａ２３に示すように、目の周辺のランドマークの位置に基づいて、例えば、眉頭間の距離、瞼の開き具合、瞼の開閉回数、目尻の下がり量、目線の方向などの目の周辺の特徴量を抽出する。これらの目の周辺の特徴量が、患者が感じている苦悶、憂鬱、気力などを示す数値となる。なお、目の周辺のランドマークの相対的な位置関係を示す情報が目の周辺の特徴量として用いられるようにしてもよい。

このように、情報処理装置３は、患者の鎮静状態、苦痛表情、意識状態、睡眠状況などを数値として取り扱うことができる。情報処理装置３は、顔画像から抽出した目の周辺の特徴量を記録する。顔画像自体ではなく、目の周辺の特徴量が記録されるため、患者のプライバシーに配慮した患者モニタリングシステムを実現することが可能となる。

図３に戻り、矢印Ａ２に示すように、情報処理装置３は、全身画像から姿勢特徴量を抽出する。例えば、患者の体の痙攣や動きに基づく、興奮状態を示す数値が姿勢特徴量として全身画像から抽出される。

ICUに入室している患者には布団が掛けられていることがある。布団が患者の体の一部を隠してしまうため、姿勢特徴量を抽出するために、汎用的な骨格推定技術を用いると、骨格推定の精度が悪化する可能性がある。

そこで、情報処理装置３は、患者の顔と肩の特徴量の抽出に特化した認識を行う。

図５は、顔と肩の特徴量の抽出方法の流れを示す図である。

図５の矢印Ａ３１に示すように、情報処理装置３は、患者の上半身が映る領域を全身画像から大まかに検出する。図５の例においては、矩形の枠Ｆ１１で囲んだ領域が、顔と肩の特徴量の抽出に用いる領域として検出されている。

情報処理装置３は、上半身の領域を全身画像から切り出して部分画像を生成する。情報処理装置３は、上半身の部分画像を生成した後、矢印Ａ３２に示すように、上半身の部分画像から顔の向きと肩の位置を検出する。上半身の部分画像上の破線の四角は、患者の顔の向きを示す。また、２つの灰色の楕円は、肩の位置を示す。

上半身の領域のみを肩の位置の検出の対象とすることで、布団の影響を受けることなく、肩の位置を高精度に検出することが可能となる。

情報処理装置３は、矢印Ａ３３に示すように、肩の位置、肩同士の距離、肩同士の角度、顔の向きなどを姿勢特徴量として抽出する。具体的には、肩の位置や顔の向きに基づいて、仰向けの状態を基準として身体が左向きに回転している角度、肩を基準として顔を傾げている角度、左肩を基準として右肩が上がっている角度などの数値が姿勢特徴量として求められる。

このように、情報処理装置３は、患者の鎮静状態、意識状態、睡眠状態などを数値として取り扱うことができる。情報処理装置３は、全身画像から抽出した姿勢特徴量を記録する。全身画像ではなく、姿勢特徴量が記録されるため、患者のプライバシーに配慮した患者モニタリングシステムを実現することが可能となる。

図３において破線で囲んで示すように、以上のようにして映像から抽出された顔特徴量、呼吸パターン、および姿勢特徴量が患者の外観特徴量として、後段の解析に用いられる。

矢印Ａ３に示すように、情報処理装置３は、診療データとバイタルサインデータに加えて、所定の期間の映像から得られた外観特徴量の時系列データを用いて多変量解析を行う。

図６は、多変量解析に用いられる時系列データの例を示す図である。図６において、横軸は時刻を示し、縦軸はバイタルサインの数値または外観特徴量を示す。

図６に示すように、所定の期間において行われた血液検査の結果の時系列データ、所定の期間において検出されたバイタルサインの時系列データ、および所定の期間の映像を構成するフレーム画像から抽出された外観特徴量の時系列データが多変量解析に用いられる。

なお、バイタルサイン、フレーム画像、血液検査の結果などのそれぞれのサンプリングレートが異なる場合、情報処理装置３は、補間処理を行い、同じ時刻におけるバイタルサイン、外観特徴量（フレーム画像）、血液検査の結果などを生成する。補間処理後の時系列データが多変量解析に用いられる。

多変量解析は、主成分分析、機械学習、Deep Learningなどの手法を利用して行われる。例えば、診療データ、バイタルサインデータ、外観特徴量の時系列データを入力することにより、基準の時刻から所定時間後のバイタルサインの予測値が学習モデルから出力される。基準の時刻の例として、フレーム画像が撮像された時刻、バイタルサインが検出された時刻、または、血液検査が行われた時刻が考えられる。バイタルサインの予測値として、例えば、所定時間後の血圧、SpO2、心拍数、および呼吸数が多変量解析によって推定される。また、血圧低下の確率、SpO2の確率、心拍数増加の確率、および呼吸数増加の確率が多変量解析によって推定されるようにしてもよい。このように、多変量解析によって患者の将来の状態が推定される。

多変量解析を行った後、図３の矢印Ａ４と矢印Ａ５の先に示すように、情報処理装置３は、属性データと多変量解析の結果とを用いた解析を行う。この解析も、主成分分析、機械学習、Deep Learningなどの手法を利用して行われる。

属性データと多変量解析の結果とを用いた解析として、具体的には、２つのパターンの処理を行うことが考えられる。

１つ目のパターンの処理においては、多変量解析の結果としての所定時間後のバイタルサインの予測値が属性データに基づいて補正され、補正後の予測値が閾値を超えるか否かの判定が行われる。

２つ目のパターンの処理においては、属性データに基づいて閾値の調整が行われる。閾値の調整後、多変量解析の結果としての所定時間後のバイタルサインの予測値が、調整後の閾値を超えるか否かの判定が行われる。

属性データと多変量解析の結果とを用いた解析を行った後、矢印Ａ６に示すように、情報処理装置３は、異常数値、異常予測値、身体活動数値などをモニタ４に表示させる。異常数値は、例えば、バイタルサインが急変した場合の危険度を示す値やバイタルサインが急変する確率である。異常予測値は、閾値を超える予測値である。また、身体活動量数値は、フレーム画像が撮像された時刻の患者の動きの度合いを示す値である。患者が動いていること、ぐったりしていることなどが身体活動量数値により示される。異常数値、異常予測値、身体活動数値などの情報は、属性データと多変量解析の結果とを用いた解析により得られる。

矢印Ａ７に示すように、情報処理装置３は、異常数値と異常予測値に基づいて、異常アラートを発するようにモニタ４を制御する。例えば、異常数値または異常予測値が閾値を超えると判定された場合、バイタルサインが急変する予測時刻と急変の種類がモニタ４に表示されるとともに、患者の状態の急変を警告するアラートが医療者に対して発せられる。急変の種類として、例えば、血圧の低下、SpO2の低下、心拍数の上昇、呼吸数の増加のうちの少なくともいずれかがモニタ４に表示される。

図７は、表示画面の例を示す図である。

図７の左側に示すように、モニタ４には、バイタルサインや外観特徴量の時系列データが表示されるとともに、時系列上にタグＴ１乃至Ｔ３が表示される。

例えば、患者が苦悶の表情をしたこと、目を開いたり閉じたりしたこと、暴れたこと、痙攣したことなどの、患者の容態が変化したことが外観特徴量に基づいて検出された時刻に対してタグが設定される。また、血圧の低下や呼吸数の増加などの、患者の容態が変化したことがバイタルサインに基づいて検出された時刻に対してもタグが設定される。

タグが設定された時刻周辺において撮像された映像は、情報処理装置３により記録される。モニタ４の表示を見ている医療者によりタグが選択された場合、情報処理装置３は、当該タグが設定された時刻周辺における患者を映した映像をモニタ４に表示させる。医療者は、タグを選択することで、患者の容態が変化した時刻周辺の映像を確認することができる。

患者の容態が変化した場合だけ映像を記録するため、映像データの保存容量を低減することが可能となる。また、医療者は、映像のタイムラインを操作して患者の様子を確認するなどの煩雑な操作を行うことなく、患者の容態が変化した時刻周辺の患者の状態を効率よく確認することが可能となる。

なお、患者の容態が変化したことが検出された時刻だけではなく、情報処理装置３による解析結果に基づいて、バイタルサインが急変すると推定される将来の時刻に対してタグが設定されるようにしてもよい。将来の時刻に対して設定されたタグは、例えば、バイタルサインの予測値とともにモニタ４に表示される。

このように、バイタルサインや外観特徴量の時系列データなどの、患者の現在までの状態を示す情報と、バイタルサインの予測値やアラートなどの患者の将来の状態を示す情報とがモニタ４に表示される。

以上のように、本技術の患者モニタリングは、患者の外観上の様子を見て医療者が経験的に判断してきた違和感を、患者を映した映像に基づいて定量化し、定量化した外観特徴量を表示したり、外観特徴量に基づいて患者の容体の急変を予測したりすることができる。

医療者は、各患者の様子を確認しなくても、モニタ４に表示された各患者の外観特徴量を見ることで患者の様子や容態の急変の予兆を適切にモニタリングすることができる。したがって、医療者の頻回なモニタリング業務を軽減させることが可能となる。また、患者の身に起こっている異常の見落としを防ぐことが可能となる。

常時取得される映像、バイタルサインデータ、診療データに基づいて、患者の状態の推定を行うため、情報処理装置３は、２４時間や３６５日といったように患者の状態を常時監視することが可能となる。

図８は、各患者用のカメラ１の配置例を示す図である。

図８の上側に示すように、患者が利用するベッドの近傍の天井には２軸（Ｘ軸、Ｙ軸）のレール１１が固定されており、レール１１にカメラ１が設けられる。カメラ１は、移動機構としてのレール１１に沿って位置を変えることが可能とされる。なお、レール１１が、患者が利用するベッドに固定されるようにしてもよい。

例えばICUにおいては、ベッドのリクライニングの角度が変わったり、体位交換が行われたりすることによって患者の姿勢が変化することがある。患者の姿勢が変化するため、患者の顔を正面から常に撮像することは難しい。そこで、本技術の患者モニタリングシステムにおいては、患者の顔を正面から撮像する位置にカメラ１が移動するようになっている。カメラ１の位置の制御は情報処理装置３により行われる。

カメラ１が患者の顔を撮像する際、まず、カメラ１は、低倍率で撮像を行い、患者の全身を俯瞰して映した映像を取得する。情報処理装置３は、このようにして取得された映像から患者の顔の位置と向きを検出する。

情報処理装置３は、患者の顔の位置と向きの検出結果に基づいて、患者の顔を正面に近い方向から撮像可能な位置にカメラ１を移動させる。次に、情報処理装置３は、患者の顔を映すようにカメラ１をパン、チルト、ズームさせる。

このような制御が行われることにより顔画像が取得される。患者が利用するベッドのリクライニングの角度が変わっても、体位交換により患者の姿勢が仰向け、右向き、左向きのように変わっても、患者の顔を正面から撮像することができる位置にカメラ１を移動させて、顔特徴量を抽出しやすい映像を取得することが可能となる。

なお、カメラ１が設けられるレール１１は、１軸以上のレールとすることが可能である。また、レール１１の形状は、直線や曲線の形状とすることが可能である。

図９は、患者モニタリングシステムの他の構成例を示す図である。

図９に示す患者モニタリングシステムは、ICU内のモニタ４の他に、遠隔モニタ１２が情報処理装置３に接続されることにより構成される。遠隔モニタ１２は、例えば、無線の通信を介して情報処理装置３に接続される。

遠隔モニタ１２は、他の病院などの、ICUの外部に設けられたモニタである。遠隔モニタ１２は、情報処理装置３による制御に従って、モニタ４に表示される情報と同様の情報を表示する。遠隔にいる医療者は、遠隔モニタ１２に表示された、患者のバイタルサインの予測値などを確認しながら、ICU内にいる医療者に指示をすることが可能となる。

このように、患者の外観の様子を加味して推定された、複数の患者のそれぞれの状態を示す情報が、ICUの外部に設けられたモニタに一覧表示されるようにしてもよい。

＜２．情報処理装置の構成＞
図１０は、情報処理装置３の機能構成例を示すブロック図である。以下では、１人の患者の状態をモニタリングする例について説明する。実際には、情報処理装置３の各構成による処理が複数の患者のそれぞれについて行われる。

図１０に示すように、情報処理装置３は、画像取得部２１、外観特徴量抽出部２２、診療データ取得部２３、バイタルサインデータ取得部２４、属性データ取得部２５、解析部２６、および表示制御部２７により構成される。

画像取得部２１は、患者を映した映像をカメラ１から取得する。また、画像取得部２１は、カメラ１から取得した映像に基づいて、カメラ１の位置、方向、および画角の制御を行う。患者を映した映像を構成するフレーム画像が、外観特徴量抽出部２２に出力される。

外観特徴量抽出部２２は、患者を映した映像を解析し、解析結果を示す映像解析情報を取得する解析部として機能する。映像解析情報として、例えば、画像取得部２１から供給されたフレーム画像から外観特徴量が抽出される。

具体的には、外観特徴量抽出部２２は、外観特徴量を抽出する領域をフレーム画像から検出する。例えば、外観特徴量抽出部２２は、フレーム画像から患者の目の周辺の領域を検出したり、患者の上半身の領域を検出したりする。外観特徴量抽出部２２は、検出した領域から、顔特徴量や姿勢特徴量を外観特徴量として抽出する。

外観特徴量抽出部により抽出された外観特徴量の時系列データは、解析部２６に供給される。

診療データ取得部２３は、ICU内の他のシステムなどと通信を行い、患者についての診療データを取得する。診療データ取得部２３により取得された診療データは、解析部２６に出力される。

バイタルサインデータ取得部２４は、患者のバイタルサインデータを医療機器２から取得し、解析部２６に出力する。

属性データ取得部２５は、ICU内の他のシステムや病院内の他のシステムなどと通信を行い、患者についての属性データを取得する。属性データ取得部２５により取得された属性データは、解析部２６に出力される。

解析部２６は、外観特徴量の時系列データ、診療データ、およびバイタルサインデータを用いて多変量解析を行う。具体的には、外観特徴量の時系列データ、診療データ、およびバイタルサインデータが学習モデルに入力され、所定時間後のバイタルサインの予測値が出力される。なお、外観特徴量、血液検査の結果、およびバイタルサインのそれぞれのサンプリングレートが異なる場合、解析部２６は、例えば、外観特徴量、血液検査の結果、およびバイタルサインのうちのサンプリングレートが低い情報のサンプリングレートを、サンプリングレートが最も高い情報のサンプリングレートに合わせるようにして補間処理を行った後、多変量解析を行う。解析部２６は、サンプリングレートが低い情報の補間処理を行う補間部として機能する。

解析部２６は、多変量解析の結果と属性データを用いてさらに解析を行う。具体的には、所定時間後のバイタルサインの予測値と属性データが学習モデルに入力され、バイタルサインが急変するか否かの判定結果が出力される。この判定結果ととともに、異常数値、異常予測値、身体活動量数値なども出力される。

図１１は、各解析に用いられる学習モデルの学習データセットの例を示す図である。

図１１のＡに示す学習データセットには、バイタルサイン、顔特徴量、および姿勢特徴量の時系列データが入力データとして含まれ、バイタルサインの時系列データが出力データとして含まれる。

このように、時系列データを用いた多変量解析において使用される学習モデルは、患者の状態を示すバイタルサインの時系列データがラベリングされた、バイタルサイン、顔特徴量、および姿勢特徴量の時系列データを学習データとする機械学習によって生成される。

図１１のＢに示す学習データセットには、バイタルサインの予測値と属性データが入力データとして含まれ、バイタルサインの予測値に対して補正すべき値が出力データとして含まれる。例えば、バイタルサインの予測値と実測値の差分が、予測値に対して補正すべき値として用いられる。

このように、多変量解析の結果と属性データを用いた解析において使用される学習モデルは、バイタルサインの予測値と実測値の差分がラベリングされた、属性データと、多変量解析の結果としての予測値とを学習データとする機械学習によって生成される。多変量解析において使用される学習モデルと、多変量解析の結果と属性データを用いた解析において使用される学習モデルは、例えば、LSTM(Long Short-Term Memory)として構成される。

図１０に戻り、解析部２６は、多変量解析の結果と属性データを用いた解析の結果を、表示制御部２７に出力する。解析部２６は、外観特徴量の時系列データ、バイタルサインデータなどを学習モデルに入力して、患者の状態を推定する推定部としても機能する。

表示制御部２７は、患者の状態を示す情報をモニタ４に表示させる。例えば、解析部２６による解析結果、外観特徴量の時系列データ、診療データ、バイタルサインデータ、および属性データが患者の状態を示す情報としてモニタ４に表示される。この場合、解析部２６に供給される外観特徴量の時系列データ、診療データ、バイタルサインデータ、および属性データと同じデータが表示制御部２７に供給される。

また、表示制御部２７は、解析部２６による解析結果に応じて、アラートを発するなどして、患者のバイタルサインの急変が予測されることを報知する。表示制御部２７は、解析部２６による解析結果に基づいて患者の状態をモニタリングするモニタリング部として機能する。

＜３．情報処理装置の動作＞
図１２のフローチャートを参照して、情報処理装置３の処理について説明する。

ステップＳ１において、属性データ取得部２５は、ICU内の他のシステムや病院内の他のシステムなどから、患者についての属性データを取得する。

ステップＳ２において、診療データ取得部２３は、診療データをICU内の他のシステムなどから取得する。

ステップＳ３において、バイタルサインデータ取得部２４は、医療機器２により検出されたバイタルサインの時系列データをバイタルサインデータとして取得する。

ステップＳ４において、画像取得部２１は、カメラ１の位置、方向、および画角を制御する。

ステップＳ５において、画像取得部２１は、患者を映した映像を構成するフレーム画像をカメラ１から取得する。

ステップＳ６において、外観特徴量抽出部２２は、外観特徴量を抽出する領域をフレーム画像から検出する。

ステップＳ７において、外観特徴量抽出部２２は、検出した領域から外観特徴量を抽出する。

ステップＳ８において、解析部２６は、外観特徴量の時系列データ、バイタルサインデータ、および診療データを用いた多変量解析を行う。

ステップＳ９において、解析部２６は、多変量解析の結果と属性データを用いた解析を行う。

ステップＳ１０において、表示制御部２７は、解析部２６による解析結果に応じた患者の状態を示す情報をモニタ４に表示させる。

患者の状態を示す情報をモニタ４に表示させた後、ステップＳ３に戻り、それ以降の処理が繰り返し行われる。なお、血液検査が再度行われるなどのように診療データが更新された場合、更新された診療データが診療データ取得部２３により適宜取得される。

以上のように、医療者は、各患者の様子を確認しなくても、モニタ４に表示された各患者の外観特徴量を見ることで患者の様子や容態の急変の予兆を適切にモニタリングすることが可能となる。

＜４．変形例＞
フレーム画像、バイタルサイン、血液検査の結果などのサンプリングレートが、患者の重症度に応じて設定されるようにしてもよい。これにより、患者モニタリングシステムの全体の処理コストを最小化することができる。

カメラ１が暗視カメラにより構成されるようにしてもよい。デプスセンサにより取得された映像、SWIR(Short Wavelength Infra-Red)波長帯の光を受光して撮像された映像、または、サーモカメラにより撮像された映像から外観特徴量が抽出されるようにしてもよい。

ミリ波などの電磁波を用いて取得された患者のセンシング情報の時系列データが情報処理装置３による解析に用いられるようにしてもよい。例えば、電磁波を用いて取得された患者の心拍や呼吸を示すセンシング情報の時系列データが、バイタルサインデータとして解析に用いられる。また、電磁波を用いて取得された患者の姿勢を示すセンシング情報の時系列データが、外観特徴量の時系列データとして解析に用いられる。

多変量解析の結果と属性データを用いた解析により、血圧の低下、SpO2の低下、心拍数の上昇、呼吸数の増加などのバイタルサインの急変が生じるか否かが判定されるだけではなく、医療者が介入すること、患者がナースコールを押すことなどのイベントが発生するか否かが判定されるようにしてもよい。

イベントの発生の予測に用いられる学習モデルは、医療者の介入などのイベントの発生状況を示す情報がラベリングされた、属性データと、多変量解析の結果としてのバイタルサインの予測値とを含む学習データセットを用いた機械学習によって生成される。

所定時間後の血圧、Sp02、心拍数、および呼吸数のそれぞれの予測値を出力する複数の学習モデルを使用することにより、多変量解析が行われるようにしてもよい。この場合、複数の学習モデルのそれぞれから出力された所定時間後の血圧、Sp02、心拍数、呼吸数の予測値の一覧がモニタ４に表示される。

多変量解析において使用される学習モデルにより、外観特徴量の時系列データ、バイタルサインデータ、および診療データを統合した特徴量である統合特徴量が抽出されるようにしてもよい。この場合、属性データを用いた解析においては、統合特徴量と属性データが学習モデルに入力され、患者の状態が急変するか否かの判定結果などが出力される。

バイタルサインの予測値（多変量解析の結果）が閾値を超えた場合、アラートが発せられるだけではなく、バイタルサインの予測値の統計に基づいてアラートが発せられるようにしてもよい。例えば、バイタルサインの予測値の時系列変化を加味して、バイタルサインの予測値が徐々に閾値に近づいていることを示すアラートが発せられる。

・コンピュータについて
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

CPU(Central Processing Unit)２０１、ROM(Read Only Memory)２０２、RAM(Random Access Memory)２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウスなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７が接続される。また、入出力インタフェース２０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、リムーバブルメディア２１１を駆動するドライブ２１０が接続される。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを入出力インタフェース２０５及びバス２０４を介してRAM２０３にロードして実行することにより、上述した一連の処理が行われる。

CPU２０１が実行するプログラムは、例えばリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部２０８にインストールされる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

・その他
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。複数の装置は、例えばＩＰコンバータやＩＰスイッチャー、サーバである。例えば、各ＩＰコンバータが接続されたカメラや医療機器から出力される信号から特徴量を抽出し、サーバが各ＩＰコンバータからの特徴量を集約して解析することで患者の状態を推定する構成としてもよい。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

・構成の組み合わせ例
本技術は、以下のような構成をとることもできる。

（１）
患者のバイタルサインを示すバイタル情報と、前記患者を映した映像を解析して得られた映像解析情報とを第１の学習モデルに入力して、前記患者の状態を推定する推定部と、
前記推定部による推定結果に基づいて前記患者の状態をモニタリングするモニタリング部と
を備える患者モニタリングシステム。
（２）
前記バイタル情報は、所定の期間の時系列データである
前記（１）に記載の患者モニタリングシステム。
（３）
前記映像解析情報は、所定の期間の前記映像から抽出された、前記患者の外観の特徴量の時系列データである
前記（１）または（２）に記載の患者モニタリングシステム。
（４）
前記特徴量は、顔特徴量、呼吸パターン、および姿勢情報のうちの少なくともいずれかを含む
前記（３）に記載の患者モニタリングシステム。
（５）
前記第１の学習モデルは、前記患者の状態がラベリングされた前記バイタル情報と前記映像解析情報とを含む学習データを用いた学習によって生成された機械学習モデルである
前記（１）乃至（４）のいずれかに記載の患者モニタリングシステム。
（６）
前記第１の学習モデルは、医療者の介入の有無がラベリングされた前記バイタル情報と前記映像解析情報とを含む学習データを用いた学習によって生成された機械学習モデルである
前記（１）乃至（４）のいずれかに記載の患者モニタリングシステム。
（７）
前記推定部は、前記患者の将来の状態を推定する
前記（１）乃至（６）のいずれかに記載の患者モニタリングシステム。
（８）
前記顔特徴量は、前記映像内の前記患者の目のランドマークの位置、または、前記患者の目のランドマークの位置に基づく数値である
前記（４）に記載の患者モニタリングシステム。
（９）
前記映像解析情報は、前記患者の顔の向きと両肩の位置とを示す情報、または、前記患者の顔の向きと両肩の位置とに基づく数値である
前記（４）に記載の患者モニタリングシステム。
（１０）
前記推定部は、前記患者の性別、年齢、および既往歴のうちの少なくともいずれかを含む属性データと、前記第１の学習モデルの出力結果とを第２の学習モデルに入力して、前記患者の状態を推定する
前記（１）乃至（９）のいずれかに記載の患者モニタリングシステム。
（１１）
前記推定部は、前記バイタル情報および前記映像解析情報とともに、前記患者の診療データを前記第１の学習モデルに入力して、前記患者の状態を推定する
前記（１）乃至（１０）のいずれかに記載の患者モニタリングシステム。
（１２）
前記第１の学習モデルはLSTMである
前記（１）乃至（１１）のいずれかに記載の患者モニタリングシステム。
（１３）
前記モニタリング部は、前記推定部による推定結果に基づいて、前記患者の状態の急変を報知する
前記（１）乃至（１２）のいずれかに記載の患者モニタリングシステム。
（１４）
前記モニタリング部は、前記患者の状態が急変する確率を含む情報を表示させる
前記（１３）に記載の患者モニタリングシステム。
（１５）
前記第１の学習モデルは、前記映像のフレーム画像が撮像された時刻から所定時間後の血圧低下の確率、SpO2低下の確率、心拍数増加の確率、および呼吸数増加の確率のうちの少なくともいずれかを出力する
前記（１）乃至（１４）のいずれかに記載の患者モニタリングシステム。
（１６）
前記推定部は、前記患者の状態を示す異なる種類の情報をそれぞれ出力する複数の前記第１の学習モデルに前記バイタル情報と前記映像解析情報とを入力して、前記患者の状態を推定し、
前記モニタリング部は、前記異なる種類の情報の一覧を表示させる
前記（１）乃至（１５）のいずれかに記載の患者モニタリングシステム。
（１７）
前記モニタリング部は、前記第１の学習モデルの出力結果の統計に基づいて、前記患者の状態が急変することを報知する
前記（１３）に記載の患者モニタリングシステム。
（１８）
前記バイタル情報のサンプリングレートと前記映像解析情報のサンプリングレートとが異なる場合、サンプリングレートが低い情報の補間処理を行う補間部をさらに備える
前記（１）乃至（１７）のいずれかに記載の患者モニタリングシステム。
（１９）
前記モニタリング部は、前記患者の状態に基づいてタグを生成し、前記患者の状態の急変が生じると前記推定部により推定された将来の時刻に対応付けて前記タグを表示させる
前記（１）乃至（１８）のいずれかに記載の患者モニタリングシステム。
（２０）
前記第１の学習モデルは、前記バイタル情報と前記映像解析情報を統合した統合特徴量を出力し、
前記第２の学習モデルは、前記統合特徴量と前記属性データとを入力として、前記患者の状態を示す情報を出力する
前記（１０）に記載の患者モニタリングシステム。
（２１）
前記映像に基づいて、前記映像を撮像するカメラの位置、向き、および画角を制御する制御部をさらに備える
前記（１）乃至（２０）に記載の患者モニタリングシステム。

１ カメラ， ２ 医療機器， ３ 情報処理装置， ４ モニタ， １１ レール， １２ 遠隔モニタ， ２１ 画像取得部， ２２ 外観特徴量抽出部， ２３ 診療データ取得部， ２４ バイタルサインデータ取得部， ２５ 属性データ取得部， ２６ 解析部， ２７ 表示制御部

Claims (20)

1. 患者を映した第１の映像内の前記患者の目の周辺を映した領域から顔特徴量を抽出し、前記患者を映した第２の映像内の前記患者の上半身を映した領域から姿勢情報を抽出する特徴量抽出部と、
   前記患者のバイタルサインを示すバイタル情報、前記顔特徴量、および、前記姿勢情報を第１の学習モデルに入力して、前記患者の状態を推定する推定部と、
   前記推定部による推定結果に基づいて前記患者の状態をモニタリングするモニタリング部と
   を備える患者モニタリングシステム。
2. 前記バイタル情報は、所定の期間の時系列データである
   請求項１に記載の患者モニタリングシステム。
3. 前記顔特徴量は、所定の期間の前記第１の映像から抽出された時系列データであり、
   前記姿勢情報は、所定の期間の前記第２の映像から抽出された時系列データである
   請求項１または２に記載の患者モニタリングシステム。
4. 前記第１の映像および前記第２の映像に基づいて、前記第１の映像および前記第２の映像を取得するカメラの位置、撮像方向、および画角のうちの少なくともいずれかを制御する制御部をさらに備える
   請求項１から３のいずれかに記載の患者モニタリングシステム。
5. 前記第１の学習モデルは、前記患者の状態がラベリングされた前記バイタル情報、前記顔特徴量、および前記姿勢情報を含む学習データを用いた学習によって生成された機械学習モデルである
   請求項１から４のいずれかに記載の患者モニタリングシステム。
6. 前記第１の学習モデルは、医療者の介入の有無がラベリングされた前記バイタル情報と、前記顔特徴量、および前記姿勢情報を含む学習データを用いた学習によって生成された機械学習モデルである
   請求項１から４のいずれかに記載の患者モニタリングシステム。
7. 前記推定部は、前記患者の将来の状態を推定する
   請求項１から６のいずれかに記載の患者モニタリングシステム。
8. 前記顔特徴量は、前記第１の映像内の前記患者の目のランドマークの位置、または、前記患者の目のランドマークの位置に基づく数値である
   請求項３に記載の患者モニタリングシステム。
9. 前記姿勢情報は、前記患者の顔の向きと両肩の位置とを示す情報、または、前記患者の顔の向きと両肩の位置とに基づく数値である
   請求項３に記載の患者モニタリングシステム。
10. 前記推定部は、前記患者の性別、年齢、および既往歴のうちの少なくともいずれかを含む属性データと、前記第１の学習モデルの出力結果とを第２の学習モデルに入力して、前記患者の状態を推定する
    請求項１から９のいずれかに記載の患者モニタリングシステム。
11. 前記推定部は、前記バイタル情報、前記顔特徴量、および前記姿勢情報とともに、前記患者の診療データを前記第１の学習モデルに入力して、前記患者の状態を推定する
    請求項１から１０のいずれかに記載の患者モニタリングシステム。
12. 前記第１の学習モデルはLSTMである
    請求項１から１１のいずれかに記載の患者モニタリングシステム。
13. 前記モニタリング部は、前記推定部による推定結果に基づいて、前記患者の状態の急変を報知する
    請求項１から１２のいずれかに記載の患者モニタリングシステム。
14. 前記モニタリング部は、前記患者の状態が急変する確率を含む情報を表示させる
    請求項１３に記載の患者モニタリングシステム。
15. 前記第１の学習モデルは、前記第１の映像のフレーム画像および前記第２の映像のフレーム画像が撮像された時刻から所定時間後の血圧低下の確率、SpO2低下の確率、心拍数増加の確率、および呼吸数増加の確率のうちの少なくともいずれかを出力する
    請求項１から１４のいずれかに記載の患者モニタリングシステム。
16. 前記推定部は、前記患者の状態を示す異なる種類の情報をそれぞれ出力する複数の前記第１の学習モデルに前記バイタル情報、前記顔特徴量、および前記姿勢情報を入力して、前記患者の状態を推定し、
    前記モニタリング部は、前記異なる種類の情報の一覧を表示させる
    請求項１から１５のいずれかに記載の患者モニタリングシステム。
17. 前記モニタリング部は、前記第１の学習モデルの出力結果の統計に基づいて、前記患者の状態が急変することを報知する
    請求項１３に記載の患者モニタリングシステム。
18. 前記バイタル情報のサンプリングレート、前記顔特徴量のサンプリングレート、および前記姿勢情報のサンプリングレートが異なる場合、サンプリングレートが低い情報の補間処理を行う補間部をさらに備える
    請求項１から１７のいずれかに記載の患者モニタリングシステム。
19. 前記モニタリング部は、前記患者の状態に基づいてタグを生成し、前記患者の状態の急変が生じると前記推定部により推定された将来の時刻に対応付けて前記タグを表示させる
    請求項１から１８のいずれかに記載の患者モニタリングシステム。
20. 前記第１の学習モデルは、前記バイタル情報、前記顔特徴量、および前記姿勢情報を統合した統合特徴量を出力し、
    前記第２の学習モデルは、前記統合特徴量と前記属性データとを入力として、前記患者の状態を示す情報を出力する
    請求項１０に記載の患者モニタリングシステム。