JP7801855B2 - 推定装置、学習装置、推定システム、推定方法、及び、プログラム - Google Patents

Description

本開示は、推定装置、学習装置、推定システム、推定方法、及び、プログラムに関する。

現在、見守り対象者の部屋を撮像することにより得られる撮像画像から、見守り対象者の状態を推定する見守りシステムが知られている。見守り対象者は、介護施設の居住者、病院の入院患者等である。例えば、特許文献１には、赤外線カメラの映像を画像処理して被介護人の異常状態を検出する介護システムが記載されている。

特許文献１に記載された介護システムは、被介護人が徘徊している状態、被介護人が長時間に亘って静止している状態等を異常状態として検出し、異常状態を検出した場合に異常を報知する検出信号を出力する。特許文献１に記載された介護システムは、赤外線カメラの映像を画像処理して被介護人の動作を特定し、特定した動作が異常状態に対応する動作であるか否かを判別する。

特開２００３－２６００９５号公報

しかしながら、特許文献１に記載された介護システムにおいて、異常状態に対応する動作を適切に定義し、画像処理により特定された動作が異常状態に対応する動作であるか否かを適切に判別することは容易ではないと考えられる。このため、特許文献１に記載された介護システムでは、被介護人が異常状態であるか否かを精度良く判別することは容易ではないと考えられる。そこで、見守り対象者の見守りを適切に支援するため、見守り対象者の状態を精度良く推定する技術が望まれている。

本開示は、上記問題に鑑みてなされたものであり、見守り対象者の状態を精度良く推定する推定装置、学習装置、推定システム、推定方法、及び、プログラムを提供することを目的とする。

上記目的を達成するために、本開示に係る推定装置は、
複数の見守り対象者のうち第１見守り対象者の部屋を撮像する第１撮像装置から第１撮像画像を取得する画像取得手段と、
前記第１見守り対象者に関するパラメータである第１パラメータを取得するパラメータ取得手段と、
前記複数の見守り対象者のそれぞれの部屋を撮像することにより得られる撮像画像と前記複数の見守り対象者のそれぞれに関するパラメータとを用いた機械学習により取得された学習済みモデルを用いて、前記画像取得手段が取得した前記第１撮像画像と前記パラメータ取得手段が取得した前記第１パラメータとから前記第１見守り対象者の状態を推定する推定手段と、
前記推定手段による推定結果を出力する出力手段と、を備える。

本開示では、撮像画像から見守り対象者の状態を推定するための機械学習により取得された学習済みモデルを用いて、撮像画像から見守り対象者の状態が推定される。従って、本開示によれば、見守り対象者の状態を精度良く推定することができる。

実施の形態１に係る見守りシステムの構成図 実施の形態１に係る学習装置の構成図 実施の形態１に係る推定装置の構成図 実施の形態１に係る推定システムの機能構成図 実施の形態１に係る居住者状態モデルの説明図 転倒状態と推定される撮像画像群を示す図 徘徊状態と推定される撮像画像群を示す図 発熱状態と推定される撮像画像群を示す図 密集状態と推定される撮像画像を示す図 実施の形態１に係る学習装置が実行する学習処理を示すフローチャート 実施の形態１に係る推定装置が実行する推定処理を示すフローチャート 実施の形態２に係る推定システムの機能構成図 実施の形態２に係る居住者状態モデルの説明図 実施の形態２に係る学習装置が実行する学習処理を示すフローチャート 実施の形態２に係る推定装置が実行する推定処理を示すフローチャート 実施の形態３に係る推定システムの機能構成図 実施の形態３に係る推定装置が実行する推定処理を示すフローチャート

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一又は相当部分には同一符号を付す。

（実施の形態１）
図１は、実施の形態１に係る見守りシステム１０００の構成を示す図である。見守りシステム１０００は、見守り対象者を見守るためのシステムであり、管理者による見守り対象者の見守りを支援するシステムである。見守り対象者は、見守りの対象となる人であり、管理者により見守られる人である。見守り対象者は、介護施設の居住者、病院の入院患者、在宅の介護対象者等である。管理者は、見守り対象者を見守る人であり、見守り対象者の健康状態、安全状態に気を配る人である。管理者は、介護施設の職員、病院の職員、見守りサービス業者の職員等である。見守りシステム１０００は、推定システム１００と、撮像装置２００と、表示装置３００とを備える。

推定システム１００は、撮像装置２００が撮像した画像である撮像画像に基づいて、見守り対象者の状態を推定する。推定システム１００は、学習処理を実行する学習装置１１０と、推定処理を実行する推定装置１２０と、学習済みモデルを記憶する記憶装置１３０とを備える。学習処理は、推定処理で用いる学習済みモデルを生成する処理である。推定処理は、学習済みモデルを用いて撮像画像から見守り対象者の状態を推定する処理である。見守り対象者の状態は、正常状態と異常状態との２つの状態に大別される。本実施の形態では、異常状態は、転倒状態と徘徊状態と発熱状態と密集状態とを含む。

転倒状態は、転倒した状態である。徘徊状態は、家の中又は家の外を歩き回る状態である。発熱状態は、発熱している状態であり、発熱量が平常時よりも高い状態である。密集状態は、複数の人が短い距離で集まっている状態である。正常状態は、異常状態以外の状態である。推定システム１００は、推定処理により得られた結果である推定結果を表示装置３００に出力する。

学習装置１１０は、学習段階において、正常撮像画像と異常撮像画像と含む学習用データを用いて機械学習を実行し、撮像画像から見守り対象者の状態を推定するための学習済みモデルを生成する。正常撮像画像は、見守り対象者の状態が正常状態であるときに、見守り対象者の部屋を撮像することにより得られる画像である。異常撮像画像は、見守り対象者の状態が異常状態であるときに、見守り対象者の部屋を撮像することにより得られる画像である。本実施の形態では、学習装置１１０は、１人の見守り対象者に対して１つの学習済みモデルを生成する。図２に示すように、学習装置１１０は、制御部１１と、記憶部１２と、表示部１３と、操作受付部１４と、第１通信部１５と、第２通信部１６とを備える。

制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＲＴＣ（Real Time Clock）等を備える。ＣＰＵは、中央処理装置、中央演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）等とも呼び、学習装置１１０の制御に係る処理及び演算を実行する中央演算処理部として機能する。制御部１１において、ＣＰＵは、ＲＯＭに格納されているプログラム及びデータを読み出し、ＲＡＭをワークエリアとして用いて、学習装置１１０を統括制御する。ＲＴＣは、例えば、計時機能を有する集積回路である。なお、ＣＰＵは、ＲＴＣから読み出される時刻情報から現在日時を特定可能である。

記憶部１２は、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）等の不揮発性の半導体メモリを備えており、いわゆる補助記憶装置としての役割を担う。記憶部１２は、制御部１１が各種処理を実行するために使用するプログラム及びデータを記憶する。また、記憶部１２は、制御部１１が各種処理を実行することにより生成又は取得するデータを記憶する。

表示部１３は、制御部１１による制御に従って、各種の画像を表示する。例えば、表示部１３は、ユーザから各種の操作を受け付けるための画面を表示する。表示部１３は、タッチスクリーン、液晶ディスプレイ等を備える。操作受付部１４は、ユーザから各種の操作を受け付け、受け付けた操作の内容を示す情報を制御部１１に供給する。操作受付部１４は、タッチスクリーン、ボタン、レバー等を備える。

第１通信部１５は、制御部１１による制御に従って、撮像装置２００と通信する。例えば、第１通信部１５は、予め定められた周期で、撮像装置２００から撮像画像を受信する。第１通信部１５は、周知の有線通信規格又は周知の無線通信規格に則って、撮像装置２００と通信する。周知の有線通信規格としては、ＵＳＢ（Universal Serial Bus、登録商標）、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）等がある。周知の無線通信規格としては、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）等がある。第１通信部１５は、各種の通信規格に準拠した通信インターフェースを備える。

第２通信部１６は、制御部１１による制御に従って、記憶装置１３０と通信する。例えば、第２通信部１６は、記憶装置１３０から学習済みモデルを読み込み、更新された学習済みモデルを記憶装置１３０に書き込む。第２通信部１６は、周知の有線通信規格又は周知の無線通信規格に則って、記憶装置１３０と通信する。第２通信部１６は、各種の通信規格に準拠した通信インターフェースを備える。

推定装置１２０は、推定段階において、学習済みモデルを用いて、推定用データである撮像画像から見守り対象者の状態を推定する。図３に示すように、推定装置１２０は、制御部２１と、記憶部２２と、表示部２３と、操作受付部２４と、第１通信部２５と、第２通信部２６と、第３通信部２７とを備える。

制御部２１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＲＴＣ等を備える。ＣＰＵは、中央処理装置、中央演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ等とも呼び、推定装置１２０の制御に係る処理及び演算を実行する中央演算処理部として機能する。制御部２１において、ＣＰＵは、ＲＯＭに格納されているプログラム及びデータを読み出し、ＲＡＭをワークエリアとして用いて、推定装置１２０を統括制御する。ＲＴＣは、例えば、計時機能を有する集積回路である。なお、ＣＰＵは、ＲＴＣから読み出される時刻情報から現在日時を特定可能である。

記憶部２２は、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ等の不揮発性の半導体メモリを備えており、いわゆる補助記憶装置としての役割を担う。記憶部２２は、制御部２１が各種処理を実行するために使用するプログラム及びデータを記憶する。また、記憶部２２は、制御部２１が各種処理を実行することにより生成又は取得するデータを記憶する。

表示部２３は、制御部２１による制御に従って、各種の画像を表示する。例えば、表示部２３は、ユーザから各種の操作を受け付けるための画面を表示する。表示部２３は、タッチスクリーン、液晶ディスプレイ等を備える。操作受付部２４は、ユーザから各種の操作を受け付け、受け付けた操作の内容を示す情報を制御部２１に供給する。操作受付部２４は、タッチスクリーン、ボタン、レバー等を備える。

第１通信部２５は、制御部２１による制御に従って、撮像装置２００と通信する。例えば、第１通信部２５は、予め定められた周期で、撮像装置２００から撮像画像を受信する。第１通信部２５は、周知の有線通信規格又は周知の無線通信規格に則って、撮像装置２００と通信する。第１通信部２５は、各種の通信規格に準拠した通信インターフェースを備える。

第２通信部２６は、制御部２１による制御に従って、記憶装置１３０と通信する。例えば、第２通信部２６は、制御部２１による制御に従って、記憶装置１３０から学習済みモデルを読み込む。第２通信部２６は、周知の有線通信規格又は周知の無線通信規格に則って、記憶装置１３０と通信する。第２通信部２６は、各種の通信規格に準拠した通信インターフェースを備える。

第３通信部２７は、制御部２１による制御に従って、表示装置３００と通信する。例えば、第３通信部２７は、制御部２１による制御に従って、制御部２１から受信した推定結果を示す情報を表示装置３００に送信する。第３通信部２７は、周知の有線通信規格又は周知の無線通信規格に則って、表示装置３００と通信する。第３通信部２７は、各種の通信規格に準拠した通信インターフェースを備える。

記憶装置１３０は、学習装置１１０が生成した学習済みモデルを記憶する。記憶装置１３０が記憶する学習済みモデルは、学習装置１１０により更新される。また、記憶装置１３０が記憶する学習済みモデルは、推定装置１２０により用いられる。記憶装置１３０は、適宜、撮像装置２００が生成した撮像画像を記憶する。記憶装置１３０は、ＨＨＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等を備える。

撮像装置２００は、見守り対象者の周囲を撮像し、撮像画像を生成する。撮像装置２００は、基本的に、見守り対象者である居住者２１０が居室２５０にいるときに、居住者２１０が撮像範囲に収まるように設置される。撮像装置２００は、例えば、居住者２１０が住む居室２５０の天井に設置される。本実施の形態では、撮像装置２００は赤外線カメラである。従って、撮像装置２００が生成する撮像画像は、物体から放射される赤外線を２次元で可視化した赤外線画像である。撮像装置２００は、赤外線を検出する撮像素子が２次元に配置された赤外線イメージセンサを備える。赤外線画像は、熱画像ともいう。

撮像装置２００が生成する撮像画像は、静止画像でもよいし動画像でもよい。本実施の形態では、撮像装置２００が生成する撮像画像は静止画像であり、撮像装置２００は予め定められた周期で居室２５０を撮像して撮像画像を生成する。撮像装置２００は、生成した撮像画像を推定システム１００に送信する。撮像画像は、学習装置１１０が学習処理で用いる学習用データとして用いられる。また、撮像画像は、推定装置１２０が推定処理で用いる推定用データとしても用いられる。撮像装置２００は、周知の通信規格により推定システム１００と接続される。

表示装置３００は、推定システム１００による推定結果を表示する。表示装置３００は、推定システム１００から推定結果を示す情報を受信し、受信した情報が示す推定結果を示す画像を表示する。以下、適宜、推定結果を示す情報を単に推定結果という。推定結果は、居住者２１０の状態が正常状態であるという推定結果と、居住者２１０の状態が異常状態であるという推定結果とに大別される。居住者２１０の状態が異常状態であるという推定結果は、居住者２１０の状態が転倒状態であるという推定結果と、居住者２１０の状態が徘徊状態であるという推定結果と、居住者２１０の状態が発熱状態であるという推定結果と、居住者２１０の状態が密集状態であるという推定結果とのうち少なくとも１つを含む。

表示装置３００は、管理者３１０が表示装置３００の画面を見ることができる場所に配置される。例えば、表示装置３００は、管理者３１０がいる管理室３５０内に配置される。表示装置３００は、推定結果を示す画像に加え、撮像画像を表示してもよい。管理者３１０は、表示装置３００により居住者２１０の状態が異常状態であることが報知された場合、異常状態に応じた対応を速やかにとることができる。表示装置３００は、周知の通信規格により推定システム１００と接続される。表示装置３００は、例えば、制御部（図示せず）と、記憶部（図示せず）と、表示部（図示せず）と、操作受付部（図示せず）と、通信部（図示せず）とを備えるコンピュータである。

次に、図４を参照して、推定システム１００の機能について説明する。学習装置１１０は、機能的には、画像取得部１１１と、モデル生成部１１２と、ラベル受付部１１３とを備える。推定装置１２０は、機能的には、画像取得部１２１と、推定部１２２と、出力部１２３とを備える。これらの各機能は、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現される。ソフトウェア及びファームウェアは、プログラムとして記述され、ＲＯＭ又は記憶部１２，２２に格納される。そして、ＣＰＵが、ＲＯＭ又は記憶部１２，２２に記憶されたプログラムを実行することによって、これらの各機能を実現する。

画像取得部１１１は、正常撮像画像と異常撮像画像とを撮像装置２００又は記憶装置１３０から取得する。画像取得部１１１が取得する正常撮像画像と異常撮像画像とは、機械学習の学習用データとして用いられる。一度の学習で用いられる撮像画像は、単一の撮像画像でもよいし、一連の撮像画像群でもよい。一連の撮像画像群は、時系列に並ぶ複数の撮像画像であり、例えば、撮像装置２００が予め定められた時間（例えば、数秒から数十分）が経過する毎に撮像した複数の撮像画像である。本実施の形態では、一度の学習で用いられる撮像画像は、一連の撮像画像群である。画像取得部１１１は、多数の一連の正常撮像画像群と多数の一連の異常撮像画像群とを学習用データとして取得する。

一連の正常撮像画像群は、見守り対象者の状態が正常状態であるときに、見守り対象者の部屋を一定の時間間隔で撮像することにより得られる撮像画像群である。一連の異常撮像画像群は、見守り対象者の状態が異常状態であるときに、見守り対象者の部屋を一定の時間間隔で撮像することにより得られる撮像画像群である。異常撮像画像群は、転倒撮像画像群と徘徊撮像画像群と発熱撮像画像群と密集撮像画像群とを含む。転倒撮像画像群は、見守り対象者が転倒状態であるときに得られる撮像画像群である。徘徊撮像画像群は、見守り対象者が転倒状態であるときに得られる撮像画像群である。発熱撮像画像群は、見守り対象者が発熱状態であるときに得られる撮像画像群である。密集撮像画像群は、見守り対象者が密集状態であるときに得られる撮像画像群である。

画像取得部１１１として機能する制御部１１は、第１通信部１５を介して、撮像装置２００から一連の撮像画像群を取得する。又は、画像取得部１１１として機能する制御部１１は、第２通信部１６を介して、記憶装置１３０から一連の撮像画像群を取得する。この一連の撮像画像群は、正常撮像画像群と異常撮像画像群との何れかである。画像取得部１１１は、学習装置が備える画像取得手段、及び、第１画像取得手段の一例である。

モデル生成部１１２は、画像取得部１１１が取得した正常撮像画像と異常撮像画像とを用いた機械学習により、撮像画像から見守り対象者の状態を推定するための学習済みモデルを生成する。この学習済みモデルは、撮像画像から、見守り対象者が転倒しているか否か、見守り対象者が徘徊しているか否か、見守り対象者が発熱しているか否か、及び、見守り対象者が密集しているか否かを推定するためのモデルである。モデル生成部１１２が用いる学習アルゴリズムとして、種々のアルゴリズムを採用することができる。

本実施の形態では、学習アルゴリズムとして、教師なし学習であるｋ平均法を採用する例について説明する。教師なし学習は、出力すべき結果であるラベルを含まない学習用データを学習装置に与えることで、学習用データに内在する特徴を学習する手法である。ｋ平均法は、非階層型クラスタリングのアルゴリズムであり、クラスタの平均を用いて与えられたクラスタ数をｋ個に分類する手法である。以下に、ｋ平均法の処理の流れについて説明する。

まず、各データである各ｘｉに対して、ランダムにクラスタを割り振る。次に、割り振ったデータを元に各クラスタの中心である各Ｖｊを計算する。次に、各ｘｉと各Ｖｊとの距離を求め、ｘｉを最も近い中心のクラスタに割り当て直す。そして、上述した処理で全てのｘｉのクラスタの割り当てが変化しなかった場合、又は、変化量が予め設定された閾値を下回った場合、収束したと判断して処理を終了する。

本実施の形態では、モデル生成部１１２は、正常撮像画像群と異常撮像画像群とを多数含む学習用データを用いて、教師なし学習により居住者の状態を学習する。ここで、各クラスタに対するラベル付けは、人間のユーザによりなされる。このラベル付けは、各クラスタに対して、居住者の状態が正常状態であるか否か、及び、居住者の状態が異常状態である場合、居住者がどのような異常状態であるかを割り当てるためのラベル付けである。

モデル生成部１１２は、クラスタリングにより、画像取得部１１１が取得した撮像画像群を複数のグループの何れかに分類する。なお、上述したクラスタは、グループに対応する。モデル生成部１１２は、ユーザによる指示に従って、複数のグループのそれぞれに対してラベル付けを実行する。モデル生成部１１２は、基本的に、新たに取得された一連の撮像画像群を用いて、既存の学習済みモデルを更新する。つまり、モデル生成部１１２は、新たに取得された一連の撮像画像群と記憶装置１３０に記憶されている学習済みモデルとから新たな学習済みモデルを生成する。モデル生成部１１２は、生成した新たな学習済みモデルを記憶装置１３０に保存する。モデル生成部１１２は、モデル生成手段の一例である。

ラベル受付部１１３は、ユーザからラベルを受け付ける。上述したように、本実施の形態では、機械学習は教師なしデータである。従って、ユーザは、分類された複数のグループのそれぞれについて、ラベル付けを実行する。ラベル受付部１１３は、ラベル付けに伴う操作をユーザから受け付ける。このラベル付けにより、複数のグループのそれぞれが、正常状態を示すグループ、又は、異常状態を示すグループに設定される。異常状態を示すグループは、転倒状態を示すグループ、徘徊状態を示すグループ、発熱状態を示すグループ、密集状態を示すグループの何れかである。ラベル付けにより、学習済みモデルが完成する。

画像取得部１２１は、見守り対象者の部屋を撮像する撮像装置２００から撮像画像を取得する。画像取得部１２１が撮像装置２００から取得する撮像画像は、見守り対象者の状態の推定に用いる推定用データである。推定用データは、単一の撮像画像でもよいし、一連の撮像画像群でもよい。本実施の形態では、推定用データは、一連の撮像画像群である。つまり、画像取得部１２１として機能する制御部２１は、第１通信部２５を介して、撮像装置２００から一連の撮像画像群を取得する。この一連の撮像画像群は、正常撮像画像群と異常撮像画像群との何れかである。画像取得部１２１は、推定装置が備える画像取得手段、及び、第２画像取得手段の一例である。画像取得部１２１が取得する撮像画像は、第２撮像画像の一例である。

推定部１２２は、撮像画像から見守り対象者の状態を推定するための機械学習により取得された学習済みモデルを用いて、画像取得部１２１が取得した撮像画像から見守り対象者の状態を推定する。この学習済みモデルは、モデル生成部１１２により生成され、記憶装置１３０に記憶されている。推定部１２２は、この学習済みモデルと取得された一連の撮像画像群とに基づいて、見守り対象者の状態が、正常状態と異常状態との何れであるか推定する。推定部１２２は、推定結果を出力部１２３に供給する。推定部１２２は、推定手段の一例である。

出力部１２３は、推定部１２２による推定結果を出力する。出力部１２３の出力先は、適宜、調整することができる。本実施の形態では、出力部１２３の出力先は、表示装置３００である。つまり、出力部１２３として機能する制御部２１は、第３通信部２７を介して、推定結果を示す情報を表示装置３００に送信する。出力部１２３は、出力手段の一例である。

次に、図５を参照して、モデル生成部１１２が生成する学習済みモデルについて説明する。本実施の形態では、学習済みモデルは、一連の撮像画像群から居住者の状態を推定するための居住者状態モデルである。従って、居住者状態モデルの入力は、一連の撮像画像群である。また、居住者状態モデルの出力は、居住者２１０の状態である。居住者２１０の状態としては、正常状態、転倒状態、徘徊状態、発熱状態、密集状態等がある。

次に、図６と図７と図８と図９とを参照して、居住者状態モデルにおいて、居住者２１０の状態が異常状態であると推定される撮像画像群について説明する。なお、撮像画像において、ハッチングで示す部分は、熱放射する熱源に対応する部分であり、居住者２１０に対応する部分である。また、撮像画像において、濃いハッチングで示す部分は、強く熱放射する熱源に対応する部分であり、居住者２１０の体温が高い部分である。なお、居住者２１０の位置及び動きは、熱源の位置及び動きから特定可能である。

図６は、居住者２１０の状態が転倒状態であると推定される撮像画像群を示す図である。居住者２１０が居室２５０内で転倒した場合、居住者２１０は、就寝位置とは異なる位置で立ち上がった状態から横たわった状態になると考えられる。特に、居住者２１０は、卒倒により転倒した場合、長時間に亘って動かずに横たわる可能性が高い。なお、卒倒は、脳貧血、脳出血等のために突然意識を失って倒れることである。そこで、居住者２１０が就寝位置とは異なる位置で立ち上がった状態から横たわった状態になり長時間に亘って横たわることを示す撮像画像群が転倒状態を表す撮像画像群であると推定されるように、居住者状態モデルが生成される。つまり、ユーザは、教師なし学習において、このような転倒状態を表す撮像画像群が属するグループに対して、転倒状態を表すラベルを付与する。

図６に示す撮像画像群は、画像２０ＡＡ、画像２０ＡＢ、画像２０ＡＣの順で撮像された撮像画像群である。画像２０ＡＡは、居住者２１０が普段の就寝位置とは異なる位置で立っているときに撮像された撮像画像である。画像２０ＡＢと画像２０ＡＣとは、居住者２１０が普段の就寝位置とは異なる位置で横たわっているときに撮像された撮像画像である。なお、画像２０Ａは、居住者２１０が普段の就寝位置で横たわっているときに撮像された撮像画像である。普段の就寝位置は、例えば、夜の時間帯において大半の時間割合で居住者２１０が検出される位置である。

図７は、居住者２１０の状態が徘徊状態であると推定される撮像画像群を示す図である。居住者２１０が徘徊する場合、居住者２１０は、徘徊を示唆する事前行動の後に、長時間に亘って居室２５０を不在にすることが多い。徘徊を示唆する事前行動は、徘徊の前に実行される普段と異なる夜間の行動である。徘徊を示唆する事前行動は、例えば、居室２５０の中を動き回る行動、居室２５０を出たり入ったりする行動等である。そこで、居住者２１０が徘徊を示唆する事前行動の後に長時間に亘って居室２５０を不在にすることを表す撮像画像群が徘徊状態を表す撮像画像群であると推定されるように、居住者状態モデルが生成される。つまり、ユーザは、教師なし学習において、このような徘徊状態を表す撮像画像群が属するグループに対して、徘徊状態を表すラベルを付与する。

図７に示す撮像画像群は、画像２０ＢＡ、画像２０ＢＢ、画像２０ＢＣ、画像２０ＢＤ、画像２０ＢＥの順で撮像された撮像画像群である。画像２０ＢＡと画像２０ＢＢと画像２０ＢＣとは、居住者２１０が徘徊を示唆する事前行動をとっているときに撮像された撮像画像であり、居住者２１０が居室２５０の中を動き回っているときに撮像された撮像画像である。画像２０ＢＤと画像２０ＢＥとは、居住者２１０が居室２５０を不在にしているときに撮像された撮像画像である。

図８は、居住者２１０の状態が発熱状態であると推定される撮像画像群を示す図である。居住者２１０が発熱している場合、撮像画像上において居住者２１０の発熱量が普段の発熱量よりも多い状態が長時間継続する。そこで、居住者２１０の発熱量が普段の発熱量よりも多い状態が長時間継続することを示す撮像画像群が発熱状態を表す撮像画像群であると推定されるように、居住者状態モデルが生成される。つまり、ユーザは、教師なし学習において、このような発熱状態を表す撮像画像群が属するグループに対して、発熱状態を表すラベルを付与する。

図８に示す撮像画像群は、画像２０ＣＡ、画像２０ＣＢ、画像２０ＣＣの順で撮像された撮像画像群である。画像２０ＣＡと画像２０ＣＢと画像２０ＣＣとは、居住者２１０が普段の熱放射と比較して強い熱放射を継続しているときに撮像された撮像画像である。なお、画像２０Ｃは、居住者２１０が普段の熱放射をしているときに撮像された撮像画像である。普段の熱放射は、例えば、大半の時間に検出される居住者２１０の熱放射である。

図９は、居住者２１０の状態が密集状態であると推定される撮像画像を示す図である。居住者２１０を含む複数の人が密集している場合、撮像画像上において複数の熱源が近接する。そこで、複数の熱源が近接していることを示す撮像画像が密集状態を表す撮像画像であると推定されるように、居住者状態モデルが生成される。つまり、ユーザは、教師なし学習において、このような密集状態を表す撮像画像が属するグループに対して、密集状態を表すラベルを付与する。なお、密集状態は、１つの撮像画像から推定可能である。従って、密集状態を推定する場合、居住者状態モデルへの入力は、１つの撮像画像でよい。図９に示す画像２０Ｄは、居住者２１０を含む複数の人が居室２５０の中で密集しているときに撮像された撮像画像である。

次に、図１０のフローチャートを参照して、学習装置１１０が実行する学習処理について説明する。

学習装置１１０が備える制御部１１は、学習用データを取得する（ステップＳ１０１）。学習用データは、多数の正常撮像画像群と多数の異常撮像画像群とを含む。撮像装置２００が取得した一連の撮像画像群は、学習用データとして学習装置１１０に直接供給されてもよいし、学習用データとして記憶装置１３０に記憶されて、適宜、学習装置１１０に供給されてもよい。つまり、制御部１１は、撮像装置２００又は記憶装置１３０から学習用データを取得する。

制御部１１は、ステップＳ１０１の処理を完了すると、教師なし学習を実行する（ステップＳ１０２）。具体的には、制御部１１は、取得した学習用データに含まれる多数の撮像画像群を用いて教師なし学習を実行し、多数の撮像画像群を複数のグループに分類する。制御部１１は、ステップＳ１０２の処理を完了すると、ラベル付けを実行する（ステップＳ１０３）。制御部１１は、操作受付部１４がユーザから受け付けた操作に従って、複数のグループのそれぞれにラベルを付与する。このラベル付けにより、学習済みモデルが完成する。

制御部１１は、ステップＳ１０３の処理を完了すると、学習済みモデルを保存する（ステップＳ１０４）。制御部１１は、ラベル付けにより完成した学習済みモデルを記憶装置１３０に保存する。制御部１１は、ステップＳ１０４の処理を完了すると、学習処理を完了する。

次に、図１１のフローチャートを参照して、推定装置１２０が実行する推定処理について説明する。

推定装置１２０が備える制御部２１は、撮像装置２００から撮像画像群を取得する（ステップＳ２０１）。制御部２１は、ステップＳ２０１の処理を完了すると、取得した撮像画像群を学習済みモデルに入力する（ステップＳ２０２）。学習済みモデルは、入力された撮像画像群から居住者２１０の状態を推定する。居住者２１０の状態は、正常状態と異常状態との何れかである。異常状態は、転倒状態と徘徊状態と発熱状態と密集状態との何れかの状態である。

制御部２１は、ステップＳ２０２の処理を完了すると、学習済みモデルから推定結果を取得する（ステップＳ２０３）。制御部２１は、ステップＳ２０３の処理を完了すると、推定結果を表示装置３００に出力する（ステップＳ２０４）。なお、表示装置３００は、推定装置１２０から供給された推定結果を示す画像を表示する。制御部２１は、ステップＳ２０４の処理を完了すると、推定処理を完了する。

本実施の形態では、正常撮像画像と異常撮像画像とを用いた機械学習により学習済みモデルが生成され、生成された学習済みモデルを用いて撮像画像から見守り対象者の状態が推定される。本実施の形態によれば、見守り対象者に応じた学習済みモデルから見守り対象者の状態が推定されるため、見守り対象者の状態を精度良く推定することができる。

また、本実施の形態では、転倒状態と徘徊状態と発熱状態と密集状態とを推定可能な学習済みモデルを用いて、見守り対象者が正常状態と転倒状態と徘徊状態と発熱状態と密集状態との何れかの状態であるかが推定される。従って、本実施の形態によれば、見守り対象者の状態が、正常状態と転倒状態と徘徊状態と発熱状態と密集状態との何れかの状態であるかを精度良く推定することができる。

（実施の形態２）
実施の形態１では、見守り対象者毎に学習済みモデルが用意される例について説明した。実施の形態２では、複数の見守り対象者に共通して１つの学習済みモデルが用意される例について説明する。なお、実施の形態１と同様の構成及び機能については、適宜、説明を省略又は簡略化する。

図１２に、本実施の形態に係る推定システム１００の機能的な構成を示す。本実施の形態に係る学習装置１１０は、機能的には、画像取得部１１１と、モデル生成部１１２と、ラベル受付部１１３と、パラメータ取得部１１４とを備える。本実施の形態に係る推定装置１２０は、機能的には、画像取得部１２１と、推定部１２２と、出力部１２３と、パラメータ取得部１２４とを備える。

画像取得部１１１は、複数の見守り対象者のそれぞれの部屋を撮像することにより得られる撮像画像を取得する。画像取得部１１１は、複数の見守り対象者の部屋に設けられた複数の撮像装置２００のそれぞれから、一連の撮像画像群を学習データとして取得する。この一連の撮像画像群は、正常撮像画像群と異常撮像画像群との何れかである。

パラメータ取得部１１４は、複数の見守り対象者のそれぞれに関するパラメータを取得する。パラメータ取得部１１４は、画像取得部１１１が一連の撮像画像群を取得するときに、一連の撮像画像群に対応するパラメータを学習データとして取得する。このパラメータは、見守り対象者の属性を示すパラメータである。このパラメータは、例えば、見守り対象者の年齢、性別、身体特性、健康度合い等である。身体特性は、身長、体重、平熱、平均心拍数等である。健康度合いは、要介護、病気の有無等である。

パラメータ取得部１１４は、例えば、第１見守り対象者の部屋を撮像する撮像装置２００から一連の撮像画像群を取得するときに、第１見守り対象者のパラメータである第１パラメータを取得する。例えば、見守り対象者の識別情報と撮像装置２００の識別情報とパラメータとが対応付けられたパラメータ情報が記憶装置１３０に記憶されている場合を想定する。この場合、パラメータ取得部１１４は、一連の撮像画像群の取得元の撮像装置２００により撮像される見守り対象者に関するパラメータを、記憶装置１３０に記憶されたパラメータ情報から特定して取得することができる。

モデル生成部１１２は、画像取得部１１１が取得した撮像画像とパラメータ取得部１１４が取得したパラメータとを含む学習用データを用いた機械学習により、撮像画像から見守り対象者の状態を推定するための学習済みモデルを生成する。例えば、モデル生成部１１２は、一連の撮像画像群とパラメータとの組み合わせを、複数のグループの何れかに分類する。また、モデル生成部１１２は、ユーザによる指示に従って、複数のグループのそれぞれに対してラベル付けを実行する。

モデル生成部１１２は、ラベル付けにより完成した学習済みモデルを記憶装置１３０に保存する。この学習済みモデルは、複数の見守り対象者のそれぞれについて取得された撮像画像と、複数の見守り対象者のそれぞれに関するパラメータとを用いた機械学習により取得されたモデルである。この学習済みモデルは、複数の見守り対象者に対して共通の学習済みモデルである。

ラベル受付部１１３は、ユーザからラベルを受け付ける。ユーザは、分類された複数のグループのそれぞれについて、ラベル付けを実行する。なお、ユーザは、一連の撮像画像群とパラメータとを考慮して、ラベル付けを実行することができる。例えば、３７度の発熱状態を示す一連の撮像画像群と平熱が３６度であることを示すパラメータとの組み合わせが属する第１グループと、３７度の発熱状態を示す一連の撮像画像群と平熱が３６．５度であることを示すパラメータとの組み合わせが属する第２グループとがある場合を想定する。この場合、ユーザは、第１グループに対して発熱状態を示すラベルを付し、第２グループに対して正常状態を示すラベルを付してもよい。

画像取得部１２１は、複数の見守り対象者のうち第１見守り対象者の部屋を撮像する第１撮像装置から第１撮像画像を取得する。第１撮像装置は、複数の撮像装置２００のうち第１見守り対象者の部屋を撮像する撮像装置２００である。パラメータ取得部１２４は、複数の見守り対象者のうち第１見守り対象者に関するパラメータである第１パラメータを取得する。例えば、パラメータ取得部１２４は、第１撮像装置により撮像される第１見守り対象者に関するパラメータを、記憶装置１３０に記憶されたパラメータ情報から特定して取得することができる。パラメータ取得部１２４は、パラメータ取得手段の一例である。

推定部１２２は、学習済みモデルを用いて、画像取得部１２１が取得した第１撮像画像とパラメータ取得部１２４が取得した第１パラメータとから第１見守り対象者の状態を推定する。出力部１２３は、推定部１２２による推定結果を出力する。

ここで、図１３を参照して、モデル生成部１１２が生成する学習済みモデルについて説明する。本実施の形態では、学習済みモデルは、一連の撮像画像群とパラメータとから居住者の状態を推定するための居住者状態モデルである。従って、居住者状態モデルの入力は、一連の撮像画像群及びパラメータである。また、居住者状態モデルの出力は、居住者２１０の状態である。居住者２１０の状態としては、正常状態、転倒状態、徘徊状態、発熱状態、密集状態等がある。

次に、図１４のフローチャートを参照して、学習装置１１０が実行する学習処理について説明する。

学習装置１１０が備える制御部１１は、撮像画像群とパラメータとを含む学習用データを取得する（ステップＳ３０１）。例えば、制御部１１は、各居住者２１０に対応する一連の撮像画像群を、複数の撮像装置２００から取得する。又は、制御部１１は、各居住者２１０に対応する一連の撮像画像群を、複数の撮像装置２００が取得した一連の撮像画像群を記憶する記憶装置１３０から取得してもよい。また、制御部１１は、記憶装置１３０から各居住者２１０に対応するパラメータを取得する。つまり、制御部１１は、複数の撮像装置２００と記憶装置１３０とから学習用データを取得する。

制御部１１は、ステップＳ３０１の処理を完了すると、教師なし学習を実行する（ステップＳ３０２）。具体的には、制御部１１は、取得した学習用データに含まれる多数の組み合わせを用いて教師なし学習を実行し、多数の組み合わせを複数のグループに分類する。この組み合わせは、撮像画像群及びパラメータの組み合わせである。制御部１１は、ステップＳ３０２の処理を完了すると、ラベル付けを実行する（ステップＳ３０３）。制御部１１は、操作受付部１４がユーザから受け付けた操作に従って、複数のグループのそれぞれにラベルを付与する。このラベル付けにより、学習済みモデルが生成される。

制御部１１は、ステップＳ３０３の処理を完了すると、学習済みモデルを保存する（ステップＳ３０４）。制御部１１は、ラベル付けにより完成した学習済みモデルを記憶装置１３０に保存する。制御部１１は、ステップＳ３０４の処理を完了すると、学習処理を完了する。

次に、図１５のフローチャートを参照して、推定装置１２０が実行する推定処理について説明する。

推定装置１２０が備える制御部２１は、第１撮像装置から第１撮像画像群を取得する（ステップＳ４０１）。制御部２１は、ステップＳ４０１の処理を完了すると、第１パラメータを取得する（ステップＳ４０２）。制御部２１は、第１撮像装置により撮像される部屋に居住する第１居住者に関するパラメータである第１パラメータを記憶装置１３０から取得する。制御部２１は、ステップＳ４０２の処理を完了すると、第１撮像画像群と第１パラメータとを学習済みモデルに入力する（ステップＳ４０３）。学習済みモデルは、入力された第１撮像画像群及び第１パラメータから居住者２１０の状態を推定する。

制御部２１は、ステップＳ４０３の処理を完了すると、学習済みモデルから推定結果を取得する（ステップＳ４０４）。制御部２１は、ステップＳ４０４の処理を完了すると、推定結果を表示装置３００に出力する（ステップＳ４０５）。制御部２１は、ステップＳ４０５の処理を完了すると、推定処理を完了する。

本実施の形態では、複数の見守り対象者のそれぞれの部屋を撮像することにより得られる撮像画像と複数の見守り対象者のそれぞれに関するパラメータとを用いた機械学習により取得された学習済みモデルを用いて、第１見守り対象者の部屋を撮像する第１撮像装置から取得された第１撮像画像と第１見守り対象者に関する第１パラメータとから第１見守り対象者の状態が推定される。本実施の形態によれば、複数の見守り対象者に共通の学習済みモデルから第１パラメータに応じて第１見守り対象者の状態が適切に推定されるため、見守り対象者の状態を精度良く推定することができる。つまり、本実施の形態によれば、複数の見守り対象者に共通する学習済みモデルを用いる場合においても、見守り対象者の属性が考慮されるため、属性に応じた適切な推定が可能である。

（実施の形態３）
実施の形態１では、学習済みモデルの出力自体を推定結果として扱う例について説明した。実施の形態３では、学習済みモデルの出力に基づいて推定結果を求める例について説明する。具体的には、実施の形態３では、学習済みモデルを用いて、見守り対象者の状態を推定するための推定材料を取得し、取得した推定材料に基づいて見守り対象者の状態を推定する。なお、実施の形態１，２と同様の構成及び機能については、適宜、説明を省略又は簡略化する。

図１６に、本実施の形態に係る推定システム１００の機能的な構成を示す。本実施の形態に係る学習装置１１０は、機能的には、画像取得部１１１と、モデル生成部１１２と、ラベル受付部１１３とを備える。本実施の形態に係る推定装置１２０は、機能的には、画像取得部１２１と、状態判別部１２５と状態推定部１２６とを備える推定部１２２と、出力部１２３とを備える。

状態判別部１２５は、学習済みモデルを用いて撮像画像から見守り対象者の状態が疑異常状態であるか否かを判別する。疑異常状態は、異常が疑われる状態であり、異常状態であると見做す余地がある状態である。本実施の形態では、学習済みモデルは、見守り対象者の状態が疑異常状態であるか否かを判別するためのモデルである。疑異常状態であると判別されると、他の条件が考慮されて、異常状態であるか否かが推定される。一方、疑異常状態でないと判別されると、正常状態であると推定される。つまり、疑異常状態は、異常状態であると推定されるための必要条件である。状態判別部１２５は、状態判別手段の一例である。

状態推定部１２６は、状態判別部１２５による判別結果に基づいて、見守り対象者の状態を推定する。例えば、状態推定部１２６は、状態判別部１２５が見守り対象者の状態が疑異常状態であると判別した場合において、他の条件が満たされる場合、見守り対象者の状態が異常状態であると推定する。これに対して、状態推定部１２６は、状態判別部１２５が見守り対象者の状態が疑異常状態でないと判別した場合、見守り対象者の状態が正常状態であると推定する。なお、出力部１２３は、状態推定部１２６による推定結果を出力する。状態推定部１２６は、状態推定手段の一例である。

疑異常状態と他の条件とは、適宜、調整することができる。例えば、状態推定部１２６は、状態判別部１２５が単位時間内に閾値以上の割合で見守り対象者の状態が疑異常状態であると判別した場合、見守り対象者の状態が異常状態であると推定することができる。この場合、疑異常状態はどのような状態でもよい。また、この場合、他の条件は、単位時間内に閾値以上の割合で見守り対象者の状態が疑異常状態であるという条件である。

例えば、１０分間に８割以上の割合で３７度以上の熱源が検出されたときに見守り対象者が発熱状態であると見做す場合を想定する。この場合、疑異常状態は、３７度以上の体温を有する状態である。また、この場合、他の条件は、見守り対象者の状態が１０分間に８割以上の割合で疑異常状態であることである。この場合、学習済みモデルは、撮像画像から見守り対象者が３７度以上の体温を有するか否かを判別可能なモデルであればよい。つまり、この場合、学習済みモデルは、見守り対象者の状態が疑異常状態である時間の割合については判別可能でなくてもよい。

他の例として、見守り対象者の周囲が密集状態であると見做す場合を想定すると、疑異常状態は、見守り対象者を含む複数の人が密集している状態である。この状態は、見守り対象者が医療従事者によって、診療、医療行為、介護サービスを受けている状態、又は、見守り対象者同士が通行時にすれ違った状態を含む。また、この場合、他の条件は、見守り対象者の状態が一定時間（例えば、１５分間）以上、疑異常状態として継続していることである。この場合、学習済みモデルは、撮像画像から見守り対象者が密集状態にあるか否かを判別可能なモデルであればよい。

別の例として、就寝位置とは別の位置で５分間横たわった姿勢で静止した状態が検出されたときに、見守り対象者が卒倒状態であると見做す場合を想定する。この場合、疑異常状態は、就寝位置とは別の位置で横たわる状態である。また、この場合、他の条件は、見守り対象者の状態が５分間継続して疑異常状態であることである。この場合、学習済みモデルは、撮像画像から見守り対象者が就寝位置とは別の位置で横たわる状態であるか否かを判別可能なモデルであればよい。つまり、この場合、学習済みモデルは、見守り対象者の状態が疑異常状態である時間の長さについては判別可能でなくてもよい。

また、疑異常状態は、第１疑異常状態と第２疑異常状態とを含み、状態推定部１２６は、状態判別部１２５が見守り対象者の状態が第１疑異常状態であると判別する期間が継続した後、状態判別部１２５が見守り対象者の状態が第２疑異常状態であると判別する期間が継続した場合、見守り対象者の状態が異常状態であると推定してもよい。

例えば、徘徊を示唆する事前行動が１０分間以上継続した後、見守り対象者が不在の状態が１０分間以上継続したときに、見守り対象者が徘徊状態であると見做す場合を想定する。この場合、疑異常状態は、徘徊を示唆する事前行動をする状態という第１疑異常状態と、居室２５０を不在にする状態という第２疑異常状態とを含む。また、この場合、他の条件は、第１疑異常状態が１０分間以上継続した後、第２疑異常状態が１０分間以上継続することである。この場合、学習済みモデルは、撮像画像から徘徊を示唆する事前行動があるか否かと、撮像画像から見守り対象者が不在であるか否かを判別可能なモデルであればよい。つまり、この場合、学習済みモデルは、第１疑異常状態及び第２疑異常状態が継続する時間、第１疑異常状態と第２疑異常状態との順序等については判別可能でなくてもよい。

他の例として、微熱の状態が２０分以上継続した後、見守り対象者が動かない状態が５分以上継続したときに、見守り対象者が体調不良で倒れた状態であると見做す場合を想定する。この場合、疑異常状態は、体調不良による微熱状態を示唆する第１疑異常状態と、体調が悪化し居室２５０で動かなくなり救護が必要であることを示唆する第２疑異常状態とを含む。また、この場合、他の条件は、第１疑異常状態が２０分間以上継続した後、第２疑異常状態が５分間以上継続することである。この場合、学習済みモデルは、撮像画像から微熱を示唆する第１疑異常状態があるか否かと、撮像画像から見守り対象者が倒れて動かない第２疑異常状態があるか否かを判別可能なモデルであればよい。つまり、この場合、学習済みモデルは、第１疑異常状態及び第２疑異常状態が継続する時間、第１疑異常状態と第２疑異常状態との順序等については判別可能でなくてもよい。

また、見守り対象者が立位した状態を第１疑異常状態とし、就寝位置とは別の位置で横たわった状態を第２疑異常状態として、例えば第１疑異常状態が２０分間以上継続した後、第２疑異常状態が２分間以上継続したときに、見守り対象者が卒倒状態であると見做す場合を想定する。この場合、疑異常状態は、立位状態を示唆する第１疑異常状態と、通常の就寝位置とは別の位置で動かない状態を示唆する第２疑異常状態とを含む。また、この場合、他の条件は、第１疑異常状態が２０分間以上継続した後、第２疑異常状態が２分間以上継続することである。この場合、学習済みモデルは、撮像画像から立位を示唆する第１疑異常状態があるか否かと、撮像画像から見守り対象者が就寝位置とは別の位置で横たわり動かない第２疑異常状態があるか否かを判別可能なモデルであればよい。つまり、この場合、学習済みモデルは、第１疑異常状態及び第２疑異常状態が継続する時間、第１疑異常状態と第２疑異常状態との順序等については判別可能でなくてもよい。

また、状態推定部１２６は、状態判別部１２５が第１時間帯に見守り対象者の状態が疑異常状態であると判別した場合、見守り対象者の状態が異常状態であると推定し、状態判別部１２５が第１時間帯とは異なる第２時間帯に見守り対象者の状態が疑異常状態であると判別した場合、見守り対象者の状態が正常状態であると推定してもよい。

例えば、夜の時間帯に見守り対象者が居室２５０の中を動き回った後に居室２５０からいなくなったときに見守り対象者が徘徊状態であると見做す場合を想定する。この場合、疑異常状態は、居室２５０の中を動き回った後に居室２５０からいなくなった状態である。また、この場合、他の条件は、夜の時間帯であるという条件である。この場合、学習済みモデルは、撮像画像から見守り対象者が居室２５０の中を動き回った後に居室２５０からいなくなったことを判別可能なモデルであればよい。つまり、この場合、学習済みモデルは、見守り対象者が疑異常状態である時間帯を判別可能でなくてもよい。

また、食事の時間帯以外の時間帯に見守り対象者が発熱状態であれば、見守り対象者が発熱状態であると見做してもよい。この場合、疑異常状態は、見守り対象者が発熱しているという状態である。食事中は、見守り対象者が高温の食事を取ることで発熱状態にあるのか判断が難しいため、他の条件を食事の時間帯以外の時間帯であるとする。この場合、学習済みモデルは、撮像画像から見守り対象者が発熱状態にあるか否かを判別可能なモデルであればよい。つまり、この場合、学習済みモデルは、見守り対象者が疑異常状態である時間帯を判別可能でなくてもよい。

別の例として、就寝時間帯以外の時間帯において、見守り対象者が立位状態の後、横たわって動かない状態であれば、見守り対象者が卒倒状態であると見做してもよい。この場合、疑異常状態は、見守り対象者が立位状態から横たわって静止する状態である。この場合、他の条件は、昼の時間帯であるという条件である。この場合、学習済みモデルは、撮像画像から見守り対象者が立位状態後に座位状態を経ずに横たわって静止した状態となることを判別可能なモデルであればよい。つまり、この場合、学習済みモデルは、見守り対象者が疑異常状態である時間帯を判別可能でなくてもよい。

次に、図１７のフローチャートを参照して、推定装置１２０が実行する推定処理について説明する。

推定装置１２０が備える制御部２１は、撮像装置２００から撮像画像群を取得する（ステップＳ５０１）。制御部２１は、ステップＳ５０１の処理を完了すると、撮像画像群を学習済みモデルに入力する（ステップＳ５０２）。学習済みモデルは、入力された撮像画像群から居住者２１０の状態を判別する。

制御部２１は、ステップＳ５０２の処理を完了すると、学習済みモデルから判別結果を取得する（ステップＳ５０３）。この判別結果は、居住者２１０の状態が疑異常状態であるか否かの判別結果である。制御部２１は、ステップＳ５０３の処理を完了すると、居住者２１０の状態が疑異常状態であるか否かを判別する（ステップＳ５０４）。制御部２１は、居住者２１０の状態が疑異常状態でないと判別すると（ステップＳ５０４：ＮＯ）、居住者２１０の状態が正常状態であると推定する（ステップＳ５０５）。制御部２１は、居住者２１０の状態が疑異常状態であると判別すると（ステップＳ５０４：ＹＥＳ）、他の条件に基づいて居住者２１０の状態を推定する（ステップＳ５０６）。

例えば、疑異常状態が閾値以上の体温を有する状態である場合、制御部２１は、単位時間内に閾値以上の割合で居住者２１０が閾値以上の体温であるか否かを判別する。制御部２１は、現時点で居住者２１０の体温が３７度以上である場合において、過去１０分間に８割以上の割合で居住者２１０の体温が３７度以上であった場合、居住者２１０が発熱状態であると推定する。制御部２１は、現時点で居住者２１０の体温が３７度以上である場合において、過去１０分間に８割以上の割合で居住者２１０の体温が３７度以上でなかった場合、居住者２１０が正常状態であると推定する。

制御部２１は、ステップＳ５０５又はステップＳ５０６の処理を完了すると、推定結果を表示装置３００に出力する（ステップＳ５０７）。制御部２１は、ステップＳ５０７の処理を完了すると、推定処理を完了する。

本実施の形態では、学習済みモデルを用いて撮像画像から見守り対象者の状態が疑異常状態であるか否かが判別され、この判別結果に基づいて、見守り対象者の状態が推定される。本実施の形態では、例えば、見守り対象者の状態が異常状態であるか否かの判別よりも容易な判別である、見守り対象者の状態が疑異常状態であるか否かの判別が、学習済みモデルを用いて実行される。このように、本実施の形態では、学習済みモデルを用いて判別する内容を簡略化することができる。その結果、本実施の形態によれば、見守り対象者の状態を更に精度良く推定することができる。

本実施の形態によれば、例えば、見守り対象者の一時的な状態の判別のみが学習済みモデルで実行され、複数の判別結果の組み合わせ、複数の判別結果の順序、同一の判別結果の継続時間、時間帯、見守り対象者の属性等については、学習済みモデルを用いずに判別することができる。かかる構成によれば、学習済みモデルを用いた判別の精度を高めることができ、学習済みモデルを変更せずに見守り対象者の状態の推定方法を柔軟に調整することができる。

（変形例）
以上、実施の形態を説明したが、種々の形態による変形及び応用が可能である。上記実施の形態において説明した構成、機能、動作のどの部分を採用するのかは任意である。また、上述した構成、機能、動作のほか、更なる構成、機能、動作が採用されてもよい。また、上記実施の形態において説明した構成、機能、動作は、自由に組み合わせることができる。

実施の形態１では、推定システム１００が学習装置１１０と推定装置１２０と記憶装置１３０との３つの装置を備える例について説明した。推定システム１００の構成は、この構成に限定されない。例えば、１つの装置が学習装置１１０の機能と推定装置１２０の機能と記憶装置１３０の機能とを有する場合、推定システム１００はこの１つの装置を備えていればよい。また、学習装置１１０と推定装置１２０と記憶装置１３０とが設けられる場所は、どこであってもよい。例えば、学習装置１１０と推定装置１２０と記憶装置１３０とが１つの施設内に設けられていてもよいし、学習装置１１０と推定装置１２０と記憶装置１３０とのうち少なくとも１つの装置がクラウド上に設けられていてもよい。

実施の形態１では、表示装置３００が学習装置１１０及び推定装置１２０と別に設けられる例について説明した。例えば、学習装置１１０又は推定装置１２０が表示装置３００の機能を有する場合、表示装置３００が設けられなくてもよい。実施の形態１では、出力部１２３は、表示装置３００に推定結果を出力する例について説明した。出力部１２３は、音声出力装置に推定結果を出力してもよい。この場合、音声出力装置は、音声により推定結果を管理者３１０に報知する。

実施の形態１では、異常状態が転倒状態と徘徊状態と発熱状態と密集状態との４つの状態である例について説明した。異常状態をどのような状態にするのかは適宜調整することができる。例えば、異常状態は、上記４つの状態のうち少なくとも１つの状態であってもよいし、上記４つの状態のうち少なくとも１つの状態に加えて他の状態を含んでいてもよいし、上記４つの状態を含まず他の状態を含んでいてもよい。

また、上記４つの状態を推定する方法も適宜調整することができる。例えば、実施の形態１では、撮像画像において複数の熱源が近接している場合に、見守り対象者の状態が密集状態であると推定される例について説明した。撮像画像において複数の熱源が近接している場合において、少なくとも１つの熱源が閾値以上の発熱量を有する場合に、居住者２１０の状態がリスクのある密集状態であると推定されてもよい。

実施の形態２では、学習に用いるパラメータが見守り対象者の属性である例について説明した。学習に用いるパラメータをどのようなパラメータにするのかは適宜調整することができる。例えば、学習に用いるパラメータは、時間帯、季節、天候等であってもよい。

実施の形態１では、１人の見守り対象者に対して１つの学習済みモデルを用意し、実施の形態２では、複数の見守り対象者に対して１つの学習済みモデルを用意する例について説明した。見守り対象者と学習済みモデルとの対応関係は適宜調整することができる。例えば、複数の見守り対象者が種々の観点から複数のグループに分類され、グループ毎に１つの学習済みモデルが用意されてもよい。この場合、例えば、複数の見守り対象者が、年齢、性別、身体特性、健康度合い、居住場所等に応じた複数のグループに分類されてもよい。かかる構成によれば、見守り対象者の属性に応じて適切に学習済みモデルが生成されるため、見守り対象者の状態が精度良く推定されることが期待できる。

なお、ある見守り対象者の撮像画像を用いて生成された学習済みモデルは、他の見守り対象者の状態の推定に用いられてもよいし、他の見守り対象者の撮像画像を用いて更新されてもよい。同様に、あるグループに属する見守り対象者の撮像画像を用いて生成された学習済みモデルは、他のグループに属する見守り対象者の状態の推定に用いられてもよいし、他のグループに属する見守り対象者の撮像画像を用いて更新されてもよい。

また、学習装置１１０が採用する学習アルゴリズムは、実施の形態１に示した例に限定されない。例えば、特徴量そのものを抽出する深層学習が採用されてもよいし、他の公知の学習アルゴリズムが採用されてもよい。また、教師なし学習を実現する場合、ｋ平均法による非階層型クラスタリング以外の方法により、クラスタリングされてもよい。例えば、最短距離法による階層型クラスタリングが採用されてもよいし、他の公知の方法によるクラスタリングが採用されてもよい。また、学習アルゴリズムとして、教師なし学習ではなく、教師あり学習、半教師あり学習、強化学習等を採用することができる。

上記実施の形態では、制御部１１，２１において、ＣＰＵがＲＯＭ又は記憶部１２，２２に記憶されたプログラムを実行することによって、図４，１２，１６に示した各部として機能した。しかしながら、本開示において、制御部１１，２１は、専用のハードウェアであってもよい。専用のハードウェアとは、例えば単一回路、複合回路、プログラム化されたプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、又は、これらの組み合わせ等である。制御部１１，２１が専用のハードウェアである場合、各部の機能それぞれを個別のハードウェアで実現してもよいし、各部の機能をまとめて単一のハードウェアで実現してもよい。また、各部の機能のうち、一部を専用のハードウェアによって実現し、他の一部をソフトウェア又はファームウェアによって実現してもよい。このように、制御部１１は、ハードウェア、ソフトウェア、ファームウェア、又は、これらの組み合わせによって、上述の各機能を実現することができる。

本開示に係る学習装置１１０、推定装置１２０の動作を規定する動作プログラムを既存のパーソナルコンピュータ又は情報端末装置等のコンピュータに適用することで、当該コンピュータを、本開示に係る学習装置１１０、推定装置１２０として機能させることも可能である。また、このようなプログラムの配布方法は任意であり、例えば、ＣＤ－ＲＯＭ（Compact Disk ROM）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical Disk）、又は、メモリカード等のコンピュータ読み取り可能な記録媒体に格納して配布してもよいし、インターネット等の通信ネットワークを介して配布してもよい。

本開示は、本開示の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、本開示を説明するためのものであり、本開示の範囲を限定するものではない。すなわち、本開示の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして特許請求の範囲内及びそれと同等の開示の意義の範囲内で施される様々な変形が、本開示の範囲内とみなされる。

本開示は、見守りシステムに適用可能である。

１１，２１ 制御部、１２，２２ 記憶部、１３，２３ 表示部、１４，２４ 操作受付部、１５，２５ 第１通信部、１６，２６ 第２通信部、２０Ａ，２０ＡＡ，２０ＡＢ，２０ＡＣ，２０ＢＡ，２０ＢＢ，２０ＢＣ，２０ＢＤ，２０ＢＥ，２０Ｃ，２０ＣＡ，２０ＣＢ，２０ＣＣ，２０Ｄ 画像、２７ 第３通信部、１００ 推定システム、１１０ 学習装置、１１１，１２１ 画像取得部、１１２ モデル生成部、１１３ ラベル受付部、１１４，１２４ パラメータ取得部、１２０ 推定装置、１２２ 推定部、１２３ 出力部、１２５ 状態判別部、１２６ 状態推定部、２００ 撮像装置、２１０ 居住者、２５０ 居室、３００ 表示装置、３１０ 管理者、３５０ 集中管理室、１０００ 見守りシステム

Claims (5)

1. 複数の見守り対象者のうち第１見守り対象者の部屋を撮像する第１撮像装置から第１撮像画像を取得する画像取得手段と、
   前記第１見守り対象者に関するパラメータである第１パラメータを取得するパラメータ取得手段と、
   前記複数の見守り対象者のそれぞれの部屋を撮像することにより得られる撮像画像と前記複数の見守り対象者のそれぞれに関するパラメータとを用いた機械学習により取得された学習済みモデルを用いて、前記画像取得手段が取得した前記第１撮像画像と前記パラメータ取得手段が取得した前記第１パラメータとから前記第１見守り対象者の状態を推定する推定手段と、
   前記推定手段による推定結果を出力する出力手段と、を備える、
   推定装置。
2. 複数の見守り対象者のそれぞれの状態が正常状態であるときに前記複数の見守り対象者のそれぞれの部屋を撮像することにより得られる正常撮像画像と、前記複数の見守り対象者のそれぞれの状態が異常状態であるときに前記複数の見守り対象者のそれぞれの部屋を撮像することにより得られる異常撮像画像とを取得する画像取得手段と、
   前記複数の見守り対象者のそれぞれに関するパラメータを取得するパラメータ取得手段と、
   前記画像取得手段が取得した前記正常撮像画像と前記異常撮像画像と前記パラメータ取得手段が取得した前記パラメータとを用いた機械学習により、前記複数の見守り対象者のうち第１見守り対象者の部屋を撮像することにより得られる第１撮像画像と前記第１見守り対象者に関するパラメータである第１パラメータとから前記第１見守り対象者の状態を推定するための学習済みモデルを生成するモデル生成手段と、を備える、
   学習装置。
3. 学習装置と推定装置とを備える推定システムであって、
   前記学習装置は、
   複数の見守り対象者のそれぞれの状態が正常状態であるときに前記複数の見守り対象者のそれぞれの部屋を撮像することにより得られる正常撮像画像と、前記複数の見守り対象者のそれぞれの状態が異常状態であるときに前記複数の見守り対象者のそれぞれの部屋を撮像することにより得られる異常撮像画像とを取得する第１画像取得手段と、
   前記複数の見守り対象者のそれぞれに関するパラメータを取得する第１パラメータ取得手段と、
   前記第１画像取得手段が取得した前記正常撮像画像と前記異常撮像画像と前記第１パラメータ取得手段が取得した前記パラメータとを用いた機械学習により、前記複数の見守り対象者のうち第１見守り対象者の部屋を撮像することにより得られる第１撮像画像と前記第１見守り対象者に関するパラメータである第１パラメータとから前記第１見守り対象者の状態を推定するための学習済みモデルを生成するモデル生成手段と、を備え、
   前記推定装置は、
   前記第１見守り対象者の部屋を撮像する第１撮像装置から前記第１撮像画像を取得する第２画像取得手段と、
   前記第１パラメータを取得する第２パラメータ取得手段と、
   前記モデル生成手段が生成した前記学習済みモデルを用いて、前記第２画像取得手段が取得した前記第１撮像画像と前記第２パラメータ取得手段が取得した前記第１パラメータとから前記第１見守り対象者の状態を推定する推定手段と、
   前記推定手段による推定結果を出力する出力手段と、を備える、
   推定システム。
4. 推定装置が、複数の見守り対象者のうち第１見守り対象者の部屋を撮像する第１撮像装置から第１撮像画像を取得し、
   前記推定装置が、前記第１見守り対象者に関するパラメータである第１パラメータを取得し、
   前記推定装置が、前記複数の見守り対象者のそれぞれの部屋を撮像することにより得られる撮像画像と前記複数の見守り対象者のそれぞれに関するパラメータとを用いた機械学習により取得された学習済みモデルを用いて、前記第１撮像画像と前記第１パラメータとから前記第１見守り対象者の状態を推定する、
   推定方法。
5. コンピュータを、
   複数の見守り対象者のうち第１見守り対象者の部屋を撮像する第１撮像装置から第１撮像画像を取得する画像取得手段、
   前記第１見守り対象者に関するパラメータである第１パラメータを取得するパラメータ取得手段、
   前記複数の見守り対象者のそれぞれの部屋を撮像することにより得られる撮像画像と前記複数の見守り対象者のそれぞれに関するパラメータとを用いた機械学習により取得された学習済みモデルを用いて、前記画像取得手段が取得した前記第１撮像画像と前記パラメータ取得手段が取得した前記第１パラメータとから前記第１見守り対象者の状態を推定する推定手段、
   前記推定手段による推定結果を出力する出力手段、として機能させる、
   プログラム。