JP7625827B2

JP7625827B2 - ベッド領域抽出装置

Info

Publication number: JP7625827B2
Application number: JP2020182395A
Authority: JP
Inventors: 朋和小幡
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2020-10-30
Filing date: 2020-10-30
Publication date: 2025-02-04
Anticipated expiration: 2040-10-30
Also published as: JP2022072765A

Description

本開示は、ベッド領域抽出装置に関し、特に、ベッドの一部が覆い隠された状態であっても、任意の方向から当該ベッドを撮像したベッド画像からベッド領域を抽出する技術に関する。

近年、先進各国において少子高齢化が進んでおり、２０５０年にはＯＥＣＤ（Organization for Economic Co-operation and Development）諸国が超高齢化社会の到来を迎えると国際連合は予測している。我が国では、他国に先駆けて少子高齢化が進展しており、高齢者人口の増加に伴って要介護者数もまた増加してきている。その一方で、介護を担う看護師や介護士の不足が顕著になっており、適切な介護サービスを提供するための技術開発が求められている。

例えば、介護施設において、被介護者はベッドから転落したり、離床したもののベッドに戻ることができず徘徊したりする場合があるが、このような場合に備えて被介護者を見守り続けるのは介護者にとって負担が大きく、特に勤務者数が少なくなる夜間には、このような状況に十分に対処することが難しくなることもある。

このような問題に対して、ベッド上の被介護者を撮像して、得られた画像を解析することによって、被介護者の起床や離床、転落などを検出する行動検知装置が提案されている。具体的には、ベッド領域として、画像上でベッド上面の外縁を特定し、当該ベッド領域と被介護者との位置関係を判定するというものである（例えば、特許文献１を参照）。

このようにすれば、介護者は、被介護者がベッドから転落する等の特定の状況が発生した場合にだけ、その旨の通知を受けて対処すればよいので、介護者が自ら被介護者の状況を確認する場合と比較して介護負担を大幅に軽減することができる。また、被介護者の状況変化が見落とされ難くなるので、介護サービスの質を向上させることができる。

国際公開第２０１６／１９９４９５号特開２０１８－１４３３３３号公報特開２０１７－０４１０７９号公報特開２０１９－１４４９９６号公報

Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi, "You Only Look Once: Unified. Real-time Object Detection", arXiv: 1506.02640v5, 9 May 2016. Zhe Cao, Gines Hidalgo, Thomas Simon, Yaser Sheikh, "Open Pose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", arXiv: 1812.08008v2, 30 May 2019.

しかしながら、上記の従来技術においては、ベッド領域を特定するために、行動検知装置のユーザーや管理者が、あらかじめ画像上における４つのベッドコーナーの位置を、手入力によって設定する必要がある。このため、ベッド数が多い介護施設では入力の手間が大きくなり過ぎる恐れがある。また、ベッドを移動させる等した結果、被介護者を撮像するカメラとベッドとの位置関係が変動する場合には、４つのベッドコーナーの位置を再設定しなければならず、更に手間が掛かってしまう。

このような問題に対して、例えば、古典的なＨａａｒ－ｌｉｋｅ特徴量やＨｏＧ（Histogram of Gaussian）特徴量を用いた識別器や、ＦａｓｔｅｒＲ－ＣＮＮ（Regions of Convolutional Neural Networks）を用いた識別器によってベッドを検出した上で、微分フィルターやラプラシアンフィルター等の抽出方法を用いてエッジ抽出処理を行い、更に、ハフ変換などの直線検出アルゴリズムを用いてベッドの輪郭を検出する見守り支援システムが提案されている（例えば、特許文献２を参照）。

また、上記と同様の識別器を２種類用いて、それぞれベッドの足側の左右２つのコーナーを検出した上で、更に上記と同様のエッジ抽出処理および直線検出処理を実行することによって、各コーナーを起点として画像の下方向に向かって延びる線分をベッドの輪郭として検出する見守り支援システムも提案されている（同じく、特許文献２を参照）。

更に、ベッドを上方から撮像して得たグレースケール画像に対して、テンプレートマッチングの手法を適用することによって、ベッドエリアを判別する動作認識装置も提案されている（例えば、特許文献３を参照）。

また、ベッド全体が画像内に収まる位置に距離画像カメラを配置して、画素ごとに当該距離画像カメラから撮像対象までの距離を測定して、得られた距離を当該画素の画素値とする距離画像を撮像し、得られた距離画像を用いてベッド領域を抽出する装置も提案されている（例えば、特許文献４を参照）。

しかしながら、通常、ベッド上には掛布団や枕が被さっていたり、被介護者が横臥していたりするため、ベッドを撮像した画像上でベッドの外縁が隠れて見えなくなっていることが多い。このため、エッジ検出処理を行っても、ベッドの外縁をエッジとして検出することができないので、エッジ検出処理によって得られた画像を用いて直線検出処理を行っても、ベッドの輪郭を精度よく検出することは難しい。

また、上記の従来技術においては、ベッドの足側の左右２つのコーナーを検出して、当該コーナーを起点として画像の下方向に向かって延びる線分を検出する必要上、ベッドとカメラとの位置関係が固定されていることが前提になっている。このため、ベッドとカメラとの位置関係が固定されていない場合には適用できないので、このような場合にベッド領域を再設定する手間を軽減することはできない。

テンプレートマッチングの手法についても同様に、ベッドの外縁が隠れて見えなくなっている場合には、ベッドエリアを精度よく判別することが難しい。ベッドコーナーやベッドエリアを精度よく判別することができないと、例えば、被介護者が実際にはベッドから転落しているにもかかわらず、転落していないと誤判定するおそれがあり、大変危険である。

距離画像を用いる場合には、ベッド上の特定点の選択入力をユーザーから受け付けるため、ユーザーに４箇所すべてのベッドコーナーについて位置を指定させる場合と比較して、ユーザーの手間は多少軽減される。しかしながら、ベッド領域を抽出するに際して、特定点に近隣する画素どうしで画素値（距離画像カメラからの距離）が急激に変化する箇所を検出し、次に、画素値が急激に変化する箇所が直線状に分布している箇所をエッジ部分として検出する。

このため、ベッドコーナーが隠されている場合には、ベッドコーナーから外れた位置で画素値が急激に変化していることが多く、掛布団などでは画素値が急激に変化している箇所が直線状に分布していないためにエッジ部分を検出することが難しかったり、また、エッジ部分を検出できても、ベッドコーナーを精度よく抽出することができなかったりする。

また、被介護者の行動検知処理に通常のカメラを使用する場合には、別途、距離画像カメラを設置しなければならないので、高コスト化を回避することができない。

本開示は、上述のような問題に鑑みて為されたものであって、ベッドの一部が覆い隠された状態であっても、任意の方向から当該ベッドを撮像したベッド画像からベッド領域を抽出することができるベッド領域抽出装置を提供することを目的とする。

上記目的を達成するため、本開示の一形態に係るベッド領域抽出装置は、ベッドを撮像したベッド画像を取得する取得部と、前記ベッド画像からベッドコーナーの位置を４箇所検出するベッドコーナー検出部と、を備え、前記ベッドコーナー検出部は、ベッドを含む機械学習用画像と、当該機械学習用画像における４箇所のベッドコーナーの位置と、を教師データとして機械学習させたベッドコーナー識別器を用い、教師データは複数あり、
前記機械学習は、損失関数の値が小さくなるよう、複数の教師データにわたるベッドコーナーの位置の誤差を用いて、誤差逆伝播法によりベッドコーナー識別器のパラメーターを修正する処理を含み、
複数の教師データのそれぞれに含まれるベッドコーナーの位置の中心、前記ベッドのサイズ、前記ベッドを撮像したカメラのカメラパラメーターおよび前記ベッドからカメラまでの距離を用いて、ベッドコーナーの位置を算出する位置算出部を備え、前記誤差は、位置算出部が算出したベッドコーナーの位置とを目標値とした場合、複数の教師データに含まれるベットコーナーの位置のそれぞれがどれだけずれているかを示すことを特徴とする。

また、前記ベッドコーナー検出部が検出したベッドコーナーの位置を、前記ベッド画像と共に表示する位置表示手段と、ベッドコーナーの位置の修正を受け付ける位置修正手段と、を備え、前記誤差は、修正されたベッドコーナーの位置とを目標値とした場合、複数の教師データに含まれるベットコーナーの位置との差分であるのそれぞれがどれだけずれているかを示すとしてもよい。
この場合において、前記複数の教師データのうち、何れかのものに含まれる機械学習用画像は、４箇所のベッドコーナーの位置をすべて含むのが望ましい。また、前記複数の教師データのうち、何れかのものは、前記機械学習用画像として、少なくとも１箇所のベッドコーナーが隠されている画像を含むのが好ましく、前記複数の教師データのうち、何れかのものは、前記機械学習用画像として、４箇所のベッドコーナーがすべて露出した画像を含むのが好適である。

また、ベッド画像から当該ベッドを含むバウンディングボックスを検出することでベッド部分画像を抽出するベッド部分画像抽出部を備え、前記ベッドコーナー検出部は、ベッド画像のうちベッド部分画像からベッドコーナーの位置を４箇所検出してもよい

また、前記ベッド部分画像抽出部は、ベッドを含む機械学習用画像と、当該ベッドを含む範囲の指定とを教師データとして機械学習させたベッド部分画像識別器を用いて前記ベッド部分画像を抽出してもよい。

また、前記ベッド部分画像抽出部は、前記ベッド部分画像として、少なくともベッドの上面全体を含む画像を抽出してもよい。

本開示の一形態に係るベッド領域抽出装置は、ベッドを撮像したベッド画像を取得する取得部と、前記ベッド画像からベッドコーナーの位置を４箇所検出するベッドコーナー検出部と、前記ベッドコーナー検出部が検出したベッドコーナーの位置の中心、前記ベッドのサイズ、前記ベッドを撮像したカメラのカメラパラメーターおよび前記ベッドからカメラまでの距離を用いて、前記ベッドコーナー検出部が検出したベッドコーナーの位置が適切かどうかを判定する位置判定部を備えてもよい。

この場合において、前記位置判定部は、ベッドコーナーの位置が適切でないと判定した場合に、ベッドコーナーの位置の入力を受け付ける位置取得手段を備えるのが望ましい。

また、前記ベッドコーナー検出部が検出したベッドコーナーの位置の中心、前記ベッドのサイズ、前記ベッドを撮像したカメラのカメラパラメーターおよび前記ベッドからカメラまでの距離を用いて、ベッドコーナーの位置を算出する位置算出部を備え、位置判定部が、ベッドコーナーの位置が適切でないと判定した場合に、前記ベッドコーナー検出部は、ベッドコーナー識別器が検出した位置に代えて、位置算出部が算出した位置をベッドコーナーの位置としてもよい。

また、前記ベッドコーナー検出部が検出したベッドコーナーの位置を記憶する位置記憶部と、前記ベッドコーナー検出部が、過去に検出したベッドコーナーの位置と、検出部が新たに検出したベッドコーナーの位置と比較して、所定以上異なっているかどうかを判定するずれ判定手段と、を備えてもよい。

このようにすれば、ベッドを含む機械学習用画像と、当該機械学主要画像における４箇所のベッドコーナーの位置と、を教師データとして機械学習させたベッドコーナー識別を用いるので、人物や掛布団などによってベッドコーナーがかくされていても、精度よくベッド領域を抽出することができる。

見守り支援システムＭＳの主要なシステム構成を示す図である。見守り対象者Ｏｂが滞在する居室ＲＭの様子を例示する図である。センサーボックスＳＢの主要な機能構成を示す図である。（ａ）は、見守り対象者Ｏｂが滞在していない状態でベッド２０を撮像した背景画像を例示し、（ｂ）は、見守り対象者Ｏｂが滞在している状態でベッド２０を撮像した入力画像を例示し、（ｃ）は、入力画像から背景画像を差分した背景差分画像を例示する。管理サーバーＳＶの主要な機能構成を示す図である。管理サーバーＳＶが実行するベッド領域抽出処理を説明するフローチャートである。（ａ）は、ベッド画像を例示する図であり、（ｂ）は、ベッド画像から検出したベッド部分画像を例示する図であり、（ｃ）は、ベッド部分画像から検出したベッドコーナー位置を例示する図であり、（ｄ）は、目視確認用の画面表示を例示する図である。（ａ）は、掛布団８０１でベッドコーナー８２１、８２２が隠されているベッド画像の主要部分を例示する図であり、（ｂ）は、フットボード８３１を備えたベッド２０における掛布団８４１の状態を例示する図である。センサーボックスＳＢとベッド２０との組み合わせ毎に、領域設定記憶部２２３が記憶する領域設定テーブルを例示する図である。ベッドコーナー識別器の機械学習の手順を説明するフローチャートである。（ａ）は、ベッド２０の上方から撮像したベッド画像を例示する図であり、（ｂ）は、側方からベッド２０を俯瞰して撮像したベッド画像を例示する図であり、（ｃ）は足元側からベッド２０を俯瞰して撮像したベッド画像を例示する図である。変形可能なベッド２０とそのベッドコーナー４１Ａ、４１Ｂ、４１Ｃ、４１Ｄを例示する外観斜視図である。（ａ）は、畳み込みニューラルネットワーク１３００の構成を説明する図であり、（ｂ）は、畳み込みニューラルネットワーク１３００の出力層１３０２の構成を説明する図である。

以下、本開示に係るベッド領域抽出装置、ベッド領域抽出方法、ベッド領域抽出プログラムおよび見守り支援システムの実施の形態について、図面を参照しながら説明する。
［１］見守り支援システムの構成
まず、本実施の形態に係る見守り支援システムの構成について説明する。

見守り支援システムＭＳは、介護施設において介護士が被介護者を見守るのを支援するためのシステムであって、図１に示すように、各見守り対象者Ｏｂの居室ＲＭ、ナースステーションＳＴおよび各介護士ＮＳに配備された携帯端末ＴＡを通信ネットワークＮＷにて相互通信可能に接続した構成になっている。
（１－１）センサーボックスＳＢ
見守り対象者Ｏｂ（Ob-1: Aさん～SB-4: Dさん）の居室ＲＭ（RM-1～RM-4）には、それぞれセンサーボックスＳＢ（SB-1～SB-4）が配設されている。センサーボックスＳＢは、図２に示すように、ベッド２０上の見守り対象者Ｏｂを見守ることができるように居室ＲＭの天井や壁面などに設置されている。図３に示すように、センサーボックスＳＢは、センサー部１１、ＳＢ音声入出力部１２と、ナースコール入力部１３と、ＳＢ制御処理部１４と、ＳＢ通信ＩＦ（Interface）部１５と、ＳＢ記憶部１６とを備える。

センサー部１１は、カメラを備え、ＳＢ制御処理部１４の制御の下、ベッド２０を含む居室ＲＭ内の空間を撮像する。見守り対象者Ｏｂは、ベッド２０上にいる場合や、ベッド２０の近傍にいる場合には、併せて撮像される。これによって、センサー部１１はベッド２０の上面を俯瞰した画像（以下、「ベッド画像」という。）を生成する。見守り対象者Ｏｂ全体を撮像できる蓋然性が高いことから、カメラは、ベッド２０に見守り対象者Ｏｂが横臥（臥床）したときの頭部位置（通常、枕の位置）の直上に配設するのが望ましい。

カメラとしては、見守り対象者Ｏｂの就寝時にも見守りを実施する必要上、消灯時の少ない光量でも鮮明なベッド画像を得ることができる高感度のカメラを用いるのが望ましい。また、赤外線カメラを用いても消灯時に見守り対象者Ｏｂを撮像することができる。また、カメラの光学系は、居室ＲＭ内のできるだけ広い範囲を撮像するために、広角な光学系（いわゆる広角レンズ（魚眼レンズを含む））であることが好ましい。

ＳＢ通信ＩＦ部１５は、ＳＢ制御処理部１４が通信ネットワークＮＷを経由して、後述する管理サーバーＳＶや携帯端末ＴＡ、固定端末装置ＳＰと相互に通信するための処理を実行する。ＳＢ通信ＩＦ部１５は、さらに、例えば、携帯電話通信網、ＷｉＦｉ規格、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格、ＩｒＤＡ（Infrared Data Association）規格およびＵＳＢ（Universal Serial Bus）規格等の規格を用い、外部機器との間でデータの入出力を行うインターフェイスを備えても良い。

ＳＢ記憶部１６は、ＳＢ制御処理部１４に接続され、ＳＢ制御処理部１４の制御に従って、各種のプログラムおよび各種のデータを記憶する。前記各種のプログラムには、例えば、見守り対象者Ｏｂに対する監視に関する情報処理を実行する監視処理プログラム等が含まれる。前記監視処理プログラムには、所定の事象が生じた場合に外部に通知する通知処理プログラムが含まれる。前記各種のデータには、カメラで撮像したベッド画像の画像データや各種のプログラムを実行する上で必要なデータ、見守り対象者Ｏｂを監視する上で必要なデータ等が含まれる。

ＳＢ記憶部１６は、例えば不揮発性の記憶素子であるＲＯＭ（Read Only Memory）や書き換え可能な不揮発性の記憶素子であるＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等を備える。そして、ＳＢ記憶部１６は、前記プログラムの実行中に生じるデータ等を記憶するいわゆるＳＢ制御処理部１４のワーキングメモリとなるＲＡＭ（Random Access Memory）等を含む。

ＳＢ制御処理部１４は、見守り対象者Ｏｂの行動を検知する。ＳＢ制御処理部１４は、例えば、ＣＰＵ（Central Processing Unit）およびその周辺回路から構成される。ＳＢ制御処理部１４は、各種のプログラムを実行することによって、ＳＢ制御部１４１、領域設定処理部１４２、行動検知処理部１４３および通知処理部１４４といった機能を果たす。

ＳＢ制御部１４１は、センサーボックスＳＢ全体の動作を監視制御する。

領域設定処理部１４２は、センサー部１１が撮像したベッド画像におけるベッド２０の上面の範囲（ベッド領域）を特定するための処理を実行する。具体的には、後述する管理サーバーＳＶからの要求に応じて、センサー部１１にベッド画像を撮像させ、得られたベッド画像を管理サーバーＳＶへ通信ネットワークＮＷを経由して送信する。

その後、ＳＢ制御部１４１は、管理サーバーＳＶからベッド領域としてベッド画像における４箇所のベッドコーナーの位置（座標値）を受信すると、受信したベッドコーナーの位置を領域設定として、ＳＢ記憶部１６の領域設定記憶部１６１に記憶させる。領域設定記憶部１６１に記憶した領域設定は、次に説明する行動検知処理部１４３が見守り対象者Ｏｂの行動を検知するために用いられる。

本実施の形態においては、ベッド領域を、ベッド２０の４箇所の角部分（ベッドコーナー）によって特定する。ベッド２０の上面は矩形状であり、４箇所のベッドコーナーを特定すれば、ベッド２０の上面の縁を特定することができるので、ベッド２０の上面全体の形状を指定することができる。

行動検知処理部１４３は、センサー部１１の出力に基づいて見守り対象者Ｏｂの行動、特に起床、離床、転倒および転落を検知して、通知処理部１４４へ通知する。行動検知処理部１４３は、センサー部１１のカメラによって撮像したベッド画像から見守り対象者Ｏｂが写っている範囲として動体領域を抽出し、得られた動体領域の縦横比から見守り対象者Ｏｂの姿勢（例えば立位、座位および横臥等）を検出するとともに、動体領域の位置から見守り対象者Ｏｂの位置を検出することによって、見守り対象者Ｏｂの状態を判断する。

例えば、図４（ａ）に例示するように、行動検知処理部１４３は、センサー部１１にて、見守り対象者Ｏｂが写っていない背景画像３０Ａを予め取得しておく。その後、行動検知処理部１４３は、図４（ｂ）に例示するように、センサー部１１から入力画像３０Ｂを取得すると、入力画像３０Ｂから背景画像３０Ａを差分した背景差分画像３０Ｃを生成する。

入力画像３０Ｂのうち見守り対象者Ｏｂ以外の部分は背景画像３０Ａと画素値が概ね同様であるので、背景差分画像３０Ｃにおいて見守り対象者Ｏｂ以外の部分は画素値が小さくなる。一方、見守り対象者Ｏｂの部分については、背景画像３０Ａと入力画像３０Ｂとの間で画素値の差が大きくなるので、図４（ｃ）に例示するように、背景差分画像３０Ｃは見守り対象者Ｏｂの部分のみ画素値が大きくなる。

従って、適当な閾値を設定し、背景差分画像３０Ｃにおいて画素値が閾値よりも大きな領域を検出すれば、見守り対象者Ｏｂの部分すなわち動体領域７０を検出することができる。したがって、動体領域７０の縦横比から見守り対象者Ｏｂの姿勢を検出したり、動体領域７０の位置から見守り対象者Ｏｂの位置を検出したりすることができる。

更に、ベッドコーナー４１Ａ、４１Ｂ、４１Ｃおよび４１Ｄで規定されるベッド領域４０と、動体領域７０とを比較することによって、見守り対象者Ｏｂの行動を判断することができる。図４の例では、動体領域７０の上部Ｓ２がベッド領域４０内にあり、下部Ｓ１がベッド領域４０外にあるので、見守り対象者Ｏｂはベッド２０の端に腰を掛けていることが分かる。

なお、他の方法を用いて動体領域７０を検出してもよいことは言うまでもない。

行動検知処理部１４３は、更に、見守り対象者Ｏｂの位置がベッド２０上であって、見守り対象者Ｏｂの姿勢が横臥から座位へ移行した場合には、見守り対象者Ｏｂが起床したと判断する。また、見守り対象者Ｏｂの位置がベッド２０上からベッド２０外へ移動するとともに、見守り対象者Ｏｂの姿勢が座位から立位へ移行した場合には、見守り対象者Ｏｂが離床したと判断する。

また、見守り対象者Ｏｂの位置がベッド２０上からベッド２０外へ移動するとともに、見守り対象者Ｏｂの姿勢が横臥へ移行した場合には、見守り対象者Ｏｂがベッド２０から転落したと判断する。更に、見守り対象者Ｏｂの位置がベッド２０外であるとともに、見守り対象者Ｏｂの姿勢が横臥へ移行した場合には、見守り対象者Ｏｂが転倒したと判断する。

行動検知処理部１４３は、見守り対象者Ｏｂ毎に日常行動を記憶しておき、見守り対象者Ｏｂが日常行動とは異なる行動をとった場合には、携帯端末ＴＡにその旨を通知するようにしても良い。また、日常行動以外に、認知症による行動等、あらかじめ設定した特定の行動をとった場合にも、当該通知を行ってもよい。

通知処理部１４４は、行動検知処理部１４３が見守り対象者Ｏｂの起床、離床、転落および転倒といった所定の行動を検知した場合に、その旨を他の装置、例えば携帯端末ＴＡに通知するための処理を実行する。携帯端末ＴＡへの通知は、センサーボックスＳＢから直接行ってもよいし、管理サーバーＳＶを経由してもよい。直接通知する場合には、センサーボックスＳＢが通知先となる携帯端末ＴＡを選択する。

また、管理サーバーＳＶを経由する場合には、管理サーバーＳＶが通知先となる携帯端末ＴＡを選択する。通知先としては、見守り対象者Ｏｂや居室ＲＭごとに割り当てられた介護士ＮＳに配布された携帯端末ＴＡを選択してもよいし、介護士ＮＳの勤務予定（シフトスケジュール）を参酌してもよい。また、固定端末装置ＳＰへ通知を行ってもよい。

携帯端末ＴＡへの通知内容には、見守り対象者Ｏｂがとった行動の種別と、当該行動を検知したセンサーボックスＳＢおよびベッド２０の識別子とが通知される。更に、入力画像３０Ｂから見守り対象者Ｏｂを特定して、見守り対象者Ｏｂの識別子を通知してもよい。

通知処理部１４４は、センサー部１１が撮像したベッド画像を送信してもよい。ベッド画像の送信は、例えば、携帯端末ＴＡや管理サーバーＳＶ等、他の装置からの要求に応じて送信してもよいし、見守り対象者Ｏｂの行動を検知した場合に、その旨の通知とともに送信してもよい。
（１－２）管理サーバーＳＶおよび固定端末装置ＳＰ
ナースステーションＳＴには、管理サーバーＳＶおよび固定端末装置ＳＰが配設されている。

管理サーバーＳＶは、図５に示すように、ＳＶ制御処理部２１、ＳＶ記憶部２２およびＳＶ通信ＩＦ部２３を備える。

ＳＶ通信ＩＦ部２３は、管理サーバーＳＶが通信ネットワークＮＷを経由してセンサーボックスＳＢや携帯端末ＴＡ、固定端末装置ＳＰ等、他の装置と通信するための処理を実行する。

ＳＶ記憶部２２は、ＳＶ制御処理部２１の制御の下、各種のプログラムおよび各種のデータを記憶する。前記各種のプログラムには、例えば、センサーボックスＳＢからベッド画像の画像データを受け付けると、当該画像データに含まれているベッド領域４０を抽出して、生成した領域設定をセンサーボックスＳＢに返信するベッド領域抽出プログラム等が含まれる。

前記各種のデータには、センサーボックスＳＢから受け付けたベッド画像の画像データ、当該画像データからベッド領域４０を抽出して生成した領域設定、当該領域設定を生成するためにベッド領域抽出プログラムが用いるパラメーター等が含まれる。ＳＶ記憶部２２は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）といったストレージを含む。

ＳＶ記憶部２２は、パラメーター記憶部２２１、画像データ記憶部２２２、領域設定記憶部２２３を備える。パラメーター記憶部２２１は、領域抽出プログラムが画像データから領域設定を生成するために用いるパラメーターを記憶する。本実施の形態に係る領域抽出プログラムは、ニューラルネットワークを用いて画像データから領域設定を生成するため、パラメーター記憶部２２１はニューラルネットワークのパラメーターを記憶する。

言うまでもなく、領域抽出プログラムはニューラルネットワーク以外の手法を用いて画像データから領域設定を生成してもよく、ニューラルネットワーク以外の機械学習させた識別器を用いて当該領域設定を生成してもよい。

画像データ記憶部２２２は、センサーボックスＳＢから受け付けたベッド画像の画像データを記憶し、領域設定記憶部２２３は、当該画像データから生成した領域設定を記憶する。画像データ記憶部２２２が記憶する画像データと、領域設定記憶部２２３が記憶する領域設定は、領域抽出プログラムが用いるニューラルネットワークの教師データとして機械学習に用いる。また、領域設定記憶部２２３が記憶する領域設定は、後述するベッド２０のズレ検出にも用いる。

ＳＶ制御処理部２１は、センサーボックスＳＢからベッド画像の画像データを受け付けて、当該画像データから生成した領域設定を当該センサーボックスＳＢへ返信する。ＳＶ制御処理部２１は、例えば、ＣＰＵおよびその周辺回路を備えており、ＳＶ記憶部から読み出した各種のプログラムを実行する。これによって、ＳＶ制御処理部２１は、ＳＶ制御部２１１、ベッド領域抽出部２１２およびパラメーター更新部２１３の各機能を実現する。

ＳＶ制御部２１１は、管理サーバーＳＶの全体制御を司る。管理サーバーＳＶは、必要に応じて、ＳＶ入力部２４、ＳＶ出力部２５およびＳＶＩＦ部２６が接続される。ＳＶ入力部２４は、例えば各種コマンドや各種データ等の入力を受け付ける。ＳＶ出力部２５は、ＳＶ入力部２４の操作者に対して各種の情報を出力する。また、ＳＶＩＦ部２６は、他の装置との間で各種の情報を送受信するためのインターフェイスである。

ベッド領域抽出部２１２は、センサーボックスＳＢからベッド画像の画像データを受け付けると、ベッド領域抽出プログラムを実行することによって、当該画像データから領域設定を生成する。本実施の形態においては、領域設定として、ベッド２０上面における４点のベッドコーナーを抽出する。

パラメーター更新部２１３は、センサーボックスＳＢから受け付けたベッド画像の画像データと、当該画像データから生成した領域設定とを教師データとして、ベッド領域抽出プログラムが用いるニューラルネットワークの機械学習を実行して、当該ニューラルネットワークのパラメーターを生成する。

固定端末装置ＳＰは、例えば、パーソナルコンピューターであって、見守り支援システムＭＳのユーザインターフェイス（ＵＩ）として機能する。固定端末装置ＳＰは、センサーボックスＳＢが設置された全ての居室において、センサーボックスＳＢの機能を通じて居室内の状態を把握できるようになっていると好ましい。
（１－３）携帯端末ＴＡ
携帯端末ＴＡ（TA-1, TA-2）は、例えば、タブレット型コンピューターやスマートフォン、携帯電話機等の、持ち運び可能な通信端末装置であって、各介護士ＮＳ（NS-1: NAさん, NS-2: NBさん）に配布される。

携帯端末ＴＡは、アクセスポイントＡＰを経由する無線通信によってネットワークＮＷにアクセスし、センサーボックスＳＢや管理サーバーＳＶと通信する。この通信によって、携帯端末ＴＡは、見守り対象者Ｏｂの行動に関する通知を受け取る。携帯端末ＴＡは、タッチパネルやスピーカー等のユーザーインターフェイスを備えており、受け付けた通知に応じた画面表示を行ったり、音声出力を行ったりすることができる。

見守り対象者Ｏｂの行動に関する通知は、センサーボックスＳＢから携帯端末ＴＡへ直接送信してもよいし、センサーボックスＳＢから一旦、管理サーバーＳＶへ送信した後、管理サーバーＳＶから携帯端末ＴＡへ送信してもよい。管理サーバーＳＶが通知を中継する場合には、管理サーバーＳＶに介護士の勤務状況、介護士ごとにどの携帯端末ＴＡを携帯しているか、どの見守り対象者Ｏｂを担当しているか登録しておき、これらの登録情報に応じて通知先の携帯端末ＴＡを決定してもよい。

また、携帯端末ＴＡに、ＧＰＳ（Global Positioning System）など位置情報を取得する手段を搭載し、携帯端末ＴＡの位置を管理サーバーＳＶに管理させておき、見守り対象者Ｏｂがベッド２０から転落したり、転倒したりした場合など急を要する場合には、当該見守り対象者Ｏｂから最も近い位置にある携帯端末ＴＡへ通知を行ってもよい。
［２］ベッド領域４０の抽出動作
上述のように、見守り対象者Ｏｂの行動を検知するためには、あらかじめベッド領域（ベッド２０の上面の範囲）４０を抽出しておく必要がある。このため、管理サーバーＳＶを構成するＳＶ制御処理部２１のベッド領域抽出部２１２は、センサーボックスＳＢのセンサー部１１で撮像したベッド画像の画像データを取得する。画像データを取得する時期は、定期的であってもよいし、管理サーバーＳＶのユーザーインターフェイス（ＳＶ入力部２４）にて指示を受け付けてもよい。また、介護士ＮＳが携帯端末ＴＡを用いて指示してもよい。

本実施の形態においては、センサー部１１は、ベッド２０全体およびベッド２０の周辺を俯瞰するように撮像する。センサー部１１がベッド２０および見守り対象者Ｏｂを撮像する方向は、少なくともベッド領域４０が写っていればよく、俯瞰には限定されない。例えば、複数人の見守り対象者Ｏｂがひとつの居室ＲＭを共用している場合、当該居室ＲＭには少なくとも見守り対象者Ｏｂの人数分のベッド２０が設置され、人数分以上の数のベッド２０が設置される場合には、見守り対象者Ｏｂ数を超える分が空きベッドになる。

一台のセンサーボックスＳＢで複数の見守り対象者Ｏｂの行動を検知する場合には、一回の撮像で居室ＲＭ内のすべてのベッド２０が写り込むように、センサー部１１の撮像角度を調整してもよい。センサー部１１やベッド２０の配置から、一回の撮像で居室ＲＭ内のすべてのベッド２０を撮像することが難しい場合には、ベッド２０毎に撮像角度を変更して撮像してもよい。この場合には、空きベッド２０を撮像対象から除外してもよいのは言うまでもない。

また、全方位カメラを用いれば、撮像角度を変更することなくすべてのベッド２０を撮像することができる。この場合には、全方位撮影したベッド画像７０１からベッド２０毎にベッド部分画像７０２を生成するだけでなく、ベッド部分画像７０２の歪みによってベッド領域抽出処理や行動検知処理が悪い影響を受けないように、ベッド部分画像７０２に座標変換処理を施して、ベッド部分画像７０２の歪みを補正するのが望ましい。

ベッド領域抽出部２１２は、図６に示すように、センサーボックスＳＢからベッド画像の画像を取得すると（Ｓ６０１）、ベッド画像からベッド２０を含む部分を切り抜いてベッド部分画像を取得する（Ｓ６０２）。図７（ａ）に例示するようなベッド画像７０１を取得した場合には、図７（ｂ）に例示するようなベッド部分画像７０２を取得する。

ベッド画像７０１からベッド部分画像７０２を取得するベッド部分画像識別器として、例えば、ＹＯＬＯ（You Only Look Once。非特許文献１を参照）を用いて、ベッド画像７０１を入力データとして、ベッド２０を含むバウンディングボックスを検出し、当該バウンディングボックスをベッド部分画像７０２としてもよい。ベッド部分画像識別器としてＹＯＬＯを用いる場合には、ベッド部分画像識別器の機械学習もまたＹＯＬＯの機械学習に準じる。なお、ベッド部分画像識別器は、言うまでもないが、ＹＯＬＯ以外の機械学習モデルを用いてベッド部分画像７０２を取得してもよい。

ベッド部分画像７０２を取得すれば、ベッド画像７０１全体から直接、ベッド２０のベッドコーナーの位置を検出する場合と比較して、ベッド部分画像７０２の外部の画像オブジェクトによる影響を免れることができるので、ベッドコーナーの位置の検出精度を向上させることができる。また、ベッドコーナーの位置を検出するための処理負荷を軽減することもできる。

次に、ベッド部分画像７０２に含まれているベッド２０の４箇所のベッドコーナーの位置を検出する（Ｓ６０３）。ベッドコーナーの位置を検出するベッドコーナー識別器として、例えば、畳み込みニューラルネットワーク（CNN: Convolutional Neural Network）を用いることができる。この場合には、ベッド部分画像７０２を入力して、４箇所のベッドコーナーの位置（座標）を出力させる。

また、畳み込みニューラルネットワーク以外の機械学習モデルを用いてベッドコーナーの位置を検出してもよいが、ベッドコーナー近傍だけでなく、少なくとも４箇所のベッドコーナーの位置を含むベッド領域全体の特徴からベッドコーナーの位置を検出するのが望ましい。

上述の従来技術（特許文献１）の図７に記載されているように、ベッド２０の一部しか含んでいない検出ウィンドウ７０を参照して、ベッドコーナー毎に個別に識別器を用いて検出する場合には、ベッド２０全体の特徴を利用することができないので、当該部分が見守り対象者Ｏｂや掛布団などによって覆い隠されると、ベッドコーナーを検出することが難しくなったり、誤検出が生じたりせざるを得ない。

ベッド２０の足元側は掛布団が掛かって覆い隠されていることが殆どであり、図８（ａ）に例示するように、掛布団８０１には厚みがあり、掛布団８０１のコーナー部分８１１、８１２の曲率が小さいため、掛布団のコーナー部分８１１、８１２を特定することがそもそも難しい。コーナー部分８１１、８１２の局所的な特徴のみを参照してコーナーを検出しようとすると、掛布団８０１のコーナー部分８１１、８１２の検出に失敗する可能性が高く、仮に掛布団８０１のコーナー部分８１１、８１２を検出できたとしても、ベッドコーナー８２１、８２２に近い位置になっている保証はない。

また、図８（ｂ）に例示するように、ベッド２０にフットボード８３１が設けられている場合には、フットボード８３１に押し付けられた掛布団８４１が側方（矢印Ａ方向）へ大きくはみ出すことが多く、このような場合には、更にベッドコーナー８５１、８５２から遠い位置にある掛布団８４１のコーナー部分をベッドコーナー８５１、８５２と誤検出してしまうおそれがある。

一方、本実施の形態においては、ベッド部分画像７０２の全体に亘って抽出した特徴量から４箇所のベッドコーナーを検出するので、ベッドコーナーが見守り対象者Ｏｂや掛布団などによって隠されていても、また、フットボード等によって掛布団の掛かり方が変化したとしても、ベッドコーナーを精度よく検出することができる。

ベッド部分画像７０２には、図８（ａ）に示すサイドレール８６１、８６２や、図８（ｂ）に示すフットボード８３１のように、ベッドコーナーとの位置関係が変化し難い部分も含まれている。ベッド部分画像７０２の全体に亘って特徴量を抽出すれば、ベッド２０の構造上、サイドレール８６１、８６２やフットボード８３１のように、ベッドコーナーとの空間的な（三次元の）位置関係が変化し難い部分の特徴を参酌して、ベッドコーナーを検出することができる。この意味において、ベッドコーナーの検出精度を向上させることができる。

また、さまざまな方向からベッド２０を撮像したベッド画像を教師データとして畳み込みニューラルネットワークを機械学習させれば、畳み込みニューラルネットワークは汎化能力を有しているので、ベッド２０を撮像する方向が特定の方向に限定されることなく、ベッド領域を抽出することができる。

その後、畳み込みニューラルネットワークを用いて得られたベッド部分画像７０２におけるベッドコーナーの座標値を、ベッド画像７０１における座標値に変換する。

次に、ステップＳ６０３で検出したベッドコーナーの位置が適切かどうかを確認する（Ｓ６０４）。本実施の形態においては、まず、ステップＳ６０３で検出した４箇所のベッドコーナーの中心位置を算出する。次に、ベッド２０のサイズと、センサー部１１のカメラのカメラパラメーターと、センサー部１１のカメラの中心からベッド２０までの距離と、を取得して、先に算出したベッドコーナーの中心位置に対するベッドコーナーの位置を算出する。

このようにして算出したベッドコーナーの位置と、ステップＳ６０３で検出したベッドコーナーの位置とを比較して、当該検出したベッドコーナーの位置が適切かどうかを確認する。

ベッドコーナーの位置が適切でなく、修正が必要であると判断した場合には（Ｓ６０５：ＹＥＳ）、修正が必要であると判断したベッドコーナーまたは４箇所すべてのベッドコーナーについて、ステップＳ６０３で検出した位置に代えて、ステップＳ６０４で算出した位置を採用する修正を行う（Ｓ６０６）。

ベッドコーナーの位置が適切であり、修正する必要はないと判断した場合（Ｓ６０５：ＮＯ）、並びにステップＳ６０６の処理を完了した後、管理サーバーＳＶのＳＶ記憶部２２の領域設定記憶部２２３を参照して、前回設定したベッドコーナーの位置を読み出す。見守り対象者Ｏｂの居室ＲＭには複数のベッド２０が配置され得るので、領域設定記憶部２２３には、図９に示すように、センサーボックスＳＢが撮像するベッド２０毎に領域設定として４箇所のベッドコーナーのＸ座標とＹ座標とを設定日時ごとに格納した領域設定テーブル９が記録されている。

なお、領域設定テーブル９のＩＤ欄は、４箇所のベッドコーナーの座標値と、画像データ記憶部２２２に記憶されているベッド部分画像７０２とを対応付けるための識別子であり、後述するベッドコーナー識別器の機械学習の際に参照される。

センサーボックスＳＢとベッド２０との組み合わせを指定して、領域設定記憶部２２３から前回設定したベッドコーナーの位置を読み出したら、今回抽出したベッドコーナーの位置と比較し、ベッドコーナーの位置が所定の閾値以上ずれている場合には、ベッドコーナーの位置のズレを検出したと判断する。前回設定したベッドコーナーの位置が領域設定記憶部２２３に記憶されていない場合も、ベッドコーナーの位置のズレを検出したと判断する。

ベッドコーナーの位置のズレが検出されなかった場合は（Ｓ６０７：ＮＯ）、ベッド領域は元のままであり、新たにベッド領域を設定する必要は無いので、そのまま処理を終了する。

ベッドコーナーの位置のズレを検出した場合には（Ｓ６０７：ＹＥＳ）、ベッド画像７０１にベッドコーナーの位置を表すアイコンを重ね合わせた画像表示を行って目視確認を行わせる（Ｓ６０８）。図７（ｄ）に例示する画面表示７０３では、ベッド画像７０１に重ね合わせて十字型のアイコンを表示することによって、４箇所のベッドコーナー４１Ａ、４１Ｂ、４１Ｃ、４１Ｄの位置が示されている。ベッドコーナー４１Ａ、４１Ｂ、４１Ｃ、４１Ｄの位置を表すアイコンが十字型に限定されないのは言うまでもなく、他の形状のアイコンを用いてベッドコーナー４１Ａ、４１Ｂ、４１Ｃ、４１Ｄの位置を表してもよい。

ベッドコーナー４１Ａ、４１Ｂ、４１Ｃ、４１Ｄの位置を示す十字型のアイコンは、マウス操作やタッチ操作によって移動させることができるようになっている。確認者は、ベッドコーナー４１Ａ、４１Ｂ、４１Ｃ、４１Ｄの位置が正しいと判断した場合には、そのままＯＫボタン７０４を操作して、その旨の入力を行う。

一方、ベッドコーナー４１Ａ、４１Ｂ、４１Ｃ、４１Ｄの位置が正しくないと判断した場合には、十字型のアイコンを正しい位置に移動させた後、修正ボタン７０５を操作して、修正すべき旨の入力を行う。

画面表示は、管理サーバーＳＶのＳＶ出力部２５を用いて行ってもよいし、固定端末装置ＳＰを用いて行ってもよい。また、介護士が所持する携帯端末ＴＡを用いて画面表示を行ってもよい。どの機器を用いて目視確認を行うかは、あらかじめ管理サーバーＳＶに設定してもよい。また、固定端末装置ＳＰや携帯端末ＴＡからセンサーボックスＳＢおよびその配下のベッド２０を指定して管理サーバーＳＶにベッド領域の抽出処理を要求してもよく、そのような場合には、要求元の固定端末装置ＳＰや携帯端末ＴＡにて目視確認を行うのが望ましい。

目視確認の結果、新たに検出したベッドコーナーの位置を採用しない場合には（Ｓ６０９：ＮＯ）、ベッドコーナーの位置の再設定を受け付ける（Ｓ６１０）。再設定の受け付けは、目視確認のために画面表示に管理サーバーＳＶのＳＶ出力部２５を用いた場合には管理サーバーＳＶのＳＶ入力部２４を用いればよい。同様に、目視確認のための画面表示を固定端末装置ＳＰ（または携帯端末ＴＡ）で行ったら、再設定の受け付けも固定端末装置ＳＰ（または携帯端末ＴＡ）で行うのが望ましい。

目視確認の結果、新たに検出したベッドコーナーの位置を採用する場合には（Ｓ６０９：ＹＥＳ）、採用したベッドコーナーの位置をセンサーボックスＳＢに通知し、ステップＳ６１０でベッドコーナーの位置の再設定を受け付けたら、再設定を受け付けたベッドコーナーの位置をセンサーボックスＳＢに通知する（Ｓ６１１）。ベッドコーナーの位置を通知されたセンサーボックスＳＢは、ＳＢ記憶部１６の領域設定記憶部２２３にベッドコーナーの位置を記憶して、その後の見守り対象者Ｏｂの行動検知処理に使用する。

管理サーバーＳＶは、更に、センサーボックスＳＢから受け付けたベッド画像７０１の画像データと、当該ベッド画像７０１から取得したベッド部分画像７０２と、をＳＶ記憶部２２の画像データ記憶部２２１に記憶するとともに、当該ベッド画像およびベッド部分画像に対応付けて、ベッドコーナーの位置を領域設定記憶部２２３に記憶して（Ｓ６１２）、処理を終了する。記憶した画像データおよびベッドコーナーの位置は、ベッド部分画像識別器およびベッドコーナー識別器の機械学習に用いる。

ベッド部分画像識別器の機械学習においては、教師データとして、ベッド画像７０１と、当該ベッド画像から取得すべきベッド部分画像７０２の中心座標、幅および高さと、ベッド２０を表す物体の種別とを用いる。ベッド画像７０１はセンサーボックスＳＢから受け付けたベッド画像を用いてもよいし、ベッドを撮像した他の画像を用いてもよい。

ベッドコーナー識別器の機械学習においては、管理サーバーＳＶのＳＶ制御処理部２１のパラメーター更新部２１３にて、図１０に示すように、まずベッドコーナー識別器のパラメーターを修正する回数を表す作業用変数ｅｐｏｃｈを０に初期化し（Ｓ１００１）、更に教師データの識別番号を表す作業用変数ｉと、ベッドコーナー識別器に教師データを入力して算出した誤差の合計値Ｓと、をいずれも０に初期化する（Ｓ１００２）。

次に、ｉ番目の教師データのうち機械学習用の画像データとして、管理サーバーＳＶのＳＶ記憶部２２の画像データ記憶部２２２からｉ番目のベッド部分画像の画像データを読み出すとともに、当該ｉ番目のベッド部分画像に対応するｉ番目のベッドコーナーの位置を領域設定記憶部２２３から読み出す（Ｓ１００３）。

読み出したベッド部分画像の画像データをベッドコーナー識別器に入力し、ベッドコーナーの位置を算出する（Ｓ１００４）。この場合において、ベッドコーナー識別器には、管理サーバーＳＶのＳＶ記憶部２２のパラメーター記憶部２２１から読み出した現在のパラメーターを用いる。このようにして算出したベッドコーナーの位置と、領域設定記憶部２２３から読み出したベッドコーナーの位置（目標値）と、の誤差δを求めて（Ｓ１００５）、得られた誤差δを誤差の合計値Ｓに加算する（Ｓ１００６）。

その後、作業用変数ｉの値を１だけ増加させて（Ｓ１００７）、機械学習に用いる教師データの総数Ｎｄと作業用変数ｉとを比較して、作業用変数ｉが教師データの総数Ｎｄよりも小さい場合には（Ｓ１００８：ＹＥＳ）、ステップＳ１００３へ進んで、次の教師データ（ｉ番目の教師データ）を用いた場合の誤差δを求め、誤差の合計値Ｓに加算する処理を実行する。

作業用変数ｉが教師データの総数Ｎｄに達した場合には（Ｓ１００８：ＮＯ）、誤差の合計値Ｓを用いた誤差逆伝播法によってベッドコーナー識別器のパラメーターを修正する（Ｓ１００９）。この場合において、誤差の合計値Ｓを参照して、損失関数の値が小さくなるように、ベッドコーナー識別器のパラメーターが修正される。

その後、作業用変数ｅｐｏｃｈの値を１だけ増加させて（Ｓ１０１０）、ベッドコーナー識別器のパラメーターを修正する回数（学習回数）Ｎｅと比較して、作業用変数ｅｐｏｃｈが修正回数Ｎｅよりも小さい場合には（Ｓ１０１１：ＹＥＳ）、ステップＳ１００２へ進んで、ベッドコーナー識別器のパラメーターを更に修正するために、再び教師データを読み出す。

作業用変数ｅｐｏｃｈが修正回数Ｎｅに達した場合には（Ｓ１０１１：ＮＯ）、ベッドコーナー識別器の機械学習を終了する。

ベッドコーナー識別器の機械学習においては、見守り対象者Ｏｂや掛布団、枕などによって１箇所以上のベッドコーナーが隠れているベッド部分画像でも、ベッドコーナーの位置を検出できるようにするために、ベッドコーナーが隠れているベッド部分画像を教師データに含めるのが望ましい。

また、ベッドコーナーが４箇所とも露出しているベッド部分画像を教師データに用いることもできる。ベッドコーナーが隠れているか露出しているかに関係なく、ベッドコーナーとして検出すべき位置が４箇所とも含まれているベッド部分画像を教師データとするのが望ましい。この場合には、ベッド２０の上面全体がベッド部分画像に含まれていることになる。

また、居室ＲＭによって、センサーボックスＳＢのセンサー部１１のカメラの配置に制約が生じる等して、ベッド２０の撮像方向が異なり得る。このため、教師データについても、様々な方向からベッド２０を撮像したベッド部分画像を用いるのが望ましい。例えば、図１１（ａ）に示すように上方から撮像したベッド画像１１０１から取得したベッド部分画像を用いてもよい。

更に、図１１（ｂ）に示すように側方から俯瞰して撮像したベッド画像１１０２から取得したベッド部分画像や、図１１（ｃ）に示すようにベッド２０の足元側から俯瞰して撮像したベッド画像１１０３から取得したベッド部分画像などを用いればベッドコーナー識別器の検出精度を向上させることができる。

なお、図１１（ａ）、（ｂ）に例示するベッド画像１１０１、１１０２はベッドコーナーが４箇所とも露出しているのに対して、図１１（ｃ）に例示するベッド画像１１０３は、ベッドコーナーが見守り対象者Ｏｂによって１箇所だけ隠されている。見守り対象者Ｏｂ以外にも掛布団などによってベッドコーナーが隠されているベッド画像をさまざまな角度から撮像したベッド画像を用いてもよい。

また、露出しているベッドコーナーを含んだベッド画像に、人物や掛布団などを合成して、当該ベッドコーナーを隠したベッド画像を教師データとして用いてもよい。このようにすれば、４箇所のベッドコーナーがすべて隠されており、ベッド２０の中間部分だけが露出しているようなベッド部分画像からでも、４箇所のベッドコーナーの検出精度を向上させることができる。更に、ベッド部分画像に代えてベッド画像全体を教師データとして用いてもよい。

上述の従来技術（特許文献１）においては、足側のベッドコーナーから下側に向かって延びる線分をベッド領域の外縁として検出するため、ベッドとカメラとの位置関係が固定されている必要がある。一方、本実施の形態においては、ベッド２０の撮像方向に関係なく４箇所のベッドコーナーを検出するため、ベッド２０とカメラとの位置関係は固定されない。

したがって、１台のカメラで複数のベッド２０をそれぞれ撮像する場合には、ベッド２０毎に撮像方向が異なるが、このような場合であっても、本実施の形態によればベッドコーナーを検出することができる。したがって、すべてのベッド２０に個別にカメラを設定する必要が無く、上記の従来技術よりもカメラの設置台数を少なくすることができるので、見守り対象者Ｏｂを見守るための装置コストを低減することができる。

また、近年ではカメラに搭載された撮像素子の解像度が著しく高くなっているため、複数のベッド２０を撮像したベッド画像からベッド２０毎に切り抜いたベッド部分画像を用いて、ベッド部分画像ごとに見守り対象者Ｏｂの行動検知を行ってもよい。

また、言うまでもないことだが、見守り対象者Ｏｂの行動検知処理に用いるカメラで撮像した画像を用いて４箇所のベッドコーナーの位置を検出するので、別途、距離画像カメラが必要になる上述の従来技術（特許文献４）とは異なって、低コスト化を図ることができる。
［３］変形例
以上、本開示を実施の形態に基づいて説明してきたが、本開示が上述の実施の形態に限定されないのは勿論であり、以下のような変形例を実施することができる。
（３－１）上記実施の形態においては、新たに検出したベッドコーナーの位置が先に検出したベッドコーナーの位置からずれている場合に、ベッドコーナーの位置を目視確認する場合を例にとって説明したが、本開示がこれに限定されないのは言うまでもなく、ベッドコーナーの位置ずれを検出したかどうかに関係なく、目視確認を行ってもよい。

例えば、実際にはベッドコーナーの位置がずれているにも関わらず、ベッドコーナーの位置を誤検出した結果、ベッドコーナーの位置はずれていないと誤判定すると、見守り対象者Ｏｂの行動検知に支障が生じる可能性があることを考慮すれば、このような場合に備えて、ベッドコーナーの位置ずれを検出したかどうかに関係なく、常に目視確認を行うのが有効である。
（３－２）上記実施の形態においては、見守り支援システムＭＳを介護施設に設置する場合を例にとって説明したが、本開示がこれに限定されないのは言うまでもなく、これに代えて次のようにしてもよい。

例えば、見守り支援システムＭＳは、病院において看護師が患者を見守るのを支援してもよいし、セキュリティーサービス等によって独居者を見守るのを支援してもよい。また、保育施設において幼児を見守るのを支援してもよい。見守り支援システムＭＳを設置する施設および見守り対象者Ｏｂの如何に関わらず、見守り支援システムＭＳは、ベッドを利用する見守り対象者Ｏｂの起床や離床、転落などの見守りを支援することができる。
（３－３）上記実施の形態においては、見守り対象者Ｏｂが使用するベッド２０のマットレスが一定の形状を維持する場合を例にとって説明したが、本開示がこれに限定されないのは言うまでもなく、マットレスの形状が可変であってもよい。介護ベッドの中には、可動式のボトム部分にマットレスを載置するものがあり、リモコン操作によりボトム部分を移動させて、背もたれや足元のリクライニングが可能になっている。

このため、例えば図１２に示すように、マットレス１２０１が直方体形状以外の複雑な形状に変形する場合がある。このような複雑な形状であっても、ベッドコーナー識別器にあらかじめ機械学習させておけば、ベッドコーナー４１Ａ、４１Ｂ、４１Ｃ、４１Ｄを精度良く検出することができる。図１２においては、ベッドコーナー４１Ｂ、４１Ｄがフットボード１２０２に隠れているが、本開示によれば、ベッド２０全体の形状から特徴を抽出するので、隠れたベッドコーナー４１Ｂ、４１Ｄについても位置を検出することができる。

なお、このようにリモコン操作によって変形可能なベッド２０については、リモコン操作の有無をセンサーボックスＳＢで監視して、リモコン操作があった場合にベッド領域抽出処理を行えば、ベッド２０の変形に合わせてベッド領域を抽出することができる。

また、ベッド２０の各所をリクライニングさせることによってベッド２０を変形させた場合には、ベッド２０が直方体形状である場合と比較して、見守り対象者Ｏｂの行動が制約され易く、行動パターンが変化する可能性がある。したがって、見守り対象者Ｏｂの行動検知処理もまたベッド２０の変形状況に合わせて実施するのが望ましい。
（３－４）ベッドコーナー識別器として用いる畳み込みニューラルネットワークは、図１３（ａ）に例示するように、畳み込み層１３０１を用いてベッド部分画像７０２の特徴量を抽出し、畳み込み層１３０１の出力を全結合層（出力層）１３０２に入力することによって、４箇所のベッドコーナーの位置（座標）を検出してもよい。

この畳み込み層１３０１は、ベッド部分画像７０２の各所でエッジやコーナー等の特徴的なパターンを検出したり、パターンの様々に特徴的な組み合わせを検出したりする。どのようなパターンやパターンの組み合わせを検出するかは、ベッド２０を撮像したさまざまなベッド画像を教師データとして機械学習するによって習得する。畳み込み層１３０１の出力データは、検出すべきパターンの組み合わせがベッド部分画像７０２のどこに位置するかについての情報を含んでいるので、出力層１３０２はベッドコーナーの位置を検出することができる。

出力層１３０２は、図１３（ｂ）に示すように、ベッドコーナー４１Ａ、４１Ｂ、４１Ｃ、４１ＤのそれぞれについてＸ座標を検出する層と、Ｙ座標を検出する層と、座標値の信頼性を表す層との３層を有しており、全体として１２層になっている。座標値を検出する層はどの層もＮ×Ｍ個のグリッドに分割され、ベッドコーナーの座標がグリッド内のどこに位置するかを０以上、１以下の出力値で表現することによってＸ座標ならびにＹ座標を表現する。

信頼性についても、例えば、０以上、１以下の出力値で表現し、出力値が１に近いほど信頼性が高いとしてもよい。なお、ベッドコーナー４１Ａ、４１Ｂ、４１Ｃ、４１Ｄの座標値の出力形式が上に限定されないのは言うまでもなく、他の形式でベッドコーナー４１Ａ、４１Ｂ、４１Ｃ、４１Ｄの座標値を出力してもよい。

このように出力層１３０２でベッドコーナーの座標値ごとに信頼性を出力させると、図６に示すベッド領域抽出処理において、ベッドコーナーの位置が適切であるか確認する際に（ステップＳ６０４）、ベッドコーナーの座標ごとの信頼性を所定の閾値と比較して、信頼性が閾値よりも低い座標がある場合には、当該ベッドコーナーは未検出であり、適切でなく、確認や修正が必要であると判断してもよい。

上述のような構成を有するニューラルネットワーク以外にも、例えば、衣服や皮膚によって覆い隠されている人体の外観からその骨格を推測する技術が知られており（例えば、非特許文献２を参照）、そのようなニューラルネットワークにおいても、検出結果の信頼性を評価することができる。このように、上述のような構成を有するニューラルネットワークであっても、適切な構成を有するニューラルネットワークを適用すれば、４箇所のベッドコーナーの位置を検出したり、その検出結果の信頼性を評価したりすることができる。
（３－５）上記実施の形態においては、特に言及しなかったが、センサーボックスＳＢのセンサー部１１のカメラは静止画像を撮像してもよいし、動画像を撮像してもよい。動画像を撮像する場合には、撮像した動画像から静止画像を抽出して、ベッド画像７０１とすればよい。また、ベッド画像７０１は、４箇所のベッドコーナーを検出する都合上、少なくともベッドコーナーの位置（座標）が４箇所とも画像内にあるのが望ましい。

このため、例えば、ベッド２０の上面全体が撮像範囲内に入るように、ベッド２０の位置やセンサー部１１のカメラの位置などの撮像条件を調整するとよい。この場合において、ベッド２０の上面全体が露出している必要はなく、ベッド２０の上面に人物や掛布団、ヘッドボード、フットボード、サイドレール、介助バー、テーブル等によって隠されている部分があってもよい。また、隠されている部分が一定である必要は無く、撮像のたびに変化してもよい。
（３－６）上記実施の形態においては、センサー部１１のカメラがベッド２０を俯瞰する方向から撮像する場合を例にとって説明したが、本開示がこれに限定されないのは言うまでもなく、これに代えて、俯瞰以外の方向からベッド２０を撮像してもよい。ベッド２０の撮像方向の如何に関わらず、本開示に係るベッド領域抽出部２１２は、ベッド２０の４箇所のベッドコーナー４１Ａ、４１Ｂ、４１Ｃ、４１Ｄの位置を検出して、ベッド領域を抽出することができる。
（３－７）上記実施の形態においては、ベッドコーナー識別器を用いて検出したベッドコーナーの位置が適切か、修正すべきかを判定するために、センサー部１１のカメラのカメラパラメーターを用いる場合を例にとって説明した。ベッドコーナー識別器が検出した４箇所のベッドコーナーの３次元座標をベッド画像７０１から演算するためには、歪曲収差パラメーター（レンズ歪み補正係数）、撮像面における水平方向の中心画素位置ｕ０、垂直方向の中心画素位置ｖ０などを用いることができる。

４箇所のベッドコーナーの３次元座標を求めた後、例えば、当該３次元座標から算出されるベッド２０のサイズが、あらかじめ登録されているベッド２０のサイズと異なっている場合には、ベッドコーナー識別器が検出したベッドコーナーの位置は適切でなく、修正が必要であると判断される。

また、センサー部１１のカメラの中心からベッド２０までの距離およびベッド２０のサイズから、ベッド画像７０１においてベッドコーナーの中心位置に対してベッドコーナーが存在し得る範囲を求め、ベッドコーナー識別器で検出したベッドコーナーの位置が当該範囲内にあれば適切であり、当該範囲外であれば修正が必要と判定してもよい。
（３－８）上記実施の形態においては、特に言及しなかったが、ベッド部分画像識別器がベッド画像７０１から取得したベッド部分画像７０２は、ベッド２０の種類や撮像条件によって、サイズが異なり得る。このため、ベッド部分画像７０２をベッドコーナー識別器に入力するのに先立って、ベッドコーナー識別器の入力層のサイズに合わせて、ベッド部分画像７０２のサイズを変換してもよい。

例えば、ベッド部分画像識別器が出力したベッド部分画像７０２のサイズが高さＨ１画素、幅Ｗ１画素であり、ベッドコーナー識別器の入力層のサイズが高さＨ２画素、幅Ｗ２画素である場合には、ベッド部分画像７０２の高さをＨ２／Ｈ１倍し、幅をＷ２／Ｗ１倍してもよい。

ベッド部分画像７０２をサイズ変換せずにそのままベッドコーナー識別層に入力する場合には、ベッドコーナー識別器の入力層のサイズを、ベッド部分画像識別器が出力する可能性がある最大サイズ、言い換えるとベッド画像７０１と同じサイズに合わせる必要がある。このようにすると、ベッド部分画像７０２のサイズがベッド画像７０１よりも小さい場合には、ベッドコーナー識別器の入力層に画像データが入力されない箇所が出てくるので、ベッドコーナーの位置を検出する上で本来必要がないベッドコーナー識別器の処理負荷が不必要に発生する。

また、ベッド部分画像７０２のサイズが、ベッドコーナーの位置を検出する上で不必要に大きい場合には、ベッド部分画像７０２のサイズを小さく変換することによって、ベッドコーナーの位置の検出精度を低下させることなく、ベッドコーナー識別器の処理負荷を低減することができる。
（３－９）上述のように、見守り支援システムＭＳは、マイクロプロセッサーとメモリとを備えたコンピューターシステムである。メモリは、コンピュータープログラムを記憶しており、マイクロプロセッサーは、コンピュータープログラムに従って動作する。

上記実施の形態においては、見守り支援システムＭＳを構成するセンサーボックスＳＢ、管理サーバーＳＶ、固定端末装置ＳＰおよび携帯端末ＴＡがそれぞれコンピューターシステムになっており、コンピュータープログラムを実行することによって上述のような機能を実現する。

ここで、コンピュータープログラムは、所定の機能を達成するために、コンピューターに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

また、コンピュータープログラムは、コンピューター読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、光ディスク、半導体メモリなどに記録されているとしてもよい。

また、コンピュータープログラムを、有線又は無線の電気通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送してもよい。
（３－１０）本開示は、コンピューターがベッド領域抽出プログラムに従って実行するベッド領域抽出方法であってもよい。本開示に係るベッド領域抽出方法を実施すれば、当然ながら上記実施の形態と同様の効果を得ることができる。

本開示に係るベッド領域抽出装置、ベッド領域抽出方法、ベッド領域抽出プログラムおよび見守り支援システムは、見守り対象者Ｏｂによる起床、離床、転落および転倒といった行動を検知することを目的として、ベッドの一部が覆い隠された状態で任意の方向から当該ベッドを撮像したベッド画像からベッド領域を検出する技術として有用である。

ＭＳ……………………………………見守り支援システム
ＮＳ……………………………………介護士
Ｏｂ……………………………………見守り対象者
ＳＢ……………………………………センサーボックス
ＳＶ……………………………………管理サーバー
ＴＡ……………………………………携帯端末
１１……………………………………センサー部
２０……………………………………ベッド
２１……………………………………ＳＶ制御処理部
２４……………………………………ＳＶ入力部
２５……………………………………ＳＶ出力部
４１Ａ、４１Ｂ、４１Ｃ、４１Ｄ…ベッドコーナー
１４２…………………………………領域設定処理部
１４３…………………………………行動検知処理部
１６１…………………………………領域設定記憶部
２１２…………………………………ベッド領域抽出部
２１３…………………………………パラメーター更新部
２２１…………………………………パラメーター記憶部
２２２…………………………………画像データ記憶部
２２３…………………………………領域設定記憶部
７０１、１２０１～１２０３………ベッド画像
７０２…………………………………ベッド部分画像

Claims

ベッドを撮像したベッド画像を取得する取得部と、
前記ベッド画像からベッドコーナーの位置を４箇所検出するベッドコーナー検出部と、を備え、
前記ベッドコーナー検出部は、ベッドを含む機械学習用画像と、当該機械学習用画像における４箇所のベッドコーナーの位置と、を教師データとして機械学習させたベッドコーナー識別器を用い、
教師データは複数あり、
前記機械学習は、
損失関数の値が小さくなるよう、複数の教師データにわたるベッドコーナーの位置の誤差を用いて、誤差逆伝播法によりベッドコーナー識別器のパラメーターを修正する処理を含み、
複数の教師データのそれぞれに含まれるベッドコーナーの位置の中心、前記ベッドのサイズ、前記ベッドを撮像したカメラのカメラパラメーターおよび前記ベッドからカメラまでの距離を用いて、ベッドコーナーの位置を算出する位置算出部を備え、
前記誤差は、位置算出部が算出したベッドコーナーの位置を目標値とした場合、複数の教師データに含まれるベットコーナーの位置のそれぞれがどれだけずれているかを示す
ことを特徴とするベッド領域抽出装置。
前記複数の教師データのうち、何れかのものは、前記機械学習用画像として、少なくとも１箇所のベッドコーナーが隠されている画像を含む
ことを特徴とする請求項１に記載のベッド領域抽出装置。
前記複数の教師データのうち、何れかのものは、前記機械学習用画像として、４箇所のベッドコーナーがすべて露出した画像を含む
ことを特徴とする請求項１または２に記載のベッド領域抽出装置。
ベッド画像から当該ベッドを含むバウンディングボックスを検出することでベッド部分画像を抽出するベッド部分画像抽出部を備え、
前記ベッドコーナー検出部は、ベッド画像のうちベッド部分画像からベッドコーナーの位置を４箇所検出する
ことを特徴とする請求項１から３のいずれかに記載のベッド領域抽出装置。
前記ベッドコーナー識別器は畳込みニューラルネットワークを構成しており、
前記ベッド部分画像抽出部は、ベッドを含む機械学習用画像と、当該ベッドを含む範囲の指定とを教師データとして機械学習させたベッド部分画像識別器を用いて前記ベッド部分画像を抽出する
ことを特徴とする請求項４に記載のベッド領域抽出装置。
前記ベッド部分画像抽出部は、前記ベッド部分画像として、少なくともベッドの上面全体を含む画像を抽出する
ことを特徴とする請求項４または５に記載のベッド領域抽出装置。
前記ベッドコーナー検出部が検出したベッドコーナーの位置を記憶する位置記憶部と、
前記ベッドコーナー検出部が、過去に検出したベッドコーナーの位置と、検出部が新たに検出したベッドコーナーの位置と比較して、所定以上異なっているかどうかを判定するずれ判定手段と、を備える
ことを特徴とする請求項１から６のいずれかに記載のベッド領域抽出装置。
ベッドを撮像したベッド画像を取得する取得部と、
ベッドを含む機械学習用画像と、当該機械学習用画像における４箇所のベッドコーナーの位置と、を教師データとして機械学習させたベッドコーナー識別器を用いて、前記ベッド画像からベッドコーナーの位置を４箇所検出するベッドコーナー検出部と、
前記ベッドコーナー検出部が検出したベッドコーナーの位置の中心、前記ベッドのサイズ、前記ベッドを撮像したカメラのカメラパラメーターおよび前記ベッドからカメラまでの距離を用いて、前記ベッドコーナー検出部が検出したベッドコーナーの位置が適切かどうかを判定する位置判定部と
を備えることを特徴とするベッド領域抽出装置。
前記位置判定部が、ベッドコーナーの位置が適切でないと判定した場合に、ベッドコーナーの位置の入力を受け付ける位置取得手段を備える
ことを特徴とする請求項８に記載のベッド領域抽出装置。
前記ベッドコーナー検出部が検出したベッドコーナーの位置の中心、前記ベッドのサイズ、前記ベッドを撮像したカメラのカメラパラメーターおよび前記ベッドからカメラまでの距離を用いて、ベッドコーナーの位置を算出する位置算出部を備え、
位置判定部が、ベッドコーナーの位置が適切でないと判定した場合に、前記ベッドコーナー検出部は、ベッドコーナー識別器が検出した位置に代えて、位置算出部が算出した位置をベッドコーナーの位置とする
ことを特徴とする請求項８に記載のベッド領域抽出装置。