JP6944222B2 - 見守り監視システム - Google Patents

Description

本発明は、感熱式撮像装置、感熱式撮像装置を用いた見守り監視システムおよび感熱式撮像装置を用いた見守り監視方法に関する。

高齢化社会の進行に伴い介護を必要とする高齢者、一人暮らしの高齢者が増加している。このような高齢者の日常の安全と健康を守るための適切な支援が求められている。認知症患者や介護施設などの入所者、入院中の患者、一人暮らしの高齢者などに個室内で体調不良あるいは転倒・転落などの事故が発生した際に、家族や介護者が気付かず対処が遅れた場合には、症状が重篤化し、最悪の場合死に至るような事象が発生する。

このような個室内での、発病や事故を早期に見出すため、さまざまな個室内見守りシステムが提案されている。高齢者見守りシステムには、センサを用いて見守り対象者の状態を検知する方式と、ビデオカメラなどの映像により対象者の状態を観察する方式がある。

センサを用いる方式では、例えば焦電式赤外線センサ、感圧センサ、光学センサ、超音波センサなどの複数のセンサによって、対象者の状態を検出し、検出した状態を通知する技術が提案されている(特許文献１)。一方、対象者を撮影した映像を用いて対象者の状態を認識する技術としては、対象者を撮影した映像を介助者に中継する技術も提案されている(特許文献２参照)。

このような高齢者見守り監視システムにより、見守り対象者に関する生体情報や行動が把握できれば、高齢者の安全確保だけでなく、健康増進やヘルスケアに役立てることが期待される。

また、交通事故死者数は減少傾向にあるとはいえ、依然として年間３０００人を超えている。日本の交通事故死者の特徴は、歩行中・自転車運転中の事故の割合が高いことである。特に、夜間は歩行者・自転車の事故が増加する。これは、夜間には昼に比べて、歩行者や自転車を見つけづらくなるためである。このような、課題を解決するために、夜間でも体温から歩行者を検知できる遠赤外カメラ（サーモグラフィカメラ）を搭載した車両が開発され、すでに販売されている(特許文献３参照)。

特開２００１−３２７５４９号公報

特開２０００−１０５８８５号公報

特開昭６０−２３１１９３号公報

従来の高齢者見守りシステムのうち、感圧センサや光学センサなどの単機能のセンサが起床や離床などの特定の動作を検出するために用いられており、そのような動作が行われた際に警報を発生する。このような単純なセンサでは、見守り対象者の詳細な状況が判定できないため、本当に介助が必要な状況かについて正確な判定が困難である。このため、必要のない警報の発生が多く発生し、介助者の負担が大きくなるという問題があった。

また、センサの設定によっては検出されるべき行動が見逃されることも少なくなかった。より詳細に対象者の行動を見守るための方法としては、ビデオカメラを用いた行動監視システムが実用化されている。しかし、ビデオカメラを用いた監視はプライバシーの問題が大きく、高齢者の生活空間で広く用いられるようになっていない。これは見守り対象者の心理的な抵抗が大きいこと、介助者側の画像確認の肉体的・心理的な負担が大きいこと、画像等の流出のリスクなどの問題があるためである。また、単純に画像を中継するだけでは、常時画像を監視している必要があり、介護者の負荷が大きく見逃しのリスクを伴うという問題があった。

このような課題を解決するために、画像認識プログラムを用いて対象者の通常とは異なる行動や、危険な状態を判定して警告するようなシステムも提案されている。しかし、このようなシステムについても、複雑な画像から適切に対象者の事故や異常を検出することは困難で、見逃しや誤報が発生するという課題があった。また、異常な状態を検出した後は、介助者が実際の画像を見て介助の必要性を判断する必要があり、ここでもプライバシーの問題が発生するという問題があった。

さらに、ビデオカメラを用いて見守りを行う際には、室内にさまざまな物が存在している中で対象となる人とその行動を認識するために、高解像度の画像が必要となる。高解像度の画像の使用がプライバシーの問題を生じる原因となる。また高解像度画像をコンピュータにより解析し、見守り対象者の位置や行動を認識するための画像認識には計算能力の大きいコンピュータが必要となる。このため室内にビデオカメラを用いた見守り監視システムでは、画像を個室外のホストコンピュータに送りそこで画像監視や画像認識が行われることが多い。このような画像の中継のためには高価格の画像送信装置とホストコンピュータが必要であり、同時に画像流出のリスクを伴う。

プライバシーに配慮しながら、高精度に対象者の現在の状況を把握し、介助の必要な状況を的確に検出して警報を発することのできる見守り監視システムが求められている。また、見守り監視システムは、見守り対象者の日常行動や介助動作の妨げにならないように、小型で対象者及び介助者の日常生活の動線を妨げないように配置されていることが望ましい。さらに、介護・見守り費用を抑制できるようにシステムは簡単な構成で安価であることが望ましい。

次に、既存の車載監視モニタシステムの課題について述べる。既存の遠赤外カメラを用いた車載監視システムの課題は視野角が狭いことである。現在市販されている、車載用遠赤外カメラの視野角は４０度以下であり、遠方の歩行者や動物を検知するためのシステムとなっている。これは従来の遠赤外カメラの視野が狭く、広い視野を実現することができなかったためである。

自動車と歩行者・自転車の事故は街中で起こることが多く、特に右左折時の巻き込みや横断歩行者の見落としが原因となることが多い。これらの事故を防止するためには車両の近傍の歩行者・自転車を検知できることが重要である。そのためには、広い視野で車両の近傍をモニタ出来ることが重要である。

本発明は、簡易な構成により広い視野で、対象者を検知可能な感熱式撮像装置、見守り監視システムおよび見守り監視方法を提供することを目的とする。

上述の課題を解決するために、本発明では広い視野角で撮影が可能な、遠赤外カメラ（サーモグラフィ）を用いて見守り監視を行う。遠赤外カメラは物体から放出される遠赤外線のエネルギーから計算される温度分布を画像として撮像する装置である。人間には体温があり、通常の環境温度よりも高温であるため、体温から人間を選択的に検出できる。このため通常のビデオカメラのように、画像の中から人間を認識するために高解像度の画像を取得する必要がなく、低解像度の温度画像から人間を選択的に検出できるため、認識エラーが少なくコンピュータの演算負荷を低減できる。このため、演算能力の小さなコンピュータで処理ができ、システムの低価格化、小型化が実現できる。

体温から直接人を検知できるため、遠赤外カメラを用いた見守り監視装置は、従来から提案されている。このような遠赤外カメラを用いた見守り監視システムの課題は、遠赤外カメラの撮像範囲が狭いことにあった。市販されている遠赤外カメラの視野角は４０〜６０°程度であるため、広範囲の見守り監視は困難であった。例えば、高齢者見守りシステムの例として、「非特許文献：高木他「温度センサを用いた高齢者の見守り」、DEIM2016, P6-1, 2016」がある。このシステムではベッド上の天井やベッドに対向する壁面に遠赤外カメラを設置し、ベッド上での行動（ベッドからの転落検知など）を見守るシステムが提案されていた。このようなシステムでは、見守り範囲がベッド上に限定されるという課題があった。

自動車の前方監視の例としては、BMW ７シリーズに搭載されたAutoliv社製の遠赤外カメラを用いたナイトビジョンシステムがある。このシステムでは、通常走行時の視野角は３６度、高速運転時は視野角２４度に設定されている。このため、遠方の歩行者や動物を検知することはできるが、近距離の歩行者を検知することはできなかった。この理由も従来の遠赤外カメラの視野が狭く、広い視野を実現することができなかったためである。

遠赤外カメラの視野が狭く、限定された領域しか見守り監視ができないという課題を解決するために、遠赤外カメラをモーターで走査し広範囲を撮影するという研究も行われている（非特許文献：島村、「空間センサを用いた人の位置及び状態把握」、法政大学大学院紀要,5, 2016-03-24）。このような方式では、可動部分を含むため装置が複雑で故障の発生が懸念されること、画像を繋ぎ合わせる処理が必要で、全領域の画像を取得するのに時間を要するために緊急事態を見逃すリスクがあるというがあった。

遠赤外カメラと光軸上に配置した曲面ミラーを組み合わせて、視野角の広い監視装置を実現した例も報告されている（非特許文献：Wong Wai Kit他, ”Omnidirectional Thermal
Imaging Surveillance System Featuring Trespasser and Faint Detection”,
International Journal of Image Processing, Vol 4(6), pp.518 (2011).）。この例では、双曲面ミラーを遠赤外カメラの光軸上に配置して広い視野を実現している。この方式には、視野中心に死角が発生するという課題がある。

室内全領域を死角なしに同時に撮像できる遠赤外カメラが実現できれば、これらの課題を解決して、実用的な遠赤外カメラを実現することができる。本発明では、光軸外し反射屈折型の光学系を有する感熱式撮像装置を用いることで、死角のない広い領域を撮像範囲とした感熱式撮像装置を実現し、この装置を用いた見守り監視システムを実現した。

光軸外し反射屈折型の光学系を有する感熱式撮像装置を用いることで、死角なしに広い撮像範囲を実現することができる。感熱式撮像装置は低解像度の画像から、人間を選択的に検出できるため、画像認識が容易になり認識精度を高められるという利点がある。

感熱式撮像装置 従来の広い視野をもつ遠赤外カメラ 反射屈折光学系の撮像範囲を示す説明図 凸面ミラーの断面形状を示す説明図 球面ミラーと放物面ミラーを比較する図 高齢者施設の居室に設置する高齢者見守りシステムの全体構成図 感熱式撮像装置の室内設置配置上面図 感熱式撮像装置の室内設置俯瞰図 室内の２次元温度画像 感熱式撮像装置の必要な視野角を示す説明図 感熱式撮像装置の室内撮像温度画像 可視光カメラの室内撮像画像 部屋レイアウトと対象者に関する初期設定の説明図 頭部寸法と頭部位置の関係 感熱式撮像装置と頭部の距離と測定温度の関係 ベッド上での体動と睡眠深度測定結果 頭部温度と呼吸による胸部位置の実測データ 頭部温度と呼吸による胸部位置の周波数分析結果 温度画像と温度画像から認識された姿勢のピクトグラム表示例 見守り対象者の姿勢と状況、警報発生時のピクトグラム表示例 図１とは異なる設計の感熱式撮像装置 見守り監視システムのフローチャート図 一人暮らし高齢者見守り監視システムの概念図。 介護施設・病院用見守り監視システムの概念図 見守り監視システムを用いた日毎の生活分析データ 見守り監視システムを用いた月間生活分析データ 見守り監視システムを用いた年間生活分析データ 見守り監視システムを用いた月間歩行数分析データ 見守りサービスと駆け付けサービスの概念図 円筒ミラーを用いた感熱式撮像装置 円筒ミラーの水平方向の撮像範囲を示す説明図 車載用感熱式撮像装置の撮像範囲を示す説明図 車載用感熱式撮像装置の道路上の撮像範囲を示す図 車載用感熱式撮像装置による道路上の歩行者の温度画像 鞍型ミラーを用いた感熱式撮像装置 運転者、同乗者モニタへの感熱式撮像装置の応用例 車内の温度画像 配送用自律走行車両用への感熱式撮像装置の応用例

見守りのための感熱式撮像装置について

図１を用いて室内全域を撮像範囲とした感熱式撮像装置１０について説明する。感熱式撮像装置１０は、撮像レンズ３−１と遠赤外アレーセンサ３−２からなる遠赤外カメラ３と、凸面ミラー２、遠赤外カメラ３と配線４で接続されたシングルボードコンピュータ５がフレーム１により一体化されている。ここで、特徴的なのは遠赤外光の光学系が、屈折を利用する撮像レンズ３−１と反射を利用する凸面ミラー２を組み合わせた光軸外し反射屈折型の光学装置となっている点である。ここで光軸外し光学系とは、遠赤外カメラ３の光軸３−３に対し、凸面ミラー２の光軸３−４が傾斜して配置されていることを意味している。凸面ミラー２は軸対称な３次元形状を有している。凸面ミラー２の反射を用いることにより、遠赤外カメラ３の視野角が拡大され、より広範囲が撮像されるようになっていることがわかる。この感熱式撮像装置１０を天井付近の壁面に設置した場合、代表的な光線６で示されるように天井領域と壁面のほぼ全領域を含む広い視野が得られることがわかる。

凸面ミラー２は回転対称形状を有しているため、図１の紙面の奥行方向に対しても広い視野を有している。凸面ミラー２の反射を利用して広い撮像範囲を実現した感熱式撮像装置としては、図２に示すような凸面ミラー２を遠赤外カメラ３の上に光軸を合わせて配置して、遠赤外カメラ３を全方位化（３６０度視野化）するという試みが報告されている（非特許文献：成松英一、「室内における人物の発見、追跡のための全方位サーモグラフの開発」、日本ロボット学会第21回学術講演会予稿集, 2003）。図２の例では凸面ミラー２として双曲面ミラーを用いている。このような凸面ミラー２と遠赤外カメラ３の光軸を一致させて配置した構成の光学系では、視野中心に遠赤外カメラ３が写りこんでしまうために死角が生じるという問題があり、見守り用途では使用できないという課題があった。

この課題を解決するために、本発明では遠赤外カメラ３を凸面ミラー２に対して傾斜して配置した、図１に示すように、光軸外し反射屈折型の光学系とすることで死角なしで広範囲の画像が取得できるようになっている。凸面ミラー２を用いることで、遠赤外カメラ３の視野角に比べて視野角が広がっていることがわかる。さらに、図３を用いて凸面ミラー２を用いた反射屈折光学系について詳細に説明する。凸面ミラー２の光軸３−４に対し、遠赤外カメラ３の光軸３−３は傾いて配置されている。

この時、凸面ミラー２による有効な撮像範囲は、撮像レンズ３−１の射出瞳中心点３−５を通る凸面ミラー２の法線方向の光線６−１と、撮像レンズ３−１の射出瞳中心点３−５を通る凸面ミラー２の接線方向の光線６−２の範囲内となる。

遠赤外カメラ３の光軸３−３と凸面ミラー２の光軸３−４の成す角をαとし、遠赤外カメラ３の全視野角をθとすると、凸面ミラー２の法線方向の光線６−１が視野内に含まれるためには、θ/2 ＜α
という条件を満たす必要がある。

一方、凸面ミラー２の接線方向の光線６−２が水平方向よりも上方を向くためには、θ/2 ＜
π/2 -α という条件を満たす必要がある。これは、接線の光線６−２が水平方向よりも下向きとなると、感熱式撮像装置１０が設置された壁面に対向する壁面に死角が生じてしまうことを避けるためである。

前記二つの条件をともに満たすためには、凸面ミラー２の光軸３−４と遠赤外カメラ３の光軸３−３のなす角αは、θ/2 ＜α＜（π-θ）/２ の関係を満たす必要がある。遠赤外カメラ３の視野角が水平方向と垂直方向で異なる場合があるが、その場合θは、小さいほうの視野角に相当する。

次に、凸面ミラー２の形状について述べる。凸面ミラー２を用いることで広い視野角が得られるが、画像の歪が大きくなる。ミラー形状を変えることで、この画像の歪の特性を制御することが可能になる。 例えば画像内の注目領域を拡大して撮影することが可能になる。

高齢者の見守り用途では、ベッド上の解像度を高めることが重要となる。高齢者はベッド上で過ごす時間が長く、健康状態の把握のために睡眠データの取得が重要であるためである。感熱式撮像装置１０の撮像画面内でベッドが撮影される部分の倍率を上げることで、高精度に睡眠をデータ化できる。

凸面ミラー２の断面形状としては、図４に示すように扁平楕円、円、楕円、放物線、双曲線などが考えられる。図に示した曲線はＸ＝０での曲率を一定とした図形で比較している。ミラーの効果を比較するために、球面ミラーと放物面ミラーの反射光線を図５に示した。実線が球面ミラー、破線が放物面ミラーの反射光線を示している。光線は、遠赤外カメラから視野角２．５°毎の光線のミラーでの反射を示している。

球面ミラーと放物面ミラーの反射光線を比較すると、凸面ミラー下部（Ｘ＝０の周辺）で反射される光線はほとんど変わらないが、ミラーの外周部にいくにつれて放物面ミラーの反射光線間の角度が小さくなっている（倍率が上がっている）ことがわかる。凸面ミラーの形状を変えることで、画面内の相対的な倍率を制御できることがわかる。

ミラーを用いた光学系は、通常の可視光用のカメラで多く研究されてきた。近年、可視光や近赤外光用の屈折レンズは、光学材料技術とレンズ加工技術が急速に進歩している。このため、さまざまな特性のレンズの高性能化、小型化、低価格が急激に進歩した。広い視野を実現する魚眼レンズや超広角レンズについても、高性能なレンズが低価格で入手可能になっており、特殊な用途を除いて反射光学系が用いられることは少なくなっている。

これに対し、遠赤外線ではレンズ材料がゲルマニュウム、シリコン、カルコゲナイドなどの特殊な材料が必要で、レンズは高価であり、市場も小さいため、広角などの特殊なレンズについては入手が困難である。本発明では低価格・小型で入手できる標準的な遠赤外カメラ（視野角５０°程度）と、加工が容易で低価格で入手できる金属凸面ミラーを組み合わせることで広い視野を持つ感熱式撮像装置１０を実現している。

（実施例１）
光軸外し反射屈折型の光学系を有する感熱式撮像装置１０を用いた見守り監視システムの第一の実施例として、介護施設、サービス付き高齢者住宅、特別養護老人ホーム、グループホームなどの高齢者施設の居室に設置する高齢者見守りシステムについて説明する。高齢者見守りシステムの全体構成を図６に示した。高齢者見守りシステムは、高齢者の日々の生活の安全を見守る見守り機能と、システムによって取得される高齢者の生活データを用いて高齢者の健康増進を実現するヘルスケア機能の二つの機能を持っている。

本発明の感熱式撮像装置１０を高齢者の生活空間である個室に設置する。転倒や転落などの事故、体調の急変などの異常が発生したことを見守りシステムが検知すると、異常発生が介護者や保護者２３の携帯端末２１に送付され、介護者や保護者２３が駆け付けることで、高齢者の安全を守る。見守りで得られる日々の生活データを蓄積し、クラウド上に集積されたビックデータとして解析することで、高齢者の短期的な体調の変化、長期的な健康状態や体力、認知機能の変化を解析し、適切な助言を行うことにより、高齢者の長期的な健康増進（ヘルスケア）を実現する。

図１に示した光軸外し反射屈折型の感熱式撮像装置１０を用いた見守り監視装置について、以下詳細に説明する。遠赤外カメラ３は、対象物から出ている遠赤外線を遠赤外光用の屈折レンズ３−１により、２次元状に配列された遠赤外アレーセンサ３−２上に結像し、画素毎の出力信号を温度に変換して温度分布を画像表示する装置である。ここで用いた、感熱式撮像装置１０は、マイクロボロメータ方式の８０ｘ６０画素の遠赤外アレーセンサ３−２とシリコン製の屈折レンズ３−１からなる遠赤外カメラ３と、凸面ミラー２で構成される。凸面ミラー２として、回転放物面形状のアルミ研磨ミラーを用いた。使用した遠赤外カメラ３の撮像範囲は視野角にして５１ｘ３８°であり、この視野角を凸面ミラー２により拡大して撮像する。

遠赤外カメラ３は配線４でシングルボードコンピュータ５に接続されている。ここで用いたシングルボードコンピュータ５は １GHzのシングルコアCPUチップとＷｉｆｉ通信チップを搭載しており、感熱式カメラで取得された温度画像を画像処理して対象高齢者の行動を認識し、必要に応じてＷｉｆｉ通信により、外部のコンピュータや携帯端末（タブレット、スマートフォン等）に情報を送信することができる。

シングルボードコンピュータ５は小型で安価であるため、遠赤外カメラ３と一体化して見守り対象者の居室に設置することができる。シングルボードコンピュータ５は、遠赤外カメラ３の温度画像出力信号を配線４経由で直接受け取り、画像認識を行うことができる。この例のようにセンサデバイスと通信機能を内蔵したコンピュータをからなるIoTデバイスを用いて、装置内部で画像処理を行うことをエッジコンピューティングという。エッジコンピューティングには、通信負荷の低減、リアルタイムでのデータ処理、セキュリティリスクの低減というメリットがあり、近年注目されている技術である。本発明の見守り監視システムでは、遠赤外カメラの低画素画像を用いることにより、画像処理の負荷を低くし、演算能力の低いシングルボードコンピュータ５でのエッジコンピューティングを可能にした。

本発明の見守り監視システムはエッジコンピューティングに限定するものではなく、演算装置を通常のコンピュータとし、感熱式撮像装置の設置場所とは離れた場所（例えば、介護者の詰め所）に設置することも可能である。

この場合、画像処理部、判別部、データ保存部、出力部はコンピュータ側に置かれ、遠赤外カメラ３とは無線あるいは有線通信により当該コンピュータとデータ通信を行う。システムの低価格化・小型化という観点からは通信機能を有するシングルボードコンピュータ５の使用が効率的であるが、見守り以外の目的で高性能なコンピュータが必要とされる場合には、エッジコンピューティングを行わず、通常のコンピュータを用いることができる。例えば、見守り結果に基づいて介護日誌への入力を自動化するなど、複雑な操作を行う場合には画像処理コンピュータをエッジデバイスと切り離すことも有効である。

ここでは、凸面ミラー２として放物面形状のアルミ研磨ミラーを用いた。アルミ研磨ミラーは、アルミ板を放物面形状にプレス加工して、表面を研磨することによって作成した。ここでは金属ミラーを用いたが、これに限るものでなく、放物面形状に射出成型加工したポリマー材（ポリカーボネイト、シクロオレフィンなど）に銀やアルミ等の金属膜を蒸着したミラーを用いることもできる。プラスチックに金属蒸着したミラーを用いることでミラーの製造コストを低減することができる。またここでは、凸面ミラー２は放物面形状のミラーを用いたが、球面ミラーや円錐形状ミラー、双曲面形状ミラーを用いることも可能である。

図７に、上記の感熱式撮像装置１０の室内における設置図を示す。室内には、見守り対象者１１がおり、床１６上に、ベッド１２、ドア１３、棚１４、窓１５、机１７、椅子１８、が配置されている。感熱式撮像装置１０は、ベッド１２の長手方向と最も近接する壁面の天井付近に配置されている。図８は室内の配置の俯瞰図を示している。頭部の三次元座標を(X0,X0,Z0)、頭部温度はT0と表記する。

図９に、図７に示す室内で撮像された温度画像を示した。曲面ミラーで反射された像であるため、歪の大きな画像であるが、ベッド１２を中心に、床１６および周囲を取り囲む４面の壁が撮像されている。４面の壁はほぼ天井面に至るまで撮影されており、視野角の広さが理解できる。見守り対象者１１は周囲に比べ高温であるため、はっきりと識別できる。低解像度（８０ｘ６０画素）の画像であるにも関わらず、頭部、胴体部、脚部がはっきりと分離されており、ここから対象者１１の姿勢が判定できる。画像中で頭部を十字マークで示している。ここでは、頭部中央部の温度画像上での座標を(x0,y0)、頭部の測定された温度はt0とした。

図９の温度画像で注目すべきは、対象者１１の存在と姿勢は認識できるが、対象者１１の個人識別や細かい動作は識別できず、プライバシー侵害のリスクが低いことである。通常のカメラを用いた場合、人間を高精度に認識するためには、高解像度な画像が必要となり、対象者１１の顔、表情、行為が撮像されるため見守り対象者の心理的な抵抗が大きくなる。また高解像度の画像では、室内に置かれた物の識別や室内の乱雑さなども観察されるため、この面でも心理的な抵抗が大きくなる。感熱式撮像装置１０を見守りに用いる最大のメリットは、感熱式撮像装置１０が人体の発熱を画像化できるために、プライバシーに配慮した低解像度の画像で、高精度に人体を検知できることである。

図９にはドア１３の上部、窓１５の上部さらに、天井付近に設置された感熱式撮像装置１０の本体が写っており、死角なしに床１６から天井付近まで撮像されていることがわかる。ドア１３や窓１５を含めて壁面全体が撮影されているため、室内の見守り対象者１１の位置が死角なしに把握でき、ドア１３から室外への外出を見逃しなく検知することが可能である。

ここで、感熱式撮像装置１０をベッド１２の長辺側に最近接する壁の天井付近に配置したのは、ベッド１２上の見守り対象者１１をより高精度に見守るためである。ベッド１２上での見守りを優先したのは、介護施設、病院等の見守りでは対象者１１の、（１）ベッド１２上での滞在時間が長いこと、（２） ベッド１２からの転落・離床時の転倒等の事故が多いこと、（３）睡眠の状態の把握が対象者１１の生活や健康状態を把握するために有効であること、等を考慮したためである。感熱式撮像装置１０の配置位置はベッド１２上に限るものではないが、配置を固定することは画像認識の精度を向上させるためにも有利である。例えば、画面上でベッド１２の概略の位置があらかじめわかっていれば、そのような情報なしで画像認識を行う場合に比べて、在床・離床・起き上がりなどの対象者１１の行動の認識を容易かつ高精度に行うことが可能になる

さらに本実施例では、睡眠時の生体情報（睡眠深度、呼吸、心拍等）の測定のために、図５で示したように球面ミラーに較べてベッド１２上の撮影倍率を上げることのできる、放物面ミラーを採用した。凸面ミラー２としては放物面ミラーに限るものでなく、楕円面ミラー、双曲面ミラーを用いることもできる。また、球面ミラーには入手が容易で低コストであるというメリットがあるため、用途によっては球面ミラーを用いることも可能である。

本発明の放物面ミラーを用いた光軸外し反射屈折型光学系を用いることで、カメラの設置位置の斜め下側の位置の対象物（ここではベッド１２）を詳細に観察できる。これは屈折型の広角カメラを用いた場合に対して大きな利点となる。屈折型の広角レンズを用いた光学系で壁面上部まで撮像範囲とした場合、カメラの斜め下に置かれたベッド１２は画面全体のなかで小さく写るため、ベッド１２上の対象者１１の状況を詳細に観察することが困難になる。

ここで見守り用感熱式撮像装置１０に必要とされる視野角について述べる。見守り用撮像装置には、室内の全領域で死角なしに対象者１１を見守ることのできる性能が求められる。見守り対象者１１の室外への外出は、対象者１１の病状や状態によっては重大な事故（例えば認知症患者の徘徊など）につながる可能性があり、見逃しのない確実な検出が求められる。

図１０に室外への外出時の対象者１１と感熱式撮像装置１０の位置関係を示している。ここでは、対象者１１の身長１７０ｃｍ、天井高さ２４０ｃｍ、部屋の広さ８畳間（１３平方メートル）、感熱式撮像装置１０の設置高さ２３０ｃｍを想定している。このとき、ドア１３の位置で、床面から１００ｃｍの高さまで撮像範囲があれば、部屋の端のドア１３近傍で対象者１１の臀部が捉えられ、ドア１３から消えていく対象者１１の行動が捕捉できる。床面から、１５０ｃｍまで撮像できれば見逃しのリスクはほぼなくなることがわかる。長身長の対象者１１を考慮しても、床面から１９０ｃｍまでの高さが撮像されていれば頭部まで捉えられ見逃しの可能性はなくなる。このため、感熱式撮像装置１０の壁面の視野角は床下から少なくとも１００ｃｍ以上であることが必要であり、望ましくは床面から１５０ｃｍ以上、特に望ましくは床面から１９０ｃｍ以上の領域の撮像が可能であることが求められる。上記条件で、感熱式撮像装置１０に必要とされる全視野角（２β）は、撮像範囲が床面から１００ｃｍ以上の場合は１４０°、１５０ｃｍで１６１°、１９０ｃｍで１６７°となる

このような広い視野角を持つ、安価な遠赤外カメラは存在していない。これが本発明で遠赤外線用の新たな反射屈折光学系を採用した理由である。

図１１に感熱式撮像装置１０の撮像温度画像、図１２に通常ビデオカメラの撮像画像を比較して示した。どちらも見守り対象者１１が、ドア１３から出ていくシーンを撮影した。ここではビデオカメラの光学系は、通常用いられる広角の屈折レンズでなく、感熱式撮像装置１０と同じ光軸外し反射屈折型の可視光に対応した光学装置を試作して撮影した。図１１と図１２は、同一のシーンを、ほぼ同一の視野となるように撮像した画像となっている。

どちらの画像もベッド１２を中心に室内の全領域が死角なしに撮影されていることがわかる。解像度は温度画像が８０ｘ６０画素、ビデオカメラの解像度は１９２０ｘ１０８０（HD）である。図１２に示すビデオカメラ画像の方が高い解像度で撮影しているが、明るさの異なる様々な物が写っており、画像中で人を認識するのは目視でも容易ではない。

これに対し、図１１に示す感熱式撮像装置１０による温度画像では、人体の発熱を捉えることができるため人体を容易に検出できることがわかる。この２枚の画像の比較からで見守りを行うことの優位性が理解できる。画像処理により対象者１１を認識し、その行動を把握することは通常の可視カメラでは困難である。一方、感熱式撮像装置１０による図１１の温度画像からは体温から容易に見守り対象者１１を検知できる。

温度画像からの行動認識技術について

以下、温度画像から見守り対象者１１を検出し、その行動を認識するための画像認識技術について説明する。画像認識では、認識精度を高めるために撮像される対象を限定することが有効であることが知られている。認識すべき画像に写っている対象を限定すること、撮像範囲・照明条件・撮像条件を限定することにより、画像の認識精度を高めることができる。

撮像装置を固定して、撮像条件に制約を加えることで、高い精度で画像認識が可能になる。本発明では、死角の無い広領域を撮影範囲とする専用の感熱式撮像装置１０を、設置場所をベッド１２直近の壁の天井付近に限定して配置し、その出力画像に対して画像処理を最適化することで高い認識精度を実現した。

凸面ミラーを用いることにより広い視野角が得られるが、歪の大きい画像となるという課題がある。画像処理をこの画像歪の特性に合わせ行うことで画像歪の影響を小さくして認識精度を高めることができる。広い視野を持つ専用の遠赤外光軸外し反射屈折光学系という特殊な光学系を有する感熱式撮像装置を、設置場所を限定して配置し、撮像される画像の特徴に合わせた画像処理を行うことで高性能な見守り監視システムを実現した。

以下、画像認識方法について説明する。上述のように撮像装置とその配置方法を制約する（入力画像制約）ことで、対象者の行動を正確に把握することが容易になる。さらに、撮像対象に関する情報を事前に把握する（事前情報）の活用により、行動の把握はさらに容易になる。感熱式撮像装置の設置後の立ち上げ時に部屋のレイアウトに関する情報と見守り対象者に関する情報を事前に取得し、それらの情報を利用して画像認識を行うことにより高精度に見守り対象者の行動を把握することを可能にした。

感熱式撮像装置の設置後の初期設定における事前情報入力例について、図１３を用いて説明する。設定は、感熱式撮像装置１０のシングルボードコンピュータ５の通信機能を用いて、外部のコンピュータにより行う。最初に、部屋面積の入力を行う。選択画面で、４．５畳（７．３平方メートル）, ６畳（９．７平方メートル）,８畳（１３平方メートル）から部屋広さを入力する。選択画面に相当する広さがない場合には、広さを平方メートル単位でキーボード入力を行う。部屋広さは概略の面積で構わない。

次に、ベッドを基準とした、部屋形状を入力する。部屋が長方形の場合はベッドの長手方向と部屋の長手方向が一致する場合は横長方形、方向が直交する場合は縦長方形と入力する。次にベッド位置の入力を行う。ベッドに近接する壁面のどの位置にベッドが配置されているかを、Ａ〜Ｃで入力する。続いて、ドア位置を１〜９から選択し入力する。さらに、感熱式撮像装置１０の設置高さとベッドの高さを入力する。最後に、見守り対象者に関する情報の入力を行う。ここでは、対象者の性別、年齢、身長、体重を入力する。

以上の初期設定により、図７の室内の感熱式撮像装置１０とベッド１２、ドア１３の位置関係を見守り監視システムに入力した。部屋の大きさと形状を把握することで、精度高く見守り対象者１１の位置・姿勢を認識することができる。また、ドア１３の位置を把握していることで、入外室の認識精度を高めることができる。

初期設定完了後に対象者１１の位置検出アルゴリズムをスタートする。感熱式撮像装置１０は毎秒５枚の温度画像を出力する設定（５FPS）とした。画像ファイルはPGMフォーマットで１６ビットの８０ｘ６０画素のデータを出力するよう設定した。図１４を用いて画像認識アルゴリズムについて説明する。出力温度画像１９を図１４左上に示した。

最初に、温度画像１９から頭部を検出する。通常、頭部が温度画像１９中で最高温度になる場合が多く、温度画像１９内の最高温度部を頭部位置と認識しても問題は少ない。しかし、例えば室内にポットや高温の食品や飲料が置かれた場合には、これらの高温物体を頭部と誤認識する可能性がある。これを避けるために、検出された高温領域の大きさと温度から頭部を認識する。頭部の温度は、頭部と感熱式撮像装置１０の距離と撮影される頭部の視野内の位置に応じて、２８−３６℃の範囲内で測定される。

対象者１１と感熱式撮像装置１０の距離が近づくと、撮像される頭部のサイズは大きくなり、温度も上昇する。この頭部のサイズと温度は温度画像１９の視野内の位置によっても変化する。視野内の位置と頭部のサイズ、温度には後述するような関係があり、この関係を利用して頭部を認識することで高精度に頭部を検出することが可能になる。頭部の表面温度は通常２８−３６℃に測定され、頭部の大きさが大きいほど（すなわち頭部が感熱式撮像装置１０に近いほど）、温度は高温となる。この関係を利用して頭部を認識することにより、他の高温物体が画面内に含まれた場合でも頭部を認識することが可能になった。

温度画像１９から人体頭部を検出し、その画像上の座標位置(x0,y0)と計測された温度t0を用いて、実空間上の頭部の座標位置(X0,Y0,Z0)を推定する（図１４）。頭部の空間座標位置の推定は、頭部のサイズと頭部の温度を用いて行う。最初に、頭部の大きさから頭部座標を求める方式について述べる。温度画像１９から閾値を設けて頭部の領域を決定し、楕円近似により長軸半径(a)と短軸半径(b)を求める。頭部面積S（=πab）から、頭部の平均半径r = sqrt(S/π)を用いる。成人男性の頭部の長軸寸法は２４ｃｍ、短軸寸法は１６ｃｍ、平均身長は１７０ｃｍである。本発明で用いている感熱式撮像装置１０は画像の歪が大きいため、データ取得には模擬的な頭部として、温水(３５℃)を入れた半径１０cm球形プラスチック容器を床面に置き、画面上の位置と撮影される画像のサイズについてのデータを取得した。

図１４を用いて画面上の頭部の寸法から、頭部の３次元上の空間位置を求める方法について説明する。図１４では、簡単のためにｘｚ平面上で位置を示しているが、同様の計算をｘｙｚ空間上で行うことができる。撮像された温度画像１９から頭部の中心位置x0と面積Ｓ0が求められる。床面上で測定された半径10cmの球体の位置x1、面積S1と実際に撮像された面積Ｓ0から、実際の頭部の位置x0は、x0＝sqrt(S1/S0)として求められる。また、頭部の高さz0は感熱式撮像装置１０の設置高さをHとしたとき、z0= (1-sqrt(S1/S0) )*H として求められる。

次に、頭部温度から座標位置を計算する方法について述べる。感熱式撮像装置１０では、測定される温度は距離の影響を受ける。これは主として距離が離れるにつれて対象物体が画素に占める面積が小さくなり、測定物体の周辺温度の影響を受けるようになるためである。この温度変化も温度画像１９の位置により変化する。

図１５に視野中心(A)と視野端(B)の位置での、温水(３５℃)を入れた半径１０cm球形プラスチック容器の測定された温度を、感熱式撮像装置１０とプラスチック容器の距離に対してプロットした。画素位置と頭部の測定された温度から、感熱式撮像装置１０と頭部の距離が推定できる。距離がわかれば、図１５に示した関係から、空間内の頭部位置(X0,Y0,Z0)を求めることができる。上述のように、空間内の頭部位置は、頭部の大きさのデータと頭部の温度データの両方から求めることができる。この二つの測定値を組み合わせることで高精度に頭部位置を測定できる。

対象者１１の頭部の位置がわかれば、対象者１１の姿勢や行動を推定することが可能になる。例えば、ベッド１２高さが４０ｃｍとすると、頭部がベッド１２上にあり頭部の高さが４０−７０ｃｍの範囲内であれば対象者１１は臥位であると推定できる。頭部がベッド１２上にあり、高さが８０−１４０ｃｍの範囲内であれば対象者１１は長座位であると推定できる。頭部がベッド端近傍にあり、高さが８０−１４０ｃｍの範囲内であれば対象者は端座位であると推定できる。端座位は、立位への準備行動とみなされるため、対象者１１が立ち上がること自体にリスクがあるような場合（転倒しやすく転倒が重篤な事故につながるような患者の場合）、立ち上がる前に準備行動である端座位を認識して警告を発することが可能になる。一方、ベッド１２以外の場所で、高さが１４０ｃｍ以上であれば、立位であると推定する。立位状態で頭部位置が移動している場合、歩行状態であると認識できる。

さらに、時間と移動量の関係から歩行速度及び歩行距離が計算できる。このようにして取得された運動データは対象者１１のヘルスケアに活用できる。また、ベッド１２外で頭部高さが５０ｃｍ以下になった場合、転倒の可能性がある。急激にベッド１２外で立位から頭部高さが低下した場合、転倒と判断し警報を発することができる。またベッド１２上の臥位、長座位、端座位の状態から、ベッド１２外で頭部高さが５０ｃｍ以下になった場合は、ベッド１２からの転落と判断し、警報を発することができる。

このように、室内レイアウトと頭部の空間的な位置を把握することで、対象者１１の状態（姿勢や運動）を高精度に認識することが可能になる。対象者１１の日常生活における姿勢や運動が認識できれば、対象者１１の事故等の危険な状態の検知や、健康状態の長期的な変化の把握が可能になる。本発明の感熱式撮像装置１０を用いることで、人体が高温部として明確に識別できる。視野中心にベッド１２が写っており、ベッド１２と人体の位置関係から、臥位、端座位、立位、歩行、外出など対象者１１の姿勢が識別できる。画像上に表示される頭部の位置のみである程度正確に姿勢は認識可能であるが、頭部の空間内での座標がわかることでより高精度な姿勢判定が可能となった。

さらにベッド１２上での体動量から、覚醒・睡眠状態の判定、睡眠時の浅睡眠/深睡眠の判定を行うことが可能となる。睡眠時の体動の出現頻度は睡眠段階が深くなるほど少なくなることが知られている。睡眠中の１５分間に発生した閾値を超える大きさの体動の回数を体動密度と定義すると、ＲＥＭ睡眠や浅睡眠時には体動が連続して起こり体動密度が上昇する。ただしこの体動密度には個人差があり、一律の閾値を用いて睡眠深度の推定を行うことは困難である。このため、対象者１１の１週間の睡眠時の体動密度の平均値を計算し、この体動密度平均値を上回る体動密度発生時は浅睡眠、平均値より体動密度が低い時には深睡眠と判定する。

図１６に、本発発明の感熱式撮像装置１０を用いて計測したベッド１２上での体動量と、体動量に基づいて算出した睡眠深度を示した。体動データに基づいて、睡眠深度が計測できていることがわかる。対象者１１の睡眠状態の変化は健康状態と結びついていると考えられるため、このようなデータを用いること長期間に渡り取得し解析することで健康状態の変化を捉えることができ、適切な睡眠指導、生活指導を行うことで、長期的な健康維持につながると期待される。長期的な睡眠の不規則化、夜間覚醒の増加、総睡眠時間の増加は認知機能低下の兆候と考えられている。睡眠習慣の変化から、軽度認知障害（MCI）を初期段階で検出できれば、認知症予防に有効であると考えられる。

さらに頭部温度変化から、心拍・呼吸のモニタリングが可能になる。図１７にベッド１２上で安静状態における、感熱式撮像装置１０で測定した顔面の温度とレーザー測位計で測定した胸部の呼吸による移動量を測定したデータを、時間軸を揃えて上下に並べて示した。両方の装置は、０．１秒間隔でデータ取得するように設定してデータ取得を行った。呼吸による胸部の上下移動から明確に約４秒周期の呼吸が確認できる。一方、顔面温度はノイズが大きく、呼吸や心拍などの生体信号は確認できない。５１．２秒間のデータ（５１２個のデータ）の周波数解析結果を図１８に示した。この結果からは、呼吸に起因する２．７Ｈｚ（周期３．７秒周期）のピークと心拍に起因する１．２Ｈｚ（７２ＢＰＭ）のピークがはっきりと観測できる。このように、長時間のデータの周波数解析により生体情報の取得が可能となる。解析結果から呼吸については３０秒以上、心拍については５０秒以上の時間のデータを解析する必要があることが分かった。さらに、呼吸については微小な頭部の体動データの周波数解析からも、計測可能であった。このため、睡眠中の頭部温度変化と頭部体動量を組み合わせて解析することで、より高精度に呼吸計測を行うことが可能となった。

顔面温度データに含まれる呼吸信号に比べて心拍信号はノイズの割合が高く測定が不安定になる。また図に示したデータは体動のない静止状態で取得されたでデータで解析を行ったが、体動がある場合には呼吸や心拍の測定は困難であった。原理的には体動補正により体動を伴うデータから生体信号の抽出は可能と考えられるが、現時点では体動の大きなノイズの含まれるデータから、精度よく生体信号を抽出することは困難であった。このため、本システムでは体動の小さい睡眠時のデータから呼吸と心拍のデータを取得することとした。

睡眠中でも大きな体動が発生した場合には、その時のデータは除外して使わないようにした。またうつ伏せの状態や頭部に布団をかぶっているような状態の場合のデータも除外している。安定に測定されている状態の呼吸数あるいは心拍数データを、睡眠時の平均的な呼吸・心拍数と比較し、呼吸数・心拍数に異常な変化があった場合、警報を発することができる。

ここまで述べてきたように、感熱式撮像装置１０から出力される温度画像の認識と解析により、見守り対象者１１の室内での位置、姿勢、行動、転倒等の非常事態、睡眠状態、心拍数、呼吸数などが検知可能になった。

次に、検知された対象者１１の現在の状態に関する出力について説明する。通常の見守り状態では、図１９の上段に示される温度画像は記録および出力はされず、図１９の下段に示されるピクトグラムで対象者１１の現在の状態がリアルタイムで表示されるようにシステムは設定されている。これは対象者１１のプライバシーの保護を優先するためである。ただし、対象者１１の状態や、介護施設の場合はその介護体制、一人暮らしの高齢者の場合には、周囲のサポート体制によってはシステムの設定変更により温度画像の記録及び出力を行うことは可能なシステム設計となっている。

表示される姿勢と状況の検知と警報の種類について図２０にまとめた。姿勢としては、臥位、長座位、端座位、立位、歩行、外出が判定される。対象者の病状や状況によって警報の発生のタイミングは変わる。この警報発令のタイミングについても、システム立ち上げ時に設定を行う。立ち上がること自体に転倒のリスクが高い患者の場合、立ち上がる準備動作である端座位で警報を発生する。歩行がリスクを伴う場合は、立位で警報、外出が制限されている患者の場合には、ドアに近づいたタイミングあるいは外出したタイミングで警報を発生する。また、時間的な姿勢の変化から転倒や転落が疑われる場合にも警報を発令する。長時間にわたり体動がない、あるいは極めて少ない場合にも警報が発令できる。通常の生活での体温や心拍数・呼吸数と現在の体温や心拍数・呼吸数が大きく異なる場合にも、体温、心拍数、呼吸数の情報とともに警報を発生する。このように、温度画像の解析により、対象者の多様な姿勢・運動・健康状態の把握と異常の発見が可能になる。

（実施例２）
光軸外し反射屈折型の光学系を有する感熱式撮像装置１０を用いた見守り監視システムの第２の実施例として、姿勢と状況の検知にディープラーニング（深層学習あるいは機械学習）を用いた例について説明する。本実施例についても、対象用途は高齢者施設の居室に設置する高齢者見守りシステムである。

第一の実施例では対象者の姿勢と状況の検知には、ルールベースのアルゴリズムを利用する方法について説明した。姿勢と状況の検知にはディープラーニングを利用することも可能である。以下、ディープラーニングにより感熱式撮像装置１０から出力される温度画像を用いて学習を行い、姿勢を判定する方法について述べる。

図２１に、図１とは異なる設計の感熱式撮像装置１０を示した。凸面ミラーとして放物面ミラー２−１を用いた。放物面ミラー２−１と遠赤外カメラ３の距離を近接させることで、視野角を保ったまま装置を小型化している。図２１の例では、図１に示した装置と同じシングルボードコンピュータ５を用いたが、曲面ミラーを小型化し縦型の設計とすることで小型化を図っている。シングルボードコンピュータ５のみでは処理能力が不足したため、ディープラーニング用のアクセラレータ５−１として、Intel社製 Movidiusをシングルボーコンピュータに接続して画像認識を行った。

ディープラーニング用のアクセレレータ５−１とシングルボードコンピュータ５が一体化された小型のコンピュータを採用すれば、装置全体のサイズを３ｘ３ｘ３ｃｍ程度まで小型化することができる。また、図２１の設計では、遠赤外窓７を用いている。遠赤外窓７の材質は、遠赤外線の透過率の高い高密度ポリエチレンを採用した。高密度ポリエチレンは白色であるため、内部の遠赤外カメラ３が見えない設計となっている。見守り監視装置を小型化し目立たなくすることは、設置された感熱式撮像装置１０で監視されているという心理的な抵抗感を低減するためにも有効である。

ディープラーニングには、Google社のフレームワークであるテンソルフロー、学習モデルはMobileNetを用いた。学習はクラウド上で行い、作成した学習モデルを感熱式撮像装置１０のシングルボードコンピュータ５にインストールし、画像認識はシングルボードコンピュータ５で行うことにした（エッジコンピューティング）。シングルボードコンピュータ５のCPUでは処理能力が不足し５FPSの画像認識ができなかったため、AIアクセラレータ５−１をシングルボードコンピュータ５に接続して判定を行った。

ディープラーニングを用いて、図２０に示す姿勢のうち、７姿勢（臥位、長座位、端座位、立位、座位、転倒、外出）の判定をおこなった。まず、上記７姿勢の温度画像取得を行う。温度画像取得は図８に示した室内で行った。各姿勢での画像を、臥位から順番に毎秒１枚で２００枚ずつ連続取得した。２００秒間臥位のまま少しずつ、ベッド１２上の位置や体の向きと布団の位置を変えながら画像を取得した。順次、姿勢を変えて同様に７姿勢の画像取得を行い、これを１セットとし１０セットの画像取得を行った。

同一の姿勢で連続して画像取得を行わなかったのは、経時的な変化により意図しない画像変化の影響を受けることを避けるためである。これにより、各姿勢で２０００枚、全部で１４０００枚の温度取得を行った。全画像に姿勢を表すラベル情報を付けたうえで、このうち各姿勢の１０００枚の画像（計７０００枚）を教師データ画像として、機械学習ソフトウェアライブラリTensorFlowを用いて、ノートＰＣ上でモデル作成を行った。

学習に用いなかった残りの７０００枚の画像を用いてモデル精度の確認を行い、９７％の精度を確認した。エッジコンピューティングにより、感熱式撮像装置１０の出力温度画像からリアルタイムでの対象者の姿勢の判定が機械学習を用いて可能になった。

機械学習を用いた場合も、姿勢変化は第一の実施例と同様の方法で判定する。姿勢判定が立位であった場合、以前の画像と比較することで立位（静止）か歩行かを判断する。また以前の姿勢との比較を行い、立位から転倒、端座位から転倒、臥位から転倒への変化が発生した場合には警報を発生する。端座位から立位への変化あるいは外出の発生時についても、あらかじめ設定された対象者の警報設定に応じて警報を設定する。

機械学習については、学習用データの量と質が認識精度に強く影響することが知られていえる。認識精度を上げるためには二つのアプローチが考えられる。対象者を増やしながら、データ量を蓄積して精度を高めてゆく方法と、対象者それぞれについて学習モデルを作成する方法である。個人別のモデル作成を行った場合、設置場所・対象者が固定されるため比較的少ないデータでも認識精度を高めることができる。この方法を用いた場合でも、使用を続けながらデータ取得を行いモデルの再作成を行うことで継続的に精度を向上することが可能である。この場合、システム設置時にモデル作成のためのデータ取得が必要となるが、個人別のモデル作成が可能であるため高精度な認識が可能になる。

（実施例３）
ビデオカメラを含む見守り監視システムについて

次に、光軸外し反射屈折型の光学系を有する感熱式撮像装置を用いた見守り監視システムの第３の実施例として、可視光及び近赤外光に感度を有するビデオカメラを含む見守り監視システムについて説明する。ビデオカメラを含むシステムでも、プライバシーを確保するために通常の状態ではビデオ撮影は行わない。感熱式撮像装置の温度画像から何らかの異常を検知し警報が発生された時点で、ビデオカメラが起動し撮影を開始する。警報発生時に夜間など部屋が暗い場合には、ビデオカメラ部に設置された近赤外光源が自動的に点灯され、鮮明な画像が撮像できる。ビデオカメラの画像は外部情報端末からのリクエストがあった場合、情報端末に送信される。介助者（あるいは家族）はこの画像を用いて事態をより明確に把握することが可能になる。システムにビデオカメラを含むかどうかは、見守り対象者と保護者、介助者、家族、施設管理者の意向に応じて選択される。

見守り監視システムの制御のフローチャートを図２２に示す。図２２の例は、可視および近赤外のビデオカメラ３２を含んだシステムについて示している。見守り監視システム稼働中は、一定時間間隔で温度画像が感熱式撮像装置１０からシングルボードコンピュータ５に送られる。シングルボードコンピュータ５は、画像処理部３３、判定部３４、データ保存部３５、及び出力部３６としての機能を有する。画像処理部３３は、感熱式撮像装置１０により撮像された２次元赤外線放射エネルギー画像を解析し、画像内に含まれる対象者の２次元画像上の位置及び赤外線放射エネルギーを検出する。判定部３４は、画像処理部３３によって検出された対象者の２次元画像上の位置及び赤外線放射エネルギーに基づいて対象者の状況を判定する。データ保存部３５は、判定部３４によって判定された対象者の状況を記録する。出力部３６は、判別部３４によって得られた対象者の状況を示す情報を出力する。
より具体的に、感熱式撮像式装置１０からの温度画像（入力画像）は画像処理部３３に送られ、画像処理部３３によって３次元空間内の頭部の位置が演算される。前フレームの頭部位置データと現在の頭部位置データの比較から、移動量を算出する。ここでいう前フレームは、直前のフレームを含む複数のフレームであることもある。

さらに、頭部の位置から現在の対象者の姿勢・行動を推定する。判定部３４で、現在の位置と姿勢と前フレームの位置と姿勢を比較し、急激な変化があった場合その変化の内容から転倒及び転落の有無などの異常発生の有無を判定する。また、判定部３４ではデータ保存部３５に保存された時間ごとの位置と体温の平均的な関係に関するデータを参照し、このデータと現在の位置と体温のデータを比較し、異常な高体温あるいは低体温時には異常と判定する。取得データをデータ保存部３５に保存する。さらに、判定部３４では心拍や呼吸頻度に異常がないか判定を行う。温度画像と頭部位置情報、移動量、姿勢・行動の推定値、睡眠状態、呼吸、心拍数のデータはデータ保存部３５に保存される。

判定部３４で異常が検知された場合、出力部３６から警報が無線通信により介護者の持つタブレット、スマートフォン等の情報端末あるいは事務所のコンピュータなどに送信される。警報と同時に、ビデオカメラ３２の動作が開始され、ビデオ画像はデータ保存部３５に保存される。送信される情報は、異常発生の時間、発生異常内容および、現在の可視及び近赤外画像、現在の温度画像と異常発生前後数秒間の温度画像である。

警報を確認した介護者は画面上に表示される可視及び近赤外画像と温度画像、異常発生前後の温度画像を確認し、必要に応じて確認や介助を行う。この際、システムが通話機能を含んでいる場合、携帯端末からスピーカーを通じて呼びかけを行い、対象者の状況を確認しても良い。介護者がその場で対象者の状況を確認できるため、迅速で無駄のない介助が可能になり、介護の質の向上と介護者の負荷の低減を実現することが可能になる。

上記のシステム運用では、異常発生時にビデオ撮影が開始される。しかし、ユーザーからは異常発生時の鮮明な画像が要望されることがある。このような要望に応えるためには、異常を検知してからビデオ撮影をスタートするのではなく、ビデオ撮影は常時行い、一定時間分（例えば３０分間）だけビデオ画像をデータ保存部３５に保存し、それを過ぎた画像データは消去するようにし、異常が発生した時には蓄積された画像データを消去せず残すようにする。ビデオカメラは常時動作させて、異常が検知された場合に、データ保存を行うことで異常発生前後の画像を残すことができ、携帯端末から異常発生時のビデオ画像を確認することが可能になる。この場合も、プライバシーに配慮して異常のない状態でのビデオ画像は保存されない。

（実施例４）
本発明の感熱式撮像装置を用いた見守り監視システムの第４の実施例として独り暮らしの高齢者の見守り監視システムについて、図２３を用いて説明する。見守り対象者１１である一人暮らしの高齢者１１の寝室に感熱式撮像装置１０が設置されている。見守り監視システムが異常を検知した場合には、あらかじめ保護者２３として登録されている家族、近親者、見守りサービス提供業者、自治体の担当者などの保護者２３に、無線通信によって携帯端末やコンピュータ端末（図示せず）などの端末２１に警報が送付される。保護者２３は端末２１に表示される端末表示内容２２（警報と異常検知前後の温度画像データ）を確認し、必要に応じて、駆け付け、救急車の要請、対象者の付近の住人への確認の依頼、電話等による確認などの必要な措置を講じることができる。

端末２１側から異常発生前後の画像だけでなく、端末２１側からのリクエストにより現在の温度画像を見守り監視システムから送付し、端末２１で確認することも可能となっている。プライバシー保護の観点から、現在画像の送付は異常発生時に限定され、日常生活では端末２１からの画像リクエストはできない仕組みになっている。この異常確認の際に、見守り監視システムがビデオカメラを含むシステムの場合には、端末２１上からビデオカメラ画像の送付を選択することで、現在のビデオカメラの画像を確認することが可能となる。また、見守り監視システムはマイクとスピーカーなどの遠隔通話機能を持つ装置を含むことも可能である。異常発生時に、保護者２３は携帯端末やコンピュータ端末等の端末２１で画像を確認し、必要に応じて見守り対象者１１に遠隔通話機能を用いて呼びかけることができる。呼びかけに適切に回答があった場合、居室への駆け付けなどの措置は必要なくなる。このように、端末２１を用いて対象者１１の安否状況が確認できれば、介護者や家族の負担を低減することができる。

（実施例５）
第５の実施例として、介護施設や病院などにおける見守り監視システムについて説明する。見守り監視システムは見守り機能だけでなく、ヘルスケア機能も有している。図２４に示すように、各部屋に設置された感熱式撮像装置１０は施設内に配置されたホストコンピュータ２０に無線接続されており、各部屋のデータはホストコンピュータ２０でまとめられる。この場合も、感熱式撮像装置１０の温度画像の解析はホストコンピュータ２０でなく、感熱式撮像装置１０に内蔵されたシングルボードコンピュータ５で行われる。通常の状態では、画像はホストコンピュータ２０には転送されず、シングルボードコンピュータ５で解析された画像データは異常が検知されない場合はそのまま廃棄され、シングルボードコンピュータ５内にもホストコンピュータ２０にも保存されない。通常の状態ではシングルボードコンピュータ５からホストコンピュータ２０には、見守り対象者１１の位置データと姿勢データ、運動量に関するデータが送られ、ホストコンピュータ２０で対象者１１ごとの生活データ（ライフログ）が解析されてまとめられる。

異常発生時には、シングルボードコンピュータ５から警報と異常発生前後の画像が送られる。これらの警報データは保護者２３の持つ端末２１に送られ、警報内容を確認の上、必要に応じて現在状態の画像をリクエストし端末２１で確認する。保護者２３は、端末２１からインターフォン等による呼びかけ確認や部屋への訪問による確認を行う。

日常状態では介助担当者の端末２１には、図２４に示すような対象者の状態を表すピクトグラムが各部屋を一覧できるような形で表示される。介助担当者は、被介護者の状態を端末２１上で確認して介助作業の手順を決めることができる。例えば、朝の介助作業（朝食、歯磨き、着替え等）は起床している対象者から順番に進め、睡眠中の被介助者を後回しにすることで効率的に介助作業を進めることができる。さらに、起床（目覚まし）を睡眠が浅いタイミングで行うことも可能になる。このように、被介助者の生活リズムに合わせて介助を行うことで、介助作業の効率化と、被介助者の負担低減を実現することができる。起床だけでなく様々な介助作業（例えば、投薬や着替えなど）を被介護者の生活リズムに合わせて行うことで、介護者、被介護者の双方の負担を低減することが可能になる。

上述のシステムでは、異常のない状況で撮影された温度画像は保存されることなく、判定後に消去されるように設定されている。介護施設では、介護状態の把握や事故等の発生時の状況を知るために画像を消去せず保存したいという要望がある。このような場合、システムの設定変更でホストコンピュータ２０に定常的に温度画像を保存することも可能である。温度画像は通常用いられる可視光画像に比べて解像度が低く、データ容量も小さいため、無線通信の容量の制約を受けることが少なく複数の部屋の画像を同時に送受信してホストコンピュータ２０に蓄積することが可能である。ここでは施設内にホストコンピュータ２０を設置したが、このホストコンピュータ２０の役割をクラウドコンピューティングで代替することも可能である。画像認識は各部屋に配置された見守り監視システムに内蔵されたシングルボードコンピュータ５で行われているため、クラウドにはリアルタイムで画像データを送付する必要はないため、通信容量及び通信遅延の課題は発生しない。クラウドコンピューティングにより、ホストコンピュータ２０をなくすことで、システムの低コスト化を実現できる。

本発明の見守り監視システムは、被介護者の安全のための見守りの機能だけでなく、被介護者の正確な日常生活の分析を通じて被介護者のヘルスケアに役立てることができる。介護施設、病院等の施設では被介護者は生活の大半を個室あるいは病室で過ごすため、本発明の見守り監視システムにより正確な日常生活の記録を取得することが可能になる。このような生活状態のモニタリングの目的では、腕時計型あるいは着衣型のウェアラブルセンサが用いられることがあるが、常時装着することへの抵抗があり、被介護者がセンサを外してしまうために、継続的なモニタリングが難しいという課題があった。また、ウェアラブルセンサは充電、電池交換やデータの集積を高頻度で行う必要があり、介護者の負担が大きくなるため介護施設などで広く使われるようにはなっていない。

本発明の見守り監視システムでは、日常生活で拘束を受けることなく生活を定常的にモニタリングすることができ、データも自動的にホストコンピュータ２０へ送付されるため、介護者・被介護者双方の負担なしに、生活データの取得と解析が可能になる。図２５に生活分析の一例を示した。図２５は
一日の間の生活パターンを示している。図２６は、図２５のデータを 1ケ月分まとめた月間の生活記録を日別に表している。図２７は月毎の生活記録を示している。図２８は、一日当たりの室内歩行距離を表している。月の前半から後半にかけて、運動量が低下していることがわかる。図２６からも月後半に活動が減り、在床時間が増えている傾向がみられる。

長期的な年間データの解析から、長期的な生活の変化を把握することができる。睡眠状態と認知症の進行の関係や日常的な活動量と認知症の関係が認められており、定常的な睡眠状態や運動状態の把握は病状の認識や生活指導のために重要である。同様のデータ解析は睡眠中の心拍データ、呼吸データについても可能である。バイタルデータは短期的な体調や病状の変化の把握に役立つだけでなく、長期的なトレンドを取得し解析することで被介護者の健康管理に役立てることができる。

このように本発明の見守り監視システムを用いることで、被介護者の安全のための見守りだけでなく、被介護者の長期的なヘルスケアのためのデータを解析し健康増進に役立てることが可能になる。さらに、このような日常の生活データ（ライフログ）を取得し、他の健康データと合わせてデータを解析すること（ビッグデータ解析）で、健康維持や健康増進のための生活習慣に関するデータの取得と解析が可能になる。

（実施例６）
本発明の第６の実施例として、見守りサービスの事例について説明する。安全のための見守り監視システムの課題は異常検知の精度である。異常の誤検出が多いと、警報の都度、介護者は安全の確認が必要となり負荷が増大する。本発明のシステムにより、部屋までいかなくても携帯端末で状況の確認が可能になり負荷は軽減するが、誤検出が多い場合にはその都度業務が中断され、常に警報に注意を払っているという心理的な負荷は大きなものとなる。特に家族に警報が届くようなシステムでは２４時間、時間を問わず警報が発せられる可能性があり、家族の負担は大きくなる。逆に、誤検出を減らすために警報発生の頻度を減らすと、異常の見逃しにつながり最悪の結果を招きかねない。見守り監視システムの高精度化により、異常検出の精度を上げることが極めて重要である。そのために、本発明では人体を直接検出できる感熱式撮像装置を採用した。これにより、認識精度は高められたが、依然として、誤検出と見逃しを抑えることは重要な課題となっている。

将来的には、AI(人工知能)技術により高精度化が実現されていく可能性もあるが、現状では、人間が画像を確認する方が精度は高く、見逃しは抑えられる。このため、システムが異常を検出した際に、対応の必要性を判断するサービスに需要がある。このサービスでは介護施設等の部屋や一人暮らしの高齢者宅に設置された見守り監視システムで異常が検知された際に、直接、介護担当者や家族に警報を送付するのでなく、いったん見守りサービス担当者にデータが送付される。見守りサービス担当者が画像を判定したうえで、見守りサービス担当者が必要と判断した場合、介護担当者や家族に連絡を行うようなサービスである。

図２９に概念図を示した。見守りサービス担当者２３−１は、複数の施設、住宅を２４時間体制で見守ることができる。この場合も、見守りサービス担当者２３−１は常時画像を見守るわけではなく、異常発生時に異常発生前後の画像と現在の画像を確認し、緊急性を判断し必要な措置をとる。家族や保護者２３は、見守り監視システムが発生する警報のすべてに対応する必要はなく、見守りサービス担当者２３−１が必要と認めた場合のみ連絡を受けて対応すればよい。これにより家族や保護者２３の負担が軽減できる。保護者２３にとって、深夜や休日の対応は心理的、肉体的な負担が大きく、このようなサービスによる負担軽減は特に有効であると考えられる。

高齢者の一人暮らしの場合、家族が遠隔地に住んでいる場合、緊急連絡を受けても直ちに対応が取れないことが多い。このような場合に備えて、駆け付けサービスが、既に行われている。何らかの異常が危惧される際に、家族に代わって駆け付けサービス担当者２３−２が一人暮らしの住宅に急行し、状況を確認するというサービスである。この駆け付けサービスと見守りサービスを連携することができる。見守り監視システムで異常が検知され、見守りサービスで対象者の救護あるいは確認が必要と判断された場合、見守りサービス担当者２３−１から駆けつけ担当者２３−２へ連絡し、駆け付けサービス担当者２３−２が対象者の住居に急行するというサービスである。

見守りサービスは、見守り監視システムで異常が検知された時だけ画像を確認すれば良いため、多くの施設を同時に担当することができ、効率的で迅速な対応が可能となる。高齢化社会を迎え、IoT（インターネットオブシングス）機器を活用した高信頼性で効率的で低コストの見守り監視システムが重要になっている。IoTを活用して、効率的に高齢者の安全安心な生活をサポートできるシステムは今後ますます重要になってゆくと考えられる。

ここまで、居室のベッド上に設置された見守り監視システムを中心に述べてきたが、設置場所はこれに限られるものではない。介護施設や病院では、見守り対象者は個室あるいは大部屋でほとんどの時間をベッドのあるひとつの部屋で過ごすため、見守り監視システムをベッド上に設置することが有効である。一方、一人暮らし高齢者の場合、寝室以外で過ごす時間が多くなる。このような場合、寝室以外の場所での見守りが必要になる。場所によって、リビングルームでは感熱式撮像装置１０を用いた見守り監視システム、トイレや廊下、玄関などで、簡易的な焦電センサを用いた見守り監視システムなどと組み合わせて住居全体を見守ることで、より確実な見守りが可能となる。リビングルーム等で用いられる感熱式撮像装置１０を用いた見守り監視システムでは画像認識のソフトウェアを変更する必要がある。ここでも対象者の室内の３次元的な位置を把握し、立位、歩行、座位、臥位を認識し、転倒等の事故の発生や運動量のモニタを行うという基本的な構成は同じである。

高齢者や入院患者の見守りへの応用例について示してきたが、応用はこれに限られるものではない。乳幼児の見守りや、拘留者の見守り、ペットの見守りなどにも応用できる。また、見守り用途だけでなく視野の広さを活かして、通常の監視カメラが用いられている街頭や店舗内、集合住宅の廊下などで人間を検知する監視カメラとしても活用できる。

ここで見守り以外の応用例について説明する。従来、安価な焦電センサが用いられてきた入室時の自動点灯スイッチや自動ドアスイッチ、侵入警報器などの用途に本発明の感熱式撮像装置１０を用いることでより、高機能な制御が可能になる。例えば、トイレへの入室を感知して電灯を点灯するスイッチの場合、焦電センサでは人の動きを検知しているため、人が静止状態を続けた場合、在室中でも電灯が消灯してしまうという問題が生じていた。

本発明の感熱式撮像装置１０を用いれば、人が静止していても存在を検知できるためこのような問題が発生しない。さらに、トイレ内の人数を計測でき、ひとつの感熱式撮像装置１０でトイレ内の全個室の使用状況を把握できる。この情報を無線通信で送ることで、トイレの外でトイレの使用状態を把握することが可能になる。これにより、トイレの空き状態をトイレの外で表示することや、携帯端末で空き具合を確認してトイレを選択することが可能になる。

近年、飲食店などの店舗の空席をカメラなどで認識して、混雑状況や空席情報を店舗外に表示したり、インターネット上で表示したりするサービスが広がっている。このような店舗内の空席情報を取得する際に、本発明の感熱式撮像装置１０を用いることで、体温から人を検知できるためより正確に空席を把握することが可能になる。さらに来店者数の把握や、顧客の滞在時間や店舗内での移動経路を解析したりすることも可能になる。ショッピングモール等に設置し、顧客数の変化や顧客の動線を解析することも可能になる。

店舗での利用では、あらかじめ事前情報として席の配置情報を入力しておくことで、認識精度を高めることが可能である。本発明の感熱式撮像装置１０を用いることでビデオカメラを用いた方式に比べて画像流出等のプライバシーに対する課題がなくなるという利点もある。

また、本発明の感熱式撮像装置１０を用いた画像認識により人の行動を認識できるという機能を活かして、家電製品のスマートリモコンとして用いることが可能になる。最近の家電製品は、Wifiやブルートゥース接続が可能な製品が多数あり、本発明の見守り監視システムを用いて対象者の行動を把握して、無線通信により家電製品を使用者の生活に合わせて適切に制御することができる。

例えば、対象者がベッド上でテレビを視聴しながら眠ってしまったとき、入眠を検知して、テレビの電源オフ、照明の消灯などを行うことができる。

また、睡眠の状態に応じてエアコンを制御して室内温度の調整を行うこと、対象者が室外に出た時に照明やテレビ、エアコンなどの電源を切断するなど、様々な用途が考えられる。

感熱式撮像装置１０を天井に配置し、室内を見守り監視する用途に用いた例について示してきたが、感熱式撮像装置１０の設置方法はこれに限られるものではない。位置関係を上下に反転して、床または床付近の壁面に設置し、天井を含む室内の見守りに用いることも可能である。壁のないオープンスペースでの見守り監視では、感熱式撮像装置１０を床に配置して使用することが有効となる。

（実施例７）
車載用の見守り監視のための感熱式撮像装置

ここまで高齢者や幼児などを対象とした室内の見守り監視システムへの実施例について説明してきたが、本発明の見守り監視システムの用途はこれに限られるものでなく、他の様々な用途に応用が可能である。ここでは、第７の実施例として、自動車に搭載して歩行者を検知する見守り監視システムへの応用ついて述べる。

車載用の見守り監視システムと室内用の見守り監視システムでは、要求される視野領域が異なる。歩行者を検知するための車載システムでは、水平方向に広い視野が要求される。一方、垂直方向には広い視野は必要ではない。右左折時の巻き込みを防止するためには、車両の進行方向に対して左右それぞれ９０度（視野角１８０度）あるいはそれ以上の視野が必要とされる。一方、垂直方向に関しては、３０−４０程度の視野角があれば充分である。このため、水平方向と垂直方向で異なる視野角を持つが求められる。

すでに述べたように、従来の遠赤外カメラは視野角が４０−５０°と狭く、歩行者検知システムとしては性能が不十分である。ここまで述べた室内見守り監視システムの凸面ミラー２を用いた反射屈折光学系は水平方向、垂直方向ともに視野角を広げる設計であるため、垂直方向の画素が有効利用できない。

そこで、車載用に水平方向のみ視野角を広げることのできる光学系を開発した。すでに述べたように、凸面ミラーを用いることで視野を拡大することができる。水平方向と垂直方向でミラー形状を変えることで垂直方向と水平方向の視野角を制御することが可能になる。

ここでは円筒形ミラーを用いて水平方向の視野角を広げた感熱式撮像装置１０の光学系について図３０を用いて説明する。図３０に示す光学系では、凸面ミラーとして円筒形ミラー２−２を垂直方向に対して３０°傾けて配置している。円筒形ミラー２−２の光軸３−４を円の外周方向に定義すると、円筒形ミラー２−２の光軸３−４と遠赤外カメラ３の光軸３−３のなす角αをα＝３０°となるように遠赤外カメラ３を軸外配置した。円筒形ミラー２−２の筒方向（垂直方向）の曲率がゼロであるため、垂直方向の視野角は、代表的な光線６で示されるように遠赤外カメラ３の垂直方向の視野角がそのまま反映される。ここでは円筒形ミラー２−２としてステンレス製の円筒ミラーを用いた。遠赤外カメラ３としてはボロメーター方式の視野角５６ｘ４２°、１６０ｘ１２０画素のカメラを採用した。

図３１は円筒形ミラー２−２を円筒の上部から見た図を示している。図３１には、遠赤外カメラ３の視野角５°毎の光線と、円形ミラーによる反射光線を示している。図３１の円形ミラーにより反射される光線からわかるように、視野角が拡大されており１８０°以上の広い視野角が得られていることがわかる。

円筒形ミラー２−２を用いることで、垂直方向の視野を保ったまま、水平方向の視野を拡大できていることがわかる。遠赤外カメラ３が画像中心に映り込まないように、円筒形ミラー２−２に対し遠赤外カメラ３が軸外配置された感熱式撮像装置１０となっている。

図３２に自動車２７のルーフ前方部に、車載用の感熱式撮像装置１０を取り付けた時の本発明の感熱式撮像装置の撮像範囲を、通常の遠赤外カメラを用いた場合と比較して示した。破線で示した領域が通常の遠赤外カメラの視野、実線で示した領域が図３０の遠赤外撮像装置１０を用いた場合の視野を表している。通常の遠赤外カメラの視野角５５°に較べてはるかに広い視野角２２０°が得られている。

図３３は図３２に示した視野を道路上に対して示した。破線が通常の遠赤外カメラの視野、実線が本発明の感熱式撮像装置１０を用いた場合の視野を表している。通常の遠赤外カメラの視野角５５°では、自動車２７付近の歩行者２８や自転車２９の検出が困難であり、右左折時の巻き込みや見通しの悪い交差点からの歩行者の飛び出しなどを検知できないことがわかる。市街地での人身事故は、これらの事故が大半を占めるため自動車２７近傍の歩行者２８や自転車２９の検出は特に重要である。

本発明の車載用感熱式撮像装置１０では視野角が１８０°以上（図３３の例では２２０°）と広く、自動車の近傍の歩行者、バイク、自転車の検出が可能であることがわかる。

実際の道路上での人物の遠赤外画像を図３４に示した。車両は２車線の左車線にあり、図にはセンターラインと左右車線の端と、車両から歩行者までの距離を追記している。自動車が左車線にあるため、左車線が画面の中央に撮影されている。左右の歩道にいる歩行者と車との距離は、５０，２０，１０，５，２，０ｍである。０ｍは車両に設置された感熱式撮像装置１０の真横に歩行者がいることを示している。

円筒形ミラー２−２を用いているため、画像の歪は大きいが車両から２０ｍ離れた距離の歩行者から、０ｍ（車両の真横）にいる歩行者まで撮影されていることがわかる。５０ｍ離れた歩行者の検知は図３４の画像からは困難である。これは用いた遠赤外カメラの解像度が１６０ｘ１２０画素と低いためである。

高解像度の遠赤外カメラを用いれば、１００ｍ以上離れた歩行者の検知も可能である。ただし、高解像度の遠赤外カメラは高価であるため、目的に合わせてカメラを選択する必要がある。ここでは、遠方の歩行者の検知よりも、自動車の近傍の歩行者の検知を優先しているため、あえて低価格である低画素遠赤外カメラを選択した。

図３４の画像から、画像認識により歩行者を検知し、必要に応じて運転者に注意をうながす。すでに述べたように遠赤外カメラは体温から直接人を検知できるため、人検知は容易である。高齢者見守り監視装置での画像認識と同様に、画像上の温度と形状およびサイズで人をより高精度に識別することが可能である。

車両の周囲に人を検知した場合、その危険度に応じて警報・警告を運転者に対して行う。運転者への警告は警報音や警報灯、車両に設置されたディスプレーにより行う。例えば、危険度に応じて警報音の音量・音程を変化させることや、警報灯の点滅速度を変化させて警告することができる。ディスプレーを用いる場合は、温度画像を表示し、その上に人マークを表示するなどの方法で警告を知らせることができる。

ここまでは、歩行者の検知について述べたが、路上のペットや野生動物も体温を持っているため、温度画像から検出することができる。画像認識により人と動物を区別し、異なる警報を発することも可能である。

上記実施例では、反射ミラーとして水平方向の断面形状は円形、垂直方向の断面形状は直線となる円筒形ミラー２−２を用いたがこれに限定するものではない。例えば水平方向の断面形状は、楕円、放物線、双曲線形状であっても良い。また、垂直方向の断面形状は、凹面ミラーとすることで垂直方向の視野角を縮め、倍率をあげることもできる。凹面ミラーを用いることにより、画面中心の倍率をあげることで遠方の歩行者の検出感度を高めることができる。この時のレンズの凹面形状についても、円形、楕円、放物線、双曲線形状などから選ぶことができる。

図３５に鞍型ミラー２−３を採用した例について示した。ここで鞍型ミラー２−３として、双曲放物面とよばれる２次曲面を採用した。双曲放物面とは、z = (x/a)²-(y/b)² の関係を満たす曲線である。水平方向の断面は凸面ミラーとなっており、図３１で示したように視野角が拡大される。一方、垂直方向は凹面ミラーとなっており、視野角は縮小される。

視野角が狭いことは高倍率で画像を撮像できるということであり、遠方の歩行者の検出性能が高められていることを意味する。さらに複雑な３次元形状を設計することで、画面上の位置により倍率を制御することができる。例えば垂直方向の凹面ミラーの曲率を画面中央で大きくし、外周に行くにつれて小さくすることで、画面中央の倍率を上げることができる。

自動車の進行方向に向けて感熱式撮像装置１０が設置されているため、画面中央に進行方向の道路が撮影される。遠方の歩行者は図３４に示すように、常に画面中央に写ることになる。垂直方向の凹面ミラーの曲率を画面中央で大きくすることにより、遠方の歩行者を高い感度で撮像することが可能になる。

水平方向の凸面ミラーの断面形状は、すでに述べたように円形から放物線、双曲線と外周部に向かって曲率を下げていくことで、画面中央に対して画面周辺に向かって倍率を上げることができる。車載用の場合、画面周辺に写る歩行者は、車両の近くにいるため、図３４に示すように十分に大きく撮影される。車載用の場合には、水平方向の凸面ミラーの断面形状は、外周部に向かって曲率が上がっていく形状を用いた方が、遠方の歩行者の検知は容易になる。

本実施例では、車両近傍の歩行者の検知を優先したために、凸面ミラーの水平方向の断面形状が円形である円筒形ミラー２−２を採用した。

ミラーの面形状を制御することにより、所望の視野角を設計することができる。複雑な面形状のミラーの製造にはコストがかかるが、射出成型加工したプラスチック材に金属膜を蒸着することで比較的安価に任意形状のミラーを製造することができる。さらに、可視光波長に比べて遠赤外光波長は１０倍以上であるため、ミラーの加工精度の要求も１桁以上緩和できる。ミラーの製造コストを低減できることも、遠赤外反射光学系を用いることの利点である。

遠方の歩行者の検知性能を上げるため、高画素の遠赤外カメラを採用すると大幅なコスト上昇につながる。これに対し、ミラー形状を変更することは比較的安価に実現できる。車載用見守り監視装置に要求される性能に合わせて、反射ミラーの形状を設計することができる。また、ここでは進行方向前方に向けて感熱式撮像装置１０を設置したが、進行方向の逆側に向けて感熱式撮像装置１０を設置して、後方の歩行者を検知することも可能である。

（実施例８）
運転者・搭乗者モニタリングのための感熱式撮像装置

第７の実施例では、車両の外側前方に取り付けて路上の歩行者を検知する実施例について示した。第８の実施例として、車両の内部に向けて取り付けて運転者や搭乗者のモニタリングを行うことのできる感熱式撮像装置の実施例について説明する。

近年、運転者モニタリング機能を搭載した自動車が発売されている。カメラを用いて運転者を撮影し、画像から運転者の個人認証、わき見運転時の警報、眠気、居眠り時の警報などを行う機能である。カメラによる個人認証により、シートポジションやドアミラーの位置調整、エアコンの設定などを自動で切り替えることができる。わき見運転の検知は顔の向きを識別することで行い、居眠りは目の開き具合（開眼度）を計測して行うことが一般的である。

また、運転者だけでなく、搭乗者も同時にモニタリングできる機能を持つシステムの開発も進められている。広角カメラを用いて１台のカメラで運転者だけでなく搭乗者もモニタリングすることが可能なシステムである。搭乗者の顔認証機能により、搭乗者を同定し好みの音楽の選曲や、搭乗者の手の動きや形などのハンドジェスチャーを認識した車載機器の操作を可能にする。

このような、従来のカメラを用いた運転者・搭乗者モニタリングの課題は、車内の明るさの変化である。車内の照明環境は、夜間の暗い状況から、直射日光を受けた明るい状態まで大きく変化する。特に、車内の一部分が直射日光を受けた場合、画像内で大きな明暗差が生じるためカメラでの認識が困難になる。

この課題を避けるため、車内モニタリングシステムでは近赤外照明と近赤外カメラを用いることが一般的である。しかし、太陽光の中にも近赤外光が含まれるため、直射日光を浴びるような条件では、明暗の差が大きくなりすぎて認識が困難になるという課題があった。

遠赤外カメラを用いることでこの課題を解決することができる。ただし、繰り返し述べているように、従来の遠赤外カメラは視野角が狭く、運転者と搭乗者全員を一台のカメラで撮影することはできなかった。本発明の感熱式撮像装置を用いることで、広い視野を実現し、搭乗者全員のモニタリングが可能になった。

図３６に感熱式撮像装置１０の設置例を示した。感熱式撮像装置１０は自動車のルームミラー２６上のフロントガラス２５近傍に、室内に向けて設置されている。ここでも円筒形ミラー２−２を用いて、視野角を水平方向に広げている。感熱式撮像装置１０は自動車のルーフ２４部分に取り付けられており、視野が下方向を見下ろすように円筒形ミラー２−２は垂直に取り付けられている。

図３７に図３６の感熱式撮像装置１０で撮影した車内の温度画像を示した。画像は見やすくするため、縦方向を1/2に縮小している。運転者３０と３人の同乗者３１（助手席搭乗者と後部座席の２名の同乗者）が撮影されていることがわかる。体温から人を検知しているため、人以外は写らず、搭乗者だけが撮影されている。

画像から、運転者３０が眼鏡をかけていることがわかる。眼鏡は体温より低温度であるため黒く映し出される。また画像から運転者３０が左手の人差し指を立てていることも認識することができる。運転者３０の顔の向きから、よそ見運転の防止を、搭乗者の手の形や動きを認識してオーディオ機器などを操作することができる。解像度の低い温度画像からでも、機械学習による顔認証技術を活用することで個人認証が可能であった。

本発明の感熱式撮像装置１０を車内モニタリングに使うことで、運転者３０だけでなく同乗者３１の様子もモニタすることが可能になった。これにより、運転者３０の注意度合いや眠気をモニタリングすることで、事故の低減を実現することができる。さらに、運転手３０だけでなく搭乗者の位置と動きをモニタし、搭乗者の顔認証機能を利用して搭乗者に合わせた音楽を選曲し、ハンドジェスチャー認識により搭乗者の手の動きや形よる車載機器の操作することが可能になる。さらに、感熱式撮像装置１０では搭乗者の体表面温度から搭乗者ごとに最適なエアコンの温度と風量の制御が可能になった。搭乗者ごとにきめ細かく制御が可能となることで、乗車中の快適さを向上できる。また、後部座席に小児を乗せた場合、運転席から小児の行動や様子を把握することができる。

さらに本発明の感熱式撮像装置１０を用いた運転者モニタリングには別の利用法がある。運転ストレスの評価である。鼻部の温度変化を測定することにより運転ストレスの評価が可能であることが知られており研究が進められている（例えば、山越他、「差分顔面皮膚放射温度を用いた運転ストレス評価の試み―単調運転ストレス負荷による基礎的検討」、 生体医工学 ,48(2), pp.163, 2010）。運転ストレスが高すぎても低すぎても運転パフォーマンスが低下することが知られており、運転中のストレス状態を把握することは安全運転を実現するために重要である。

図３６に示した感熱式撮像装置１０を用いて、運転者のストレスの測定を行った。ストレスによって末梢血管の収縮が起こり、末梢部の皮膚温度が低下する。ここでは、体幹温度と相関の強い額部表面温度と、末梢部の皮膚温度を表す鼻部温度の温度差を測定し、運転ストレスを評価した。温度画像の画像認識により、運転者の額部と鼻部領域を認識し、それぞれの部分の温度から温度差を算出した。ドライブシミュレータで６０分間走行を行いながら、顔面温度を感熱式撮像装置１０で評価した。単調な運転を行うことで、鼻部温度が徐々に低下することが確認された。額部温度と鼻部温度の温度差を指標として、ストレスの評価を行い運転者に警告を行うことが可能になった。

（実施例９）
自律走行車のための感熱式撮像装置

近年、自動運転車の開発が進められている。自動車だけでなく、人間が運転操作を行わない様々な自律走行車両の開発が進められており、一部実用化されている。例えば、自律走行型の建設用重機、搬送用ロボット、配送用ロボット、配膳ロボットなどが実用化されている。また、業務用の大型の掃除ロボットも市販されている。工場などと違って、人やペットが共存する環境で稼働する自律走行車両、自律走行ロボットなどでは安全性、特に人との接触事故の防止が重要視される。走行中に人やペットを自動でリアルタイムに認識し、安全な走行を行うことが求められている。

本発明の感熱式撮像装置１０はこのような用途に利用できる。様々な物が存在する環境においても人やペットを体温から選択的に検出できるため、人やペットとの距離をとって安全に走行することが可能となる。動かない障害物と異なり、人やペットは急に動くことがあり、事故の際の影響も大きいため、通常の障害物よりも人やペットとの距離を十分に取って走行するか、速度を落として走行することは、安全確保のために特に重要である。本発明の感熱式撮像装置１０を用いることで、進行方向の広い範囲で確実に人やペットを認識することができるため、安全な自律走行を実現できる。

図３８に、配送用の自律走行車両への応用例を示した。車両の前方の屋根上に感熱式撮像装置１０が搭載されている。感熱式撮像装置１０の近傍には通常のカメラや近接センサなど他のセンサ類を配置することもできる。

感熱式撮像装置１０により進行方向に存在する人やペットをリアルタイムで認識し、装置に接続された演算装置で走行ルートを変えながら、安全に走行することが可能になった。

本発明の感熱式撮像装置、感熱式撮像装置を用いた見守り監視システムおよび感熱式撮像装置を用いた見守り監視方法は、高齢者の見守りおよびヘルスケアの用途や、車両の歩行者検知、搭乗者モニタリングの用途に有用である。

１ フレーム
2 凸面ミラー
2-1 球面ミラー
2-2 円筒ミラー
2-3 鞍型ミラー
3 遠赤外カメラ
3-１ レンズ,
3-2 遠赤外アレーセンサ
3-3 射出瞳中心点
4 配線
5 シングルボードコンピュータ
5-1 アクセレレーター
6 代表的な光線
6-1 凸面ミラーの法線方向の光線
6-2 凸面ミラーの接線方向の光線
7 遠赤外窓
10 感熱式撮像装置
11 見守り対象者
12 ベッド
13 ドア
14 棚
15 窓
16 床
17 机
18 椅子
19 温度画像
20 ホストコンピュータ
21 携帯端末
22 携帯端末表示内容
23 保護者
23-1 見守りサービス担当者
23-2 駆け付けサービス担当者
24 ルーフ
25 フロントガラス
26 ルームミラー
27 自動車
28 歩行者

29 バイク
30 運転者
31 同乗者
32 ビデオカメラ
33 画像処理部
34 判定部
35 データ保存部
36 出力部

Claims (2)

1. 光軸外し反射屈折光学系を有し、部屋の壁に設置されて用いられる感熱式撮像装置と、
   演算装置と、を備え、
   前記光軸外し反射屈折光学系は、人の検出に用いられる温度画像を撮影するための遠赤外カメラと、前記遠赤外カメラの光軸に対して傾斜する光軸を有する凸面ミラーと、を有し、
   前記光軸外し反射屈折光学系の視野角は１４０°以上であり、
   前記遠赤外カメラにより撮影される前記温度画像は、前記凸面ミラーの反射を利用した歪みの大きな温度画像であり、
   前記演算装置は、前記温度画像内の高温領域の大きさと温度から対象者の頭部を認識し、前記温度画像上の前記頭部の座標を求め、前記座標と前記温度と前記頭部の大きさから前記対象者の３次元空間上の位置を算出することを特徴とする見守り監視システム。
2. 光軸外し反射屈折光学系を有する感熱式撮像装置と、
   演算装置と、
   自動車と、を備え、
   前記光軸外し反射屈折光学系は、人の検出に用いられる温度画像を撮影するための遠赤外カメラと、前記遠赤外カメラの光軸に対して傾斜する光軸を有する凸面ミラーと、を有し、
   前記光軸外し反射屈折光学系の視野角は１４０°以上であり、
   前記演算装置は、前記温度画像における高温領域を人として検出し、
   前記感熱式撮像装置は前記自動車に装着され、
   前記凸面ミラーは、前記自動車の進行方向に向けて装着され、
   前記凸面ミラーは、水平方向において凸曲面状であり、垂直方向において直線状又は凹曲面状であり、
   前記凸面ミラーの垂直方向のミラー面に対し、前記遠赤外カメラが傾斜して配置されており、
   前記凸面ミラーの水平方向の断面形状の曲率を外周部に向かって増加させることにより、円筒形ミラーを用いた場合よりも前記温度画像の中央部の倍率を外周部の倍率に比べてより高くしたことを特徴とする見守り監視システム。

Images