JP7658852B2 - 行動分析システム、および、行動分析方法 - Google Patents

Description

本発明は、行動分析システム、および、行動分析方法に関わる。

計算機性能の飛躍的な向上に伴い、従来よりも大量のデータを処理可能なサーバ装置を有するビックデータ分析システムが提案されている。分析対象となる大量のデータは、インターネットに接続されたモノであるIoT（Internet of Things）デバイスから遠隔でサーバ装置まで収集されることが多い。このように、多数のエッジ側のデバイス（エッジ装置）でデータを収集し、インターネット（クラウド）経由で１台のサーバ装置に集中して大量のデータを処理させるクラウドサービスが普及している。

例えば、特許文献１には、センサによって取得された取得情報を出力する第一出力部と、前記取得情報に含まれる個人情報を個人が特定できない属性情報に変換して、前記属性情報を出力する第二出力部と、を備える情報出力装置が記載されている（請求項１）。
この情報出力装置は、収集した画像データに写る顧客の動線、棚前行動を算出し、その算出結果をテキスト化してサーバ装置に送信することで、サーバ装置にマーケティング情報として分析させる（段落００２２）。

国際公開第２０１６／１１４３９２号

エッジ装置のデバイス数が増大すると、各エッジ装置からのデータを収集して分析するサーバ装置の負荷も増大する。例えば、エッジ装置側で取得した動画データなどの大容量のデータをそのままサーバ装置側に送信してしまうと、サーバ装置までの通信負荷が増大する。また、処理負荷が高いAI（Artificial Intelligence）処理を用いてサーバ装置で分析を行う場合、デバイス数に応じてサーバ装置の処理負荷が増大する。

一方、エッジ装置は、エンドユーザに使用しやすいように、ウェアラブルデバイスやスマートフォンなどの小型で低性能な計算機であり、エッジ装置単体でサーバ装置が行う分析処理をすべて代行することは困難である。

そこで、本発明は、エッジ装置のデバイス数が増大しても、各エッジ装置とサーバ装置とで連携して各人の行動状態を分析可能とすることを主な課題とする。

上記の課題を解決するため、本発明の行動分析システムは以下の特徴を有する。
本発明は、人物の行動を分析するエッジ装置と、前記エッジ装置から転送されたデータを処理するサーバ装置とを備える行動分析システムであって、
前記エッジ装置が、
前記人物を撮像したデータから前記人物の行動を分析する分析処理のうちの前記人物を撮像したデータから、各時刻の前記人物の姿勢を示すデータを分析する処理と、分析した姿勢の時間変化から、前記人物の状態を示すデータとして、前記人物が転倒している旨の転倒状態と、その転倒状態における転倒時間とを分析する処理とを実行するエッジ側分析部と、
前記エッジ側分析部の分析結果から分析処理のうちの前記人物の特定に用いるデータを抽出する処理を実行する分析結果抽出部と、
前記エッジ側分析部による分析結果のデータおよび前記分析結果抽出部が抽出したデータを前記サーバ装置に転送する分析結果転送部とを有しており、
前記サーバ装置が、
前記分析結果転送部から転送されたデータが前記人物ごとに格納されるデータベースと、
前記データベースのデータをもとに、分析処理のうちの分析した前記人物の状態から、前記人物に資するデータとして、前記人物の周囲に介助する別の人物が少ないほど緊急性を高く計算し、転倒時間の長さが長いほど緊急性を高く計算した警報情報を分析する処理を実行し、その分析結果を分析結果表示部に表示するサーバ側分析部を有することを特徴とする。
その他の手段は、後記する。

本発明によれば、エッジ装置のデバイス数が増大しても、各エッジ装置とサーバ装置とで連携して各人の行動状態を分析できる。

本実施形態に関する行動分析システムを示す構成図である。 本実施形態に関するエッジ側分析部とサーバ側分析部との機能分担の第１例を示す構成図である。 本実施形態に関するエッジ側分析部とサーバ側分析部との機能分担の第２例を示す構成図である。 本実施形態に関するエッジ側分析部の具体例を示す構成図である。 本実施形態に関する図４のエッジ側分析部の変形例を示す構成図である。 本実施形態に関する歩き状態分析に着目したときの行動分析システムの動作を示すフローチャートである。 本実施形態に関する２Ｄ映像から人を検出する処理の説明図である。 本実施形態に関する図７で検出された人に対して、姿勢を抽出する処理の説明図である。 本実施形態に関するAIエッジ処理器が処理するデータを示すテーブルである。 本実施形態に関する歩行分析の結果出力を示す第１の画面図である。 本実施形態に関する歩行分析の結果出力を示す第２の画面図である。 本実施形態に関する歩行分析の結果出力を示す第３の画面図である。 本実施形態に関する転倒状態分析部に着目したときの行動分析システムの動作を示すフローチャートである。 本実施形態に関する転倒分析による警報出力を示す第１の画面図である。 本実施形態に関する転倒分析による警報出力を示す第２の画面図である。 本実施形態に関する転倒分析による警報出力を示す第３の画面図である。 本実施形態に関する行動分析システムの各装置のハードウェア構成図である。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、行動分析システム１００を示す構成図である。
行動分析システム１００は、AIエッジ処理器（エッジ装置）１０とクラウドサーバ２０とがネットワーク５０で接続されて構成される。ネットワーク５０は、LAN（Local Area Network）でもよいし、WAN（Wide Area Network）でもよいし、LANとWANとを複合したネットワークでもよい。また、クラウドサーバ２０は、サーバ装置の一例であり、サーバ装置としてクラウドサーバ２０以外の装置を用いてもよい。

なお、AIエッジ処理器１０の台数は図１では２台としたが、１台以上であればよい。また、AIエッジ処理器１０とクラウドサーバ２０との間のネットワーク５０内にキャッシュサーバ（図示省略）を設ける構成としてもよい。その場合、キャッシュサーバが、複数台のAIエッジ処理器１０からデータを収集し、それらのデータをまとめてクラウドサーバ２０に転送することで、通信量を削減できる。

AIエッジ処理器１０は、高齢者（人物）４０の身体状態をセンシングするエッジ側デバイスである。このAIエッジ処理器１０は、例えば、AIの開発者キットをベースに開発することで、開発コストを削減できる。開発者キットとして、例えば、NVIDIA社の製品であるJetson Nano（登録商標）やJetson Xavir NX（登録商標）などの小型のシングルボードが市販されている。

各AIエッジ処理器１０には、USB（Universal Serial Bus）などの有線接続、または、Bluetooth（登録商標）などの無線接続によりカメラ３０が接続される。または、AIエッジ処理器１０に内蔵するカメラ３０を用いてもよい。カメラ３０は、周囲の高齢者４０を動画データとして撮影する。
なお、本実施形態では、カメラ３０の撮影対象を高齢者４０としたが、あくまで行動分析システム１００を介護事業に適用した一例であり、撮影対象（分析対象）の人物は高齢者４０に限定しない。介護事業の一例では、高齢者４０の身体状態をカメラ３０からリアルタイムでセンシングすることで、高齢者４０を遠隔地から見守るクラウドサービスに活用できる。

AIエッジ処理器１０は、データ取得部１１と、エッジ側分析部１２と、分析結果抽出部１３と、分析結果転送部１４とを有する。クラウドサーバ２０は、データベース２１と、データ抽出部２２と、サーバ側分析部２３と、分析結果表示部２４とを有する。
データ取得部１１は、カメラ３０から動画データを取得する。
エッジ側分析部１２およびサーバ側分析部２３は、それぞれ役割分担して、動画データに映る高齢者４０の行動を分析する。つまり、エッジ側分析部１２は、動画データを入力として、分析の前処理データを作成する。分析結果抽出部１３は、エッジ側分析部１２から出力された前処理データから、サーバ側分析部２３の分析処理に必要なデータを抽出し、その抽出したデータを分析結果転送部１４を介してクラウドサーバ２０に転送する。

クラウドサーバ２０は、分析結果転送部１４から転送されたデータを、人物ごと（AIエッジ処理器１０ごと）にデータベース２１に格納する。データ抽出部２２は、データベース２１に格納された人物ごとのデータから、サーバ側分析部２３の分析処理に必要なデータを抽出する。
サーバ側分析部２３は、データ抽出部２２が抽出したデータを入力として、高齢者４０の行動を分析し（後処理し）、その結果を分析結果表示部２４に表示する。

図２は、エッジ側分析部１２とサーバ側分析部２３との役割分担の第１例を示す構成図である。
エッジ側分析部１２は、姿勢分析部１２１と、状態分析部１２２とを有する。サーバ側分析部２３は、行動分析部２３１を有する。
姿勢分析部１２１は、高齢者４０を撮像したデータから、各時刻の高齢者４０の姿勢を示すデータを分析する。例えば、歩行中の高齢者４０は、立っていて左足を前に出している姿勢→右足を前に出している姿勢→左足を前に出している姿勢…の順に姿勢が時間経過とともに変化する（詳細は図８）。
本実施形態では、姿勢を示すデータ表現として、骨格データを例示する。骨格データは、人体にある１７個の関節（鼻、右目、左目、右耳、左耳、右肩、左肩、右手、左手首、右手首、左腰、右腰、左膝、右膝、左足首、右足首）それぞれの位置データとして構成される。

状態分析部１２２は、姿勢分析部１２１が分析した姿勢の時間変化から、高齢者４０の状態を示すデータを分析（状態を分類）する。
例えば、立っていて左足を前に出している姿勢→右足を前に出している姿勢→左足を前に出している姿勢…の順に変化したときには、状態分析部１２２は、高齢者４０の状態を歩行状態と分類する。
または、立っているが前のめりになっている姿勢→右手を床に着けた姿勢→体全体が床に横たわる姿勢…の順に変化したときには、状態分析部１２２は、高齢者４０の状態を転倒状態と分類する。

なお、姿勢分析部１２１および状態分析部１２２の少なくとも一方は、AIエッジ処理器１０（Jetson Nano）上で動作するTensorRTモデルとして実装することで、高速な推論処理が可能となる。TensorRTとは、ディープラーニング推論を高速に実行するなどの用途でNVIDIA社が提供するソフトウェア開発キット（SDK：Software Development Kit）である。

TensorRTモデルの作成処理は、例えば以下の手順である。
（手順１）サンプル収集された学習用の動画データに、人を検知して追跡した結果のタグや、追跡した人の行動の分類結果のタグ（注釈）を、人間（教師の役割）が付与する。
（手順２）手順１の動画データをもとに、機械学習（訓練）を行うことで、学習済モデルを作成する。なお、学習済モデルは、モデル評価により更新される。
（手順３）手順２の学習済モデルを、TensorRTモデルとして変換（移植）することで、TensorRTベースの高速化された推論モデルを作成する。
（手順４）手順３のTensorRTモデルを、エッジ側分析部１２上に配置する。これにより、推論用の動画データをTensorRTモデルに入力することで、動画内の映る人を検知して追跡したり、追跡した人の姿勢や行動を分類したりする処理を高速化できる。

行動分析部２３１は、状態分析部１２２が分析した高齢者４０の状態から、高齢者４０に資するデータを分析する。つまり、行動分析部２３１は、データベース２１内のデータに基づいて、高齢者４０の健康情報をモニタしたり、介護に役立つ情報を作成したりする。例えば、行動分析部２３１は、状態分析部１２２が歩行状態と分類した高齢者４０について、その歩行履歴を分析した結果を高齢者４０に通知する（詳細は図１０－図１２）。
または、行動分析部２３１は、状態分析部１２２が転倒状態と分類した高齢者４０について、近くにいる介護士に対して救助を求める旨を通知する（詳細は図１４－図１６）。

図３は、エッジ側分析部１２とサーバ側分析部２３との役割分担の第２例を示す構成図である。
エッジ側分析部１２は、姿勢分析部１２１を有する。サーバ側分析部２３は、状態分析部２３２と、行動分析部２３１とを有する。行動分析部２３１は、状態分析部１２２と同じ機能である。
つまり、図２の第１例と比較すると、図３の第２例では、エッジ側分析部１２の状態分析部１２２を、サーバ側分析部２３の行動分析部２３１へと移動した。これにより、第２例では、AIエッジ処理器１０の処理負担を軽減することで、ウェアラブルデバイスなどの低性能な計算機であっても、AIエッジ処理器１０に用いることができる。一方、図２の第１例では、前処理を多めにすることで、クラウドサーバ２０の負担を軽減できる。

図４は、エッジ側分析部１２の具体例を示す構成図である。
１台のAIエッジ処理器１０内の状態分析部１２２には、状態ごとの分析部として、歩き状態分析部１２２Ａと、転倒状態分析部１２２Ｂとを有する。AIエッジ処理器１０のうち、分析結果転送部１４の図示は省略する。
歩き状態分析部１２２Ａは、高齢者４０の状態が歩行状態か否かを分析する。転倒状態分析部１２２Ｂは、高齢者４０の状態が転倒状態か否かを分析する。

このように、複数種類の状態分析部を１台のAIエッジ処理器１０に収容することで、AIエッジ処理器１０の配備や持ち運びを容易にする。また、１台のAIエッジ処理器１０内で、歩き状態分析部１２２Ａを動作させる歩き検知モードと、転倒状態分析部１２２Ｂを動作させる転倒検知モードとをスイッチ操作などで切り替えさせてもよい。

図５は、図４のエッジ側分析部１２の変形例を示す構成図である。
図５では、歩き状態分析部１２２Ａを収容するAIエッジ処理器１０Ａと、転倒状態分析部１２２Ｂを収容するAIエッジ処理器１０Ｂとを、別々の装置に分散させる構成とした。
そして、AIエッジ処理器１０ＡおよびAIエッジ処理器１０Ｂは、それぞれ自身が検出した高齢者４０の状態を個別にクラウドサーバ２０に送信する。クラウドサーバ２０は同じ高齢者４０についての複数の状態を統合してデータベース２１に登録する。

このように、状態ごとの分析部を別々のAIエッジ処理器１０に収容することで、各AIエッジ処理器１０が自身の担当する状態を高精度に検知する。
例えば、AIエッジ処理器１０Ａは、高齢者施設のホールや、共用スペースなどに設置される。これにより、歩き状態分析部１２２Ａは、カメラの撮影範囲に歩いている高齢者の歩行状態を分析できる。
一方、AIエッジ処理器１０Ｂは、高齢者の居る個室や、共用スペースなどに設置される。これにより、転倒状態分析部１２２Ｂは、カメラの撮影範囲に居る高齢者の転倒状態を分析できる。
AIエッジ処理器１０Ａ、１０Ｂそれぞれ分析結果は、ネットワーク５０を経由してクラウドサーバ２０へ転送される。これにより、クラウドサーバ２０は、高齢者の状態を分析できる。

図６は、歩き状態分析部１２２Ａに着目したときの行動分析システム１００の動作を示すフローチャートである。
データ取得部１１は、カメラ３０が人物（高齢者４０）を撮像した２Ｄ映像を取得する（Ｓ１１）。
姿勢分析部１２１は、Ｓ１１の２Ｄ映像から人物を検出し、その人物を２Ｄ映像内で追跡する（Ｓ１２）。そして、姿勢分析部１２１は、Ｓ１２で検出された人物に対して、各時刻の姿勢を抽出する（Ｓ１３）。
状態分析部１２２（歩き状態分析部１２２Ａ）は、Ｓ１３で抽出された姿勢の２Ｄ位置をもとに、ある時刻の人物の２Ｄ位置から、次の時刻の人物の２Ｄ位置までに移動した３Ｄ距離（三次元空間内での距離、詳細は図８）を抽出する（Ｓ１４）。

状態分析部１２２（歩き状態分析部１２２Ａ）は、Ｓ１４の３Ｄ距離をもとに、同じ人物の歩き速度、歩幅を算出する（Ｓ１５）。分析結果抽出部１３は、Ｓ１２で検出された人物を特定するための情報、例えば、顔の特徴を示す顔情報などを人情報として抽出し、Ｓ１５の歩き速度、歩幅を歩行情報として抽出する（Ｓ１６）。
分析結果転送部１４は、Ｓ１６で抽出された分析結果（人情報、歩行情報）を、ネットワーク５０経由でクラウドサーバ２０に転送する（Ｓ１７）。なお、分析結果には、Ｓ１３の姿勢を含めてもよい。

クラウドサーバ２０は、Ｓ１７の分析結果（人情報、歩行情報）を受信してデータベース２１に格納する（Ｓ２１）。
データ抽出部２２は、データベース２１から読み込んだ人情報をもとに、その人情報で示される２Ｄ映像内に人が写っている領域（人の領域）を抽出し、データベース２１から歩行情報を抽出する（Ｓ２２）。
行動分析部２３１は、Ｓ２２で抽出された２Ｄ映像内の人の領域に映っている情報をもとに、映っている人が誰なのかを認識し、その認識結果として人物を識別するためのIDを特定する（Ｓ２３）。

行動分析部２３１は、Ｓ２３で特定されたIDごとに、歩行情報（歩き速度、歩幅）から、人物が所定の期間に歩いた距離、平均速度、加速度、歩行能力などの歩行分析を行う（Ｓ２４）。なお、歩行能力は、例えば、運動器不安定症（MADS：Musculoskeletal Ambulation Disability Symptom Complex）の指標であるＴＵＧ（Timed Up & Go Test）に従って計算される。
行動分析部２３１は、Ｓ２４の分析結果を、分析結果表示部２４に出力する（Ｓ２５）。以下、出力内容の一例を挙げる。
・行動分析部２３１が歩行情報（歩行履歴）を分析した結果として、歩行特性の履歴、歩行特徴の分布を分析結果表示部２４に出力する。
・行動分析部２３１が分析した歩行能力をもとに、健康リスクの予測データを分析結果表示部２４に出力する。

図７は、２Ｄ映像から人を検出する処理（Ｓ１２）の説明図である。
カメラ３０は、図面の左側から右側に向かって歩いている人物を、各時刻t1,t2,t3の順に撮影したとする。姿勢分析部１２１は、各時刻t1,t2,t3における人物の位置を検出し（図示では人物を囲む四角形）、その人物を追跡する。

図８は、図７で検出された人に対して、姿勢を抽出する処理（Ｓ１３）の説明図である。
姿勢分析部１２１は、各時刻t1,t2,t3で検出された人物に対して、各関節を黒い点とし、それらの黒い点どうしを接続する線を骨とする骨格データを、姿勢として抽出する。
また、Ｓ１４として、状態分析部１２２（歩き状態分析部１２２Ａ）は、時刻t1の人物位置から時刻t2の人物位置までの３Ｄ距離d12を算出する。同様に、状態分析部１２２は、時刻t2の人物位置から時刻t3の人物位置までの３Ｄ距離d23を算出する。

そして、Ｓ１５として、状態分析部１２２は、３Ｄ距離d12,d23と、時刻t1,t2,t3の経過時間とをもとに、人物の歩き速度を計算する。さらに、状態分析部１２２は、ある時刻t1における人物の歩幅w1を算出する。
また、Ｓ１６として、分析結果抽出部１３は、検出された検出された人物を特定するための人情報として、人物の顔画像f1や顔情報を抽出する。顔情報とは、顔画像から抽出される認証情報であり、顔認証用の特徴情報や、目の虹彩情報などが例示される。

図９は、AIエッジ処理器１０が処理するデータを示すテーブルである。
テーブル２０１は、AIエッジ処理器１０の内部で生成されるデータであり（Ｓ１１－Ｓ１５）、テーブル２０２は、テーブル２０１をもとに、分析結果転送部１４がクラウドサーバ２０に転送するデータである（Ｓ１６、Ｓ１７）。
テーブル２０１は、図６のＳ１１のカメラ映像と、Ｓ１２の人の検出結果と、Ｓ１３の姿勢情報（２Ｄ位置）と、Ｓ１４の３Ｄ距離と、Ｓ１５の歩行情報とを対応付ける。

Ｓ１１のカメラ映像は、JPG（Joint Photographic Experts Group）画像や、PNG（Portable Network Graphics）画像として、データ取得部１１により取得される。
Ｓ１２の人の検出結果は、人物ごとに、その人物が映る領域の枠と、その人物のIDとの組み合わせデータである。なお、Ｓ１２の時点では、人物のIDは、その人物がだれかを特定するものではなく、ある人物が10秒後にはどこに移動したかという追跡をするために、つまり、他の人物と区別するために用いられる。

Ｓ１３の姿勢情報は、人物の計17個の関節ごとに、画像内での２Ｄ位置(縦位置u,横位置v)を示す情報である。
Ｓ１４の３Ｄ距離は、人物の計17個の関節ごとの位置情報を、画像内での２Ｄ位置(u,v)から、実空間内での３Ｄ位置(x,y,z)に置き換えた情報であり、この３Ｄ位置の時間差分が３Ｄ距離となる。
Ｓ１５の歩行情報は、例えば、人物の歩幅や歩き速度である。

テーブル２０２は、図６のＳ１６の人情報と、Ｓ１６の歩行情報と、姿勢情報（Ｓ１３の２Ｄ位置(u,v)、Ｓ１４の３Ｄ距離(x,y,z)）とを対応付ける。
Ｓ１６の人情報は、例えば、図８の高齢者f1の特定情報として、顔の特徴（輪郭、口の大きさなど）や、服の特徴（色、種類など）を含む。
Ｓ１６の歩行情報は、例えば、人物の状態＝歩行中、歩幅＝65[cm]、速度＝1.0[m/s]、加速度＝+0.1[m/sの2乗]を含む。

図１０は、歩行分析の結果出力（Ｓ２５）を示す第１の画面図である。
表示画面２１１は、横軸を日付とし縦軸を歩行情報の数値とする時系列のグラフと、その横軸の日付に対応して映像データの再生を起動するための「映像」ボタン２１３Ｂとを有する。
時系列のグラフでは、人物の歩幅、歩き速度、加速度などのＳ１５の歩行情報が、互いに区別して（グラフ線の色や線の種類を別々にするなど）表示される。ユーザは、このグラフを確認し、気になった日付の「映像」ボタン２１３Ｂを押下することにより、その日付に撮影された人物の映像データを確認できる。

図１１は、歩行分析の結果出力（Ｓ２５）を示す第２の画面図である。
表示画面２１２は、行動分析部２３１が分析した歩行能力を含む人物の各能力（判断力、記憶力、注意力）をレーダーチャートの形式で表示する。各能力は１～５の５段階で評価され、数値が大きいほど能力が高い。なお、歩行能力以外の能力値は、事前に測定された結果がデータベース２１に格納されている。
この表示画面２１２のように、高齢者の生活能力を正しく評価して提示することで、要介護状態となる前のフレイル状態を適切に認識させることができる。

図１２は、歩行分析の結果出力（Ｓ２５）を示す第３の画面図である。
表示画面２２０は、行動分析部２３１が分析した歩行能力の時系列グラフ２２１と、その時系列グラフ２２１における歩行能力の変化から行動分析部２３１が提案するリコメンドメッセージ２２２とを有する。
これにより、転倒・骨折の危険性がある要介護状態となる前に適切なリハビリテーションを高齢者に促すことで、尊厳ある高齢者の自立を支援できる。

図１３は、転倒状態分析部１２２Ｂに着目したときの行動分析システム１００の動作を示すフローチャートである。図６（歩き状態分析部１２２Ａに着目したフローチャート）と同じ処理については、同じ符号を用いて説明を省略する。
AIエッジ処理器１０の処理（Ｓ１１－Ｓ１３）は、図６で説明した通りである。姿勢分析部１２１は、Ｓ１１で取得した２Ｄ映像から人物を検出し、その人物を２Ｄ映像内で追跡する（Ｓ１２）。そして、姿勢分析部１２１は、Ｓ１２で検出された人物に対して、各時刻の姿勢を抽出する（Ｓ１３）。

状態分析部１２２は、Ｓ１３で抽出した人物の姿勢の時間変化から、その人物の状態を認識（分類）する（Ｓ１４Ｂ）。
転倒状態分析部１２２Ｂは、Ｓ１４Ｂで認識した人物の状態が転倒状態か否かを判定する（Ｓ１５Ｂ）。転倒状態なら（Ｓ１５ＢでYes）Ｓ１６Ｂに進み、就寝状態など他の状態なら（Ｓ１５ＢでNo）Ｓ１１に戻る。

分析結果抽出部１３は、図６のＳ１６と同じ人情報と、転倒状態の人物についての情報（転倒情報）とを、Ｓ１１の２Ｄ映像から抽出する（Ｓ１６Ｂ）。転倒情報とは、例えば、人物の各時刻における転倒有無や、転倒有の場合の転倒時間（転倒してから起き上がらずに経過した時間）である。
分析結果転送部１４は、Ｓ１６Ｂの人情報および転倒情報（Ｓ１３の姿勢情報を含めてもよい）とを、ネットワーク５０経由でクラウドサーバ２０に転送する（Ｓ１７Ｂ）。

クラウドサーバ２０は、Ｓ１７Ｂの分析結果（人情報、転倒情報）を受信してデータベース２１に格納する（Ｓ２１Ｂ）。
データ抽出部２２は、データベース２１から読み込んだ人情報をもとに、その人情報で示される２Ｄ映像内に人が写っている領域（人の領域）を抽出し、データベース２１から転倒情報を抽出する（Ｓ２２Ｂ）。
行動分析部２３１は、Ｓ２２で抽出された２Ｄ映像内の人の領域に映っている情報をもとに、映っている人が誰なのかを認識し、その認識結果として人物を識別するためのIDを特定する（図６のＳ２３と同じ）。

行動分析部２３１は、Ｓ２２Ｂで抽出した転倒情報を用いて、Ｓ２３の転倒した人物について救助の緊急性を分析する（Ｓ２４Ｂ）。転倒時間が長いほど、行動分析部２３１は緊急性を高く計算する。また、転倒した人物の周囲に介助する別の人物が少ないほど（例えば、個室で１人だけ転倒している状況ほど）、行動分析部２３１は緊急性を高く計算する。
行動分析部２３１は、Ｓ２４Ｂの分析結果を、分析結果表示部２４に出力する（Ｓ２５Ｂ）。なお、緊急性が高いほど、警報情報の出力度合いも高くしてもよい。出力度合いが高いとは、画面で強調表示したり、画面表示に加えて警報音（アラーム）を再生したり、クラウドサーバ２０だけでなく、AIエッジ処理器１０や高齢者の家族の端末も警報の出力先に追加したりする、などである。

図１４は、転倒分析による警報出力（Ｓ２５Ｂ）を示す第１の画面図である。
画面図２２０Ａは、転倒状態の高齢者４０およびその周囲に存在する別の人物の位置関係を示す見取り図欄２２１Ａと、行動分析部２３１の分析結果である警報情報の出力欄２２２Ａとを含む。
この見取り図欄２２１Ａの状況では、高齢者Ａの行動を分析するAIエッジ処理器１０が高齢者Ａの転倒状態を検知したものの、同じ部屋内の近傍には介護士が位置することも検知する。よって、行動分析部２３１は、介護士が高齢者Ａをただちに介助することが期待されるので、「通知は不要です」との分析結果を警報情報の出力欄２２２Ａに出力する。

図１５は、転倒分析による警報出力（Ｓ２５Ｂ）を示す第２の画面図である。
画面図２２０Ｂは、図１４と同様に、見取り図欄２２１Ｂと、警報情報の出力欄２２２Ｂとを含む。
この見取り図欄２２１Ｂの状況では、高齢者Ａの転倒状態だけでなく、近傍の高齢者Ａの転倒状態もAIエッジ処理器１０により検知される。一方、その高齢者Ａ，Ｂのいる部屋の近傍には介護士が待機していることも、事前にデータベース２１に登録されている。
よって、行動分析部２３１は、介護士を高齢者Ａ，Ｂの介助に向かわせるために、「高齢者Ａ，Ｂが転倒しています。近くの介護士に自動通知します」との分析結果を警報情報の出力欄２２２Ｂに出力する。また、行動分析部２３１は、介護士の保持する端末にその自動通知を送信する。

図１６は、転倒分析による警報出力（Ｓ２５Ｂ）を示す第３の画面図である。
画面図２２０Ｃは、図１４と同様に、見取り図欄２２１Ｃと、警報情報の出力欄２２２Ｃとを含む。
この見取り図欄２２１Ｃの状況では、高齢者Ａが個室で転倒状態であることがAIエッジ処理器１０により検知される。一方、その高齢者Ａのいる部屋の近傍には介護士が不在であることがデータベース２１に登録されている。
よって、行動分析部２３１は、高齢者Ａの家族などに緊急事態を通知するために、「高齢者Ａが転倒し、近くに介護士はいません。救急に緊急連絡をお願いします」との分析結果を警報情報の出力欄２２２Ｃに出力する。これにより、高齢者Ａの家族は、迅速に救急活動を要請できる。

以上、図１４－図１６で説明したように、１台のAIエッジ処理器１０により検知される「高齢者Ａが転倒状態である」という同じ状況であっても、その周囲に存在する別の人との関係により、警報情報の出力有無や、出力内容を変化させることができる。これは、サーバ側分析部２３が高齢者Ａの転倒状態と、その周囲の人物の状態とを併せて参照して、警報情報を決定するからである。
そのために、AIエッジ処理器１０が単体で各高齢者の転倒状態を分析する構成に加え、クラウドサーバ２０が複数の人物の状態をデータベース２１にて管理する構成も併せて、クラウドサービスとして構築しておくことが有効である。

図１７は、行動分析システム１００の各装置（AIエッジ処理器１０、クラウドサーバ２０）のハードウェア構成図である。
行動分析システム１００の各装置は、ＣＰＵ９０１と、ＲＡＭ９０２と、ＲＯＭ９０３と、ＨＤＤ９０４と、通信Ｉ／Ｆ９０５と、入出力Ｉ／Ｆ９０６と、メディアＩ／Ｆ９０７とを有するコンピュータ９００として構成される。
通信Ｉ／Ｆ９０５は、外部の通信装置９１５と接続される。入出力Ｉ／Ｆ９０６は、入出力装置９１６と接続される。メディアＩ／Ｆ９０７は、記録媒体９１７からデータを読み書きする。さらに、ＣＰＵ９０１は、ＲＡＭ９０２に読み込んだプログラム（アプリケーションや、その略のアプリとも呼ばれる）を実行することにより、各処理部を制御する。そして、このプログラムは、通信回線を介して配布したり、ＣＤ－ＲＯＭ等の記録媒体９１７に記録して配布したりすることも可能である。

以上説明した本実施形態では、大容量のカメラ３０の映像データをそのままAIエッジ処理器１０からクラウドサーバ２０に伝送して、クラウドサーバ２０がすべての分析処理を行うクラウドサービスの負荷を削減した。つまり、AIエッジ処理器１０のエッジ側分析部１２が映像データを前処理してデータ量を削減してから、クラウドサーバ２０に伝送してサーバ側分析部２３の後処理に引き継がせることとした。
これにより、リアルタイムかつ遠隔で人の身体状態をセンシングするクラウドサービスを、低コストかつ低負荷で実現できる。

なお、AIエッジ処理器１０と、クラウドサーバ２０とで、以下のように負荷分散できる。
・ネットワーク５０には、大容量の映像データではなく前処理されてデータ量が削減されたデータが伝送されるので、通信負荷を削減できる。
・AIエッジ処理器１０は、すべての分析処理を担うのではなく、一部の前処理だけを担うので、ウェアラブルデバイスやスマートフォンなどの小型で低性能な計算機でも動作できる。
・クラウドサーバ２０は、AIエッジ処理器１０で前処理されたデータを受信し、後処理だけをすればよいので、処理負荷を削減できる。

１０ AIエッジ処理器（エッジ装置）
１１ データ取得部
１２ エッジ側分析部
１３ 分析結果抽出部
１４ 分析結果転送部
２０ クラウドサーバ（サーバ装置）
２１ データベース
２２ データ抽出部
２３ サーバ側分析部
２４ 分析結果表示部
３０ カメラ
４０ 高齢者（人物）
５０ ネットワーク
１００ 行動分析システム
１２１ 姿勢分析部
１２２ 状態分析部
１２２Ａ 歩き状態分析部
１２２Ｂ 転倒状態分析部
２３１ 行動分析部
２３２ 状態分析部

Claims (7)

1. 人物の行動を分析するエッジ装置と、前記エッジ装置から転送されたデータを処理するサーバ装置とを備える行動分析システムであって、
   前記エッジ装置は、
   前記人物を撮像したデータから前記人物の行動を分析する分析処理のうちの前記人物を撮像したデータから、各時刻の前記人物の姿勢を示すデータを分析する処理と、分析した姿勢の時間変化から、前記人物の状態を示すデータとして、前記人物が転倒している旨の転倒状態と、その転倒状態における転倒時間とを分析する処理とを実行するエッジ側分析部と、
   前記エッジ側分析部の分析結果から分析処理のうちの前記人物の特定に用いるデータを抽出する処理を実行する分析結果抽出部と、
   前記エッジ側分析部による分析結果のデータおよび前記分析結果抽出部が抽出したデータを前記サーバ装置に転送する分析結果転送部とを有しており、
   前記サーバ装置は、
   前記分析結果転送部から転送されたデータが前記人物ごとに格納されるデータベースと、
   前記データベースのデータをもとに、分析処理のうちの分析した前記人物の状態から、前記人物に資するデータとして、前記人物の周囲に介助する別の人物が少ないほど緊急性を高く計算し、転倒時間の長さが長いほど緊急性を高く計算した警報情報を分析する処理を実行し、その分析結果を分析結果表示部に表示するサーバ側分析部を有することを特徴とする
   行動分析システム。
2. 人物の行動を分析するエッジ装置と、前記エッジ装置から転送されたデータを処理するサーバ装置とを備える行動分析システムであって、
   前記エッジ装置は、
   前記人物を撮像したデータから前記人物の行動を分析する分析処理のうちの前記人物を撮像したデータから、各時刻の前記人物の姿勢を示すデータを分析する処理を実行するエッジ側分析部と、
   前記エッジ側分析部の分析結果から分析処理のうちの前記人物の特定に用いるデータを抽出する処理を実行する分析結果抽出部と、
   前記エッジ側分析部による分析結果のデータおよび前記分析結果抽出部が抽出したデータを前記サーバ装置に転送する分析結果転送部とを有しており、
   前記サーバ装置は、
   前記分析結果転送部から転送されたデータが前記人物ごとに格納されるデータベースと、
   前記データベースのデータをもとに、分析処理のうちの前記エッジ側分析部が分析した姿勢の時間変化から、前記人物の状態を示すデータとして、前記人物が転倒している旨の転倒状態と、その転倒状態における転倒時間とを分析する処理と、その分析した前記人物の状態から、前記人物に資するデータとして、前記人物の周囲に介助する別の人物が少ないほど緊急性を高く計算し、転倒時間の長さが長いほど緊急性を高く計算した警報情報を分析する処理を実行し、その分析結果を分析結果表示部に表示するサーバ側分析部を有することを特徴とする
   行動分析システム。
3. 前記人物の状態を示すデータは、前記人物が歩行している旨の歩行状態と、その歩行状態における歩行速度および歩幅である歩行情報とをさらに含み、
   前記人物に資するデータは、前記人物が所定の期間に歩いた距離、平均速度、および、歩行能力のうちの少なくとも１つをさらに含むことを特徴とする
   請求項１または請求項２に記載の行動分析システム。
4. 前記サーバ装置は、歩行情報の分析結果の時間変化を示すグラフと、その時間変化に応じたリコメンドメッセージとを前記分析結果表示部に表示することを特徴とする
   請求項３に記載の行動分析システム。
5. 前記サーバ装置は、前記転倒状態の人物およびその周囲に存在する前記別の人物の位置関係を示す見取り図と、その位置関係に応じた警報情報とを前記分析結果表示部に表示することを特徴とする
   請求項１または請求項２に記載の行動分析システム。
6. 人物の行動を分析するエッジ装置と、前記エッジ装置から転送されたデータを処理するサーバ装置とを備える行動分析システムが実行する行動分析方法であって、
   前記エッジ装置は、
   前記人物を撮像したデータから前記人物の行動を分析する分析処理のうちの前記人物を撮像したデータから、各時刻の前記人物の姿勢を示すデータを分析する処理と、分析した姿勢の時間変化から、前記人物の状態を示すデータとして、前記人物が転倒している旨の転倒状態と、その転倒状態における転倒時間とを分析する処理とを実行するエッジ側分析部と、
   前記エッジ側分析部の分析結果から分析処理のうちの前記人物の特定に用いるデータを抽出する処理を実行する分析結果抽出部と、
   前記エッジ側分析部による分析結果のデータおよび前記分析結果抽出部が抽出したデータを前記サーバ装置に転送する分析結果転送部とを有しており、
   前記サーバ装置は、
   前記分析結果転送部から転送されたデータが前記人物ごとに格納されるデータベースと、
   前記データベースのデータをもとに、分析処理のうちの分析した前記人物の状態から、前記人物に資するデータとして、前記人物の周囲に介助する別の人物が少ないほど緊急性を高く計算し、転倒時間の長さが長いほど緊急性を高く計算した警報情報を分析する処理を実行し、その分析結果を分析結果表示部に表示するサーバ側分析部を有することを特徴とする
   行動分析方法。
7. 人物の行動を分析するエッジ装置と、前記エッジ装置から転送されたデータを処理するサーバ装置とを備える行動分析システムが実行する行動分析方法であって、
   前記エッジ装置は、
   前記人物を撮像したデータから前記人物の行動を分析する分析処理のうちの前記人物を撮像したデータから、各時刻の前記人物の姿勢を示すデータを分析する処理を実行するエッジ側分析部と、
   前記エッジ側分析部の分析結果から分析処理のうちの前記人物の特定に用いるデータを抽出する処理を実行する分析結果抽出部と、
   前記エッジ側分析部による分析結果のデータおよび前記分析結果抽出部が抽出したデータを前記サーバ装置に転送する分析結果転送部とを有しており、
   前記サーバ装置は、
   前記分析結果転送部から転送されたデータが前記人物ごとに格納されるデータベースと、
   前記データベースのデータをもとに、分析処理のうちの前記エッジ側分析部が分析した姿勢の時間変化から、前記人物の状態を示すデータとして、前記人物が転倒している旨の転倒状態と、その転倒状態における転倒時間とを分析する処理と、その分析した前記人物の状態から、前記人物に資するデータとして、前記人物の周囲に介助する別の人物が少ないほど緊急性を高く計算し、転倒時間の長さが長いほど緊急性を高く計算した警報情報を分析する処理を実行し、その分析結果を分析結果表示部に表示するサーバ側分析部を有することを特徴とする
   行動分析方法。

Images