JP7465773B2 - システム、電子機器、電子機器の制御方法、及びプログラム - Google Patents

Description

本開示は、システム、電子機器、電子機器の制御方法、及びプログラムに関する。

例えば介護施設のような現場において、要看護者又は要介護者などのような被監視者の行動を監視する装置が提案されている。例えば、特許文献１は、撮像装置で得られた画像に基づいて、被監視者における所定の行動を検知する被監視者システムを開示している。特許文献２は、対象者の足に検出装置を装着することにより、対象者が歩行中に転倒するのを予防する転倒予防システムを開示している。また、特許文献３は、温度分布を検出することにより、人体の体位を判定する見守り支援装置を開示している。また、引用文献４は、在宅、又は老人ホーム若しくは介護施設における老年精神病患者を監視するための医療システムを開示している。

特開２０１７－９１５５２号公報 特開２０１７－２２１５０２号公報 特開２０１４－１０６６３６号公報 特開２００３－９１７９０号公報

被監視対象を監視することにより、被監視対象の周囲の安全に供することができれば、有益である。

本開示の目的は、被監視対象の周囲の安全に供し得るシステム、電子機器、電子機器の制御方法、及びプログラムを提供することにある。

一実施形態に係るシステムは、撮像部と、抽出部と、コントローラとを備える。前記撮像部は、被監視対象及び他の人物又は前記他の人物に関連する物体を撮像する。前記抽出部は、前記撮像部によって撮像された画像から前記被監視対象の所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標を抽出する。前記コントローラは、前記撮像部によって撮像された経時的な画像において前記被監視対象が前記他の人物に対して暴力を振るう動作の開始時点及び終了時点を示すタイミング情報に基づいて、前記開始時点と前記終了時点との間における前記被監視対象の所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標と、前記被監視対象が前記他の人物に対して暴力を振るう動作の開始との関係を機械学習する。

また、一実施形態に係るシステムは、
被監視対象及び他の人物又は前記他の人物に関連する物体を撮像する撮像部と、
前記撮像部によって撮像された画像から前記被監視対象の所定部位の座標及び他の人物の所定部位の座標又は前記他の人物に関連する物体の座標を抽出する抽出部と、
人間が他の人間に対して暴力を振るう動作の開始時点と終了時点との間における前記人間の所定部位の座標及び前記他の人間の所定部位の座標又は前記他の人間に関連する物体の座標と、前記人間が前記他の人間に対して暴力を振るう動作の開始との関係が機械学習された機械学習データに基づいて、前記抽出部によって抽出された前記被監視対象の所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標から、前記被監視対象が前記他の人物に対して暴力を振るう動作の開始を推定するコントローラと、
を備える。

一実施形態に係る電子機器は、
被監視対象及び他の人物又は前記他の人物に関連する物体を含んで撮像された画像から前記被監視対象の所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標を抽出する抽出部と、
前記被監視対象を含んで撮像された経時的な画像において前記被監視対象が前記他の人物に対して暴力を振るう動作の開始時点及び終了時点を示すタイミング情報に基づいて、前記開始時点と前記終了時点との間における前記被監視対象の所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標と、前記被監視対象が前記他の人物に対して暴力を振るう動作の開始との関係を機械学習するコントローラと、
を備える。

また、一実施形態に係る電子機器は、
被監視対象及び他の人物又は前記他の人物に関連する物体を含んで撮像された画像から前記被監視対象の所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標を抽出する抽出部と、
人間が他の人間に対して暴力を振るう動作の開始時点と終了時点との間における前記人間の所定部位の座標及び前記他の人間の所定部位の座標又は前記他の人間に関連する物体の座標と、前記人間が前記他の人間に対して暴力を振るう動作の開始との関係が機械学習された機械学習データに基づいて、前記抽出部によって抽出された前記被監視対象の所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標から、前記被監視対象が前記他の人物に対して暴力を振るう動作の開始を推定するコントローラと、
を備える。

一実施形態に係る電子機器の制御方法は、
被監視対象及び他の人物又は前記他の人物に関連する物体を撮像する撮像ステップと、
前記撮像ステップによって撮像された画像から前記被監視対象の所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標を抽出する抽出ステップと、
前記撮像ステップによって撮像された経時的な画像において前記被監視対象が前記他の人物に対して暴力を振るう動作の開始時点及び終了時点を示すタイミング情報に基づいて、前記開始時点と前記終了時点との間における前記被監視対象の所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標と、前記被監視対象が前記他の人物に対して暴力を振るう動作の開始との関係を機械学習する機械学習ステップと、
を含む。

また、一実施形態に係る電子機器の制御方法は、
被監視対象及び他の人物又は前記他の人物に関連する物体を撮像する撮像ステップと、
前記撮像ステップによって撮像された画像から前記被監視対象の所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標を抽出する抽出ステップと、
人間が他の人間に対して暴力を振るう動作の開始時点と終了時点との間における前記人間の所定部位の座標及び前記他の人間の所定部位の座標又は前記他の人間に関連する物体の座標と、前記人間が前記他の人間に対して暴力を振るう動作の開始との関係が機械学習された機械学習データに基づいて、前記抽出ステップによって抽出された前記被監視対象の所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標から、前記被監視対象が前記他の人物に対して暴力を振るう動作の開始を推定する推定ステップと、
を含む。

一実施形態に係るプログラムは、
コンピュータに、
被監視対象及び他の人物又は前記他の人物に関連する物体を撮像する撮像ステップと、
前記撮像ステップによって撮像された画像から前記被監視対象の所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標を抽出する抽出ステップと、
前記撮像ステップによって撮像された経時的な画像において前記被監視対象が前記他の人物に対して暴力を振るう動作の開始時点及び終了時点を示すタイミング情報に基づいて、前記開始時点と前記終了時点との間における前記所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標と、前記被監視対象が前記他の人物に対して暴力を振るう動作の開始との関係を機械学習する機械学習ステップと、
を実行させる。

また、一実施形態に係るプログラムは、
コンピュータに、
被監視対象及び他の人物又は前記他の人物に関連する物体を撮像する撮像ステップと、
前記撮像ステップによって撮像された画像から前記被監視対象の所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標を抽出する抽出ステップと、
人間が他の人間に対して暴力を振るう動作の開始時点と終了時点との間における前記人間の所定部位の座標及び前記他の人間の所定部位の座標又は前記他の人間に関連する物体の座標と、前記人間が前記他の人間に対して暴力を振るう動作の開始との関係が機械学習された機械学習データに基づいて、前記抽出ステップによって抽出された前記被監視対象の所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標から、前記被監視対象が前記他の人物に対して暴力を振るう動作の開始を推定する推定ステップと、
を実行させる。

一実施形態によれば、被監視対象の周囲の安全に供し得るシステム、電子機器、電子機器の制御方法、及びプログラムを提供することができる。

一実施形態に係るシステムの概略構成を示す機能ブロック図である。 一実施形態に係るシステムによる学習フェーズの動作を説明するフローチャートである。 一実施形態に係るシステムによって撮像される画像の例を示すフローチャートである。 一実施形態に係るシステムによって撮像される画像の例を示すフローチャートである。 一実施形態に係るシステムによって抽出される所定の部位の例を示す図である。 一実施形態に係るシステムによって撮像される画像から抽出される所定の部位の例を示す図である。 一実施形態に係るシステムによって抽出される所定の部位の座標について説明する図である。 一実施形態に係るシステムによって撮像される画像から抽出される所定の部位の例を示す図である。 一実施形態に係るシステムによって撮像される画像から抽出される所定の部位の例を示す図である。 一実施形態に係るシステムによって取得されるタイミング情報について説明する図である。 一実施形態に係るシステムによる推定フェーズの動作を説明するフローチャートである。 一実施形態に係るシステムによる推定について説明する図である。

本開示において、「電子機器」とは、電力により駆動する機器としてよい。また、「システム」とは、電力により駆動する機器を含むものとしてよい。また、「ユーザ」とは、一実施形態に係るシステム及び／又は電子機器を使用する者（典型的には人間）としてよい。ユーザは、一実施形態に係るシステム及び／又は電子機器を用いることで、被監視対象の監視を行う者を含んでもよい。また、「被監視対象」とは、一実施形態に係るシステム及び／又は電子機器によって監視される対象となる者（例えば人間又は動物）としてよい。さらに、ユーザは、被監視対象を含んでもよい。

一実施形態に係るシステムが利用される場面として想定されるのは、例えば、会社、病院、老人ホーム、学校、スポーツジム、及び介護施設などのような、社会活動を行う者が使用する特定の施設などとしてよい。例えば、会社であれば従業員などの健康状態の把握及び／又は管理は、極めて重要である。同様に、病院であれば患者及び医療従事者など、また老人ホームであれば入居者及びスタッフなどの健康状態の把握及び／又は管理は、極めて重要である。一実施形態に係るシステムが利用される場面は、上述の、会社、病院、及び老人ホームなどの施設に限定されず、被監視対象の健康状態の把握及び／又は管理などが望まれる任意の施設としてよい。任意の施設は、例えば、ユーザの自宅などの非商業施設も含んでもよい。また、一実施形態に係るシステムが利用される場面は、例えば、電車、バス、及び飛行機などの移動体内、並びに、駅及び乗り場などとしてもよい。

一実施形態に係るシステムは、例えば、介護施設などにおいて、要看護者又は要介護者などのような被監視対象の行動を監視する用途で用いられてよい。一実施形態に係るシステムは、例えば要看護者又は要介護者などのような被監視対象が被監視対象を介護したり看護したりするスタッフなどの他の人物に対して暴力を振るう動作を監視することができる。暴力を振るう動作は、他の人物を叩いたり殴ったり押したり蹴ったり体当たりしたり噛みついたりする動作を含んでよい。暴力を振るう動作は、他の人物が座っている椅子又は車椅子を押したり揺らしたりする動作を含んでよい。暴力を振るう動作は、これらに限られず、他の種々の動作を含んでよい。

特に、一実施形態に係るシステムは、例えば要看護者又は要介護者などのような被監視対象が他の人物に近づいている場合に、被監視対象が前記他の人物に対して暴力を振るう動作が開始する前又は終了する前に、所定の警告を発することができる。したがって、一実施形態に係るシステムによれば、例えば介護施設などのスタッフは、例えば要看護者又は要介護者などのような被監視対象が他の人物に対して暴力を振るったりさらに暴力を振るい続けたりする前に、被監視対象が他の人物に対して暴力を振るったり暴力を振るい続けたりしようとしていることを認識し得る。

以下、一実施形態に係るシステムについて、図面を参照して詳細に説明する。

図１は、一実施形態に係るシステムの概略構成を示す図である。図１に示すように、一実施形態に係るシステム１は、電子機器１０及び撮像部２０を含んで構成されてよい。電子機器１０と撮像部２０とは、有線若しくは無線、又は有線及び無線の組合せにより接続されてよい。一実施形態に係るシステム１は、図１に示す機能部の一部を含まなくてもよいし、図１に示す以外の機能部を含んでもよい。例えば、一実施形態に係るシステム１は、警告部１７及び通信部１９の少なくとも一方を備えなくてもよい。また、例えば、一実施形態に係るシステム１は、画像を表示可能なディスプレイ及び／又はメモリカードなどのストレージを挿入可能なスロットなどを備えてもよい。

図１に示す撮像部２０は、例えばデジタルカメラのような、電子的に画像を撮像するイメージセンサを含んで構成されてよい。撮像部２０は、ＣＣＤ（Charge Coupled Device Image Sensor）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等のように、光電変換を行う撮像素子を含んで構成されてよい。撮像部２０は、例えば図１に示すように、被監視対象Ｔを撮像してよい。ここで、被監視対象Ｔは、例えば人間としてよい。撮像部２０は、撮像した画像を信号に変換して、電子機器１０に送信してよい。例えば、撮像部２０は、撮像した画像に基づく信号を、電子機器１０の抽出部１１、記憶部１３、及び／又は、コントローラ１５などに送信してよい。撮像部２０は、被監視対象Ｔを撮像するものであれば、デジタルカメラのような撮像デバイスに限定されず、任意のデバイスとしてよい。撮像部２０は、有線、無線、若しくはこれらの任意の組み合わせにより電子機器１０と接続されている。

一実施形態において、撮像部２０は、例えば被監視対象Ｔを所定時間ごと（例えば秒間１５フレーム）の静止画として撮像してもよい。また、一実施形態において、撮像部２０は、例えば被監視対象Ｔを連続した動画として撮像してもよい。

図１に示すように、一実施形態に係る電子機器１０は、抽出部１１、記憶部１３、コントローラ１５、警告部１７、及び通信部１９を備えてよい。一実施形態に係る電子機器１０は、図１に示す機能部の一部を備えなくてもよいし、図１に示す以外の機能部を備えてもよい。例えば、一実施形態に係る電子機器１０は、記憶部１３に記憶される後述の機械学習データ１３２を備えてもよい。例えば、一実施形態に係る電子機器１０は、後述の機械学習データ１３２の少なくとも一部が、外部サーバなどの外部機器に記憶されているとしてもよい。

抽出部１１は、撮像部２０によって撮像された画像から、所定の特徴点を抽出する機能を有してよい。例えば、抽出部１１は、撮像部２０によって撮像された被監視対象Ｔの画像から、当該被監視対象Ｔの身体における所定部位のような特徴点の座標を抽出してもよい。ここで、特徴点については、さらに後述する。一実施形態において、抽出部１１は、撮像部２０によって撮像された被監視対象Ｔの画像から、当該被監視対象Ｔの頭部、体幹、四肢、及び／又は各関節などの各部の座標を抽出してもよい。抽出部１１は、専用のハードウェアとして構成されてもよいし、少なくとも一部にソフトウェアを含めて構成されてもよいし、全てソフトウェアで構成されているとしてもよい。このように、抽出部１１は、撮像部２０によって撮像された画像から、被監視対象Ｔの所定部位の座標を抽出してよい。抽出部１１は、他の人物Ｗ（図３など参照）の画像から、他の人物Ｗの身体における所定部位のような特徴点の座標を抽出してもよい。抽出部１１は、撮像部２０によって撮像された画像から、他の人物Ｗの所定部位の座標を抽出してよい。抽出部１１は、撮像部２０によって撮像された画像から、他の人物Ｗが座っている椅子又は車椅子などを認識してもよい。他の人物Ｗが座っている椅子又は車椅子などは、他の人物Ｗに関連する物体とも称される。

記憶部１３は、各種の情報を記憶するメモリとしての機能を有してよい。記憶部１３は、例えばコントローラ１５において実行されるプログラム、及び、コントローラ１５において実行された処理の結果などを記憶してよい。また、記憶部１３は、コントローラ１５のワークメモリとして機能してよい。記憶部１３は、例えば半導体メモリ等により構成することができるが、これに限定されず、任意の記憶装置とすることができる。例えば、記憶部１３は、一実施形態に係る電子機器１０に挿入されたメモリカードのような記憶媒体としてもよい。また、記憶部１３は、後述のコントローラ１５として用いられるＣＰＵの内部メモリであってもよいし、コントローラ１５に別体として接続されるものとしてもよい。

図１に示すように、記憶部１３は、例えば機械学習データ１３２を記憶してもよい。ここで、機械学習データ１３２は、機械学習によって生成されるデータとしてよい。また、機械学習とは、特定のタスクをトレーニングによって実行可能になるＡＩ（Artificial Intelligence）の技術に基づくものとしてよい。より具体的には、機械学習とは、コンピュータのような情報処理装置が多くのデータを学習し、分類及び／又は予測などのタスクを遂行するアルゴリズム又はモデルを自動的に構築する技術としてよい。本明細書において、ＡＩ（Artificial Intelligence）の一部には、機械学習が含まれるとしてもよい。本明細書において、機械学習には、正解データをもとに入力データの特徴又はルールを学習する教師あり学習が含まれるものとしてよい。また、機械学習には、正解データがない状態で入力データの特徴又はルールを学習する教師なし学習が含まれるものとしてもよい。さらに、機械学習には、報酬又は罰などを与えて入力データの特徴又はルールを学習する強化学習などが含まれるものとしてもよい。また、本明細書において、機械学習は、教師あり学習、教師なし学習、及び強化学習を任意に組み合わせたものとしてもよい。本実施形態の機械学習データ１３２の概念は、入力データに対して学習されたアルゴリズムを用いて所定の推論（推定）結果を出力するアルゴリズムを含むとしてもよい。本実施形態は、このアルゴリズムとして、例えば、従属変数と独立変数との関係を予測する線形回帰、人の脳神経系ニューロンを数理モデル化したニューラルネットワーク（ＮＮ）、誤差を二乗して算出する最小二乗法、問題解決を木構造にする決定木、及びデータを所定の方法で変形する正則化などその他適宜なアルゴリズムを用いることができる。本実施形態は、ニューラルネットワークの一種であるディープラーニングを利用するとしてよい。ディープラーニングは、ニューラルネットワークの一種であり、ネットワークの階層が深いニューラルネットワークがディープラーニングと呼ばれている。

本開示の技術において、被監視対象Ｔの身体の動作ａと、この動作ａから発生する被監視対象Ｔの動作結果Ａとの間には、一般的に一定の関係が存在するものとしてよい。なお、ここでの動作結果には、被監視対象Ｔの動作、被監視対象Ｔの動作開始時点、被監視対象Ｔの動作から発生する事故及び事件その他の出来事などを含むとしてよい。例えば、被監視対象Ｔの身体の動作ａが行われ、この動作ａから被監視対象Ｔの動作結果Ａが発生したとする。また、被監視対象Ｔの身体の動作ｂが行われ、この動作ｂから被監視対象Ｔの動作結果Ｂが発生したとする。本開示の技術は、上記動作ａと動作結果Ａ、動作ｂと動作結果Ｂその他の動作と動作結果の関係を、機械学習データとして蓄積する。そして、本開示の技術は、動作ｘが抽出された場合に、上記機械学習データを用いて、動作ｘに関係する動作結果Ｘを推定するとしてよい。

特に、一実施形態において、機械学習データ１３２は、被監視対象Ｔが他の人物Ｗに対して暴力を振るう動作をする際の特徴点の動きを機械学習したデータとしてよい。以下、被監視対象Ｔが他の人物Ｗに対して暴力を振るう動作を、「暴力動作」と記すことがある。また、機械学習データ１３２は、被監視対象Ｔとして特定の人物（例えば特定の要介護者など）が他の人物Ｗに対して暴力を振るう動作をする際の特徴点の動きを機械学習したデータとしてもよい。一実施形態に係る機械学習データ１３２については、さらに後述する。

コントローラ１５は、電子機器１０を構成する各機能部をはじめとして、電子機器１０の全体を制御及び／又は管理する。コントローラ１５は、種々の機能を実行するための制御及び処理能力を提供するために、例えばＣＰＵ（Central Processing Unit）のような、少なくとも１つのプロセッサを含んでよい。コントローラ１５は、まとめて１つのプロセッサで実現してもよいし、いくつかのプロセッサで実現してもよいし、それぞれ個別のプロセッサで実現してもよい。プロセッサは、単一の集積回路として実現されてよい。集積回路は、ＩＣ（Integrated Circuit）ともいう。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。

一実施形態において、コントローラ１５は、例えばＣＰＵ及び当該ＣＰＵで実行されるプログラムとして構成されてよい。コントローラ１５において実行されるプログラム、及び、コントローラ１５において実行された処理の結果などは、例えば記憶部１３に記憶されてよい。コントローラ１５は、コントローラ１５の動作に必要なメモリを適宜含んでもよい。一実施形態に係る電子機器１０のコントローラ１５の動作については、さらに後述する。

警告部１７は、コントローラ１５から出力される所定の警告信号に基づいて、システム１又は電子機器１０のユーザなどに注意を促すための所定の警告を発してよい。警告部１７は、所定の警告として、例えば音、音声、光、文字、映像、及び振動など、ユーザの聴覚、視覚、触覚の少なくともいずれかを刺激する任意の機能部としてよい。具体的には、警告部１７は、例えばブザー又はスピーカのような音声出力部、ＬＥＤのような発光部、ＬＣＤのような表示部、及びバイブレータのような触感呈示部などの少なくともいずれかとしてよい。このように、警告部１７は、コントローラ１５から出力される所定の警告信号に基づいて、所定の警告を発してよい。一実施形態において、警告部１７は、所定の警報を、聴覚、視覚、及び触覚の少なくともいずれかに作用する情報として発してもよい。

一実施形態において、警告部１７は、例えば被監視対象Ｔが他の人物Ｗに対して暴力を振るう動作を開始する前に、被監視対象Ｔが他の人物Ｗに対して暴力を振るい始めるリスクがある旨の警告を発してよい。また、一実施形態において、警告部１７は、被監視対象Ｔが他の人物Ｗに対して暴力を振るう動作を終了する前に、被監視対象Ｔが他の人物Ｗに対して暴力を振るい続けるリスクがある旨の警告を発してもよい。例えば、一実施形態において、視覚情報を出力する警告部１７は、被監視対象Ｔが他の人物Ｗに対して暴力を振るい始めたり暴力を振るい続けたりするリスクがある旨が検出されると、その旨を発光又は所定の表示などによってユーザに警告してよい。また、一実施形態において、聴覚情報を出力する警告部１７は、被監視対象Ｔが他の人物Ｗに対して暴力を振るい始めたり暴力を振るい続けたりするリスクがある旨が検出されると、その旨を所定の音又は音声などによってユーザに警告してよい。本実施形態では、上記警告は、発光又は所定の表示、及び所定の音又は音声を組み合わせてもよい。

図１に示す電子機器１０は、警告部１７を内蔵している。しかしながら、一実施形態にシステム１において、警告部１７は、電子機器１０の外部に設けられてもよい。この場合、警告部１７と電子機器１０とは、有線若しくは無線、又は有線及び無線の組合せにより接続されてよい。

通信部１９は、有線又は無線により通信するためのインタフェースの機能を有する。一実施形態の通信部１９によって行われる通信方式は無線通信規格としてよい。例えば、無線通信規格は２Ｇ、３Ｇ、４Ｇ、及び５Ｇ等のセルラーフォンの通信規格を含む。例えばセルラーフォンの通信規格は、ＬＴＥ（Long Term Evolution）、Ｗ－ＣＤＭＡ（Wideband Code Division Multiple Access）、ＣＤＭＡ２０００、ＰＤＣ（Personal Digital Cellular）、ＧＳＭ（登録商標）（Global System for Mobile communications）、及びＰＨＳ（Personal Handy-phone System）等を含む。例えば、無線通信規格は、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）、ＩＥＥＥ８０２．１１、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Infrared Data Association）、及びＮＦＣ（Near Field Communication）等を含む。通信部１９は、上記の通信規格の１つ又は複数をサポートすることができる。通信部１９は、例えば電波を送受信するアンテナ及び適当なＲＦ部などを含めて構成してよい。また、通信部１９は、外部に有線接続するためのコネクタなどのようなインタフェースとして構成してもよい。通信部１９は、無線通信を行うための既知の技術により構成することができるため、より詳細なハードウェアなどの説明は省略する。

通信部１９が受信する各種の情報は、例えば記憶部１３及び／又はコントローラ１５に供給されてよい。通信部１９が受信する各種の情報は、例えば記憶部１３及び／又はコントローラ１５に内蔵されたメモリに記憶してもよい。また、通信部１９は、例えばコントローラ１５による処理結果、抽出部１１による抽出結果、及び／又は、記憶部１３に記憶された情報などを外部に送信してもよい。

図１に示すような、一実施形態に係る電子機器１０を構成する各機能部の少なくとも一部は、ソフトウェアとハードウェア資源とが協働した具体的手段によって構成されてもよい。

次に、一実施形態に係るシステム１の動作について説明する。

一実施形態に係るシステム１の動作は、典型的には、「学習フェーズ」と「推定フェーズ」とに分けることができる。学習フェーズにおいては、例えば被監視対象Ｔのような人間が他の人物に対して暴力を振るう動作における身体の各部の位置（座標）、及び、他の人物Ｗの身体の各部の位置（座標）又は他の人物Ｗに関連する物体の位置（座標）と、暴力動作のタイミングとの関係を機械学習する動作を行ってよい。また、推定フェーズにおいては、学習フェーズにおいて機械学習した結果に基づいて、被監視対象Ｔが他の人物Ｗに対して暴力を振るう動作における被監視対象Ｔの身体の各部の位置（座標）、及び、他の人物Ｗの身体の各部の位置（座標）又は他の人物Ｗに関連する物体の位置（座標）から、暴力動作の開始を推定する動作を行ってよい。以下、上述の学習フェーズ及び推定フェーズのそれぞれにおける動作について、より詳細に説明する。まず、学習フェーズにおける動作について、説明する。なお、本開示では、例えば図1に示されるシステム1が複数あり、「学習フェーズ」と「推定フェーズ」を実施するシステムが異なるシステムであってもよい。

図２は、一実施形態に係るシステム１の学習フェーズにおける動作の一例を示すフローチャートである。図２は、一実施形態に係るシステム１に含まれる電子機器１０の学習フェーズにおける動作に焦点を当てたフローチャートとしてもよい。

例えば認知症の発症が疑われる者など（例えば要看護者又は要介護者など）は、看護者又は介護者などの他の人物Ｗに対して暴力を振るってしまうことがある。このような場合、他の人物Ｗがケガをすることがある。また、他の人物Ｗが不快に感じたり危険を感じたりする。つまり、他の人物Ｗの安全が脅かされるリスクがある。したがって、他の人物Ｗに対して暴力が振るわれようとしていること、又は、他の人物Ｗに対して暴力が振るわれたことを他者に警告することは、被監視対象Ｔの周囲の他の人物Ｗの安全に供し得るのみならず、被監視対象Ｔの周囲環境の安全にも供し得る。一実施形態に係るシステム１の学習フェーズにおいては、上述のようにして被監視対象Ｔのような人間が他の人物Ｗに対して暴力を振るう動作における被監視対象Ｔの身体の各部の位置（座標）、及び、他の人物Ｗの身体の各部の位置（座標）又は他の人物Ｗに関連する物体の位置（座標）と、暴力動作のタイミングとの関係を機械学習してよい。以下、このような動作について、より詳細に説明する。

図２に示す動作が開始する時点において、システム１の撮像部２０は、例えば被監視対象Ｔのような人間の撮像を開始していてよい。図２に示す動作が開始する時点は、撮像部２０が例えば被監視対象Ｔのような人間の撮像を開始した時点としてもよい。また、図２に示す動作が開始する時点は、撮像部２０が撮像を開始してから、例えば被監視対象Ｔのような人間が撮像部２０の撮像範囲に入った時点としてもよい。

図２に示す動作が開始すると、電子機器１０のコントローラ１５は、撮像部２０によって撮像された画像を取得する（ステップＳ１１）。

図３は、図２に示したステップＳ１１においてコントローラ１５が取得した画像、すなわち撮像部２０によって撮像された画像の例を示す図である。

図３に示すように、撮像部２０は、例えば被監視対象Ｔのような人間が他の人物Ｗに近づいている状態を撮像してよい。図３は、被監視対象Ｔのような人間が他の人物Ｗに近づいている様子を模式的に示している。この場合、ステップＳ１１において、コントローラ１５は、被監視対象Ｔのような人間が他の人物Ｗに近づいている画像を取得する。後述のように、撮像部２０は、被監視対象Ｔのような人間が他の人物Ｗに近づいている状態以外の状態の画像を撮像してもよい。この場合、ステップＳ１１において、コントローラ１５は、被監視対象Ｔのような人間が他の人物Ｗに近づいている状態以外の状態の画像を取得してもよい。

図４は、図２に示したステップＳ１１においてコントローラ１５が取得した画像、すなわち撮像部２０によって撮像された画像の他の例を示す図である。図４に示すように、撮像部２０は、例えば被監視対象Ｔのような人間が他の人物Ｗを叩いている状態を撮像してよい。図４は、被監視対象Ｔが他の人物Ｗを叩いている様子を模式的に示している。図４において、被監視対象Ｔ及び／又は他の人物Ｗは、移動していてもよいし、静止していてもよい。この場合、ステップＳ１１において、コントローラ１５は、被監視対象Ｔのような人間及び他の人物Ｗを含む画像を取得する。後述のように、撮像部２０は、被監視対象Ｔのような人間が他の人物Ｗを叩いている状態以外の状態の画像を撮像してもよい。この場合、ステップＳ１１において、コントローラ１５は、被監視対象Ｔのような人間が他の人物Ｗを叩いている状態以外の状態の画像を取得してもよい。

撮像部２０は、秒間所定数のフレームの各画像を撮像するものとしてよい。ここで、撮像部２０が撮像する画像は、連続するフレームの静止画としてもよいし、動画としてもよい。例えば、撮像部２０は、秒間１５フレームの画像を撮像するものとしてよい。ステップＳ１１において、コントローラ１５は、撮像部２０によって撮像された秒間所定数のフレームの画像を取得してよい。

図２に示すように、ステップＳ１１において撮像された画像を取得すると、抽出部１１は、被監視対象Ｔの身体における所定部位の座標を抽出する（ステップＳ１２）。ステップＳ１２における動作は、抽出部１１ではなく、コントローラ１５が行ってもよい。抽出部１１は、被監視対象Ｔの身体における所定部位の座標だけでなく、他の人物Ｗの身体における所定部位の座標をさらに抽出する。抽出部１１は、他の人物Ｗに関連する物体の座標をさらに抽出してもよい。

図５は、ステップＳ１２において抽出される被監視対象Ｔの身体における所定部位の例を示す図である。

ステップＳ１２において、抽出部１１は、例えば図５に示すような被監視対象Ｔの身体における所定部位の座標を抽出してよい。図５に示すように、ステップＳ１２において座標を抽出する所定部位は、例えば、被監視対象Ｔの身体における首、左肩、左肘、左手首、右肩、右肘、及び右手首を含んでよい。また、図５に示すように、ステップＳ１２において座標を抽出する所定部位は、例えば、被監視対象Ｔの身体における左尻、左膝、左足首、右尻、右膝、及び右足首をさらに含んでよい。このように、ステップＳ１２において抽出される所定部位の座標は、被監視対象Ｔの身体における所定の関節点の座標などとしてよい。

図６は、図４に示した画像において、被監視対象Ｔの身体における所定部位として抽出される座標の例を示す図である。図６に示す被監視対象Ｔの画像は、図４に示した被監視対象Ｔの画像と同じものを示している。図６は、図４に示した被監視対象Ｔの画像において、図５に示した被監視対象Ｔの身体における所定部位として抽出される座標を示している。

ステップＳ１２において、抽出部１１は、図６に示す複数のドットの座標を、図５に示す被監視対象Ｔの身体における所定部位として抽出する。例えば、抽出部１１は、図６に示す座標軸に従って、図６に示す複数のドットの座標を、２次元的に抽出してよい。すなわち、抽出部１１は、撮像部２０によって撮像される画像の撮像範囲の左下端部は、図６に示す座標軸の原点を示すものとしてよい。例えば、抽出部１１は、図６に示す被監視対象Ｔの首の位置の座標を、図６に示す座標軸に従って取得する。

ここで、撮像部２０が秒間所定数のフレームの各画像を撮像する場合、抽出部１１は、秒間所定数のフレームにおいて被監視対象Ｔの身体における所定部位として抽出してよい。また、コントローラ１５が秒間所定数のフレームの画像を取得する場合も、抽出部１１は、秒間所定数のフレームにおいて被監視対象Ｔの身体における所定部位として抽出してよい。一例として、抽出部１１は、被監視対象Ｔの身体における所定部位を、秒間１５フレームにおいて抽出してよい。

図７は、例えば１秒間の１５フレームにおいて、被監視対象Ｔの身体において抽出された所定部位の座標をまとめて示す図である。図７に示すように、ステップＳ１２において、コントローラ１５（又は抽出部１１）は、被監視対象Ｔの身体において抽出された所定部位の座標を、フレームごとに並べて配置してもよい。図７に示すように、抽出部１１は、フレームごとに、被監視対象Ｔの身体において２次元的に（Ｘ，Ｙ座標として）所定部位の座標を抽出してよい。図７に示す表において、各行は、各フレームにおいて、被監視対象Ｔの身体の所定部位が、Ｘ，Ｙ座標として抽出された様子を模式的に示してある。また、図７に示す表において、各フレームを示す行は、時間の経過に従って上から下に示してある。図７に示す１５フレームの座標は、例えば図６に示すような画像（又は動画）における１秒間の座標をトラッキングしたものとしてよい。また、図７に示す１５フレームの後も、順次、被監視対象Ｔの身体において所定部位の座標が抽出されるものとしてよい。

このように、一実施形態において、抽出部１１は、撮像部２０によって撮像された秒間所定数の各フレームの画像から、被監視対象Ｔの身体における所定数の関節点の座標を２次元的に抽出してもよい。

他の人物Ｗの身体における所定部位の座標は、被監視対象Ｔの身体における所定部位の座標と同様に抽出されてもよい。他の人物Ｗに関連する物体の座標がさらに抽出されてもよい。また、図６に示されるように、被監視対象Ｔが他の人物Ｗを叩いている態様の暴力が振るわれている場合の座標だけでなく、他の態様の暴力が振るわれている場合の座標が抽出されてもよい。

図８は、ステップＳ１２において認識される被監視対象Ｔ及び他の人物Ｗの他の例を示す図である。図８は、被監視対象Ｔが他の人物Ｗに噛みついている様子を模式的に示した図と、抽出部１１が被監視対象Ｔ及び他の人物Ｗを認識した結果として得られた特徴点を重畳して表示した図である。

図９は、ステップＳ１２において認識される被監視対象Ｔ及び他の人物Ｗ、並びに、他の人物Ｗが座っている車椅子Ｃの他の例を示す図である。図９は、被監視対象Ｔが他の人物Ｗが座っている車椅子Ｃを強く押している様子を模式的に示した図と、抽出部１１が被監視対象Ｔ及び他の人物Ｗ、並びに、車椅子Ｃを認識した結果として得られた特徴点を重畳して表示した図である。

ステップＳ１２において、抽出部１１は、図６だけでなく、図８及び図９に示すような被監視対象Ｔ及び他の人物Ｗにおける所定の特徴点を認識してもよい。また、抽出部１１は、図８及び図９に示す座標軸に従って、図８及び図９に示す被監視対象Ｔ及び他の人物Ｗを、２次元的に抽出してよい。また、抽出部１１は、被監視対象Ｔ及び他の人物Ｗを認識する際に、画像における被監視対象Ｔ及び他の人物Ｗの位置（例えば座標）を抽出してもよい。また、抽出部１１は、他の人物Ｗに関連する物体として車椅子Ｃを抽出し、車椅子Ｃの座標又は車椅子Ｃの特徴点の座標を抽出してもよい。

ステップＳ１２において所定部位の座標が抽出されたら、抽出部１１は、抽出された所定数のフレーム（例えば１秒間の１５フレーム）における座標（Ｘ，Ｙ）それぞれの最大値及び最小値に従って、座標を正規化する（ステップＳ１３）。

ステップＳ１２において抽出される所定部位の座標は、例えば被監視対象Ｔの身体のサイズなどに起因してばらつくことが想定される。また、ステップＳ１２において抽出される所定部位の座標は、例えば撮像部２０と被監視対象Ｔとの距離、及び、撮像部２０から被監視対象Ｔに向く方向などにも起因してばらつくことが想定される。したがって、一実施形態において、ステップＳ１２において抽出された座標のＸ方向成分及びＹ方向成分をそれぞれ正規化することにより、抽出された座標を汎用的に機械学習に用いることができるようにする。

この場合、例えば１秒間の１５フレームにおいて抽出されたＸ，Ｙ座標のそれぞれの最大値及び最小値に基づいて、抽出されるＸ，Ｙ座標を正規化してもよい。ここで、ステップＳ１２において抽出されたＸ座標の最大値をＸｍａｘとし、ステップＳ１２において抽出されたＸ座標の最小値をＸｍｉｎとする。また、正規化後のＸ座標の最大値をＸ’ｍａｘとする。この場合、以下の式（１）を用いて、正規化前のＸ座標（Ｘ）を、正規化後のＸ座標（Ｘ’）に変換することができる。

Ｘ’＝（（Ｘ－Ｘｍｉｎ）／（Ｘｍａｘ－Ｘｍｉｎ））・Ｘ’ｍａｘ （１）

同様に、ステップＳ１２において抽出されたＹ座標の最大値をＹｍａｘとし、ステップＳ１２において抽出されたＹ座標の最小値をＹｍｉｎとする。また、正規化後のＹ座標の最大値をＹ’ｍａｘとする。この場合、以下の式（２）を用いて、正規化前のＹ座標（Ｙ）を、正規化後のＹ座標（Ｙ’）に変換することができる。

Ｙ’＝（（Ｙ－Ｙｍｉｎ）／（Ｙｍａｘ－Ｙｍｉｎ））・Ｙ’ｍａｘ （２）

上記の式（１）及び式（２）に従って、抽出された座標のＸ方向成分及びＹ方向成分を正規化することにより、被監視対象Ｔの個体差、及び撮像部２０が被監視対象Ｔを撮像した環境などが機械学習に与える影響を低減することが期待できる。

このように、一実施形態において、抽出部１１は、２次元的に抽出された被監視対象Ｔの身体における所定数の関節点の座標の各方向成分を、当該各方向成分の最大値及び最小値に基づいて正規化してもよい。また、このような動作は、抽出部１１ではなくコントローラ１５が行ってもよい。

ステップＳ１３に示す座標の正規化により、図７に示す各座標（Ｘ，Ｙ）は、それぞれ座標（Ｘ’，Ｙ’）に正規化される。

他の人物Ｗの身体における所定部位の座標は、被監視対象Ｔの身体における所定部位の座標と同様に正規化されてもよい。他の人物Ｗに関連する物体の座標がさらに正規化されてもよい。

ステップＳ１３において座標が正規化されたら、コントローラ１５は、タイミング情報を取得する（ステップＳ１４）。ステップＳ１４においてコントローラ１５がタイミング情報を取得するために、ステップＳ１１において取得された画像、又は、ステップＳ１２において抽出された座標において、予めタイミング情報が付与（設定）されている必要がある。また、ステップＳ１２において抽出された座標ではなく、ステップＳ１３において正規化された座標において、予めタイミング情報が付与（設定）されていてもよい。以下、このようなタイミング情報について、さらに説明する。

一実施形態において、電子機器１０が機械学習するためのデータとして、例えば被監視対象Ｔのような人間が他の人物Ｗに対して暴力を振るう動作の開始時点及び終了時点を示す情報を用意する必要がある。被監視対象Ｔが他の人物Ｗに対して暴力を振るう動作の開始時点及び終了時点を示す情報（タイミング情報）があれば、電子機器１０は、このタイミング情報を例えば教師データとして機械学習を行うことができる。以上のように、被監視対象Ｔが他の人物Ｗに対して暴力を振るう動作の開始時点及び終了時点を示す情報を、「タイミング情報」とも記す。すなわち、「タイミング情報」とは、撮像部２０によって撮像された経時的な画像において暴力動作の開始時点及び終了時点を示す情報としてよい。

このようなタイミング情報は、例えばスタッフなどの人員によって付与（設定）されてよい。すなわち、例えば行動学の専門家又は介護施設の職員などが、撮像部２０によって撮像された被監視対象Ｔの画像を観察（視認）しながら、暴力動作の開始時点及び終了時点を示すタイミング情報を付与してよい。また、このようなタイミング情報を付与するための所定の基準を予め設けることにより、行動学の専門家又は介護施設の職員などではない一般的な人員であっても、タイミング情報を付与することができる。上述のように、タイミング情報は、ステップＳ１１において取得された画像データにおいて付与（設定）されてよい。また、タイミング情報は、ステップＳ１２において抽出された座標データにおいて付与（設定）されてよい。また、タイミング情報は、ステップＳ１３において正規化された座標データにおいて付与（設定）されてよい。

図１０は、タイミング情報の設定について説明する図である。図１０においては、画像データが各フレームごとに時間の経過とともに連続している様子を概念的に示している。すなわち、図１０において、画像データは、時間の経過に従って、フレーム１、フレーム２、フレーム３、…のように連続していることを示している。また、図１０においては、画像データにタイミング情報を付与（設定）する例を示している。しかしながら、上述のように、図１０に示す画像データは、座標データに代えてもよいし、正規化された座標データに代えてもよい。

図１０に示す「入室」の時点において、例えば撮像部２０が設置された部屋に被監視対象Ｔが入室した様子が、撮像部２０によって撮像された画像のデータ（画像データ）に示されていたとする。図１０に示す「暴力動作の開始」の時点において、被監視対象Ｔが他の人物Ｗに対して暴力を振るう動作を開始した様子が、画像データに示されていたとする。図１０に示す「暴力動作の終了」の時点において、被監視対象Ｔが他の人物Ｗに対して暴力を振るう動作を終了した様子が、画像データに示されていたとする。図１０に示す「退室」の時点において、被監視対象Ｔが、例えば撮像部２０が設置された部屋から退室した様子が、画像データに示されていたとする。

以上のように撮像された画像データにおいて、例えば行動学の専門家又は介護施設の職員その他の一般的な人員などによって、少なくとも「暴力動作の開始」の時点及び「暴力動作の終了」の時点を示すタイミング情報が付与（設定）されてよい。

ここで、「暴力動作の開始」の時点とは、撮像部２０が設置された部屋に入室してきた被監視対象Ｔが、例えば図３に示すような他の人物Ｗに近づく動きを開始した時点としてもよい。

一般的に、図６に示すように被監視対象Ｔが他の人物Ｗを叩く態様で暴力動作を開始する場合、被監視対象Ｔの手首を表す特徴点Ｔａが他の人物Ｗの少なくとも一部の特徴点に対して近づき始める。したがって、一実施形態において、スタッフなどの人員は、被監視対象Ｔの手首を表す特徴点Ｔａが他の人物Ｗの少なくとも一部の特徴点に対して近づき始めた時点を「暴力動作の開始」の時点として、タイミング情報を付与（設定）してよい。例えば、スタッフなどの人員は、図６において、被監視対象Ｔの手首の特徴点Ｔａと他の人物Ｗの肘を表す特徴点Ｗａとの距離Ｄ０が所定の閾値未満に変化する時点を「暴力動作の開始」の時点として、タイミング情報を付与（設定）してよい。また、例えば、スタッフなどの人員は、図６において、被監視対象Ｔが広がる範囲と、他の人物Ｗが広がる範囲とが重ならない状態から重なる状態に変化する時点を「暴力動作の開始」の時点として、タイミング情報を付与（設定）してよい。また、被監視対象Ｔが他の人物Ｗを叩く態様で暴力動作を開始する場合、被監視対象Ｔが腕を振り上げることもある。スタッフなどの人員は、被監視対象Ｔの手首を表す特徴点Ｔａが肘を表す特徴点よりも高い位置に上がった時点を「暴力動作の開始」の時点として、タイミング情報を付与（設定）してもよい。

また、被監視対象Ｔが図８に示すように他の人物Ｗに噛みつく態様で暴力動作を開始する場合、被監視対象Ｔの首の上部又は頭部を表す特徴点Ｔａが他の人物Ｗの少なくとも一部の特徴点に対して近づき始める。したがって、一実施形態において、スタッフなどの人員は、被監視対象Ｔの首の上部又は頭部を表す特徴点Ｔａが他の人物Ｗの少なくとも一部の特徴点に対して近づき始めた時点を「暴力動作の開始」の時点として、タイミング情報を付与（設定）してよい。例えば、スタッフなどの人員は、図８において、被監視対象Ｔの首又は頭部を表す特徴点Ｔａと他の人物Ｗの手首を表す特徴点Ｗａとの距離Ｄ０が所定の閾値未満に変化する時点を「暴力動作の開始」の時点として、タイミング情報を付与（設定）してよい。また、例えば、スタッフなどの人員は、図８において、被監視対象Ｔが広がる範囲と、他の人物Ｗが広がる範囲とが重ならない状態から重なる状態に変化する時点を「暴力動作の開始」の時点として、タイミング情報を付与（設定）してよい。また、被監視対象Ｔが他の人物Ｗに噛みつく態様で暴力動作を開始する場合、被監視対象Ｔが上半身を不自然に屈めることもある。スタッフなどの人員は、被監視対象Ｔの上半身を表す特徴点が前屈を表す位置関係に移動し始めた時点を「暴力動作の開始」の時点として、タイミング情報を付与（設定）してもよい。

また、被監視対象Ｔが図９に示すように他の人物Ｗが座っている車椅子Ｃを押したり揺らしたりして衝撃を与える態様で暴力動作を開始する場合、被監視対象Ｔの手首を表す特徴点Ｔａが他の人物Ｗが座っている車椅子Ｃの少なくとも一部に対して近づき始める。したがって、一実施形態において、スタッフなどの人員は、被監視対象Ｔの手首を表す特徴点Ｔａが他の人物Ｗが座っている車椅子Ｃの少なくとも一部に接触した時点を「暴力動作の開始」の時点として、タイミング情報を付与（設定）してよい。例えば、スタッフなどの人員は、図９において、被監視対象Ｔの手首を表す特徴点Ｔａと他の人物Ｗが座っている車椅子ＣのハンドルＣａとが接触した時点を「暴力動作の開始」の時点として、タイミング情報を付与（設定）してよい。また、例えば、スタッフなどの人員は、図９において、被監視対象Ｔが広がる範囲と、他の人物Ｗが座っている車椅子Ｃが広がる範囲とが重ならない状態から重なる状態に変化する時点を「暴力動作の開始」の時点として、タイミング情報を付与（設定）してよい。

このように、一実施形態において、タイミング情報における暴力動作の開始時点は、撮像部２０によって撮像された経時的な画像において被監視対象Ｔの各特徴点が他の人物Ｗの少なくとも一部の特徴点、又は、他の人物Ｗが座っている椅子若しくは車椅子の少なくとも一部に対して所定距離以内に近づいたタイミングを示してもよい。また、タイミング情報における暴力動作の開始時点は、撮像部２０によって撮像された経時的な画像において被監視対象Ｔの各特徴点の位置が通常の動作から外れたタイミングを示してもよい。

また、「暴力動作の終了」の時点とは、撮像部２０によって撮像された経時的な画像において被監視対象Ｔが他の人物Ｗ又は他の人物Ｗが座っている椅子若しくは車椅子からある程度（例えば１ｍなど）離れたと判断し得るタイミングとしてよい。したがって、一実施形態において、スタッフなどの人員は、被監視対象Ｔが他の人物Ｗ又は他の人物Ｗが座っている椅子若しくは車椅子から例えば１ｍなどの所定の距離だけ離れた時点を「暴力動作の終了」の時点として、タイミング情報を付与（設定）してよい。

このように、一実施形態において、タイミング情報における暴力動作の終了時点は、撮像部２０によって撮像された経時的な画像において被監視対象Ｔが他の人物Ｗ又は他の人物Ｗが座っている椅子若しくは車椅子から所定の距離だけ離れたタイミングを示してもよい。

また、「暴力動作の終了」の時点とは、被監視対象Ｔが他の人物Ｗ又は他の人物Ｗが座っている椅子若しくは車椅子からある程度（例えば１ｍなど）離れた状態で所定時間（例えば１分など）が経過したと判断し得るタイミングとしてよい。したがって、一実施形態において、スタッフなどの人員は、被監視対象Ｔが他の人物Ｗ又は他の人物Ｗが座っている椅子若しくは車椅子から例えば１ｍなど所定の距離だけ離れた状態で所定時間経過した時点を「暴力動作の終了」の時点として、タイミング情報を付与（設定）してよい。

このように、一実施形態において、タイミング情報における暴力動作の終了時点は、撮像部２０によって撮像された経時的な画像において被監視対象Ｔが他の人物Ｗ又は他の人物Ｗが座っている椅子若しくは車椅子から所定の距離だけ離れた状態で所定時間が経過したタイミングを示してもよい。

タイミング情報において、上述した「暴力動作の開始」の時点及び「暴力動作の終了」の時点は、必ずしもこの順序で付与（設定）しなくてもよい。すなわち、タイミング情報において、最初に「暴力動作の終了」の時点を設定してから、「暴力動作の開始」の時点を設定してもよい。

例えば、スタッフなどの人員は、撮像部２０によって撮像された被監視対象Ｔの画像を再生して観察（視認）している際、「暴力動作の開始」の時点を見極めるのが必ずしも容易でないことも想定される。このような場合、まず、スタッフなどの人員は、撮像部２０によって撮像された被監視対象Ｔの画像を再生して観察（視認）している際に、「暴力動作の終了」の時点をタイミング情報として設定してよい。次に、スタッフなどの人員は、「暴力動作の終了」の時点から、撮像部２０によって撮像された被監視対象Ｔの画像を時間的に逆に再生して観察（視認）してもよい。ここで、撮像部２０によって撮像された被監視対象Ｔの画像を時間的に逆に再生する際には、当該逆再生の速度をある程度低下させてもよい。このようにすれば、スタッフなどの人員は、タイミング情報において、「暴力動作の終了」の時点よりも前の時点である「暴力動作の開始」の時点を容易に設定することができる。例えば、スタッフなどの人員は、時間的に逆に再生させた画像データを視認しながら、被監視対象Ｔの左尻又は右尻が椅子の座面において被監視対象Ｔの前方に最初に移動する時点を見出して、当該時点をタイミング情報として設定してよい。

上述のようにして画像データ（又は座標データ若しくは正規化された座標データ）においてタイミング情報が付与（設定）されたら、コントローラ１５は、ステップＳ１４において当該タイミング情報を取得することができる。電子機器１０のコントローラ１５は、ステップＳ１４において、上述のようなタイミング情報を、例えば通信部１９を介して外部のネットワークなどから取得してもよい。また、コントローラ１５は、ステップＳ１４において、上述のようなタイミング情報を、例えばメモリカードなどのストレージを挿入可能な電子機器１０のスロットなどから取得してもよい。また、システム１が画像を表示可能なディスプレイを含む場合、当該ディスプレイに画像データなどを表示してもよい。この場合、スタッフなどの人員がディスプレイを視認しながら設定するタイミング情報は、例えば電子機器１０の操作部などを介して入力されてよい。

ステップＳ１４においてタイミング情報を取得したら、コントローラ１５は、画像データから抽出された座標と、暴力動作の開始との関係を、タイミング情報に基づいて機械学習する（ステップＳ１５）。ステップＳ１５において、コントローラ１５は、暴力動作の開始時点と終了時点との間における被監視対象Ｔの所定部位（関節点）の座標、及び、他の人物Ｗの所定部位（関節点）の座標又は他の人物Ｗに関連する物体の座標と、暴力動作の開始との関係を、タイミング情報に基づいて学習するものとしてよい。ここで、コントローラ１５は、画像データ（又は座標データ、若しくは正規化された座標データ）、及びこれに設定されたタイミング情報に基づいて、機械学習を行ってもよい。以下、ステップＳ１５における機械学習の結果として生成されるデータを、「機械学習データ」と記すことがある。

上述のような機械学習を行うことにより、電子機器１０は、暴力動作が開始するタイミングと、暴力動作の開始時点から終了時点までの間における被監視対象Ｔの所定部位（関節点）の座標の動きとの関連を把握することができる。このため、電子機器１０によれば、後述の推定フェーズにおいて、被監視対象Ｔの所定部位（関節点）の座標の動きに基づいて、暴力動作の開始時点を推定し得る。

このように、一実施形態において、コントローラ１５は、暴力動作の開始時点と終了時点との間における被監視対象Ｔの所定部位の座標、及び、他の人物Ｗの所定部位（関節点）の座標又は他の人物Ｗに関連する物体の座標と、暴力動作の開始との関係を、タイミング情報に基づいて機械学習する。ここで、タイミング情報とは、上述のように、撮像部２０によって撮像された経時的な画像において暴力動作の開始時点及び終了時点を示す情報としてよい。なお、本開示において、コントローラ１５が機械学習する、暴力行為の開始時点と終了時点との間における被監視対象Ｔの所定部位の座標と、暴力行為の開始との関係の数は、例えば1以上、10以上、100以上、1000以上など、少なくとも1以上の数であればよい。

後述の推定フェーズにおいて電子機器１０が暴力動作の開始時点を推定する精度を向上するために、比較的多数のサンプル（例えば被監視対象Ｔのような人間）のデータについて、機械学習を行ってもよい。機械学習を行う際のサンプルのデータを多くすることにより、後述の推定フェーズにおいて電子機器１０が暴力動作の開始時点を推定する際の精度を高めることが期待できる。したがって、機械学習を行う際のサンプルのデータを多くすることにより、電子機器１０が暴力動作の開始を推定して警告を発する際に、誤報を発したり、失報したりするといったことを低減し得る。なお、本開示において、コントローラ１５が機械学習する、サンプルの数は、例えば1以上、10以上、100以上、1000以上など、少なくとも1以上の数であればよい。

上述の機械学習において、タイミング情報は、撮像部２０によって撮像された経時的な画像において暴力動作の開始時点及び終了時点を示す情報とした。一実施形態において、タイミング情報は、撮像部２０によって撮像された経時的な画像において暴力動作の開始時点及び終了時点以外の時点を示す情報を含むものとしてもよい。

例えば、図１０に示す学習データ（４）の区間の画像データは、暴力動作の開始時点と終了時点との間に存在する。このため、学習データ（４）は、危険な（すなわち暴力を振るう動作の可能性が高い）クラスに分類されるデータとして、コントローラ１５に機械学習させてよい。図１０に示す学習データ（４）の区間の画像データは、暴力動作の開始時点とほぼ同じ時点において開始している。一方、図１０に示す学習データ（４）の区間の画像データは、暴力動作の終了時点とは異なる時点において終了している。

一方、図１０に示す学習データ（１）乃至（３）、及び学習データ（５）の区間の画像データは、暴力動作の開始時点と終了時点との間に存在しない。このため、これらの学習データは、正常な（すなわち危険が少ない（被監視対象Ｔが他の人物Ｗに対して暴力を振るうリスクが低い））クラスに分類されるデータとして、コントローラ１５に機械学習させてよい。これらの学習データの区間の画像データは、暴力動作の開始時点とは異なる時点において開始し、暴力動作の終了時点とは異なる時点において終了している。

このように、一実施形態において、タイミング情報は、撮像部２０によって撮像された経時的な画像において暴力動作の開始時点及び終了時点以外の時点を示す情報を含んでもよい。このようなタイミング情報に基づいて、コントローラ１５は、暴力動作の開始時点と終了時点との間における被監視対象Ｔ、及び、他の人物Ｗの所定部位（関節点）の座標又は他の人物Ｗに関連する物体の座標の所定部位の座標と、暴力動作の開始との関係を機械学習してもよい。

コントローラ１５は、図１０に示すように、危険なクラスに分類される学習データ（４）のみならず、正常なクラスに分類される学習データ（１）乃至（３）、及び学習データ（５）のような学習データにも基づいて、機械学習を行ってよい。コントローラ１５は、危険なクラスに分類される学習データ及び正常なクラスに分類される学習データに基づいて機械学習を行うことにより、暴力動作の開始を推定する精度を高めることができる。

次に、推定フェーズにおける動作について、説明する。

図１１は、一実施形態に係るシステム１の推定フェーズにおける動作の一例を示すフローチャートである。図１１は、一実施形態に係るシステム１に含まれる電子機器１０の推定フェーズにおける動作に焦点を当てたフローチャートとしてもよい。

上述のように、例えば認知症の発症が疑われる者など（例えば要看護者又は要介護者など）は、看護者又は介護者などの他の人物Ｗに対して暴力を振るってしまうことがある。このような場合、他の人物Ｗがケガをすることがある。また、他の人物Ｗが不快に感じたり危険を感じたりする。つまり、他の人物Ｗの安全が脅かされるリスクがある。一実施形態に係るシステム１の推定フェーズにおいては、学習フェーズにおいて得られた機械学習データを利用して、被監視対象Ｔが他の人物Ｗに対して暴力を振るう動作における、被監視対象Ｔの身体における所定部位の位置（座標）及び他の人物Ｗの身体における所定部位の位置（座標）又は他の人物Ｗに関連する物体の位置（座標）から、暴力動作の開始を推定してよい。以下、このような動作について、より詳細に説明する。システム１によって被監視対象Ｔを監視することで、例えば介護施設又は病院などのスタッフは、暴力動作が開始することを、被監視対象Ｔが実際に暴力動作を終了する前に認識することができる。

図１１に示す動作が開始すると、電子機器１０のコントローラ１５は、機械学習データを取得する（ステップＳ２１）。ステップＳ２１において取得する機械学習データは、図２に示したステップＳ１５における機械学習の結果として生成されるデータとしてよい。すなわち、機械学習データとは、被監視対象Ｔのような人間が他の人物Ｗのような他の人間に対して暴力を振るう動作の開始時点と終了時点との間における、その人間の身体における所定部位の座標及び他の人間の身体における所定部位の座標又は他の人物Ｗのような他の人間に関連する物体の座標と、その人間が他の人間に対して暴力を振るう動作の開始との関係が機械学習されたデータとしてよい。

図１１に示す動作が開始する時点で既に機械学習データを取得している場合には、コントローラ１５は、ステップＳ２１において再び機械学習データを取得しなくてもよい。また、ステップＳ２１において取得する機械学習データは、後述のステップＳ２５において用いられる。このため、一実施形態において、機械学習データの取得は、必ずしもステップＳ２１において行う必要はなく、ステップ２５までの任意のタイミングにおいて行ってもよい。

ステップＳ２１において機械学習データが取得されたら、コントローラ１５は、撮像部２０によって撮像された画像を取得する（ステップＳ２２）。ステップＳ２２における動作は、図２に示したステップＳ１１の動作と同様に行ってよい。

ステップ２２において撮像された画像を取得すると、抽出部１１は、被監視対象Ｔの身体における所定部位の座標を抽出する（ステップＳ２３）。抽出部１１は、被監視対象Ｔの身体における所定部位の座標だけでなく、他の人物Ｗの身体における所定部位の座標をさらに抽出する。抽出部１１は、他の人物Ｗに関連する物体の座標をさらに抽出してもよい。ステップＳ２３における動作は、図２に示したステップＳ１２の動作と同様に行ってよい。すなわち、例えば、抽出部１１は、撮像部２０によって撮像された秒間所定数の各フレームの画像から、被監視対象Ｔの身体における所定数の関節点の座標を２次元的に抽出してもよい。

ステップＳ２３において座標が抽出されたら、抽出部１１は、抽出された所定数のフレーム（例えば１秒間の１５フレーム）における座標（Ｘ，Ｙ）それぞれの最大値及び最小値に従って、座標を正規化する（ステップＳ２４）。ステップＳ２４における動作は、図２に示したステップＳ１３の動作と同様に行ってよい。すなわち、例えば、抽出部１１は、２次元的に抽出された被監視対象Ｔの身体における所定数の関節点の座標の各方向成分を、当該各方向成分の最大値及び最小値に基づいて正規化してもよい。また、抽出部１１は、２次元的に抽出された他の人物Ｗの身体における所定数の関節点の座標の各方向成分を、当該各方向成分の最大値及び最小値に基づいて正規化してもよい。

コントローラ１５は、ステップＳ２４の手順を実行する前に、被監視対象Ｔの所定部位の座標及び他の人物Ｗの所定部位の座標に基づいて、被監視対象Ｔが他の人物Ｗの所定範囲内に近づいているか判定してもよい。コントローラ１５は、被監視対象Ｔの所定部位の座標及び他の人物Ｗに関連する物体の座標に基づいて、被監視対象Ｔが他の人物Ｗに関連する物体の所定範囲内に近づいているか判定してもよい。コントローラ１５は、被監視対象Ｔが他の人物Ｗ又は他の人物Ｗに関連する物体の所定範囲内に近づいている場合にステップＳ２４に示す座標を正規化する動作を行ってもよい。

コントローラ１５は、被監視対象Ｔの少なくとも一部の所定部位の座標と、他の人物Ｗの少なくとも一部の所定部位の座標との少なくとも一部の組み合わせについて座標間の距離を算出してよい。コントローラ１５は、被監視対象Ｔの全ての所定部位の座標と、他の人物Ｗの全ての所定部位の座標との全ての組み合わせについて座標間の距離を算出してよい。コントローラ１５は、座標間の距離の算出結果に基づいて、被監視対象Ｔが他の人物Ｗに近づいたかを判定してもよい。コントローラ１５は、被監視対象Ｔの少なくとも一部の所定部位の座標と、他の人物Ｗに関連する物体の座標との組み合わせについて座標間の距離を算出してよい。コントローラ１５は、座標間の距離の算出結果に基づいて、被監視対象Ｔが他の人物Ｗに関連する物体に近づいたかを判定してもよい。

ステップＳ２４において座標が正規化されたら、コントローラ１５は、ステップＳ２１において取得された機械学習データに基づいて、ステップＳ２４において正規化された座標から、暴力動作の開始が推定されるか否かを判定する（ステップＳ２５）。

ステップＳ２５において暴力動作の開始が推定される場合、すなわち、暴力動作がこれから開始するリスクが高まった場合、コントローラ１５は、所定の警告信号を出力する（ステップＳ２６）。ステップＳ２６において、コントローラ１５は、所定の警告信号を警告部１７に出力してよい。これにより、警告部１７は、所定の警告を発することができる。

一方、ステップＳ２５において暴力動作の開始が推定されない場合、すなわち、暴力動作がこれから開始するリスクが高まっていない場合、コントローラ１５は、ステップＳ２６の動作をスキップして、図１１に示す動作を終了してよい。図１１に示す動作が終了すると、コントローラ１５は、再び図１１に示す動作を開始してよい。例えば、コントローラ１５は、画像データから座標が抽出されるごとに、図１１に示す動作を繰り返してもよい。すなわち、例えば抽出部１１が秒間１５フレームの画像データから座標（Ｘ，Ｙ）を抽出する場合、コントローラ１５は、ステップＳ２５における暴力動作の開始の推定を秒間１５回行ってもよい。

このように、一実施形態において、コントローラ１５は、機械学習データに基づいて、抽出部１１によって抽出された被監視対象Ｔの所定部位の座標、及び、他の人物Ｗの所定部位の座標又は他の人物Ｗに関連する物体の座標から、暴力動作の開始を推定してよい。また、抽出部１１は、撮像部２０によって撮像された単位時間当たり所定数のフレームの画像から被監視対象Ｔの所定部位の座標、及び、他の人物Ｗの所定部位の座標又は他の人物Ｗに関連する物体の座標を抽出してもよい。この場合、コントローラ１５は、抽出部１１によって抽出された被監視対象Ｔの所定部位の座標、及び、他の人物Ｗの所定部位の座標又は他の人物Ｗに関連する物体の座標から、暴力動作の開始を推定してもよい。

図１１に示すように、コントローラ１５は、ステップＳ２５において暴力動作の開始を推定したら直ちに、ステップＳ２６において所定の警告信号を出力してよい。このため、コントローラ１５は、実際の暴力動作が終了する前に、所定の警告信号を出力してよい。このように、コントローラ１５は、暴力動作の開始を推定したら、暴力動作の終了前に、所定の警告信号を出力してもよい。また、コントローラ１５は、可能な場合には、実際の暴力動作が開始する前に、所定の警告信号を出力してもよい。このように、コントローラ１５は、暴力動作の開始を推定したら、暴力動作の開始前に、所定の警告信号を出力してもよい。

一実施形態に係るシステム１によれば、例えば被監視対象Ｔのような人間が他の人物Ｗに対して暴力を振るう動作における被監視対象Ｔの身体の関節点の座標及び他の人物Ｗの身体の関節点の座標又は他の人物Ｗに関連する物体の座標と、当該暴力を振るう動作のタイミングとの関係を機械学習することができる。また、一実施形態に係るシステム１によれば、機械学習した結果に基づいて、被監視対象Ｔが他の人物Ｗに対して暴力を振るう動作における被監視対象Ｔの身体の関節点の座標及び他の人物Ｗの身体の関節点の座標又は他の人物Ｗに関連する物体の座標から、暴力動作の開始を推定することができる。したがって、一実施形態に係るシステム１によれば、被監視対象Ｔが他の人物Ｗに対して暴力を振るい始める前、又は、暴力を振るい続けている間であって暴力を振るい終わるまでに、所定の警告を発することができる。したがって、一実施形態に係るシステム１によれば、例えば介護施設などのスタッフは、例えば要看護者又は要介護者などのような被監視対象が他の人物Ｗに対して暴力を振るい始める前、又は、暴力を振るい続けている途中で、被監視対象Ｔが他の人物Ｗに対して暴力を振るおうとしていたり暴力を振るい続けようとしていたりすることを認識し得る。このため、一実施形態に係るシステム１によれば、被監視対象Ｔの周囲の安全に供し得る。

図１２は、図１１のステップＳ２５において説明した推定処理をさらに説明する図である。図１２は、左側の列において、例えば図１１のステップＳ２２において取得された画像データに撮像された被監視対象Ｔの状態を示している。図１２に示すように、撮像された画像データにおいて、被監視対象Ｔは、撮像部２０が設置された部屋に入室した後、他の人物Ｗに近づいて他の人物Ｗに手を伸ばして暴力動作を開始したとする。暴力動作が開始した瞬間から、コントローラ１５は、図１１に示したステップＳ２２以降の動作を、秒間１５フレームの処理として行うものとする。すなわち、システム１において、撮像部２０は、秒間１５フレームの画像を撮像するものとしてよい。また、システム１において、コントローラ１５は、秒間１５フレームの画像を取得するものとしてよい。また、システム１において、抽出部１１は、秒間１５フレームの画像から、被監視対象Ｔの身体の関節点の座標及び他の人物Ｗの身体の関節点の座標又は他の人物Ｗに関連する物体の座標を抽出するものとしてよい。また、システム１において、コントローラ１５（又は抽出部１１）は、秒間１５フレームの画像から抽出された座標を正規化するものとしてよい。さらに、システム１において、コントローラ１５は、機械学習データに基づいて、秒間１５フレームの正規化された座標から、暴力動作の開始を推定してよい。

図１２の中央の列において、コントローラ１５が画像データのフレームを連続して取得する様子を概念的に示してある。ここで、各フレームの画像データは、画像データから抽出された座標としてもよいし、正規化された座標としてもよい。また、図１２の中央の列において、ハッチングを付した画像データは、暴力動作が開始してから１秒間のフレームを表している。

このような状況において、コントローラ１５は、暴力動作が開始してから１秒間の１５フレーム（フレーム１からフレーム１５まで）に基づいて、その時点における暴力動作の開始を推定してよい（図１２に示す推定１）。次に、コントローラ１５は、フレーム２からフレーム１６までの１秒間の１５フレームに基づいて、その時点における暴力動作の開始を推定してよい（図１２に示す推定２）。また、コントローラ１５は、フレーム（Ｎ－１４）からフレームＮまでの１秒間の１５フレームに基づいて、その時点における投げつけ動作の開始を推定してよい（図１２に示す推定３）。以上のような動作を繰り返すことにより、コントローラ１５は、暴力動作の開始の推定を、秒間１５回行うことになる。したがって、一実施形態に係るシステム１によれば、例えば図１２に示す推定１、推定２及び推定３において何らかの原因により本来推定されるべき暴力動作の開始が推定されなかったとしても、秒間１５回の推定によって失報のリスクを低減することができる。

上述した実施形態において、例えば図５に示したように、抽出部１１は、被監視対象Ｔの関節点として、１３か所の部位の座標を抽出する例について説明した。しかしながら、一実施形態において、抽出部１１は、１３より多くの箇所の部位の座標を抽出してもよいし、１３より少ない箇所の部位の座標を抽出してもよい。また、上述した実施形態において、システム１は、秒間１５フレームを処理する例について説明した。しかしながら、一実施形態において、システム１又はシステム１を構成する各機能部は、秒間１５よりも多くのフレームを処理してもよいし、秒間１５よりも少ないフレームを処理してもよい。一実施形態において、システム１が扱う関節点の数及び／又は処理するフレームの数は、暴力動作の開始の推定が妥当な結果になるように調整してもよい。

このように、一実施形態において、コントローラ１５は、暴力動作の開始の推定の妥当性が所定以上になるように、前記フレームの数及び前記関節点の数の少なくとも一方を決定してもよい。

上記実施形態においては、撮像された画像データを用いているため、可視光を検出対象として用いて監視を行った。しかしながら、本開示は、このような場合に限定されず、任意の電磁波、音波、温度、振動など、他の検出対象を任意に用いてもよい。

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。

上述した実施形態は、システム１としての実施のみに限定されるものではない。例えば、上述した実施形態は、システム１に含まれる電子機器１０として実施してもよい。また、上述した実施形態は、例えば、電子機器１０のような機器による監視方法として実施してもよい。さらに、上述した実施形態は、例えば、電子機器１０のような機器又は情報処理装置（例えばコンピュータ）が実行するプログラムとして実施してもよい。また、本開示の技術では、図1に示される電子機器10の各構成要素のすべてが1つの筐体やサーバに存在しなくてもよい。例えば、電子機器10の構成要素のコントローラや記憶部などの各部が、互いに有線、無線若しくはこれらの組み合わせからなるネットワークにより接続され、異なる筐体、サーバ、装置、部屋、ビル、地域、国などに任意に配置されているとしてもよい。

１ システム
１０ 電子機器
１１ 抽出部
１３ 記憶部
１３２ 機械学習データ
１５ コントローラ
１７ 警告部
１９ 通信部
２０ 撮像部

Claims (20)

1. 被監視対象及び他の人物又は前記他の人物に関連する物体を撮像する撮像部と、
   前記撮像部によって撮像された画像から前記被監視対象の所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標を抽出する抽出部と、
   前記撮像部によって撮像された経時的な画像において前記被監視対象が前記他の人物に対して暴力を振るう動作の開始時点及び終了時点を示すタイミング情報に基づいて、前記開始時点と前記終了時点との間における前記被監視対象の所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標と、前記被監視対象が前記他の人物に対して暴力を振るう動作の開始との関係を機械学習するコントローラと、
   を備えるシステム。
2. 前記コントローラは、前記撮像部によって撮像された経時的な画像において前記被監視対象が前記他の人物に対して暴力を振るう動作の開始時点及び終了時点以外の時点を含むタイミング情報に基づいて、前記開始時点と前記終了時点との間における前記被監視対象の所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標と、前記被監視対象が前記他の人物に対して暴力を振るう動作の開始との関係を機械学習する、請求項１に記載のシステム。
3. 前記抽出部は、前記撮像部によって撮像された秒間所定数の各フレームの画像から、前記被監視対象の身体における所定数の関節点の座標及び前記他の人物の身体における所定数の関節点の座標又は前記他の人物に関連する物体の座標を２次元的に抽出する、請求項１又は２に記載のシステム。
4. 前記抽出部は、２次元的に抽出された前記被監視対象の身体における所定数の関節点の座標及び前記他の人物の身体における所定数の関節点の座標又は前記他の人物に関連する物体の座標の各方向成分を、当該各方向成分の最大値及び最小値に基づいて正規化する、請求項１から３のいずれかに記載のシステム。
5. 前記タイミング情報において、前記被監視対象が前記他の人物に対して暴力を振るう動作の終了時点は、前記撮像部によって撮像された経時的な画像において前記被監視対象が前記他の人物から所定距離以上離れたタイミングを示す、請求項１から４のいずれかに記載のシステム。
6. 前記タイミング情報において、前記被監視対象が前記他の人物に対して暴力を振るう動作の開始時点は、前記撮像部によって撮像された経時的な画像において前記被監視対象が前記他の人物から所定距離以内に近づいたタイミングを示す、請求項１から５のいずれかに記載のシステム。
7. 前記タイミング情報において、前記被監視対象が前記他の人物に対して暴力を振るう動作の開始時点は、前記撮像部によって撮像された経時的な画像において前記被監視対象の手首が前記他の人物又は前記他の人物に関連する物体に近づき始めたタイミングを示す、請求項１から６のいずれかに記載のシステム。
8. 被監視対象及び他の人物又は前記他の人物に関連する物体を撮像する撮像部と、
   前記撮像部によって撮像された画像から前記被監視対象の所定部位の座標及び他の人物の所定部位の座標又は前記他の人物に関連する物体の座標を抽出する抽出部と、
   人間が他の人間に対して暴力を振るう動作の開始時点と終了時点との間における前記人間の所定部位の座標及び前記他の人間の所定部位の座標又は前記他の人間に関連する物体の座標と、前記人間が前記他の人間に対して暴力を振るう動作の開始との関係が機械学習された機械学習データに基づいて、前記抽出部によって抽出された前記被監視対象の所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標から、前記被監視対象が前記他の人物に対して暴力を振るう動作の開始を推定するコントローラと、
   を備えるシステム。
9. 前記抽出部は、前記撮像部によって撮像された単位時間当たり所定数のフレームの画像から前記被監視対象の所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標を抽出し、
   前記コントローラは、前記抽出部によって抽出された前記被監視対象の所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標から、前記被監視対象が前記他の人物に対して暴力を振るう動作の開始を推定する、請求項８に記載のシステム。
10. 前記コントローラは、前記被監視対象が前記他の人物に対して暴力を振るう動作の開始を推定したら、前記被監視対象が前記他の人物に対して暴力を振るう動作の開始前に、所定の警告信号を出力する、請求項８又は９に記載のシステム。
11. 前記コントローラは、前記被監視対象が前記他の人物に対して暴力を振るう動作の開始を推定したら、前記被監視対象が前記他の人物に対して暴力を振るう動作の終了前に、所定の警告信号を出力する、請求項８又は９に記載のシステム。
12. 前記抽出部は、前記撮像部によって撮像された秒間所定数の各フレームの画像から、前記被監視対象の身体における所定数の関節点の座標及び前記他の人物の身体における所定数の関節点の座標又は前記他の人物に関連する物体の座標を２次元的に抽出する、請求項８から１１のいずれかに記載のシステム。
13. 前記抽出部は、２次元的に抽出された前記被監視対象の身体における所定数の関節点の座標及び前記他の人物の身体における所定数の関節点の座標又は前記他の人物に関連する物体の座標の各方向成分を、当該各方向成分の最大値及び最小値に基づいて正規化する、請求項１２に記載のシステム。
14. 前記コントローラは、前記被監視対象が前記他の人物に対して暴力を振るう動作の開始の推定の妥当性が所定以上になるように、前記フレームの数及び前記関節点の数の少なくとも一方を決定する、請求項１２又は１３に記載のシステム。
15. 被監視対象及び他の人物又は前記他の人物に関連する物体を含んで撮像された画像から前記被監視対象の所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標を抽出する抽出部と、
    前記被監視対象を含んで撮像された経時的な画像において前記被監視対象が前記他の人物に対して暴力を振るう動作の開始時点及び終了時点を示すタイミング情報に基づいて、前記開始時点と前記終了時点との間における前記被監視対象の所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標と、前記被監視対象が前記他の人物に対して暴力を振るう動作の開始との関係を機械学習するコントローラと、
    を備える電子機器。
16. 被監視対象及び他の人物又は前記他の人物に関連する物体を含んで撮像された画像から前記被監視対象の所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標を抽出する抽出部と、
    人間が他の人間に対して暴力を振るう動作の開始時点と終了時点との間における前記人間の所定部位の座標及び前記他の人間の所定部位の座標又は前記他の人間に関連する物体の座標と、前記人間が前記他の人間に対して暴力を振るう動作の開始との関係が機械学習された機械学習データに基づいて、前記抽出部によって抽出された前記被監視対象の所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標から、前記被監視対象が前記他の人物に対して暴力を振るう動作の開始を推定するコントローラと、
    を備える電子機器。
17. 被監視対象及び他の人物又は前記他の人物に関連する物体を撮像する撮像ステップと、
    前記撮像ステップによって撮像された画像から前記被監視対象の所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標を抽出する抽出ステップと、
    前記撮像ステップによって撮像された経時的な画像において前記被監視対象が前記他の人物に対して暴力を振るう動作の開始時点及び終了時点を示すタイミング情報に基づいて、前記開始時点と前記終了時点との間における前記被監視対象の所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標と、前記被監視対象が前記他の人物に対して暴力を振るう動作の開始との関係を機械学習する機械学習ステップと、
    を含む、電子機器の制御方法。
18. 被監視対象及び他の人物又は前記他の人物に関連する物体を撮像する撮像ステップと、
    前記撮像ステップによって撮像された画像から前記被監視対象の所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標を抽出する抽出ステップと、
    人間が他の人間に対して暴力を振るう動作の開始時点と終了時点との間における前記人間の所定部位の座標及び前記他の人間の所定部位の座標又は前記他の人間に関連する物体の座標と、前記人間が前記他の人間に対して暴力を振るう動作の開始との関係が機械学習された機械学習データに基づいて、前記抽出ステップによって抽出された前記被監視対象の所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標から、前記被監視対象が前記他の人物に対して暴力を振るう動作の開始を推定する推定ステップと、
    を含む、電子機器の制御方法。
19. コンピュータに、
    被監視対象及び他の人物又は前記他の人物に関連する物体を撮像する撮像ステップと、
    前記撮像ステップによって撮像された画像から前記被監視対象の所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標を抽出する抽出ステップと、
    前記撮像ステップによって撮像された経時的な画像において前記被監視対象が前記他の人物に対して暴力を振るう動作の開始時点及び終了時点を示すタイミング情報に基づいて、前記開始時点と前記終了時点との間における前記被監視対象の所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標と、前記被監視対象が前記他の人物に対して暴力を振るう動作の開始との関係を機械学習する機械学習ステップと、
    を実行させる、プログラム。
20. コンピュータに、
    被監視対象及び他の人物又は前記他の人物に関連する物体を撮像する撮像ステップと、
    前記撮像ステップによって撮像された画像から前記被監視対象の所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標を抽出する抽出ステップと、
    人間が他の人間に対して暴力を振るう動作の開始時点と終了時点との間における前記人間の所定部位の座標及び前記他の人間の所定部位の座標又は前記他の人間に関連する物体の座標と、前記人間が前記他の人間に対して暴力を振るう動作の開始との関係が機械学習された機械学習データに基づいて、前記抽出ステップによって抽出された前記被監視対象の所定部位の座標及び前記他の人物の所定部位の座標又は前記他の人物に関連する物体の座標から、前記被監視対象が前記他の人物に対して暴力を振るう動作の開始を推定する推定ステップと、
    を実行させる、プログラム。
    

Images