以下、図面を参照してこの発明に係わる実施形態を説明する。
[一実施形態]
(1)構成
(1-1)全体構成
図1は、この発明の一実施形態に係る人物追跡システム1の全体構成の一例を示す図である。
人物追跡システム1は、例えば、オフィスビルや百貨店等の複数フロアを有する建物、複数店舗を含む商業施設、等の広い監視範囲を有する大型施設において、特定の人物を追跡するシステムである。
この人物追跡システム1は、複数台の監視カメラ10と、各監視カメラ10に対応して設けられた映像解析機能部20及びこの発明の一実施形態に係る人物追跡装置として機能するWebサーバ30を備えるサーバ装置SVと、監視端末40と、を含む。各監視カメラ10と、サーバ装置SVと、監視端末40とは、ネットワークNETを介して接続されている。
ネットワークNETは、構内ネットワークであり、例えば、無線LAN(Local Area Network)または有線LANである。ネットワークNETは、インターネットのような広域ネットワークであっても良い。
複数の監視カメラ10は、互いの撮影範囲が重ならないように或いは一部重なるように、大型施設内に分散配置されたネットワークカメラである。監視カメラ10は、撮影範囲内の動画像を撮影するビデオカメラであって良く、動画像を構成する各フレーム画像を撮影範囲の監視画像として取得することができる。また監視カメラ10は、一定のタイムインターバルで静止画像を撮影することで、定期的に監視画像を取得するスチルカメラであっても良い。
サーバ装置SV内に配置された複数の映像解析機能部20のそれぞれは、対応する監視カメラ10から取得した監視画像に対する様々な解析機能を有している。この映像解析機能部20が提供する解析機能の詳細については、後述する。なお、映像解析機能部20は、このようにサーバ装置SVの内部に配置されるのではなく、専用の演算装置やクラウドなどに独立して配置し、ネットワークNETを介して対応する監視カメラ10とサーバ装置SVとの間でデータを授受することも可能である。また、映像解析機能部20は、監視カメラ10が演算機能を持つのであれば、そのカメラ内部に配置することも可能である。なお、本実施形態では、監視カメラ10と映像解析機能部20とを1対1に対応させて構成しているが、一つの映像解析機能部20が複数台の監視カメラ10に割り当てられていても良い。
サーバ装置SVのWebサーバ30は、サーバコンピュータによって構成され、機能部として、ファイルサーバ31、データベース(以下、DBと略記する。)サーバ32、Webアプリケーション35、検索用人検知結果保存機能部33、及び、検知/追跡結果判定機能部34を含む。これら各機能部の詳細については、後述する。
監視端末40は、パーソナルコンピュータ等のコンピュータによって構成され、Webブラウザ41のプログラムを実行することができる。Webブラウザ41により、監視端末40を操作する警備員等の監視者は、Webサーバ30のWebアプリケーション35が提供する人物追跡結果を閲覧することができる。なお、図1では、監視端末40は、一台のみを示しているが、人物追跡システム1は、監視端末40を複数含んでも良い。
また、サーバ装置SVが監視端末40の機能を備えていても良い。
(1-2)映像解析機能部20
図2は、図1に示した映像解析機能部20の構成の一例を示すブロック図である。映像解析機能部20は、画像取得モジュール21、人検知情報抽出機能部22及び監視/追跡実行機能部23を備える。
画像取得モジュール21は、ネットワークNETを介して監視カメラ10からRTSP(Real Time Streaming Protocol)等の所定の通信プロトコルに従って送信されてくるフレーム画像を取得する。画像取得モジュール21は、取得したフレーム画像をサーバ内通信やWebsocket等によりWebサーバ30に送信し、ファイルサーバ31に蓄積させる。なお、映像解析機能部20がサーバ装置SVから独立して配置されている場合には、画像取得モジュール21は、取得したフレーム画像をネットワークNETを介してWebサーバ30に送信する。また、画像取得モジュール21は、取得したフレーム画像を人検知情報抽出機能部22に送る。
人検知情報抽出機能部22は、入力された画像から人物の全身画像を抽出し、この全身画像からその特徴量である全身特徴量及び人物の顔画像を抽出し、さらにこの顔画像からその特徴量である顔特徴量を抽出する抽出部として機能する。具体的には、人検知情報抽出機能部22は、全身検出モジュール221、領域追跡モジュール222、全身特徴量抽出モジュール223、顔検出モジュール224、顔特徴量抽出モジュール225、体温検出モジュール226、脈拍検出モジュール227及び咳検出モジュール228を備える。
全身検出モジュール221は、入力画像であるフレーム画像に写っている人物それぞれの全身を検出して、全身画像を抽出する全身画像抽出部である。全身検出モジュール221は、例えば、深層学習(Deep Leaning)等の機械学習により事前に学習させた人物の全身画像に基づいて、人物の全身を検出することができる。全身検出モジュール221は、抽出した全身画像を、サーバ内通信やWebsocket等によりWebサーバ30に送信し、ファイルサーバ31に蓄積させる。なお、映像解析機能部20がサーバ装置SVから独立して配置されている場合には、全身検出モジュール221は、抽出した全身画像をネットワークNETを介してWebサーバ30に送信する。また、全身検出モジュール221は、抽出した全身画像を、全身特徴量抽出モジュール223、顔検出モジュール224及び体温検出モジュール226にも送る。さらに、全身検出モジュール221は、フレーム画像と抽出した全身画像を領域追跡モジュール222に送る。
領域追跡モジュール222は、全身検出モジュール221から入力されたフレーム画像中の全身画像の領域位置を検出する。
全身特徴量抽出モジュール223は、入力された全身画像から全身特徴量を抽出する全身特徴量抽出部である。全身特徴量は、全身画像に含まれる人物の体の特徴を客観的に数値化したものである。例えば、全身特徴量は、画像から推定される体型、身長、性別、年代、等の人物自体の属性情報を数値化したものとすることができる。全身特徴量抽出モジュール223は、深層学習(例えばDeep-person-reid等)等の事前に学習したモデルを用いて、全身特徴量を抽出することができる。また、全身特徴量抽出モジュール223は、これら全身特徴量を、HOG(Histogram of Oriented Gradients)やSIFT(Scaled Invariance Feature Transform)等の局所画像特徴量として算出することも可能である。全身特徴量抽出モジュール223は、抽出した全身特徴量を、サーバ内通信やWebsocket等によりWebサーバ30に送信し、ファイルサーバ31に蓄積させる。なお、映像解析機能部20がサーバ装置SVから独立して配置されている場合には、全身特徴量抽出モジュール223は、抽出した全身特徴量をネットワークNETを介してWebサーバ30に送信する。さらに、全身特徴量抽出モジュール223は、抽出した全身特徴量を、監視/追跡実行機能部23に送る。
顔検出モジュール224は、入力された全身画像から人物の顔を検出して、顔画像を抽出する顔画像抽出部である。顔検出モジュール224は、例えば、深層学習等の機械学習により事前に学習させた人物の顔画像に基づいて、人物の顔を検出することができる。顔検出モジュール224は、抽出した顔画像を、顔特徴量抽出モジュール225、体温検出モジュール226、脈拍検出モジュール227及び咳検出モジュール228に送る。
顔特徴量抽出モジュール225は、入力された顔画像から顔特徴量を抽出する顔特徴量抽出部である。顔特徴量は、顔画像に含まれる人物の顔の特徴を客観的に数値化したものである。顔特徴量抽出モジュール225は、例えば、全身特徴量を抽出する全身特徴量抽出モジュール223と同様に、深層学習等で事前に学習したモデルを用いて顔特徴量を抽出することができる。また、顔検出モジュール224は、これら顔特徴量を、HOGやSIFT等の局所画像特徴量として算出しても良い。顔検出モジュール224は、抽出した顔特徴量を、サーバ内通信やWebsocket等によりWebサーバ30に送信し、ファイルサーバ31に蓄積させる。なお、映像解析機能部20がサーバ装置SVから独立して配置されている場合には、顔特徴量抽出モジュール225は、抽出した顔特徴量をネットワークNETを介してWebサーバ30に送信する。さらに、顔検出モジュール224は、抽出した顔特徴量を、監視/追跡実行機能部23に送る。
体温検出モジュール226は、全身検出モジュール221から入力された全身画像または顔検出モジュール224から入力された顔画像から、人物の体表面温度を検出する。画像から体表面温度を検出する手法は、従来より種々提案されてきており、本実施形態では、使用する体表面温度検出手法を特に限定しない。体温検出モジュール226は、検出した体温を、サーバ内通信やWebsocket等によりWebサーバに送信する。なお、映像解析機能部20がサーバ装置SVから独立して配置されている場合には、体温検出モジュール226は、検出した体温をネットワークNETを介してWebサーバ30に送信する。
脈拍検出モジュール227は、顔検出モジュール224から入力された顔画像から、人物の脈拍数を検出する。画像から脈拍数を検出する技術としては、例えば、以下の参考文献1乃至3等に提案されている。
[参考文献1] 小原一誠、外4名、“映像からの脈波情報抽出”[Online]、[令和2年6月19日検索]、インターネット<URL: https://www.sairct.idac.tohoku.ac.jp/wp-content/uploads/2016/07/160728_c2_yoshizawa_DLpre2.pdf>
[参考文献2] 阿部正英、外2名、“非接触センサを用いた脈拍数と呼吸数の計測”[Online]、[令和2年6月19日検索]、インターネット<URL: http://www.mk.ecei.tohoku.ac.jp/papers/data/F05760013.pdf>
[参考文献3] “顔の画像からリアルタイムに脈拍を計測する技術を開発”[Online]、[令和2年6月19日検索]、インターネット<URL: https://pr.fujitsu.com/jp/news/2013/03/18.html>
本実施形態では、使用する脈拍数検出手法を特に限定しない。脈拍検出モジュール227は、検出した脈拍数を、サーバ内通信やWebsocket等によりWebサーバに送信する。なお、映像解析機能部20がサーバ装置SVから独立して配置されている場合には、脈拍検出モジュール227は、検出した脈拍数をネットワークNETを介してWebサーバ30に送信する。
咳検出モジュール228は、顔検出モジュール224から入力された顔画像から、人物の咳の症状を検出する。咳検出モジュール228は、例えば、顔画像のブレ具合や、連続する複数の顔画像における顔の変化、等から咳をしているか否か及びその咳の程度を検出する。咳検出モジュール228は、例えば、深層学習等の機械学習により事前に学習させた人物の顔画像に基づいて、咳の症状を検出することができる。咳検出モジュール228は、検出した咳の症状の度合いを示す咳症状を、サーバ内通信やWebsocket等によりWebサーバに送信する。なお、映像解析機能部20がサーバ装置SVから独立して配置されている場合には、咳検出モジュール228は、検出した咳の症状をネットワークNETを介してWebサーバ30に送信する。
また、監視/追跡実行機能部23は、二つの入力画像の全身特徴量の類似度である全身画像類似度、及び、二つの入力画像の顔特徴量の類似度である顔画像類似度を算出する類似度算出部として機能する。具体的には、監視/追跡実行機能部23は、全身照合モジュール231及び顔照合モジュール232を備える。
全身照合モジュール231は、全身特徴量抽出モジュール223から入力された全身特徴量と、監視端末40から指示された追跡対象の人物の全身特徴量との類似度を算出する。追跡対象の人物の全身特徴量は、例えば、全身特徴量抽出モジュール223によって予め抽出されて、Webサーバ30のファイルサーバ31に登録されている。全身照合モジュール231は、算出した類似度を、サーバ内通信やWebsocket等によりWebサーバ30に送信する。なお、映像解析機能部20がサーバ装置SVから独立して配置されている場合には、全身照合モジュール231は、算出した類似度をネットワークNETを介してWebサーバ30に送信する。
顔照合モジュール232は、顔特徴量抽出モジュール225から入力された顔特徴量と、監視端末40から指示された追跡対象の人物の顔特徴量との類似度を算出する。追跡対象の人物の顔特徴量は、例えば、顔特徴量抽出モジュール225によって予め抽出されて、Webサーバ30のファイルサーバ31に登録されている。顔照合モジュール232は、算出した類似度を、サーバ内通信やWebsocket等によりWebサーバ30に送信する。なお、映像解析機能部20がサーバ装置SVから独立して配置されている場合には、顔照合モジュール232は、算出した類似度をネットワークNETを介してWebサーバ30に送信する。
(1-3)Webサーバ30
図3は、Webサーバ30のソフトウェア構成を示すブロック図である。前述したように、Webサーバ30は、機能部として、ファイルサーバ31、DBサーバ32、検索用人検知結果保存機能部33、検知/追跡結果判定機能部34、及び、Webアプリケーション35を有する。
ファイルサーバ31は、各種のデータファイルを蓄積する。ファイルサーバ31は、過去検索用データ記憶部311、検知履歴データ記憶部312及び管理データ記憶部313を含むことができる。
過去検索用データ記憶部311は、複数の映像解析機能部20それぞれで取得したデータである過去検索用データを記憶する。図4は、この過去検索用データ記憶部311に記憶される過去検索用データの一例を示す図である。過去検索用データは、各映像解析機能部20の全身検出モジュール221がフレーム画像から検出した全身画像毎に、過去検索用データ記憶部311に記憶されることができる。過去検索用データは、映像解析機能部20の画像取得モジュール21が取得したフレーム画像3111、全身検出モジュール221が抽出した全身画像3112、全身特徴量抽出モジュール223が抽出した全身特徴量3113、及び、顔特徴量抽出モジュール225が抽出した顔特徴量3114を含むことができる。過去検索用データは、映像解析機能部20の全身検出モジュール221が検出した状態情報である体温3115、脈拍数3116及び咳症状3117を含むことができる。これらフレーム画像3111、全身画像3112、全身特徴量3113、顔特徴量3114、体温3115、脈拍数3116及び咳症状3117は、例えば、同一のパスに記憶したり、ファイル名の一部に同一の文字列を付したりすることで、紐付けることができる。
検知履歴データ記憶部312は、インフルエンザ等の規定の症状に該当する追跡候補者として検知された特定人物それぞれに関するデータである検知履歴データを記憶する。図5は、この検知履歴データ記憶部312に記憶される検知された特定人物の検知履歴データの一例を示す図である。検知履歴データは、検知された特定人物の顔画像である検知顔画像3121と、その検知顔画像3121に対応する顔特徴量3122と、検知された特定人物の全身画像である検知全身画像3123と、その検知全身画像3123に対応する全身特徴量3124と、を含むことができる。これら検知顔画像3121、顔特徴量3122、検知全身画像3123及び全身特徴量3124は、例えば、同一のパスに記憶したり、ファイル名の一部に同一の文字列を付したりすることで、紐付けることができる。
検知履歴データにおける情報は、Webサーバ30が、例えば、何れかの監視カメラ10の監視画像から、規定の体温、脈拍数または咳症状に該当する追跡候補者を検知した時に、検知履歴データ記憶部312に記憶させることができる。すなわち、Webサーバ30は、当該監視画像から取得されて過去検索用データ記憶部311に記憶されている全身画像3112、全身特徴量3113及び顔特徴量3114を、検知全身画像3123、全身特徴量3124及び顔特徴量3122として検知履歴データ記憶部312に記憶させることができる。また、Webサーバ30は、当該監視画像から取得されて過去検索用データ記憶部311に記憶されている全身画像3112を、サーバ内通信やWebsocket等により一つの映像解析機能部20の顔検出モジュール224に入力することで、当該顔検出モジュール224から顔画像を取得し、それを検知顔画像3121として検知履歴データ記憶部312に記憶させることができる。この一つの映像解析機能部20は、追跡候補者が検知された監視画像を取得した監視カメラ10に対応する映像解析機能部20であって良い。映像解析機能部20の顔検出モジュール224が、抽出した顔画像をバッファリングしている場合には、Webサーバ30は、当該顔検出モジュール224にバッファリングしている顔画像を要求することで検知顔画像3121を取得しても良い。
管理データ記憶部313は、追跡対象者それぞれに関するデータである管理データを記憶する。図6は、この管理データ記憶部313に記憶される追跡対象者毎の管理データの一例を示す図である。追跡対象者毎の管理データは、監視端末40からの指定に応じて管理データ記憶部313に記憶されることができる。管理データは、指定された追跡対象者の顔画像である登録顔画像3131と、その登録顔画像3131から抽出された特徴である顔特徴量3132と、追跡対象者の全身画像である登録全身画像3133と、その登録全身画像3133から抽出された特徴である全身特徴量3134と、を含むことができる。これら登録顔画像3131、顔特徴量3132、登録全身画像3133及び全身特徴量3134は、例えば、同一のパスに記憶したり、ファイル名の一部に同一の文字列を付したりすることで、紐付けることができる。
例えば、Webサーバ30は、追跡候補者が検知された際に、検知履歴データ記憶部312に記憶したその監視対象に対する検知履歴データにおける検知顔画像3121と、その検知の元となった状態情報とを、監視端末40のWebブラウザ41にて監視者に閲覧させる。ここで閲覧させる状態情報は、過去検索用データ記憶部311に記憶されている体温3115、脈拍数3116及び咳症状3117を、種類や性能等に依存する監視カメラ10毎の補正値によって補正したものである。そして、監視端末40から当該人物を追跡対象者とする指定が行われると、Webサーバ30は、検知履歴データにおける検知顔画像3121をこの管理データにおける登録顔画像3131として記憶させる。さらに、Webサーバ30は、検知履歴データにおける顔特徴量3122を、この管理データにおける顔特徴量3132として記憶させることができる。また、Webサーバ30は、指定された検知履歴データにおける検知顔画像3121の元となった全身画像を過去検索用データ記憶部311に記憶された過去検索用データから取得すると共に、その全身特徴量も当該過去検索用データから取得し、それらをこの管理データにおける登録全身画像3133及び全身特徴量3134として記憶させる。
或いは、Webサーバ30は、過去検索用データ記憶部311に記憶されている複数の人物の全身画像3112と体温3115、脈拍数3116及び咳症状3117とを監視端末40のWebブラウザ41にて閲覧させ、監視端末40から任意の全身画像の指定を受けて、その人物を指定の追跡対象者とするようにしても良い。この場合、体温3115、脈拍数3116及び咳症状3117を対応する監視カメラ10用の補正値により補正した結果をWebブラウザ41にて閲覧させるようにしても良い。追跡対象者が指定されたならば、Webサーバ30は、その指定された全身画像3112をサーバ内通信やWebsocket等により一つの映像解析機能部20の顔検出モジュール224に入力することで、当該顔検出モジュール224から顔画像を取得して、管理データ記憶部313に登録顔画像3131として記憶させることができる。またこの場合、顔特徴量3132、登録全身画像3133及び全身特徴量3134については、過去検索用データ記憶部311に記憶されているものを取得して記憶させれば良い。
DBサーバ32は、各種のデータテーブルを蓄積する。DBサーバ32は、カメラ情報テーブル記憶部321、過去検索用データテーブル記憶部322、検知履歴テーブル記憶部323、管理テーブル記憶部324、追跡テーブル記憶部325、等を含むことができる。
カメラ情報テーブル記憶部321は、複数の監視カメラ10のそれぞれに対応して設けられ、その対応する監視カメラ10に関する各種情報が記載されたカメラ情報テーブル3211を予め記憶している。図7は、このカメラ情報テーブル記憶部321に記憶される、監視カメラ10毎のカメラ情報テーブル3211の記載内容の一例を示す図である。カメラ情報テーブル3211には、例えば、カメラID、カメラ名称、アスペクト比、カメラ位置X、カメラ位置Y、カメラ角度、体温補正係数、脈拍補正係数、咳症状補正係数、顔照合閾値1~3、全身照合閾値1~3、等々が記載されている。
ここで、カメラIDは、対応する監視カメラ10を一意に識別する識別情報である。カメラ名称は、対応する監視カメラ10の名称である。これは、対応する監視カメラ10の大型施設における設置位置と関連付けた名称とすることができる。アスペクト比は対応する監視カメラ10で取得される画像のアスペクト比である。カメラ位置X及びカメラ位置Yは、対応する監視カメラ10の設置位置を示す大型施設内のXY座標である。カメラ角度は、対応する監視カメラ10の設置向きを示している。
また、体温補正係数、脈拍補正係数及び咳症状補正係数は、映像解析機能部20の体温検出モジュール226、脈拍検出モジュール227及び咳検出モジュール228が検出した体温、脈拍数及び咳症状を補正するための係数である。これら補正係数は、対応する監視カメラ10自体の種類、性能、設置条件等に依存するため、監視カメラ10を設置してから実際の運用が開始されるまでの間に、適切な値に調整されて、カメラ情報テーブル3211に記載される。
また、顔照合閾値1~3及び全身照合閾値1~3は、映像解析機能部20の全身照合モジュール231及び顔照合モジュール232が算出した類似度と比較するための閾値である。顔照合閾値1は、対応する監視カメラ10の監視画像から抽出された人物の顔画像が追跡対象者の顔画像であるか否か分類するための顔画像類似度に対応する第1の閾値である。顔照合モジュール232が算出した顔画像類似度がこの第1の閾値である顔照合閾値1以上である場合、Webサーバ30は、対応する監視カメラ10の監視画像から抽出された人物の顔画像が追跡対象者の顔画像であると判定することができる。顔照合閾値2及び3は、顔照合閾値1よりも大きい顔画像類似度に対応し、抽出された人物の顔画像が追跡対象者の顔画像である場合に、その顔画像を複数の段階に分類するための第2の閾値である。すなわち、これら閾値の大きさは、[顔照合閾値1<顔照合閾値2<顔照合閾値3」の関係を有する。同様に、全身照合閾値1は、対応する監視カメラ10の監視画像から抽出された人物の全身画像が追跡対象者の全身画像であるか否か分類するための全身画像類似度に対応する第1の閾値である。全身照合モジュール231が算出した全身画像類似度がこの全身照合閾値1以上である場合、Webサーバ30は、対応する監視カメラ10の監視画像から抽出された人物の全身画像が追跡対象者の全身画像であると判定することができる。全身照合閾値2及び3は、全身照合閾値1よりも大きい全身画像類似度に対応し、抽出された人物の全身画像が監視対象者或いは追跡対象者の全身画像である場合に、その全身画像を複数の段階に分類するための第2の閾値である。すなわち、これら閾値の大きさは、[全身照合閾値1<全身照合閾値2<全身照合閾値3」の関係を有する。
各閾値の値は、概して、類似度を算出する映像解析機能部20の監視/追跡実行機能部23における顔照合モジュール232が用いる照合モデルと全身照合モジュール231が用いる照合モデルとによって決まる。各閾値は、監視カメラ10自体の種類、性能、設置条件等に依存するため、監視カメラ10を設置してから実際の運用が開始されるまでの間に、適切な値に調整されて、カメラ情報テーブル3211に記載される。なお、この顔照合閾値及び全身照合閾値は、それぞれ3段階に限定するものではないことは勿論である。すなわち、第2の閾値は、少なくとも一つあれば良い。
過去検索用データテーブル記憶部322は、過去検索用データ記憶部311に記憶される過去検索用データのそれぞれに対応して、その過去検索用データに関する各種データが記載された過去検索用データテーブル3221を記憶する。Webサーバ30は、過去検索用データ記憶部311に過去検索用データを記憶する際に、この過去検索用データテーブル3221を作成して、過去検索用データテーブル記憶部322に記憶させる。図8は、この過去検索用データテーブル記憶部322に記憶される過去検索用データテーブル3221の記載内容の一例を示す図である。過去検索用データテーブル3221には、例えば、検知ID、検知日時、検知カメラID、トラッキングID、フレームID、検知座標情報X、検知座標情報Y、検知座標情報Width、検知座標情報Height、等々が記載される。
ここで、検知IDは、映像解析機能部20の全身検出モジュール221が検出したフレーム画像3111中の全身画像3112毎に振られる識別情報である。検知日時は、全身検出モジュール221が当該全身画像3112を検出した日時である。検知カメラIDは、フレーム画像3111を取得した監視カメラ10のカメラIDである。トラッキングIDは、複数フレーム画像間で、同一の人物の全身画像3112を紐付けるための識別情報である。フレームIDはフレーム画像3111を一意に識別するための識別情報である。検知座標情報X、検知座標情報Y、検知座標情報Width及び検知座標情報Heightは、領域追跡モジュール222によって検出されたフレーム画像3111中の全身画像3112の領域位置を示す情報であり、全身画像3112の例えば左上隅のフレーム画像中のXY座標と、そこからの画像幅及び画像高さを示す。
なお、Webサーバ30は、過去検索用データテーブル3221のトラッキングIDを、例えば、以下のようにして付与することができる。Webサーバ30は、映像解析機能部20の人検知情報抽出機能部22から与えられる全身画像の領域位置と、過去検索用データ記憶部311に記憶されている当該監視カメラ10の前フレーム画像における過去検索用データテーブル3221それぞれの全身画像の領域位置とを比較して、重複領域等を考慮することで、全身画像の人物の同一性を判別する。同一人物が前フレーム画像に写っていなければ、Webサーバ30は、新たなトラッキングIDを付与する。また、同一人物が前フレーム画像に写っていれば、当該人物の全身画像3112に対応する過去検索用データテーブル3221よりトラッキングIDを引き継ぐ。なお、Webサーバ30は、全身画像の位置ではなくて、全身特徴量を比較することで、人物の同一性を判別し、新規トラッキングID付与の要否を決定するようにしても良い。
検知履歴テーブル記憶部323は、検知履歴データ記憶部312に記憶される検知履歴データのそれぞれに対応して、その検知履歴データに関する各種データが記載された検知履歴テーブル3231を記憶する。Webサーバ30は、検知履歴データ記憶部312に検知履歴データを記憶する際に、この検知履歴テーブル3231を作成して、検知履歴テーブル記憶部323に記憶させる。図9は、この検知履歴テーブル記憶部323に記憶される検知履歴テーブル3231の記載内容の一例を示す図である。検知履歴テーブル3231には、例えば、検知ID、検知日時、検知カメラID、要注意者ID、補正後体温、補正後脈拍数、補正後咳症状、顔左右角度、顔上下角度、トラッキングID、等々が記載される。
ここで、検知ID、検知日時、検知カメラID及びトラッキングIDは、過去検索用データテーブル3221について説明した通りである。要注意者IDは、検知履歴データ記憶部312に検知履歴データを記憶する際に付与される、当該追跡候補者を一意に識別する識別情報である。補正後体温、補正後脈拍数及び補正後咳症状は、カメラ情報テーブル記憶部321に記憶されたカメラ情報テーブル3211に記載された補正係数による補正結果である。顔左右角度及び顔上下角度は、対応する検知履歴データの検知顔画像3121における顔の向きを示す。
管理テーブル記憶部324は、管理データ記憶部313に記憶される管理データのそれぞれに対応して、その管理データに関する各種データが記載された管理テーブル3241を記憶する。Webサーバは、管理データ記憶部313に管理データを記憶する際に、この管理テーブル3241を作成して、管理テーブル記憶部324に記憶させる。図10は、この管理テーブル記憶部324に記憶される管理テーブル3241の記載内容の一例を示す図である。管理テーブル3241には、例えば、要注意者ID、補正後体温、補正後脈拍数、補正後咳症状、クエリ顔画像パス、顔特徴量ファイルパス、監視ステータス、ピン留めフラグ、長期間滞在フラグ、等々が記載される。
ここで、要注意者ID、補正後体温、補正後脈拍数及び補正後咳症状は、検知履歴テーブル3231から転記される。クエリ顔画像パス及び顔特徴量ファイルパスは、管理データ記憶部313における、管理データの登録顔画像3131及び顔特徴量3132の保存パスを示す。監視ステータスは、危険度種別以外の、追跡対象者に対して監視端末40から任意に設定される属性情報である。ピン留めフラグは、追跡対象者として指定された際に、そのことを示すためにセットされるフラグである。長期間滞在フラグは、追跡対象者として指定されていないが、規定の時間以上、当該施設に滞在している場合にセットされるフラグである。すなわち、Webサーバ30は、監視対象以外ではないが長期間滞在している人物が存在するとき、その人物の顔画像及び顔特徴量も管理データ記憶部313に記憶させ、管理テーブル記憶部324に管理テーブルを記憶させることができる。これにより、新たな不審者や新規顧客の候補を発見できるようになる。
追跡テーブル記憶部325は、映像解析機能部20の全身照合モジュール231又は顔照合モジュール232が算出した全身画像類似度又は顔画像類似度からWebサーバ30によって追跡対象者の全身画像又は顔画像であると判定された、何れかの監視カメラ10の監視画像から抽出された人物の類似度が記載された追跡テーブルを記憶する。図11は、この追跡テーブル記憶部325に記憶される追跡テーブル3251の記載内容の一例を示す図である。追跡テーブル3251は、追跡対象者の要注意者ID毎に、検知ID、全身画像類似度及び顔画像類似度でなるレコードを含み、各レコードはWebサーバ30が追跡対象者の全身画像又は顔画像であると判定する毎に追加されていく。全身画像類似度及び顔画像類似度は、映像解析機能部20の全身照合モジュール231及び顔照合モジュール232が算出した類似度の実数値が記憶されるが、後述するようにWebブラウザ41での追跡アラート画面の表示のために、3段階の全身画像類似度ラベルID及び顔画像類似度ラベルIDに書き換えられることができる。
検索用人検知結果保存機能部33及び検知/追跡結果判定機能部34は、Webサーバのバックエンド機能として提供される。検索用人検知結果保存機能部33は、映像解析機能部20の人検知情報抽出機能部22の各機能部の出力を受けて、過去検索用データテーブル記憶部322に記憶する検索用データテーブルを作成する。検知/追跡結果判定機能部34は、映像解析機能部20の人検知情報抽出機能部22の各機能部の出力を受けて、規定の症状に該当する追跡候補者が監視カメラ10の監視画像内に現れたことを検知し、検知履歴テーブル記憶部323に記憶する検知履歴テーブルを作成すると共に、人検知情報抽出機能部22の各機能部で抽出した、その人物の検知顔画像3121、顔特徴量3122、検知全身画像3123及び全身特徴量3124を検知履歴データ記憶部312へ記憶させる。検知/追跡結果判定機能部34は、また、映像解析機能部20の監視/追跡実行機能部23の各機能部の出力を受けて、監視者から指定された追跡対象者の全身画像及び/又は顔画像と同一の人物が何れかの監視カメラ10の監視画像内に現れたことを検知し、その検知に応じて、追跡テーブル記憶部325に記憶している当該追跡対象者の追跡テーブルにレコードを追加していく。
Webアプリケーション35は、監視端末40のWebブラウザ41からの要求に応じて各種処理を行い、その処理結果を示す閲覧用のデータを作成するアプリケーションプログラムである。Webアプリケーション35は、Webサーバ30に、ログイン機能部351、監視機能部352、追跡機能部353及び過去検索機能部354としての機能を提供する。
ログイン機能部351は、Webブラウザ41からのログインを受け付けて、認証を行い、正規ユーザに対して当該Webアプリケーション35が提供する機能の利用を許可する。
監視機能部352は、検知/追跡結果判定機能部34が追跡候補者を検知した際に、アラートを発生して、Webブラウザ41に提示する。そのために、監視機能部352は、Webブラウザ41に提示するための検知アラート画面を生成する検知アラート出力機能部3521を含む。検知アラート画面は、規定の症状に該当する特定人物である追跡候補者と検知された人物の画像を、その状態情報と共に提示するための出力画面である。
追跡機能部353は、検知/追跡結果判定機能部34が検知した追跡候補者の顔画像と同一の人物の顔画像及び全身画像で、複数の監視カメラ10を跨いでリアルタイムに該当人物を追跡した追跡結果を、Webブラウザ41に提示する。そのために、追跡機能部353は、画像登録機能部3531と追跡アラート出力機能部3532とを含む。画像登録機能部3531は、Webブラウザ41上での監視者から指定操作による、追跡を行うべき追跡対象者の顔画像の指定を受けて、管理データ記憶部313に登録顔画像3131及び顔特徴量3132を記憶させると共に、管理テーブル3241を作成して管理テーブル記憶部324に記憶させる。追跡アラート出力機能部3532は、検知/追跡結果判定機能部34が追跡対象者の全身画像及び/又は顔画像と同一の人物を検知した際に、追跡対象者に類似すると検知された人物の画像を、類似度に基づく注意段階を示す段階表示と共に提示するための出力画面である追跡アラート画面をWebブラウザ41に提示する。
過去検索機能部354は、Webブラウザ41からの時間及び場所の指定を受けて、その指定された時間・場所に来訪した人物を一覧表示し、その中から検索する人物の指定を受け付ける。そして、過去検索機能部354は、検知/追跡結果判定機能部34がその指定された人物の顔画像及び全身画像から、過去検索用データ記憶部311に記憶された類似人物を検索した結果をWebブラウザ41に提示する。
図12は、Webサーバ30のハードウェア構成を示すブロック図である。Webサーバ30は、例えば、CPU(Central Processing Unit)などのハードウェアプロセッサ301A、プログラムメモリ301B、記憶装置302及び通信インタフェース装置303を備える。プログラムメモリ301B、記憶装置302及び通信インタフェース装置303は、バス304を介してハードウェアプロセッサ301Aに接続されている。
通信インタフェース装置303は、例えば一つ以上の有線または無線の通信インタフェースユニットを含んでおり、ネットワークNETで使用される通信プロトコルに従い、映像解析機能部20及び監視端末40との間で各種情報の送受信を可能にする。
プログラムメモリ301Bは、記憶媒体として、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)などの随時書込み及び読出しが可能な不揮発性メモリと、ROM(Read Only Memory)等の不揮発性メモリとを組み合わせて使用したもので、CPUなどのハードウェアプロセッサ301Aが実行することで、この発明の一実施形態に係る各種制御処理を実行するために必要なプログラムを記憶している。すなわち、ハードウェアプロセッサ301Aは、プログラムメモリ301Bに記憶されたプログラムを読み出して実行することで、図3に示すような検索用人検知結果保存機能部33及び検知/追跡結果判定機能部34として機能することができる。なお、これらの処理機能部は、それぞれ別個のハードウェアプロセッサで実現されても良い。すなわち、Webサーバ30は、複数のハードウェアプロセッサを備えていても良い。また、これらの処理機能部の少なくとも一部は、ASIC(Application Specific Integrated Circuit)、FPGA(field-programmable gate array)、GPU(Graphics Processing Unit)などの集積回路を含む、他の多様なハードウェア回路の形式で実現されても良い。また、プログラムメモリ301Bに記憶されるプログラムは、図3に示すようなWebアプリケーション35のブログラムを含むことができる。
記憶装置302は、記憶媒体として、例えば、HDDまたはSSDなどの随時書込み及び読出しが可能な不揮発性メモリと、RAM(Random Access Memory)などの揮発性メモリとを組み合わせて使用したもので、人物追跡処理を行う過程で取得及び作成された各種データを記憶するために用いられる。また、記憶装置302には、図3に示すようなファイルサーバ31及びDBサーバ32を構成することができる。
(2)動作
次に、以上のように構成された人物追跡システムの動作を説明する。
(2-1)監視動作
監視端末40でWebブラウザ41が起動されてWebサーバ30に対するアクセス操作がなされると、Webサーバ30は、Webアプリケーション35が提供するログイン機能部351により、認証動作を実施する。そして、正規ユーザであることが確認されたならば、Webサーバ30は、Webアプリケーション35が提供する監視機能部352により、Webブラウザ41での閲覧用の監視画面を生成して、Webブラウザ41へ送信する。監視画面は、以下のようにして生成されることができる。
複数台の監視カメラ10はそれぞれ、監視画像を定期的に取得し、取得した監視画像を対応する映像解析機能部20に入力する。映像解析機能部20の画像取得モジュール21は、対応する監視カメラ10からの監視画像であるフレーム画像を取得し、人検知情報抽出機能部22は、そのフレーム画像に写っている人物の全身画像、その全身画像の領域位置、全身特徴量及び顔特徴量を抽出する。そして、映像解析機能部20は、それらフレーム画像、全身画像、全身画像の領域位置、全身特徴量、顔特徴量、体温、脈拍数及び咳症状をサーバ内通信やWebsocket等によりWebサーバ30に送信する。
Webサーバ30は、複数の映像解析機能部20のそれぞれから送信されてきたフレーム画像、全身画像、全身特徴量、顔特徴量、体温、脈拍数及び咳症状を、過去検索用データとして、ファイルサーバ31の過去検索用データ記憶部311に蓄積する。またこのとき、Webサーバ30の検索用人検知結果保存機能部33は、複数の映像解析機能部20のそれぞれから送信されてきた全身画像の領域位置を含む過去検索用データテーブルを作成して、DBサーバ32の過去検索用データテーブル記憶部322に記憶させる。こうして、各監視カメラ10での監視画像の取得毎に、過去検索用データ記憶部311に過去検索用データが蓄積されていくと共に、過去検索用データテーブル記憶部322にそれら過去検索用データに紐付いた過去検索用データテーブルが蓄積されていく。
監視機能部352は、こうして過去検索用データ記憶部311に蓄積されていく各監視カメラ10からのフレーム画像を、一つの画面に並べることで、監視画面を生成することができる。監視端末40のWebブラウザ41に表示されたこの監視画面を閲覧することで、警備員等の監視者は、施設内の各部のリアルタイムな状況を把握することが可能となる。
また、人物追跡システムでは、この各部のリアルタイムな状況監視と並行して、追跡候補者の来訪検知動作が行われる。この追跡候補者来訪検知動作は、検知/追跡結果判定機能部34による検知結果判定処理と、監視機能部352の検知アラート出力機能部3521による検知アラート出力処理と、を含む。
図13は、Webサーバ30の検知/追跡結果判定機能部34による検知結果判定処理の処理手順を示すフローチャートである。検知/追跡結果判定機能部34は、過去検索用データテーブル記憶部322に、何れかの監視カメラ10の監視画像に基づく過去検索用データが記憶される毎に、このフローチャートに示す処理を実施することができる。或いは、検知/追跡結果判定機能部34は、過去検索用データテーブル記憶部322に、各監視カメラ10の監視画像に基づく過去検索用データが所定回数分記憶される毎に、このフローチャートに示す処理を実施するようにしても良い。後者の場合、その複数回分の過去検索用データの内の何れか一つ、例えば最新のものを処理対象として使用することができる。
検知/追跡結果判定機能部34は、まず、過去検索用データ記憶部311に記憶されている過去検索用データから状態情報である体温3115、脈拍数3116及び咳症状3117を取得する(ステップS101)。また、検知/追跡結果判定機能部34は、カメラ情報テーブル記憶部321に記憶避けている、その過去検索用データの取得元である監視カメラ10のカメラ情報テーブル3211より状態情報の補正値である体温補正値、脈拍数補正値及び咳症状補正値を取得する(ステップS102)。そして、上記取得した体温3115、脈拍数3116及び咳症状3117を、この体温補正値、脈拍数補正値及び咳症状補正値により補正する(ステップS103)。
その後、検知/追跡結果判定機能部34は、補正後の体温が予め記憶している規定体温以上であるか否か判断する(ステップS104)。補正後体温が規定体温以上であると判断した場合には、検知/追跡結果判定機能部34は、検知履歴データ記憶部312に検知履歴データとして検知顔画像3121、顔特徴量3122、検知全身画像3123及び全身特徴量3124を記憶させると共に、検知履歴テーブル3231を生成して、それを検知履歴テーブル記憶部323に記憶させる(ステップS105)。この生成した検知履歴テーブル3231には、上記ステップS103で補正した補正後の状態情報である補正後体温、補正後脈拍数及び補正後咳症状が登録されることとなる。そしてその後、検知/追跡結果判定機能部34は、この検知/追跡結果判定処理を終了する。なお、比較対象である規定体温と後述する規定脈拍数及び規定咳症状は、インフルエンザ等の規定の症状に応じた値が予め記憶装置302に記憶されているものとする。
これに対して、ステップS104において補正後体温が規定体温以上ではないと判断した場合には、検知/追跡結果判定機能部34は、補正後の脈拍数が、予め記憶している規定脈拍数以上であるか否か判断する(ステップS106)。補正後脈拍数が規定脈拍数以上であると判断した場合には、検知/追跡結果判定機能部34は、上記ステップS105の処理に進む。
また、補正後脈拍数が規定脈拍数以上ではないと判断した場合には、検知/追跡結果判定機能部34は、補正後の咳症状が、予め記憶している規定咳症状以上か否か判断する(ステップS107)。補正後咳症状が規定咳症状以上であると判断した場合には、検知/追跡結果判定機能部34は、上記ステップS105の処理に進む。補正後咳症状が規定咳症状以上ではないと判断した場合には、検知/追跡結果判定機能部34は、この検知/追跡結果判定処理を終了する。
以上のようにして、補正後の体温、脈拍数及び咳症状の何れかが既定の体温、脈拍数または咳症状以上である場合には、追跡候補者が検知されたとして、検知履歴データ記憶部312に検知履歴データが記憶され、検知履歴テーブル3231へ補正後の体温、脈拍数及び咳症状が登録されることになる。
図14A及び図14Bは、監視機能部352の検知アラート出力機能部3521による検知アラート出力処理の処理手順を示すフローチャートである。検知アラート出力機能部3521は、定期的に、例えば映像解析機能部20の監視/追跡実行機能部23による検知結果判定処理と同様の処理タイミングで、このフローチャートに示す処理を実施する。
検知アラート出力機能部3521は、まず、監視端末40において、監視者によってWebブラウザ41に表示される検知アラート画面における絞り込み指定操作が行われたか否か判断する(ステップS201)。絞り込み指定操作が行われたと判断した場合、検知アラート出力機能部3521は、後述するステップS206へと進む。
これに対して、絞り込み指定操作が行われていないと判断した場合、検知アラート出力機能部3521は、検知履歴テーブル記憶部323から新規の検知履歴テーブル3231の情報を取得する(ステップS202)。すなわち、検知アラート出力機能部3521は、検知履歴テーブル3231における検知日時として、前回の処理日時以降の日時が記録されているものを抽出して取得する。
そして、検知アラート出力機能部3521は、取得した新規の検知履歴テーブル3231の情報に基づいて、画面画像である新規の検知人物カードを作成する(ステップS203)。この検知人物カードは、検知履歴データ記憶部312に検知履歴データとして記憶した検知顔画像3121及び検知全身画像3123と、それに対応する検知履歴テーブル3231における補正後の状態情報と、を含む画面画像である。この検知人物カードについては、詳細を後述する。
検知アラート出力機能部3521は、この作成した新規の検知人物カードにより、Webブラウザ41にて表示するための検知アラート画面を更新する(ステップS204)。そして、検知アラート出力機能部3521は、この更新した検知アラート画面を、ネットワークNETを介してWebブラウザ41に送信して、そこに表示させる(ステップS205)。Webブラウザ41では、監視画面の一部に設けられたアラート画面表示領域に、或いは、監視画面とは別のウィンドウを開いて、この検知アラート画面を表示する。そして、検知アラート出力機能部3521は、この検知アラート出力処理を終了する。
一方、上記ステップS201において絞り込み指定操作が行われたと判断した場合、検知アラート出力機能部3521は、その指定された絞り込みレベルを取得する(ステップS206)。この絞り込みレベルは、検知アラート画面に表示する追跡情報カードを絞り込むための指標である。
また、検知アラート出力機能部3521は、検知履歴テーブル記憶部323から処理対象の検知履歴テーブル3231の情報を取得する(ステップS207)。すなわち、検知アラート出力機能部3521は、検知履歴テーブル3231における検知日時に基づいて、新しいものから順に一つの検知履歴テーブルの情報を取得する。
その後、検知アラート出力機能部3521は、取得した補正後の体温が、上記絞り込みレベルとして指定された指定体温よりも高いか否か、つまり補正後体温が指定体温以上であるか否か判断する(ステップS208)。補正後体温が指定体温以上であると判断した場合には、検知アラート出力機能部3521は、取得した検知履歴テーブル3231の情報に基づいて、画面画像である検知人物カードを作成する(ステップS209)。
そして、検知アラート出力機能部3521は、所定数の検知人物カードを作成したか否か判断する(ステップS210)。この所定数は、検知アラート画面の表示可能個数に依存することができる。或いは、任意の個数としても良い。未だ所定数の検知人物カードを作成していないと判断した場合には、検知アラート出力機能部3521は、上記ステップS207の処理に戻る。
また、上記ステップS208において補正後体温が指定体温以上ではないと判断した場合には、検知アラート出力機能部3521は、取得した補正後の脈拍数が、上記絞り込みレベルとして指定された指定脈拍数以上であるか否か判断する(ステップS211)。補正後脈拍数が指定脈拍数以上であると判断した場合には、検知アラート出力機能部3521は、上記ステップS209の処理に進んで、検知人物カードを作成することとなる。
また、上記ステップS213において補正後脈拍数が指定脈拍数以上ではないと判断した場合には、検知アラート出力機能部3521は、取得した補正後の咳症状が、上記絞り込みレベルとして指定された指定咳症状以上であるか否か判断する(ステップS212)。補正後咳症状が指定咳症状以上であると判断した場合には、検知アラート出力機能部3521は、上記ステップS209の処理に進んで、検知人物カードを作成することとなる。補正後咳症状が指定咳症状以上ではないと判断した場合には、検知アラート出力機能部3521は、上記ステップS210の処理に進む。
そして、上記ステップS210において所定数の検知人物カードを作成したと判断した場合には、検知アラート出力機能部3521は、作成した検知人物カードを検知日時順に並べ替えて、検知アラート画面を更新する(ステップS213)。そして、検知アラート出力機能部3521は、上記ステップS205の処理に進んで、この更新した検知アラート画面を、ネットワークNETを介してWebブラウザ41に送信して、そこに表示させることとなる。
なお、所定数の検知人物カードを作成する前に、上記ステップS207で取得するべき処理対象の検知履歴テーブル3231の情報が無くなってしまった場合には、ステップS213に進んで良い。
図15は、Webブラウザ41に表示される検知アラート画面42の一例を示す図である。検知アラート画面42は、検知された人物毎の検知人物カード421と、絞り込み指示領域422と、を含む。
検知人物カード421は、その表示内容として、注意喚起ラベル4211、要注意者ID4212、追跡候補者画像4213、検知体温4214、検知脈拍数4215、検知咳症状4216、及び、追跡開始ボタン4217を含むことができる。
ここで、注意喚起ラベル4211は、監視者の注意を促すためのメッセージであり、点滅表示灯の識別表示を行うようにしても良い。要注意者ID4212は、検知履歴テーブル3231から転記される識別情報である。追跡候補者画像4213は、その追跡候補者であると検知された人物の、検知履歴データ記憶部312に記憶された検知顔画像3121及び検知全身画像3123である。検知体温4214、検知脈拍数4215及び検知咳症状4216は、検知履歴テーブル3231から転記される補正後体温、補正後脈拍数及び補正後咳症状である。追跡開始ボタン4217は、当該人物を追跡する場合に押下されるボタンである。
なお、この検知人物カード421は、追跡候補者として新たに特定人物が検知される毎に、検知アラート画面42の最上位に表示されるように、古い検知人物カード421が下方にシフトされていく。同一人物については新たな検知人物カード421は追加されない。
また、絞り込み指示領域422は、検知アラート画面42に表示する検知人物カード421を絞り込むための指示を受け付けるための領域である。この絞り込み指示領域422は、体温提示閾値設定スライダ4221、脈拍数提示閾値設定スライダ4222及び咳症状閾値設定ボタン4223を含む。
ここで、体温提示閾値設定スライダ4221は、上記ステップS208で用いる指定体温を示す提示閾値を設定するためにスライド操作されるスライダである。監視者によるこのスライダのスライド操作で指示される体温以上の補正後体温を含む追跡情報カード432が検知アラート画面42に表示されるようになる。図15では、体温提示閾値設定スライダ4221は、37.5℃である規定体温が設定されている状態を示している。
同様に、脈拍数提示閾値設定スライダ4222は、上記ステップS211で用いる指定脈拍数を示す提示閾値を設定するためにスライド操作されるスライダである。監視者によるこのスライダのスライド操作で指示される脈拍数以上の補正後脈拍数を含む追跡情報カード432が検知アラート画面42に表示されるようになる。図15では、脈拍数提示閾値設定スライダ4222は、110である規定脈拍数が設定されている状態を示している。
また、咳症状閾値設定ボタン4223は、本実施形態では咳症状の度合いを3段階で示すものとしているので、咳症状の段数に対応する3個のボタンを含む。監視者によるこの3個のボタンの押下操作に応じた指定段数以上の補正後咳症状を含む追跡情報カード432が検知アラート画面42に表示されるようになる。図15の例では、咳症状閾値設定ボタン4223での段数として1段である規定咳症状が設定されている状態を示している。また、この咳症状閾値設定ボタン4223は、この指定段数をリセットする際に押下操作されるボタンであるリセットボタンも含む。
図15の例では、検知アラート画面42は、3つの検知人物カード421を含む。最上部に提示された検知人物カード421は、体温提示閾値設定スライダ4221で指定される37.5℃以上の体温である37.6℃の体温、または、咳症状閾値設定ボタン4223で指定される1段以上の咳症状度合いである2段の咳症状が検知された追跡候補者を提示する検知人物カード421である。2段目に提示された検知人物カード421は、体温提示閾値設定スライダ4221で指定される37.5℃以上の体温である38.8℃の体温、脈拍数提示閾値設定スライダ4222で指定される110以上の脈拍である115の脈拍数、または、咳症状閾値設定ボタン4223で指定される1段以上の咳症状度合いである3段の咳症状が検知された追跡候補者を提示する検知人物カード421である。そして、3段目に提示された検知人物カード421は、脈拍数提示閾値設定スライダ4222で指定される110以上の脈拍である115の脈拍数、または、咳症状閾値設定ボタン4223で指定される1段以上の咳症状度合いである2段の咳症状が検知された追跡候補者を提示する検知人物カード421である。
図16は、体温提示閾値設定スライダ4221により37.8℃、咳症状閾値設定ボタン4223で2段を指定した場合の検知アラート画面42の例である。この例では、この体温と咳症状の提示閾値による絞り込みの結果、図15の例において最上位に提示されていた追跡候補者の検知人物カード421が提示されなくなる。図16の例では、図15の例において2段目と3段目に提示されていた検知人物カード421が上方にシフトされ、新たに、体温提示閾値設定スライダ4221で指定される37.8℃以上の体温である7.9℃の体温、または、咳症状閾値設定ボタン4223で指定される2段以上の咳症状度合いである2段の咳症状が検知された追跡候補者を提示する検知人物カード421が3段目に提示されている。
(2-2)追跡動作
監視者が検知アラート画面42の追跡開始ボタン4217の押下操作を行うと、Webサーバ30は、Webアプリケーション35が提供する追跡機能部353により、映像解析機能部20及び検知/追跡結果判定機能部34を利用して、当該人物を追跡した追跡結果を、Webブラウザ41に提示させていく。この追跡動作は、追跡機能部353の画像登録機能部3531による画像登録処理と、映像解析機能部20の監視/追跡実行機能部23による追跡処理と、検知/追跡結果判定機能部34による追跡結果判定処理と、追跡機能部353の追跡アラート出力機能部3532による追跡アラート出力処理と、を含む。
図17は、追跡機能部353の画像登録機能部3531による画像登録処理の処理手順を示すフローチャートである。画像登録機能部3531は、定期的に、例えば監視カメラ10の監視画像の取得間隔に同期して、このフローチャートに示す処理を実施する。
画像登録機能部3531は、まず、監視端末40において、監視者によってWebブラウザ41に表示される検知アラート画面42における追跡開始ボタン4217の押下操作が行われたか否か判断する(ステップS301)。追跡開始ボタン4217の押下操作が行われていないと判断した場合には、画像登録機能部3531は、この画像登録処理を終了する。
これに対して、追跡開始ボタン4217の押下操作が行われたと判断した場合には、画像登録機能部3531は、その人物の顔画像を追跡用顔画像として取得する(ステップS302)。すなわち、画像登録機能部3531は、検知アラート画面42の要注意者IDを有する検知履歴テーブル記憶部323のトラッキングIDに基づいて、検知履歴データ記憶部312から検知顔画像3121を追跡用顔画像として取得する。例えば、画像登録機能部3531は、当該トラッキングIDを有する検知履歴テーブル3231の内、検知日時が特定時期のもの、例えば最新のものに記載された検知IDで特定される検知顔画像3121を取得することができる。特定時期としては、最新に限らず、最古、指定期間の間での最新又は最古、季節(春夏秋冬など)であって良い。或いは、画像登録機能部3531は、当該トラッキングIDを有する検知履歴テーブル3231のそれぞれに記載された検知IDで特定される検知顔画像3121を一覧形式で含む選択画面を生成し、それをWebブラウザ41に表示させて、監視者に追跡用顔画像とする検知顔画像3121を選択させるようにしても良い。そして、画像登録機能部3531は、取得した追跡用顔画像を、管理データ記憶部313に登録顔画像3131として記憶させる。また、画像登録機能部3531は、管理テーブル3241を作成し、それを管理テーブル記憶部324に記憶させる。管理テーブル3241は、管理データ記憶部313における登録顔画像3131の記憶パスを示すクエリ顔特徴パスを含む。
そして、画像登録機能部3531は、追跡用顔画像として検知履歴データ記憶部312から取得された検知顔画像3121に対応する全身画像を追跡用全身画像として取得する(ステップS303)。すなわち、画像登録機能部3531は、その追跡用顔画像として取得された検知顔画像3121について検知履歴テーブル3231に記載された検知IDで特定される検知全身画像3123を追跡用全身画像として取得する。或いは、画像登録機能部3531は、その検知IDに基づいて、過去検索用データ記憶部311から全身画像3112を追跡用全身画像として取得する。画像登録機能部3531は、この取得した追跡用全身画像を、管理データ記憶部313に登録全身画像3133として記憶させる。また、画像登録機能部3531は、管理テーブル記憶部324に記憶されている管理テーブル3241に、管理データ記憶部313における登録全身画像3133の記憶パスを示すクエリ全身特徴パスを追記する。
さらに、画像登録機能部3531は、追跡用顔画像特徴量と追跡用全身画像特徴量を取得する(ステップS304)。すなわち、画像登録機能部3531は、上記検知IDに基づいて、検知履歴データ記憶部312から顔特徴量3122及び全身特徴量3124を追跡用顔特徴量及び追跡用全身特徴量として取得する。画像登録機能部3531は、これら取得した追跡用顔特徴量及び追跡用全身特徴量を、管理データ記憶部313に顔特徴量3132及び全身特徴量3134として記憶させる。また、画像登録機能部3531は、管理テーブル記憶部324に記憶されている管理テーブル3241に、それら特徴量記憶パスを示す顔特徴量ファイルパス及び全身特徴量ファイルパスを追記する。
そして、画像登録機能部3531は、管理データ記憶部313に記憶された登録顔画像3131及び登録全身画像3133を追跡用画像として、また、顔特徴量3132及び全身特徴量3134を追跡用特徴量として、サーバ内通信やWebsocket等により、複数の映像解析機能部20のそれぞれへ送信する(ステップS305)。その後、画像登録機能部3531は、この画像登録処理を終了する。
図18は、映像解析機能部20の監視/追跡実行機能部23による追跡処理の処理手順を示すフローチャートである。監視/追跡実行機能部23は、例えば、サーバ内通信やWebsocket等によりWebサーバ30の追跡機能部353画像登録機能部3531から追跡用画像と特徴量を受信する毎に、このフローチャートに示す処理を実施する。
監視/追跡実行機能部23は、まず、Webサーバ30の画像登録機能部3531から受信した追跡用画像と特徴量を取得する(ステップS411)。
その後、監視/追跡実行機能部23は、人検知情報抽出機能部22から、時刻Tの全身画像とその特徴量とを、照合用全身画像と照合用全身特徴量として取得する(ステップS412)。対応する監視カメラ10の監視画像に複数の人物の全身画像が含まれる場合には、監視/追跡実行機能部23は、それぞれの人物について、照合用全身画像と照合用全身特徴量を取得する。
そして、監視/追跡実行機能部23は、全身照合モジュール231により、人検知情報抽出機能部22からの照合用全身特徴量のそれぞれについて、画像登録機能部3531からの追跡用全身特徴量との類似度である全身画像類似度を算出する(ステップS413)。
また、監視/追跡実行機能部23は、人検知情報抽出機能部22から、時刻Tの顔画像とその特徴量とを、照合用顔画像と照合用顔特徴量として取得する(ステップS414)。対応する監視カメラ10の監視画像に複数の人物の顔画像が含まれる場合には、監視/追跡実行機能部23は、それぞれの人物について、照合用顔画像と照合用顔特徴量を取得する。なお、人物の向きによって、全身画像は抽出できても顔画像が抽出できない場合も有る。よって、上記ステップS412で取得される照合用全身画像の数とこのステップS414で取得する照合用顔画像の数とは一致するとは限らない。また、一人も顔画像が抽出できず、照合用顔画像(及び照合用顔特徴量)が取得されない場合もあり得る。
そして、監視/追跡実行機能部23は、顔照合モジュール232により、人検知情報抽出機能部22からの照合用顔特徴量のそれぞれについて、画像登録機能部3531からの追跡用顔特徴量との類似度である顔画像類似度を算出する(ステップS415)。
その後、監視/追跡実行機能部23は、それら全身画像及び顔画像についての類似度と照合用画像とのセットを、サーバ内通信やWebsocket等により、Webサーバ30の検知/追跡結果判定機能部34へ送信する(ステップS416)。なお、類似度と照合用画像のセットは、全身画像類似度と照合用全身画像とのセットと顔画像類似度と照合用顔画像とのセットとの両方を含む場合も有れば、顔画像類似度と照合用顔画像とのセットの無い全身画像類似度と照合用全身画像とのセットのみを含む場合もあり得る。
そして、監視/追跡実行機能部23は、監視端末40において、監視者によってWebブラウザ41に表示される追跡アラート画面における追跡停止ボタンの押下操作が行われたか否か判断する(ステップS417)。追跡停止ボタンを有する追跡アラート画面の詳細については、後述する。追跡停止ボタンの押下操作が行われたと判断した場合には、監視/追跡実行機能部23は、この監視/追跡処理を終了する。
また、追跡停止ボタンの押下操作が行われていないと判断した場合には、監視/追跡実行機能部23は、時刻Tに時間間隔t1加えてから、すなわち、次の処理時刻に更新した後(ステップS418)、上記ステップS412から上記の処理を繰り返す。ここで、時間間隔t1は、例えば、数秒というように、任意の時間間隔とすることができる。或いは、時間間隔t1は、監視カメラ10の監視画像の取得間隔の整数倍の時間間隔としても良い。
図19は、Webサーバ30の検知/追跡結果判定機能部34による追跡結果判定処理の処理手順を示すフローチャートである。検知/追跡結果判定機能部34は、定期的に、例えば映像解析機能部20の監視/追跡実行機能部23の追跡処理の処理間隔に同期して、このフローチャートに示す処理を実施する。
検知/追跡結果判定機能部34は、まず、監視/追跡実行機能部23から類似度と照合用画像のセットを受信したか否か判断する(ステップS121)。類似度と照合用画像のセットを受信していないと判断した場合には、検知/追跡結果判定機能部34は、この追跡結果判定処理を終了する。
これに対して、類似度と照合用画像のセットを受信したと判断した場合には、検知/追跡結果判定機能部34は、顔照合閾値1と全身照合閾値1を取得する(ステップS122)。すなわち、検知/追跡結果判定機能部34は、カメラ情報テーブル記憶部321に記憶されている、それら類似度と照合用画像のセットの送信元である映像解析機能部20に対応する監視カメラ10についてのカメラ情報テーブル3211から、顔照合閾値1と全身照合閾値1を取得する。
そして、検知/追跡結果判定機能部34は、受信した全身画像類似度のそれぞれについて、取得した全身照合閾値1と比較し、全身照合閾値1以上の全身画像類似度が有るか否か判断する(ステップS123)。全身照合閾値1以上の全身画像類似度が有ると判断した場合には、検知/追跡結果判定機能部34は、その全身特徴量を有する人物は追跡対象者であると判別する。よってこの場合には、検知/追跡結果判定機能部34は、その大きいと判断された全身画像類似度を、上記ステップS121で受信した対応する照合用全身画像と共に、記憶装置302の所定の記憶領域に保存しておくと共に、全身画像類似度を追跡テーブル3251に登録する(ステップS124)。この全身画像類似度の登録に際して、追跡テーブル記憶部325に、該当要注意者IDの追跡テーブル3251が未だ記憶されていない場合には、追跡テーブル3251を生成し、その生成した追跡テーブル251を追跡テーブル記憶部325に記憶させる。また、追跡テーブル記憶部325に、該当要注意者IDの追跡テーブル3251が既に記憶されている場合には、新たな追跡テーブル3251を生成するのではなく、レコードを追加する。追跡テーブル3251に登録される全身画像類似度は、全身照合閾値1以上の値の全身画像類似度である。
その後、或いは上記ステップS123において全身照合閾値1以上の全身画像類似度が無いと判断した場合、検知/追跡結果判定機能部34は、受信した顔画像類似度のそれぞれについて、取得した顔照合閾値1と比較し、顔照合閾値1以上の顔画像類似度が有るか否か判断する(ステップS125)。顔照合閾値1以上の顔画像類似度が有ると判断した場合には、検知/追跡結果判定機能部34は、その顔特徴量を有する人物は追跡対象者であると判別する。よってこの場合には、検知/追跡結果判定機能部34は、その大きいと判断された顔画像類似度を、上記ステップS121で受信した対応する照合用顔画像と共に、記憶装置302の所定の記憶領域に保存しておくと共に、顔画像類似度を追跡テーブル3251に登録する(ステップS126)。この顔画像類似度の登録に際して、追跡テーブル記憶部325に、該当要注意者IDの追跡テーブル3251が未だ記憶されていない場合には、追跡テーブル3251を生成し、その生成した追跡テーブル251を追跡テーブル記憶部325に記憶させる。また、追跡テーブル記憶部325に、該当要注意者IDの追跡テーブル3251が既に記憶されている場合には、新たな追跡テーブル3251を生成するのではなく、レコードを追加する。追跡テーブル3251に登録される顔画像類似度は、顔照合閾値1以上の値の全身画像類似度である。
その後、或いは上記ステップS125において顔照合閾値1以上の顔画像類似度が無いと判断した場合には、検知/追跡結果判定機能部34は、この追跡結果判定処理を終了する。
図20A乃至図20Cは、追跡機能部353の追跡アラート出力機能部3532による追跡アラート出力処理の処理手順を示すフローチャートである。追跡アラート出力機能部3532は、定期的に、例えば映像解析機能部20の監視/追跡実行機能部23における時間間隔t1おきに、このフローチャートに示す処理を実施する。
追跡アラート出力機能部3532は、まず、監視端末40において、監視者によってWebブラウザ41に表示される追跡アラート画面における絞り込み指定操作が行われたか否か判断する(ステップS501)。絞り込み指定操作が行われたと判断した場合、追跡アラート出力機能部3532は、後述するステップS519へと進む。
これに対して、絞り込み指定操作が行われていないと判断した場合、追跡アラート出力機能部3532は、カメラ情報テーブル記憶部321に記憶されている、各監視カメラ10についてのカメラ情報テーブル3211から、顔照合閾値1~3及び全身照合閾値1~3を取得する(ステップS502)。
その後、追跡アラート出力機能部3532は、追跡テーブル記憶部325に記憶されている追跡テーブル3251から新規の追跡結果を取得する(ステップS503)。すなわち、追跡アラート出力機能部3532は、追跡テーブル3251における全身画像類似度及び顔画像類似度として、画像類似度IDではなくて類似度の実数が記録されているものを抽出して取得する。
そして、追跡アラート出力機能部3532は、追跡テーブル3251における顔画像類似度の値が顔照合閾値3以上であるか否か判断する(ステップS504)。顔画像類似度の値が顔照合閾値3以上であると判断した場合、追跡アラート出力機能部3532は、追跡テーブル記憶部325の当該追跡テーブル3251における顔画像類似度の値を、実数から顔画像類似度ラベルID、ここではID=3に書き換える(ステップS505)。
これに対して、顔画像類似度の値が顔照合閾値3以上ではないと判断した場合、追跡アラート出力機能部3532は、更に、顔画像類似度の値が顔照合閾値2以上であるか否か判断する(ステップS506)。顔画像類似度の値が顔照合閾値2以上であると判断した場合、追跡アラート出力機能部3532は、追跡テーブル記憶部325の当該追跡テーブル3251における顔画像類似度の値を、実数から顔画像類似度ラベルID、ここではID=2に書き換える(ステップS507)。
また、顔画像類似度の値が顔照合閾値2以上ではないと判断した場合、追跡アラート出力機能部3532は、更に、顔画像類似度の値が顔照合閾値1以上であるか否か判断する(ステップS508)。顔画像類似度の値が顔照合閾値1以上であると判断した場合、追跡アラート出力機能部3532は、追跡テーブル記憶部325の当該追跡テーブル3251における顔画像類似度の値を、実数から顔画像類似度ラベルID、ここではID=1に書き換える(ステップS509)。
追跡機能部353の追跡動作に係わる処理では、顔画像類似度と全身類似度との両方を利用しており、追跡テーブル3251には顔画像類似度と全身類似度の何れか片方しか登録されない場合が存在する。すなわち、顔画像類似度の値が顔照合閾値2以上ではないときには、顔照合閾値1以上である値の顔画像類似度の値が登録されている場合と、顔照合閾値1より小さい顔画像類似度の値が登録されている(又は顔画像類似度の値が登録されていない)場合と、が存在する。そのため、顔画像類似度の値が顔照合閾値2以上ではないというだけで、顔画像類似度の値は顔照合閾値1以上であると決めることができない。
以上のようにして、追跡テーブル3251における顔画像類似度の値を顔画像類似度ラベルIDに書き換えたならば、或いは、上記ステップS508において顔画像類似度の値が顔照合閾値1以上ではないと判断した場合、追跡アラート出力機能部3532は、全身画像類似度の判定動作に移る。
すなわち、追跡アラート出力機能部3532は、追跡テーブル3251における全身画像類似度の値が全身照合閾値3以上であるか否か判断する(ステップS510)。全身画像類似度の値が全身照合閾値3以上であると判断した場合、追跡アラート出力機能部3532は、追跡テーブル記憶部325の当該追跡テーブル3251における全身画像類似度の値を、実数から全身画像類似度ラベルID、ここではID=3に書き換える(ステップS511)。
これに対して、全身画像類似度の値が全身照合閾値3以上ではないと判断した場合、追跡アラート出力機能部3532は、更に、全身画像類似度の値が全身照合閾値2以上であるか否か判断する(ステップS512)。全身画像類似度の値が全身照合閾値2以上であると判断した場合、追跡アラート出力機能部3532は、追跡テーブル記憶部325の当該追跡テーブル3251における全身画像類似度の値を、実数から全身画像類似度ラベルID、ここではID=2に書き換える(ステップS513)。
また、全身画像類似度の値が全身照合閾値2以上ではないと判断した場合、追跡アラート出力機能部3532は、更に、全身画像類似度の値が全身照合閾値1以上であるか否か判断する(ステップS514)。全身画像類似度の値が全身照合閾値1以上であると判断した場合、追跡アラート出力機能部3532は、追跡テーブル記憶部325の当該追跡テーブル3251における全身画像類似度の値を、実数から全身画像類似度ラベルID、ここではID=1に書き換える(ステップS515)。
以上のようにして、追跡テーブル3251における全身画像類似度の値を全身画像類似度ラベルIDに書き換えたならば、或いは、上記ステップS514において全身画像類似度の値が全身照合閾値1以上ではないと判断した場合、追跡アラート出力機能部3532は、画面画像である新規の追跡情報カードを作成する(ステップS516)。この追跡情報カードは、上記ステップS124及びステップS126で記憶装置302の所定の記憶領域に保存された照合用全身画像及び照合用顔画像と、それに対応する追跡テーブル3251における全身画像類似度ラベルID及び顔画像類似度ラベルIDに基づく注意段階を示す注意段階表示と、を含む画面画像である。この追跡情報カードについては、詳細を後述する。
追跡アラート出力機能部3532は、この作成した新規の追跡情報カードにより、Webブラウザ41にて表示するための追跡アラート画面を更新する(ステップS517)。そして、追跡アラート出力機能部3532は、この更新した追跡アラート画面を、ネットワークNETを介してWebブラウザ41に送信して、そこに表示させる(ステップS518)。Webブラウザ41では、監視画面の一部に設けられたアラート画面表示領域に、或いは、監視画面とは別のウィンドウを開いて、この追跡アラート画面を表示する。そして、追跡アラート出力機能部3532は、この追跡アラート出力処理を終了する。
一方、上記ステップS501において絞り込み指定操作が行われたと判断した場合、追跡アラート出力機能部3532は、その指定された絞り込みレベルを取得する(ステップS519)。この絞り込みレベルは、追跡アラート画面に表示する追跡情報カードを絞り込むための指標である。
追跡アラート出力機能部3532は、追跡テーブル記憶部325に記憶されている追跡テーブル3251より、指定された絞り込みレベルに応じた要注意者IDを抽出する(ステップS520)。
そして、追跡アラート出力機能部3532は、それら抽出した要注意者IDの検知IDに基づいて、過去検索用データ記憶部311に過去検索用データとして記憶された全身画像3112と、映像解析機能部20の人検知情報抽出機能部22によってその全身画像3112から抽出した顔画像とを含む、追跡アラート画面に表示可能な個数分の追跡情報カードを作成する(ステップS521)。
その後、追跡アラート出力機能部3532は、上記ステップS516と同様に、新規追跡情報カード作成し(ステップS522)、上記ステップS517と同様に、作成した追跡情報カードにより追跡アラート画面を更新する(ステップS523)。そして、追跡アラート出力機能部3532は、上記ステップS518の処理に進み、更新した追跡アラート画面をWebブラウザ41に送信して、そこに表示させることとなる。
図21は、Webブラウザ41に表示される追跡アラート画面43の一例を示す図である。追跡アラート画面43は、追跡対象者情報領域431と、追跡情報カード432と、絞り込み指示領域433と、を含む。
追跡対象者情報領域431は、追跡対象者に関する情報を表示する領域であり、追跡対象者を追加する毎に、追跡アラート画面43の最上位に追加表示されていく。古い追跡対象者情報領域431は順次下方にシフトされていく。ここで、最上位つまり最新の追跡対象者情報領域431とその他の追跡対象者情報領域431とでは、表示内容が異なっている。すなわち、最上位の追跡対象者情報領域431は、注意喚起ラベル4311、要注意者ID4312、登録画像4313、追跡情報4314、及び、追跡停止ボタン4315を含む。これに対して、最上位以外の追跡対象者情報領域431は、登録画像4313と追跡情報4314のみを含む。
ここで、注意喚起ラベル4311は、監視者の注意を促すためのメッセージであり、点滅表示灯の識別表示を行うようにしても良い。要注意者ID4312は、管理テーブル3241から転記される識別情報である。登録画像4313は、追跡対象者の管理データ記憶部313に記憶された登録顔画像3131及び登録全身画像3133である。追跡情報4314は、当該追跡対象者に関する情報であり、最上位の追跡対象者情報領域431の追跡情報4314とその他の追跡対象者情報領域431の追跡情報4314とでは、内容が異なっている。すなわち、最上位の追跡対象者情報領域431の追跡情報4314は、管理テーブル3241から転記される状態情報である補正後体温、補正後脈拍数及び補正後咳症状を含む。最上位以外の追跡対象者情報領域431の追跡情報4314は、これら状態情報に代えて、追跡状況を含んでいる。追跡停止ボタン4315は、当該人物の追跡を終了する場合に押下されるボタンである。
また、追跡情報カード432は、追跡アラート出力機能部3532が新規カードを作成する毎に、追跡アラート画面43の最上位に追加表示されていく。古い追跡情報カード432は順次下方にシフトされていく。この追跡情報カード432は、その表示内容として、検出日時情報4321、検出カメラ場所情報4322、検出顔画像4323、顔注意段階表示4324、検出全身画像4325、全身注意段階表示4326、及び、検出背景画像4327を含む。
ここで、検出日時情報4321は、当該追跡対象者が何れかの監視カメラ10の監視画像から検知された日時情報である。検出カメラ場所情報4322は、その検知した監視カメラIDに基づくカメラ場所情報である。検出顔画像4323は、検知されて保存された追跡対象者の照合用顔画像である。顔注意段階表示4324は、追跡対象者の顔画像と検知された人物の顔画像との類似度の段階を示すものである。すなわち、類似度が、実数ではなくて、追跡テーブル3251における顔画像類似度ラベルIDに基づく複数段階、ここでは3段階の注意段階表示として示されている。この顔注意段階表示4324では、図21においてハッチングにより表している識別表示された四角形の数が、顔画像類似度ラベルIDに対応する。例えば、一番上の追跡情報カード432では、追跡テーブル3251における顔画像類似度ラベルIDが「2」であったので、顔注意段階表示4324では、2個の四角形が識別表示され、上から二番目の追跡情報カード432では、追跡テーブル3251における顔画像類似度ラベルIDが「3」であったので、顔注意段階表示4324では、3個の四角形が識別表示されている。
同様に、検出全身画像4325は、検知されて保存された追跡対象者の照合用全身画像である。全身注意段階表示4326は、追跡対象者の全身画像と検知された人物の全身画像との類似度の段階を示すものである。すなわち、類似度が、実数ではなくて、追跡テーブル3251における全身画像類似度ラベルIDに基づく複数段階、ここでは3段階の注意段階表示として示されている。この全身注意段階表示4326も顔注意段階表示4324と同様、図21においてハッチングにより表している識別表示された四角形の数が、全身画像類似度ラベルIDに対応する。例えば、一番上の追跡情報カード432では、追跡テーブル3251における全身画像類似度ラベルIDが「3」であったので、全身注意段階表示4326では、3個の四角形が識別表示され、上から二番目の追跡情報カード432では、追跡テーブル3251における全身画像類似度ラベルIDが「2」であったので、全身注意段階表示4326では、2個の四角形が識別表示されている。
検出背景画像4327は、照合用顔画像及び/または照合用全身画像を抽出した元の監視画像であるフレーム画像である。このフレーム画像は、過去検索用データ記憶部311に記憶されているフレーム画像3111が用いられる。
なお、追跡情報カード432は、必ずしも、検出顔画像4323及び顔注意段階表示4324と、検出全身画像4325及び全身注意段階表示4326と、の両方を含むとは限らず、どちらか一方のみの場合も有り得る。
絞り込み指示領域433は、追跡アラート画面43に表示する追跡情報カード432を絞り込むための指示を受け付けるための領域である。この絞り込み指示領域433は、顔画像類似度選択ボタン4331、顔画像類似度選択リセットボタン4332、全身画像類似度選択ボタン4333、及び、全身画像類似度選択リセットボタン4334を含む。
ここで、顔画像類似度選択ボタン4331は、顔注意段階表示4324の段数に対応する3個のボタンを含む。監視者によるこの顔画像類似度選択ボタン4331の押下操作に応じた指定段数以上の顔注意段階表示4324を含む追跡情報カード432のみが追跡アラート画面43に表示されるようになる。図21の例では、顔画像類似度選択ボタン4331での段数が指定されていないので、追跡アラート画面43には、1段以上の顔注意段階表示4324を含む追跡情報カード432が表示されている。顔画像類似度選択リセットボタン4332は、顔画像類似度選択ボタン4331での段数指定をリセットする際に押下操作されるボタンである。
同様に、全身画像類似度選択ボタン4333は、全身注意段階表示4326の段数に対応する3個のボタンを含む。監視者によるこの全身画像類似度選択ボタン4333の押下操作に応じた指定段数以上の全身注意段階表示4326を含む追跡情報カード432のみが追跡アラート画面43に表示されるようになる。図21の例では、全身画像類似度選択ボタン4333での段数が指定されていないので、追跡アラート画面43には、1段以上の全身注意段階表示4326を含む追跡情報カード432が表示されている。全身画像類似度選択リセットボタン4334は、全身画像類似度選択ボタン4333での段数指定をリセットする際に押下操作されるボタンである。
図22は、Webブラウザ41に表示される追跡アラート画面43の別の例を示す図である。この例は、顔画像類似度選択ボタン4331で3段が指定され、全身画像類似度選択ボタン4333で1段が指定された場合を示している。ここで、押下操作されたボタンは、図21ではハッチングにより示すように、識別表示される。顔画像類似度選択ボタン4331による指定と全身画像類似度選択ボタン4333による指定はアンド条件となり、追跡アラート画面43には、両方で指定された段数に合致する追跡情報カード432のみが表示されるようになる。
(2-3)過去検索動作
追跡機能部353による追跡動作は、リアルタイムで追跡対象者を追跡する機能である。一方で、過去に特定の人物が当該施設に来訪していないか調査したい場合が存在する。
そこで、過去検索機能部354は、Webブラウザ41からの時間及び場所の指定を受けて、過去検索用データテーブル記憶部322に記憶されている過去検索用データテーブル3221に基づいて、過去検索用データ記憶部311からその指定された時間・場所に来訪した人物の全身画像3112を抽出する。そして、その抽出した全身画像3112を一覧表示した選択画面を作成し、Webブラウザ41に表示させる。
Webブラウザ41から検索する人物の選択指定を受けて、過去検索機能部354は、その選択指定された全身画像3112を追跡用全身画像とし、また、リアルタイムの監視カメラ10からの監視画像に代えて指定された時間・場所についての過去検索用データ記憶部311に記憶されたフレーム画像3111を対象として、追跡機能部353と同様の動作を行う。
これにより、過去検索機能部354は、過去検索用データ記憶部311に記憶されている過去の来訪者の中から、選択指定された人物に類似する人物を検索し、その結果を追跡アラート画面43としてWebブラウザ41に表示させることができる。
(3)効果
以上詳述したように一実施形態に係る人物追跡装置としてのWebサーバ30は、複数台の監視カメラ10それぞれで定期的に取得した監視画像のそれぞれに含まれる人物の健康状態に係わる複数種類の状態情報を、監視画像のそれぞれから検出する情報抽出部としての人検知情報抽出機能部22から、当該人検知情報抽出機能部22が検出した複数種類の状態情報を取得し、それら取得した複数種類の状態情報に基づいて、監視画像のそれぞれに含まれる人物が規定の症状に該当する特定人物であるか否か判別する判別部としての検知/追跡結果判定機能部34と、検知/追跡結果判定機能部34の判別結果に基づいて、複数台の監視カメラ10それぞれの監視画像から抽出された人物の画像の内、インフルエンザ等の規定の症状に該当する特定人物の画像を、追跡対象者画像として登録する登録部としての画像登録機能部3531と、複数台の監視カメラ10それぞれで定期的に取得した監視画像のそれぞれから、画像登録機能部3531によって登録された追跡対象者画像に類似する人物の画像を検知する検知部としての検知/追跡結果判定機能部34と、検知/追跡結果判定機能部34が検知した追跡対象者画像に類似する人物の画像を提示するための追跡出力画面としての追跡アラート画面43を生成する追跡出力画面生成部としての追跡アラート出力機能部3532と、を具備するようにしている。これにより、監視カメラ10によって取得した監視画像から規定の症状に該当する人物を検知し、追跡できるようになる。
なお、Webサーバ30は、検知/追跡結果判定機能部34の判別結果に基づいて、複数台の監視カメラ10それぞれの監視画像から抽出された人物の画像の内、規定の症状に該当する特定人物の画像を、状態情報と共に提示するための検知出力画面としての検知アラート画面42を生成する検知出力画面生成部としての検知アラート出力機能部3521を更に具備するようにし、画像登録機能部3531は、この検知アラート出力機能部3521が生成した検知アラート画面42を表示する監視端末40から、検知アラート画面42に提示された人物の画像の中から追跡を行うべき追跡対象者の画像の指定を取得し、その取得した指定された画像を追跡対象者画像として登録するようにしている。よって、検知アラート画面42に複数の追跡候補者をその状態情報と共に提示することで、追跡しなければならない追跡対象者を監視者が容易に認識できるようになる。
また、検知/追跡結果判定機能部34は、取得した複数種類の状態情報の内の何れか一種類でも既定値以上であるとき、複数台の監視カメラ10それぞれの監視画像から抽出された人物の画像が規定の症状に該当する特定人物の画像であると判別するようにしている。よって、少しでも規定の症状に該当する可能性がある人物を確実にピックアップすることができる。
また、検知アラート出力機能部3521は、複数種類の状態情報それぞれの種類に対して指定された提示閾値を取得し、取得した提示閾値に基づいて、検知/追跡結果判定機能部34が規定の症状に該当すると判別した特定人物の画像の中から、検知アラート画面42に提示するべき画像を絞り込むようにしている。よって、監視者が提示閾値を指定することで、検知アラート画面42に提示される規定の症状に該当する可能性がある人物を絞り込むことができ、追跡しなければならない追跡対象者を監視者が容易に認識できるようになる。
この場合、検知アラート出力機能部3521は、取得したそれぞれの種類に対する提示閾値の中の何れか一つの提示閾値以上の状態情報を検出した特定人物の画像を、検知アラート画面42に提示するべき画像として選択するようにしている。よって、少しでも規定の症状に該当する可能性がある人物を、絞り込み対象外としてしまうおそれがない。
また、Webサーバ30は、複数台の監視カメラ10それぞれについて、状態情報を補正するための補正係数を記憶したカメラ情報記憶部としてのカメラ情報テーブル記憶部321を更に備え、検知/追跡結果判定機能部34は、人検知情報抽出機能部22から取得した状態情報を、このカメラ情報テーブル記憶部321に記憶された補正係数により補正し、補正後の状態情報に基づいて、人物の画像が規定の症状に該当する特定人物の画像であるか否か判別するようにしている。よって、監視カメラ10の種類等の違いに依存する状態情報間のバラツキを減らすことができる。
なお、状態情報は、監視画像からそれぞれ抽出される、体温、脈拍数及び咳症状の内の少なくとも一つを含むことができる。
また、一実施形態に係る人物追跡システムは、一実施形態に係る人物追跡装置としてのWebサーバ30と、複数台の監視カメラ10と、監視者が操作する監視端末40と、人検知情報抽出機能部22を備える解析部としての映像解析機能部20と、を備えることができる。
また、一実施形態に係る人物追跡方法は、複数台の監視カメラ10が取得した監視画像から追跡を行うべき追跡対象者を追跡する人物追跡方法であって、コンピュータであるWebサーバ30が、複数台の監視カメラ10それぞれで定期的に取得した監視画像のそれぞれに含まれる人物の健康状態に係わる複数種類の状態情報を、監視画像のそれぞれから検出する情報抽出部としての人検知情報抽出機能部22から、当該人検知情報抽出機能部22が検出した複数種類の状態情報を取得し、それら取得した複数種類の状態情報に基づいて、監視画像のそれぞれに含まれる人物が規定の症状に該当する特定人物であるか否か判別し、その判別の結果に基づいて、複数台の監視カメラ10それぞれの監視画像から抽出された人物の画像の内、規定の症状に該当する特定人物の画像を、追跡対象者画像としてメモリであるファイルサーバ31に登録し、複数台の監視カメラ10それぞれで定期的に取得した監視画像のそれぞれから、登録された追跡対象者画像に類似する人物の画像を検知し、それら検知した追跡対象者画像に類似する人物の画像を提示するための追跡アラート画面43を生成するようにしている。これにより、監視カメラ10によって取得した監視画像から規定の症状に該当する人物を検知し、追跡できるようになる。
[他の実施形態]
前記一実施形態では、検知アラート画面42に提示される検知人物カード421は、提示閾値の何れか以上の体温、脈拍数または咳症状に該当する人物のものとしたが、全ての提示閾値以上であることを条件としても良い。この場合、検知アラート出力機能部3521の処理手順を、図14Bに示すフローチャートに示す手順に代えて、図23に示すフローチャートに示す手順のようにすれば良い。すなわち、ステップS208において補正後体温が指定体温以上でないと判断した場合、ステップS211において補正後脈拍数が指定脈拍数以上でないと判断した場合、或いは、ステップS212において補正後咳症状が指定咳症状以上でないと判断した場合には、検知アラート出力機能部3521は、検知人物カードを作成せずに、ステップS210の判断処理へと進む。そして、ステップS208において補正後体温が指定体温以上であると判断し、ステップS211において補正後脈拍数が指定脈拍数以上であると判断し、且つ、ステップS212において補正後咳症状が指定咳症状以上であると判断した場合にのみ、検知アラート出力機能部3521は、ステップS209に進んで、検知人物カードを作成するようにする。
このように、検知アラート出力機能部3521は、取得したそれぞれの種類に対する提示閾値の全てについて、提示閾値以上の状態情報を検出した特定人物の画像を、検知アラート画面42に提示するべき画像として選択する。よって、規定の症状に該当する可能性が高い人物を容易に絞り込むことができる。
また、前記一実施形態では、ファイルサーバ31の過去検索用データ記憶部311に、過去検索用データとしてフレーム画像3111、全身画像3112、全身特徴量3113及び顔特徴量3114を記憶していくものとしたが、顔特徴量3114を抽出する元となった顔画像も記憶するようにしても良い。
また、図13乃至図14B、図17乃至図20C、及び図23のフローチャートに示した処理ステップの順序は一例であり、この順に限定するものではない。例えば、図13のステップS101の処理とステップS102の処理とは、順番が逆でも良いし、並行して行っても良い。また、図18において、ステップS412及びS413の処理とステップS414及びS415の処理とは、順番が逆でも良いし、並行して行っても良い。また、図20AにおけるステップS504乃至S509の処理と図20BにおけるステップS510乃至S515の処理とについても、その順番は逆でも良いし、並行して行っても良い。このように、各処理ステップは、先行の又は後続する処理ステップと齟齬が生じない限り、処理順序等を変更して構わない。
また、図15(及び図16)に示した検知アラート画面42、並びに、図21(及び図22)に示した追跡アラート画面43についても、図示したレイアウト並びに表示内容に限定するものではない。例えば、検知咳症状4216、顔注意段階表示4324及び全身注意段階表示4326を、複数の四角形を識別表示する個数で表しているが、例えばイエロー、オレンジ、レッドのように一つの四角形の色を変更する識別表示によって注意段階を表すようにしても良い。或いは、四角形の個数や色ではなく、A~Cや1~3のように、注意段階を文字で表しても構わない。
また、一実施形態では、監視カメラ10で取得した監視画像から人物の全身画像を抽出し、その抽出した全身画像から人物の顔画像を抽出するものとして説明したが、これに限定するものではない。監視画像に人物の顔が写っている場合には、全身画像を抽出することなく顔画像を抽出するようにしても良い。
また、一実施形態では、全身画像特徴量及び顔画像特徴量として、人物自体の属性情報を数値化したものとしたが、これに限定するものではない。全身特徴量は、例えば、服装、持ち物(バッグの種類や色、ベビーカー、等)、装飾品(サングラス、マスク、等)、等の人に付随する付随情報を数値化したものを含んでも良い。さらに、全身特徴量は、発熱情報、脈拍、等の画像から得られる又は他のセンサから得られる人の内部情報を数値化したものを含んでも良い。また、顔特徴量は、装飾品(メガネ、帽子、等)等の顔に付随する付随情報を数値化したものを含んでも良い。
また、全身画像特徴量及び顔画像特徴量は人物自体の属性情報を数値化したもののみとし、それら付随情報を数値化したものや人の内部情報を数値化したものを別の特徴量として、全身画像特徴量及び顔画像特徴量と同様の検知基準の一つとして、その別の特徴量を使用するようにしても良い。
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態に亘る構成要素を適宜組み合わせても良い。