JP7828615B2 - 所在管理システム、所在管理方法及び所在管理プログラム - Google Patents

Description

本開示は、特定の領域での人の所在を管理する所在管理システム、所在管理方法及び所在管理プログラムに関するものである。

従来、セキュリティの確保を必要とする領域において、人の動きを管理することがある。このため、セキュリティの向上を図るための入退室管理装置が検討されている（例えば、特許文献１を参照。）。この特許文献に記載された入退室管理装置は、セキュリティの確保を必要とする保安区画に対し入退室しようとする判定対象者を、撮像画像における画像解析により人数を検出する。更に、判定対象者に取着したカラーバーコードを読み取ることにより、保安区画に対し入退室しようとする判定対象者の人数を検出する。そして、画像解析とカラーバーコードとで検出した人数が一致する場合、保安区画に対する入退室を許容する。

また、動画像に含まれる物体を追跡する物体追跡装置が検討されている（例えば、特許文献２を参照。）。この特許文献に記載された物体追跡装置は、動画像の各フレーム画像を、被写体の種別を出力可能な機械学習モデルに入力することにより、各フレームの特徴点を検出する。各フレームの特徴点の位置を比較することにより、物体を追跡する。

特開２０１７－１７３８９０号公報 特開２０１９－１８５２１０号公報

しかしながら、特許文献１に記載された技術では、保安区画内の人の動きを管理することができない。また、特許文献２に記載された技術では、追跡した物体を特定することができない。

上記課題を解決する所在管理システムは、カメラ及び所在情報記憶部に接続された制御部を備える。前記制御部が、前記カメラの撮影画像において人物を認識した人物画像領域を特定し、前記人物画像領域の位置に応じて、前記人物の所在位置を順次、特定して前記所在情報記憶部に記録し、前記人物画像領域において、コード画像を検出した場合、前記コード画像に応じたコードを、前記所在位置に関連付けて前記所在情報記憶部に記録する。

本発明によれば、ユーザの所在を管理することにより、セキュリティの向上を図ることができる。

実施形態の所在管理システムの説明図である。 実施形態のハードウェア構成の説明図である。 実施形態の処理手順の説明図である。 実施形態の処理手順の説明図である。 実施形態の撮影画像の説明図である。 実施形態の撮影画像の説明図である。 変更例の処理手順の説明図である。

以下、図１～図６に従って、所在管理システムを具体化した一実施形態を説明する。
本実施形態では、工場内で作業者（ユーザ）の所在を管理する場合に用いる所在管理システム、所在管理方法及び所在管理プログラムとして説明する。本実施形態では、ユーザが所持したコード画像を認識してユーザを特定し、画像追跡技術により、管理対象エリアにおけるユーザの所在を追跡する。コード画像としてカメレオンコード（登録商標）を用いる。カメレオンコードは、複数色（シアン・マゼンダ・イエロー・ブラック）を所定のレイアウトで配置することにより、コードを表示したコード画像である。このカメレオンコードは、一枚の撮影画像に複数のコード画像は含まれる場合にも、一括して認識することができる。
図１に示すように、所在管理システムＡ１は、ネットワークを介して接続されたカメラＣ１、管理端末１０、管理サーバ２０等により構成される。

（ハードウェア構成の説明）
図２を用いて、管理端末１０、管理サーバ２０を構成する情報処理装置Ｈ１０のハードウェア構成を説明する。情報処理装置Ｈ１０は、通信装置Ｈ１１、入力装置Ｈ１２、表示装置Ｈ１３、記憶装置Ｈ１４、プロセッサＨ１５を備える。なお、このハードウェア構成は一例であり、他のハードウェアにより実現することも可能である。

通信装置Ｈ１１は、他の装置との間で通信経路を確立して、データの送受信を実行するインタフェースであり、例えばネットワークインタフェースや無線インタフェース等である。

入力装置Ｈ１２は、各種情報の入力を受け付ける装置であり、例えばマウスやキーボード等である。表示装置Ｈ１３は、各種情報を表示するディスプレイ等である。
記憶装置Ｈ１４は、管理端末１０、管理サーバ２０の各種機能を実行するためのデータや各種プログラムを格納する記憶装置である。記憶装置Ｈ１４の一例としては、ＲＯＭ、ＲＡＭ、ハードディスク等がある。

プロセッサＨ１５は、記憶装置Ｈ１４に記憶されるプログラムやデータを用いて、管理端末１０、管理サーバ２０における各処理を制御する。プロセッサＨ１５の一例としては、例えばＣＰＵ・ＧＰＵやＭＰＵ等がある。このプロセッサＨ１５は、ＲＯＭ等に記憶されるプログラムをＲＡＭに展開して、各処理のための各種プロセスを実行する。

プロセッサＨ１５は、自身が実行するすべての処理についてソフトウェア処理を行なうものに限られない。例えば、プロセッサＨ１５は、自身が実行する処理の少なくとも一部についてハードウェア処理を行なう専用のハードウェア回路（例えば、特定用途向け集積回路：ＡＳＩＣ）を備えてもよい。プロセッサは、ＣＰＵ・ＧＰＵ並びに、ＲＡＭ及びＲＯＭ等のメモリを含み、メモリは、処理をＣＰＵ・ＧＰＵに実行させるように構成されたプログラムコード又は指令を格納している。メモリすなわちコンピュータ可読媒体は、汎用又は専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。

（所在管理システムＡ１の説明）
カメラＣ１は、管理対象エリアの所定範囲の視野範囲を撮影したカラー動画を管理サーバ２０に送信する。このカメラＣ１は、工場内において、管理対象エリアを上方から見渡せる位置（例えば、天井）に設置されている。そして、カメラＣ１は、下方の管理対象エリア（所定の撮影範囲）を上方から撮影した撮影画像を生成する。

管理端末１０は、ユーザの所在を管理する管理者が用いるコンピュータ端末である。
管理サーバ２０は、ユーザの所在を管理するコンピュータである。管理サーバ２０は、制御部２１、ユーザ情報記憶部２２、エリア情報記憶部２３、所在情報記憶部２４を備えている。

制御部２１は、後述する処理（画像認識段階、追跡段階、コード認識段階の各処理）を行なう。そのための管理プログラムを実行することにより、制御部２１は、画像認識部２１１、追跡部２１２、コード認識部２１３として機能する。

画像認識部２１１は、撮影画像において人物を認識して、この人物が撮影された人物画像領域（bounding box）を生成する処理を実行する。この画像認識部２１１は、例えば、物体検出アルゴリズムであるＹＯＬＯ（登録商標）により実現できる。

追跡部２１２は、動画のフレーム画像毎に含まれる人物画像領域の特徴量を用いて、所在位置を順次特定することにより、人物の動きを追跡する処理を実行する。
コード認識部２１３は、フレーム画像に含まれるコード画像を特定して、コード画像をデコードすることにより、カラーコードを取得する処理を実行する。

ユーザ情報記憶部２２には、各ユーザを管理するためのユーザ管理データが記録される。このユーザ管理データは、各ユーザの登録が行なわれた場合に記録される。このユーザ管理データには、カラーコード、ユーザＩＤ、氏名、所属に関するデータが記録される。

カラーコードは、コード画像を特定するための識別子である。
ユーザＩＤは、コード画像を携帯するユーザを特定するための識別子である。
氏名、所属は、このユーザの氏名、所属に関する情報である。

エリア情報記憶部２３には、カメラＣ１が撮影するエリアを管理するためのエリア管理データが記録される。このエリア管理データは、カメラＣ１の設置場所が登録された場合に記録される。このエリア管理データには、カメラＩＤ、撮影領域に関するデータが記録される。

カメラＩＤは、各カメラＣ１を特定するための識別子である。
撮影領域は、管理対象エリアにおいて、このカメラで撮影した撮影画像に含まれる領域を表す座標で構成される。この撮影領域により、管理対象エリアにおいて、被写体（人物）が所在する座標を特定することができる。

所在情報記憶部２４には、各ユーザの所在を管理するための所在管理データが記録される。この所在管理データは、ユーザの所在を特定した場合に記録される。この所在管理データには、特徴量、人物画像ＩＤ、ユーザＩＤに対して検知時刻、所在位置に関するデータが記録される。

特徴量は、検知した人物画像領域に含まれる被写体の形状の特徴を表した情報（数値やベクトル等）である。
人物画像ＩＤは、人物画像領域を特定する識別子である。

ユーザＩＤは、人物画像領域に含まれるコード画像を認識することにより特定したユーザの識別子である。
検知時刻は、人物画像領域を検知した年月日及び時刻である。
所在位置は、この人物画像領域を検知した場所を特定するための情報である。この所在位置は、例えば、座標やエリア識別子等で表される。

（人物の追跡処理）
次に、図３を用いて、人物の追跡処理を説明する。

ここでは、管理サーバ２０の制御部２１は、フレーム画像の取得処理を実行する（ステップＳ１１）。具体的には、制御部２１の画像認識部２１１は、カメラＣ１で撮影した動画において、所定のフレーム画像（撮影画像）を取得する。

次に、管理サーバ２０の制御部２１は、人物の認識処理を実行する（ステップＳ１２）。具体的には、制御部２１の画像認識部２１１は、フレーム画像において、物体認識処理により人物を検索する。

次に、管理サーバ２０の制御部２１は、人物が含まれるかどうかについての判定処理を実行する（ステップＳ１３）。具体的には、制御部２１の画像認識部２１１は、フレーム画像において、人物を検知した場合には、人物が含まれると判定する。

人物が含まれないと判定した場合（ステップＳ１３において「ＮＯ」の場合）、管理サーバ２０の制御部２１は、フレーム画像の取得処理に戻る（ステップＳ１１）。ここでは、制御部２１の画像認識部２１１は、動画において、後続のフレーム画像を取得する。

一方、人物が含まれると判定した場合（ステップＳ１３において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、人物画像領域の特定処理を実行する（ステップＳ１４）。具体的には、制御部２１の画像認識部２１１は、フレーム画像において、人物を認識した人物画像領域を特定する。

図５に示すように、フレーム画像５００においては、複数の人物Ｐ１，Ｐ２が含まれる。この場合、それぞれの人物Ｐ１，Ｐ２に対応して、人物画像領域ＩＰ１、ＩＰ２を特定する。

次に、管理サーバ２０の制御部２１は、人物画像領域の特徴量は既登録かどうかについての判定処理を実行する（ステップＳ１５）。具体的には、制御部２１の追跡部２１２は、各人物画像領域の特徴量を算出する。次に、追跡部２１２は、算出した特徴量に類似度が高い特徴量が、所在情報記憶部２４に記録されているかどうかを確認する。ここでは、例えば、特徴量が８０％以上で一致している場合は、類似度が高いと判定する。

類似度が高い特徴量が記録されておらず、人物画像領域の特徴量は既登録でないと判定した場合（ステップＳ１５において「ＮＯ」の場合）、管理サーバ２０の制御部２１は、新規登録コードの付与処理を実行する（ステップＳ１６）。具体的には、制御部２１の追跡部２１２は、人物画像領域の特徴量に対して、人物画像ＩＤを付与する。次に、追跡部２１２は、特徴量、人物画像ＩＤを含めた所在管理データを、所在情報記憶部２４に記録する。

一方、類似度が高い特徴量が記録されており、人物画像領域の特徴量は既登録と判定した場合（ステップＳ１５において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、既登録コードの特定処理を実行する（ステップＳ１７）。具体的には、制御部２１の追跡部２１２は、所在情報記憶部２４において、類似度が高い特徴量が記録されている所在管理データに記録された人物画像ＩＤを特定する。

次に、管理サーバ２０の制御部２１は、人物の所在位置の記録処理を実行する（ステップＳ１８）。具体的には、制御部２１の追跡部２１２は、エリア情報記憶部２３を用いて、人物画像領域の位置に応じて所在位置を特定する。そして、追跡部２１２は、所在管理データに、検知時刻とともに、所在位置を記録する。
次に、管理サーバ２０の制御部２１は、フレーム画像の取得処理（ステップＳ１１）に戻る。

（コード認識処理）
次に、図４を用いて、コード認識処理を説明する。この処理は、フレーム画像を取得した場合に行なわれる。

ここでは、管理サーバ２０の制御部２１は、コード画像の探索処理を実行する（ステップＳ２１）。具体的には、制御部２１のコード認識部２１３は、フレーム画像において、コード画像のレイアウトパターンのパターン認識によりコード画像を探索する。

次に、管理サーバ２０の制御部２１は、コード画像が含まれるかどうかについての判定処理を実行する（ステップＳ２２）。具体的には、制御部２１のコード認識部２１３は、フレーム画像において、コード画像のレイアウトパターンを検出した場合には、コード画像が含まれると判定する。なお、フレーム画像において、複数のコード画像を特定することも可能である。

コード画像が含まれないと判定した場合（ステップＳ２２において「ＮＯ」の場合）、管理サーバ２０の制御部２１は、コード認識処理を終了する。そして、後続のフレーム画像を取得した場合、コード認識処理を、再度、実行する。

一方、コード画像が含まれると判定した場合（ステップＳ２２において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、コードの特定処理を実行する（ステップＳ２３）。具体的には、制御部２１のコード認識部２１３は、コード画像をデコードして、カラーコードを特定する。

次に、管理サーバ２０の制御部２１は、人物と対応するかどうかについての判定処理を実行する（ステップＳ２４）。具体的には、制御部２１のコード認識部２１３は、コード画像の検出位置と、人物画像領域の配置とを比較する。そして、コード画像の検出位置が、人物画像領域に含まれる場合、人物と対応すると判定する。

コード画像の検出位置が人物画像領域外であって、人物と対応しないと判定した場合（ステップＳ２４において「ＮＯ」の場合）、管理サーバ２０の制御部２１は、コード認識処理を終了する。

一方、コード画像の検出位置が人物画像領域内であり、人物と対応すると判定した場合（ステップＳ２４において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、ユーザＩＤの特定処理を実行する（ステップＳ２５）。具体的には、制御部２１のコード認識部２１３は、ユーザ情報記憶部２２を用いて、カラーコードに対応するユーザＩＤを特定する。

図６に示すように、フレーム画像５０１においては、コード画像ＣＣ１，ＣＣ２を検出する。この場合、人物Ｐ１の人物画像領域ＩＰ１内のコード画像ＣＣ１、人物Ｐ２の人物画像領域ＩＰ２内のコード画像ＣＣ２を、それぞれ対応付ける、一方、人物画像領域外のコード画像ＣＣ３は、人物画像領域外であるため、ユーザＩＤの特定に利用しない。

次に、管理サーバ２０の制御部２１は、人物画像に対してユーザＩＤの記録処理を実行する（ステップＳ２６）。具体的には、制御部２１のコード認識部２１３は、人物画像領域の人物画像ＩＤが記録された所在管理データに、ユーザＩＤを記録する。

（所在の確認処理）
管理者が、ユーザの所在位置を確認する場合、管理端末１０を用いて、管理サーバ２０にアクセスする。この場合、管理サーバ２０の制御部２１は、管理対象エリアのマップに、所在情報記憶部２４に記録された各ユーザの所在位置を時系列に繋げた移動軌跡を配置する。そして、制御部２１は、移動軌跡が配置されたマップを管理端末１０に出力する。

（本実施形態の作用）
物体認識とコード認識とを併用するので、一つの撮影画像により、物体認識処理により特定された人を追跡するとともに、コード画像を用いて、この人物が特定される。

（本実施形態の効果）
（１）本実施形態においては、管理サーバ２０の制御部２１は、フレーム画像の取得処理（ステップＳ１１）、人物の認識処理（ステップＳ１２）を実行する。これにより、撮影画像において、人物の存在を確認することができる。

（２）本実施形態においては、人物が含まれると判定した場合（ステップＳ１３において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、人物画像領域の特定処理を実行する（ステップＳ１４）。これにより、フレーム画像において、人物が映っている領域を特定することができる。

（３）本実施形態においては、人物画像領域の特徴量は既登録でないと判定した場合（ステップＳ１５において「ＮＯ」の場合）、管理サーバ２０の制御部２１は、新規登録コードの付与処理を実行する（ステップＳ１６）。これにより、新たに撮影された人物に対して、人物画像ＩＤを付与することができる。

（４）本実施形態においては、人物画像領域の特徴量は既登録と判定した場合（ステップＳ１５において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、既登録コードの特定処理を実行する（ステップＳ１７）。これにより、特徴量が共通する人物画像を追跡することができる。

（５）本実施形態においては、管理サーバ２０の制御部２１は、人物の所在位置の記録処理を実行する（ステップＳ１８）。これにより、撮影画像を用いて、人の所在位置を特定することができる。

（６）本実施形態においては、管理サーバ２０の制御部２１は、コード画像の探索処理を実行する（ステップＳ２１）。これにより、撮影画像においてコード画像を特定することができる。

（７）本実施形態においては、管理サーバ２０の制御部２１は、コードの特定処理（ステップＳ２３）、人物と対応するかどうかについての判定処理（ステップＳ２４）を実行する。これにより、物体認識処理によって認識した人物と、コード画像とを関連付けることができる。

（８）本実施形態においては、人物と対応すると判定した場合（ステップＳ２４において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、ユーザＩＤの特定処理を実行する（ステップＳ２５）。これにより、ユーザの所在地を管理することができる。通常、工場では作業者は同じ作業服を着用しており、個人を識別することが困難である。また、個人別にユニークコードを付与して追跡することも可能であるが、そのための設備が必要となる。例えば、カラーコードを用いて追跡する場合には、カラーコードを認識できる距離にカメラを設置する必要があり、多くのカメラが必要となる。また、ＲＦＩＤ等の無線技術を用いる場合には、多くのアンテナを設置する必要がある。本発明では、コード画像と人物とを関連付けて、この人物の追跡を行なうため、比較的に簡単な設備で所在管理を行なうことができる。

本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・上記実施形態では、画像認識部２１１は、物体検出アルゴリズムであるＹＯＬＯにより実現する。人物に追跡処理は、ＹＯＬＯを用いる場合に限定されない。
・上記実施形態では、コード画像としてカメレオンコードを用いる。カメラで認識できるコード画像であれば、カメレオンコードに限定されない。

・上記実施形態では、エリア毎にカメラを設ける。これに代えて、一つのエリアにおいて異なる位置に複数のカメラを配置してもよい。この場合には、１人の人物を複数のカメラで撮影する。

図７に示すように、同じ範囲を撮影するカメラＣ１１，Ｃ１２を、異なる位置に設置する。
そして、管理サーバ２０の制御部２１は、各カメラで人物特徴量の取得処理を実行する（ステップＳ３１）。具体的には、制御部２１の画像認識部２１１は、それぞれの各カメラＣ１１，Ｃ１２で人物Ｐ３，Ｐ４を撮影する。この場合、カメラＣ１１により、人物Ｐ３，Ｐ４の人物画像領域ＩＰ３１，ＩＰ４１を特定する。また、カメラＣ１２により、人物Ｐ３，Ｐ４の人物画像領域ＩＰ３２，ＩＰ４２を特定する。そして、人物画像領域ＩＰ３１，ＩＰ４１，ＩＰ３２，ＩＰ４２から、それぞれの画像特徴量を算出する。この場合、人物Ｐ３，Ｐ４毎に、画像特徴量、ユーザＩＤが関連付けられる。

次に、管理サーバ２０の制御部２１は、類似度が高い人物特徴量の特定処理を実行する（ステップＳ３２）。具体的には、制御部２１の追跡部２１２は、各カメラＣ１１，Ｃ１２で撮影した人物画像領域の特徴量が類似する所在管理データ２４１，２４２を、それぞれ特定する。そして、それぞれの画像特徴量の類似度に応じて、所在管理データ２４１，２４２を用いて、人物画像領域の追跡を行なう。

これにより、複数のカメラで撮影した人物特徴量を用いるので、相補的に追跡を継続することができる。例えば、一方のカメラの撮影画像で、人物画像領域の特徴量が非類似となり、追跡できなくなった場合にも、他方のカメラの撮影画像で追跡を継続することができる。この場合、一方のカメラで、人物特徴量が類似する人物画像領域を検出し、撮影画像により追跡できる状態に戻った場合には、複数のカメラで、再度、追跡可能になる。

Ａ１…所在管理システム、Ｃ１…カメラ、１０…管理端末、２０…管理サーバ、２１…制御部、２１１…画像認識部、２１２…追跡部、２１３…コート認識部、２２…ユーザ情報記憶部、２３…エリア情報記憶部、２４…所在情報記憶部。

Claims (5)

1. カメラ及び所在情報記憶部に接続された制御部を備えた所在管理システムであって、
   前記制御部が、
   前記カメラの撮影画像において人物を認識した人物画像領域を特定し、
   前記人物画像領域に含まれる被写体の特徴量を算出し、前記特徴量と前記所在情報記憶部に記録された既登録の特徴量との類似度が所定閾値以上の場合には前記人物画像領域に既登録の人物画像ＩＤを対応付け、該類似度が前記所定閾値未満の場合には新たな人物画像ＩＤを付与し、
   コード画像の検出の有無にかかわらず、前記人物画像領域の位置に応じて、前記人物の所在位置を順次、特定して前記所在情報記憶部に記録する第１処理と、
   前記人物画像領域において、前記コード画像を検出した場合、前記コード画像に応じたコードを、前記人物画像ＩＤに対応付けられた前記所在位置の時系列に関連付けて前記所在情報記憶部に記録する第２処理と、を実行することを特徴とする所在管理システム。
2. 前記制御部が、前記所在位置を時系列に繋げて、移動軌跡を特定することを特徴とする請求項１に記載の所在管理システム。
3. 前記制御部が、
   複数の前記カメラで同一人物を認識して、夫々の前記人物画像領域を特定し、
   少なくとも一つの前記カメラの撮影画像の前記人物画像領域において、前記コード画像を検出した場合、前記コード画像に応じたコードを、各前記人物画像領域に関連付けることを特徴とする請求項１又は２に記載の所在管理システム。
4. カメラ及び所在情報記憶部に接続された制御部を備えた所在管理システムを用いて、所在を管理する方法であって、
   前記制御部が、
   前記カメラの撮影画像において人物を認識した人物画像領域を特定し、
   前記人物画像領域に含まれる被写体の特徴量を算出し、前記特徴量と前記所在情報記憶部に記録された既登録の特徴量との類似度が所定閾値以上の場合には前記人物画像領域に既登録の人物画像ＩＤを対応付け、該類似度が前記所定閾値未満の場合には新たな人物画像ＩＤを付与し、
   コード画像の検出の有無にかかわらず、前記人物画像領域の位置に応じて、前記人物の所在位置を順次、特定して前記所在情報記憶部に記録する第１処理と、
   前記人物画像領域において、前記コード画像を検出した場合、前記コード画像に応じたコードを、前記人物画像ＩＤに対応付けられた前記所在位置の時系列に関連付けて前記所在情報記憶部に記録する第２処理と、を実行することを特徴とする所在管理方法。
5. カメラ及び所在情報記憶部に接続された制御部を備えた所在管理システムを用いて、所在を管理するためのプログラムであって、
   前記制御部を、
   前記カメラの撮影画像において人物を認識した人物画像領域を特定し、
   前記人物画像領域に含まれる被写体の特徴量を算出し、前記特徴量と前記所在情報記憶部に記録された既登録の特徴量との類似度が所定閾値以上の場合には前記人物画像領域に既登録の人物画像ＩＤを対応付け、該類似度が前記所定閾値未満の場合には新たな人物画像ＩＤを付与し、
   コード画像の検出の有無にかかわらず、前記人物画像領域の位置に応じて、前記人物の所在位置を順次、特定して前記所在情報記憶部に記録する第１処理と、
   前記人物画像領域において、前記コード画像を検出した場合、前記コード画像に応じたコードを、前記人物画像ＩＤに対応付けられた前記所在位置の時系列に関連付けて前記所在情報記憶部に記録する第２処理と、を実行する手段として機能させることを特徴とする所在管理プログラム。