JP7638857B2 - 監視システム - Google Patents

Description

本発明は、撮像装置により撮像された所定の監視エリアの画像を表示装置に表示する監視システムに関する。

近年、深層学習等を用いた人物検知技術や物体認識技術が開発されてきた。これらの技術によって、人物の性別・年齢などの身体的特徴、マスクの使用有無、車いす・白杖などの介護用品の利用有無などを自動的に認識することが可能となっている。

このような人物検知技術や物体認識技術を活用すべく、施設運用の安全や安心を目的に監視カメラの設置が進んでいる。その一方で、近年拡大している感染症に対するワクチンの接種会場や病院、商業施設、空港施設内の更衣室やお手洗い又はその近辺等では、利用者のプライバシーを配慮する必要がある。このため、施設運用の安全や安心を図る目的や、顧客満足度の向上を図る目的であっても、監視カメラを設置できない場所がある。そこで、従来は、物体認識や人物の行動分析を行った上で、プライバシーに配慮した匿名化映像を作成し、映像監視に用いていた。

本発明に係る技術分野の従来技術としては、以下のようなものがある。例えば、特許文献１には、複数カメラ間での人物の同一性判定が可能な状態を保ちながら、個人のプライバシー情報の削減もしくは改変を行い、個人のプライバシーを保護する発明が開示されている。

特開２００６－２８７２８７号公報

ワクチンの接種状況やマスクの着用有無などの特徴や、人物特徴、身体的特徴の匿名化が過ぎる監視映像では、感染症対策として３密（密閉、密集、密接）状況等の監視を適切に実施できないという懸念があった。また、施設関係者のワクチン接種状況は、施設自体の清掃状態や安全・安心な環境であることを示すことと同義であり、施設運営者にとって施設従業員のワクチン接種状況を開示することは顧客満足度を向上させることができる利点もあった。しかしながら、施設従業員がワクチンを接種しない意思に配慮しない映像の表示は、ワクチン未接種者の個人情報保護の観点から問題があった。

本発明は、上記のような従来の事情に鑑みて為されたものであり、ワクチン未接種者のプライバシーに配慮した画像により監視を行うことが可能な監視システムを提供することを目的とする。

上記の目的を達成するために、本発明の一態様に係る監視システムは、以下のように構成される。すなわち、本発明に係る監視システムは、所定の監視エリアを撮像する撮像装置と、撮像装置により撮像された画像に含まれる人物毎に、その人物の匿名化の必要性を判定し、匿名化が必要と判定された人物の画像部分を加工する匿名化処理を行う画像処理装置と、画像処理装置による処理後の画像を表示する表示装置とを備え、画像処理装置は、予め登録された人物のワクチン接種状況を含む人物データを参照して、画像に含まれる人物のワクチン接種状況を確認し、ワクチン接種済であることを確認できなかった人物を、匿名化が必要な人物であると判定することを特徴とする。

ここで、本発明に係る監視システムにおいて、人物データには、予め登録された人物の顔画像又はその特徴量を含む顔特徴データが関連付けられており、画像処理装置は、撮像装置により撮像された画像に含まれる人物について、顔特徴データを用いた顔認識処理により該人物を識別し、識別された人物に対する人物データに基づいて匿名化の必要性を判定するように構成され得る。

また、本発明に係る監視システムにおいて、人物データには、予め登録された人物の所属に応じた着用品画像又はその特徴量を含む着用品特徴データが関連付けられており、画像処理装置は、撮像装置により撮像された画像に含まれる人物について、着用品特徴データを用いた着用品認識処理により該人物の所属を特定できた場合に、顔データを用いた顔認識処理により該人物を識別し、識別された人物に対する人物データに基づいて匿名化の必要性を判定するように構成され得る。

また、本発明に係る監視システムにおいて、画像処理装置は、撮像装置により撮像された画像に含まれる人物のうち、人物データの対象でない人物を、匿名化が必要な人物に含めるように構成され得る。

また、本発明に係る監視システムにおいて、所定範囲内における匿名化が必要な人物の人数が所定値以上という条件を満たす場合に、表示装置にアラームを表示させるように構成され得る。

また、本発明に係る監視システムにおいて、上記の条件を満たす状態が所定時間以上継続した場合に、表示装置にアラームを表示させるように構成され得る。

本発明によれば、ワクチン未接種者のプライバシーに配慮した画像により監視を行うことが可能な監視システムを提供することができる。

本発明の一実施形態に係る監視システムの構成例を示す図である。 図１の監視システムによる処理のフローチャート例を示す図である。 旅客用電子看板表示装置の表示例を示す図である。 施設運用者用表示装置の表示例を示す図である。 施設運用者用表示装置の表示例を示す図である。 施設運用者用表示装置の表示例を示す図である。

本発明の一実施形態について、図面を参照して説明する。図１には、本発明の一実施形態に係る監視システムの構成例を示してある。図１の監視システムは、撮像装置１０と、画像処理装置２０と、旅客用電子看板表示装置３０と、施設運用者用表示装置４０と、画像記録装置５０とを備えている。これらの装置は、それぞれ、ネットワークＮに接続されている。本例の監視システムは、駅や空港等の施設への適用を想定しているが、他の種々の施設に適用することが可能である。

撮像装置１０は、カメラの構成を備えており、様々な場所に配置される。例えば、監視カメラとして、所定の監視エリアを撮影するように配置される。撮像装置１０は、レンズや絞りを介して撮像素子に入射光を結像して情報を得るカメラの構成を適用できる。ここでの撮像素子の例としては、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等が挙げられる。撮像装置１０は、映像として、例えば、１秒間に３フレーム（３ｆｐｓ）以上で撮影して、その情報は、画像処理装置２０や画像記録装置５０へ送られる。撮像装置１０は、監視エリアの形状やサイズ等の状況に応じて複数設置可能である。

画像処理装置２０は、制御部２１と、ユーザインターフェース部２２と、画像分析部２３と、匿名化画像生成部２４と、アラーム生成部２５とを有する。

制御部２１は、ネットワークＮを通じて他の装置と情報のやり取りが可能であり、ユーザインターフェース部２２、画像分析部２３、匿名化画像生成部２４、及びアラーム生成部２５の制御を行う。ユーザインターフェース部２２は、旅客用電子看板表示装置３０や施設運用者用表示装置４０等をユーザが入力や操作した場合に、その入力や操作の情報を受け入れる等の処理を行う。画像分析部２３は、撮像装置１０により撮像された画像を分析し、画像に含まれる各人物のワクチン接種状況に応じて、人物毎に匿名化の必要性を判定する処理を行う。匿名化映像生成部２４は、撮像装置１０により撮像された画像に対し、匿名化が必要と判定された人物の画像部分に加工を施す処理を行う。アラーム生成部２５は、ワクチン未接種者の混雑状況に応じて、アラームを生成する処理を行う。

旅客用電子看板表示装置３０及び施設運用者用表示装置４０は、画像処理装置１０で処理した内容を表示できる表示装置である。旅客用電子看板表示装置３０は、駅や空港等の施設の利用者に提供される表示装置であり、施設利用者が訪れることが可能な任意の場所に設置される。施設運用者用表示装置４０は、その施設の関係者（運用者や従業員）に提供される表示装置であり、監視室などの施設関係者のみが利用できる場所に設置される。これら表示装置３０，４０は、例えば、液晶ディスプレイ（ＬＣＤ）、有機ＥＬ（ＯＥＬ）ディスプレイ、タッチパネル等の構成により表示を行う。また、表示装置３０，４０は、操作ボタンを付属していてもよい。表示装置３０，４０は、必要に応じた台数を設置することができる。

画像記録装置５０は、撮像装置１０により撮影された画像を記録する装置である。また、画像記録装置５０は、画像処理装置１０での処理後の画像や結果を記録してもよい。画像記録装置５０としては、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＤＤＳ（Ｄｉｇｉｔａｌ Ｄａｔａ Ｓｔｏｒａｇｅ）等、必要に応じて適した方式を適用できる。

ネットワークＮは、各装置を結ぶデータ通信可能な回線である。ネットワークＮとしては、専用線、イントラネット、インターネット等のＩＰネットワーク等、回線の種類は問わずに適用可能である。

図２には、本例の監視システムによる処理のフローチャート例を示してある。ここでは、施設関係者を予め登録した人物データが、画像処理装置２０からアクセス可能なデータベース（不図示）に記憶されているものとする。この人物データには、人物の氏名の他に、ワクチンの接種状況を示すデータが含まれている。また、人物データには、その人物の特徴を表す種々の特徴データが関連付けられている。特徴データとしては、例えば、人物の年齢・性別・メガネ有無・補聴器有無・歩行可否などを示す身体的特徴データ、人物を特定するための顔認識処理に必要な顔特徴データ、人物の所属部署（区分）を特定するための着用品認識処理に必要な着用品特徴データなどが挙げられる。顔特徴データには、例えば、人物の顔画像又はその特徴量が含まれる。着用品特徴データには、例えば、所属部署に応じた帽子・制服・バッジ・腕章・所持品などの画像又はその特徴量が含まれる。

画像処理装置２０は、撮像装置１０により撮影された画像を画像分析部２３により分析する。具体的には、画像分析部２３はまず、撮像装置１０により撮影された画像１フレーム毎に、その画像に含まれる人物を検知する（ステップＳ１１）。次に、画像分析部２３は、撮像装置１０により撮影された画像から検知された人物毎に、その人物に関する特徴量を抽出する（ステップＳ１２）。本例では、人物に関する特徴量として、顔の特徴量、及び、着用品の特徴量を抽出する。

次に、画像分析部２３は、画像から検知された人物の着用品の特徴量を着用品特徴データと照合する着用品認識処理を行って、その人物が施設に所属する施設関係者か否かを判定する（ステップＳ１３）。例えば、画像から抽出された着用品の特徴量との一致度が所定値以上の着用品特徴データが見つかった場合に、その人物は施設関係者であると判定する。一方、上記の要件に該当する着用品特徴データが見つからなかった場合には、その人物は施設関係者ではない（つまり、施設利用者）と判定する。

次に、画像分析部２３は、施設関係者であると判定された人物について、画像から抽出された顔の特徴量を顔特徴データと照合する顔認識処理を行って人物を識別し、該当する顔特徴データに関連付けられた人物データに基づいてワクチン接種状況を判定する（ステップＳ１４）。例えば、画像から抽出された顔の特徴量との一致度が所定値以上の顔特徴データが見つかった場合に、その顔特徴量に関連付けられた人物データを参照してワクチン接種済か未接種かを判定する。一方、上記の要件に該当する顔特徴データが見つからなかった場合には、ワクチン接種不明と判定する。また、画像分析部２３は、施設関係者ではないと判定された人物（つまり、施設利用者）については、顔認識処理を行うことなく、ワクチン接種不明と判定する。

次に、画像分析部２３は、ステップＳ１３やステップＳ１４の判定結果、すなわち、施設関係者か否かの判定結果やワクチン接種状況の判定結果をメモリに記録する処理を行う（ステップＳ１５）。以上の処理を、撮像装置１０により撮影された画像に含まれる全ての人物について、繰り返し実行する（ステップＳ１６）。

次に、匿名化画像生成部２４は、画像分析部２３での分析によってワクチン接種済みであることを確認できなかった人物、すなわち、ワクチン未接種又はワクチン接種不明の人物を、匿名化が必要な人物であるとして、その人物の画像部分を加工して匿名化する処理を行う（ステップＳ１７）。例えば、顔の匿名化では、対象となる人物の顔画像又は顔パーツ画像を、予め登録されている複数種類の抽象化顔画像又は抽象化顔パーツ画像と比較（例えば、特徴量比較）し、類似度が最も高い抽象化顔画像又は抽象化顔パーツ画像に置き換え合成する。同様にして、顔以外の身体や衣服の匿名化を行ってもよい。あるいは、年齢や性別に対応付けて１つ又は複数のアバター画像を用意しておき、対象となる人物の年齢や性別に応じたアバター画像に置き換え合成するようにしてもよい。

次に、アラーム生成部２５は、匿名化が必要な人物（つまり、ワクチン未接種又はワクチン接種不明の人物）の混雑度に応じてアラームの必要性を判定し、アラームが必要と判定された場合にアラームを発報する（ステップＳ１８）。例えば、所定範囲内における匿名化が必要な人物の人数が所定値以上という条件を満たす場合に、アラームが必要であると判定する。または、上記の条件を満たす状態が所定時間以上継続した場合に、アラームが必要であると判定する。また、匿名化が必要な人物について、骨格の検知等により行動を分析して、上記の判定に利用するようにしてもよい。

匿名化画像生成部２４により生成された匿名化画像は、旅客用電子看板表示装置３０及び施設運用者用表示装置４０に送信され、それらの画面に表示される。また、アラーム生成部２５によりアラームが発報された場合には、そのデータが旅客用電子看板表示装置３０及び施設運用者用表示装置４０に送信され、それらの画面に表示される。

図３には、旅客用電子看板表示装置３０の表示例を示してある。本例の旅客用電子看板表示装置３０の画面は、施設の所要箇所におけるワクチン接種状況の表示部３１と、施設のマップの表示部３２と、施設内のいずれかのカメラ（撮像装置１０）により撮像された画像に匿名化処理を施した匿名化画像の表示部３３とを有している。

表示部３１には、例えば、施設内に設置された３つのゲートＡ，Ｂ，Ｃ毎に、その周辺にいるワクチン接種済の施設関係者とワクチン未接種の施設関係者の比率が円グラフで表示される。この比率は、そのエリア近傍に設置された撮像装置１０により撮像された画像を画像処理装置１０により解析し、ワクチン接種済の施設関係者及びワクチン未接種（ワクチン接種不明を含む）の施設関係者を特定することで、算出することができる。

表示部３３による表示対象のカメラは、例えば、一定時間毎に自動的に切り替えられる。また、表示部３３による表示対象のカメラを、施設利用者が旅客用電子看板表示装置３０を操作することで選択できるようにしてもよい。例えば、表示部３２に表示されたマップを施設利用者がタッチをすることで、そのタッチ位置に対応する施設内の場所に設置されたカメラについて匿名化画像を取得し、表示部３３に表示してもよい。

図４、図５、図６には、施設運用者用表示装置４０の表示例を示してある。本例の施設運用者用表示装置４０の画面は、施設のマップ及び施設の所要箇所におけるワクチン接種状況の表示部４１と、施設内のいずれかのカメラ（撮像装置１０）により撮像された画像又は匿名化画像の表示部４２と、表示部４２による表示対象となるカメラの選択操作を施設関係者から受け付ける操作部４３と、アラームの発生状況の表示部４４と、アラームの詳細を確認する操作を施設関係者から受け付ける操作部４５とを有している。

施設運用者用表示装置４０は通常、図４に示すように、画面の大半を占める領域を、施設のマップ及び施設の所要箇所におけるワクチン接種状況の表示部４１として使用しており、操作部４３でカメラの選択操作を受け付けた場合に、図５又は図６に示すように、そのカメラ（撮像装置１０）により撮像された画像又は匿名化画像の表示部４２に切り替える。図５は、カメラにより撮像された画像をそのまま表示部４２に表示する形式の例であり、図６は、カメラにより撮像された画像に匿名化処理を施して表示部４２に表示する形式の例である。いずれの表示形式を採用するかは、事前に定められていてもよいし、施設運用者用表示装置４０の利用者の権限などに応じて動的に切り替えるようにしてもよい。

表示部４４には、施設内でのアラームの発生状況が時系列順に表示される。また、表示部４４のいずれかのアラームを選択した状態で操作部４５が操作されると、選択されたアラームの詳細が更に表示される。このとき、アラーム時点の画像又は匿名化画像を画像記録装置５０から読み出して、表示部４２に表示させるようにしてもよい。

以上のように、本例の監視システムは、所定の監視エリアを撮像する撮像装置１０と、撮像装置１０により撮像された画像に含まれる人物毎に、その人物の匿名化の必要性を判定し、匿名化が必要と判定された人物の画像部分を加工する匿名化処理を行う画像処理装置２０と、画像処理装置２０による処理後の画像を表示する旅客用電子看板表示装置３０及び施設運用者用表示装置４０とを備え、画像処理装置２０は、予め登録された人物のワクチン接種状況を含む人物データを参照して、画像に含まれる人物のワクチン接種状況を確認し、ワクチン接種済であることを確認できなかった人物（つまり、ワクチン未接種又はワクチン接種不明の人物）を、匿名化が必要な人物であると判定する。

したがって、本例の監視システムによれば、旅客用電子看板表示装置３０により施設利用者にワクチン接種状況を提示できるため、設備関係者のワクチン接種状況が低い場合には設備関係者からのウイルス感染の可能性が低く、安心・安全な施設であることを施設利用者に知らせることが可能となる。一方で、ワクチン未接種又はワクチン接種不明の人物については、個人のプライバシーや未接種の意思を尊重して匿名化することで、ワクチン未接種者のプライバシーに配慮した画像により監視を行うことが可能となる。

また、本例の監視システムでは、画像処理装置２０が、撮像装置１０により撮像された画像に含まれる人物について、着用品特徴データを用いた着用品認識処理により該人物の所属（つまり、施設関係者であること）を特定できた場合に、顔データを用いた顔認識処理により該人物を識別し、識別された人物に対する人物データに基づいて匿名化の必要性を判定するように構成されている。このような構成により、着用品認識処理により施設関係者でないことが判明した人物に対する顔認識処理を省略できるため、ワクチン接種状況の判定を効率的に行うことが可能となる。

ここで、本例では、ワクチン未接種の人物の画像部分を加工する匿名化処理を行っているが、ワクチン接種済の人物の画像部分も加工するようにしてもよい。すなわち、例えば、マスクやフェイスガードなどの感染症対策製品なしの状態で施設関係者の顔画像を撮影して記憶しておき、ワクチン接種済の人物の顔画像を感染症対策製品なしの顔画像に置き換えるようにする。これにより、施設関係者が監視業務を行う際に画像内の人物を特定し易くなる。

また、本例では、全ての施設利用者をワクチン接種不明の人物として匿名化処理を施しているが、車いすや白杖などの介護用品を利用している施設利用者については、利用者支援を目的に匿名化処理の対象外にしてもよい。これにより、支援を必要としている人物を認識し易くなるため、その人物の下に施設関係者が速やかに向かえるようになる。

以上、本発明の実施形態について説明したが、これら実施形態は例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明は、その他の様々な実施形態をとることが可能であると共に、本発明の要旨を逸脱しない範囲で、省略や置換等の種々の変形を行うことができる。これら実施形態及びその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

また、本発明は、上記の説明で挙げたような装置や、これら装置で構成されたシステムとして提供することが可能なだけでなく、これら装置により実行される方法、これら装置の機能をプロセッサにより実現させるためのプログラム、そのようなプログラムをコンピュータ読み取り可能に記憶する記憶媒体などとして提供することも可能である。

本発明は、撮像装置により撮像された所定の監視エリアの画像を表示装置に表示する監視システムに利用することが可能である。

１０：撮像装置、 ２０：画像処理装置、 ２１：制御部、 ２２：ユーザインターフェース部、 ２３：画像分析部、 ２４：匿名化画像生成部、 ２５：アラーム生成部、 ３０：旅客用電子看板表示装置、 ４０：施設運用者用表示装置、 ５０：画像記録装置

Claims (4)

1. 所定の監視エリアを撮像する撮像装置と、
   予め登録された人物のワクチン接種状況を含む人物データを参照して、前記撮像装置により撮像された画像に含まれる人物毎にワクチン接種状況を確認し、ワクチン接種済であることを確認できなかった人物を匿名化が必要な人物であると判定し、その人物の画像部分を加工する匿名化処理を行う画像処理装置と、
   前記画像処理装置による処理後の画像を表示する表示装置とを備え、
   前記人物データには、前記予め登録された人物の顔画像又はその特徴量を含む顔特徴データと、前記予め登録された人物の所属に応じた着用品画像又はその特徴量を含む着用品特徴データとが関連付けられており、
   前記画像処理装置は、前記撮像装置により撮像された画像に含まれる人物について、前記着用品特徴データを用いた着用品認識処理により該人物の所属を特定できた場合に、前記顔特徴データを用いた顔認識処理により該人物を識別し、識別された人物に対する人物データに基づいて匿名化の必要性を判定することを特徴とする監視システム。
2. 請求項１に記載の監視システムにおいて、
   前記画像処理装置は、前記撮像装置により撮像された画像に含まれる人物のうち、前記人物データの対象でない人物を、匿名化が必要な人物に含めることを特徴とする監視システム。
3. 請求項１または請求項２に記載の監視システムにおいて、
   所定範囲内における匿名化が必要な人物の人数が所定値以上という条件を満たす場合に、前記表示装置にアラームを表示させることを特徴とする監視システム。
4. 請求項３に記載の監視システムにおいて、
   前記条件を満たす状態が所定時間以上継続した場合に、前記表示装置にアラームを表示させることを特徴とする監視システム。

Images