JP6558178B2 - 迷惑行為者推定システム、迷惑行為者推定システムの制御方法及び制御プログラム - Google Patents

Description

本発明は、迷惑行為者推定システム、迷惑行為者推定システムの制御方法及び制御プログラムに関する。

防犯カメラを用いて不審人物を検出する技術が知られている。特許文献１には、監視区域内に複数のカメラを設置し、監視対象者の保有する端末のＧＰＳ機能により監視対象者の位置を取得し、当該位置に対し所定の距離内にあるカメラが撮影した画像から監視対象者以外の顔画像を抽出し、これらの顔画像などから不審人物を推定する技術が記載されている。

特開２０１０−１９１６２０号公報 特開２００６−１４６３２３号公報

しかしながら、電車内などの不特定多数の人が出入りする空間内では、迷惑行為を受けた者（被迷惑行為者）が予め特定されていないため、監視対象者が予め特定されていることを前提とする特許文献１に記載の技術では迷惑行為者を絞り込むことが困難であった。また、このような不特定多数の人が出入りする空間は混雑する場合も少なからずあるが、そのような場合に当該空間内に設置したカメラが撮影した画像から抽出された顔画像が不完全で人物を特定することができないおそれもあった。

本発明は、以上の背景に鑑みなされたものであり、不特定多数の人が出入りする空間内における迷惑行為者を推定することができる迷惑行為者推定システム、迷惑行為者推定システムの制御方法及び制御プログラムを提供することを目的とする。

本発明は、不特定多数の人が出入りする出入口のある空間内における迷惑行為者を推定する迷惑行為者推定システムであって、前記出入口付近に設けられ前記空間に入場する人物を撮影する第１撮影部と、前記空間内に設けられ通報端末からの通報信号を受信した際に当該通報信号が発信された位置を特定し当該位置の周辺を撮影する第２撮影部と、前記第１撮影部が撮影した画像および前記第２撮影部が撮影した画像をそれぞれ分析し顔データを抽出する画像分析部と、前記第１撮影部が撮影した画像から抽出された顔データを格納する第１データベース部と、前記第２撮影部が撮影した画像から抽出された顔データを格納する第２データベース部と、迷惑行為者の候補となる顔データを格納する第３データベース部と、前記第３データベース部に格納する顔データの選別および頻度スコアの算出を行う顔データ解析部と、前記頻度スコアに基づいて推定される人物を判断する判断部と、を備え、前記顔データ解析部が、前記第１データベース部に格納された第１顔データと前記第２データベース部に格納された第２顔データとの照合を行い、前記第１顔データの中から前記第２顔データに最も近いものを格納候補顔データとして抽出し、前記格納候補顔データと実質的に一致する前記第３データベース部に格納済みの格納済み顔データがないときは、前記顔データ解析部が、当該格納候補顔データを新たに前記第３データベース部に格納するとともに格納した前記格納候補顔データに対応する前記頻度スコアとして初回値を与え、前記格納候補顔データと実質的に一致する前記第３データベース部に格納済みの格納済み顔データがあるときは、前記顔データ解析部が、前記格納候補顔データを前記第３データベース部に格納せずに前記格納候補顔データと一致した前記格納済み顔データに対応する前記頻度スコアを所定値だけ増やし、前記判断部が、予め定められた規定期間の経過後に、前記第３データベース部に格納された顔データのうち、対応する前記頻度スコアが予め定められた閾値を超えた顔データの人物を迷惑行為者と推定される人物と判断するものである。

また、本発明は、不特定多数の人が出入りする出入口のある空間の出入口付近に設けられ前記空間に入場する人物を撮影する第１撮影部と、前記空間内に設けられ通報端末からの通報信号を受信した際に当該通報信号が発信された位置を特定し当該位置の周辺を撮影する第２撮影部と、前記第１撮影部が撮影した画像および前記第２撮影部が撮影した画像をそれぞれ分析し顔データを抽出する画像分析部と、前記第１撮影部が撮影した画像から抽出された顔データを格納する第１データベース部と、前記第２撮影部が撮影した画像から抽出された顔データを格納する第２データベース部と、迷惑行為者の候補となる顔データを格納する第３データベース部と、前記第３データベース部に格納する顔データの選別および頻度スコアの算出を行う顔データ解析部と、前記頻度スコアに基づいて推定される人物を判断する判断部と、を備え前記空間内における迷惑行為者を推定する迷惑行為者推定システムの制御方法であって、前記顔データ解析部が、前記第１データベース部に格納された第１顔データと前記第２データベース部に格納された第２顔データとの照合を行い、前記第１顔データの中から前記第２顔データに最も近いものを格納候補顔データとして抽出するステップと、前記格納候補顔データと実質的に一致する前記第３データベース部に格納済みの格納済み顔データがないときは、前記顔データ解析部が、当該格納候補顔データを新たに前記第３データベース部に格納するとともに格納した前記格納候補顔データに対応する前記頻度スコアとして初回値を与えるステップと、前記格納候補顔データと実質的に一致する前記第３データベース部に格納済みの格納済み顔データがあるときは、前記顔データ解析部が、前記格納候補顔データを前記第３データベース部に格納せずに前記格納候補顔データと一致した前記格納済み顔データに対応する前記頻度スコアを所定値だけ増やすステップと、前記判断部が、予め定められた規定期間の経過後に、前記第３データベース部に格納された顔データのうち、対応する前記頻度スコアが予め定められた閾値を超えた顔データの人物を迷惑行為者と推定される人物と判断するステップと、を有するものである。

さらに、本発明は、不特定多数の人が出入りする出入口のある空間の出入口付近に設けられ前記空間に入場する人物を撮影する第１撮影部と、前記空間内に設けられ通報端末からの通報信号を受信した際に当該通報信号が発信された位置を特定し当該位置の周辺を撮影する第２撮影部と、前記第１撮影部が撮影した画像および前記第２撮影部が撮影した画像をそれぞれ分析し顔データを抽出する画像分析部と、前記第１撮影部が撮影した画像から抽出された顔データを格納する第１データベース部と、前記第２撮影部が撮影した画像から抽出された顔データを格納する第２データベース部と、迷惑行為者の候補となる顔データを格納する第３データベース部と、前記第３データベース部に格納する顔データの選別および頻度スコアの算出を行う顔データ解析部と、前記頻度スコアに基づいて推定される人物を判断する判断部と、を備え前記空間内における迷惑行為者を推定する迷惑行為者推定システムの制御プログラムであって、前記顔データ解析部が、前記第１データベース部に格納された第１顔データと前記第２データベース部に格納された第２顔データとの照合を行い、前記第１顔データの中から前記第２顔データに最も近いものを格納候補顔データとして抽出するステップと、前記格納候補顔データと実質的に一致する前記第３データベース部に格納済みの格納済み顔データがないときは、前記顔データ解析部が、当該格納候補顔データを新たに前記第３データベース部に格納するとともに格納した前記格納候補顔データに対応する前記頻度スコアとして初回値を与えるステップと、前記格納候補顔データと実質的に一致する前記第３データベース部に格納済みの格納済み顔データがあるときは、前記顔データ解析部が、前記格納候補顔データを前記第３データベース部に格納せずに前記格納候補顔データと一致した前記格納済み顔データに対応する前記頻度スコアを所定値だけ増やすステップと、前記判断部が、予め定められた規定期間の経過後に、前記第３データベース部に格納された顔データのうち、対応する前記頻度スコアが予め定められた閾値を超えた顔データの人物を迷惑行為者と推定される人物と判断するステップと、をコンピュータに実行させるものである。

本発明によれば、不特定多数の人が出入りする空間内における迷惑行為者を推定することができる。

本発明の概要について説明する図である。 本実施の形態にかかる迷惑行為者推定システム１００の概略構成を示すブロック図である。 第１日の乗車状況について説明する図である。 第１日に、駅内カメラデータベース部に格納されたデータの一例を示す図である。 第１日の通報時の電車内の状況について説明する図である。 第１日に、車内カメラデータベース部に格納されたデータの一例を示す図である。 第１日に統合データデータベース部に格納されたデータの一例を示す図である。 第２日の乗車状況について説明する図である。 第２日に、駅内カメラデータベース部に格納されたデータの一例を示す図である。 第２日の通報時の電車内の状況について説明する図である。 第２日に、車内カメラデータベース部に格納されたデータの一例を示す図である。 第２日に、統合データデータベース部に格納されたデータの一例を示す図である。 電車に乗り込む人物の顔データを取得し、当該顔データを駅内カメラデータベース部に格納する処理の流れを示すフローチャートである。 電車内において被迷惑行為者の周囲の人物の顔データを取得し、当該顔データを車内カメラデータベース部に格納する処理の流れを示すフローチャートである。 統合データデータベース部に格納された顔データに対応する頻度スコアを用いて迷惑行為者を推定する処理の流れを示すフローチャートである。

［本発明の特徴］
本発明の実施の形態の説明に先立って、本発明の特徴についてその概要をまず説明する。

本発明にかかる迷惑行為者推定システムは、不特定多数の人が出入りする出入口のある空間内で迷惑行為者を推定するものである。図１は、本発明の概要について説明する図である。図１は、本発明にかかる迷惑行為者推定システム５００の概略構成を示すブロック図である。図１に示すように、迷惑行為者推定システム５００は、第１撮影部５０１と、第２撮影部５０２と、通報端末５０３と、画像分析部５０４と、第１データベース部５０５と、第２データベース部５０６と、第３データベース部５０７と、顔データ解析部５０８と、判断部５０９と、を備えている。

第１撮影部５０１は、不特定多数の人が出入りする空間の出入口付近に設けられ、当該空間に入場する人物を撮影する。第２撮影部５０２は、当該空間内に設けられ、通報端末５０３からの通報信号を受信した際に当該通報信号が発信された位置を特定し当該位置の周辺を撮影する。画像分析部５０４は、第１撮影部５０１が撮影した画像および第２撮影部５０２が撮影した画像をそれぞれ分析し顔データを抽出する。

第１データベース部５０５は、第１撮影部５０１が撮影した画像から抽出された顔データを格納する。第２データベース部５０６は、第２撮影部５０２が撮影した画像から抽出された顔データを格納する。第３データベース部５０７は、迷惑行為者の候補となる顔データを格納する。顔データ解析部５０８は、第３データベース部５０７に格納する顔データの選別および頻度スコアの算出を行う。判断部５０９は、頻度スコアに基づいて迷惑行為者と推定される人物を判断する。

顔データ解析部５０８が、第１データベース部５０５に格納された第１顔データと第２データベース部５０６に格納された第２顔データとの照合を行い、第１顔データの中から第２顔データに最も近いものを格納候補顔データとして抽出する。そして、格納候補顔データと実質的に一致する第３データベース部５０７に格納済みの格納済み顔データがないときは、顔データ解析部５０８が、当該格納候補顔データを新たに第３データベース部５０７に格納するとともに格納した格納候補顔データに対応する頻度スコアとして初回値を与える。

また、格納候補顔データと実質的に一致する第３データベース部５０７に格納済みの格納済み顔データがあるときは、顔データ解析部５０８が、格納候補顔データを第３データベース部５０７に格納せずに格納候補顔データと一致した格納済み顔データに対応する頻度スコアを所定値だけ増やす。

判断部５０９が、予め定められた規定期間の経過後に、第３データベース部５０７に格納された顔データのうち、対応する頻度スコアが予め定められた閾値を超えた顔データの人物を迷惑行為者と推定される人物と判断する。

以上より、本発明によれば、不特定多数の人が出入りする空間内における迷惑行為者を推定することができる。

以下、図面を参照して本発明の実施の形態について説明する。
図２は、本実施の形態にかかる迷惑行為者推定システム１００の概略構成を示すブロック図である。図２に示すように、迷惑行為者推定システム１００は、第１撮影部としての駅内カメラシステム１０１と、第２撮影部としての車内カメラシステム１０２と、分析部１０３と、データベース部１０４と、判断部としての人物推定レポート部１０５と、通報端末１０６と、を有する。

駅内カメラシステム１０１は、駅のホームにおける各乗車位置付近（乗り降りのためにホーム内で止まっている電車の出入口付近）に設置され、駅内カメラ１と、カメラ識別情報部２と、コントロール部３と、通信部４と、を有する。駅内カメラ１は、コントロール部３から撮影指示を受け画像の撮影を行う。駅内カメラ１が撮影する画像は動画または静止画のいずれであってもよい。静止画とする場合、複数枚数撮影が行われるようにする。カメラ識別情報部２は、コントロール部３から取得指示を受けて乗車位置及び乗車時刻を取得する。コントロール部３は、駅のホームにおいて電車のドアが乗り降りのために開閉されている間に、駅内カメラ１及びカメラ識別情報部２に対し取得指示を送る。通信部４は、駅内カメラ１が取得した画像とカメラ識別情報部２が取得した乗車位置及び乗車時刻を、無線または有線により画像分析部９へと送る。

車内カメラシステム１０２は、電車内に複数設置され、車内カメラ５と、カメラ識別情報部６と、コントロール部７と、通信部８と、を有する。車内カメラ５は、通報端末１０６からの通報信号を受信したコントロール部７から撮影指示を受けて画像の撮影を行う。車内カメラ５は、人物の顔が捉えやすいような位置、例えば、電車の出入口扉の上部に設置する。なお、通報端末１０６とコントロール部７との通信には、位置の特定がしやすいＢｌｕｅｔｏｏｔｈ（登録商標）などの短距離通信を用いる。車内カメラ５が撮影する画像は動画または静止画のいずれであってもよい。静止画とする場合、複数枚数撮影が行われるようにする。カメラ識別情報部６は、コントロール部７から取得指示を受けて通報信号が発信された時刻の情報（時刻情報）及び通報信号が発信された位置の情報（位置情報）を取得する。位置情報は通報端末１０６の発信した通報信号により検知する。コントロール部７は、通報端末１０６からの通報信号を受信したときに、車内カメラ５及びカメラ識別情報部６に対し取得指示を送る。通信部８は、車内カメラ５が取得した画像とカメラ識別情報部６が取得した時刻情報及び位置情報を、無線により画像分析部９へと送る。

分析部１０３は、画像分析部９と、顔データ解析部としての顔データマッチング頻度スコア算出部１０と、を有する。画像分析部９は、駅内カメラシステム１０１から送信されてきた画像、及び車内カメラシステム１０２から送信されてきた画像から人の顔を抽出し、抽出したそれぞれの人の顔の特徴点を分析して顔データを作成する。なお、カメラの撮影した画像から人の顔を抽出する技術として、公知の技術を用いることができる。顔データマッチング頻度スコア算出部１０は、駅内カメラデータベース部１１に格納された顔データの中から車内カメラデータベース部１２に格納された顔データと最も近い顔データを抽出し、この最も近い顔データを迷惑行為発生時に居あわせた人物として統合データデータベース部１３に格納するとともに、当該顔データの検出頻度（頻度スコア）を算出する。検出スコアの算出については後述する。

データベース部１０４は、第１データベース部としての駅内カメラデータベース部１１と、第２データベース部としての車内カメラデータベース部１２と、第３データベース部としての統合データデータベース部１３と、を有する。駅内カメラデータベース部１１は、駅内カメラ１が撮影した画像から抽出されたそれぞれの人の顔に対応する顔データを格納する。車内カメラデータベース部１２は、車内カメラ５が撮影した画像から抽出されたそれぞれの人の顔に対応する顔データを格納する。統合データデータベース部１３は、迷惑行為発生時に居あわせた人物の顔データや頻度スコアなどを人物データとして格納する。人物推定レポート部１０５は、統合データデータベース部１３に格納された人物データのうち、規定期間内に頻度スコアが予め定められた閾値を超えたものを迷惑行為者と推定してリストアップし、リストアップした情報をシステム管理者へ提供する。通報端末１０６は、迷惑行為を受けた被迷惑行為者が通報信号を送信するための携帯通信端末で、例えば、通報信号を送信するための専用のアプリをインストールしたスマートフォンなどである。専用のアプリは、インターネットを通じて誰でも無料で取得できるようにしてもよい。

迷惑行為者推定システム１００の具体的な動作について以下で説明する。
図３は、第１日の乗車状況について説明する図である。図３に示すように、第１日には、駅のホームに到着した電車に７人の人物が乗り込むとする。駅のホームの各乗車位置付近には駅内カメラシステム１０１（Ｎｏ．００１駅内カメラシステム１０１_１、Ｎｏ．００２駅内カメラシステム１０１_２、Ｎｏ．００３駅内カメラシステム１０１_３及びＮｏ．００４駅内カメラシステム１０１_４）が設置されている。これらの駅内カメラシステム１０１の駅内カメラ１は乗車する人物の顔画像が鮮明に撮影できるような高さに設置される。

駅内カメラシステム１０１は電車に乗り込む人物を撮影し、画像を分析部１０３に送信する。第１日の８：００にそれぞれの駅内カメラシステム１０１が電車に乗り込んだ人物を撮影したとする。Ｎｏ．００１駅内カメラシステム１０１_１が撮影した画像からは顔データＣ、Ｄが抽出され、Ｎｏ．００２駅内カメラシステム１０１_２が撮影した画像からは顔データＡ、Ｂ、Ｇが抽出され、Ｎｏ．００３駅内カメラシステム１０１_３が撮影した画像からは顔データＦが抽出され、Ｎｏ．００４駅内カメラシステム１０１_４が撮影した画像からは顔データＥが抽出されたとする。

図４は、第１日に、駅内カメラデータベース部１１に格納されたデータの一例を示す図である。図４に示すように、駅内カメラデータベース部１１には、駅内カメラシステム１０１が撮影した画像から抽出された顔データとともに、当該顔データに対応する乗車位置及び乗車時刻も記録される。

図５は、第１日の通報時の電車内の状況について説明する図である。図５に示すように、電車内のそれぞれの出入り口付近には車内カメラシステム１０２（Ｎｏ．００１車内カメラシステム１０２_１、Ｎｏ．００２車内カメラシステム１０２_２、Ｎｏ．００３車内カメラシステム１０２_３、Ｎｏ．００４車内カメラシステム１０２_４、Ｎｏ．００５車内カメラシステム１０２_５、Ｎｏ．００６車内カメラシステム１０２_６、Ｎｏ．００７車内カメラシステム１０２_７及びＮｏ．００８車内カメラシステム１０２_８）が設置されている。

被迷惑行為者が通報端末１０６から送信した通報信号は車内カメラシステム１０２のコントロール部７により受信・検出される。車内カメラシステム１０２のコントロール部７において、通報信号の受信角度により当該通報信号が発信された位置を特定する。そして、当該通報信号が発信された位置に最も近い車内カメラシステム１０２により撮影が行われる。

図５において、顔データＧに対応する人物（被迷惑行為者）が、迷惑行為を受けた際に通報端末１０６により通報を行ったとする。この時、顔データＧに対応する人物の周辺には顔データＡ，Ｂ，Ｃ，Ｄに対応する人物がいたとする。通報信号の発信位置の最も近い車内カメラシステム１０２は、Ｎｏ．００４車内カメラシステム１０２_４なので、Ｎｏ．００４車内カメラシステム１０２_４が撮影を行う。Ｎｏ．００４車内カメラシステム１０２_４が撮影した画像からは顔データａ，ｂ，ｃ，ｄ，ｇが抽出されたとする。

図６は、第１日に、車内カメラデータベース部１２に格納されたデータの一例を示す図である。図６に示すように、車内カメラデータベース部１２には、車内カメラシステム１０２が撮影した画像から抽出された顔データとともに、当該顔データに対応する時刻情報及び位置情報も記録される。ここで、時刻情報とは通報信号が発信された時刻の情報、位置情報とは通報端末１０６により通報信号が発信された位置の情報を意味する。迷惑行為発生時に、被迷惑行為者（通報信号の発信者）の周囲に居あわせた人物のいずれかが迷惑行為者であると考えられる。つまり、車内カメラデータベース部１２に格納された顔データａ，ｂ，ｃ，ｄ，ｇに対応する人物のいずれかが迷惑行為者であると考えられる。

一般的に、乗客は正面を向いて出入口から電車に乗り込むため、駅内カメラシステム１０１により撮影された画像中に映りこんだ人物の顔はほぼ正面を向いている場合が多い。これに対し、車内カメラシステム１０２により撮影された画像中に映りこんだ人物の顔は、電車内が混雑していることなどから正面を向いているものでないことも多い。このため、車内カメラシステム１０２で撮影された画像から抽出された顔データは、駅内カメラシステム１０１で撮影された画像から抽出される顔データに対し、顔の特徴点が不足しがちである。このため、車内カメラシステム１０２で撮影された画像から抽出された顔データだけでは人物を十分に特定できないことも考えられる。

車内カメラデータベース部１２に格納された顔データに対応する人物は、必ず駅内カメラデータベース部１１にも格納されている。このため、車内カメラデータベース部１２に格納されたある顔データの人物と、駅内カメラデータベース部１１に格納された顔データのうち車内カメラデータベース部１２に格納されたある顔データに最も近い顔データに対応する人物と、は同一人物であるとすることができる。そこで、顔データマッチング頻度スコア算出部１０は、車内カメラシステム１０２で撮影された画像から抽出された顔データと、駅内カメラシステム１０１で撮影された画像から抽出される顔データと、の照合を行い、駅内カメラデータベース部１１に格納された顔データの中から車内カメラデータベース部１２に格納された顔データと最も近い顔データを抽出する。そして、顔データマッチング頻度スコア算出部１０は、この最も近い顔データを迷惑行為発生時に居あわせた人物として統合データデータベース部１３に格納する。なお、撮影された画像から顔データを抽出する方法や顔データを照合する方法として、公知の方法（例えば、特許文献２に記載された方法など）を用いることができる。

図７は、第１日に統合データデータベース部１３に格納されたデータの一例を示す図である。図６に示す車内カメラデータベース部１２に格納された顔データと、図４に示す駅内カメラデータベース部１１に格納された顔データと、の照合の結果、顔データａ（図６参照）が顔データＡ（図４参照）に、顔データｂ（図６参照）が顔データＢ（図４参照）に、顔データｃ（図６参照）が顔データＣ（図４参照）に、顔データｄ（図６参照）が顔データＤ（図４参照）に、顔データｇ（図６参照）が顔データＧ（図４参照）に、それぞれ最も近かったとする。図７に示すように、統合データデータベース部１３には、顔データＡ，Ｂ，Ｃ，Ｄ，Ｇが格納される。駅内カメラデータベース部１１に格納された、顔データＡ，Ｂ，Ｃ，Ｄ，Ｇに対応する乗車時刻及び乗車位置に関するデータについても、統合データデータベース部１３に格納された顔データＡ，Ｂ，Ｃ，Ｄ，Ｇとそれぞれ対応付けされて統合データデータベース部１３に格納される。

また、車内カメラデータベース部１２に格納された、顔データａ，ｂ，ｃ，ｄ，ｇに対応する時刻情報、位置情報に関するデータは、顔データａ，ｂ，ｃ，ｄ，ｇがそれぞれ顔データＡ，Ｂ，Ｃ，Ｄ，Ｇに相当するとして、統合データデータベース部１３に格納された顔データＡ，Ｂ，Ｃ，Ｄ，Ｇとそれぞれ対応付けされて統合データデータベース部１３に格納される。統合データデータベース部１３に新たに顔データが格納される際、当該顔データの頻度スコアには初回値である１が記録される。

図８は、第２日の乗車状況について説明する図である。図８に示すように、第２日の８：００にそれぞれの駅内カメラシステム１０１が電車に乗り込んだ人物を撮影したとする。Ｎｏ．００１駅内カメラシステム１０１_１が撮影した画像からは顔データＲ、Ｑが抽出され、Ｎｏ．００２駅内カメラシステム１０１_２が撮影した画像からは顔データＯ、Ｐ、Ｕが抽出され、Ｎｏ．００３駅内カメラシステム１０１_３が撮影した画像からは顔データＴが抽出され、Ｎｏ．００４駅内カメラシステム１０１_４が撮影した画像からは顔データＳが抽出されたとする。

図９は、第２日に、駅内カメラデータベース部１１に格納されたデータの一例を示す図である。図９に示すように、駅内カメラデータベース部１１には、駅内カメラシステム１０１が撮影した画像から抽出された顔データとともに、当該顔データに対応する乗車時刻及び乗車位置も記録される。駅内カメラデータベース部１１は、データ量が膨大になるのを避けるため、該当日の始発からデータの記録を開始し、終電の後にデータがリセットされるようにする。つまり、駅内カメラデータベース部１１において、第２日には、第１日に格納されたデータ（図４参照）は消去されている。

図１０は、第２日の通報時の電車内の状況について説明する図である。図１０に示すように、顔データＵに対応する人物（被迷惑行為者）が、迷惑行為を受けた際に通報端末１０６により通報を行ったとする。この時、顔データＵに対応する人物の周辺には顔データＯ，Ｐ，Ｑ，Ｒに対応する人物がいたとする。通報信号の発信位置の最も近い車内カメラシステム１０２は、Ｎｏ．００４車内カメラシステム１０２_４なので、Ｎｏ．００４車内カメラシステム１０２_４が撮影を行う。Ｎｏ．００４車内カメラシステム１０２_４が撮影した画像からは顔データｏ，ｐ，ｑ，ｒ，ｕが抽出されたとする。

図１１は、第２日に、車内カメラデータベース部１２に格納されたデータの一例を示す図である。図１１に示すように、車内カメラデータベース部１２には、車内カメラシステム１０２が撮影した画像から抽出された顔データとともに、当該顔データに対応する時刻情報及び位置情報も記録される。ここで、時刻情報とは通報信号が発信された時刻の情報、位置情報とは通報端末１０６により通報信号が発信された位置の情報を意味する。車内カメラデータベース部１２は、データ量が膨大になるのを避けるため、該当日の始発からデータの記録を開始し、終電の後にデータがリセットされるようにする。つまり、車内カメラデータベース部１２において、第２日には、第１日に格納されたデータ（図６参照）は消去されている。

顔データマッチング頻度スコア算出部１０が、図１１に示す車内カメラデータベース部１２に格納された顔データと、図９に示す駅内カメラデータベース部１１に格納された顔データと、の照合を行った結果、顔データｏ（図１１参照）が顔データＯ（図９参照）に、顔データｐ（図１１参照）が顔データＰ（図９参照）に、顔データｑ（図１１参照）が顔データＱ（図９参照）に、顔データｒ（図１１参照）が顔データＲ（図９参照）に、顔データｕ（図１１参照）が顔データＵ（図９参照）に、それぞれ最も近かったとする。顔データＯ，Ｐ，Ｑ，Ｒ，Ｕは、統合データデータベース部１３に格納する候補とする。なお、顔データｏ，ｐ，ｑ，ｒ，ｕの時刻情報及び位置情報は、顔データＯ，Ｐ，Ｑ，Ｒ，Ｕにそれぞれ対応させる。

続いて、顔データマッチング頻度スコア算出部１０が、既に統合データデータベース部１３に格納されている顔データ（図７参照）の中に、統合データデータベース部１３に格納する候補である顔データＯ，Ｐ，Ｑ，Ｒ，Ｕと実質的に一致しているものがあるか検索を行う。検索の結果、既に統合データデータベース部１３に格納されている顔データＡと、統合データデータベース部１３に格納する候補である顔データＯとが実質的に一致していたとする。統合データデータベース部１３に格納する候補である顔データＰ，Ｑ，Ｒ，Ｕは、既に統合データデータベース部１３に格納されている顔データの中に実質的に一致するものがなかったとする。

図１２は、第２日に、統合データデータベース部１３に格納されたデータの一例を示す図である。
図１２に示すように、統合データデータベース部１３に格納する候補のうち、既に統合データデータベース部１３に格納されている顔データの中に実質的に一致するものがなかった顔データＰ，Ｑ，Ｒ，Ｕは、新たに統合データデータベース部１３に格納される。顔データＰ，Ｑ，Ｒ，Ｕに対応する位置情報、時刻情報、乗車位置及び乗車時刻も顔データＰ，Ｑ，Ｒ，Ｕとともに統合データデータベース部１３に記録される。統合データデータベース部１３に新たに顔データが格納される際、当該顔データの頻度スコアとして初回値である１が記録される。

統合データデータベース部１３に格納する候補のうち、既に統合データデータベース部１３に格納されている顔データの中に実質的に一致するものが見つかった顔データＯについては、統合データデータベース部１３に新たに格納することはせず、顔データＯに対応する位置情報、時刻情報、乗車位置及び乗車時刻についてのデータは、顔データＡの欄に追加で記録される。また、既に統合データデータベース部１３に格納されている顔データＡの頻度スコアに所定値である１を加算する。つまり、顔データＡに対応する頻度スコアは２になる。

迷惑行為者推定システム１００が、上述した第１日、第２日の処理を繰り返すことにより、統合データデータベース部１３には日々、迷惑行為者の候補である人物のデータが蓄積される。規定期間（例えば１ヶ月）が経過したところで、統合データデータベース部１３において、頻度スコアが予め定められた閾値（例えば４）を超えている顔データに対応する人物が迷惑行為者であると推定される。

一般的に、迷惑行為者は迷惑行為を繰り返す傾向が強いので、上述した頻度スコアにより精度良く迷惑行為者を推定することができる。以上より、本実施の形態にかかる迷惑行為者推定システム１００より、不特定多数の人が出入りする空間内における迷惑行為者を推定することができる。

次に、迷惑行為者推定システム１００が迷惑行為者を推定する処理の流れについて以下で説明する。図１３、図１４及び図１５は、迷惑行為者推定システム１００が迷惑行為者を推定する処理の流れを示すフローチャートである。なお、以下の説明において図２も適宜参照する。

図１３は、電車に乗り込む人物の顔データを取得し、当該顔データを駅内カメラデータベース部１１に格納する処理の流れを示すフローチャートである。図１３に示すように、まず、駅内カメラシステム１０１のコントロール部３が、駅内カメラ１、カメラ識別情報に対し、それぞれ、画像の撮影指示、乗車時刻及び乗車位置の取得指示を行う（ステップＳ１）。そして、駅内カメラ１が画像の撮影を行うとともに、カメラ識別情報が乗車時刻及び乗車位置を取得する（ステップＳ２）。

次に、通信部４が、カメラ識別情報部２により撮影された画像と、カメラ識別情報により取得された乗車時刻及び乗車位置と、を画像分析部９に送信する（ステップＳ３）。ステップＳ３に続き、画像分析部９が、駅内カメラ１により撮影された画像から顔データの抽出を行い（ステップＳ４）、抽出された顔データを、乗車時刻及び乗車位置と対応付けて駅内カメラデータベース部１１に格納する（ステップＳ５）。

図１４は、電車内において被迷惑行為者の周囲の人物の顔データを取得し、当該顔データを車内カメラデータベース部１２に格納する処理の流れを示すフローチャートである。図１４に示すように、まず、車内カメラシステム１０２のコントロール部７が、被迷惑行為者の通報端末１０６から発信された通報信号を受信する（ステップＳ１０１）。次に、通報信号を受信したコントロール部７が、通報信号の角度などから通報信号が発信された位置を特定する（ステップＳ１０２）。

ステップＳ１０２に続き、通報位置からの最も近い距離に設置された車内カメラシステム１０２において、車内カメラ５が通報信号の発信位置周辺の画像を撮影するとともに、カメラ識別情報部６が時刻情報・位置情報を取得する（ステップＳ１０３）。ここで、時刻情報とは通報信号が発信された時刻の情報、位置情報とは通報端末１０６により通報信号が発信された位置の情報を意味する。そして、通信部８が、車内カメラにより撮影された画像とカメラ識別情報部６により取得された位置情報・時刻情報を画像分析部９に送信する（ステップＳ１０４）。

ステップＳ１０４に続き、画像分析部９が、車内カメラ５により撮影された画像から顔データの抽出を行い（ステップＳ１０５）、抽出された顔データを、位置情報・時刻情報と対応付けて車内カメラデータベース部１２に格納する（ステップＳ１０６）。

図１５は、統合データデータベース部１３に格納された顔データに対応する頻度スコアから迷惑行為者を推定する処理の流れを示すフローチャートである。図１５に示すように、まず、顔データマッチング頻度スコア算出部１０が、車内カメラデータベース部１２に格納された顔データと、駅内カメラデータベース部１１に格納された顔データと、を照合し、駅内カメラデータベース部１１に格納された顔データのうち車内カメラデータベース部１２に格納された顔データに最も近いものを統合データデータベース部１３に格納する候補として抽出する（ステップＳ２０１）。

ステップＳ２０１に続き、顔データマッチング頻度スコア算出部１０が、既に統合データデータベース部１３に格納されている顔データの中に、統合データデータベース部１３に格納する候補として抽出した顔データと実質的に一致しているものがあるか否か検索する（ステップＳ２０２）。

ステップＳ２０２で一致するものがある場合は、顔データマッチング頻度スコア算出部１０が、一致する顔データについては新たに統合データデータベース部１３に格納することはせず、一致しない顔データについてのみ新たに統合データデータベース部１３に格納する（ステップＳ２０３）。なお、顔データを格納する際、対応する位置情報・時刻情報も格納する。

ステップＳ２０２で一致するものがない場合は、統合データデータベース部１３に格納する候補として抽出した顔データの全てを新たに統合データデータベース部１３に格納する（ステップＳ２０４）。なお、顔データを格納する際、対応する位置情報・時刻情報も格納する。

ステップＳ２０３、ステップＳ２０４に続き、統合データデータベース部１３の頻度スコアを更新する（ステップＳ２０５）。具体的には、上記候補のうち統合データデータベース部１３に新たに格納した顔データの頻度スコアに初回値である１を記録し、上記候補のうち統合データデータベース部１３に新たに格納しなかった顔データについては対応する既に統合データデータベース部１３に格納された顔データの頻度スコアに所定値である１を加算する。

ステップＳ２０５に続き、規定期間が経過した否か判断する（ステップＳ２０６）。ステップＳ２０６で規定期間が経過したと判断された場合、統合データデータベース部１３に格納された顔データのうち、頻度スコアが予め定められた閾値を超えた顔データの人物を迷惑行為者と推定される人物と判断し、管理者へ報告する（ステップＳ２０７）。ステップＳ２０６で規定期間が経過したと判断されなかった場合、処理をステップＳ２０１に戻す。

上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、各処理を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）にコンピュータプログラムを実行させることにより実現することも可能である。

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ-ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒy）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、本発明を上記実施の形態に即して説明したが、本発明は上記実施の形態の構成にのみ限定されるものではなく、本願特許請求の範囲の請求項の発明の範囲内で当業者であればなし得る各種変形、修正、組み合わせを含むことは勿論である。

例えば、上記実施の形態において、頻度スコアの算出において、通報端末が通報信号を発信した位置情報を考慮するようにしてもよい。具体的には、頻度スコアの算出において、同じ位置において発信された通報信号を受けて再び検出された人物については加算する所定値を基準の値よりも大きくする。例えば、所定値の基準の値を１とすると、同じ位置で再び検出された人物については加算する所定値を２とする。迷惑行為の常習者は一度迷惑行為を行った位置で再び迷惑行為を行うことも多いので、このように頻度スコアを算出することで、迷惑行為者の推定の精度を向上させることができる。

車内カメラシステム１０２の車内カメラ５は、電車内に配設されたレールなどのガイドに沿って移動できる可動式のものであってもよい。これにより、被迷惑行為者周辺の人物の顔をより捉え易くすることができる。可動式の車内カメラは、通報端末から発信された通報信号により特定された被迷惑行為者の位置に応じて、被迷惑行為者周辺の人物の顔を捉えるために最適な位置に移動する。

通報端末１０６から通報信号が発信された際、複数の車内カメラシステム１０２において画像の撮影が行われるようにしてもよい。このようにすることで、顔データの取得ミスを回避することができる。

通報端末１０６が通報信号を発信した位置から最も近い位置に設置された車内カメラシステム１０２と、当該車内カメラシステム１０２に対向して配置された車内カメラシステム１０２と、において画像の撮影が行われるようにしてもよい。例えば、図５において、最も近い位置に設置された車内カメラシステム１０２がＮｏ．００４車内カメラシステム１０２_４であれば、Ｎｏ．００４車内カメラシステム１０２_４と、Ｎｏ．００４車内カメラシステム１０２_４に対向して配置されたＮｏ.００３車内カメラシステム１０２_３と、において画像の撮影が行われる。このようにすることで、顔データの取得ミスを回避することができる。

通報端末１０６が通報信号を発信した位置からの距離が予め定められた所定の距離以内に設置された車内カメラシステム１０２において画像の撮影が行われるようにしてもよい。このようにすることで、顔データの取得ミスを回避することができる。

５００ 迷惑行為推定システム
５０１ 第１撮影部
５０２ 第２撮影部
５０３ 通報端末
５０４ 画像分析部
５０５ 第１データベース部
５０６ 第２データベース部
５０７ 第３データベース部
５０８ 顔データ解析部
５０９ 判断部

Claims (8)

1. 不特定多数の人が出入りする出入口のある空間内における迷惑行為者を推定する迷惑行為者推定システムであって、
   前記出入口付近に設けられ前記空間に入場する人物を撮影する第１撮影部と、
   前記空間内に設けられ通報端末からの通報信号を受信した際に当該通報信号が発信された位置を特定し当該位置の周辺を撮影する第２撮影部と、
   前記第１撮影部が撮影した画像および前記第２撮影部が撮影した画像をそれぞれ分析し顔データを抽出する画像分析部と、
   前記第１撮影部が撮影した画像から抽出された顔データを格納する第１データベース部と、
   前記第２撮影部が撮影した画像から抽出された顔データを格納する第２データベース部と、
   迷惑行為者の候補となる顔データを格納する第３データベース部と、
   前記第３データベース部に格納する顔データの選別および頻度スコアの算出を行う顔データ解析部と、
   前記頻度スコアに基づいて迷惑行為者と推定される人物を判断する判断部と、を備え、
   前記顔データ解析部が、前記第１データベース部に格納された第１顔データと前記第２データベース部に格納された第２顔データとの照合を行い、前記第１顔データの中から前記第２顔データに最も近いものを格納候補顔データとして抽出し、
   前記格納候補顔データと実質的に一致する前記第３データベース部に格納済みの格納済み顔データがないときは、前記顔データ解析部が、当該格納候補顔データを新たに前記第３データベース部に格納するとともに格納した前記格納候補顔データに対応する前記頻度スコアとして初回値を与え、
   前記格納候補顔データと実質的に一致する前記第３データベース部に格納済みの格納済み顔データがあるときは、前記顔データ解析部が、前記格納候補顔データを前記第３データベース部に格納せずに前記格納候補顔データと一致した前記格納済み顔データに対応する前記頻度スコアを所定値だけ増やし、
   前記判断部が、予め定められた規定期間の経過後に、前記第３データベース部に格納された顔データのうち、対応する前記頻度スコアが予め定められた閾値を超えた顔データの人物を迷惑行為者と推定される人物と判断する迷惑行為者推定システム。
2. 前記第３データベース部に格納された前記顔データに対応する前記頻度スコアの算出において、前記通報端末が通報信号を発信した位置の情報を考慮する請求項１に記載の迷惑行為者推定システム。
3. 前記空間内には前記第２撮影部が複数設置される、請求項１または２に記載の迷惑行為者推定システム。
4. 前記通報端末から通報信号が発信された際に、複数の前記第２撮影部のうちで、少なくとも当該通報信号が発信された位置からの距離が最も近いものが当該発信された位置の周辺を撮影する請求項３に記載の迷惑行為者推定システム。
5. 前記通報端末から通報信号が発信された際に、複数の前記第２撮影部のうちで当該通報信号が発信された位置からの距離が予め定められた所定の距離以内にあるものが当該発信位置周辺を撮影する請求項４に記載の迷惑行為者推定システム。
6. 前記第２撮影部は、前記空間内に配設されたガイドに沿って移動可能であり、前記通報端末による通報信号の発信位置に応じて移動する請求項１乃至３のいずれか一項に記載の迷惑行為者推定システム。
7. 不特定多数の人が出入りする出入口のある空間の出入口付近に設けられ前記空間に入場する人物を撮影する第１撮影部と、前記空間内に設けられ通報端末からの通報信号を受信した際に当該通報信号が発信された位置を特定し当該位置の周辺を撮影する第２撮影部と、前記第１撮影部が撮影した画像および前記第２撮影部が撮影した画像をそれぞれ分析し顔データを抽出する画像分析部と、前記第１撮影部が撮影した画像から抽出された顔データを格納する第１データベース部と、前記第２撮影部が撮影した画像から抽出された顔データを格納する第２データベース部と、迷惑行為者の候補となる顔データを格納する第３データベース部と、前記第３データベース部に格納する顔データの選別および頻度スコアの算出を行う顔データ解析部と、前記頻度スコアに基づいて迷惑行為者と推定される人物を判断する判断部と、を備え前記空間内における迷惑行為者を推定する迷惑行為者推定システムの制御方法であって、
   前記顔データ解析部が、前記第１データベース部に格納された第１顔データと前記第２データベース部に格納された第２顔データとの照合を行い、前記第１顔データの中から前記第２顔データに最も近いものを格納候補顔データとして抽出するステップと、
   前記格納候補顔データと実質的に一致する前記第３データベース部に格納済みの格納済み顔データがないときは、前記顔データ解析部が、当該格納候補顔データを新たに前記第３データベース部に格納するとともに格納した前記格納候補顔データに対応する前記頻度スコアとして初回値を与えるステップと、
   前記格納候補顔データと実質的に一致する前記第３データベース部に格納済みの格納済み顔データがあるときは、前記顔データ解析部が、前記格納候補顔データを前記第３データベース部に格納せずに前記格納候補顔データと一致した前記格納済み顔データに対応する前記頻度スコアを所定値だけ増やすステップと、
   前記判断部が、予め定められた規定期間の経過後に、前記第３データベース部に格納された顔データのうち、対応する前記頻度スコアが予め定められた閾値を超えた顔データの人物を迷惑行為者と推定される人物と判断するステップと、を有する迷惑行為者推定システムの制御方法。
8. 不特定多数の人が出入りする出入口のある空間の出入口付近に設けられ前記空間に入場する人物を撮影する第１撮影部と、前記空間内に設けられ通報端末からの通報信号を受信した際に当該通報信号が発信された位置を特定し当該位置の周辺を撮影する第２撮影部と、前記第１撮影部が撮影した画像および前記第２撮影部が撮影した画像をそれぞれ分析し顔データを抽出する画像分析部と、前記第１撮影部が撮影した画像から抽出された顔データを格納する第１データベース部と、前記第２撮影部が撮影した画像から抽出された顔データを格納する第２データベース部と、迷惑行為者の候補となる顔データを格納する第３データベース部と、前記第３データベース部に格納する顔データの選別および頻度スコアの算出を行う顔データ解析部と、前記頻度スコアに基づいて推定される人物を判断する判断部と、を備え前記空間内における迷惑行為者を推定する迷惑行為者推定システムの制御プログラムであって、
   前記顔データ解析部が、前記第１データベース部に格納された第１顔データと前記第２データベース部に格納された第２顔データとの照合を行い、前記第１顔データの中から前記第２顔データに最も近いものを格納候補顔データとして抽出するステップと、
   前記格納候補顔データと実質的に一致する前記第３データベース部に格納済みの格納済み顔データがないときは、前記顔データ解析部が、当該格納候補顔データを新たに前記第３データベース部に格納するとともに格納した前記格納候補顔データに対応する前記頻度スコアとして初回値を与えるステップと、
   前記格納候補顔データと実質的に一致する前記第３データベース部に格納済みの格納済み顔データがあるときは、前記顔データ解析部が、前記格納候補顔データを前記第３データベース部に格納せずに前記格納候補顔データと一致した前記格納済み顔データに対応する前記頻度スコアを所定値だけ増やすステップと、
   前記判断部が、予め定められた規定期間の経過後に、前記第３データベース部に格納された顔データのうち、対応する前記頻度スコアが予め定められた閾値を超えた顔データの人物を迷惑行為者と推定される人物と判断するステップと、
   をコンピュータに実行させる制御プログラム。

Images