JP7190820B2 - 侵入検知システムおよび侵入検知方法 - Google Patents

Description

本開示は、侵入検知システムおよび侵入検知方法に関する。

従来、高速道路または駅のホームといった場所において、セキュリティの観点から監視カメラを用いて、人物などの侵入禁止エリアへの侵入を検知する侵入検知システムの導入が検討されている。

例えば、特許文献１には、撮影装置（監視カメラ）が高速道路などの道路を撮影し、撮影した画像に現れる被写体を検知し、検知した被写体の所定エリアへの侵入が、予め決められた複数の侵入パターンのいずれかに該当する場合、被写体が所定エリアへ侵入したと検知する方法が開示されている。

特許第６１８５７７９号公報

しかしながら、監視カメラが撮影した画像を用いて侵入を検知する場合、侵入検知の精度が、検知対象となる人物までの距離、侵入検知を行う場所の日照変動および天候などの影響を受けやすいため、十分な検知精度が保障されないおそれがある。

本開示の非限定的な実施例は、カメラとレーダという２つのセンサデバイスを融合させ、精度の良い侵入検知を行う侵入検知システムおよび侵入検知方法の提供に資する。

本開示の一態様に係る侵入検知システムは、監視エリアを撮影し、画像データを生成するカメラと、前記監視エリアに含まれる走査エリアを走査し、ミリ波データを生成するミリ波レーダと、前記カメラ及び前記ミリ波レーダと接続し、前記画像データ及び前記ミリ波データを取得する情報処理サーバと、を備える侵入検知システムであって、前記情報処理サーバは、前記画像データが生成されたタイミングと前記ミリ波データが生成されたタイミングとの差が一定値以下となるように前記画像データと前記ミリ波データとの同期を図るデータ同期部と、前記データ同期部によって同期が図られた前記画像データと前記ミリ波データを蓄積するデータ蓄積部と、前記データ蓄積部に蓄積された前記ミリ波データを用いて、前記走査エリアに含まれる検知エリアへ侵入する物体が存在するか否か、を判定する判定部と、前記データ蓄積部に蓄積された前記画像データと前記ミリ波データを用いて、前記判定部による判定結果を示す監視画面を生成する画面生成部と、を備える。

本開示の一態様に係る侵入検知方法は、監視エリアを撮影し、生成された画像データをカメラから取得し、前記監視エリアに含まれる走査エリアを走査し、生成されたミリ波データをミリ波レーダから取得し、前記画像データが生成されたタイミングと前記ミリ波データが生成されたタイミングとの差が一定値以下となるように前記画像データと前記ミリ波データとの同期を図り、前記同期が図られた前記画像データと前記ミリ波データを蓄積し、前記蓄積された前記ミリ波データを用いて、前記走査エリアに含まれる検知エリアへ侵入する物体が存在するか否か、を判定し、前記蓄積された前記画像データと前記ミリ波データを用いて、判定結果を示す監視画面を生成する。

なお、これらの包括的または具体的な態様は、システム、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本開示の一態様によれば、カメラとレーダという２つのセンサデバイスを融合させ、精度の良い侵入検知を行う侵入検知システムおよび侵入検知方法の提供に資する。

本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

本開示の一実施の形態に係る侵入検知システムの構成の一例を示す図 本開示の一実施の形態に係る情報処理サーバの構成の一例を示す図 本開示の一実施の形態に係る情報処理サーバの処理の一例を示すフローチャート 本開示の一実施の形態における設定モード時の表示画面の例を示す図 図４にて示した各領域に表示される画面の一例を示す図 本開示の一実施の形態における侵入検知モード時の表示画面の例を示す図 図６にて示した各領域に表示される画面の一例を示す図 本開示の一実施の形態における過去侵入検知情報確認モード時の表示画面の例を示す図 図８にて示した各領域に表示される画面の一例を示す図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（一実施の形態）
＜侵入検知システムの構成＞
図１は、本実施の形態に係る侵入検知システム１の構成の一例を示す図である。侵入検知システム１は、複数のカメラ２と、複数のミリ波レーダ３と、情報処理サーバ（制御装置）４と、遠隔監視ＰＣ（Personal Computer）５と、を備える。本実施の形態では、車両、歩行者などが通行する道路に設定される所定エリアへの人の侵入を検知する侵入検知システムを一例に挙げて説明する。

なお、侵入の検知を行う場所は、道路に限られず、例えば、駐車場、踏切、駅のホーム、公共施設、工場、港湾、空港、河川敷といった場所であってもよい。また、侵入を検知する対象は、人に限られず、車両、船、航空機、動物などであってもよい。また、以下では、侵入検知を行う地点は、適宜、監視地点と記載されてもよい。

カメラ２およびミリ波レーダ３は、ネットワークＮ１を介して、情報処理サーバ４と接続する。ネットワークＮ１は、無線ネットワークであってもよいし、有線ネットワークであってもよいし、無線と有線とを含むネットワークであってもよい。

情報処理サーバ４は、ネットワークＮ２を介して、遠隔監視ＰＣ５と接続する。ネットワークＮ２は、無線ネットワークであってもよいし、有線ネットワークであってもよいし、無線と有線とを含むネットワークであってもよい。

カメラ２は、例えば、道路周辺の構造物（例えば、道路標識を設置するポール）の上方に設けられる。カメラ２は、道路を含む道路周辺のエリアを撮影する。なお、カメラ２の撮影範囲であって、道路を含む道路周辺のエリアを監視エリアと記載してもよい。

カメラ２は、撮影した画像のデータ（画像データ）を生成し、撮影した画像データを情報処理サーバ４へ送信する。送信される画像データには、画像データを生成したタイミング（例えば、時刻）を示す時刻情報が含まれる。なお、時刻情報が示す時刻は、カメラ２が撮影を行った時刻であってもよい。また、カメラ２は、例えば、フレーム単位で画像データを情報処理サーバ４へ送信してもよい。また、カメラ２によって撮影された画像は、カメラ画像と記載されてもよい。また、例えば、カメラ画像の横方向と縦方向を規定する座標系は、カメラ座標系と記載されてもよい。カメラ座標系は、例えば、カメラ２の設置位置、カメラ２の向きおよびカメラの画角に基づいて規定される。

ミリ波レーダ３は、例えば、道路周辺の構造物の上方に設けられる。ミリ波レーダ３は、道路周辺に対してミリ波帯のレーダ信号を送信し、レーダ信号が道路周辺の物体によって反射した反射信号を受信する。なお、ミリ波レーダ３は、複数の方向へ、順次、レーダ信号を送信することによって、道路周辺を走査する。ミリ波レーダ３がレーダ信号を走査する範囲を走査エリアと記載してもよい。

ミリ波レーダ３は、例えば、レーダ信号を送信した時刻と反射信号を受信した時刻との間の時間、レーダ信号を送信した方向、反射信号の受信強度、及び、反射信号のドップラー周波数の少なくとも１つの情報に基づいて、ミリ波データを生成する。

ミリ波データは、例えば、レーダ信号を反射した道路周辺の物体（以下、反射物と記載）を示す情報を含む。例えば、ミリ波データは、ミリ波レーダ３の位置を基準に規定した座標系における、反射物の位置を示す点（以下、反射点と記載）の集合を含むデータである。ミリ波レーダ３の位置を基準に規定した座標系とは、例えば、ミリ波レーダ３の位置からの距離と、ミリ波レーダ３が走査する方位角とによる、極座標系である。なお、ミリ波レーダ３の位置を基準に規定した座標系は、ミリ波レーダ座標系と記載されてもよい。ミリ波レーダ座標系は、例えば、ミリ波レーダ３の設置位置、ミリ波レーダ３の向きおよびミリ波レーダ３の走査エリア（検知範囲）に基づいて規定される。

なお、反射点は１つの反射物に対して１つに限られない。ミリ波データでは、１つの反射物が複数の反射点によって表されてもよい。

また、反射物には、例えば、道路周辺を移動する車両及び歩行者（以下、移動体と記載する）と、道路周辺に設けられた構造物（道路標識、信号など、以下、静止物と記載する）とが含まれる。ミリ波データには、移動体の位置を示す反射点と、静止物の位置を示す反射点とが含まれていてもよい。

ミリ波レーダ３は、ミリ波データを情報処理サーバ４に送信する。送信されるミリ波データには、ミリ波データを生成したタイミング（例えば、時刻）を示す時刻情報が含まれる。なお、時刻情報が示す時刻は、ミリ波データを生成するためのレーダ信号を送信した時刻であってもよいし、レーダ信号を受信した時刻であってもよい。また、ミリ波レーダ３は、設定された周期で走査エリアを走査し、ミリ波データを情報処理サーバ４へ送信してもよい。

カメラ２が画像データを生成するタイミングと、ミリ波レーダ３がミリ波データを生成するタイミングとは、一致していなくてもよく、各々のタイミングであってもよい。またカメラ２が画像データを送信するタイミングと、ミリ波レーダ３がミリ波データを送信するタイミングとは、一致していなくてもよく、各々のタイミングであってもよい。例えば、カメラ２が画像データを生成する頻度は、ミリ波レーダ３がミリ波データを生成する頻度よりも多い。

なお、カメラ２とミリ波レーダ３は、同一の構造物に設置されてもよいし、互いに異なる構造物に設置されてもよい。また、カメラ２とミリ波レーダ３は、同一の筐体に設けられてもよいし、別々の筐体に設けられてもよい。

また、カメラ２とミリ波レーダ３の設置する方法、場所、および、相対的な位置関係は、限定されない。また、カメラ２の監視エリアとミリ波レーダ３の走査エリアの位置関係は限定されない。本開示は、カメラ２の監視エリアにミリ波レーダ３の走査エリアが含まれるように設置されるのが好ましい。

例えば、少なくとも１つのカメラ２と少なくとも１つのミリ波レーダ３が組となり、１つの監視地点に設けられる。なお、１つの監視地点には、２つ以上のカメラ２が設けられてもよいし、２つ以上のミリ波レーダ３が設けられてもよい。

情報処理サーバ４は、ネットワークＮ１を介して、複数の監視地点にそれぞれ設けられるカメラ２およびミリ波レーダ３と接続する。情報処理サーバ４は、カメラ２から画像データを取得し、ミリ波レーダ３からミリ波データを取得する。そして、情報処理サーバ４は、画像データ及びミリ波データに基づき、監視地点における侵入検知の結果を示す監視画面を生成する。情報処理サーバ４は、ネットワークＮ２を介して、生成した監視画面のデータを遠隔監視ＰＣ５へ送信する。

なお、情報処理サーバ４は、侵入検知に関する設定および／または監視地点に関する指示を含む指示情報を、遠隔監視ＰＣ５から受信してもよい。この場合、情報処理サーバ４は、指示情報に基づき、監視画面を生成する。

遠隔監視ＰＣ５は、ネットワークＮ２を介して、情報処理サーバ４から、監視画面のデータを受信する。遠隔監視ＰＣ５は、監視画面のデータの処理を行い、表示部（図示せず）に監視画面を表示する。

なお、遠隔監視ＰＣ５は、例えば、操作部（図示せず）を介して、侵入検知に関する設定および／または監視地点に関する指示を、ユーザから受け付けてもよい。この場合、遠隔監視ＰＣ５は、侵入検知に関する設定および／または侵入検知の対象監視地点に関する指示を含む指示情報を情報処理サーバ４へ送信してもよい。

なお、図１では、１台の遠隔監視ＰＣ５が示されるが、遠隔監視ＰＣ５は、複数であってもよい。また、図１では、ネットワークＮ１とネットワークＮ２が示されるが、ネットワークＮ１とネットワークＮ２は、同一のネットワークであってもよいし、異なるネットワークであってもよい。また、情報処理サーバ４が、ネットワークＮ１を介して、カメラ２およびミリ波レーダ３と接続する例を示したが、情報処理サーバ４は、カメラ２および／またはミリ波レーダ３と、ネットワークＮ１を介さずに、直接、有線接続または無線接続してもよい。また、遠隔監視ＰＣ５は、情報処理サーバ４と、ネットワークＮ２を介さずに、直接、有線接続または無線接続してもよい。

以上説明した侵入検知システム１では、例えば、侵入の監視を行うユーザが、遠隔監視ＰＣ５の操作部を介して、特定の監視地点を入力した（または選択した）場合、遠隔監視ＰＣ５はその入力された（または選択された）監視地点を示す指示情報を、情報処理サーバ４へ送信する。

情報処理サーバ４は、指示情報が示す監視地点における道路状況に関する監視画面を生成する。そして、情報処理サーバ４は、生成した監視画面のデータを、指示情報の送信元の遠隔監視ＰＣ５へ送信する。

＜情報処理サーバの構成＞
次に、情報処理サーバ４の構成の一例について説明する。図２は、本実施の形態に係る情報処理サーバ４の構成の一例を示す図である。

例えば、情報処理サーバ４は、通信部４１と、データ同期部４２と、データ蓄積部４３と、判定部４４と、画面生成部４５と、モード設定部４６と、を備える。

通信部４１は、ネットワークＮ１を介したカメラ２およびミリ波レーダ３との通信のインタフェースである。また、通信部４１は、ネットワークＮ２を介した遠隔監視ＰＣ５との通信のインタフェースである。

データ同期部４２は、通信部４１を介して、カメラ２から画像データを取得する。また、データ同期部４２は、通信部４１を介して、ミリ波レーダ３からミリ波データを取得する。

データ同期部４２は、画像データとミリ波データとの同期を図る。例えば、データ同期部４２は、画像データに含まれる時刻情報とミリ波データに含まれる時刻情報に基づき、画像データが生成されたタイミングとミリ波データが生成されたタイミングとを調整する。

例えば、データ同期部４２は、１フレームの画像データに対して、画像データに含まれる時刻情報が示す時刻との時間差が所定値以下の時刻を示す時刻情報を含むミリ波データを選択し、選択したミリ波データを当該１フレームの画像データに対応づける。あるいは、データ同期部４２は、１フレームの画像データに対して、画像データに含まれる時刻情報が示す時刻に最も近い時刻を示す時刻情報を含むミリ波データを選択し、選択したミリ波データを１フレームの画像データに対応づけてもよい。

なお、例えば、カメラ２が画像データを生成する頻度と、ミリ波レーダ３がミリ波データを生成する頻度とが異なる場合、データ同期部４２は、１つの画像データを２つの異なるミリ波データに対応づけるように、データの同期を図ってもよい。あるいは、データ同期部４２は、１つのミリ波データを２つの異なる画像データに対応づけるように、データの同期を図ってもよい。データ同期部４２は、それぞれの時刻情報が示す時刻が所定の時間内に含まれる、画像データとミリ波データを対応づける。

データ同期部４２は、同期を図ったデータをデータ蓄積部４３へ出力する。また、データ同期部４２は、同期を図ったデータを判定部４４へ出力する。

データ蓄積部４３は、データ同期部４２によって同期が図られた画像データとミリ波データとを対応付けて蓄積する。データ蓄積部４３には、例えば、時刻情報に基づいて、画像データとミリ波データが時系列で蓄積される。また、データ蓄積部４３には、複数の監視地点それぞれの画像データとミリ波データが蓄積されてもよい。

判定部４４は、データ同期部４２から、同期が図られた（タイミングが調整された）画像データとミリ波データを取得する。また、画面生成部４５は、通信部４１を介して、遠隔監視ＰＣ５から侵入検知に関する設定および／または監視地点に関する指示を含む指示情報を取得してもよい。

判定部４４は、取得したミリ波データに基づいて、走査エリアに含まれる侵入検知エリアへ侵入する人が存在するか否か、を判定する。判定部４４における処理は、侵入検知処理と記載されてもよい。

侵入検知エリアは、例えば、監視を行うユーザが、遠隔監視ＰＣ５の操作部を介して、設定してもよい。侵入検知エリアが、監視を行うユーザによって設定される場合、遠隔監視ＰＣ５は、情報処理サーバ４へ、侵入検知エリアを示す情報を含む指示情報を送信する。あるいは、侵入検知エリアは、例えば、監視地点に対して、予め設定されていてもよい。

例えば、判定部４４は、監視地点に設けられたミリ波レーダ３のミリ波データに対して信号処理（例えば、クラスタリング処理）を行い、反射物に対応する領域を推定する。そして、判定部４４は、反射物に対応する領域が侵入検知エリアに含まれるか否かを判定する。そして、判定部４４は、推定した領域が侵入検知エリアに含まれる場合、その推定した領域に対応する反射物が人であるか否かを推定する。判定部４４は、推定した領域が侵入検知エリアに含まれ、かつ、推定した領域に対応する反射物が人である場合、侵入検知エリアへ侵入する人が存在すると判定する。なお、判定部４４は、反射物に対応する領域それぞれについて、反射物が何であるかを推定することによって、走査エリア内の人の位置を推定してもよい。

ここで、判定部４４は、侵入検知エリアでの人の存在の有無だけを判定結果とするのではなく、反射物（例えば、人）の検知判定ごとに、侵入検知エリアと反射物の位置関係等に基づいて信頼度を算出し、算出した信頼度を含む判定結果を出力するようにしてもよい。例えば、信頼度は、侵入検知エリアと反射物との距離を示す値であってもよいし、侵入検知エリアと反射物との距離および反射物の移動速度に基づく値であってもよい。信頼度は、侵入検知エリアへ侵入してくる可能性を示す指標であってもよい。

判定部４４は、データ同期部４２から取得した、画像データとミリ波データを、画面生成部４５へ出力する。判定部４４は、判定結果を示す情報を画面生成部４５へ出力する。また、判定部４４は、判定結果を示す情報をデータ蓄積部４３へ出力する。

判定部４４は、モード設定部４６によって指示されるモードに応じた信号処理を行い、モードに応じた判定処理を生成してもよい。

データ蓄積部４３は、判定部４４から、判定結果を示す情報を取得した場合、判定結果を示す情報を、画像データとミリ波データに対応付けて蓄積する。データ蓄積部４３には、例えば、画像データとミリ波データと判定結果を示す情報が時系列で蓄積される。この場合、判定結果を示す情報は、侵入検知エリアへ侵入した人物の履歴を示す履歴情報に相当する。また、データ蓄積部４３には、複数の監視地点それぞれの画像データとミリ波データと判定結果を示す情報とが蓄積されてもよい。

画面生成部４５は、判定部４４から、同期が図られた（タイミングが調整された）画像データとミリ波データを取得する。画面生成部４５は、判定部４４から、判定結果を示す情報を取得する。また、画面生成部４５は、通信部４１を介して、遠隔監視ＰＣ５から侵入検知に関する設定および／または監視地点に関する指示を含む指示情報を取得してもよい。

そして、画面生成部４５は、同期が図られた（タイミングが調整された）画像データとミリ波データとを対応づけて、判定結果を示す監視画面を生成する。

例えば、画面生成部４５は、ミリ波レーダ座標系によって規定されるミリ波データの情報を、カメラ座標系へ変換する座標変換処理を行ってもよい。画面生成部４５は、座標変換後のミリ波データを、画像データが示すカメラ画像に重畳する。

そして、画面生成部４５は、判定結果を示す情報を、画像データが示すカメラ画像に重畳する。例えば、画面生成部４５は、侵入検知エリアへ侵入する人を示す枠をカメラ画像に重畳する。なお、画面生成部４５は、ミリ波データの情報の一例として、または、判定結果を示す情報の一例として、反射物（例えば、人）に対応する領域が含まれる場合、反射物それぞれに対応する領域を示す枠をカメラ画像に重畳してもよい。

なお、画面生成部４５は、判定結果が信頼度を含む場合、信頼度に応じた情報をカメラ画像に重畳してもよい。例えば、画面生成部４５は、信頼度の値に対応して、侵入検知エリアに侵入する人の枠を含む走査エリア内の人の位置を示す枠の表示態様を段階的に変化させて、カメラ画像に重畳してもよい。この場合、監視画面には、侵入検知エリアの周囲の人の信頼度に応じて、侵入検知エリアへ侵入する人を示す情報（例えば、人の位置を示す枠）が示される。

また、画面生成部４５は、監視地点の天頂図に対して、判定結果を示す情報を重畳し、判定結果を含む天頂図のデータを生成してもよい。この場合、画面生成部４５は、ミリ波レーダ座標系によって規定されるミリ波データの情報（判定結果を示す情報）を、天頂図を規定する座標系へ変換する座標変換処理を行ってもよい。なお、天頂図は、監視エリアを含むエリアを上方から見て模した図である。天頂図のデータは、例えば、監視地点毎に予め決められ、データ蓄積部４３に蓄積される。

また、画面生成部４５は、モード設定部４６によって指示されるモードに応じた信号処理を行い、モードに応じた監視画面を生成する。

そして、画面生成部４５は、生成した監視画面のデータを遠隔監視ＰＣ５へ送信する。また、画面生成部４５は、判定結果を含む天頂図のデータを生成した場合、天頂図のデータを遠隔監視ＰＣ５へ送信してもよい。

モード設定部４６は、通信部４１を介して、指示情報を取得する。モード設定部４６は、指示情報に含まれる、監視画面に関する設定モードを、判定部４４および画面生成部４５へ指示する。

なお、モードとモードに応じて生成される監視画面の例については後述する。

なお、上記では、侵入検知システムが、単体の情報処理サーバ４を有する構成の例を記載したが、本開示はこれに限定されない。例えば、侵入検知システムは、上記の情報処理サーバ４によって行われる処理を分担して実行する複数の情報処理サーバを有する構成であってもよい。この場合、例えば、情報処理サーバ４で行う処理を複数の情報処理サーバで分担し、ＩＰ（Internet Protocol）ネットワークおよび／またはＬＡＮ（Local Area Network）などの通信媒体を介して、複数の情報処理サーバの間で情報（例えば、ミリ波データ、画像データ、および／または、判定結果の情報）を受け渡すようにしてもよい。例えば、上記のデータ蓄積部４３に対応するデータ蓄積専用の情報処理サーバを設けるとよい。

また、侵入検知システムは、情報処理サーバ４で行う処理のうち少なくとも一部の処理を行うクラウドコンピュータを有してもよい。例えば、情報処理サーバ４で行う処理のうち、演算量が大きな処理、例えば、判定部４４による判定処理を、高速処理が可能なクラウドコンピュータに行わせるようにし、残りの処理を他の情報処理サーバに行わせる構成を採用してもよい。

＜情報処理サーバにおける処理フロー＞
次に、情報処理サーバ４において実行される処理フローの一例について図３を参照して説明する。

図３は、本実施の形態に係る情報処理サーバ４において実行される処理の一例を示すフローチャートである。なお、図３に示すフローチャートは、１つの監視地点に設けられたカメラ２およびミリ波レーダ３から取得するデータに対する処理を示す。情報処理サーバ４は、各監視地点に設けられたカメラ２およびミリ波レーダ３から取得するデータに対して、図３に示す処理を並行して行ってもよい。

データ同期部４２は、カメラ２から画像データを取得する（Ｓ１０１）。

データ同期部４２は、ミリ波レーダ３からミリ波データを取得する（Ｓ１０２）。

なお、Ｓ１０１とＳ１０２の順は、これに限定されない。また、Ｓ１０１の処理は、カメラ２が画像データを送信する毎に実行され、Ｓ１０２の処理は、ミリ波レーダ３がミリ波データを送信する毎に実行される。

データ同期部４２は、画像データとミリ波データとの同期を図るデータ同期処理を行う（Ｓ１０３）。

データ同期部４２は、同期を図ったデータをデータ蓄積部４３に蓄積するデータ蓄積処理を行う（Ｓ１０４）。

判定部４４は、ミリ波データに対してクラスタリング処理を行う（Ｓ１０５）。

クラスタリング処理とは、ミリ波データに含まれる、１つの反射物に対応する複数の反射点をグルーピングする処理である。グルーピングする処理によって、反射物のサイズ、形状、色といった反射物に関する情報が取得されてもよい。なお、以下では、クラスタリング処理後の１つの反射物に対応する複数の反射点のグループを包含する領域を、反射領域と記載する。

なお、クラスタリング処理では、判定部４４は、データ蓄積部４３に蓄積された、現時点よりも前のミリ波データを用いてもよい。判定部４４は、現時点よりも前のミリ波データを用いてミリ波データを時系列で処理することによって、例えば、移動体に対応する反射点と、静止物に対応する反射点を区別してもよい。

次に、判定部４４は、侵入検知処理を行う（Ｓ１０６）。

なお、判定部４４は、モード設定部４６から指示を受けて、モードに応じた処理を行ってもよい。

次に、画面生成部４５は、侵入検知の監視画面の生成処理を行う（Ｓ１０７）。そして、画面生成部４５は、画像データとミリ波データとを対応付けて、判定部４４による判定結果を示す監視画面のデータを生成する。

例えば、画面生成部４５は、画像データが示すカメラ画像に、ミリ波データを重畳する処理を行う。この処理において、画面生成部４５は、カメラ座標系とミリ波レーダ座標系が揃うように、判定結果を示す情報を座標変換してもよい。そして、画面生成部４５は、判定結果を示す情報の一例として、例えば、侵入検知エリアに侵入する人を特定する情報（例えば、侵入する人を囲む枠）を重畳する。

画面生成部４５は、生成した監視画面のデータを送信する処理を行う（Ｓ１０８）。

次に、本実施の形態において設定されるモードの一例と、モードに基づいて表示される画面の一例について説明する。

＜設定モード＞
設定モードは、監視を行うユーザが、設定を行うモードである。図４は、本実施の形態における設定モード時の表示画面の例を示す図である。

図４の上部には、「侵入検知」ボタン、「過去侵入検知情報確認」ボタン、および「設定」ボタンが示される。図４は、設定モード時において遠隔監視ＰＣ５の表示部に表示される画面であるため、設定ボタンが押下された状態で表示される、図４には、「侵入検知エリアカメラ画面」の領域Ｖ１、「侵入検知エリア天頂図」の領域Ｖ２および「レーダ情報画面」の領域Ｖ３の３つの領域が示される。

「侵入検知エリアカメラ画面」の領域Ｖ１は、カメラ画像を表示する領域を示す。遠隔監視ＰＣ５は、画像データに基づいて、「侵入検知エリアカメラ画面」の領域Ｖ１にカメラ画像を表示する。

「侵入検知エリア天頂図」の領域Ｖ２は、情報処理サーバ４によって生成される天頂図を表示する領域を示す。遠隔監視ＰＣ５は、天頂図のデータに基づいて、「侵入検知エリアカメラ画面」の領域Ｖ２に天頂図を表示する。天頂図に対して、ユーザは、遠隔監視ＰＣ５の操作部を介して、侵入検知エリアを設定する。例えば、ユーザは、マウス操作によって、天頂図の一部のエリアを選択し、選択したエリアを侵入検知エリアに設定する。

なお、ユーザは、侵入検知を行わないエリア（侵入検知エリアフィルタ）を設定してもよい。設定した侵入検知エリア（または侵入検知エリアフィルア）の情報は、指示情報に含まれ、情報処理サーバ４へ送信される。

「レーダ情報画面」の領域Ｖ３は、情報処理サーバ４から取得するミリ波データを表示する領域を示す。遠隔監視ＰＣ５は、ミリ波データに基づいて、ミリ波レーダ３の位置を基準とし、ミリ波レーダ３からの距離とミリ波レーダ３が走査する方位角方向とから規定される扇形の座標系に反射点が点在する画面を、「レーダ情報画面」の領域Ｖ３に表示する。

情報処理サーバ４は、「設定モード」を示す指示情報を遠隔監視ＰＣ５から取得した場合、同期が図られた画像データおよびミリ波データを遠隔監視ＰＣ５へ送信する。また、情報処理サーバ４は、予めデータ蓄積部４３に保持された天頂図のデータを遠隔監視ＰＣ５へ送信する。遠隔監視ＰＣ５は、受信したデータに基づいて、表示部の各領域に表示を行う。

ユーザによって設定された侵入検知エリアの情報は指示情報に含まれ、情報処理サーバ４へ送信される。情報処理サーバ４の判定部４４は、侵入検知エリアの情報に基づいて、ミリ波レーダ座標系における侵入検知エリアを設定する。この場合、判定部４４は、天頂図における侵入検知エリアを、ミリ波レーダ座標系における侵入検知エリアへ変換する座標変換を行ってもよい。天頂図を規定する座標系とミリ波レーダ座標系との対応関係は、既知である。判定部４４は、既知の対応関係に基づいて、天頂図における侵入検知エリアを、ミリ波レーダ座標系における侵入検知エリアへ変換してもよい。

図５は、図４にて示した各領域に表示される画面の一例を示す図である。

領域Ｖ１には、カメラ画像が表示される。領域Ｖ２には、天頂図が表示される。領域Ｖ３には、レーダ情報が表示される。

領域Ｖ２の天頂図において、カメラ２の位置は「Ｃ」、ミリ波レーダ３の位置は「Ｒ」である。また、領域Ｖ２の天頂図には、カメラ２の監視エリアを示す補助線と、ミリ波レーダ３の走査エリアを示す補助線とが示される。ユーザは、補助線を参照し、監視エリアと走査エリアの双方に含まれるエリアに侵入検知エリアＤを設定する。

＜侵入検知モード＞
侵入検知モードは、設定モードによって設定された侵入検知エリアに侵入する人を検知するモードである。図６は、本実施の形態における侵入検知モード時の表示画面の例を示す図である。

図６の上部には、「侵入検知」ボタン、「過去侵入検知情報確認」ボタン、および「設定」ボタンが示される。図６は、侵入検知モード時において遠隔監視ＰＣ５の表示部に表示される画面であるため、侵入検知ボタンが押下された状態で表示される。図６には、「侵入検知エリアカメラ画面」の領域Ｖ１、「侵入検知エリア天頂図」の領域Ｖ２、「侵入検知ログ画面」の領域Ｖ４および「発報画面」の領域Ｖ５の４つの領域が示される。

「侵入検知エリアカメラ画面」の領域Ｖ１は、情報処理サーバ４によって生成された監視画面を表示する領域を示す。遠隔監視ＰＣ５は、監視画面のデータに基づいて、「侵入検知エリアカメラ画面」の領域Ｖ１に監視画面を表示する。監視画面には、カメラ画像に、ミリ波データに基づいた侵入検知処理の判定結果が重畳される。

「侵入検知エリア天頂図」の領域Ｖ２は、情報処理サーバ４によって生成され、侵入検知処理の判定結果を含む天頂図を表示する領域を示す。遠隔監視ＰＣ５は、侵入検知処理の判定結果を含む天頂図のデータに基づいて、「侵入検知エリアカメラ画面」の領域Ｖ２に天頂図を表示する。

「侵入検知ログ画面」の領域Ｖ４は、情報処理サーバ４によって生成された、侵入検知処理によって得られる侵入者のログ情報が表示される領域を示す。

「発報画面」の領域Ｖ５は、侵入検知処理の判定結果に基づいて、侵入者が存在した場合に、警告を表示する領域を示す。

情報処理サーバ４は、「侵入検知モード」を示す指示情報を遠隔監視ＰＣ５から取得した場合、判定部４４は、設定された侵入検知エリアに対する侵入検知処理を実行する。そして、画面生成部４５は、侵入検知処理の判定結果を示す情報をカメラ画像に重畳した監視画面のデータ、侵入検知処理の判定結果を示す情報を含む天頂図のデータを送信する。また、画面生成部４５は、監視画面に基づいて、侵入者のログ情報を生成し、遠隔監視ＰＣ５へ送信する。遠隔監視ＰＣ５は、受信したデータに基づいて、表示部の各領域に表示を行う。

図７は、図６にて示した各領域に表示される画面の一例を示す図である。

領域Ｖ１には、情報処理サーバ４によって生成された監視画面が表示される。なお、領域Ｖ１には、侵入者の位置を示す枠ｒ１と、侵入者ではない人（侵入検知エリアに入っていない人）の位置を示す枠ｒ２が示される。枠ｒ１と枠ｒ２は、例えば、異なる表示態様（例えば、異なる色）によって示される。

なお、判定結果が、信頼度を含む場合には、侵入者の位置を示す枠ｒ１および侵入者ではない人の位置を示す枠ｒ２が、信頼度に対応した表示態様で表示されてもよい。例えば、侵入検知エリア外にいた人物が、侵入検知エリアに徐々に近づき、侵入検知エリア内に移動した場合、侵入検知エリアとその人物との距離に基づく信頼度に応じて、枠の色が白色から赤色に徐々に変化するように、グラデーション効果を用いて枠の表示を変化させる。また、例えば、緑色、黄色、赤色の順に複数の色を用いて、枠の表示を変化させるようにしてもよい。さらに、信頼度に応じて、枠線の太さ、種類、色調、明るさおよびコントラストの少なくとも１つを変化させたり、あるいは、枠を点滅表示させ、信頼度に応じて、点滅の間隔（時間）を変化させたりしてもよい。

信頼度に対応した表示態様で枠を表示することによって、侵入検知エリアへ侵入してくる可能性が高いか否かを視覚的に示すことができる。

ここで、ミリ波データを用いて検出される侵入者の位置を示し、カメラ画像に表示される枠ｒ１の決定方法の一例を説明する。枠ｒ１は、判定部４４において侵入検知処理が実行された場合に決定される。

判定部４４がミリ波データを用いて、侵入者に対応する反射点を推定する。反射点は、ミリ波データを規定する２次元の座標系における点である。

次に、画面生成部４５は、カメラ座標系における、反射点に対応する点（以下、カメラ画像反射点と記載する）を算出する。例えば、画面生成部４５は、カメラ２のカメラ設置位置情報を用いて、カメラ画像反射点を算出する。

カメラ設置位置情報は、ミリ波レーダ座標系におけるカメラ２の設置位置を示す２次元座標と、カメラ２の設置方向とを含む。設置方向は、カメラ２が撮影したカメラ画像の中心の方向に相当する。

次に、画面生成部４５は、反射点とカメラ設置位置との距離を算出し、カメラの設置方向に対する反射点の方向を算出する。

例えば、カメラ２を路面に対して水平に設置した場合、カメラ画像反射点のＸ座標（水平位置）は、カメラ２の設置方向に対する反射点の方向と、予め決められたカメラ２の画角の情報とに基づいて決定される。また、カメラ画像反射点のＹ座標（垂直方向）は、カメラ画像の垂直方向の中心に設定される。

例えば、カメラ２を、路面に対して水平ではなく、俯角をつけて設置した場合、カメラ画像反射点のＸ座標とＹ座標は、カメラ２の設置方向に対する反射点の方向と、カメラ２の設置位置の高さと、カメラ２の俯角と、カメラ２の画角とに基づいて算出される。

画面生成部４５は、カメラ画像反射点を基準にした矩形の枠を決定する。例えば、矩形の幅および高さは、カメラ画像反射点とカメラ設置位置との距離に基づいて、予め基準となる幅および高さを拡大または縮小して設定される。例えば、カメラ画像反射点とカメラ設置位置との距離に反比例して、基準となる矩形の幅および高さを拡大または縮小して設定される。

画面生成部４５は、設定した幅および高さを有する矩形の枠を、カメラ画像反射点を中心に重畳し、監視画面を生成する。

領域Ｖ２には、天頂図が表示される。領域Ｖ２の天頂図には、領域Ｖ１の枠ｒ１が示す侵入者に対応する侵入者の位置を示す点Ｐ１と、その侵入者の移動の軌跡Ｌ１が示される。また、領域Ｖ１の枠ｒ２が示す侵入者ではない人の位置を示す点Ｐ２と、その人の移動の軌跡Ｌ２が示される。位置Ｐ１と位置Ｐ２は、例えば、異なる表示態様（例えば、異なる色）によって示される。軌跡Ｌ１と軌跡Ｌ２は、例えば、異なる表示態様（例えば、異なる色）によって示される。

なお、領域Ｖ１および領域Ｖ２において、侵入者では無い人に関する情報（枠ｒ２、点Ｐ２および軌跡Ｌ２）は表示されなくてもよい。

領域Ｖ４には、侵入者のログ情報が表示される。侵入者のログ情報は、例えば、領域Ｖ１の枠ｒ１から切り取った侵入者を示す画像を含む。また、侵入者のログ情報は、侵入者が侵入検知エリアへ侵入を開始した時刻および侵入者が侵入検知エリアから外れた時刻を含む。また、侵入者には、侵入を検知した後に、識別子（ＩＤ：Identification）が付される。

領域Ｖ５には、侵入者を検知したことを示す文字情報（発報情報）が表示される。発報情報を見た監視員は、侵入者の存在を把握することができる。なお、発報情報の表示と、他の報知装置（例えば、ランプおよび／またはブザー）とを、連動させてもよく、更には、外部の警報システムおよび／または監視システムと連動させてもよい。例えば、警戒地区全体の監視システムへ発報情報を配信することによって、外部の監視者に対しても報知することができる。

＜過去侵入検知情報確認モード＞
過去侵入検知情報確認モードは、過去に検知された侵入者の情報を確認するモードである。図８は、本実施の形態における過去侵入検知情報確認モード時の表示画面の例を示す図である。

図８の上部には、「侵入検知」ボタン、「過去侵入検知情報確認」ボタン、および「設定」ボタンが示される。図８は、過去侵入検知情報確認モード時において遠隔監視ＰＣ５の表示部に表示される画面であるため、過去侵入検知情報確認ボタンが押下された状態で表示される。図８には、「侵入検知エリアカメラ画面」の領域Ｖ１、「侵入検知エリア天頂図」の領域Ｖ２、「侵入検知ログ画面」の領域Ｖ４および「発報画面」の領域Ｖ５の４つの領域が示される。

なお、図８の表示画面の例は、過去侵入検知情報確認ボタンが押下されている点を除いて、図６に示した表示画面の例と同様であるので、詳細な説明は省略する。

過去侵入検知情報確認モードは、図６および図７にて説明した侵入検知モードと、侵入検知ログ画面の領域Ｖ４に表示される情報が異なる。以下、この点について、図９を用いて説明する。

図９は、図８にて示した各領域に表示される画面の一例を示す図である。

領域Ｖ１、領域Ｖ２および領域Ｖ５の表示例は、図７と同様であるので、詳細な説明は省略する。

領域Ｖ４には、侵入者のログ情報が表示される。侵入者のログ情報は、例えば、領域Ｖ１の枠ｒ１から切り取った侵入者を示す画像を含む。また、侵入者のログ情報は、侵入者が侵入検知エリアへ侵入を開始した時刻および侵入者が侵入検知エリアから外れた時刻を含む。また、侵入者には、侵入を検知した後に、識別子（ＩＤ：Identification）が付される。

また、過去侵入検知情報確認モードでは、侵入検知エリアに過去に侵入した侵入者の情報が領域Ｖ４に表示される。

図９の領域Ｖ４では、現在、侵入検知エリアに侵入している侵入者、すなわち、領域Ｖ１の枠ｒ１が示す侵入者のログ情報の他に、２人の侵入者のログ情報が示される。２人の侵入者には、それぞれ、「１２３－２」および「１２３－１」というＩＤが付されている。２人の侵入者は、検知時刻に示すように、過去に検知された侵入者である。

なお、ユーザが領域Ｖ４の表示を操作する（例えば、クリックする）ことによって、侵入者に対する情報が呼び出されてもよい。例えば、領域Ｖ４に表示された侵入者を選択する（クリックする）ことによって、選択された侵入者が侵入検知エリアに侵入していた間のカメラ画像が、領域Ｖ１または他の領域に表示されてもよい。

また、ユーザが領域Ｖ４の表示を操作する（例えば、クリックする）ことによって、侵入者に対する設定を変更してもよい。例えば、領域Ｖ４に表示された侵入者を選択する（クリックする）ことによって、選択された侵入者に対して、侵入検知エリアへの侵入を許可する設定（フィルタ登録）が行われてもよい。侵入検知エリアへの侵入を許可された侵入者は、以後、侵入検知エリアへの侵入が検知されても、検知されたことを示す情報は表示されない。

なお、上述した操作方法は一例であり、本開示はこれに限定されない。例えば、領域Ｖ４に表示された侵入者を選択する（クリックする）ことによって、メニューが表示されてもよい。ユーザは、表示されたメニューにおいてカメラ画像の表示および侵入を許可する設定を行ってもよい。

以上説明したように、本実施の形態に係る情報処理サーバ４は、カメラが撮影した画像データと、ミリ波レーダが取得するミリ波データとの同期を図り（タイミングを調整し）、ミリ波データに基づいて、侵入する物体の存在を検知する侵入検知処理を行う。そして、本実施の形態に係る情報処理サーバ４は、同期を図った（タイミングを調整した）画像データとミリ波データとを対応づけて、侵入検知処理の判定結果を示す監視画面を生成する。本実施の形態によれば、カメラとレーダという２つのセンサデバイスを融合させ、精度の良い侵入検知を行うことができる。

例えば、カメラのデータから得られるカメラ画像は、監視するユーザに対して視覚的に有効な情報を提供でき、ミリ波レーダのデータは、監視するユーザに対して、カメラ画像からは得られない詳細な情報を提供できる。そのため、本実施の形態では、ミリ波レーダから得られる侵入検知の結果をカメラ画像に対応付けることによって、精度の良い侵入検知を行うことができる。

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。

上記各実施の形態では、本開示はハードウェアを用いて構成する例にとって説明したが、本開示はハードウェアとの連携においてソフトウェアでも実現することも可能である。

また、上記実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。集積回路は、上記実施の形態の説明に用いた各機能ブロックを制御し、入力と出力を備えてもよい。これらは個別に１チップ化されてもよいし、各機能ブロックの一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法にはＬＳＩに限らず、専用回路または汎用プロセッサを用いて実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又は、ＬＳＩ内部の回路セルの接続、設定が再構成可能なリコンフィグラブル・プロセッサーを利用してもよい。

更には、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、別技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。

なお、本開示は、無線通信装置、または制御装置において実行される制御方法として表現することが可能である。また、本開示は、かかる制御方法をコンピュータにより動作させるためのプログラムとして表現することも可能である。更に、本開示は、かかるプログラムをコンピュータによる読み取りが可能な状態で記録した記録媒体として表現することも可能である。すなわち、本開示は、装置、方法、プログラム、記録媒体のうち、いずれのカテゴリーにおいても表現可能である。

また、本開示は、部材の種類、配置、個数等は前述の実施の形態に限定されるものではなく、その構成要素を同等の作用効果を奏するものに適宜置換する等、発明の要旨を逸脱しない範囲で適宜変更することができる。

本開示は、特定のエリアへの侵入を検知するのに好適である。

１ 侵入検知システム
２ カメラ
３ ミリ波レーダ
４ 情報処理サーバ（制御装置）
５ 遠隔監視ＰＣ
４１ 通信部
４２ データ同期部
４３ データ蓄積部
４４ 判定部
４５ 画面生成部
４６ モード設定部

Claims (9)

1. 監視エリアを撮影し、画像データを生成するカメラと、
   前記監視エリアに含まれる走査エリアを走査し、ミリ波データを生成するミリ波レーダと、
   前記カメラ及び前記ミリ波レーダと接続し、前記画像データ及び前記ミリ波データを取得する情報処理サーバと、
   を備える侵入検知システムであって、
   前記情報処理サーバは、
   前記画像データが生成されたタイミングと前記ミリ波データが生成されたタイミングとの差が一定値以下となるように前記画像データと前記ミリ波データとの同期を図るデータ同期部と、
   前記データ同期部によって同期が図られた前記画像データと前記ミリ波データを蓄積するデータ蓄積部と、
   前記データ蓄積部に蓄積された前記ミリ波データを用いて、前記走査エリアに含まれる検知エリアへ侵入する物体が存在するか否か、を判定する判定部と、
   前記データ蓄積部に蓄積された前記画像データと前記ミリ波データを用いて、前記判定部による判定結果を示す監視画面を生成する画面生成部と、
   を備える、
   侵入検知システム。
2. 前記データ蓄積部は、前記検知エリアへ過去に侵入した物体の履歴を示す履歴情報を蓄積する、
   請求項１に記載の侵入検知システム。
3. 前記画面生成部は、前記履歴情報に基づき、前記検知エリアへ侵入した物体が時系列で表示されるログ情報を生成する、
   請求項２に記載の侵入検知システム。
4. 前記画面生成部は、前記監視エリアを含むエリアを上方から見た図において、前記判定結果を示す情報を示す天頂図を生成する、
   請求項１に記載の侵入検知システム。
5. 前記監視画面には、前記検知エリアへ侵入する物体を示す情報と、前記検知エリアへ侵入しない物体を示す情報とが、異なる表示態様を用いて示される、
   請求項１に記載の侵入検知システム。
6. 前記監視画面には、前記検知エリアへ侵入する物体の信頼度に応じて、前記検知エリアへ侵入した物体を示す情報が示される、
   請求項１に記載の侵入検知システム。
7. 前記検知エリアへ侵入する物体が存在する場合、前記監視画面に発報情報を表示する、
   請求項１に記載の侵入検知システム。
8. 前記画面生成部は、前記走査エリアに対応するミリ波データを、前記監視エリアに対応するように変換を行う、
   請求項１に記載の侵入検知システム。
9. 監視エリアを撮影し、生成された画像データをカメラから取得し、
   前記監視エリアに含まれる走査エリアを走査し、生成されたミリ波データをミリ波レーダから取得し、
   前記画像データが生成されたタイミングと前記ミリ波データが生成されたタイミングとの差が一定値以下となるように前記画像データと前記ミリ波データとの同期を図り、
   前記同期が図られた前記画像データと前記ミリ波データを蓄積し、
   前記蓄積された前記ミリ波データを用いて、前記走査エリアに含まれる検知エリアへ侵入する物体が存在するか否か、を判定し、
   前記蓄積された前記画像データと前記ミリ波データを用いて、判定結果を示す監視画面を生成する、
   侵入検知方法

Images