JP6482857B2 - 監視システム - Google Patents

Description

本発明は、例えば上空から監視対象を監視する監視システムに関する。

飛行装置を用いて上空から監視するシステムとしては、例えば下記特許文献１に開示される無人ヘリコプターを利用した防災情報収集・配信システムの発明が知られている。この発明によれば、無人ヘリコプター２にカメラ装置１を搭載するとともに、ＬＡＮ制御部および無線ＬＡＮインタフェースを備えることにより、無線ＬＡＮ３に対するインタフェース機能を実現し、このインタフェース機能によって地上局４と無線ＬＡＮ３を構築し、被災地Ｌにおける映像情報、音声情報などの情報を送受信することができる。このように機動力と利便性を有する自律飛行型無人ヘリにより、気象条件の変化や昼夜を問わずに被災地の情報を収集し、危険で人が踏み込めない被災地に関する観測位置、方位、時系列情報を他の地域に配信することができる。

特開２００７−１１２３１５号公報

上述した特許文献１のシステムは、広範囲で発生する被災地を監視対象として想定しているので、上空から俯瞰した位置にて情報を収集することが好ましいが、その他の事象を監視対象とする場合は、必ずしも俯瞰した位置を飛行装置が飛行することが適切であるとは限らない。このため、監視対象に応じて対処を行うのに適した位置まで飛行装置を移動させることができる監視システムの提供が望まれる。

そこで、本発明は上記問題点に鑑みてなされたものであり、監視対象に対して対処を行うのに適した位置まで飛行装置を移動させることができる監視システムを提供することを目的とするものである。

上記した目的を達成するために、本発明に係る監視システムは、上空から地上を撮影する撮像部を有する飛行装置を少なくとも備えた監視システムであって、
監視領域を撮影した画像データから撮影対象を検出し、当該撮影対象を前記飛行装置の前記撮像部から撮影するための制御種別として、前記撮影対象が人物または車両である場合は第１の制御種別、前記撮影対象が混雑である場合は第２の制御種別と判定し、前記制御種別を含む制御信号を出力する撮影対象検出部と、
前記撮影対象に対する俯角として、前記第１の制御種別に対応する第１の俯角、および、前記第２の制御種別に対応する前記第１の俯角より大きい第２の俯角を記憶する記憶部と、
前記制御種別を含む制御信号の入力があると、前記記憶部を参照して当該制御種別に対応する俯角に相当する目標位置を算出する目標算出部と、
前記目標位置に前記飛行装置を移動させる飛行装置制御部と、
を備えたことを特徴とする。

また、本発明に係る監視システムは、前記記憶部が、前記制御種別ごとに前記撮影対象との距離を記憶し、
前記目標算出部は、前記制御種別を含む制御信号の入力があると、前記記憶部を参照して当該制御種別に対応する距離に相当する目標位置を算出してもよい。

さらに、本発明に係る監視システムは、前記記憶部が、前記制御種別ごとに前記撮影対象に対する方向を記憶し、
前記目標算出部は、前記制御種別を含む制御信号の入力があると、前記記憶部を参照して当該制御種別に対応する方向に相当する目標位置を算出してもよい。

本発明の監視システムによれば、撮影対象検出部は、監視領域を撮影した画像データから撮影対象を検出し、この撮影対象を飛行装置の撮像部から撮影するための制御種別として、撮影対象が人物または車両である場合は第１の制御種別、撮影対象が混雑である場合は第２の制御種別と判定し、制御種別を含む制御信号を出力する。また、撮影対象に対する俯角として、第１の制御種別に対応する第１の俯角、および、第２の制御種別に対応する第１の俯角より大きい第２の俯角を記憶部に記憶しておく。目標算出部は、制御種別を含む制御信号の入力があると、記憶部を参照して制御種別に対応する俯角に相当する目標位置を算出する。そして、飛行装置制御部は、目標位置に飛行装置を移動させる。かかる構成によれば、飛行装置は、制御種別に応じた俯角に相当する目標位置に移動するように作用する。これにより、飛行装置は撮影対象に対して対処を行うのに適した俯角に相当する位置に移動できる。

また、本発明のシステムによれば、制御種別ごとに撮影対象との距離を記憶部に記憶しておく。目標算出部は、制御種別を含む制御信号の入力があると、記憶部を参照して制御種別に対応する距離に相当する目標位置を算出する。そして、飛行装置制御部は、目標位置に飛行装置を移動させる。かかる構成によれば、飛行装置は、制御種別に応じた距離に相当する目標位置に移動するように作用する。これにより、飛行装置は撮影対象に対して対処を行うのに適した距離に相当する位置に移動できる。

さらに、本発明の監視システムによれば、制御種別ごとに撮影対象に対する方向を記憶部に記憶しておく。目標算出部は、制御種別を含む制御信号の入力があると、記憶部を参照して制御種別に対応する方向に相当する目標位置を算出する。そして、飛行装置制御部は、目標位置に飛行装置を移動させる。かかる構成によれば、飛行装置は、制御種別に応じた方向に相当する目標位置に移動するように作用する。これにより、飛行装置は撮影対象に対して対処を行うのに適した方向に相当する位置に移動できる。

本発明に係る監視システムの全体構成を示す概略ブロック図である。 制御種別ごとの監視対象に対する俯角、距離、方向の関係を示すテーブルデータの一例を示す図である。 地上の水平面を仮想水平面とし、仮想水平面を側面から見たときの注目物体と監視カメラと飛行装置との位置関係を示す図である。 上空から地上を鉛直方向に見たときの仮想平面上における監視対象と監視カメラと飛行装置との位置関係を示す図である。

以下、本発明を実施するための形態について、添付した図面の図１〜４を参照しながら詳細に説明する。

図１に示すように、本発明に係る監視システム１は、監視カメラ２、飛行装置３、追跡処理装置としてのセンタ装置４を備えて構築される。

（監視カメラの構成について）
監視カメラ２は、地上から所定の撮影範囲を撮影する。監視カメラ２は、図１に示すように、カメラ部２１、制御部２２、通信部２３を備えている。

カメラ部２１は、所定の撮影範囲を撮影する本体をなし、撮像部２１ａ、方向制御部２１ｂ、画像データ生成部２１ｃを有している。

撮像部２１ａは、例えばＣＣＤ素子やＣ−ＭＯＳ素子などの撮像素子や光学部品などを含んで構成される。撮像部２１ａは、監視領域内の所定の撮影範囲を所定時間おきに撮像し、撮像した画像を画像データ生成部２１ｃに順次出力している。

尚、撮像部２１ａは、監視カメラ２がパンチルトズームカメラとして構成される場合、センタ装置４からの制御信号の撮影指示に基づく制御部２２の制御により、ズーム位置が制御される。このズーム位置に基づく焦点距離の情報は画像データ生成部２１ｃに出力される。

方向制御部２１ｂは、監視カメラ２がパンチルトズームカメラとして構成される場合に必要なものであり、センタ装置４からの制御信号の撮影指示に基づく制御部２２の制御により、水平方向及び垂直方向の角度が制御される。この水平方向の角度情報、及び俯角又は仰角（俯仰角）としての垂直方向の角度情報は、予め設定された監視カメラ２の撮影方向（水平方向の角度情報及び俯仰角）からの変位角度であり、画像データ生成部２１ｃに出力される。

画像データ生成部２１ｃは、撮像部２１ａが撮像した画像に対し、必要に応じて焦点距離や撮影方向を付加した画像データを生成する。また、後述の測位部３４にて取得した撮影時における位置情報を必要に応じて付加した画像データを生成する。なお、監視カメラ２がパンチルトズームカメラとして構成される場合には、予め設定された監視カメラ２の撮影方向を上述の変位角度で補正した撮影方向を画像データに付加する。

制御部２２は、カメラ部２１の画像データ生成部２１ｃが生成した画像データを所定のフレーム周期で所定時間おきに通信部２３を介してセンタ装置４に送信制御する。また、制御部２２は、センタ装置４からの制御信号を通信部２３を介して受信したときに、この制御信号の撮影指示に従ってカメラ部２１の撮像部２１ａや方向制御部２１ｂを制御する。

通信部２３は、有線又は無線により通信を行うための通信インタフェースであり、制御部２２の制御により、通信回線を介してセンタ装置４との間で有線又は無線により通信し、データや信号の送受信を行う。具体的には、画像データ生成部２１ｃが生成した画像データを所定のフレーム周期で所定時間おきにセンタ装置４に送信する。また、撮像部２１ａや方向制御部２１ｂを制御するためのセンタ装置４からの制御信号を受信する。

尚、監視カメラ２は、監視領域の所定箇所に固定して複数設置されるものに限定されない。例えば各種車両に搭載した車載用カメラ、撮像部を有する小型移動飛行ロボットやドローンなどのように監視領域を移動できるものであってもよい。また、監視カメラ２が監視領域内を移動できる場合には、少なくとも１つの監視カメラ２が設けられた構成であってもよい。そして、監視カメラ２が監視領域を移動する場合には、撮影時における監視カメラ２の位置情報が移動に伴って変化するため、ＧＰＳからなる測位部を監視カメラ２に備え、地球上での監視カメラ２の３次元的位置（現在位置）を示す位置情報（緯度、経度、高さ）を画像データ生成部２１ｃに出力する。また、監視カメラ２が監視領域を移動する場合は、撮影時における監視カメラ２の撮影方向も移動による姿勢変動によって変化するため、後述する姿勢検出部３５と同様の構成を備え、画像データ生成部２１ｃは、これにより得られた姿勢情報により撮影方向を補正する。そして、画像データ生成部２１ｃからは、監視カメラ２の撮影時における位置情報及び撮影時における監視カメラ２の撮影方向も付加した画像データがセンタ装置４に送信される。

（飛行装置の構成について）
飛行装置３は、センタ装置４からの制御信号の指示によって移動制御が可能な移動型飛行装置、すなわち、移動型飛行船、小型移動飛行ロボットやドローン、人工衛星などである。又は電源供給及び通信可能な状態で本体がケーブルを介して地上の係留装置と繋がれた係留型飛行装置（例えば係留型飛行船など）であってもよい。さらに、これらの組合せによって構成してもよい。

尚、飛行装置３が係留型飛行装置の場合には、監視カメラ２で撮影できない死角領域を包含するように、監視領域の規模に合わせた数だけ設けるのが好ましい。

飛行装置３は、図１に示すように、カメラ部３１、推進部３２、方向舵３３、測位部３４、姿勢検出部３５、制御部３６、無線通信部３７、警告部３８、物資供給部３９を備えている。

カメラ部３１は、飛行装置３の本体に搭載され、主に、上空から監視カメラ２よりも広い撮影範囲で撮影を行っている。カメラ部３１は、撮像部３１ａ、方向制御部３１ｂ、画像データ生成部３１ｃを有している。

撮像部３１ａは、例えばＣＣＤ素子やＣ−ＭＯＳ素子などの撮像素子や光学部品などを含んで構成されるものであり、所定の撮影範囲を上空から所定時間おきに撮像し、撮像した画像を画像データ生成部３１ｃに順次出力する。

尚、撮像部３１ａは、カメラ部３１がパンチルトズームカメラとして構成される場合、センタ装置４からの制御信号の撮影指示に基づく制御部３６の制御により、ズーム位置が制御される。このズーム位置に基づく焦点距離の情報は画像データ生成部３１ｃに出力される。

方向制御部３１ｂは、カメラ部３１がパンチルトズームカメラとして構成される場合に必要なものであり、センタ装置４からの制御信号の撮影指示に基づく制御部３６の制御により、水平方向及び垂直方向の角度が制御される。この水平方向の角度情報、及び俯角又は仰角（俯仰角）としての垂直方向の角度情報は、予め設定された監視カメラ２の撮影方向からの変位角度であり、画像データ生成部３１ｃに出力される。

画像データ生成部３１ｃは、撮像部３１ａが撮像した画像に対し、撮影時における焦点距離や撮影方向を必要に応じて付加した画像データを生成する。なお、カメラ部３１がパンチルトズームカメラとして構成される場合には、予め設定されたカメラ部３１の撮影方向を上述の変位角度で補正した撮影方向を画像データに付加する。また、撮影方向は、飛行装置３の姿勢によっても変化するので、後述の姿勢検出部３５の姿勢情報から撮影方向を補正している。また、後述の測位部３４にて取得した撮影時における位置情報を必要に応じて付加した画像データを生成する。

推進部３２は、エンジンの動力をプロペラに伝達して回転させることにより飛行装置３に推進力を与えるものであり、センタ装置４からの制御信号の飛行指示に従って制御部３６により制御される。

方向舵３３は、飛行装置３の操縦に用いる動翼であり、センタ装置４からの制御信号の飛行指示に従って制御部３６により制御される。

測位部３４は、ＧＰＳ（Global Positioning System ）からなり、地球上での飛行装置３の３次元的位置（現在位置）を示す位置情報（緯度、経度、高さ）を制御部３６に出力する。この位置情報は画像データ生成部３１ｃへも出力する。

姿勢検出部３５は、例えばジャイロコンパスとサーボ加速度計を備え、飛行装置３の方位角、ピッチ角、ロール角を計測して飛行装置３の姿勢を検出し、この検出により得られる姿勢情報を制御部３６に出力する。この姿勢情報は画像データ生成部３１ｃへも出力する。

制御部３６は、カメラ部３１の画像データ生成部３１ｃが生成した画像データを所定のフレーム周期で所定時間おきにセンタ装置４に送信するように無線通信部３７を制御する。

また、制御部３６は、飛行制御部３６ａ、カメラ制御部３６ｂ、警告制御部３６ｃ、物資供給制御部３６ｄを有する。

飛行制御部３６ａは、センタ装置４からの制御信号を無線通信部３７を介して受信したときに、この制御信号の飛行指示に従って推進部３２や方向舵３３を制御する。

カメラ制御部３６ｂは、センタ装置４からの制御信号を無線通信部３７を介して受信したときに、この制御信号の撮影指示に従ってカメラ部３１の撮像部３１ａや方向制御部３１ｂを制御する。

警告制御部３６ｃは、飛行装置３が移動目標とする目標位置において監視対象としての警告対象に警告を発するように警告部３８を制御する。

物資供給制御部３６ｄは、飛行装置３が目標位置において物資を投下して監視対象としての要救護者、被災者、避難施設などに供給するように物資供給部３９を制御する。

無線通信部３７は、制御部３６の制御により、センタ装置４との間で無線通信し、データや信号の送受信を行う。具体的には、画像データ生成部３１ｃが生成した画像データを所定フレーム周期で所定時間おきにセンタ装置４に送信する。また、撮像部３１ａ、方向制御部３１ｂ、推進部３２、方向舵３３を制御するため、センタ装置４からの制御信号（撮影指示、飛行指示）を受信する。

警告部３８は、飛行装置３が目標位置において警告対象に警告を発するもので、警告制御部３６ｃの制御により、例えば立ち入り禁止区域に侵入している警告対象に向けて警告を促すための音声を出力するスピーカ部と、警告対象（例えば人物が警告対象であれば顔）に向けて照明をあてる照明部とを有する。

物資供給部３９は、飛行装置３が目標位置において必要な物資を要救護者、被災者、避難施設などに供給する機構であり、物資供給制御部３６ｄの制御により、例えば飲食品や救命器具などの物資を目標位置において投下して供給する。

（センタ装置の構成について）
追跡処理装置としてのセンタ装置４は、通信部４１、無線通信部４２、記憶部４３、操作部４４、表示部４５、制御部４６を備えている。

通信部４１は、有線又は無線により通信を行うための通信インタフェースであり、制御部４６の制御により、通信回線を介して複数の監視カメラ２との間で相互に通信を行う。具体的には、複数の監視カメラ２から所定フレーム周期で所定時間おきに送信される画像データを受信する。また、制御対象となる監視カメラ２に対し、撮像部２１ａや方向制御部２１ｂを制御して撮影指示するための制御信号を送信する。

無線通信部４２は、制御部４６の制御により、飛行装置３との間で相互に無線通信を行う。具体的には、飛行装置３から所定フレーム周期で所定時間おきに送信される画像データを受信する。また、飛行装置３の撮像部３１ａや方向制御部３１ｂを制御して撮影指示するための制御信号と、飛行装置３の推進部３２や方向舵３３を制御して飛行指示するための制御信号を必要に応じて送信する。

記憶部４３は、監視カメラ情報、飛行装置情報、制御種別情報、画像データなどの各種情報を記憶している。各種情報について説明すると、監視カメラ情報は、各監視カメラ２に関する情報であって、各監視カメラ２の位置情報（撮影位置Ｐ：緯度、経度、高さ）、撮影方向、撮影範囲、焦点距離などの情報が含まれ、動的に変化するものは監視カメラ２から受信する画像データに含まれる情報に基づいて逐次更新される。

なお、移動可能な監視カメラ２においては、位置情報、撮影方向、撮影範囲、焦点距離が変化するため、受信する画像データに含まれる情報に基づいて制御部４６により逐次更新される。具体的には、位置情報と撮影方向、焦点距離は受信した情報をそのまま更新し、撮影範囲は画像データに含まれる位置情報、撮影方向、焦点距離に基づいて算出し、更新する。

また、監視領域の所定箇所に固定して設置される監視カメラ２の位置情報に関する情報は、予め記憶部４３に監視カメラ情報の一部として記憶しておくことができる。このような監視カメラ２のうち、パンチルトズーム可能な監視カメラ２については、撮影方向、撮影範囲、焦点距離が変化するため、受信する画像データに含まれる情報に基づいて、上記と同様にして制御部４６により逐次更新される。

飛行装置情報は、飛行装置３に関する情報であって、飛行装置３の位置情報（飛行位置又は撮影位置：緯度、経度、高さ）、カメラ部３１の撮像部３１ａの撮影方向、撮影範囲、焦点距離などの情報が含まれ、動的に変化するものは飛行装置３から受信する画像データに含まれる情報に基づいて、監視カメラ情報の更新と同様にして制御部４６により逐次更新される。

制御種別情報は、図２に示すように、俯角と距離、又は俯角と距離と方向とを制御種別ごとに紐付けにより対応付けて記憶部４３に記憶される情報である。図２の例では、例えば不審な行動をとる不審者を撮影する「不審者撮影」、例えばイベント会場における混雑状況を撮影する「混雑撮影」、例えば立ち入り禁止区域に侵入した警告対象に警告を発する「警告」、例えば飲食品、救命器具などの必要な物資を供給する「物資供給」を制御種別としている。

さらに説明すると、図２において、制御種別が「不審者撮影」の場合は、俯角：α１、距離：Ｗ２、方向：不審者の進行方向と逆方向が紐付けされる。制御種別が「混雑撮影」の場合は、俯角：α２、距離：Ｗ３が紐付けされる。制御種別が「警告」の場合は、俯角：α２、距離：Ｗ１、方向：警告対象の進行方向と逆方向が紐付けされる。制御種別が「物資供給」の場合は、俯角：α２、距離：Ｗ１が紐付けされる。

そして、上述した制御種別情報における俯角と距離と方向については、監視員の操作部４４の入力操作により予め設定される。

ここで、制御種別が「不審者撮影」の俯角の場合は、他の「混雑撮影」、「警告」、「物資供給」における俯角と比較して、不審者の顔や不審車両の自動車登録番号標（ナンバープレート）を捉えやすい小さい角度であるのが好ましいため、α１＜α２の関係を満たす俯角に設定される。また、制御種別が「混雑撮影」の俯角の場合は、「不審者撮影」の俯角と比較して、人物の位置関係など混雑の様子を把握するために俯瞰することのできる大きい角度であるのが好ましいため、α１＜α２の関係を満たす俯角に設定される。さらに、制御種別が「混雑撮影」の場合は周囲を含む全体状況を把握できる距離が望ましく、「混雑撮影」と比べると制御種別が「警告」や「物資供給」の場合は監視対象に近づいて確実に警告したり物資を供給する必要がある。また、「不審者撮影」は「混雑撮影」に比べて不審者の顔を把握できるようにするため近づく必要があるが、「警告」や「物資供給」ほど近づく必要はない。このため、制御種別が「混雑撮影」の場合の距離Ｗ３が最も長く、制御種別が「警告」や「物資供給」の場合の距離Ｗ１が最も短くなるように、Ｗ１＜Ｗ２＜Ｗ３の関係を満たす距離に設定される。

なお、図２では、俯角と距離、又は俯角と距離と方向が制御種別ごとに紐付けされた制御種別情報を例にとって説明したが、俯角のみ、距離のみ、方向のみ、俯角と距離、俯角と方向、距離と方向が制御種別ごとに紐付けされた制御種別情報を記憶部４３に記憶させておくこともできる。また、図２において、制御種別が「不審者撮影」、「警告」、「物資供給」の場合には、監視対象がビル屋上などの高所にある場合を想定し、俯角に限らず仰角で設定してもよい。そして、上述した制御種別情報は、図２に示すものに限定されず、制御種別に応じて俯角、距離、方向が適宜設定される。

画像データは、各監視カメラ２や飛行装置３から所定のフレーム周期で所定時間おきに送信されるデータであり、監視カメラ２ごと飛行装置３ごとに記憶部４３に逐次蓄積される。

操作部４４は、例えばマウス、キーボード、表示部４５の表示画面上のソフトキーなどで構成される。操作部４４は、後述する対処処理の開始又は終了の指示、監視カメラ２の撮影俯仰角θや飛行装置３の撮像部３１ａの撮影俯仰角αの設定、高度Ｈの設定、飛行装置３への警告や物資供給の指示、監視カメラ２の画像に基づく監視対象Ｎの追跡の指示、監視対象Ｎの特徴情報（後述）の指定、記憶部４３に記憶保存された画像から監視対象Ｎの指定、各監視カメラ２や飛行装置３への指示（撮影指示、飛行指示）、画像データの削除などを行う際に監視員によって操作される。

表示部４５は、例えば液晶表示器などで構成される。表示部４５は、制御部４６の制御により、複数の監視カメラ２や飛行装置３から取得した画像データの表示などを行っている。

制御部４６は、監視対象Ｎに対して対処を行うのに適した目標位置に飛行装置３を移動制御する対処処理を実行するための構成として、監視対象検出部４６ａ、取得部４６ｂ、目標算出部４６ｃ、飛行装置制御部４６ｄ、表示制御部４６ｅを備えている。

監視対象検出部４６ａは、監視カメラ２から所定のフレーム周期で所定時間おきに送信されてくる画像データの画像から監視対象Ｎ（例えば不審者や混雑）を検出する。この監視対象Ｎの検出は、従来の画像認識技術を用いればよい。一例を挙げれば、監視対象Ｎを特定するための複数種類の特徴を抽出し、抽出した特徴を対象特徴（特徴情報）として記憶部４３に予め記憶させる。例えば人物が監視対象Ｎである場合は、顔画像、年齢、性別、髪色、上半身衣服色、下半身衣服色、所持品種別、所持品色、身長、体型などが複数種類の特徴情報などとする。これら複数種類の特徴情報は、識別器や色ヒストグラムを用いた公知の手法によって抽出される。

尚、監視対象Ｎの特徴情報の入力方法としては、監視員が必要に応じて操作部４４を操作して、記憶部４３に記憶保存された監視カメラ２の画像から監視対象Ｎに当たる部分を指定すると、この指定された画像から上述した特徴情報を抽出し、抽出した特徴情報を対象特徴として記憶部４３に記憶させる。また、監視員の指定操作に依らず、監視対象Ｎが予め決まっている場合には、その監視対象Ｎの特徴情報を対象特徴として記憶部４３に記憶させておく。

そして、監視対象Ｎを追跡する場合には、例えば、複数の監視カメラ２毎に撮影される画像から、上述した対象特徴の抽出手法と同様にして複数種類の特徴情報を抽出し、抽出した特徴情報と対象特徴との対比により監視対象Ｎを検出する。これら複数種類の特徴情報は、個々の特徴情報について監視対象Ｎの検出における信頼性を考慮した重み付け係数が設定されている。そして、上述した複数種類の特徴情報を特徴情報の種別ごとに比較して類似度を算出する。続いて、複数種類の特徴情報ごとに算出した類似度に対し、重み付け係数を掛け合わせ、特徴情報の種類毎の類似度に重み付け係数を掛け合わせて全て足し合わせたものを全体類似度とする。そして、予め記憶部４３に記憶された監視対象Ｎと見なせる監視対象検出閾値（例えば類似度９０％）と全体類似度とを比較し、全体類似度が監視対象検出閾値を超えていると判定すると、監視対象Ｎとして検出する。

また、監視対象検出部４６ａは、上記のようにして検出した監視対象Ｎを所定フレームおきに取得される画像にわたって追跡する。例えば、現在の画像と１フレーム前の画像とのフレーム間差分をとることで画像中における変化領域を抽出し、監視対象Ｎの位置に相当する変化領域を特定する。そして、次に新たな画像データを取得した際も同様にフレーム間差分を行って変化領域を抽出し、この抽出した変化領域が、前回の監視対象Ｎに相当する変化領域として特定した変化領域と、その位置、大きさ、形状などの点において同一の物体とみなせるかを判定し、同一とみなせる場合には、その変化領域を今回の監視対象Ｎに相当する変化領域として特定する。これらの処理を新たな画像データを取得する度に繰り返すことで、監視カメラ２の画像中において監視対象Ｎを検出して追跡している。この監視対象Ｎの追跡にあたっては、監視対象Ｎの位置や進行方向が記憶部４３に逐次更新記憶される。そして、監視対象検出部４６ａは、上述した手法により監視対象Ｎとして不審者や混雑を検出すると、この不審者や混雑を飛行装置３の撮像部３１ａで撮影するため、制御種別（不審者撮影、混雑撮影）を含む制御信号を目標算出部４６ｃに出力する。

取得部４６ｂは、監視員により操作部４４が操作されて後述する対処処理の指示がなされると、記憶部４３から監視対象Ｎの位置や進行方向Ｄ１に関する情報を取得し、取得した情報を目標算出部４６ｃに出力する。

なお、取得部４６ｂは、制御種別が「警告」や「物資供給」の場合には、監視員が表示部４５に表示される監視カメラ２の画像から警告対象や物資供給する位置を確認し、操作部４４の操作入力により警告や物資供給する位置を取得することができる。また、制御種別が「警告」の場合には、取得部４６ｂは、監視員が表示部４５に表示される監視カメラ２の前後の画像から警告すべき監視対象Ｎの進行方向Ｄ１を確認し、操作部４４の操作入力により進行方向Ｄ１を取得することができる。その際、制御種別（警告、物資供給）の入力も合わせて行い、制御種別を含む制御信号を目標算出部４６ｃに出力する。

目標算出部４６ｃは、制御種別を含む制御信号の入力があったときに、飛行装置３を移動制御するための目標の方向と位置を算出するもので、方向算出部４６ｃａと位置算出部４６ｃｂを有している。

方向算出部４６ｃａは、監視対象Ｎが不審者又は警告対象（制御種別が不審者撮影又は警告）である場合、取得部４６ｂが取得した監視対象Ｎの進行方向Ｄ１を読み出し、この読み出した監視対象Ｎの進行方向Ｄ１と逆方向Ｄ２を算出している。この監視対象Ｎの進行方向Ｄ１と逆方向Ｄ２とは、監視カメラ２にて撮影された画像上の監視対象Ｎの位置に向かう方向である。例えば図４に示すように、監視対象Ｎを原点（０，０）とし、北を基準方位としたときの基準方位から角度φをなす方向を監視対象Ｎの進行方向Ｄ１とすると、この監視対象Ｎの進行方向Ｄ１と反対に飛行装置３から監視対象Ｎの位置に向かう方向が逆方向Ｄ２となる。

位置算出部４６ｃｂは、取得部４６ｂが取得した監視対象Ｎの位置と、記憶部４３に記憶された飛行装置情報を元に、飛行装置３を移動制御するための目標位置を算出している。

ここで、目標位置の算出方法について図３及び図４を参照しながら説明する。図３は地上の水平面を仮想水平面Ｅとし、仮想水平面Ｅを側面から見たときの監視対象Ｎと監視カメラ２と飛行装置３との位置関係を示す図である。また、図４は上空から地上を鉛直方向に見たときの仮想水平面Ｅ上における監視対象Ｎと監視カメラ２と飛行装置３との位置関係を示す図である。

図３において、監視対象Ｎから飛行装置３の撮像部３１ａまでの仮想水平面Ｅ上の撮影距離（直線距離）をＷ、監視対象Ｎと飛行装置３の撮像部３１ａとを結ぶ直線と仮想水平面Ｅとのなす角度（撮影俯仰角）をα、仮想水平面Ｅからの飛行装置３の高度をＨとすると、仮想水平面Ｅ上の撮影距離Ｗは、Ｗ＝Ｈ／ｔａｎα…式（１）で表すことができる。

そして、監視対象Ｎと飛行装置３の撮像部３１ａとを結ぶ直線と仮想水平面Ｅとのなす撮影俯仰角αと撮影距離Ｗは、制御種別に応じて記憶部４３から読み出して設定される。例えば制御種別が「不審者撮影」であれば、撮影俯仰角αがα１、距離ＷがＷ２に設定される。また、制御種別が「混雑撮影」であれば、撮影俯仰角αがα２、距離ＷがＷ３に設定される。さらに、制御種別が「警告者」や「物資供給」であれば、撮影俯仰角αがα２、距離ＷがＷ１に設定される。そして、仮想水平面Ｅからの飛行装置３の高度Ｈは、撮影俯仰角αと距離Ｗが設定されると、上述した式（１）から算出して設定される。

今、図４に示すように、監視対象Ｎの位置を原点（０，０）としたときの基準方位（北）からの角度φの方向を監視対象Ｎの進行方向Ｄ１とすると、飛行装置３の移動位置（目標位置）は図３における座標（Ｗｓｉｎφ，Ｗｃｏｓφ）、撮影方向は監視対象Ｎの進行方向Ｄ１と逆方向Ｄ２のφ＋１８０°として算出することができる。

飛行装置制御部４６ｄは、目標算出部４６ｃの位置算出部４６ｃｂが算出した目標位置に飛行装置３を移動制御する。また、飛行装置制御部４６ｄは、目標位置において制御種別に応じて設定された撮影俯仰角αにて撮影範囲を撮影するように、飛行装置３又は撮像部３１ａの方向と飛行装置３の高度Ｈを制御する。

表示制御部４６ｅは、表示部４５の表示を制御する。具体的には、通常の監視状態において、監視カメラ２から所定時間おきに送信される画像データに含まれる最新の画像を表示部４５に表示している。また、後述する対処処理では、監視カメラ２と飛行装置３の両方から送信される最新の画像を表示部４５に表示する。これにより、監視員は、表示部４５に表示された画像をモニタすることにより監視領域の最新状況を知ることができる。

次に、上記のように構成される監視システム１の動作として、監視対象に対して対処を行うのに適した目標位置に飛行装置３を移動制御する対処処理について説明する。

監視システム１は、通常、地上から撮影した複数の監視カメラ２からの画像データに基づいて監視対象検出部４６ａが監視対象Ｎを検出して追跡を行っている。ここで、監視対象Ｎを追跡している際に、監視員が操作部４４を操作して対処処理の指示を行うと、制御種別に応じて飛行装置３を目標位置まで移動制御する対処処理が開始される。以下、制御種別ごとの対処処理について説明する。なお、対処処理は、監視員の操作部４４の操作によらず、監視対象検出部４６ａが監視対象Ｎを検出すると自動的に開始するようにしてもよい。

・制御種別が「不審者撮影」の場合
目標算出部４６ｃは、制御種別として「不審者撮影」を含む制御信号が入力されると、記憶部４３を参照し、図２に示す制御種別の「不審者撮影」に対応する俯角：α１、距離：Ｗ２、方向：不審者の進行方向と逆方向の情報を読み出し、読み出した情報を元に飛行装置３の目標位置を算出する。飛行装置制御部４６ｄは、目標算出部４６ｃが目標位置を算出すると、この算出した目標位置まで飛行装置３を移動制御する。そして、飛行装置３は、目標位置に到着すると、撮像部３１ａにて不審者の進行方向Ｄ１と逆方向Ｄ２から不審者を撮影する。この撮像部３１ａにて撮影した不審者の画像は、所定フレーム周期で所定時間おきにセンタ装置４に送信され、センタ装置４の表示部４５に表示される。

・制御種別が「混雑撮影」の場合
目標算出部４６ｃは、制御種別として「混雑撮影」を含む制御信号が入力されると、記憶部４３を参照し、制御種別の「混雑撮影」に対応する俯角：α２、距離：Ｗ３の情報を読み出し、読み出した情報を元に飛行装置３の目標位置を算出する。飛行装置制御部４６ｄは、目標算出部４６ｃが目標位置を算出すると、この算出した目標位置まで飛行装置３を移動制御する。そして、飛行装置３は、目標位置に到着すると、撮像部３１ａにて混雑状況を撮影する。この撮像部３１ａにて撮影した混雑状況の画像は、所定フレーム周期で所定時間おきにセンタ装置４に送信され、センタ装置４の表示部４５に表示される。

・制御種別が「警告」の場合
目標算出部４６ｃは、制御種別として「警告」を含む制御信号が入力されると、記憶部４３を参照し、図２に示す制御種別の「警告」に対応する俯角：α２、距離：Ｗ１、方向：警告対象の進行方向と逆方向の情報を読み出し、読み出した情報を元に飛行装置３の目標位置を算出する。飛行装置制御部４６ｄは、目標算出部４６ｃが目標位置を算出すると、この算出した目標位置まで飛行装置３を移動制御する。そして、飛行装置３は、目標位置に到着すると、監視員によるセンタ装置４の操作部４４の操作入力の指示により制御部３６の警告制御部３６ｃが警告部３８を制御し、警告対象の進行方向Ｄ１と逆方向Ｄ２から警告対象に向けて照明をあてるとともに、警告対象に対して音声により警告を促す。また、撮像部３１ａにて警告対象を撮影する。この撮像部３１ａにて撮影した警告対象の画像は、所定フレーム周期で所定時間おきにセンタ装置４に送信され、センタ装置４の表示部４５に表示される。

・制御種別が「物資供給」の場合
目標算出部４６ｃは、制御種別として「物資供給」を含む制御信号が入力されると、記憶部４３を参照し、図２に示す制御種別の「物資供給」に対応する俯角：α２、距離：Ｗ１の情報を読み出し、読み出した情報を元に飛行装置３の目標位置を算出する。飛行装置制御部４６ｄは、目標算出部４６ｃが目標位置を算出すると、この算出した目標位置まで飛行装置３を移動制御する。そして、飛行装置３は、目標位置に到着すると、監視員によるセンタ装置４の操作部４４の操作入力の指示により制御部３６の物資供給制御部３６ｄが物資供給部３９を制御し、目標位置に物資を投下して供給する。また、撮像部３１ａにて物資が供給された目標位置を撮影する。この撮像部３１ａにて撮影した目標位置の画像は、所定フレーム周期で所定時間おきにセンタ装置４に送信され、センタ装置４の表示部４５に表示される。

なお、上述した実施の形態においては、位置算出部４６ｃが算出する目標位置は、図３及び図４上で示した位置そのものとして説明したが、この位置を中心とした誤差範囲を設け、この誤差範囲を目標位置としてよい。

以上説明したように、上述した実施の形態による監視システムによれば、以下に示す効果を奏する。

センタ装置４の記憶部４３には、例えば不審者撮影、混雑撮影、警告、物資供給などの制御種別ごとに監視対象に対する俯仰角、距離、方向の情報を選択的に紐付けて記憶させておく。目標算出部４６ｃは、監視対象検出部４６ａによる監視対象の検出や、監視員による操作部４４の操作により対処処理が開始され、制御種別を含む制御信号が入力されると、記憶部４３を参照して制御種別に対応する情報（俯仰角、距離、方向の組合せ）を読み出し、読み出した情報を元に飛行装置３の目標位置を算出する。飛行装置制御部４６ｄは、目標算出部４６ｃが算出した目標位置まで飛行装置３を移動制御する。かかる構成により、制御種別を考慮して、監視対象に対して対処を行うのに適した目標位置まで飛行装置３を移動させることができる。

以上、本発明に係る監視システムの最良の形態について説明したが、この形態による記述及び図面により本発明が限定されることはない。すなわち、この形態に基づいて当業者等によりなされる他の形態、実施例及び運用技術などはすべて本発明の範疇に含まれることは勿論である。

１ 監視システム
２ 監視カメラ
３ 飛行装置
４ センタ装置（追跡処理装置）
２１ カメラ部
２２ 制御部
２３ 通信部
３１ カメラ部
３２ 推進部
３３ 方向舵
３４ 測位部
３５ 姿勢検出部
３６ 制御部
３７ 無線通信部
４１ 通信部
４２ 無線通信部
４３ 記憶部
４４ 操作部
４５ 表示部
４６ 制御部
４６ａ 監視対象検出部
４６ｂ 取得部
４６ｃ 目標算出部
４６ｃａ 方向算出部
４６ｃｂ 位置算出部
Ｄ１ 監視対象の進行方向
Ｄ２ 飛行装置の撮像部の撮影方向
Ｅ 仮想水平面
Ｈ 飛行装置の高度
Ｎ 監視対象
Ｗ（Ｗ１、Ｗ２、Ｗ３） 撮影距離
α（α１、α２） 飛行装置の撮像部の撮影俯仰角

Claims (3)

1. 上空から地上を撮影する撮像部を有する飛行装置を少なくとも備えた監視システムであって、
   監視領域を撮影した画像データから撮影対象を検出し、当該撮影対象を前記飛行装置の前記撮像部から撮影するための制御種別として、前記撮影対象が人物または車両である場合は第１の制御種別、前記撮影対象が混雑である場合は第２の制御種別と判定し、前記制御種別を含む制御信号を出力する撮影対象検出部と、
   前記撮影対象に対する俯角として、前記第１の制御種別に対応する第１の俯角、および、前記第２の制御種別に対応する前記第１の俯角より大きい第２の俯角を記憶する記憶部と、
   前記制御種別を含む制御信号の入力があると、前記記憶部を参照して当該制御種別に対応する俯角に相当する目標位置を算出する目標算出部と、
   前記目標位置に前記飛行装置を移動させる飛行装置制御部と、
   を備えたことを特徴とする監視システム。
2. 前記記憶部は、前記制御種別ごとに前記撮影対象との距離を記憶し、
   前記目標算出部は、前記制御種別を含む制御信号の入力があると、前記記憶部を参照して当該制御種別に対応する距離に相当する目標位置を算出する請求項１に記載の監視システム。
3. 前記記憶部は、前記制御種別ごとに前記撮影対象に対する方向を記憶し、
   前記目標算出部は、前記制御種別を含む制御信号の入力があると、前記記憶部を参照して当該制御種別に対応する方向に相当する目標位置を算出する請求項１又は請求項２に記載の監視システム。

Images