JP7230941B2 - 情報処理装置、制御方法、及びプログラム - Google Patents

Description

本発明は情報処理装置、制御方法、及びプログラムに関する。

移動体を監視するためにカメラが利用されている。例えば特許文献１は、隣り合わせで配置された広角カメラと望遠カメラを利用して移動体の監視を行う監視カメラ装置を開示している。この監視カメラ装置は、広角カメラによって生成された画像を用いて移動体を検出し、その画像におけるその移動体の位置に基づいて望遠カメラの撮影光軸の方向を変更する。こうすることで、望遠カメラの撮像範囲の中心で移動体を捉えるようにする。

特開２００７－１１６６６６号公報

特許文献１の監視カメラ装置では、望遠カメラが広角カメラの近傍に置かれていること、すなわち望遠カメラと広角カメラが略同一の方向を撮像できることが前提となっている。この前提があるため、広角カメラから移動体へ向かう方向と略同一の方向へ望遠カメラの撮影光軸を向けることで、望遠カメラで移動体を撮像することができる。したがって、特許文献１の技術では、望遠カメラと広角カメラとを互いに離れた位置に設けることができない。

本発明はこの課題に鑑みてなされたものであり、その目的の一つは、移動体の検出に利用するセンサをより自由な位置に配置できる技術を提供することである。

本発明の情報処理装置は、１）センサを用いて移動体を検出し、センサから移動体へ向かう第１方向を特定する第１検出手段と、２）第１カメラの光軸方向を第１方向に沿って移動させながら第１カメラに撮像を行わせる制御手段と、３）第１カメラによって生成される第１撮像画像から移動体を検出する第２検出手段と、を有する。

本発明の制御方法はコンピュータによって実行される。当該制御方法は、１）センサを用いて移動体を検出し、センサから移動体へ向かう第１方向を特定する第１検出ステップと、２）第１カメラの光軸方向を第１方向に沿って移動させながら第１カメラに撮像を行わせる制御ステップと、３）第１カメラによって生成される第１撮像画像から移動体を検出する第２検出ステップと、を有する。

本発明のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。

本発明によれば、移動体の検出に利用するセンサをより自由な位置に配置できる技術が提供される。

実施形態１の情報処理装置の概要を説明するための図である。 実施形態１の情報処理装置の機能構成を例示する図である。 情報処理装置を実現するための計算機を例示する図である。 実施形態１の情報処理装置によって実行される処理の流れを例示するフローチャートである。 センサとして第２カメラを利用するケースを例示する図である。 ユーザから検出領域の指定を受け付けるケースを例示する図である。 検出空間を例示する図である。 第１方向を更新する様子を例示する図である。 移動体が監視されるエリアを鉛直方向に平面視した図である。 移動体が監視されるエリアを横から見た図である。 実施形態２の情報処理装置の機能構成を例示する図である。 実施形態３の情報処理装置の機能構成を例示する図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

［実施形態１］
＜概要＞
図１は、実施形態１の情報処理装置（図２に示す情報処理装置２０００）の概要を説明するための図である。以下で説明する情報処理装置２０００の動作は、情報処理装置２０００の理解を容易にするための例示であり、情報処理装置２０００の動作は以下の例に限定されるわけではない。情報処理装置２０００の動作の詳細やバリエーションについては後述する。

情報処理装置２０００は、センサ１０を利用して移動体２０を検出することで、センサ１０から移動体２０へ向かう方向（図１における第１方向１２）を特定する。情報処理装置２０００は、カメラ３０の光軸方向３４を第１方向１２に沿って（すなわち、センサ１０から移動体２０へ向けて）移動させながら、カメラ３０に撮像を行わせる。その結果、それぞれ異なる方向を撮像した複数の撮像画像３２が、カメラ３０によって生成される。情報処理装置２０００は、撮像画像３２を画像解析することで移動体２０を検出する。

この方法によれば、センサ１０とカメラ３０とを近傍に設置しなくても、カメラ３０が移動体２０を検出できる。なぜなら、移動体２０は第１方向１２上に存在するため、カメラ３０の光軸方向３４を第１方向１２に沿って移動させながらカメラ３０による撮像を繰り返していくことで、いずれかの撮像画像３２に移動体２０を含めることができるためである。よって、本実施形態の情報処理装置２０００には、センサ１０と移動体２０とを近傍に設置しなくてもよく、これらをより自由な位置に配置できるという利点がある。

以下、本実施形態の情報処理装置２０００についてさらに詳細に説明する。

＜情報処理装置２０００の機能構成の例＞
図２は、実施形態１の情報処理装置２０００の機能構成を例示する図である。情報処理装置２０００は第１検出部２０２０、制御部２０４０、及び第２検出部２０６０を有する。第１検出部２０２０は、センサ１０を利用して移動体２０を検出し、センサ１０から移動体２０へ向かう第１方向１２を特定する。制御部２０４０は、カメラ３０の光軸方向３４を第１方向１２に沿って移動させながら、カメラ３０に撮像を行わせる。第２検出部２０６０は、カメラ３０によって生成される撮像画像３２から移動体２０を検出する。

＜情報処理装置２０００のハードウエア構成＞
情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

図３は、情報処理装置２０００を実現するための計算機１０００を例示する図である。計算機１０００は任意の計算機である。例えば計算機１０００は、Personal Computer（PC）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機１０００は、情報処理装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field-Programmable Gate Array）などの種々のプロセッサである。メモリ１０６０は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。

ネットワークインタフェース１１２０は、計算機１０００をネットワークに接続するためのインタフェースである。このネットワークは、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。

例えばネットワークインタフェース１１２０には、ネットワークを介して、センサ１０やカメラ３０が接続される。センサ１０は、移動体２０を検出することができる任意のセンサである。詳しくは後述するが、例えばセンサ１０には、カメラ、音響センサ、又は電波センサなどを利用することができる。カメラ３０は、撮像を行って撮像画像を生成する任意の撮像装置である。例えばカメラ３０は、定期的に撮像を行うことで動画データを生成するビデオカメラである。この場合、撮像画像３２は、動画データを構成する各フレームである。

ストレージデバイス１０８０は、情報処理装置２０００の各機能構成部を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。

＜処理の流れ＞
図４は、実施形態１の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。第１検出部２０２０は、センサ１０を利用して移動体２０を検出する（Ｓ１０２）。第１検出部２０２０は、センサ１０から移動体２０へ向かう第１方向１２を特定する（Ｓ１０４）。

Ｓ１０６からＳ１１６は、所定の条件が満たされるまで繰り返し行われるループ処理である。所定の条件が満たされている場合、図４の処理は終了する。一方、所定の条件が満たされていない場合、図４の処理はＳ１０８に進む。

制御部２０４０は、カメラ３０の光軸方向３４を第１方向１２に沿って移動させる（Ｓ１０８）。制御部２０４０は、カメラ３０に撮像を行わせる（Ｓ１１０）。第２検出部２０６０は、カメラ３０によって生成された撮像画像３２を対象にしてオブジェクト検出処理を行う（Ｓ１１２）。撮像画像３２からオブジェクトが検出された場合（Ｓ１１４：ＹＥＳ）、第２検出部２０６０は、検出されたオブジェクトを移動体２０として検出する（Ｓ１１８）。そして、図４の処理は終了する。一方、撮像画像３２からオブジェクトが検出されない場合（Ｓ１１４：ＮＯ）、図４の処理はＳ１０６に進む。

ループ処理Ａを終了させる所定の条件は様々である。例えば所定の条件は、第１方向１２に沿って撮像可能な全ての範囲についてカメラ３０が撮像を終えたことである。より具体的には、所定の条件は、カメラ３０の撮像方向が第１方向１２と平行になったことである。

なお、情報処理装置２０００が実行する処理の流れは、図４に示した流れに限定されない。例えば制御部２０４０は、カメラ３０に複数回撮像を行わせた後に、生成された各撮像画像を対象としたオブジェクト検出処理を行ってもよい。すなわち、カメラ３０によって生成される複数の撮像画像それぞれを対象としたオブジェクト検出処理を、ループ処理Ａの後にまとめて実行してもよい。

また、制御部２０４０は、Ｓ１１２で検出されたオブジェクトを無条件で移動体２０として扱うのではなく、そのオブジェクトが所定の条件を満たしている場合に、そのオブジェクトを移動体２０として扱うようにしてもよい。この点については後述する。

＜センサ１０を利用した移動体２０の検出＞
第１検出部２０２０は、センサ１０を利用して移動体２０を検出する。センサ１０を利用して移動体２０を検出する方法は、利用するセンサの種類に依存する。以下、センサ１０として利用できるセンサの主な種類ごとに、移動体２０の検出方法を例示する。

＜＜カメラを利用するケース＞＞
例えばセンサ１０として、カメラを利用することができる。ここで、センサ１０として利用されるカメラを第２カメラと呼ぶ。図５は、センサ１０として第２カメラを利用するケースを例示する図である。図５において、第２カメラは符号４０で表されている。以下、第２カメラ４０によって生成される撮像画像を第２撮像画像４２と表記する。

第２カメラ４０による撮像は、カメラ３０よりも画角が広い状態で行われる。言い換えれば、第２カメラ４０による撮像は、カメラ３０よりも焦点距離が短い状態で行われる。そこで例えば、カメラ３０には望遠カメラを利用し、第２カメラ４０には広角カメラを利用する。このような２つのカメラを利用することで、まずは広角カメラ（カメラ３０）で広い範囲を撮像することで、移動体２０の存在及び移動体２０が存在する方向を早期に割り出し、その後に望遠カメラ（第２カメラ４０）で移動体２０を大きく撮像することで、移動体２０について詳細を把握するという動作が可能となる。

第１検出部２０２０は、第２カメラ４０によって生成される第２撮像画像４２から移動体２０を検出する。ここで第１検出部２０２０は、第２撮像画像４２に含まれる任意のオブジェクトを移動体２０として検出してもよいし（図３参照）、第２撮像画像４２に含まれなおかつ所定の条件を満たすオブジェクトを移動体２０として検出してもよい。前者の場合、第１検出部２０２０は、例えば第２撮像画像４２から前景領域を抽出し、その前景領域によって表されるオブジェクトを移動体２０とする。ここで、画像から前景領域を抽出する技術には既存の技術を利用することができる。

一方、所定の条件を満たすオブジェクトを移動体２０として検出するとする。この場合、例えば、移動体２０として検出すべきオブジェクトの特徴量を予め定めておく。第１検出部２０２０は、第２撮像画像４２から、この特徴量を持つ画像領域を検出し、検出された画像領域で表されるオブジェクトを移動体２０とする。移動体２０として検出すべきオブジェクトは、例えば、飛行機、ドローン、又は鳥などの飛翔体である。なお、検出すべきオブジェクトの特徴量を定める技術、及びその特徴量を持つオブジェクトを画像から検出する技術には、既存の技術を利用することができる。

その他にも例えば、第１検出部２０２０は、第２撮像画像４２から検出されたオブジェクトのうち、移動しているオブジェクトのみを移動体２０として検出してもよい。例えば制御部２０４０は、或る第２撮像画像４２からオブジェクトを検出したら、その後に生成される各第２撮像画像４２を対象としてそのオブジェクトをトラッキングすることで、そのオブジェクトが移動しているかどうかを判定する。そのオブジェクトが移動していると判定したら、制御部２０４０は、そのオブジェクトを移動体２０として扱う。一方、そのオブジェクトが移動していないと判定したら、制御部２０４０は、そのオブジェクトを移動体２０として扱わない。なお、画像から検出されるオブジェクトが移動しているかどうかを判定する技術には、既存の技術を利用することができる。

第１検出部２０２０は、第２撮像画像４２の画像領域全体を移動体２０の検出対象としてもよいし、第２撮像画像４２の中の一部の画像領域のみを移動体２０の検出対象としてもよい。後者の場合において移動体２０の検出対象とする画像領域を、検出領域と呼ぶ。

例えば情報処理装置２０００は、ユーザから検出領域を指定する入力操作を受け付ける。図６は、ユーザから検出領域の指定を受け付けるケースを例示する図である。図６において、タッチパネル５０には、第２カメラ４０によって撮像される第２撮像画像４２で構成されるビデオ５２が表示されている。ユーザは、ビデオ５２を見ることで、情報処理装置２０００に移動体２０として検出させたいオブジェクトを見つける。移動体２０として検出させたいオブジェクトを見つけたら、ユーザは、そのオブジェクトが映っているタッチパネル５０上の位置をタッチする。第１検出部２０２０は、第２撮像画像４２においてこのタッチされた位置に対応する画像位置を特定し、その画像位置を基準とする第２撮像画像４２の画像領域についてオブジェクトの検出を行う。そして第１検出部２０２０は、検出されたオブジェクトを移動体２０として扱う。例えば図６では、ユーザが指５４でタッチした画像位置を中心とする矩形の領域５６が、検出領域として扱われる。その結果、ドローン５８が移動体２０として検出される。

ユーザが検出領域を指定する方法は様々である。例えばユーザは、上述したように、第２撮像画像４２上の位置を指定する。第１検出部２０２０は、指定された位置を基準として定まる所定のサイズ及び形状の画像領域を、検出領域として扱う。なお、指定された位置を基準として所定のサイズ及び形状の画像領域を定める技術には、既存の技術を利用することができる。

ユーザは、第２撮像画像４２上の位置ではなく、領域を指定してもよい。この場合、ユーザによって指定された領域を検出領域として扱う。領域を指定する領域には、例えばドラッグ操作やスライド操作などを利用することができる。

＜＜音響センサを利用するケース＞＞
例えばセンサ１０として、音響センサを利用することができる。この音響センサとしては、複数のマイクロフォンを立体的に配置したマイクロフォンアレイを用いる。ここで、複数のマイクロフォンが立体的に配置されるとは、マイクロフォンアレイを構成する全てのマイクロフォンを通る単一の平面が存在しないことを意味する。

立体的に配置された複数のマイクロフォンで同一の音を検出すると、マイクロフォンアレイからその音の発生源へ向かう方向を特定することができる。そこで第１検出部２０２０は、音響センサを構成する複数のマイクロフォンによって所定の特徴を持つ音が検出された場合に、その音の発生源を移動体２０として検出する。

上記「所定の特徴」としては、様々な特徴を扱いうる。例えば所定の特徴は、音圧の大きさで表される。この場合、第１検出部２０２０は、音響センサによって検出された音の音圧が所定値以上であるか否かを判定し、所定値以上であった場合に、その音の発生源を移動体２０として扱う。すなわち、予め設定された大きさよりも大きい音を発する音源を移動体２０として扱う。

その他にも例えば、所定の特徴は、検出したい移動体２０が発する音の周波数スペクトルで表される。この場合、第１検出部２０２０は、音響センサによって検出される音の周波数スペクトルを解析し、所定特徴と一致又は類似する周波数スペクトルを持つ音であった場合に、その音の発生源を移動体２０として扱う。移動体２０として飛行機を検出する場合の所定特徴は、例えば飛行機のエンジン音の周波数スペクトルである。移動体２０としてドローンを検出する場合の所定特徴は、例えばドローンのロータの回転音（以下、ロータ音）の周波数スペクトルである。

なお、飛行機のエンジン音の周波数スペクトルは、飛行機の機種等によって異なる。上記所定の特徴は、様々な飛行機のエンジン音の周波数スペクトルを含むように或る程度広い周波数スペクトルの範囲として定められてもよいし、或る特定の機種等の飛行機のエンジン音の周波数スペクトルとして表されてもよい。後者の場合、その特定の機種の飛行機のみが移動体２０として検出されるようになる。

同様に、ドローンのロータ音の周波数スペクトルも、ドローンの機種などによって異なる。そこで所定特徴は、様々なドローンのロータ音の周波数スペクトルを含むように或る程度広い周波数スペクトルの範囲として定められてもよいし、或る特定の機種等のドローンのロータ音の周波数スペクトルとして表されてもよい。後者の場合、その特定の機種のドローンのみが移動体２０として検出されるようになる。

ここで、移動体２０として検出すべき移動体が発する音の特徴、すなわち上記所定の特徴を示す情報を、音特徴情報と呼ぶ。音特徴情報は、第１検出部２０２０からアクセス可能な記憶装置に記憶させておく。第１検出部２０２０は、音特徴情報を取得し、音特徴情報に示される所定の特徴を持つ音が音響センサによって検出されたか否かを判定する。そして、第１検出部２０２０は、所定の特徴を持つ音が音響センサによって検出されたら、センサ１０からその音の発生源へ向かう方向を第１方向１２として特定する。

＜＜電波センサを利用するケース＞＞
例えばセンサ１０として、電波センサを利用することができる。この電波センサとしては、複数の電波受信機を立体的に配置した受信機アレイを用いる。ここで、複数の電波受信機が立体的に配置されるとは、受信機アレイを構成する全ての受信機を通る単一の平面が存在しないことを意味する。第１検出部２０２０は、電波センサを構成する複数の受信機によって所定の特徴を持つ電波が検出された場合に、その電波の発生源を移動体２０として扱う。

上記所定の特徴としては、様々な特徴を扱いうる。例えば所定の特徴は、電波の振幅の大きさで表される。この場合、第１検出部２０２０は、電波センサによって検出された電波の振幅の大きさが所定値以上であるか否かを判定し、所定値以上であった場合に、その電波の発生源を移動体２０として扱う。すなわち、予め設定された大きさよりも振幅が大きい電波を発する発生源を移動体２０として扱う。

その他にも例えば、所定の特徴は、検出したい移動体２０が発する電波の周波数スペクトルで表される。この場合、第１検出部２０２０は、電波センサによって検出される電波の周波数スペクトルを解析し、所定の特徴と一致又は類似する周波数スペクトルを持つ電波であった場合に、その音の発生源を移動体２０として扱う。この場合、検出したい移動体２０が出力する電波の周波数スペクトルを予め把握しておき、その周波数スペクトルを表す情報を記憶装置に記憶させておく。

その他にも例えば、所定の特徴は、検出したい移動体２０が発する電波に載せられているデータで表される。移動体２０が電波に載せてデータを送信する場合、受信機で電波を復調してデータを抽出することで、そのデータの内容を把握することができる。例えば移動体２０がイーサネット（登録商標）フレームを無線で送信するとする。この場合、このイーサネット（登録商標）フレームの送信元 MAC（Media Access Control）アドレスには、移動体２０が有するネットワークインタフェースの MAC アドレスが示されている。そこで第１検出部２０２０は、電波センサによって受信された電波を復調してイーサネット（登録商標）フレームを取り出し、そのイーサネット（登録商標）フレームの送信元 MAC アドレスを見ることで、その電波の発生源に関する情報を得ることができる。

そこで例えば、第１検出部２０２０は、電波センサが受信した電波から得られたデータの発信元を特定し、その発信元が所定の条件を満たしている場合に、その発信元を移動体２０として検出する。例えば所定の条件は、「発信元が、特定の送信元アドレスを持つオブジェクトであること」である。この場合、第１検出部２０２０は、特定のアドレスを持つオブジェクトのみを移動体２０として検出する。こうすることで、特定のアドレスを持つオブジェクトのみを移動体２０として検出することが可能となる。

その他にも例えば、所定の条件は、「発信元が、所定のグループに属すること」である。例えば一般に、MAC アドレスにはベンダコードが含まれる。そのため、このベンダコードを利用して、電波の発生源の製造業者を特定することができる。よって、特定の製造業者によって製造された移動体２０のみを検出するといったことが可能となる。

ここで、上記所定の特徴を示す情報を特徴情報と呼ぶ。特徴情報は、第１検出部２０２０からアクセス可能な記憶装置に記憶させておく。第１検出部２０２０は、特徴情報を取得し、特徴情報に示される所定の特徴を持つ音が音響センサによって検出されたか否かを判定することで、所定の特徴を持つ音を発する移動体２０を検出する。

ここで、移動体２０として検出すべき移動体が発する電波の特徴、すなわち上記所定の特徴を示す情報を、電波特徴情報と呼ぶ。電波特徴情報は、第１検出部２０２０からアクセス可能な記憶装置に記憶させておく。第１検出部２０２０は、電波特徴情報を取得し、電波特徴情報に示される所定の特徴を持つ電波が電波センサによって検出されたか否かを判定する。そして、第１検出部２０２０は、所定の特徴を持つ電波が電波センサによって検出されたら、センサ１０からその電波の発生源へ向かう方向を第１方向１２として特定する。

＜第１方向１２の特定＞
第１検出部２０２０は、センサ１０を利用して第１方向１２を特定する。第１方向１２は、センサ１０から移動体２０へ向かう方向である。例えばセンサ１０として第２カメラ４０を利用する場合、第１検出部２０２０は、カメラ３０の各種設定パラメータ（撮像方向や焦点距離など）及び第２撮像画像４２における移動体２０の位置に基づいて、第１方向１２を特定する。ここで、カメラの設定パラメータ及び撮像画像上におけるオブジェクトの位置に基づいて、カメラからオブジェクトに向かう方向を特定する技術には、既存の技術を利用することができる。

センサ１０として前述した音響センサを利用する場合、例えば制御部２０４０は、各マイクロフォンが移動体２０から発せられる音を検出したタイミングの差異に基づいて、音響センサから移動体２０へ向かう方向を特定する。ここで、立体的に配置された各マイクロフォンで或る音を検出したタイミングの差異に基づいてその音の音源へ向かう方向を特定する技術には、既存の技術を利用することができる。なお、センサ１０として前述した電波センサを利用する場合も、音響センサを利用した場合と同様の方法で第１方向１２を特定することができる。

＜カメラ３０の制御：Ｓ１０６、Ｓ１０８＞
制御部２０４０は、カメラ３０の光軸方向３４を第１方向１２に沿って移動させながら、カメラ３０に複数回撮像を行わせる（Ｓ１０６、Ｓ１０８）。ここで制御部２０４０は、カメラ３０の姿勢を変更することでカメラ３０の光軸方向３４を変更してもよいし、カメラ３０の姿勢を変えずにカメラ３０の光軸方向３４を変更してもよい。前者の場合、例えば制御部２０４０は、カメラ３０が設置されている曇台などの台の姿勢を変更することで、カメラ３０の光軸方向３４を移動させる。一方後者の場合、例えば、カメラ３０の光軸上に光学素子（ミラーなど）を配置しておき、制御部２０４０がこの光学素子の姿勢などを制御することで、カメラ３０の光軸方向３４を移動させる。

なお、カメラ３０の光軸方向３４が通る第１方向１２上の位置の初期位置は、静的に定められていてもよいし、動的に決定されてもよい。前者の場合、例えば第１方向１２の始点を初期位置として設定する。

一方後者の場合、例えば情報処理装置２０００を利用して移動体２０の検出を行う空間範囲（以下、検出空間）を予め定めておき、第１方向１２が検出空間に入る位置を初期位置とする。図７は、検出空間を例示する図である。図７において、検出空間は符号６０で表されている。第１方向１２が検出空間６０に入る位置は位置６２である。そこで制御部２０４０は、カメラ３０の光軸方向３４が通る第１方向１２上の位置の初期位置を位置６２とする。なお、第１方向１２が検出空間６０から出る第１方向１２上の位置は位置６４である。そこで制御部２０４０は、カメラ３０の光軸方向３４を位置６２から位置６４まで移動させるようにしてもよい。

その他にも例えば、制御部２０４０は、センサ１０の検出結果に基づいて上記初期位置を決定してもよい。例えばセンサ１０がカメラであるとする。この場合、制御部２０４０は、撮像画像３２に含まれる移動体２０の種類等を特定することで、その移動体２０の実空間上のサイズを表す情報を取得する。制御部２０４０は、移動体２０の実空間上のサイズと、撮像画像３２における移動体２０のサイズとに基づいて、センサ１０から移動体２０までの距離を推定する。そして制御部２０４０は、センサ１０から第１方向１２に沿って上記推定距離離れた位置を、カメラ３０の光軸方向３４が通る第１方向１２上の初期位置とする。なお、オブジェクトの実空間上のサイズと撮像画像上のサイズとに基づいて、カメラからそのオブジェクトまでの距離を推定する技術には、既存の技術を利用することができる。

ここで、カメラ３０に複数回撮像を行わせる方法は様々である。例えばカメラ３０として、所定の周期（例えば 30fps（frames per second））で定期的に撮像を行うビデオカメラを利用する。カメラ３０は、制御部２０４０による制御に応じて撮像を開始してもよいし、常時撮像を行っていてもよい。後者の場合、第２検出部２０６０は、カメラ３０によって生成される撮像画像３２のうち、制御部２０４０によるカメラ３０の撮像方向の制御が開始された時点以降に生成された撮像画像３２を利用する。

その他にも例えば、制御部２０４０は、カメラ３０に撮像を行わせる各タイミングで、撮像を指示する制御信号を送信してもよい。この場合、カメラ３０は、制御信号を受信するタイミングで撮像を行う。

＜＜カメラ３０の焦点について＞＞
制御部２０４０は、第１方向１２上にカメラ３０の焦点が位置するようにカメラ３０の焦点距離を設定してもよい。具体的には、制御部２０４０は、カメラ３０から、カメラ３０の撮像方向と第１方向１２との交点までの距離を算出し、その距離をカメラ３０の焦点距離に設定する。なお、制御部２０４０は、カメラ３０の光軸方向を移動させると共に、カメラ３０の焦点距離を変更する。

このようにカメラ３０の焦点を第１方向１２上に設定することにより、カメラ３０は、ピントが合った状態で移動体２０を撮像することができる。そのため、第２検出部２０６０が撮像画像３２から移動体２０を検出しやすくなる。

また、カメラ３０の光軸方向に移動体２０とは異なるオブジェクトが存在したとしても、そのオブジェクトはピントが合っていない状態で撮像されることとなる。そのため、撮像画像３２に含まれるオブジェクトのうち、ピントが合っているオブジェクトのみを移動体２０として検出するようにすることで、移動体２０の誤検出を防ぐことができる。すなわち、センサ１０によって移動体２０として検出されたオブジェクト以外のオブジェクトが、第２検出部２０６０によって誤って移動体２０として検出されてしまうことを防ぐことができる。なお、画像中のオブジェクトにピントが合っているかどうかを判定する技術には、既存の技術を利用することができる。

＜撮像画像３２からの移動体２０の検出：Ｓ１１２、Ｓ１１４、Ｓ１１６＞
第２検出部２０６０は撮像画像３２からオブジェクトを検出することで、撮像画像３２から移動体２０を検出する（Ｓ１１２、Ｓ１１４、Ｓ１１６）。例えば第２検出部２０６０は、複数の撮像画像３２を生成時点が早いものから順に画像解析していき、最初に検出されたオブジェクトを撮像画像３２として扱う。こうすることで、第１方向１２上に複数のオブジェクトが存在していた場合に、その中で最もセンサ１０に近いオブジェクトが、移動体２０として検出される。

ただし第２検出部２０６０は、第１検出部２０２０による検出の結果を利用し、撮像画像３２から検出されたオブジェクトが、第１検出部２０２０によって検出された移動体２０と同じものであるか否かを判定してもよい。例えばセンサ１０が第２カメラ４０である場合、第１検出部２０２０は、第２撮像画像４２から検出される移動体２０の特徴量を算出する。この特徴量により、例えば移動体２０が鳥であるのか、飛行機であるのか、それともドローンであるのかなど、移動体２０のおおまかな特徴を把握することができる。

そこで第２検出部２０６０は、撮像画像３２から検出されたオブジェクトが、第１検出部２０２０によって算出された移動体２０の特徴量を持つか否かを判定する。撮像画像３２から検出されたオブジェクトがこの特徴量を持つ場合、第２検出部２０６０は、そのオブジェクトを移動体２０として検出する。一方、撮像画像３２から検出されたオブジェクトがこの特徴量を持たない場合、第２検出部２０６０は、そのオブジェクトが移動体２０ではないと判定する。

また前述したように、センサ１０によって検出する移動体２０の種類を予め定めているケースがある。例えば、センサ１０が音響センサである場合において、或る特定機種のドローンのロータの音を検出する場合、センサ１０によって検出される移動体２０は、その特定機種のドローンである。そこで第２検出部２０６０は、撮像画像３２から検出するオブジェクトを、その特定機種のドローンに限定してもよい。この場合、例えば、センサ１０を利用して検出する種類に分類されるオブジェクトが共通して持つ特徴量を予め定めておく。第２検出部２０６０は、撮像画像３２から検出されたオブジェクトがこの特徴量を持つ場合に、そのオブジェクトを移動体２０として検出する。一方、撮像画像３２から検出されたオブジェクトがこの特徴量を持たない場合、第２検出部２０６０は、そのオブジェクトが移動体２０ではないと判定する。

その他にも例えば、前述したようにカメラ３０の焦点が第１方向１２上に位置するようにカメラ３０の焦点を制御する場合、第２検出部２０６０は、撮像画像３２から検出されるオブジェクトのうち、ピントが合っているもののみを移動体２０として検出してもよい。ここで、画像に含まれるオブジェクトにピントが合っているか否かを判定する技術には、既存の技術を利用することができる。

＜第１方向１２の更新＞
ここで、カメラ３０の光軸方向３４を第１方向１２に沿って移動させている最中にも、センサ１０を用いて移動体２０を検出することができる。そして、センサ１０によって検出される移動体２０の位置が変化すると、それに伴って第１方向１２が変化する。この場合、制御部２０４０は、センサ１０による検出結果に基づいて第１方向１２を更新してもよい。

図８は、第１方向１２を更新する様子を例示する図である。第１方向１２－１は、時点ｔ１におけるセンサ１０の検出結果に基づき、第１検出部２０２０が特定した第１方向である。制御部２０４０は、時点ｔ１以降、第１方向１２－１に沿ってカメラ３０の光軸方向３４を移動させながら、カメラ３０に撮像を行わせる。

その後、第１検出部２０２０は、時点ｔ２におけるセンサ１０の検出結果に基づき、第１方向１２－２を特定する。そこで制御部２０４０は、時点ｔ２以降は、第１方向１２－１ではなく第１方向１２－２に沿ってカメラ３０の光軸方向３４を移動させる。その後も同様に、時点ｔ３におけるセンサ１０の検出結果に基づき第１方向１２－３が特定され、時点ｔ３以降におけるカメラ３０の光軸方向３４は第１方向１２－３に沿って移動させる。

このようにカメラ３０を第１方向１２に沿って移動させている途中で第１方向１２を更新することにより、カメラ３０の光軸方向３４を第１方向１２に沿って移動させている最中における移動体２０の位置の変化も考慮して、カメラ３０を利用した移動体２０の検出が行われる。よって、移動体２０をより確実に検出できるようになる。

＜センサ１０とカメラ３０を複数利用するケースについて＞
上述の説明では、センサ１０やカメラ３０の数が１つであるケースを例に説明していた。しかしながら、センサ１０やカメラ３０の数は複数であってもよい。以下、センサ１０とカメラ３０をそれぞれ複数設けるケースについて、具体的に例示する。

図９と図１０は、センサ１０とカメラ３０が複数設けられるユースケースを例示する図である。図９は、移動体２０が監視されるエリアを鉛直方向に平面視した図である。図１０は、移動体２０が監視されるエリアを横から見た図である。本ユースケースにおける移動体２０は、ドローン１２０である。ドローン１２０は、ビル１００とビル１１０との間を飛行する。その航路は、監視エリア１３０の中に設定されている。

監視エリア１３０には、８つのセンサ１０と２つのカメラ３０が設けられている。カメラ３０－１は、センサ１０－１からセンサ１０－４の中心位置に配置されている。一方、カメラ３０－２は、センサ１０－５からセンサ１０－７の中心位置に配置されている。監視エリア１３０内の点線の矩形は、各センサ１０がドローン１２０を検出する範囲を表している。

第１検出部２０２０は、センサ１０－１からセンサ１０－８を利用して、ドローン１２０を検出する。ここで、センサ１０－１からセンサ１０－４のいずれかによってドローン１２０が検出された場合、制御部２０４０は、カメラ３０－１を制御して撮像画像３２を生成させ、その撮像画像３２からドローン１２０を検出する。一方、センサ１０－５からセンサ１０－７のいずれかによってドローン１２０が検出された場合、制御部２０４０は、カメラ３０－２を制御して撮像画像３２を生成させ、その撮像画像３２からドローン１２０を検出する。

［実施形態２］
図１１は実施形態２の情報処理装置２０００の機能構成を例示する図である。以下で説明する事項を除き、実施形態２の情報処理装置２０００は、実施形態１の情報処理装置２０００と同様の機能を有する。

実施形態２の情報処理装置２０００は出力部２０８０を有する。出力部２０８０は、第２検出部２０６０によって移動体２０が検出された撮像画像３２を出力する。撮像画像３２を出力する方法は様々である。例えば出力部２０８０は、移動体２０が検出された撮像画像３２を記憶装置に出力することで、その記憶装置にその撮像画像３２を記憶させる。その他にも例えば、出力部２０８０は、移動体２０が検出された撮像画像３２をディスプレイ装置に出力することで、そのディスプレイ装置にその撮像画像３２を表示させる。その他にも例えば、出力部２０８０は、移動体２０が検出された撮像画像３２を情報処理装置２０００以外の端末に送信してもよい。例えば、移動体の監視を行っている監視員が利用している端末（以下、監視端末）に対し、移動体２０が検出された撮像画像３２を送信する。監視端末に受信された撮像画像３２は、例えば、監視端末に設けられているディスプレイ装置に表示される。

ここで、情報処理装置２０００は、第２検出部２０６０によって移動体２０が検出された後は、カメラ３０によって移動体２０が撮像され続けるように、カメラ３０に移動体２０を追従させる機能を有していてもよい。この場合、第２検出部２０６０によって移動体２０が検出された後に生成される各撮像画像３２には移動体２０が含まれる。すなわち、カメラ３０により、移動体２０を含む動画データが生成されるようになる。この場合、出力部２０８０は、第２検出部２０６０によって移動体２０が検出された撮像画像３２だけでなく、それ以降に生成された撮像画像３２も含めた動画データを出力してもよい。なお、カメラに特定のオブジェクトを追従させる技術には既存の技術を利用することができる。

＜ハードウエア構成の例＞
実施形態２の情報処理装置２０００を実現する計算機のハードウエア構成は、実施形態１と同様に、例えば図３によって表される。ただし、本実施形態の情報処理装置２０００を実現する計算機１０００のストレージデバイス１０８０には、本実施形態の情報処理装置２０００の機能を実現するプログラムモジュールがさらに記憶される。

＜作用効果＞
本実施形態の情報処理装置２０００によれば、移動体２０が検出された撮像画像３２が出力される。ここで、カメラ３０による撮像は、センサ１０を用いて特定された第１方向１２に沿って光軸方向３４を移動させながら行えばよいため、カメラ３０の撮像範囲はある程度狭くすることができる。例えば前述したように、カメラ３０として望遠カメラを利用することができる。よって、情報処理装置２０００によれば、移動体２０が大きく撮像された撮像画像３２を得ることができ、撮像画像３２を用いて移動体２０の外見を詳細に把握することができる。

［実施形態３］
図１２は実施形態３の情報処理装置２０００の機能構成を例示する図である。以下で説明する事項を除き、実施形態３の情報処理装置２０００は、実施形態１又は２の情報処理装置２０００と同様の機能を有する。

実施形態２の情報処理装置２０００は算出部２１００を有する。算出部２１００は、第２検出部２０６０によって検出された移動体２０の３次元位置を算出する機能を有する。情報処理装置２０００によれば、互いに異なる位置に設置されたセンサ１０とカメラ３０それぞれによって移動体２０が検出される。そのため、移動体２０の３次元位置は、センサ１０から移動体２０へ向かう方向（第１方向１２）と、カメラ３０から移動体２０へ向かう方向（以下、第２方向）との交点として定まる。そこで算出部２１００は、第１方向１２と第２方向の交点を算出し、その交点を移動体２０の３次元位置とする。

３次元位置は例えば、GPS 座標と高度の組み合わせとして表すことができる。具体的には、x 座標と y 座標をそれぞれ GPS 座標の x 座標と y 座標とし、z 座標を高度とする。その他にも例えば、移動体２０の３次元位置は、センサ１０やカメラ３０の位置を基準とした相対位置で表されてもよい。

なお、算出部２１００によって算出された移動体２０の３次元座標は、移動体２０が検出された撮像画像３２を出力部２０８０が検出する方法と同様の方法により出力されることが好ましい。例えば、撮像画像３２をディスプレイ装置に表示させる場合、撮像画像３２上の移動体２０の付近に、移動体２０の３次元位置の情報を重畳させて表示させることが好適である。

＜ハードウエア構成の例＞
実施形態３の情報処理装置２０００を実現する計算機のハードウエア構成は、実施形態１と同様に、例えば図３によって表される。ただし、本実施形態の情報処理装置２０００を実現する計算機１０００のストレージデバイス１０８０には、本実施形態の情報処理装置２０００の機能を実現するプログラムモジュールがさらに記憶される。

＜作用効果＞
本実施形態の情報処理装置２０００によれば、異なる位置に配置されたセンサ１０とカメラ３０のそれぞれから移動体２０へ向かう方向に基づいて、移動体２０の３次元位置を把握することができる。そして、このように算出した３次元位置を、移動体２０の監視や追跡などの様々な用途に利用することができる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態を組み合わせた構成や、上記以外の様々な構成を採用することもできる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

以下、参考形態の例を付記する。
１． センサを用いて移動体を検出し、前記センサから前記移動体へ向かう第１方向を特定する第１検出手段と、
第１カメラの光軸方向を前記第１方向に沿って移動させながら前記第１カメラに撮像を行わせる制御手段と、
前記第１カメラによって生成される第１撮像画像から前記移動体を検出する第２検出手段と、を有する情報処理装置。
２． 前記第２検出手段は、移動体が検出される前記第１撮像画像のうち、最も早く生成された第１撮像画像から検出される移動体を、前記センサによって検出される移動体として扱う、１．に記載の情報処理装置。
３． 前記センサは前記第１カメラよりも焦点距離が短い第２カメラであり、
前記第１検出手段は、前記第２カメラによって生成される撮像画像を画像解析することで前記移動体を検出する、１．又は２．に記載の情報処理装置。
４． 前記センサは音響センサであり、
前記第１検出手段は、検出すべき移動体が発する音の特徴を表す情報を取得し、前記特徴を持つ音が前記音響センサによって検出されたら、前記音響センサからその音の発生源へ向かう方向を前記第１方向として特定する、１．又は２．に記載の情報処理装置。
５． 前記センサは電波センサであり、
前記第１検出手段は、検出すべき移動体が発する電波の特徴を表す情報を取得し、前記特徴を持つ電波が前記電波センサによって検出されたら、前記電波センサからその電波の発生源へ向かう方向を前記第１方向として特定する、１．又は２．に記載の情報処理装置。
６． 前記制御手段は、前記センサによって検出された移動体のサイズに基づいて前記第１カメラの撮像方向の初期位置を決定し、前記第１カメラの撮像方向を前記初期位置から前記第１方向に沿って移動させる、１．乃至５．いずれか一つに記載の情報処理装置。
７． 前記制御手段は、前記第１方向上に前記第１カメラの焦点が位置するように、前記第１カメラの焦点距離を設定する、１．乃至６．いずれか一つに記載の情報処理装置。
８． 前記第１検出手段は前記第１方向を繰り返し特定し、
前記制御手段は、前記第１カメラの光軸方向を前記第１方向に沿って移動させている際に前記第１方向が新たに特定された場合、前記新たに特定された第１方向に沿って前記第１カメラの光軸方向を移動させる、１．乃至７．いずれか一つに記載の情報処理装置。
９． 前記移動体が検出された前記第１撮像画像を出力する出力手段を有する、１．乃至８．いずれか一つに記載の情報処理装置。
１０． 前記第１方向と、前記移動体が検出されたときの前記第１カメラの光軸方向とに基づいて、前記移動体の３次元位置を算出する算出手段を有する、１．乃至９．いずれか一つに記載の情報処理装置。

１１． コンピュータによって実行される制御方法であって、
センサを用いて移動体を検出し、前記センサから前記移動体へ向かう第１方向を特定する第１検出ステップと、
第１カメラの光軸方向を前記第１方向に沿って移動させながら前記第１カメラに撮像を行わせる制御ステップと、
前記第１カメラによって生成される第１撮像画像から前記移動体を検出する第２検出ステップと、を有する制御方法。
１２． 前記第２検出ステップにおいて、移動体が検出される前記第１撮像画像のうち、最も早く生成された第１撮像画像から検出される移動体を、前記センサによって検出される移動体として扱う、１１．に記載の制御方法。
１３． 前記センサは前記第１カメラよりも焦点距離が短い第２カメラであり、
前記第１検出ステップにおいて、前記第２カメラによって生成される撮像画像を画像解析することで前記移動体を検出する、１１．又は１２．に記載の制御方法。
１４． 前記センサは音響センサであり、
前記第１検出ステップにおいて、検出すべき移動体が発する音の特徴を表す情報を取得し、前記特徴を持つ音が前記音響センサによって検出されたら、前記音響センサからその音の発生源へ向かう方向を前記第１方向として特定する、１１．又は１２．に記載の制御方法。
１５． 前記センサは電波センサであり、
前記第１検出ステップにおいて、検出すべき移動体が発する電波の特徴を表す情報を取得し、前記特徴を持つ電波が前記電波センサによって検出されたら、前記電波センサからその電波の発生源へ向かう方向を前記第１方向として特定する、１１．又は１２．に記載の制御方法。
１６． 前記制御ステップにおいて、前記センサによって検出された移動体のサイズに基づいて前記第１カメラの撮像方向の初期位置を決定し、前記第１カメラの撮像方向を前記初期位置から前記第１方向に沿って移動させる、１１．乃至１５．いずれか一つに記載の制御方法。
１７． 前記制御ステップにおいて、前記第１方向上に前記第１カメラの焦点が位置するように、前記第１カメラの焦点距離を設定する、１１．乃至１６．いずれか一つに記載の制御方法。
１８． 前記第１検出ステップにおいて、前記第１方向を繰り返し特定し、
前記制御ステップにおいて、前記第１カメラの光軸方向を前記第１方向に沿って移動させている際に前記第１方向が新たに特定された場合、前記新たに特定された第１方向に沿って前記第１カメラの光軸方向を移動させる、１１．乃至１７．いずれか一つに記載の制御方法。
１９． 前記移動体が検出された前記第１撮像画像を出力する出力ステップを有する、１１．乃至１８．いずれか一つに記載の制御方法。
２０． 前記第１方向と、前記移動体が検出されたときの前記第１カメラの光軸方向とに基づいて、前記移動体の３次元位置を算出する算出ステップを有する、１１．乃至１９．いずれか一つに記載の制御方法。

２１． １１．乃至２０．いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。

１０ センサ
１２ 第１方向
２０ 移動体
３０ カメラ
３２ 撮像画像
３４ 光軸方向
４０ 第２カメラ
４２ 第２撮像画像
５０ タッチパネル
５２ ビデオ
５６ 領域
５８ ドローン
６０ 検出空間
６２ 位置
６４ 位置
１００ ビル
１１０ ビル
１２０ ドローン
１３０ 監視エリア
１０００ 計算機
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージデバイス
１１００ 入出力インタフェース
１１２０ ネットワークインタフェース
２０００ 情報処理装置
２０２０ 第１検出部
２０４０ 制御部
２０６０ 第２検出部
２０８０ 出力部
２１００ 算出部

Claims (6)

1. 第１カメラが撮像した撮像画像から移動体を検出する第１検出手段と、
   前記撮像画像上で検出された前記移動体の位置に基づいて、第２カメラの光軸方向を移動させ、前記第２カメラに撮像を行わせる制御手段と、
   前記第２カメラによって生成される第１撮像画像から前記移動体を検出する第２検出手段と、を有し、
   前記制御手段は、前記検出された前記移動体の位置の変化に基づき、前記第２カメラの光軸方向を変えるように制御し、
   前記第１検出手段は前記移動体の位置を繰り返し特定し、
   前記制御手段は、前記移動体の位置に基づき前記第２カメラの光軸方向を移動させている際に前記移動体の位置が新たに特定された場合、前記新たに特定された前記移動体の位置に基づき前記第２カメラの光軸方向を移動させる、情報処理装置。
2. 前記第２カメラは、前記第１カメラの画角よりも狭い画角で前記移動体を撮像する、請求項１に記載の情報処理装置。
3. 前記第１カメラは前記第２カメラよりも焦点距離が短く、
   前記第１検出手段は、前記第１カメラによって生成される撮像画像を画像解析することで前記移動体を検出する、請求項１に記載の情報処理装置。
4. 前記移動体が検出された前記第１撮像画像を出力する出力手段を有する、請求項１から３のいずれか一項に記載の情報処理装置。
5. コンピュータが、
   第１カメラが撮像した撮像画像から移動体を検出し、
   前記撮像画像上で検出された前記移動体の位置に基づいて、第２カメラの光軸方向を移動させ、前記第２カメラに撮像を行わせ、
   前記第２カメラによって生成される第１撮像画像から前記移動体を検出し、
   前記第２カメラの光軸方向を移動させる処理では、前記検出された前記移動体の位置の変化に基づき、前記第２カメラの光軸方向を変えるように制御し、
   前記移動体の位置を繰り返し特定し、
   前記移動体の位置に基づき前記第２カメラの光軸方向を移動させている際に前記移動体の位置が新たに特定された場合、前記新たに特定された前記移動体の位置に基づき前記第２カメラの光軸方向を移動させる、制御方法。
6. コンピュータを、
   第１カメラが撮像した撮像画像から移動体を検出する第１検出手段、
   前記撮像画像上で検出された前記移動体の位置に基づいて、第２カメラの光軸方向を移動させ、前記第２カメラに撮像を行わせる制御手段、及び、
   前記第２カメラによって生成される第１撮像画像から前記移動体を検出する第２検出手段、
   として機能させ、
   前記制御手段は、前記検出された前記移動体の位置の変化に基づき、前記第２カメラの光軸方向を変えるように制御し、
   前記第１検出手段は前記移動体の位置を繰り返し特定し、
   前記制御手段は、前記移動体の位置に基づき前記第２カメラの光軸方向を移動させている際に前記移動体の位置が新たに特定された場合、前記新たに特定された前記移動体の位置に基づき前記第２カメラの光軸方向を移動させる、プログラム。

Images