JP7671177B2 - 情報処理装置およびその制御方法ならびにプログラム - Google Patents

Description

本発明は、情報処理装置およびその制御方法ならびにプログラムに関する。

従来、ユーザが操作器からカメラを遠隔操作することで所望の映像を取得する、遠隔撮影システムが広く知られている。例えば、空港屋上に常設された雲台装置を放送局から遠隔操作することで、航空機の映像を撮影することができる。また、このような雲台装置に画像認識技術を搭載して、映像内に映る被写体を推定し、被写体の動きに合わせて自動的にカメラをパン、チルト、ズームを動作させ、被写体を追尾する自動追尾システムが知られている。このようなシステムでは、ユーザが操作器を操作しなくても、動きのある被写体を追尾して撮影することができる。

また、近年、機械学習モデルを用いた画像認識技術が知られている。特許文献１には、画像認識技術として機械学習モデルを使用して被写体を検出し、被写体の種類に応じて被写体検出の周期を変更するシステムが提案されている。特許文献１に記載の技術では、検出精度の低下を抑制しながら、適切な周期で被写体を検出することができる。

特開２０２０－９２３５４号公報

ところで、速度の速い被写体を撮影する場合には、被写体を推定する周期（画像を入力して被写体の推定を完了するまでの時間）を短くしなければ、被写体の推定に遅れが生じてしまう。一方、機械学習モデルを用いる場合、一般に、被写体を推定する周期と精度はトレードオフの関係となることが多い。被写体を推定する周期が長い場合には追尾に遅れが生じ、他方、被写体を推定する精度が低い場合、被写体の尤もらしさが低下し、画像が不鮮明な場合や小さい場合の被写体を推定できない場合があるなどの課題がある。そのため、機械学習モデルを用いた自動追尾システムでは、適切な周期と精度で被写体を推定できることが望ましい。この点、特許文献１で開示される技術では、被写体の種類のみを考慮しており、速度の速い被写体の推定については考慮していなかった。

本発明は、上記課題に鑑みてなされ、その目的は、移動する被写体を追尾撮影する場合に適切な周期と精度で被写体を推定することが可能な技術を実現することである。

この課題を解決するため、例えば本発明の情報処理装置は以下の構成を備える。すなわち、撮像手段のパン又はチルトを制御しながら撮影される動画を受信する受信手段と、前記動画を構成する画像に含まれる被写体を推定する推定手段と、を有し、前記推定手段は、前記画像を撮影する際の前記撮像手段のパン又はチルトの動作の速度に応じた、特性の異なる機械学習モデルを用いて、前記画像に含まれる被写体を推定し、前記特性は、機械学習モデルが前記画像を入力してから被写体の推定を完了するまでの時間と、前記機械学習モデルで被写体を推定する精度とを含む、ことを特徴とする。

本発明によれば、移動する被写体を追尾撮影する場合に適切な周期と精度で被写体を推定することが可能になる。

本発明に係る自動追尾システムの構成を示す図 本実施形態に係る自動追尾システムのハードウェア構成を示すブロック図 本実施形態に係る自動追尾システムのソフトウェア構成を示すブロック図 本実施形態に係る学習モデルおよび入出力データを説明するための図 本実施形態に係る学習段階の処理を含む情報処理装置の一連の動作を示すフローチャート 本実施形態に係る学習データの一例を示す図 本実施形態に係る自動追尾システム全体としての動作を説明する図 本実施形態に係る追尾モード処理の一連の動作を示すフローチャート 本実施形態における、学習モデルの変更について説明する図

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜撮影システムの構成＞
図１は、本発明を適用できるシステムを示す図であり、情報処理装置１００、雲台装置２００、操作装置３００、ネットワーク１５０で構成される。情報処理装置１００は、例えば、機械学習モデル（単に学習モデルという場合がある）を用いた画像認識技術を実行可能なパーソナルコンピュータである。しかし、情報処理装置１００はパーソナルコンピュータに限らず、機械学習モデルを用いた画像認識技術を実行可能な他の任意の機器であってよい。また、雲台装置２００及び操作装置３００はそれぞれ専用の装置である場合を例に説明するが、雲台装置２００及び操作装置３００のそれぞれの一部がパーソナルコンピュータやタブレット端末などの電子機器で構成されてもよい。

ユーザは操作装置３００を操作すると、操作に応じた命令が、ネットワーク１５０および情報処理装置１００を経由し、雲台装置２００に送信される。雲台装置２００が命令の内容に応じてカメラによる撮影を制御することにより、ユーザは雲台装置２００を遠隔操作することが可能になる。雲台装置２００で撮影された映像は、情報処理装置１００に送信され、情報処理装置１００は、自動追尾撮影に必要な各種演算および記録を行う。ネットワーク１５０は、公衆電話回線、移動体通信網或いはインターネット等の通信回線である。例えば、雲台装置２００および情報処理装置１００は、空港や鉄塔、テレビ局屋上といったスポットに設置され、操作装置３００はテレビ局内等に設置される。本実施形態では、例えば、情報処理装置１００および雲台装置２００が空港に設置され、自動追尾撮影の対象物が航空機である場合を例に説明する。

図２は、図１のシステムを構成する各装置のハードウェア構成の一例を示している。情報処理装置１００は、ＲＡＭ１０１、ＧＰＵ１０２、ＣＰＵ１０３、入力部１０４、記憶部１０５、シリアル通信部１０６、ネットワーク通信部１０７、ＵＩ部１０８を含む。雲台装置２００は、カメラ２０１、駆動部２０２、シリアル通信部２０３、ＣＰＵ２０４、記憶部２０５を含む。操作装置３００は、ネットワーク通信部３０１、操作部３０２、記憶部３０３、ＣＰＵ３０４、表示部３０５を含む。

情報処理装置１００の構成について説明する。ＲＡＭ１０１は、例えば揮発性のメモリであり、ＣＰＵ１０３の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＣＰＵ１０３は、１つ以上のプロセッサを含み、例えば記憶部１０５に格納されるプログラムに従い、ＲＡＭ１０１をワークメモリとして用いて、情報処理装置１００の各部を制御する。ＧＰＵ１０２は、１つ以上のプロセッサを含み、データをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングのようなディープニューラルネットワーク（ＤＮＮ）の学習モデルを用いて複数回に渡り学習を行う場合、ＧＰＵ１０２による演算は有効である。

入力部１０４は、映像信号を情報処理装置１００に入力するためのインターフェイスであり、例えばＵＳＢ等の各種通信インターフェイスである。記憶部１０５は、例えば不揮発性のメモリであり、画像データやその他のデータ、ＣＰＵ１０３が動作するための各種プログラム等が、それぞれ所定の領域に格納されている。シリアル通信部１０６は、ＣＰＵ１０３の制御に基づき、雲台装置２００と通信するためのインターフェイスである。ネットワーク通信部１０７は、ＣＰＵ１０３の制御に基づき、ネットワーク１５０を介して操作装置３００と通信するための通信インターフェイスである。ＵＩ部１０８は、情報処理装置１００を操作するユーザからの操作入力を受け付け、ユーザへ情報処理装置１００の情報を表示するためのユーザインターフェイスである。ＵＩ部１０８は、キーボードやマウス、ディスプレイ、タッチパネルを含んでよい。

次に、雲台装置２００のハードウェア構成について説明する。カメラ２０１は、撮像センサを含み、雲台装置２００が設置された周囲を撮影し、目標被写体を映した画像を順次出力する（すなわち映像を出力する）。カメラ２０１は撮影倍率を変更可能な光学ズームレンズを含み、ＣＰＵ２０４からカメラ２０１にズーム制御命令を送信することで、撮像映像の倍率を変更することができる。さらに、カメラ２０１は撮像された画像の一部を局所的に拡大させるデジタルズーム機能も有する。デジタルズームは、前記光学ズームでは倍率が足りない場合、すなわち、より撮影映像を拡大したい場合に実行される。また、カメラ２０１は、情報処理装置１００の入力部１０４と有線で接続され、撮影した映像信号を情報処理装置１００へ出力する。

駆動部２０２は、雲台装置２００をパン、チルト方向に旋回させるためのアクチュエータ、その駆動回路、及び周辺回路を含む。雲台装置２００が目標被写体に対し、パン、チルト方向に旋回することで、目標被写体を追尾する映像を撮影することができる。シリアル通信部２０３は、情報処理装置１００のシリアル通信部１０６と接続され、ＣＰＵ２０４の制御に基づき、情報処理装置１００と通信するためのインターフェイスである。ＣＰＵ２０４は、１つ以上のプロセッサを含み、例えば記憶部２０５に格納されるプログラムに従い、雲台装置２００の各部を制御する。記憶部２０５は、不揮発性のメモリであり、雲台装置２００の設定データやその他のデータ、ＣＰＵ２０４が動作するための各種プログラム等が、それぞれ所定の領域に格納されている。

更に、操作装置３００のハードウェア構成について説明する。ネットワーク通信部３０１は、ＣＰＵ３０４の制御に基づき、ネットワーク１５０を介して情報処理装置１００と通信するための通信インターフェイスである。操作部３０２は、ジョイスティック、操作レバーや各種スイッチであり、操作者は、これを操作することで、雲台装置２００のパンやチルトの旋回制御やズーム制御、ゲインなどの調整を行う。記憶部３０３は、例えば不揮発性のメモリであり、操作装置３００の設定データやその他のデータ、ＣＰＵ３０４が動作するための各種プログラム等が、それぞれ所定の領域に格納されている。ＣＰＵ３０４は、例えば記憶部３０３に格納されるプログラムに従い、操作装置３００の各部を制御する。表示部３０５はＬＥＤを含み、雲台装置２００のステータスや警告等をユーザに通知する。表示部３０５はタッチパネルを含んでもよい。

次に、図３を参照して、自動追尾システムのソフトウェア構成について説明する。

まず、情報処理装置１００のソフトウェア構成について説明する。情報処理装置１００は、学習部１５０、データ記憶部１５１、学習モデル設定部１５２、モード管理部１５３、画像処理部１５４、推定部１５５、推定結果処理部１５６、雲台制御部１５７を含む。これらの各部は、情報処理装置１００のＣＰＵ１０３或いはＧＰＵ１０２がプログラムを実行することにより実現され、或いは、記憶部１０５やネットワーク通信部などの他の構成において実現されてよい。

学習部１５０は、推定部１５５で機械学習モデル（単に学習モデルともいう）による推定段階の処理を行う前に、機械学習モデルを学習させる学習段階の処理を実行する。学習段階の処理については後述する。データ記憶部１５１は、自動追尾撮影した映像の記録処理や、学習データの記録処理を行う。学習モデル設定部１５２は、雲台制御部１５７が出力する雲台のパン、チルト、ズームの制御情報から学習モデルを切り替え、推定部１５５で使用する。学習モデルは、処理時間や推定精度などの特性の異なる複数の学習モデルを含む。学習モデル設定部１５２による学習モデルの切り替えや、学習モデルの具体例については後述する。

モード管理部１５３は、情報処理装置１００の動作モードを管理する。動作モードは、学習モード、自動追尾モード、マニュアルモードの３モードを含む。各モードの詳細な内容については後述する。画像処理部１５４は、雲台装置２００から映像を受信して、受信した映像の処理を行う。映像の処理は、例えば、画像のリサイズや、輝度調整を含む。推定部１５５は、画像処理部１５４の出力映像を入力データとして、学習部１５０での処理によって学習済みとなった学習モデルを用いて推定段階の処理を行う。

推定結果処理部１５６は、推定部１５５の出力に対し、各種ノイズ処理、平均化処理を実施し、追尾対象である目標被写体の画像内の位置（被写体現在位置）を出力する。雲台装置２００で撮影する映像には、追尾対象以外のノイズ（航空機以外の航空機や、背景の一部や雲など航空機と見間違えるもの）が存在する。推定結果処理部１５６は、これらのノイズを処理し、信頼度の高い被写体現在位置を出力する役割を果たす。

雲台制御部１５７は、前述したモードに応じて、雲台装置２００を制御する制御信号を演算する。雲台制御部１５７は、現在のモードが自動追尾モードである場合、被写体の現在位置と、追尾目標位置（追尾撮影中に撮影画面内で被写体を保持したい位置）を基に、雲台装置２００を制御する制御信号を演算し、出力する。さらに、雲台制御部１５７は、現在のモードがマニュアルモードである場合、操作装置３００からの指令を出力する。

なお、学習部１５０による処理にはＣＰＵ１０３に加えてＧＰＵ１０２を用いてよい。例えば、学習モデルを用いた学習段階の処理を実行する場合に、ＣＰＵ１０３とＧＰＵ１０２が協働して演算を行う。なお、学習部１５０の処理はＣＰＵ１０３またはＧＰＵ１０２のみにより演算が行われても良い。また、推定部１５５も学習部１５０と同様にＧＰＵ１０２を用いても良い。

次に、雲台装置２００のソフトウェア構成について説明する。雲台装置２００は、パンチルト制御部２５０、カメラ制御部２５１、設定管理部２５２、通信部２５３を含む。パンチルト制御部２５０は、通信部２５３で受信した駆動命令に基づいて、カメラ２０１のパン、チルトを駆動するための信号を、駆動部２０２へ出力する。カメラ制御部２５１は、通信部２５３で受信した命令に基づいて、カメラを制御するための信号を、カメラ２０１へ出力する。設定管理部２５２は、操作装置３００の設定を管理し、具体的な設定項目として、パン、チルトの最高速や、駆動可能範囲などが挙げられる。通信部２５３は、あらかじめ定めた通信ルール（プロトコル）に従って、制御命令やステータス情報のやり取りを、情報処理装置１００の雲台通信部１５８と行う。

更に、操作装置３００のソフトウェア構成について説明する。操作装置３００は、通信部３５０、表示部３５１を含む。通信部３５０は、あらかじめ定めた通信ルール（プロトコル）に従って、制御命令やステータス情報のやり取りを、情報処理装置１００と行う。

なお、上述のソフトウェア構成における機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。

次に、図４を参照して、本実施形態における学習モデルの入出力の構造について説明する。入力データ４００は、雲台装置２００で撮影された後、情報処理装置１００の画像処理部１５４で処理された画像データである。なお、雲台装置２００は動画を撮影するため、実際には、画像処理部１５４から動画像中の各フレームが順次出力される。

出力データ４０１は、例えば、入力データ４００内に存在するオブジェクトのタグ、座標、尤度の情報を含む。タグは学習時に入力した学習用データに含まれるタグの中から選択される。学習用データの詳細については後述する。座標は、座標１と座標２の２点の情報を含む。例えば、これらの座標は、図４の画像４０２に示すように、推定したオブジェクトの外接枠の左上（座標１）と、右下（座標２）の位置を示す。この２点の座標から、オブジェクトのサイズや中心点座標が演算される。尤度は０～１の値であり、値が高いほど出力したタグに対する推定の信頼度が高いことを示す。

学習モデル４０３は、例えばニューラルネットワークによって構成され、ニューラルネットワークの内部パラメータは学習部１５０による学習段階の処理によって生成され或いは求められる（最適化される）。なお、学習部１５０は、誤差検出部と、更新部を備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、教師データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと教師データとの誤差を計算するようにしてもよい。更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。

＜情報処理装置における一連の動作＞
次に、図５を参照して、学習段階の処理を含む情報処理装置１００の一連の動作を説明する。なお、ＣＰＵ１０３及びＧＰＵ１０２が記憶部１０５に格納されたプログラムを実行することにより、本処理の学習部１５０などの動作を実現する。

学習部１５０は、まずステップＳ５００で現在のモードが学習モードか否かを判定する。学習部１５０は、情報処理装置１００の動作モードが学習モードである場合はステップＳ５０１に進み、そうでない場合は、ステップＳ５０７に進む。

ステップＳ５０１では、学習部１５０は、複数の学習モデルのうち学習させる学習モデルを受け付ける。複数の学習モデルは、それぞれ被写体を推定する手法や推論前の前段処理、後段処理、及びニューラルネットワークの構造の少なくともいずれかの違いから、処理負荷が異なり、それにより被写体を推定する周期と精度の異なる学習モデルで構成される。被写体を推定する周期は、学習モデルが画像を入力してから、被写体の推定を完了する（検出結果を出力する）までの時間である。また、被写体を推定する精度（すなわち被写体検出の精度）は、前述の座標１と座標２と実際のオブジェクトのある座標との一致の度合いである。被写体を推定する精度が高い学習モデルは、不鮮明な画像や小さい被写体の画像が入力される場合であっても前述の尤度が高い。すなわち、被写体を推定する精度が高い学習モデルは、画像内の被写体の大きさが所定の大きさよりも小さい場合であっても当該被写体を推定可能である。

被写体を推定する手法に違いがある複数の学習モデルの具体例として、YOLOとR-CNNのような学習モデルがある。YOLOは入力画像を複数の領域に分割し、分割した領域で分類を行う。これにより、位置推定のための処理を削減し、推定周期を短くすることが可能である。それに対してR-CNNでは、オブジェクトの位置推定の後に分類を行う。これにより高い推論性能と位置検出が可能である。

YOLOとR-CNNを比較すると、YOLOは、被写体を推定する周期がR-CNNより短いが、精度はR-CNNより低い。一方、R-CNNは被写体を推定する周期はYOLOより長いが、精度はYOLOより高いことが知られている。

前段処理や後段処理の違いがある複数の学習モデルの具体例として、SSD300とSSD512がある。一般的に学習モデルで推論処理を行う際に、推論の前段処理で入力画像の圧縮を行う。その際にSSD300では入力画像を縦横300ピクセルに圧縮して、学習モデルに入力する。一方、SSD512では入力画像を縦横512ピクセルに圧縮して、学習モデルに入力する。これによりSSD300は、SSD512より被写体を推定する周期は短いが、SSD512より精度が低い。一方、SSD512はSSD300より被写体を推定する周期は長いが、SSD300より精度が高いことが知られている。

ニューラルネットワークの構造の違いがある複数の学習モデルの具体例として、上述のYOLOとTiny-YOLOのような学習モデルがある。Tiny-YOLOはYOLOと推論の前段処理及び後段処理が同じであるが、ニューラルネットワークの構造がYOLOより簡略化されており、それによりYOLOより被写体を推定する周期を短くすることができる。

なお、以下の説明では、YOLOとR-CNNを使用する場合を例に説明する。YOLOは、相対的に精度は低いが、より短い周期で被写体推定を実行可能な学習モデル（学習モデル１）の一例である。R-CNNは、相対的に周期は長いが、より精度の高い被写体推定の実行可能な学習モデル（学習モデル２）の一例である。また、上述の例では、YOLOやR-CNN、SSD300、SSD512、Tiny-YOLOを被写体を推定するための学習モデルの例として説明をしたが、これに限らず、精度と周期の関係を満たす他の学習モデルを使用して良い。

ステップＳ５０２では、学習部１５０は、学習用データを受け付ける。図６は、学習段階における、学習用データの一例を示している。学習用データでは、画像（入力データ）と画像中に含まれる目的被写体のタグ（教師データ）とが紐づけられている。なお、入力データである画像に含まれる目的被写体（オブジェクト）はひとつであることが好ましく、画像サイズは、複数の学習用データ間で同一であることが好ましい。本実施形態の例では、空港で航空機の自動追尾撮影を行うため、入力データとして航空機が被写体として含まれる画像を学習データとして、学習モデルを学習させる。また、目的被写体の画像は、予め雲台装置２００を用いて撮影・記録すればよい。学習用データのうちの教師データは、前述した目的被写体を含んだ画像から、目的被写体が何であるかを人が目視で判断して、設定する。

再び図５に戻り、ステップＳ５０３では、学習部１５０は、受け付けた学習用データが決められたルールに則ったもの（例えば、図６に示す学習用データの形式である）か否かを判定する。学習部１５０は、ルール通りであると判定した場合は、ステップＳ５０４に進み、そうでない場合はステップＳ５０２に戻る。ステップＳ５０４では、学習部１５０は、受け付けたデータ学習用データを学習モデルに入力し、ステップＳ５０５において学習モデルの学習を行う。なお、学習モデルの学習は、図４を参照して説明したように実行される。

ステップＳ５０６では、学習部１５０は、学習用データを全て学習したか否かを判定し、全て学習した場合は処理を終了し、そうでなければステップＳ５０２に戻る。以上の処理によって、学習モデル４０３の内部パラメータが決定され、推定部１５５により推定処理が実行される際の基となる学習モデルが生成される。

なお、ステップＳ５０７以降の処理は、前述した動作モードが、マニュアルモードもしくは、追尾モードである場合に実行される処理である。ステップＳ５０７では、学習部１５０は、現在の動作モードがマニュアルモードか否かを判定し、動作モードがマニュアルモードであると判定した場合は、ステップＳ５０８に進み、そうでなければ、ステップＳ５１０に進む。

ステップＳ５０８では、雲台制御部１５７は、操作装置３００の指令を受信し、その後、ステップＳ５０９では、受信した指令を雲台装置２００へ送信して、本処理を終了する。ステップＳ５１０では、情報処理装置１００のいくつかの処理部により、後述する追尾モード処理を実行する。

＜自動追尾システムにおける自動追尾動作＞
次に、図７を参照して、図４で示した学習モデルを自動追尾システムに適用した場合の、自動追尾動作について説明する。まず、Ｓ７０１では、操作装置３００から情報処理装置１００に追尾開始命令が送信される。追尾開始命令は、ユーザが、操作装置３００の所定の操作部３０２を操作することで実行される。続いて、Ｓ７０２では、情報処理装置１００は、雲台装置２００に対し、追尾開始位置命令を送信する。追尾開始位置は、自動追尾撮影を開始する雲台装置２００のパン、チルト、ズームの位置であり、ユーザが操作部３０２を操作することで、あらかじめ設定しておく。

Ｓ７０３では、追尾開始位置命令を受信した雲台装置２００は、パン、チルト、ズームを開始位置に移動する。雲台装置２００は、パン、チルト等の位置が開始位置に到達したら、Ｓ７０４において、情報処理装置１００へ開始位置に到達したこと及び映像信号を送信する。

Ｓ７０５では、情報処理装置１００は、記憶部１０５に雲台装置２００からの映像信号を記録する記録処理を開始し、続いて、Ｓ７０６－１では、受信した映像信号内から、推定処理を行う。さらに、Ｓ７０６－２では、情報処理装置１００は、推定結果処理部１５６、雲台制御部１５７によって雲台制御命令を演算し、Ｓ７０７では、演算した制御命令を雲台装置２００へ送信する。

Ｓ７０８では、雲台装置２００は、受信した制御命令に従ってパン、チルト等の制御を行い、Ｓ７０９において、撮影した映像信号を情報処理装置１００へ送信する。以降、Ｓ７０６－１～Ｓ７０９の処理が実行されることで、目標被写体の自動追尾撮影が可能となる。

＜情報処理装置における追尾モード処理の一連の動作＞
次に、図８を参照して、情報処理装置１００における、追尾モード処理（推定段階における推定処理）について説明する。なお、ＣＰＵ１０３及びＧＰＵ１０２が記憶部１０５に格納されたプログラムを実行することにより、本処理の推定部１５５などの動作を実現する。

ステップＳ８００では、学習モデル設定部１５２は、雲台装置２００に送信したパン、チルトの速度を雲台制御部１５７から取得する。続いて、ステップＳ８０１では、学習モデル設定部１５２は、雲台装置２００のパンもしくはチルトの速度が所定値以上であるか否かを判定する。所定値は予め実験等により定めた数値であってよく、追尾状況と追尾中のパン、チルトの速度を計測し、追尾状況の切り替わり時のパン、チルトの速度とする。追尾状況とパン、チルトの速度、使用する学習モデルの関係については、図９の説明にて後述する。学習モデル設定部１５２は、パン、チルトの速度が所定値以上である場合は、ステップＳ８０２に進み、そうでない場合は、ステップＳ８０８に進む。

ステップＳ８０２では、学習モデル設定部１５２は、学習モデル１に切り替える。一方、ステップＳ８０８では、学習モデル設定部１５２は、学習モデル２に切り替える。学習モデル設定部１５２は、切り替える学習モデルを、情報処理装置１００に保持している複数の学習モデルの中から選択する。すなわち、学習モデル設定部１５２は、雲台装置２００のパン又はチルトの動作の速度が所定値以上である場合、被写体の推定を完了するまでの時間が短い学習モデル（学習モデル１）を使用する。また、雲台装置２００のパン又はチルトの速度が所定値より小さい場合、被写体を推定する精度が高い学習モデル（学習モデル２）を使用する。

ステップＳ８０３では、画像処理部１５４は、雲台装置２００から受信した画像に対し、サイズの変更（リサイズ）を行う。入力画像のサイズを小さくすることで、推定部１５５の処理時間を削減することができる。ステップＳ８０４では、画像処理部１５４は、リサイズした画像データを学習モデルに入力する。

ステップＳ８０５では、推定部１５５は推定処理を行う。ステップＳ８０６では、推定処理の結果から、推定結果処理部１５６は、推定対象が含まれるかを判定する。本実施形態では、例えば、推定対象は航空機である。推定結果処理部１５６は、推定対象が含まれる場合ステップＳ８０７に進み、そうでない場合はステップＳ８９０に進む。Ｓ８０７の処理については後述する。

ステップＳ８９０では、雲台制御部１５７は、雲台装置２００に停止指令を送信し、ステップＳ８９１に進む。ステップＳ８９１では、学習モデル設定部１５２は、現在の動作モードをマニュアルモードに設定し、本処理を終了する。このように、推定部１５５により、推定対象が出力されなかった場合、情報処理装置１００は、追尾対象が撮影可能範囲から消失したと判断し、追尾モードを終了する。

ここで、図９（ａ）～（ｃ）を参照して、学習モデルの変更について説明する。図９（ａ）～（ｃ）は、着陸している航空機を追尾する場合を例に、学習モデルが切り替えられるいくつかの段階を示している。図９の例では、航空機の着陸の段階に応じて、追尾に求められるパン、チルトの速度や、必要な被写体推定の周期や精度が異なる。初期設定では、航空機の着陸を追尾するときはズームをテレ側にし、パン、チルトを航空機の航路が画角内に入るように設定して静止させる。このとき、被写体を推定する周期は長いが、被写体を推定する精度が高い学習モデル（学習モデル２）を設定する。

図９（ａ）は、航空機が滑走路に着陸するために空港に近づいている段階を示している。この場合、航空機は空港屋上の雲台から離れており、ズームをテレ側に移動した状態であっても航空機は雲台のカメラの画角内では小さい。このため、小さい被写体を推定可能な精度の高い学習モデルが求められるが、精度の高い学習モデルでは被写体を推定する周期が長い（すなわち推定に時間がかかる）。しかし、上述のように航空機は雲台のカメラの画角内では小さいため、画角内での航空機の相対移動速度は小さい。従って、被写体の追尾に求められるパン、チルトの速度は低い。この段階では、被写体を推定する周期が長いとしても、航空機の相対移動速度は小さいために、追尾への影響は小さい。そのため、航空機が滑走路に着陸するために空港に近づいている段階では精度の高い学習モデル２を使用することで、被写体を推定する周期と精度の最適化が可能である。

図９（ｂ）は、航空機が着地し、滑走路を走る段階を示している。この場合、航空機が空港屋上の雲台に近く、ズームをワイド側に移動した状態でも画角内での航空機の相対速度が大きい。このため、追尾に必要なパン、チルトの速度は大きい。航空機の相対移動速度が大きい場合、推定の遅れが追尾に与える影響が大きい。このため、被写体を推定する周期が短い学習モデルが求められる。被写体を推定する周期の短い学習モデルでは被写体を推定する精度が低くなり、画像が不鮮明な場合の被写体や小さい被写体の推定精度が低下する。しかし、前述のように航空機は雲台のカメラの画角内では大きいため、相対的に被写体を推定する精度の低い学習モデルを用いる場合であっても航空機を検出することができる。従って、航空機が着地し、滑走路を走る段階では、被写体を推定する周期の短い学習モデル（学習モデル１）を使用することで、被写体を推定する周期と精度の最適化が可能である。

図９（ｃ）は、航空機が着陸し、滑走路から空港のターミナルへ移動する段階を示している。この場合、物理的に航空機の速度が低く、追尾に求められるパン、チルトの速度は低い。また、ズームをワイド側に移動した状態でも航空機は雲台のカメラの画角内では大きい。この段階では、被写体の推定結果に推定の遅れが含まれたとしても、航空機の速度が小さいために、追尾への影響は小さい。そのため、被写体を推定する精度の高い学習モデル（学習モデル２）を使用することができる。

このように、航空機の着陸の段階に応じて、追尾に求められるパン、チルトの速度や被写体推定の周期や精度が異なる。本実施形態では、画角内の航空機の大きさや速度を参照するのではなく、パン、チルトの速度を参照する。これは、画角内の航空機の速度が相対値であるのに対し、パン、チルトの速度は絶対値であるために、学習モデルの切り替えの判定が容易になる。雲台装置が航空機を追尾する場合、画角から算出できる航空機の速度は相対速度であり、正確な航空機の速度の算出が困難である。航空機との背景分離を行うことで背景から速度の算出が可能であるが、航空機の撮影の場合、背景分離が困難な青空などが背景である場合が多い。それに対して、パン、チルトの速度は絶対値であり、操作装置３００から取得可能であることから、容易に学習モデルの切り替えの判断が可能である。

再び図８に戻り、ステップＳ８０７では、推定結果の座標と、追尾目標位置との差分を基に、パン、チルトの制御命令を演算する。そして、推定結果のサイズと追尾目標サイズを基にズームの制御命令を演算し、両信号を雲台装置２００に送信する。追尾目標位置は、被写体を追尾する際に被写体を撮像すべき予め定めた画像内の位置を示す。追尾目標サイズは、被写体を追尾する際に被写体を撮像すべき予め定めた画像内の大きさを示す。追尾目標位置と追尾目標サイズは予め情報処理装置１００に登録しておけばよい。一例として、追尾目標位置は画面内の中心座標とし、追尾目標サイズを画面の３０％のサイズとすることができるが、これに限らない。また、追尾目標位置と追尾目標サイズは、操作装置３００から情報処理装置１００に設定できる構成としても良い。

以上の処理により、雲台装置２００は制御命令に従って旋回、変倍制御がされ、該制御中の映像が、情報処理装置１００に再び入力されることで、処理が繰り返され、自動追尾撮影が実現できる。このように追尾モードの処理では、雲台装置２００のパン、チルトの速度に基づき、推定段階の処理を実行するための最適な学習モデルを変更することができる。

なお、上記実施形態では、航空機が着陸するシーンを自動追尾撮影する場合を例として説明をしたが、これに限らず、航空機が離陸するシーンを自動追尾撮影しても良い。

また、学習モデルの初期値は、パン、チルト、ズーム動作前に入力された映像のフレーム差分から航空機の速度を演算したうえで、演算した速度に応じて決定されても良い
更に、学習モデルの切り替えは、一時的に２つの学習モデルで被写体を推定しておき、両者の推定結果が略一定になった場合に切り替える構成としても良い。

また、本実施形態では、航空機の着陸を例に、情報処理装置１００が、雲台装置のパン、チルトの速度を参照し、学習モデルの切り替えを行う場合を例として説明をした。しかし、これに限らず、情報処理装置１００は、ズームの速度を参照して、学習モデルの切り替えを行ってもよい。

更に、本実施形態では、情報処理装置１００と雲台装置２００間を有線の映像信号線で接続したが、これに限らず、公衆電話回線やインターネット等の通信回線、或いは無線通信で接続しても良い。

また、上述した情報処理装置１００の各処理部のうち、推定部１５５については、学習済み学習モデルを用いて処理を実行するようにした。しかし、ルックアップテーブル（ＬＵＴ）等を用いて、予め定めた決定論的なルールベースの処理を行ってもよい。その場合には、例えば、入力データと出力データとの関係をあらかじめＬＵＴとして作成する。そして、この作成したＬＵＴを情報処理装置１００の記憶部１０５に格納しておくとよい。推定部１５５の処理を行う場合には、この格納されたＬＵＴを参照して、出力データを取得することができる。つまりＬＵＴは、同等の処理をするためのプログラムとして、ＣＰＵあるいはＧＰＵなどと協働で動作することにより、推定部１５５の処理を行ってもよい。

以上説明したように本実施形態では、情報処理装置１００が、雲台装置２００のカメラのパン又はチルトを制御しながら撮影される動画を受け付けて、当該動画を構成する画像に含まれる被写体を推定するようにした。このとき、画像を撮影する際の雲台装置２００のカメラのパン又はチルトの動作の速度に応じた、特性の異なる機械学習モデル（すなわち学習モデル１又は学習モデル２）を用いて、画像に含まれる被写体を推定するようにした。このようにすることで、移動する被写体を追尾撮影する場合に適切な周期と精度で被写体を推定することが可能になる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…情報処理装置、１５０…学習部、１５２…学習モデル設定部、１５３…モード管理部、１５４…画像処理部、１５５…推定部、１５６…推定結果処理部、１５７…雲台制御部

Claims (11)

1. 撮像手段のパン又はチルトを制御しながら撮影される動画を受信する受信手段と、
   前記動画を構成する画像に含まれる被写体を推定する推定手段と、を有し、
   前記推定手段は、前記画像を撮影する際の前記撮像手段のパン又はチルトの動作の速度に応じた、特性の異なる機械学習モデルを用いて、前記画像に含まれる被写体を推定し、
   前記特性は、機械学習モデルが前記画像を入力してから被写体の推定を完了するまでの時間と、前記機械学習モデルで被写体を推定する精度とを含む、ことを特徴とする情報処理装置。
   
2. 前記特性の異なる機械学習モデルは、第１機械学習モデルと第２機械学習モデルとを含み、前記第１機械学習モデルは、前記第２機械学習モデルよりも前記被写体を推定する精度が高く、且つ、前記第２機械学習モデルよりも前記推定を完了するまでの時間が長い、ことを特徴とする請求項１に記載の情報処理装置。
3. 推定手段は、前記撮像手段のパン又はチルトの動作の前記速度が所定値以上である場合に、前記第１機械学習モデルよりも前記推定を完了するまでの時間が短い前記第２機械学習モデルを使用し、当該速度が前記所定値より小さい場合、前記第２機械学習モデルよりも前記被写体を推定する精度が高い前記第１機械学習モデルを使用する、ことを特徴とする請求項２に記載の情報処理装置。
4. 前記被写体を推定する精度が高い前記第１機械学習モデルは、画像内の被写体の大きさが所定の大きさよりも小さい場合であっても当該被写体を推定可能である、ことを特徴とする請求項２又は３に記載の情報処理装置。
5. 前記撮像手段は、更にズームの制御が可能であり、
   前記推定手段は、前記画像を撮影する際の前記撮像手段のズームの動作の速度に応じた、前記特性の異なる機械学習モデルを用いて、前記画像に含まれる被写体を推定する、ことを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記推定した被写体の前記画像内の位置と、被写体を追尾する際に被写体を撮像すべき予め定めた画像内の位置との差分に基づいて、前記撮像手段のパン又はチルトを制御するための制御信号を生成する制御手段を更に有する、ことを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
7. 前記推定した被写体の前記画像内の大きさと、被写体を追尾する際に被写体を撮像すべき予め定めた画像内の被写体の大きさとの差分に基づいて、前記撮像手段のズームを制御するための制御信号を生成する制御手段を更に有する、ことを特徴とする請求項５に記載の情報処理装置。
8. 前記制御手段により生成された前記制御信号を、前記撮像手段に送信する通信手段を更に有する、ことを特徴とする請求項６又は７に記載の情報処理装置。
9. 前記機械学習モデルは、ディープニューラルネットワークで構成されるモデルを含む、ことを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
10. 撮像手段のパン又はチルトを制御しながら撮影される動画を受信する受信工程と、
    前記動画を構成する画像に含まれる被写体を推定する推定工程と、を有し、
    前記推定工程では、前記画像を撮影する際の前記撮像手段のパン又はチルトの動作の速度に応じた、特性の異なる機械学習モデルを用いて、前記画像に含まれる被写体を推定し、
    前記特性は、機械学習モデルが前記画像を入力してから被写体の推定を完了するまでの時間と、前記機械学習モデルで被写体を推定する精度とを含む、ことを特徴とする情報処理装置の制御方法。
11. コンピュータを、請求項１から９のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images