JP4709101B2 - 自動追尾カメラ装置 - Google Patents

Description

本発明は、連続的に画像を取得可能なカメラを備え、人物等の目標とする対象物を自動的に追尾する自動追尾カメラ装置に関する。

従来、撮影方向の遠隔操作や自動制御を目的とした、パンチルト旋回機構を有するカメラが知られている。一方、画像認識や超音波探知、温度センサによる検知等の技術を用いて、人物等の特定対象の位置や移動速度等を検出する技術が知られている。後者の技術を用いて所定の対象物の位置や移動速度を検知して、その値を元にして前者のカメラの旋回制御を行えば、自動で対象物をカメラ撮影範囲内に収める追尾動作を行うことが出来る。特に、検知手段としてパンチルトカメラが有しているカメラを用いて認識技術により対象物を検知すれば、新たなセンサを別途用意することがなく追尾が可能となるので、コンパクトで経済的である。また検知と撮影方向制御を同じカメラで行うので、センサと旋回カメラが別である装置と比較して、構成が簡単であるという特徴がある。

この種の自動追尾カメラ装置の用途としては、例えば、不審者の監視、工場での目標物の追跡、テレビのスポーツ中継における画角の制御等のシステムがある。また、その制御法としては、画像から、画像内の対象物の位置を検出して、旋回カメラの駆動角度を指定し、カメラ側のサーボコントローラやステッピングモータのパルス数指令で旋回を制御する方法が一般的である。別の方法としては、下記特許文献１に示されるように、対象物を検知して対象物領域の画像の動き（モーションブラー）をできるだけ小さくするよう旋回カメラの速度を制御する方法がある。また、下記特許文献２に示されるように、画像内の対象物の目標位置とのズレを検知して、適当なゲインをかけて旋回カメラのアクチュエータを直接制御する方法（ビジョンフィードバック制御）等が知られている。
特開平０５−３０４０６号公報 特開２００２−１８９５１９号公報

しかしながら、画像を用いる対象物検知法では、画像の取得そのものに時間がかかる。一般的なビデオカメラでは、画像取得レートは３０フレーム毎秒である。また、その後の対象物の検出処理にも、画像取得と同等以上の時間がかかるのが普通である。

一方、旋回カメラの旋回駆動制御は、一般には（ビジョンフィードバック制御等の場合を除いて）、カメラ側の旋回機構に付属しているセンサを用いて行われる。例えば、ロータリエンコーダ等の角度センサやジャイロセンサ等の加速度センサ乃至速度センサ、モータの電流センサ等を用いて行われる。この他には、ステッピングモータを用いて駆動パルス数を制御する方法等が用いられる。これらは、一般には、画像を用いるセンシングより高速で、数十倍から数千倍以上のサンプリングレートを実現することも可能である。

図３５は、従来の自動追尾カメラ装置における旋回駆動制御を示すブロック図である。この装置では、図３５に示すように、画像検出結果から対象物の位置と目標位置とのズレを求め、その値からカメラの目標座標を設定して、その値になるようにカメラ側の高速センサを使って制御する。図３５におけるブロックＳ１０１〜Ｓ１０７までの所要時間に対して、制御演算ブロックＳ１１０等によって、カメラの旋回制御であるＳ１０９〜Ｓ１１１を高速で行っている。

図３６は、図３５の構成にて駆動した場合のカメラ位置の時間応答を示す図である。図３７は、同じ場合のカメラ速度の時間応答を示す図である。この様な構成では、位置をベースに制御を行うので、適切に制御系が構成されていれば、累積による位置ズレが生じることはない。しかしながら、目標位置に到達するまでに急加速急減速を行うため動きが滑らかでないという問題があった。

すなわちＳＴＯＰ−ＧＯ（駆動停止と駆動）の繰り返しによってその周期に同期した振動が生じたり、異音が発生したりする恐れがある。この振動は、画像ぶれ等を起こして、取得される画像の画質にも悪影響を及ぼす。また、設計次第では、図３７に示すように、位置変動が少ない安定的な時間帯に画像取得を行うことが可能であるが、その間は速度が０となるため追尾対象との速度差が大きい確率が高い。

このため、取得される画像は、図３８に示すように、背景はぶれがないが追尾対象がぶれているものとなる。次の目標位置はこの画像を元に決定されるため、ぶれがひどくなると対象物を抽出できなくなったり、位置精度が下がったりする問題が生じる。その結果、追尾対象が高速に動いている場合は正確に追尾しづらい。

一方、毎回の制御量として速度を指定する方法もある。例えば、図３９に示すように、速度制御を内ループ、位置制御を外ループとした二重ループによる制御法がある。ここで、旋回機構の伝達関数１０３の出力は速度である。また、積分器（１／ｓ）１０４が設けられる。この方法のカメラ位置の時間応答を示した図が図４０、速度応答を示した図が図４１である。

この場合は、駆動が連続的となるため、位置指定の場合のように急加速、急減速やＳＴＯＰ−ＧＯによる振動や異音の発生の恐れはない。また、画像取得時間に対象物の予測される速度で制御されるので、図４２に示すように、背景はぶれるが追尾対象のぶれは小さいという特徴がある。この結果、追尾対象が高速で動いていても、対象物の画像ぶれが小さいため、認識に用いる画像のうち追尾対象部位の画像の画質が落ちず、検出確率や精度が落ちない。

しかしながら、速度プロファイルが追尾対象の動きと一致している保証はなく、万一ずれている場合は位置ズレが生じ、それが蓄積されると、最悪の場合は、目標物を見失ってしまうという恐れがあった。また、位置指定による制御法ほどではないが、急な加速部分がある場合もあるので、駆動がやや滑らかさに欠けるという問題があった。

さらに、内ループの速度制御には高い応答性が要求されるため、高いゲインが必要となってくる。このため、制御対象である旋回機構の応答が遅くて遅れがあったり、モータのコギングやギア等の伝達系による負荷むらがあったりした場合には、発振しやすくなり、制御系が不安定になりがちである。このため、すべての制御対象に適用できるわけではない。

本発明は上記従来技術の問題を解決するためになされたものであり、その目的は、連続的で滑らかな駆動を実現して、かつ画像内における目標位置からの追尾対象の位置ズレ及びぶれが小さい画像を得ることができる自動追尾カメラ装置を提供することにある。

上記目的を達成するために本発明の請求項１の自動追尾カメラ装置は、位置姿勢が可変に構成され、一定の周期で画像を取得する撮像装置と、前記撮像装置の位置姿勢を変えるアクチュエータと、前記撮像装置の位置姿勢を把握する位置姿勢把握手段と、前記撮像装置により取得された画像及び前記位置姿勢把握手段により把握された前記撮像装置の位置姿勢に基づいて、前記撮像装置による次々回の画像取得開始タイミングにおける前記撮像装置の目標位置姿勢を指示するための位置姿勢指令値を前記撮像装置による画像取得周期と同期して生成する位置姿勢指令値生成手段と、前記撮像装置による前記次々回の画像取得開始タイミングにおける追尾対象物の速度を予測する速度予測手段と、前記撮像装置による前記次々回の画像取得開始タイミングに、前記撮像装置が、前記次々回用に生成された位置姿勢指令値が示す位置に到達し、且つ、前記撮像装置による前記次々回の画像取得開始タイミングにおける前記撮像装置の速度が、前記速度予測手段により前記次々回用に予測された速度と一致するように、前記アクチュエータを制御する制御手段とを有することを特徴とする。

本発明の請求項１によれば、連続的で滑らかな駆動を実現して、かつ画像内における目標位置からの追尾対象の位置ズレ及びぶれが小さい画像を得ることができる。

以下、本発明の実施の形態を図面を参照して説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る自動追尾カメラ装置の構成を示すブロック図である。この自動追尾カメラ装置はカメラ装置５１を有する。図２は、自動追尾カメラ装置におけるカメラ装置５１の外観斜視図である。

第一コントローラ５２に、第二コントローラ５３を介してカメラ装置５１が接続されている。カメラ装置５１には、エンコーダ５４が接続される。エンコーダ５４は、第一コントローラ５２及び第二コントローラ５３に接続されると共に、速度変換器５５を介して第二コントローラ５３に接続されている。

カメラ装置５１は、画像を一定のサンプリング周期（画像取得周期）で取得する。カメラ装置５１は、モータにより旋回可能に構成され、その向き（位置姿勢）が、角度センサ等のエンコーダ５４で検出される。エンコーダ５４の検出信号は、速度変換器５５によって速度信号に変換されて第二コントローラ５３に供給される。エンコーダ５４の検出信号はまた、カメラ装置５１の向きを示す位置信号として第一コントローラ５２及び第二コントローラ５３に供給される。また、カメラ装置５１で撮像によって得られる画像信号が、第一コントローラ５２に供給される。

第一コントローラ５２は、カメラ装置５１からの画像から目標物（追尾対象物）を抽出する。そして、画像上の目標位置（例えば、画像中央）との偏差及び現在のカメラ装置５１の位置から、次の目標位置へ変位させるための位置指令を第二コントローラ５３に送出する。

第二コントローラ５３は、第一コントローラ５２からの位置指令とエンコーダ５４から速度変換器５５を通した速度信号の情報を元に、カメラ装置５１の移動速度を制御する。第二コントローラ５３は、連続的な速度プロファイルを自動生成する。すなわち、次の画像取得タイミングに目標位置に到達し、且つそのタイミングの速度が過去の追尾対象の検出位置と指令値を計算する画像での追尾対象の検出位置及び画像サンプリング時間から割り出される速度となるように、速度プロファイルを生成する。

この速度プロファイルによれば、後述するように、撮像装置であるカメラ本体１による次々回の画像取得開始タイミングに、カメラ装置５１が目標位置に到達するように制御される。しかも、次々回の画像取得開始タイミングにおけるカメラ装置５１の移動速度が、上記次々回の画像取得開始タイミングにおける追尾対象物の予測速度と一致するように制御される。ここで、「次回の画像取得開始タイミング」とは、速度プロファイル生成直後の画像取得の開始時点のことである。「次々回の画像取得開始タイミング」とは、次回の画像取得終了後の次の画像取得の開始時点のことである。

ここで、図３６等で従来装置について示したのと同様に、本実施の形態においても、位置指令値の生成周期と、カメラ装置５１による画像取得タイミングとは同期している。しかも、今回と次回の位置指令値生成タイミングの間に画像取得期間が存在するものとする。ここで画像取得期間とは、不図示のシャッタが開いてＣＣＤ等の撮像素子が感光する時間をいう。

次に、自動追尾カメラ装置のハードウエアについて説明する。

図２に示すように、カメラ装置５１のカメラ本体１は、ジンバル装置２によって支持され、パン及びチルト駆動によりその位置姿勢を変更することができる。カメラ本体１は、ジンバル装置２に対してチルト方向に回動可能に構成され、チルト軸駆動機構３によって、カメラ本体１のチルト軸周りの駆動がなされる。チルト軸駆動機構３には、アクチュエータ、ギア等の伝達機構、角度センサ等が含まれる。ジンバル装置２は、パン軸駆動機構４によって、パン方向に回動変位する。パン軸駆動機構４は、ジンバル装置２のパン軸周りの駆動を行うアクチュエータ、ギア等の伝達機構、角度センサを含む。

図３は、チルト軸駆動機構３の詳細な構成を示す図である。チルト軸駆動機構３は、回転モータ６、回転モータ６の回転角を検出するロータリエンコーダ５、減速ギア列７、８、９、１０、及び、カメラ本体１とギア１０を接続する回転軸１１を有する。回転モータ６で発生した回転力が減速ギア列７〜１０で適当な値に減速され、カメラ本体１に伝達され、カメラ本体１が旋回する。この時に、ロータリエンコーダ５により、カメラ旋回角の減速比倍の角度が検出される。この角度をもとにして、回転モータ６の電圧やＯＮ−ＯＦＦを制御することによって、カメラ旋回角を制御することが出来る。

パン軸駆動機構４については、図示はしないが、駆動対象がカメラ本体１でなくジンバル装置２となると共に、旋回方向がパン方向となるだけで、基本的にはチルト軸駆動機構３と同様の構成である。

次に、第一コントローラ５２について説明する。図１に示す第一コントローラ５２は、カメラ装置５１のカメラ本体１から画像を取得して、図４に示すように、その画像から追尾の対象物（ここでは人物の顔）を抽出して目標位置との偏差Δｅｒｒを求める。対象物の位置はその画像領域の重心特徴点（例えば、鼻頭等）にとられる。

第一コントローラ５２はさらに、エンコーダ５４からカメラ本体１の位置情報を取得する。そして、該位置情報を元に、次の目標位置（カメラ本体１による次々回の画像取得開始タイミングにおけるカメラ本体１の目標位置）を算出して、それを位置指令として第二コントローラ５３に送出する。

ここで、対象物の抽出法には、形状認識やパターン認識、色情報を使う方法等がある。また目標位置の算出に関しては、単に現在の偏差を０にするように検出位置に設定する方法もある。しかし、画像の取得時間や対象物の抽出時間が対象物の移動速度に対して十分速いといえない場合が多いので、予測を用いて次の目標位置を算出する。例えば、図５に示すように、過去の検出点より線形予測を行い後の画像サンプリング時の予測点を求める方法が取られる。この様にして、サンプリングが遅くても追従性能が落ちないようにしている。

次に、第二コントローラ５３について説明する。図６は、第二コントローラ５３及びその関連要素を示すブロック図である。

図６に示すように、第二コントローラ５３には、制御手段としての速度プロファイル生成器２１、減算器１３及びＰＩＤ制御器１４が含まれる。速度プロファイル生成器２１が、上記した連続的な速度プロファイルを自動生成する。エンコーダ５４の検出信号は、速度変換器５５により微分演算されることによって速度信号に変換され、減算器１３に入力される。減算器１３は、速度プロファイル生成器２１が生成した速度プロファイルに従った目標値と、速度変換器５５から入力される速度信号との間の偏差を計算する。

ＰＩＤ制御器１４は、減算器１３の出力に対して比例積分微分演算を行い、回転モータ６を駆動する信号を発生させる。画像は、カメラ本体１からモニタ装置１８に転送され、外部から参照できるようになっている。

一般に、カメラの画像サンプリング周期や画像から対象物を抽出する処理時間と比較して、構成要素１３→１４→６→５４→５５→１３→・・・のループは、数十倍から数千倍速い。従って、位置指令が更新されるまでの間に、数十から数千の制御機会がある。従って、この間により細かい制御を行うことが可能である。本実施の形態では、この間に速度制御を行っている。

次に、速度プロファイル生成器２１の動作について詳細に説明する。図７は、速度プロファイル生成器２１の構成を示すブロック図である。

図７に示すように、速度プロファイル生成器２１には、メモリ装置２３、予測部２４、補間部２５、指令値生成部２７及びタイマ２６が含まれる。

まず、図６に示す速度プロファイル生成器２１には、速度変換器５５から速度信号が入力される。また、位置指令が更新されたときに画像から検出される追尾対象物の位置情報がエンコーダ５４から入力され、メモリ装置２３に入力される。

図７に示すメモリ装置２３は、更新信号、すなわち位置指令が更新されたときに画像から検出される追尾対象物の位置情報と、入力される速度信号から計算される追尾対象物の移動速度を、それぞれ過去数点、所定の数だけ保持する。

追尾対象の移動速度ｖは、下記数式１によって求めることが出来る。

ここでＰ_ｎは、時刻ｎにおける画像上での対象物の位置、Ｐ_ｎ−１は一つ前のサンプリング時（時間Δｔだけ前）の対象物の位置である。また、Ｖｃは、検出されるカメラ本体１の速度、「ｆ（）」は、画像上の座標からカメラ本体１の位置座標への変換関数である。

この様にして、予測部２４は、保持されている対象物の位置及び速度の情報を用いて、次々回の画像取得開始タイミングにおける追尾対象物の速度を予測する。ここで用いられる予測法には、例えば、図５に示したのと同じような線形予測法を用いることが出来る。また、制御対象のモデル化が可能であるならば、カルマンフィルタ等により予測することも可能である。この様に予測された値を元にして、補間部２５がタイマ２６が生成する所定の制御周期間隔に相当する値を補間で求める。

一般に、人物等の自然物の動作パターンは、図８に例示するように加速度の変化が少ない動きを有していることが知られている。従って、従来の図４１に示されるような速度制御では動きが滑らかでなく、例えばビデオカメラで人物を追尾した場合等には、観察する者に違和感を与えてしまう。

図９、図１０に、加速ゲインを一定とした場合の速度制御による速度応答図を示す。図９、図１０において、×点は、目標位置更新毎の対象物の速度の予測点である。点線曲線Ｌ１は対象物の速度軌跡、実線曲線Ｌ２はカメラの速度軌跡を示す。

速度制御では加速ゲインが一定のため、例えば、仮に、図９に示すように速度の変化が小さいときにゲインを合わせたとすると、大きな速度変化には追従できなくなってしまう。従って、速い動きをする追尾対象は追尾しきれず逃がしてしまうこととなる。一方、図１０に示すように、速度変化が大きいときにゲインを合わせると、速い対象物に対しても追尾可能となるが、加速度の変化が大きくなって滑らかでない動きとなってしまう。

ところで、自然物の動きは、十分に短い時間には加速度一定とみなすことができる。そこで、本実施の形態では、補間は、図１１に示すように、位置検出及び画像サンプリング時間のすべて使って次の目標速度まで加速するように設定されている。すなわち、次回の画像取得開始タイミングから次々回の画像取得開始タイミングまでの間、カメラ本体１が一様に加速されるように、チルト軸駆動機構３、パン軸駆動機構４が駆動制御される。

この結果、図１２（ａ）に示すように、従来例と比較して加速度の変化が少なくより滑らかな動きを実現できる。すなわち、隣接する画像取得開始タイミング間において、カメラ本体１がほぼ一定加速度で変位する。また、カメラ本体１の運動は自然物の運動により近くなるので、従来と比較して、速度の軌跡の差が少ない確率が高い。従って、速度偏差の積算値、すなわち位置ずれも小さく、対象物を見失う可能性が低くなる。

図１２（ｂ）を参照して、以上の制御を整理する。図１２（ｂ）において、横軸が時間経過を示す。点線の縦軸は、位置指令の更新タイミングを示す（ｔ０、ｔ３、ｔ７）。画像取得期間は、取得開始時点（ｔ１、ｔ４、ｔ７）から取得終了時点（ｔ２、ｔ５）までである。

まず、時点ｔ０で、時点ｔ４におけるカメラ本体１の目標位置が生成・更新され（目標位置Ｘｔ４）、時点ｔ３で、時点ｔ７におけるカメラ本体１の目標位置が更新される（目標位置Ｘｔ７）。

また、時点ｔ０で、時点ｔ４における追尾対象の移動速度が予測され（予測速度Ｖｔ４）、時点ｔ３で、時点ｔ７における追尾対象の移動速度が予測される（予測速度Ｖｔ７）。

そして、時点ｔ１から時点ｔ４までの間、一定加速度でカメラ本体１が制御される。しかも、時点ｔ４において、目標位置Ｘｔ４の位置にカメラ本体１が到達し、且つ時点ｔ４におけるカメラ本体１の速度が追尾対象の予測速度Ｖｔ４と一致するように、上記一定加速度が設定される。実際には、そのような速度制御となるような速度プロファイルが生成される。

本実施の形態によれば、連続的で滑らかな駆動を実現して、かつ画像内における目標位置からの追尾対象の位置ズレ及びぶれが小さい画像を得ることができる。

（第２の実施の形態）
図１３は、本発明の第２の実施の形態に係る自動追尾カメラ装置における速度プロファイル生成器の構成を示すブロック図である。

本実施の形態では、第二コントローラ５３における速度プロファイル生成器２１の構成が第１の実施の形態とは異なり、図７に代えて図１３を用いて説明する。その他の構成は第１の実施の形態と同様である。

本第２の実施の形態における速度プロファイル生成器２１は、予測部２８、速度制御指令部３０、加速度保持部３１、指令値生成部３３、タイマ２９及び画像取得同期信号発生部３２を含んでいる。

予測部２８は、次に対象物が検出される時刻における速度を予測する。その予測結果に基づいて、速度制御指令部３０によって、目標速度まで徐々にカメラ本体１の速度を増加させていく。その後、画像取得同期信号発生部３２から同期信号が加速度保持部３１に入力されると、同期信号がなくなるまで、同期信号が最初に入力された時点での加速度指令、すなわち速度の増加率を一定に保持する。このようにして、速度指令または加速度保持指令の出力を指令値生成部３３に入力してカメラ本体１の旋回の速度制御を行う。図１４に、この動作をタイムチャートで示す。

図１４に示すように、位置指令値の生成タイミングＴ０から、その直後の画像取得開始時点Ｔｓまでの間は、カメラ本体１の加速度を徐々に大きくして速度を徐々に増加させていく。その間、次の位置指令値の生成タイミングＴｒにおける追尾対象の予測速度Ｖｒを目標に速度制御を行い、補間は行わない。この間は、目標速度に早く到達しないようにゲインが低く調整される。

そして、画像取得期間（Ｔｓ〜Ｔｅ）は、補間点を発生させて、画像取得開始時点Ｔｓにおける加速度を保持する。加速度が一定に保持されるため、速度変化が直線的となる。この結果、画像取得期間にはカメラ本体１の動きが自然物と類似した動きとなるため、ぶれが少なくなる確率が高くなる。

そして、画像取得終了時点Ｔｅから次の位置指令値の生成タイミングＴｒまでは、予測速度Ｖｒを目標に速度制御を行い、補間は行わない。画像取得期間以外の時間帯は、ある程度自由度があるので、例えば、画像取得期間終了後、次に対象物を検出して目標位置が更新されるまでの間に、カメラ本体１の速度を微調整する等の自由度がある。

なお、図１３の構成では、画像取得同期信号を用いる方法を示したが、これに限られない。例えば、予め画像を取得するタイミングと対象物を抽出して次の位置指令を更新する動作の同期がとれていて、画像取得開始時点Ｔｓ及び画像取得終了時点Ｔｅが既知の場合は、タイマ２９を使って加速度保持部３１を作動させても良い。

まず、図１５に示すように、画像取得開始時点Ｔｓでの追尾対象の速度Ｖｓを予測し、位置指令値の生成タイミングＴ０から、その直後の画像取得開始時点Ｔｓまでの間は、時点Ｔｓにカメラ本体１が速度Ｖｓになるよう速度制御を行う（補間点はなし）。画像取得が開始されると、画像取得期間（Ｔｓ〜Ｔｅ）は、加速度保持部３１を作動させて、加速度を一定とする。ここでは、時点Ｔｓでの加速度ではなく、（Ｖｓ２−Ｖｓ）／（Ｔｅ−Ｔｓ）で算出される加速度を保持して加速度一定を維持する（補間点を発生させる）。

次に、画像取得が終了したならば、次の位置指令更新時（Ｔｒ）の追尾対象の予測速度Ｖｒを目標として速度制御を行う。このようすることによって、速度制御時間（図１５では時点Ｔｅから時点Ｔｒまでの期間）がバッファの役割をするので、外乱等に強くなる。

本実施の形態によれば、第１の実施の形態と同様の効果を奏する。それだけでなく、外乱等に大きな影響を受けない画像を得ることができる。

（第３の実施の形態）
図１６は、本発明の第３の実施の形態に係る自動追尾カメラ装置の構成を示すブロック図である。

本実施の形態では、第１の実施の形態の構成（図１）に対して、エンコーダ５４及び速度変換器５５を廃止する代わりに、速度センサ６０及び積分器５９が設けられる。その他の構成は、第１の実施の形態と同様である。

速度センサ６０の出力は、積分器５９を介して第一コントローラ５２にフィードバックされる。速度センサには種々あるが、速度センサ６０には、タコジェネレータやジャイロセンサを用いることができる。第一コントローラ５２及び第二コントローラ５３による作動内容は第１の実施の形態と同様である。

本実施の形態によれば、第１の実施の形態と同様の効果を奏することができる。それだけでなく、速度をエンコーダから割り出すのでなく直接検出するので、遅れが小さく、より確実に速度プロファイルに従ったコントロールが可能となる。

（第４の実施の形態）
図１７は、本発明の第４の実施の形態に係る自動追尾カメラ装置の構成を示すブロック図である。

本実施の形態では、第１の実施の形態の構成（図１）に対して、カメラ装置５１に代えてカメラ装置１５１が設けられ、エンコーダ５４及び速度変換器５５が廃止される。カメラ装置１５１は、カメラ装置５１とは異なり、パンチルト旋回機構としては、パン軸駆動機構４、チルト軸駆動機構３に代えて、パルス数に比例した角度に駆動可能なステッピングモータ（図示せず）により旋回可能に構成される。

また、第一コントローラ５２は、カメラ装置１５１からの画像から目標物（追尾対象物）を抽出すると共に、現在のカメラ装置１５１の位置をパルス数から割り出す。そして、画像上の目標位置（例えば、画像中央）との偏差及び現在のカメラ装置１５１の位置から、次の目標位置へ変位させるための位置指令を第二コントローラ５３に送出する。

第二コントローラ５３は、第一コントローラ５２からの位置指令の情報を元に、カメラ装置１５１の移動速度を制御する。すなわち、第二コントローラ５３は、第１の実施の形態と同様に速度予測を行い、上記ステッピングモータに与えるパルス列を生成する。

その他の構成及び制御の態様は第１の実施の形態と同様である。

本実施の形態によれば、第１の実施の形態と同様の効果を奏することができる。それだけでなく、センサが必要ないので構成が簡単になる。

なお、このようなステッピングモータを使用したカメラ装置の場合も、第１、第２の実施の形態のように、エンコーダまたは速度センサを備えて、フィードバック制御を行うことも可能である。この場合、脱調の心配がなくなるため早い加速に対応することが可能となる。

（第５の実施の形態）
図１８は、本発明の第５の実施の形態に係る自動追尾カメラ装置の構成を示すブロック図である。この自動追尾カメラ装置において、カメラ装置５１の構成は、第１の実施の形態のものと同様である。

第一コントローラ８２に、第二コントローラ８３を介してカメラ装置５１が接続されている。カメラ装置５１には、エンコーダ８４が接続される。エンコーダ８４は、第一コントローラ８２及び第二コントローラ８３に接続されている。

エンコーダ８４は、ロータリエンコーダ等の角度センサでなり、回転角に応じた信号を出力する。カメラ装置５１の向き（位置姿勢）が、エンコーダ８４で検出され、その検出信号である位置信号が、第一コントローラ８２及び第二コントローラ８３に供給される。また、カメラ装置５１で撮像によって得られる画像信号が、第一コントローラ８２に供給される。なお、エンコーダ８４は、位置を把握できるものであればよい。

第一コントローラ８２は、カメラ装置５１からの画像から目標物（追尾対象物）を抽出する。そして、画像上の目標位置（例えば、画像中央）との偏差及び現在のカメラ装置５１の位置から、次の目標位置へ変位させるための位置指令を第二コントローラ８３に送出する。第一コントローラ８２はさらに、次回のカメラの駆動量をもとにして割り出されるフィードフォワード信号を、第二コントローラ８３に送出する。

第二コントローラ８３は、第一コントローラ８２からの位置指令とエンコーダ８４からの位置情報を元に、カメラ装置５１の角度を制御する。

図１９は、第一コントローラ８２の構成を示すブロック図である。

第一コントローラ８２においては、入力された画像より、対象物位置検出器１１３により位置が検出される。この時に、検出位置が更新されるとトリガ信号が発生し、ラッチ１１５によりその時のカメラ位置情報が保持される。また、対象物位置検出器１１３の出力は対象物位置予測器１１４に入力され、図５に示すように、過去数点の検出点より次のサンプリング時刻での予測値が求められる。

さらにこの予測点と画像上の目標位置（例えば画面の中央に取られる）との偏差が求められ、座標変換器１１６でカメラ座標に変換された出力（位置指令のこと）が、第二コントローラ８３に送出される。

また、カメラ本体１の目標位置とラッチ１１５に保持された現在位置との差異、すなわち１サンプリングあたりの駆動量が求められ、それにゲイン手段１１７で適当なゲインが与えられて、フィードフォワード信号として第二コントローラ８３に送出される。

なお、ゲイン手段１１７では、駆動量に所定の値を掛ける。この値は、後述するようにあらかじめ実験またはモデル計算等で１サンプリング時間いっぱいを使って検出された駆動角度を移動するような値に定められる。また、フィードフォワードによる操作が後述するアクチュエータの最大駆動力を規制する物理量である場合、適当なオフセットを加えることによってより安定な動作が可能となる。

次に、第二コントローラ８３について説明する。図２０は、第二コントローラ８３及びその関連要素を示すブロック図である。

図２０に示すように、第二コントローラ８３には、比例積分微分制御器１１８、動的飽和要素１１９が含まれる。旋回機構１２０には、チルト軸駆動機構３及びパン軸駆動機構４が相当する（図２参照）。

図２１は、比例積分微分制御器１１８の構成を示すブロック図である。比例積分微分制御器１１８は、図２１に示すように、積分器１２１、微分器１２３及びゲイン演算器（掛け算器）１２２、１２４、１２５からなる。Ｋｐはゲイン演算器１２５の比例ゲイン、Ｋｉはゲイン演算器１２２の積分ゲイン、Ｋｄはゲイン演算器１２４の微分ゲインである。

動的飽和要素１１９は、フィードフォワード信号に応じて飽和値を可変とする。この動的飽和要素１１９の出力は、旋回機構１２０のアクチェータに入力され、旋回機構１２０が駆動される。旋回機構の位置はエンコーダ８４によって検出され、比例積分微分制御器１１８に負帰還され目標位置にサーボロックするように制御される。

比例積分微分制御器１１８に出力を負帰還することによって、目標位置との偏差を０にする事が出来る。なお、比例積分微分制御器１１８は必要に応じて比例制御器、比例微分制御器、比例積分制御器に置き換えることが可能である。オーバーシュートを許容するか、残留偏差を許容するかで選択すればよい。

一般に、カメラの画像サンプリング周期や画像から対象物を抽出する処理時間と比較して、構成要素１１８→１１９→１２０→８４→１１８→・・・のループの処理速度は数十倍から数千倍速い。従って位置指令が変更されるまでに数十から数千の制御機会がある。この間により細かい制御を行うことが可能である。そこで、本実施の形態では、これを利用して高速に位置制御を行っている。

一般に、制御器は、図２２に示すように、目標位置が更新される周期に対して十分早く収束するようにされている。フィードバック制御だけでも比例ゲインの調整によって立ち上がりを調整することができるが、図２３、図２４に示すような問題がある。

図２３は、移動距離が小さいときに駆動が連続的になるようにゲインを調整した場合の位置制御の応答図である。図２４は、移動距離が大きいときに駆動が連続的になるようにゲインを調整した場合の位置制御の応答図である。図２３の例では、駆動距離が大きいときに目標位置に到達することができないので追従性が大幅に悪化する。一方、図２４の例では、駆動がＳＴＯＰ−ＧＯの不連続な動きとなるため滑らかさはなく、振動や異音が発生する恐れがある。また、この振動が画像のぶれを生じさせ対象物の抽出精度が悪化する恐れがある。

これに対して、本実施の形態では、比例積分微分制御器１１８の出力に動的飽和要素１１９を挿入して、１回のサンプリング期間の駆動量に応じたフィードフォワード量で飽和値を制御する。比例積分微分制御器１１８は、図２２に示すように、目標位置が更新される周期に対して十分早く収束するように調整されているが、動的飽和要素１１９により出力が制限されるため、立ち上がりが制限される。

すなわち、図２５に示すように、比例積分微分制御器１１８の出力（フィードバック出力）が飽和値を下回るまでは飽和値（フィードフォワード出力）が旋回機構１２０に入力され、下回ると比例積分微分制御器１１８の出力が旋回機構１２０に入力される。飽和値は１回の駆動量が大きくなると大きくなるように設定されている。そのため、図２６に示すように、駆動量の大小に関わらず目標位置の更新と同期して連続的な駆動となるような値が出力される。

なお、フィードフォワードのゲインは目標点更新タイミングまでにカメラ本体１が目標位置に到達しないように設定される。こうすることによって、比例積分微分制御器１１８の作用により目標点更新タイミングには目標位置に偏差なしで位置決めが可能となる。

なお、旋回機構１２０におけるアクチュエータとしてＤＣサーボモータを採用してもよく、その場合には、動的飽和要素１１９が制限を掛ける物理量は電圧値または電流値等である。これらはディジタル制御器ではＰＷＭ制御またはＰＡＭ制御で制御されるため、飽和をかける量としてパルス幅やパルス振幅を選択しても良い。また、ステッピングモータをパルス周波数で制御する方法も考えられるが、その場合の飽和をかける量はパルス周波数である。

このように、本実施の形態では、第一コントローラ８２が目標位置とフィードフォワード信号を発生させる周期は画像を取得する周期に同期している。しかも、第二コントローラ８３の制御周期はそれより短く、且つフィードフォワード信号により追尾時に連続的な駆動になるように調整されている。これにより、本実施の形態では、高速から低速まで精度良く、連続的で滑らかな追尾システムを実現することが出来る。よって、応答が遅い駆動系や駆動むらが多い駆動系に適用しても、連続的で滑らかな駆動を実現して、かつ画像内における目標位置からの追尾対象の位置ズレ及びぶれが小さい画像を得ることができる。

（第６の実施の形態）
本発明の第６の実施の形態では、第二コントローラ８３の比例積分微分制御器１１８の構成が第５の実施の形態とは異なり、フィードフォワード信号によって比例積分微分制御器１１８のゲインを制御する。その他の構成及び制御内容は第５の実施の形態と同様である。

図２７は、第６の実施の形態における比例積分微分制御器１１８の構成を示すブロック図である。この比例積分微分制御器１１８には、第５の実施の形態における比例積分微分制御器１１８（図２１）に対して、ゲイン演算器１２５に代えて動的ゲイン要素１３０が設けられる。なお、第５の実施の形態と同様に、必要に応じて比例積分微分制御器１１８は比例制御器、比例微分制御器、比例積分制御器に置き換えることが可能である。

動的ゲイン要素１３０には、フィードフォワード信号が入力される。動的ゲイン要素１３０の比例ゲインＫｐは、フィードフォワード信号に応じてその値が変化する。すなわちフィードフォワード量が大きいときにはＫｐを大きくし、小さいときにはＫｐを小さくする。図２８に示すように、Ｋｐの値によって、位置変化の立ち上がりの傾きが変化する。

従って、第一コントローラ８２のフィードフォワードの定義と合わせて、１回の位置更新間隔で駆動距離が大きいときには立ち上がりが速くなり、駆動距離が小さいときには立ち上がりが遅くなるように自動で調整される。従って、この場合もフィードフォワードゲインを適切に調整しておけば、駆動中の停止時間を極力短くして、追尾中の滑らかな動きを実現することが出来る。

なお、図２８に示すように、比例ゲインＫｐが大きいときにはオーバーシュートが大きくなってしまう。そこで、次のような変形例を採用してもよい。

図３０は、第６の実施の形態の変形例における比例積分微分制御器１１８の構成を示すブロック図である。この比例積分微分制御器１１８では、図２７の構成に対して、ゲイン演算器１２４に代えて、動的ゲイン要素１３４を設けた点が異なり、その他は同様である。

図２９に示すように、動的ゲイン要素１３４の微分ゲインＫｄを調整することによってオーバーシュート量を変えることができる。すなわち、図３０に示すように、動的ゲイン要素１３４の比例ゲインを調整するとともに、その値に応じて微分ゲインＫｄをフィードフォワード信号によって動的に可変とすれば、常にオーバーシュートしないように応答を変えることが出来る。

この変形例では、第５の実施の形態とは異なり、１回の位置更新間隔中は制御法が切り替わる点がなく連続的なので、より滑らかであるという特徴がある。さらに常にフィードバックがかかっているので外乱に強いという特徴もある。

（第７の実施の形態）
図３１は、本発明の第７の実施の形態の自動追尾カメラ装置における第一コントローラの構成を示すブロック図である。

本実施の形態の自動追尾カメラ装置は、第一コントローラ８２の構成が第５の実施の形態とは異なり、その他の構成は第５の実施の形態と同様である。具体的には、図１９に示す構成に対して、ゲイン手段１１７に代えて、積分器３９、微分器４１、ゲイン演算器４０、４２、４３を有する点が異なる。図３１において、Ｋｐはゲイン演算器４３の比例ゲイン、Ｋｉはゲイン演算器４０の積分ゲイン、Ｋｄはゲイン演算器４２の微分ゲインである。

この第一コントローラ８２は、単独でもフィードフォワード信号を旋回機構１２０のアクチュエータのドライバに入力すると、画像上の目標位置と対象物の位置とを一致させるように調整されている。すなわち、画像−対象物検出器−第一コントローラ−旋回機構で、ビジョンサーボ系を構成している。

このため、第一コントローラ８２と第二コントローラ８３とを独立して調整することができ、調整が容易である。また、画像からの目標点更新周期より動きが十分遅い追尾対象の場合には、第一コントローラ８２がフィードバック制御器として働くため、外乱に強くより滑らかな制御が可能である。また、単にビジョンサーボ系で制御する場合に比較すると、第二コントローラ８３の高速性によりオーバーシュートが少なく追従性も良い。

なお、第一コントローラ８２の画像取得、目標物抽出、ビジョンサーボのタイムスケールはほぼ同じであるので、同一のリアルタイムクロックを用いることが可能である。これに対して第二コントローラ８３は高速性が要求されるので、できるだけ速いクロックで動作するが望ましい。なお、図３１の構成において、ゲイン演算器４３のみ、あるいはゲイン演算器４２、４３のみ、あるいはゲイン演算器４０、４３のみを設けた構成であってもよい。

また、第一コントローラ８２は対象物を選択できるような柔軟性を有するのが望ましいのに対して、第二コントローラ８３はゲイン調整後は旋回機構１２０にとって固定的な特性でよい。以上より、第一コントローラ８２をソフトウエアで実装し、第二コントローラ８３はハードウエアロジックまたはＤＳＰ等の専用の高速プロセッサで実装すると好都合である。

（第８の実施の形態）
本発明の第８の実施の形態は、第一、第二コントローラの構成が第５の実施の形態とは異なり、その他の構成は同様である。

図３２は、本発明の第８の実施の形態の自動追尾カメラ装置における第一コントローラ８２の構成を示すブロック図である。この第一コントローラ８２は、第５の実施の形態のもの（図１９）に対して、ゲイン手段１１７に代えて、動的にゲインを変更できる動的ゲイン要素１５５を設けた点が異なり、その他の構成は同様である。

図３３は、第８の実施の形態における第二コントローラ８３及びその関連要素を示すブロック図である。この第二コントローラ８３は、第５の実施の形態のもの（図２０）に対して、ゼロクロス検出器４８、目標位置更新検出器４９及びタイマ５０が設けられた点が異なり、その他の構成は同様である。

ゼロクロス検出器４８は、カメラ本体１の位置が目標位置に到達したことを検知する。目標位置更新検出器４９は、目標位置が更新されたことを検出する。タイマ５０は、目標位置更新検出器４９によってセットされ、ゼロクロス検出器４８によってリセットされる。こうして目標位置に到達する時間が計測される。この計測時間と目標位置更新周期の差が、フィードフォワード制御器学習出力として、第一コントローラ８２の動的ゲイン要素１５５に送出される（図３２参照）。

次の更新信号が入ってもゼロクロス検出器４８が目標位置到達を検出できないときには、タイマ５０は強制的にその時点でのタイマの値を出力して次の計測を開始する。なお、目標位置到達を検知するものとして、図３３ではゼロクロス検出器４８を示したが、これに代えて、残差が所定の範囲内にあることを検知する検出器を用いても良い。あるいは、位置決め時にオーバーシュートが想定される場合は、所定の時間残差が定められた値以下であることをもって、目標位置に到達したと判定する検出器を用いても良い。

図３２に示す第一コントローラ８２において、動的ゲイン要素１５５に、第二コントローラ８３からフィードフォワード制御器学習信号が負帰還で入力される。この結果、カメラ本体１が目標位置に位置更新時間より早く到達する場合には、動的ゲイン要素１５５のゲインが小さくなるように変更され、目標位置に位置更新時間内に到達しなかったときにはゲインが大きくなるように変更される。従って、学習効果により、経時変化等で制御系の特性が変化しても連続的な滑らかな駆動が維持される。

なお、図３４に示すように、図３２に示す第一コントローラ８２に対して、動的ゲイン要素１５５に代えて動的ゲイン要素１６２を設けると共に、公知のニューラルネットワーク等の学習器１６１を動的ゲイン要素１６２に接続して設けてもよい。

動的ゲイン要素１６２が比例積分微分制御器である場合は、多出力が必要であるが、多出力関数をニューラルネットワーク学習器によって定義していけば制御器の設計が容易になる。また学習器１６１にローパスフィルタ要素を付加しておけば急激な変化で応答が大きく変わって違和感を与えることがない。

本発明の第１の実施の形態に係る自動追尾カメラ装置の構成を示すブロック図である。 自動追尾カメラ装置におけるカメラ装置の外観斜視図である。 チルト軸駆動機構の詳細な構成を示す図である。 画像上の目標位置と対象物の偏差を示す図である。 線形予測による次の目標位置を求める方法を説明する図である。 第二コントローラ及びその関連要素を示すブロック図である。 速度プロファイル生成器の構成を示すブロック図である。 人物等の自然物の動作パターンを説明する図である。 加速ゲインを一定とした場合の速度制御による速度応答図である。 加速ゲインを一定とした場合の速度制御による速度応答図である。 本実施の形態における速度制御による速度応答図である。 本実施の形態における速度制御による加速度応答図（図（ａ））、及び制御内容を説明するためのタイムチャート（図（ｂ））である。 本発明の第２の実施の形態に係る自動追尾カメラ装置における速度プロファイル生成器の構成を示すブロック図である。 速度プロファイルを示すタイムチャートである。 速度プロファイルを示すタイムチャートである。 本発明の第３の実施の形態に係る自動追尾カメラ装置の構成を示すブロック図である。 本発明の第４の実施の形態に係る自動追尾カメラ装置の構成を示すブロック図である。 本発明の第５の実施の形態に係る自動追尾カメラ装置の構成を示すブロック図である。 第一コントローラの構成を示すブロック図である。 第二コントローラ及びその関連要素を示すブロック図である。 比例積分微分制御器の構成を示すブロック図である。 従来及び本実施の形態における比例積分微分制御器の制御応答図である。 従来の位置制御法で駆動量が小さいときにゲインを合わせたときの応答図である。 従来の位置制御法で駆動量が大きいときにゲインを合わせたときの応答図である。 本実施の形態における第二コントローラの制御出力の切り替わりを示した図である。 本実施の形態における位置制御の応答を示した図である。 第６の実施の形態における比例積分微分制御器の構成を示すブロック図である。 比例ゲインの値と応答変化を示す図である。 微分ゲインの値と応答変化を示す図である。 第６の実施の形態の変形例における比例積分微分制御器の構成を示すブロック図である。 本発明の第７の実施の形態の自動追尾カメラ装置における第一コントローラの構成を示すブロック図である。 本発明の第８の実施の形態の自動追尾カメラ装置における第一コントローラの構成を示すブロック図である。 第８の実施の形態における第二コントローラ及びその関連要素を示すブロック図である。 第８の実施の形態の変形例に係る自動追尾カメラ装置における第一コントローラの構成を示すブロック図である。 従来の自動追尾カメラ装置における旋回駆動制御を示すブロック図である。 図３５の構成にて駆動した場合のカメラ位置の時間応答を示す図である。 同じ場合のカメラ速度の時間応答を示す図である。 従来の速度制御による追尾動作を行ったとき画像を示す図である。 従来の速度マイナーループを伴った二重ループ制御系を示す図である。 従来の速度制御による追尾動作を行ったときのカメラ位置の時間応答を示す図である。 従来の速度制御による追尾動作を行ったときのカメラの速度応答を示す図である。 従来の速度制御による追尾動作を行ったとき画像を示す図である。

符号の説明

１ カメラ本体（撮像装置）
３ チルト軸駆動機構（アクチュエータ）
４ パン軸駆動機構（アクチュエータ）
２１ 速度プロファイル生成器（制御手段）
２４ 予測部（速度予測手段）
５２ 第一コントローラ（位置姿勢指令値生成手段）
５４ エンコーダ（位置姿勢把握手段）
６０ 速度センサ（位置姿勢把握手段）
８２ 第一コントローラ（信号生成手段）
８３ 第二コントローラ（制御手段）
８４ エンコーダ（位置姿勢把握手段）

Claims (4)

1. 位置姿勢が可変に構成され、一定の周期で画像を取得する撮像装置と、
   前記撮像装置の位置姿勢を変えるアクチュエータと、
   前記撮像装置の位置姿勢を把握する位置姿勢把握手段と、
   前記撮像装置により取得された画像及び前記位置姿勢把握手段により把握された前記撮像装置の位置姿勢に基づいて、前記撮像装置による次々回の画像取得開始タイミングにおける前記撮像装置の目標位置姿勢を指示するための位置姿勢指令値を前記撮像装置による画像取得周期と同期して生成する位置姿勢指令値生成手段と、
   前記撮像装置による前記次々回の画像取得開始タイミングにおける追尾対象物の速度を予測する速度予測手段と、
   前記撮像装置による前記次々回の画像取得開始タイミングに、前記撮像装置が、前記次々回用に生成された位置姿勢指令値が示す位置に到達し、且つ、前記撮像装置による前記次々回の画像取得開始タイミングにおける前記撮像装置の速度が、前記速度予測手段により前記次々回用に予測された速度と一致するように、前記アクチュエータを制御する制御手段とを有することを特徴とする自動追尾カメラ装置。
2. 前記制御手段は、前記撮像装置による画像取得開始タイミングからその次の画像取得開始タイミングまでの間、前記撮像装置が一定加速度で変位するように前記アクチュエータを制御することを特徴とする請求項１記載の自動追尾カメラ装置。
3. 前記制御手段は、前記撮像装置により画像を取得している期間における前記撮像装置の加速度変化が最も小さくなるように前記アクチュエータを制御することを特徴とする請求項１記載の自動追尾カメラ装置。
4. 前記制御手段は、前記位置姿勢指令値生成手段が位置姿勢指令値を生成してから、その直後の前記撮像装置による画像取得開始タイミングまでの間、前記撮像装置の加速度が徐々に増加するように前記アクチュエータを制御することを特徴とする請求項３記載の自動追尾カメラ装置。

Images