JP4802012B2 - カメラ制御装置およびカメラ制御方法 - Google Patents

Description

この発明は、カメラ制御装置およびカメラ制御方法に関し、特に例えば、旋回型のカメラの向きを制御するカメラ制御装置およびカメラ制御方法に関する。

旋回型のカメラの向きを制御する技術として、ポイントビューと呼ばれる技術がある。これは、図１５（ａ）に示すように、モニタ装置の表示画面に映し出された撮影画像上において任意のポイントＰがマウス等のポインティングデバイスによって指定されると、この指定されたポイントＰが同図（ｂ）に示す如く画面の中央Ｏに位置するように、カメラの向きを制御する技術である。そして、このポイントビュー技術の一実現例として、従来、特許文献１に開示されたものがある。

この従来技術によれば、図１６（ａ）に示すように、指定されたポイントＰの座標（ｘ、ｙ）と画面中央Ｏの座標（ａ，ｂ）との差（ΔＸ，ΔＹ）が、求められる。そして、この座標差（ΔＸ，ΔＹ）に撮影レンズのズーミング位置に応じた変換係数ｋが乗ぜられることで、カメラのパン（水平）方向およびチルト（垂直）方向のそれぞれの移動量ΔＸｒおよびΔＹｒが求められ、この移動量ΔＸｒおよびΔＹｒに基づいて当該カメラが旋回される。

具体的に数値を挙げて説明すると、例えば、今、図１６（ｂ）に示すように、撮影画像全体の水平方向の画素数が６４０であり、垂直方向の画素数が４８０であるとする。そして、ポイントＰの座標（ｘ、ｙ）が、画素数換算で（５５０，３５０）であるとする。この場合、画面中央Ｏの座標が、同画素数換算で（３２０，２４０）であることから、座標差（ΔＸ，ΔＹ）は、（２３０，１１０）となる。従って、カメラの向きが現在の向きから右方にΔＸ＝２３０［画素］分だけ変更されると共に、下方にΔＹ＝１１０［画素］分だけ変更されれば、当該カメラの向きがポイントＰに対応する方向に向くようになる。

ただし、ΔＸおよびΔＹのそれぞれが実際にどのくらいの移動量に相当するのかは、撮影レンズのズーミング位置、つまり画角、によって変わる。このために、上述の如くΔＸおよびΔＹのそれぞれに当該画角（ズーミング位置）に応じた変換係数ｋが乗ぜられ、実際に必要とされる移動量ΔＸｒおよびΔＹｒが求められる。言い換えれば、変換係数ｋは、今現在の画角における１画素当たりの必要移動量を表す。

かかる変換係数ｋは、今現在の水平方向の画角を当該水平方向の全画素数で除するか、若しくは、今現在の垂直方向の画角を当該垂直方向の全画素数で除することによって、求められる。例えば、今現在の水平方向の画角が、４０［ｄｅｇ］であるとすると、変換係数ｋは、ｋ＝４０／６４０＝０．０６２５［ｄｅｇ／画素］となる。従って、この場合、パン方向において実際に必要とされる移動量ΔＸｒは、ΔＸｒ＝ｋ・ΔＸ＝０．０６２５×２３０＝１４．３７５［ｄｅｇ］となり、チルト方向において実際に必要とされる移動量ΔＹｒは、ΔＹｒ＝ｋ・ΔＹ＝０．０６２５×１１０＝６．８７５［ｄｅｇ］となる。よって、カメラは、現在の向きから右方にΔＸｒ＝１４．３７５［ｄｅｇ］だけパンされると共に、下方にΔＹｒ＝６．８７５［ｄｅｇ］だけチルトされることになる。

特開平７−４６５６６号公報

しかし、上述の従来技術では、指定されたポイントＰが必ずしも画面中央Ｏに位置する保証はなく、言わば誤差が発生する、という問題がある。これは、カメラによる撮影画像上で求められた移動量ΔＸｒおよびΔＹｒが、そのまま当該カメラ（厳密には雲台）の旋回制御に適用されることに、起因する。換言すれば、撮影画像上における水平方向および垂直方向が、カメラのパン方向およびチルト方向と、必ずしも一致するわけではないからである。そして、この誤差は、チルト方向への角度、いわゆるチルト角（俯角または仰角）が大きいほど、顕著になる。

より詳しく説明すると、今、カメラが真下を向いており、つまりチルト角が直角であるとする。そして、この状態で、図１７（ａ）に示すように、撮影画像上において画面中央Ｏ以外のポイント、例えば当該画面中央Ｏよりも右下のポイントＰが、指定されるとする。すると、まず、上述した要領で、座標差（ΔＸ，ΔＹ）が求められる。そして、この座標差（ΔＸ，ΔＹ）に今現在の画角に応じた変換係数ｋが乗ぜられることで、必要な移動量ΔＸｒおよびΔＹｒが求められ、求められた移動量ΔＸｒおよびΔＹｒに相当する分だけ、カメラが旋回される。ところが、このとき、カメラは真下を向いた状態にあるので、例えばカメラが移動量ΔＸｒ分だけパンされると、同図（ｂ）に示すように、カメラの視野１００が時計回りに当該移動量ΔＸｒに相当する分だけ回転する。そして、カメラが移動量ΔＹｒ分だけチルトされると、同図（ｃ）に示すように、カメラの視野１００が左下方に向かって当該移動量ΔＹｒに相当する分だけスライドする。この結果、指定されたポイントＰが画面中央Ｏに位置するどころか、制御自体が破綻した状態になる。

そこで、この発明は、期待通りにカメラの向きを正確に制御することができるカメラ制御装置およびカメラ制御方法を提供することを、目的とする。

かかる目的を達成するために、この発明のうち、第１の発明は、カメラの旋回中心を原点とする固定された絶対座標系における当該カメラの現在の向きを求める現方向演算手段と、当該カメラによって撮影された画像を表示する表示手段と、この表示手段によって表示された画像上の任意のポイントを指定する指定手段と、を具備する。さらに、この指定手段によって指定されたポイントの撮影画像上における座標情報と、カメラの画角と、現方向演算手段によって求められた絶対座標系における現在のカメラの向きと、に基づいて、当該ポイントの座標に対応する絶対座標系での原点からの方向を求める目標方向演算手段を、備える。そして、この目標方向演算手段によって求められた方向にカメラが向くように当該カメラを旋回させる旋回制御手段をも、具備する、カメラ制御装置である。

即ち、この第１の発明では、カメラの旋回中心を原点とする絶対座標系という概念が導入される。そして、この絶対座標系における現在のカメラの向きが、現方向演算手段によって求められる。その一方で、カメラによって撮影された画像が、表示手段によって表示される。ここで、表示手段によって表示された撮影画像上において、任意のポイントが、指定手段によって指定される、とする。すると、この指定手段によって指定されたポイントの撮影画像上における座標情報と、カメラの画角と、現方向演算手段によって求められた絶対座標系における現在のカメラの向きと、に基づいて、目標方向演算手段が、当該ポイントの座標に対応する絶対座標系での原点からの方向、つまりこれからカメラを向けようとする当該絶対座標系での言わば目標となる方向を、求める。そして、この目標方向演算手段によって求められた目標方向にカメラが向くように、旋回制御手段によって、当該カメラが機械的に旋回される。つまり、撮影画像上で指定されたポイントの座標が、カメラの旋回中心を原点とする絶対座標系での当該原点からの方向に、置き換えられる。そして、この絶対座標系上に置き換えられた方向に、カメラが向けられる。この結果、撮影画像上で指定されたポイントが、当該撮影画像（表示画面）の中央に正確に位置するようになる。

なお、指定手段は、撮影画像上の任意の領域をも指定可能であってもよい。そして、このように指定手段によって任意の領域が指定されたときは、目標方向演算手段は、当該領域の特定の位置、例えば中心位置やこれに近い位置、または周縁上の或る位置を、上述のポイントとして取り扱うものとしてもよい。このようにすれば、指定手段によって任意の領域が指定されたとき、その指定された領域の特定の位置が、撮影画像の中央になる。

また、カメラがズーム機能を備えている場合には、上述の指定手段によって指定された領域の大きさに合わせて当該ズーム機能によるズーム倍率を制御するズーム制御手段を、さらに設けてもよい。このようにすれば、指定手段によって任意の領域が指定されると、その指定された領域全体が拡大表示（ズーム表示）される。

さらに、絶対座標系においては、カメラの基準となる方向が予め定められているのが、望ましい。この場合、当該基準方向から目標方向までの角度を求める角度演算手段を備え、旋回制御手段は、この角度演算手段によって求められた角度に基づいてカメラを旋回させるものとする。

また、カメラは、パン方向およびチルト方向のそれぞれに旋回可能であるのが、望ましい。

そして、この場合、カメラは、水平方向よりも下方に向けられるもの、例えば監視用途において天井等の高い位置に取り付けられるもの、であってもよい。

この第１の発明の別の態様は、カメラの旋回中心を原点とする固定された絶対座標系における当該カメラの現在の向きを求める現方向演算手段と、当該カメラによって撮影された画像を表示する表示手段と、この表示手段によって表示された画像の所定の特徴部分を抽出する抽出手段と、を具備する。さらに、この抽出手段によって抽出された特徴部分の撮影画像上における座標情報と、カメラの画角と、現方向演算手段によって求められた絶対座標系における現在のカメラの向きと、に基づいて、当該特徴部分の座標に対応する絶対座標系での原点からの方向を求める目標方向演算手段を、備える。そして、この目標方向演算手段によって求められた方向にカメラが向くように当該カメラを旋回させる旋回制御手段をも、具備するものである。

即ち、先に説明した態様では、言わば手動の指定手段によって撮影画像上の任意のポイントが指定されるのに対して、この別の態様では、抽出手段によって撮影画像の所定の特徴部分が抽出される。そして、抽出手段によって抽出された特徴部分の座標が、絶対座標系での原点からの方向に置き換えられ、この絶対座標系上に置き換えられた方向に、言わば自動的にカメラが向けられる。この結果、撮影画像上の特徴部分が、当該撮影画像（表示画面）の中央に正確に位置するようになる。

なお、ここで言う抽出手段としては、例えば撮影画像の時間的な変化を捉えることで、当該撮影画像上で移動する被写体像を上述の特徴部分として抽出（検出）するという、いわゆる移動体抽出を行う手段がある。かかる移動体抽出手段が採用された場合には、常に移動体にカメラが向けられるという、いわゆる自動追尾が実現される。

また、抽出手段として、撮影画像上で人間の顔に相当する部分を抽出するという、いわゆる顔抽出を行う手段を採用してもよい。さらに、撮影画像上で所定の色を抽出するという色抽出や、所定の形状を抽出するという形状抽出を行う手段等を、当該抽出手段として採用してもよい。

この第１の発明のさらに別の態様は、カメラの旋回中心を原点とする固定された絶対座標系における当該カメラの現在の向きを求める現方向演算手段と、当該カメラによって撮影された画像を表示する表示手段と、を具備する。そして、所定の旋回指令を入力する指令入力手段をも、備える。さらに、この指令入力手段によって入力された旋回指令に対応する撮影画像上の特定の座標情報と、カメラの画角と、現方向演算手段によって求められた絶対座標系における現在のカメラの向きと、に基づいて、当該特定の座標に対応する絶対座標系での原点からの方向を求める目標方向演算手段を、備える。そして、この目標方向演算手段によって求められた方向にカメラが向くように当該カメラを旋回させる旋回制御手段をも、具備するものである。

即ち、この態様では、言わば手動の入力手段によって旋回指令が入力されると、これに応答して、当該旋回指令に対応する撮影画像上の特定の座標が、絶対座標系での原点からの方向に置き換えられる。そして、この絶対座標系上に置き換えられた方向に、カメラが向けられる。この結果、旋回指令に対応する特定の座標部分が、撮影画像（表示画面）の中央に正確に位置するようになる。

なお、ここで言う特定の座標は、撮影画像から外れた位置にも設定可能としてもよい。このようにすれば、旋回指令の入力によって、より大きく（つまり大きな角度で）カメラを旋回させることができる。

また、複数種類の旋回指令が用意されていてもよい。このようにすれば、旋回指令の種類に応じて、カメラを旋回させることができる。換言すれば、旋回指令に従うカメラの旋回パターンを、複数種類の中から任意に選択することができる。

第２の発明は、カメラ制御方法に関する発明であって、カメラの旋回中心を原点とする固定された絶対座標系における当該カメラの現在の向きを求める現方向演算過程と、当該カメラによって撮影された画像を表示する表示過程と、この表示過程で表示された画像上の任意のポイントを指定する指定過程と、を具備する。さらに、この指定過程で指定されたポイントの撮影画像上における座標情報と、カメラの画角と、現方向演算過程で求められた絶対座標系におけるカメラの現在の向きと、に基づいて、当該ポイントの座標に対応する絶対座標系での原点からの方向を求める目標方向演算過程を、備える。そして、この目標方向演算過程で求められた方向にカメラが向くように当該カメラを旋回させる旋回制御過程をも、具備することを特徴とするものである。

即ち、この第２の発明は、第１の発明に対応する方法発明である。従って、この第２の発明が実施されると、第１の発明と同様の作用が奏される。

この第２の発明の別の態様は、カメラの旋回中心を原点とする固定された絶対座標系における当該カメラの現在の向きを求める現方向演算過程と、当該カメラによって撮影された画像を表示する表示過程と、この表示過程で表示された画像の所定の特徴部分を抽出する抽出過程と、を具備する。さらに、抽出過程で抽出された特徴部分の撮影画像上における座標情報と、カメラの画角と、現方向演算過程で求められた絶対座標系における現在のカメラの向きと、に基づいて、当該特徴部分の座標に対応する絶対座標系での原点からの方向を求める目標方向演算過程を、備える。そして、この目標方向演算過程で求められた方向にカメラが向くように当該カメラを旋回させる旋回制御過程をも、具備するものである。

この第２の発明のさらに別の態様は、カメラの旋回中心を原点とする固定された絶対座標系における当該カメラの現在の向きを求める現方向演算過程と、カメラによって撮影された画像を表示する表示過程と、を具備する。そして、所定の旋回指令を入力する指令入力過程をも、備える。さらに、この指令入力過程で入力された旋回指令に対応する撮影画像上の特定の座標情報と、カメラの画角と、現方向演算過程で求められた絶対座標系における現在のカメラの向きと、に基づいて、当該特定の座標に対応する絶対座標系での原点からの方向を求める目標方向演算過程を、備える。そして、この目標方向演算過程で求められた方向にカメラが向くように当該カメラを旋回させる旋回制御過程をも、具備するものである。

上述したように、第１の発明によれば、撮影画像上で任意のポイントが指定されると、その指定されたポイントの座標が、カメラを原点とする絶対座標系での当該原点からの方向に置き換えられ、この絶対座標系上に置き換えられた方向に、カメラが向けられる。従って、撮影画像上で求められた移動量ΔＸｒおよびΔＹｒがそのままカメラの旋回制御に適用されるがゆえに誤差が発生するという上述した従来技術とは異なり、撮影画像上で指定された通りにカメラの向きを常に正確に制御することができる。このことは、方法発明に係る第２の発明についても、同様である。

そして、別の態様によれば、撮影画像上で抽出された特徴部分の当該撮影画像上での座標が、カメラを原点とする絶対座標系での当該原点からの方向に置き換えられ、この絶対座標系上に置き換えられた方向に、カメラが向けられる。従って、特徴部分に対応する撮影対象に、カメラの向きを常に正確に合わせることができる。

さらに別の態様によれば、旋回指令が入力されると、これに応答して、当該旋回指令に対応する撮影画像上の特定の座標が、カメラを原点とする絶対座標系での当該原点からの方向に置き換えられ、この絶対座標系上に置き換えられた方向に、カメラが向けられる。従って、旋回指令に従う方向に、カメラの向きを正確に合わせることができる。

この発明の一実施形態について、図１に示す監視システム１０を例に挙げて説明する。

同図に示すように、この実施形態に係る監視システム１０は、監視対象エリアに設置された旋回型のカメラ２０と、監視対象エリアから離れた場所、例えば監視センタ、に設置されたパーソナルコンピュータ（以下、ＰＣと言う。）３０と、を備えている。

このうち、カメラ２０は、ドーム状の窓部２２を有するドームカメラと呼ばれるものであり、当該窓部２２を真下に向けた状態で監視対象エリアの天井４０に取り付けられている。そして、図には示さないが、このカメラ２０は、窓部２２を介して被写体の光学像が入射されるズームレンズ付きのＣＣＤ（Charge Coupled Device）カメラと、このＣＣＤカメラをパン方向およびチルト方向のそれぞれに旋回可能な旋回手段としての雲台と、を内蔵している。

一方、ＰＣ３０は、自身にインストールされたカメラ制御プログラムを実行することで、上述したポイントビューを実現するためのカメラ制御装置として機能する。即ち、カメラ制御装置としてのＰＣ３０は、図示しない同軸ケーブルを介してカメラ２０から送られてくる映像信号に基づいて、当該カメラ２０による撮影画像を表示手段としてのディスプレイ３２に表示させる。そして、このディスプレイ３２に表示された画像上において、指示手段としてのポインティングデバイス、例えばマウス３４、によって任意のポイントＰが指定されると、ＰＣ３０は、指定されたポイントＰがディスプレイ３２の表示画面の中央Ｏに位置するようにカメラ２０の向きを制御し、詳しくはそのための制御信号を図示しない制御用ケーブルを介してカメラ２０に送る。なお、ＰＣ３０は、指令入力手段としてのキーボード３６をも、備えている。

ところで、この実施形態におけるポイントビューは、次の手順によって実現される。

即ち、この実施形態においては、図２に示すような機械軸座標系という概念が導入される。この機械軸座標系は、カメラ２０の旋回中心を原点Ｏｍ（ｍ；機械軸座標系を表すインデックス）とする固定された３次元の絶対座標系（ワールド座標系）であり、当該原点Ｏｍにおいて互いに直交する３つの座標軸Ｘｍ，ＹｍおよびＺｍによって形成されている。なお、Ｘｍ軸は、水平方向に延伸し、Ｙｍ軸は、垂直方向に延伸する。そして、Ｚｍ軸は、これらＸｍ軸およびＹｍ軸のそれぞれと直交すると共に、水平方向に延伸する。

かかる機械軸座標系において、Ｚｍ軸上の正の方向が、カメラ２０の基準となる方向、言わば基準方向Ｚ０、とされる。そして、Ｙｍ軸を中心とする基準方向Ｚ０からの回転角が、パン角αとされ、Ｘｍ軸を中心とする基準方向Ｚ０からの回転角が、チルト角βとされる。つまり、パン角αおよびチルト角βによって、カメラ２０の向きが規定される。

ここで、上述のポイントＰの座標をこの機械軸座標系上で表すことができれば、当該機械軸座標系上での表記から、ポイントＰの座標に応じた新たなパン角αｎｅｗおよびチルト角βｎｅｗを求めることができ、ひいては正確なポイントビューを実現することができる、と期待される。

そこで、まず、機械軸座標系において、今現在のカメラ２０の向きを表す光軸ベクトルＺｃ（ｃ；後述するカメラ座標系を表すインデックス）が、求められる。具体的には、まず、図３に示すように、基準方向Ｚ０のベクトルを、Ｙｍ軸を中心として今現在のパン角α分だけ回転させた仮の光軸ベクトルＺｃ’が、求められる。なお、この回転演算には、公知の四元数（Quaternion）が用いられる。

即ち、或る四元数Ｑは、次の数１によって表される。

この数１において、ｔは、実部であり、ｘ，ｙおよびｚは、虚部である。また、この四元数Ｑは、Ｖ＝（ｘ，ｙ，ｚ）というベクトルを用いることによって、次の数２で表すこともできる。

ここで、基準方向Ｚ０をベクトルで表すと、Ｚ０＝（０，０，１）となる。そして、この基準ベクトルＺ０を数２に適用すると、当該基準ベクトルＺ０を含む四元数Ｑｚ０は、次の数３のように表される。

一方、Ｙｍ軸の方向ベクトルＶｙｍは、Ｖｙｍ＝（０，１，０）と表すことができる。そして、このＹｍ軸ベクトルＶｙｍを中心とする今現在のパン角α分の回転四元数Ｑｙｍは、次の数４によって求められる。

そして、この回転四元数Ｑｙｍと共役な四元数Ｑｙｍ^＊を用いて、次の数５を計算することで、Ｙｍ軸ベクトルＶｙｍを中心として上述の数３の四元数Ｑｚ０を今現在のパン角α分だけ回転させた四元数Ｑｚｃ’が、求められる。

この数５によって求められた四元数Ｑｚｃ’の虚部が、Ｙｍ軸を中心として基準ベクトルＺ０を今現在のパン角α分だけ回転させた仮の光軸ベクトルＺｃ’となる。このように四元数によれば、３次元の数値を一纏めに取り扱うことができるので、当該３次元の回転計算を効率的に行うことができる。

続いて、図４に示すように、仮の光軸ベクトルＺｃ’がＸｃ軸を中心として今現在のチルト角β分だけ回転される。これによって、今現在の光軸ベクトルＺｃが求められる。なお、ここで言うＸｃ軸とは、カメラ２０から見た空間の座標系、いわゆるカメラ座標系（ビュー座標系）において、光軸ベクトルＺｃを垂直方向に回転させる際に中心となる概念的な軸である。このＸｃ軸は、光軸ベクトルＺｃに対して直角を成し、かつ絶対座標系のＸｍ軸−Ｚｍ軸平面に沿って延伸する。また、これらＸｃ軸および光軸ベクトルＺｃのそれぞれと直角を成すように、後述するＹｃ軸も概念的に存在する。

さて、かかる仮の光軸ベクトルＺｃ’から今現在の光軸ベクトルＺｃへの回転演算にも、上述した四元数が用いられる。即ち、まず、Ｘｃ軸の方向ベクトルＶｘｃが、求められる。このＸｃ軸ベクトルＶｘｃは、Ｙｍ軸ベクトルＶｙｍおよび仮の光軸ベクトルＺｃ’のそれぞれと直角であるので、次の数６によって求めることができる。

なお、この数６において、演算子“×”は、ベクトルの外積を表す。そして、この数６によって求められたＸｃ軸ベクトルＶｘｃを中心とする今現在のチルト角β分の回転四元数Ｑｘｃが、次の数７によって求められる。

そして、この回転四元数Ｑｘｃと共役な四元数Ｑｘｃ^＊を用いて、次の数８を計算することで、Ｘｃ軸ベクトルＶｘｃを中心として仮の光軸ベクトルＺｃ’を含む四元数Ｑｚｃ’を今現在のチルト角β分だけ回転させた四元数Ｑｚｃが、求められる。

この数８によって求められた四元数Ｑｚｃの虚部が、今現在の光軸ベクトルＺｃとなる。従って、図４に符号５０で示すように、この光軸ベクトルＺｃが指す方向を中心とし、かつ今現在のカメラ２０の画角に応じた範囲が、当該今現在のカメラ２０の視野となる。そして、この視野５０の撮影画像が、ディスプレイ３２に表示される。

ここで、このディスプレイ３２に表示されている撮影画像上において、図５に示すように、任意のポイントＰが指定されると、今度は、このポイントＰの座標に対応する機械軸座標系上での新たなベクトル、言わば目標ベクトルＺｎｅｗが、求められる。

具体的には、まず、撮影画像上において、当該撮影画像の中心ＯからポイントＰまでの水平方向の距離ｄｕが、画素数換算で求められる。そして、Ｙｃ軸を中心として今現在の光軸ベクトルＺｃを当該距離ｄｕ分だけ回転させるのに必要な回転角度θが、求められる。なお、この水平方向への回転角度は、次の数９によって求められる。

この数９において、Ｆａは、カメラ２０の今現在の水平方向の画角であり、Ｎａは、同水平方向の全画素数である。なお、これら水平方向の画角Ｆａおよび全画素数Ｎａに代えて、垂直方向の画角Ｆｂおよび全画素数Ｎｂを用いてもよい。

さらに、今現在のＹｃ軸の方向ベクトルＶｙｃが、求められる。このＹｃ軸ベクトルＶｙｃは、今現在の光軸ベクトルＺｃおよびＸｃ軸ベクトルＶｘｃのそれぞれと直角であるので、次の数１０によって求めることができる。

そして、この数１０で求められたＹｃ軸を中心として今現在の光軸ベクトルＺｃを上述の数９で求められた回転角度θ分だけ回転させたベクトル、言わば仮の目標ベクトルＺｎｅｗ’が、求められる。これには、まず、Ｙｃ軸ベクトルＶｙｃを中心とする角度θ分の回転四元数Ｑｙｃが、次の数１１によって求められる。

そして、この回転四元数Ｑｙｃと共役な四元数Ｑｙｃ^＊を用いて、次の数１２を計算することで、Ｙｃ軸ベクトルＶｙｃを中心として光軸ベクトルＺｃを含む四元数Ｑｚｃを角度θ分だけ回転させた四元数Ｑｚｎｅｗ’が、求められる。

この数１２によって求められた四元数Ｑｚｎｅｗ’の虚部が、仮の目標ベクトルＺｎｅｗ’となる。

次に、撮影画像の中心ＯからポイントＰまでの垂直方向の距離ｄｖが、画素数換算で求められる。そして、Ｘｃ軸を中心として仮の目標ベクトルＺｎｅｗ’を当該距離ｄｖ分だけ回転させるのに必要な回転角度ρが、求められる。なお、この垂直方向への回転角度は、上述の数９と同様、次の数１３によって求められる。

そして、Ｘｃ軸ベクトルＶｘｃを中心とする角度ρ分の回転四元数Ｑｘｃ’が、次の数１４によって求められる。

さらに、この回転四元数Ｑｘｃ’と共役な四元数Ｑｘｃ’^＊を用いて、次の数１５を計算することで、Ｘｃ軸ベクトルＶｘｃを中心として仮の目標ベクトルＺｎｅｗ’を含む四元数Ｑｚｎｅｗ’を角度ρ分だけ回転させた四元数Ｑｚｎｅｗが、求められる。

この数１５によって求められた四元数Ｑｚｎｅｗの虚部が、目標ベクトルＺｎｅｗとなる。

そして、この目標ベクトルＺｎｅｗが、機械軸座標系において基準ベクトルＺ０からどれくらいの角度を成すのかによって、新たなパン角αｎｅｗおよびパン角βｎｅｗが、求められる。

具体的には、図６に示すように、目標ベクトルＺｎｅｗがＸｍ軸−Ｚｍ軸平面に投射されることによって形成されるベクトルＺｎｅｗ”を考える。この場合、新たなパン角αｎｅｗは、当該投射ベクトルＺｎｅｗ”と基準ベクトルＺ０とが成す角になる。従って、目標ベクトルＺｎｅｗが、Ｚｎｅｗ＝（ｘｎ，ｙｎ，ｚｎ）であるとすると、投射ベクトルＺｎｅｗ”は、Ｚｎｅｗ”＝（ｘｎ，０，ｚｎ）と表すことができるので、新たなパン角αｎｅｗは、次の数１６によって求められる。

一方、新たなチルト角βｎｅｗは、図７に示すように、目標ベクトルＺｎｅｗと上述の投射ベクトルＺｎｅｗ”とが成す角になるので、次の数１７によって求められる。

このようにして新たなパン角αｎｅｗおよびチルト角βｎｅｗが求められると、これら新たなパン角αｎｅｗおよびチルト角βｎｅｗに基づいて、カメラ２０のパン角αおよびチルト角βが制御される。これによって、カメラ２０のパン角αおよびチルト角βは、それぞれ新たなパン角αｎｅｗおよびチルト角βｎｅｗに設定され、当該カメラ２０（光軸）の向きが指定されたポイントＰの座標に対応する方向に向けられる。

かかる一連の手順によりポイントビューを実現するために、ＰＣ３０（厳密にはＰＣ３０内のＣＰＵ；Central Processing Unit）は、上述したカメラ制御プログラムに従って、次のように動作する。

即ち、図８を参照して、撮影画像上で任意のポイントＰが指定されると、ＰＣ３０は、ステップＳ１に進む。そして、このステップＳ１において、上述した数９に基づいて、当該ポイントＰにカメラ２０を向けるためのカメラ座標系における水平方向の必要回転角度θを、算出する。なお、この必要回転角度θの算出には、今現在の光軸ベクトルＺｃが必要となるが、ＰＣ３０は、カメラ制御プログラムを起動した直後に、まず、上述した数３〜数８に基づいて、当該光軸ベクトルＺｃを算出する。

このステップＳ１の実行後、ＰＣ３０は、ステップＳ３に進む。そして、このステップＳ３において、上述した数１０〜数１２に基づいて、仮の目標ベクトルＺｎｅｗ’を算出する。

さらに、ＰＣ３０は、ステップＳ５に進み、上述した数１３に基づいて、ポイントＰにカメラ２０を向けるためのカメラ座標系における垂直方向の必要回転角度ρを、算出する。そして、ステップＳ５の実行後、ステップＳ７に進み、上述した数１４および数１５に基づいて、目標ベクトルＺｎｅｗを算出する。

そしてさらに、ＰＣ３０は、ステップＳ９に進み、数１６に基づいて新たなパン角αｎｅｗを算出した後、ステップＳ１１に進む。そして、このステップＳ１１において、数１７に基づいて新たなチルト角βｎｅｗを算出した後、ステップＳ１３に進む。

ステップＳ１３において、ＰＣ３０は、上述のステップＳ９で算出された新たなパン角αｎｅｗに基づいて、カメラ２０のパン角αを制御し、詳しくはそのための制御信号をカメラ２０に送る。これによって、カメラ２０のパン角αが、新たなパン角αｎｅｗに設定される。

そして、ＰＣ３０は、ステップＳ１５に進み、上述のステップＳ１１で算出された新たなチルト角βｎｅｗに基づいて、カメラ２０のチルト角βを制御し、詳しくはそのための制御信号をカメラ２０に送る。これによって、カメラ２０のチルト角βが、新たなチルト角βｎｅｗに設定される。

このステップＳ１５の実行後、ＰＣ３０は、ステップＳ１７に進み、上述のステップＳ７で算出された目標ベクトルＺｎｅｗを、現在の光軸ベクトルＺｃとして設定する。そして、このステップＳ１７の実行をもって、一連（１回）のポイントビューを終了する。

以上のように、この実施形態におけるポイントビューによれば、撮影画像上で指定されたポイントＰの座標が、カメラ２０を原点Ｏｍとする機械軸座標系において目標ベクトルＺｎｅｗに変換され、この目標ベクトルＺｎｅｗに基づいて新たなパン角αｎｅｗおよびチルト角βｎｅｗが求められる。そして、この求められた新たなパン角αｎｅｗおよびチルト角βｎｅｗに基づいて、実際のパン角αおよびチルト角βが制御される。従って、撮影画像という２次元空間で求められた移動量ΔＸｒおよびΔＹｒがそのままカメラの旋回制御という３次元空間での制御に適用されるがゆえに誤差が生じていた上述した従来技術とは異なり、撮影画像上で指定されたポイントＰの座標に対応する方向にカメラ２０を正確に向けることができる。

特に、上述の従来技術においては、チルト角が大きくなるに連れて誤差が顕著になるのに対して、この実施形態では、そのような不都合は生じない。従って、この実施形態で説明した監視システム１０のように、カメラ２０が天井４０等の高所に取り付けられ、そこから下方に向けられるような用途に、この発明は、極めて有効である。

なお、この実施形態においては、ポイントＰの指定のみならず、例えば図９（ａ）に示すように、ディスプレイ３２に表示された撮影画像上で矩形のエリア６０を指定することもできる。そして、このようにエリア６０が指定された場合には、同図（ｂ）に示すように、当該指定されたエリア６０の撮影画像がディスプレイ３２の表示画面（厳密には当該撮像画像を表示させるための領域）一杯に映し出されるように、カメラ２０の向きおよびズームレンズの倍率が、制御される。

具体的には、上述したマウス３４の操作（例えば左ボタンのクリックおよびドラッグ・アンド・ドロップ操作）によって、図１０（ａ）に示すように、撮影画像上の任意の２点ＡおよびＢが指定される、とする。すると、指定されたこれらの２点ＡおよびＢを対角とする矩形のエリア６０が、一時的に設定される。そして、このエリア６０の特定の頂点、例えば左上の頂点Ａ、を基点として、同図（ｂ）に示すように、表示画面（カメラ２０の視野）と同じ縦横比であり、かつ当該エリア６０内に一杯（キリギリ）に入る、矩形の目標ズームエリア６２が、一時的に設定される。さらに、同図（ｃ）に示すように、目標ズームエリア６２の中心点Ｃが、求められる。そして、この中心点Ｃが上述のポイントＰとして取り扱われる。つまり、このポイントＰ（Ｃ）の座標に対応する方向にカメラ２０が向くように、上述と同じ要領で新たなパン角αｎｅｗおよびチルト角βｎｅｗが求められ、実際のパン角αおよびチルト角βが変更される。そしてさらに、目標ズームエリア６２の大きさと表示画面の大きさとの比率が求められ、この比率に応じてズームレンズの倍率が変更され、いわゆるズームインされる。なお、このズームインが完了すると、エリア６０および目標ズームエリア６２の設定が、解除される。また、マウス３４の右ボタンがクリックされると、ズームレンズの焦点距離が最短となり、言わば最大限にズームアウトされる。そして、改めてエリア６０の指定が可能となる。

ここでは、目標ズームエリア６２の中点Ｃが、ポイントＰとして取り扱われることとしたが、これに限らない。例えば、エリア６０の中点や、当該エリア６０の頂点ＡおよびＢのいずれかが、当該ポイントＰとして取り扱われることとしてもよい。また、目標ズームエリア６２は、頂点Ａ以外の頂点、例えば頂点Ｂを、基点として設定されてもよいし、エリア６０の中央に設定されてもよい。

さらに、この実施形態においては、上述したキーボード３６の操作によって、カメラ２０を所定量だけ旋回させることもできる。

例えば、キーボード３６を構成する上向き矢印（↑）キーが押下されると、図１１（ａ）に示すように、撮影画像の上側端縁の中点Ｐ１がポイントＰとして指定されたものと、認識される。そして、このポイントＰ（Ｐ１）の座標に対応する方向にカメラ２０が向くように、上述と同じ要領で新たなパン角αｎｅｗおよびチルト角βｎｅｗが求められ、実際のパン角αおよびチルト角βが変更される。この結果、当該ポイントＰ（Ｐ１）がディスプレイ３２の表示画面の中央Ｏに位置するようになる。換言すれば、カメラ２０の視野が、その上方に向かって当該視野の半分だけスライドした状態になる。

また、キーボード３６の右向き矢印（→）キーが押下されると、図１１（ｂ）に示すように、撮影画像の右側端縁の中点Ｐ２がポイントＰとして指定されたものと、認識される。そして、このポイントＰ（Ｐ２）の座標に対応する方向にカメラ２０が向くように、上述と同じ要領でパン角αおよびチルト角βが制御される。この結果、当該ポイントＰ（Ｐ２）が表示画面の中央Ｏに位置するようになり、換言すれば、カメラ２０の視野が、その右横方に向かって当該視野の半分だけスライドした状態になる。

さらに、キーボード３６の下向き矢印（↓）キーが押下されると、図１１（ｃ）に示すように、撮影画像の下側端縁の中点Ｐ３がポイントＰとして指定されたものと、認識される。そして、上述と同じ要領でパン角αおよびチルト角βが制御され、この結果、カメラ２０の視野が、その下方に向かって当該視野の半分だけスライドした状態になる。

そしてさらに、キーボード３６の左向き矢印（←）キーが押下されると、図１１（ｄ）に示すように、撮影画像の左側端縁の中点Ｐ４がポイントＰとして指定されたものと認識され、上述と同じ要領でパン角αおよびチルト角βが制御される。この結果、カメラ２０の視野が、その左横方に向かって当該視野の半分だけスライドした状態になる。

このように、この実施形態によれば、マウス３４の操作のみならず、キーボード３６（矢印キー）の操作によっても、カメラ２０を旋回させることができるので、利便性が向上する。そして、この場合も、機械軸座標系に準拠した正確な旋回制御が行われる。

なお、ここでは、撮影画像の各端縁の中点Ｐ１〜Ｐ４が、ポイントＰとして認識されることとしたが、これに限らない。例えば、図１２（ａ）に示すように、撮影画像の各端縁よりも内側に、各点Ｐ１〜Ｐ４が設定されてもよい。このようにすれば、１回のキー操作に対するカメラ２０の旋回量（旋回角度）が、図１１の場合よりも小さくなる。

また、図１２（ｂ）に示すように、撮像画像から外れた位置に、各点Ｐ１〜Ｐ４が設定されてもよい。このようにすれば、１回のキー操作に対するカメラ２０の旋回量が、図１１の場合よりも大きくなる。なお、このように撮影画像外に各点Ｐ１〜Ｐ４が設定された場合には、当該撮影画像よりも大きい面積の２次元座標系上で、当該各点Ｐ１〜Ｐ４の座標が求められる。そして、この２次元座標系上での座標が、上述した機械軸座標系での目標ベクトルＺｎｅｗに置き換えられ、この目標ベクトルＺｎｅｗに基づいて新たなパン角αｎｅｗおよびチルト角βｎｅｗが求められ、ひいては実際のパン角αおよびチルト角βが制御される。

さらに、図１２（ｃ）に示すように、撮影画像上または当該撮影画像外の任意の位置に、各点Ｐ１〜Ｐ４が設定されてもよい。

そして、矢印キー以外のキーが押下されたときに、上述の如くカメラ２０が旋回するようにしてもよい。つまり、矢印キー以外のキーを、各点Ｐ１〜Ｐ４に対応させて（割り当てて）もよい。

また、４つの点Ｐ１〜Ｐ４に限らず、これよりも多数の点、または少数の点を、設定可能としてもよい。

さらに、矢印キー等の操作キーを模擬した操作子をディスプレイ３２に表示させ、このディスプレイ３２上の操作子がマウス３４によって操作（クリック）されたときに、カメラ２０が旋回するようにしてもよい。

そしてさらに、音声認識技術を利用して、カメラ２０が旋回するようにしてもよい。即ち、音声入力手段としてのマイクロホンを設け、このマイクロホンに、例えば「上」という音声が入力されたときに、カメラ２０が上方に所定量だけ旋回し、「右」という音声が入力されたときに、カメラ２０が右方に所定量だけ旋回するようにする。そして、「下」という音声がマイクロホンに入力されたときに、カメラが下方に所定量だけ旋回し、「左」という音声が入力されたときに、カメラが左方に所定量だけ旋回するようにしてもよい。勿論、これ以外の音声（文言）の入力に応答して、カメラが適宜旋回するようにしてもよい。

また、この実施形態では、いわゆる自動追尾機能を付加することもできる。

即ち、この自動追尾機能によれば、図１３（ａ）に示すように、撮影画像上で移動する被写体像７０が存在するとき、この被写体像７０が、特徴抽出処理の１つである公知の移動体検出処理によって捕捉される。そして、捕捉された被写体像７０が、同図（ｂ）に示すように、表示画面の中央Ｏに位置するように、上述のポイントビューによってカメラ２０の向きが制御される。

なお、ここでは、図１４に示すように、被写体像（移動体像）７０全体の重心Ｇが求められ、この重心Ｇがポイントとして認識される例を示す。勿論、重心Ｇに限らず、その他の適当な点が、ポイントＰとして認識されるようにしてもよい。

さらに、移動体検出処理に代えて、他の特徴抽出処理を採用してもよい。例えば、人間の顔に相当する部分を検出する顔検出処理や、所定の色を検出する色検出処理、或いは所定の形状を検出する形状検出処理等の、当該移動体検出処理以外の特徴抽出処理を採用してもよい。このようにすれば、かかる特徴抽出処理によって抽出された部分に対応する方向に、自動的にカメラ２０が向けられる。

この実施形態で説明した内容は、飽くまでこの発明を実現するための一例であり、この発明の範囲を限定するものではない。

例えば、カメラ２０は、ドームカメラに限らず、いわゆる固定カメラと雲台とを組み合わせたものでもよい。また、雲台を含むカメラは、パンのみ可能なもの、或いはチルトのみ可能なものであってもよい。

そして、ＰＣ３０は、インターネット等の電気通信回線（ネットワーク）を介して、カメラ２０を制御可能としてもよい。さらに、ＰＣ３０に代えて、専用のコントローラを用いてもよい。

また、マウス３４に代えて、ペンタブレットやジョイスティック等の当該マウス３４以外のポインティングデバイスを採用してもよい。

さらに、ディスプレイ３２として、いわゆるタッチディスプレイを採用し、このタッチディスプレイ上でポイントＰ（および矩形エリア６０）を指定可能としてもよい。

そしてさらに、ＰＣ３０によってカメラ２０の旋回制御が成されることとしたが、これに限らない。例えば、ＰＣ３０からカメラ２０へはマウス３４やキーボード３６による操作内容のみが伝えられ、カメラ２０側で当該操作内容に従う旋回制御（つまり図８のフローチャートに従う処理等）が成されることとしてもよい。

また、上述した各ベクトルの回転を演算するのに四元数を用いたが、これに限らない。例えば、３次元回転行列等の当該四元数以外の演算法を用いてもよい。

この発明の一実施形態に係る監視システムの概略構成を示す図である。 同実施形態において導入される機械軸座標系の概念的に示す図解図である。 同実施形態においてポイントビューを実現するための手順の一過程を示す図解図である。 図３に続く過程を示す図解図である。 図４に続く過程を示す図解図である。 図５に続く過程を示す図解図である。 図６に続く過程を示す図解図である。 同実施形態におけるＰＣの動作を示すフローチャートである。 同実施形態の別の例を示す図解図である。 図９の動作を実現するための手順を示す図解図である。 同実施形態においてキーボードが操作されたときの動作を示す図解図である。 図１１の別の例を示す図解図である。 同実施形態に追加可能な自動追尾機能の概略を示す図解図である。 図１３の動作を実現するための手順を示す図解図である。 ポイントビュー技術の概略を示す図解図である。 従来技術の概略を示す図解図である。 従来技術の問題点を示す図解図である。

符号の説明

１０ 監視システム
２０ カメラ
３０ ＰＣ
３２ ディスプレイ
３４ マウス
３６ キーボード

Claims (9)

1. パン方向およびチルト方向のそれぞれに旋回可能な旋回型のカメラの向きを制御するカメラ制御装置において、
   上記カメラを原点とすると共に該原点からの基準方向が予め定められている固定された３次元の絶対座標系における該カメラの現在の向きを求める現方向演算手段と、
   上記カメラによって撮影された画像を表示する表示手段と、
   上記表示手段によって表示された上記画像上の或るポイントが指定されたとき該画像上における該ポイントの座標情報と上記カメラの画角と上記現方向演算手段によって求められた上記カメラの現在の向きとに基づいて該ポイントに対応する上記絶対座標系における上記原点からの方向を求める目標方向演算手段と、
   上記目標方向演算手段によって求められた目標方向の上記基準方向からの上記パン方向および上記チルト方向それぞれにおける角度を求める角度演算手段と、
   上記角度演算手段によって求められた上記角度に基づいて上記カメラを旋回させる旋回制御手段と、
   を具備することを特徴とする、カメラ制御装置。
2. 任意の上記ポイントを指定する指定手段をさらに備える、
   請求項１に記載のカメラ制御装置。
3. 上記指定手段は上記画像上の任意の領域をも指定可能であり、
   上記目標方向演算手段は上記指定手段によって上記領域が指定されたとき該領域の特定の位置を上記ポイントとして取り扱う、
   請求項２に記載のカメラ制御装置。
4. 上記カメラはズーム機能を有しており、
   上記指定手段によって上記領域が指定されたとき該領域の大きさに応じて上記ズーム機能によるズーム倍率を制御するズーム制御手段をさらに備える、
   請求項３に記載のカメラ制御装置。
5. 上記表示手段によって表示された上記画像上の所定の特徴部分を抽出する抽出手段をさらに備え、
   上記目標方向演算手段は上記抽出手段によって抽出された上記特徴部分における特定の位置を上記ポイントとして取り扱う、
   請求項１に記載のカメラ制御装置。
6. 所定の旋回指令を入力する指令入力手段をさらに備え、
   上記目標方向演算手段は上記指令入力手段によって入力された上記旋回指令に対応する上記画像上の特定の位置を上記ポイントとして取り扱う、
   請求項１に記載のカメラ制御装置。
7. 上記特定の位置は上記画像から外れた位置にも設定可能である、
   請求項６に記載のカメラ制御装置。
8. 複数種類の上記旋回指令が用意されている、
   請求項６または７に記載のカメラ制御装置。
9. パン方向およびチルト方向のそれぞれに旋回可能な旋回型のカメラの向きを制御するカメラ制御方法において、
   上記カメラを原点とすると共に該原点からの基準方向が予め定められている固定された３次元の絶対座標系における該カメラの現在の向きを求める現方向演算過程と、
   上記カメラによって撮影された画像を表示する表示過程と、
   上記表示過程で表示された上記画像上の或るポイントが指定されたとき該画像上における該ポイントの座標情報と上記カメラの画角と上記現方向演算過程で求められた上記カメラの現在の向きとに基づいて該ポイントに対応する上記絶対座標系における上記原点からの方向を求める目標方向演算過程と、
   上記目標方向演算過程で求められた目標方向の上記基準方向からの上記パン方向および上記チルト方向それぞれにおける角度を求める角度演算過程と、
   上記角度演算過程で求められた上記角度に基づいて上記カメラを旋回させる旋回制御過程と、
   を具備することを特徴とする、カメラ制御方法。

Images