JP3704045B2 - 目標物体追尾装置 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、カメラ等の撮像手段で得られた入力画像データと、記憶手段内に記憶された参照画像データとの間で残差演算を行い、この撮像手段の視野領域内において所定の目標物体を追尾する目標物体追尾装置に関する。
【０００２】
【従来の技術】
この種の目標物体追尾装置としては、たとえば特公昭６０−３３３５０号公報、特公昭６１−１９０７６号公報に開示されたものがある。これらは、予め記憶した参照画面と、撮像装置から供給される画像信号をＡ／Ｄ変換した入力画面との相関係数を求め、この相関係数の最大値を与える座標を検出して所定の目標物体を追尾する。この際、追尾動作の実時間化を目的として、入力画面内に相関演算用の領域を設け、この領域内において参照画面との相関係数演算を行っている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述した従来の目標物体追尾装置にあっては、相関演算用の領域は、前回の追尾動作により得られた目標物体の位置を中心にして設定されるか、あるいは入力画面内で固定されていたので、スポーツシーンなど動きの速い目標物体はこの相関演算用の領域から目標物体が外れてしまうおそれがあり、その位置を追尾することが困難であった。また、スポーツシーンなどでは目標物体の形状が変化したり（たとえば正面向きが横向きになる）、あるいは目標物体の輝度が変化する（たとえば日向から日陰へ移動する）と、予め記憶されている参照画像との相関演算によっては目標物体の位置を追尾できない場合が生じていた。
【０００４】
本発明の目的は、動きの速い目標物体の位置を迅速かつ確実に追尾することの可能な目標物体追尾装置を提供することにある。
【０００５】
【課題を解決するための手段】
クレーム対応図である図１に対応付けて説明すると、請求項１の発明は、入力画像データを出力する撮像手段３０１と、追尾すべき目標物体の画像データとなる参照画像データを記憶する記憶手段３０２と、前記入力画像データおよび前記参照画像データの最小残差量を算出する演算手段３０３と、前記最小残差量に基づいて前記目標物体の位置を検出する位置検出手段３０４とを備えた目標物体追尾装置に適用される。
そして、前記目標物体の位置に対応する前記入力画像データおよび前記参照画像データについて、前記参照画像データの重みを残すように荷重加算することによって次回用いられる参照画像データを更新する更新手段３０５を設け、この更新手段３０５により更新された参照画像データを用いて前記演算手段３０３が前記最小残差量を算出することを特徴とする。
この際、前記演算手段３０３により算出された前記最小残差量が所定値以下である場合にのみ前記更新手段３０５が前記参照画像データを更新するようにしてもよい。
【０００６】
【作用】
−請求項１−
更新手段３０５は、目標物体の位置に対応する入力画像データと参照画像データとを用いて荷重加算を行い、参照画像データの重みを残すように次回の参照画像データを更新する。演算手段３０３は、更新参照画像データを用いて最小残差量を算出する。
更新手段３０５により目標物体の位置に対応する入力画像データに参照画像データの少なくとも一部が取り込まれて次回の参照画像データが更新されるので、目標物体についての入力画像データが変化しても位置検出手段３０４により確実に目標物体の位置を検出することができる。
【０００７】
【実施例】
（一実施例）
図２は、本発明による目標物体追尾装置の一実施例が内蔵されたカメラを示す概略図である。図において、１は銀塩写真に適用される一眼レフカメラ（以下、単にカメラと称する）であり、このカメラ１において、被写体からの光はカメラ１前部の撮影レンズ２を通り、ミラー３により上方に向けて反射されてスクリーン４上で結像される。撮影者は、このスクリーン４上に結像した被写体像をプリズム５および接眼レンズ９を通して観察する。また、スクリーン４上の被写体像は再結像レンズ６により撮像センサ７上に結像され、この撮像センサ７からの出力はマイクロコンピュータ等を内蔵する演算装置８によって処理される。演算装置８は不図示の記憶素子を備え、この記憶素子内にはテンプレートとなる参照画像がデジタルデータとして記憶される。
【０００８】
図３は、撮像センサ７の詳細を示す図である。図３に示すように、撮像センサ７はマトリクス状に配列された複数（図示例では１８列×１２行）の画素１０を備えており、撮影者が観察する被写界像と等価な像がこの撮像センサ７上に結像される。図中、Ａは撮影者が観察する被写界全体（すなわち撮像センサ７全体）に対応する視野領域、Ｂは目標物体検出位置を示す追尾領域であり、本実施例では追尾領域Ｂは４列×４行の画素から構成されている。各画素１０は、図４に示すようにさらに３つの細画素１１ａ〜１１ｃに分割されており、これら細画素１１ａ〜１１ｃのそれぞれに図示のごとくＲＧＢ３原色フィルター（不図示）が設けられることにより、被写体像のＲＧＢ出力が得られる。
【０００９】
次に、図５〜図６、図９〜図１０のフローチャートおよび図１１〜図１６を参照して、本実施例のカメラ１の動作について説明する。
(１) 色選択処理
図５のフローチャートに示すプログラムは、撮影者が被写体像を観察して目標となる被写体を追尾領域Ｂ内に捉えた段階で、たとえば不図示のレリーズボタンを半押しする等の動作で撮影者が被写体捕捉を指令することにより開始する。なお、プログラム開始時においては、図３に示すように追尾領域Ｂは視野領域Ａの略中央に位置しているものとする。
【００１０】
まず、ステップＳ１では追尾領域Ｂ内の各画素のＲＧＢ出力を撮像センサ７から得る。追尾領域Ｂ内のＲＧＢ出力は、演算装置８内の不図示の一時記憶素子内に格納される。サブルーチンＳＲ１では、ステップＳ１で得られた追尾領域Ｂ内のＲＧＢ出力の中からいずれか１つの色出力を選択する色選択処理が行われる。
【００１１】
色選択処理の詳細は図６のフローチャートに示される。ステップＳ１０１では、ステップＳ１で得られた追尾領域Ｂ内のＲＧＢ出力を各色毎に加算する。ステップＳ１０２では、ステップＳ１０１で得られた加算結果の最大値を求め、この最大値が得られた色（Ｒ、Ｇ、Ｂのいずれか）を検出、選択する。以降、選択された色をαで示す。この後、プログラムは図５のメインルーチンに戻る。
【００１２】
ステップＳ２では、追尾領域Ｂ内のＲＧＢ出力のうちサブルーチンＳＲ１で選択された色αの出力をＢij（ｉ，ｊ＝１〜４）とおき、演算装置８内の不図示の記憶素子内に行列形式で格納する。この値Ｂijが、位置を追尾すべき目標被写体（目標物体）が含まれる参照画像データである。
【００１３】
(２) 演算領域設定
ステップＳ３では、視野領域Ａ内の各画素の色αの出力を撮像センサ７から得る。視野領域Ａ内の色αの出力は、演算装置８内の不図示の一時記憶手段に格納される。
ステップＳ４では追尾領域Ｂの速度ベクトルおよび加速度ベクトルを算出する。図１１に示すように、追尾領域Ｂは目標被写体の移動に連れて視野領域Ａ内で移動し、後述のステップＳ９で目標被写体を検出する毎にその位置が設定される。速度ベクトルＶ（ｖx，ｖy）は、ステップＳ９における目標被写体検出間隔の間に追尾領域Ｂが移動した行方向（以下Ｙ方向ともいう）および列方向（以下Ｘ方向ともいう）の画素数で定義される。また、加速度ベクトルＡＣ（ａx，ａy）は、互いに隣り合う速度ベクトルＶ1、Ｖ2（図１１参照）の行方向および列方向の変化量（ａx＝ｖ1x−ｖ2x、ａy＝ｖ1y−ｖ2y）で定義される。
【００１４】
ステップＳ５では、ステップＳ４で算出された速度ベクトルＶの各成分の変化量（すなわち加速度ベクトルの各成分）の絶対値|ｖ1x−ｖ2x|、|ｖ1y−ｖ2y|が予め定められた閾値Ｔ1より小さいか否かが判定され、判定が肯定されるとプログラムはステップＳ６へ移行し、判定が否定されるとステップＳ７へ移行する。閾値Ｔ1は、目標被写体がほぼ等速で移動しているか否かを判定するためのものであり、速度ベクトルの測定誤差等に応じて適宜設定される。
ステップＳ６では、速度ベクトルＶ1、Ｖ2の変化量が閾値Ｔ1以下の小さい値であるから目標被写体は次回もほぼ同じ速度ベクトルをもって移動するものと仮定し、図１１に示すようにＶ0＝Ｖ1とおいて現在の追尾領域Ｂの位置から速度ベクトルＶ0だけずれた位置に演算領域Ｃ（演算領域については後述する）を設定する。この後、プログラムはステップＳＲ２へ移行する。
【００１５】
次に、ステップＳ７では、ステップＳ４で算出された加速度ベクトルＡＣの絶対値が予め定められた閾値Ｔ2より大きいか否かが判定され、判定が肯定されるとプログラムはステップＳ８へ移行し、判定が否定されるとサブルーチンＳＲ２へ移行する。閾値Ｔ2は、目標被写体の速度が急激に変化しているか否かを判定するためのものであり、演算領域の大きさ等に応じて適宜設定される。
ステップＳ８では、加速度ベクトルＡＣの値が閾値Ｔ2以上の大きい値であるから目標被写体の動きは不確定である（速度がより早まるかもしれず、あるいは突然停止するかもしれない、など）とし、Ｖ0＝Ｖ1とおいて現在の追尾領域Ｂの位置から速度ベクトルＶ0だけずれた位置に通常の演算領域より大きい演算領域Ｃ（たとえば行、列ともに２倍、あるいはそれ以上）を設定する。
【００１６】
(３) 最小残差量演算
サブルーチンＳＲ２では最小残差量演算が行われる。
最小残差量演算の詳細は図９のフローチャートに示される。まず、ステップＳ２０１では初期設定が行われる。具体的には、図１２に示す演算領域Ｃ内の左上隅に検出領域を設定し、カウンタｎに１を代入する。
図１２は追尾領域、演算領域および検出領域の位置関係を示す図である。図１２において、Ｃは目標被写体が検索される領域を示す演算領域である。図示例では追尾領域Ｂを中心としてこの追尾領域Ｂより行方向、列方向ともに１画素分だけ広い領域に演算領域Ｃが設定されているが、後述のごとく演算領域Ｃの大きさは図示例に限定されない。Ｄは追尾領域Ｂとの残差演算が行われる領域を示す検出領域であり、追尾領域Ｂと等しい４列×４行の画素から構成されている。
【００１７】
ステップＳ２０３では、ステップＳ２０１で設定された検出領域Ｄ内の色αの出力Ｄij（ｉ，ｊ＝１〜４）をステップＳ３で求めた視野領域Ａの出力から求める。図１２に示す領域が設定されている場合における追尾領域Ｂおよび検出領域Ｄ内の色αの出力Ｂij（これは参照画像データでもある）、Ｄijの位置関係を図１３に示す。
【００１８】
ステップＳ２０４では、参照画像データＢijおよび検出領域Ｄの出力Ｄijの残差量が演算される。残差量は、対応する（つまり添字が共通の）画素単位での各出力間の差の総和、すなわちΣΣＷij|Ｂij−Ｄij|（ここに、ΣΣはｉ＝１〜４、ｊ＝１〜４までの総和を示す）により定義される。Ｗijは重み係数であり、残差量が絶対差を演算する際にその情報量が減少し、加えて総和を演算する際にさらに情報量が減少するために目標被写体が存在しない箇所で残差量が最小となる（疑似マッチングと呼ぶ）ことを防ぐためのものである。重み係数Ｗijは、参照画像データＢijにおいて中央に近い画素ほど目標被写体の重要なデータを与える確率が高いことを考慮して、中央に近い画素ほど大きくし、その値は経験的に定められる。一例としてｉ，ｊともに２，３のどちらかであればＷij＝２、それ以外はＷij＝１とされる。残差量は、演算領域Ｃ内での演算回数ｎとともに変数Ｓｕｍnとして演算装置８内の記憶素子内に格納される。
【００１９】
ステップＳ２０５では、次の残差量演算のために検出領域Ｄを移動させ、カウンタｎを１つインクリメントする。すなわち、検出領域Ｄを図１２、図１３に示す位置から１画素分右へずらし、検出領域Ｄがすでに演算領域Ｃの右端に位置しているときは１画素分下へずらすとともに演算領域Ｃの左端に位置させる。このようにして、検出領域Ｄは図１２、図１３において左から右へ、上から下へ１画素毎に順次移動する。図１３に示す位置から検出領域Ｄを１画素分右へずらした状態における追尾領域Ｂおよび検出領域Ｄ内の色αの出力Ｂij、Ｄijの位置関係を図１４に示す。
【００２０】
ステップＳ２０６ではカウンタｎの値が最終値（図示例ではｎ＝１０）に至ったか否かが判定され、判定が肯定されるとプログラムはステップＳ２０７へ移行し、判定が否定されるとステップＳ２０３へ戻って上述の処理を繰り返す。このようにして、検出領域Ｄを移動させながら参照画像データとの間で残差演算を繰り返し、９個の残差量を演算する。残差量演算終了時における追尾領域Ｂおよび検出領域Ｄ内の色αの出力Ｂij、Ｄijの位置関係を図１５に示す。
【００２１】
ステップＳ２０７では、Ｓｕｍn（ｎ＝１〜９）のうち最小値（最小残差量）を与えるＳｕｍnを検出する。ステップＳ２０８では、Ｓｕｍnの最小値を与える検出領域Ｄ内に目標被写体が存在するものと判断し、この検出領域Ｄの位置を算出する。この後は、図５のメインルーチンに戻る。
【００２２】
(４) 追尾領域移動、次回演算領域設定
ステップＳ９では、サブルーチンＳＲ２によって算出された目標被写体を含む検出領域Ｄの位置に追尾領域Ｂを移動する。これにより、移動する目標被写体の追尾が行える。また、本実施例では、図１１に示すように速度ベクトルＶおよび加速度ベクトルＡＣの算出のために過去の追尾領域Ｂの位置を必要とするため、過去２回分の追尾領域Ｂの位置が記憶素子内に記憶される。
【００２３】
サブルーチンＳＲ３では、次回演算領域設定が行われる。これは、図１６に示すように、演算領域Ｃが追尾領域Ｂより何画素分大きいかを示す画素幅について列方向の画素幅をＳx、行方向の画素幅をＳyとすると、残差量演算回数ｎとＳx、Ｓyとの間には
ｎ＝（２Ｓx＋１）×（２Ｓy＋１）
という関係が存在し、目標被写体を見失わないように演算領域Ｃを大きくすると残差量演算回数ｎが増加して目標被写体位置算出までの時間を長く必要とし、その結果として目標被写体を見失うことがある、という二律背反的状況があるため、サブルーチンＳＲ２で算出された最小残差量に基づいて最適な演算領域Ｃの大きさを設定するためのものである。
【００２４】
次回演算領域設定の詳細は図１０のフローチャートに示される。まず、ステップＳ３０１では、サブルーチンＳＲ２で求められた最小残差量が閾値Ｔ3より大きいか否かが判定され、判定が肯定されるとプログラムはステップＳ３０２へ移行し、判定が否定されるとステップＳ３０５へ移行する。
ステップＳ３０２、Ｓ３０３では、最小残差量が閾値Ｔ3以上の大きな値であるから目標被写体の動作が大きいものと仮定し、演算領域Ｃを拡張する作業が行われる。すなわち、演算領域Ｃの列方向および行方向の画素幅Ｓx、Ｓyに（最小残差量／Ｔ3＋定数）の値を代入する。ステップＳ３０１において最小残差量＞Ｔ3なる判定がされていることより（最小残差量／Ｔ3）の項は１以上の値をとり、最小残差量の増加に比例して増加する。ついでステップＳ３０４では、拡張された演算領域Ｃの大きさを安定させるために、閾値Ｔ3を所定量だけ増加させる。
一方、ステップＳ３０５、３０６では、最小残差量が閾値Ｔ3以下の小さな値であるから目標被写体の動作が小さいものと仮定し、演算領域Ｃの列方向および行方向の画素幅Ｓx、Ｓyをそれぞれ１画素ずつ縮小する作業が行われる。ついでステップＳ３０７では、閾値Ｔ3を所定量だけ減少させて以降の目標被写体の動作に備える。この後、プログラムはメインルーチンに戻る。
【００２５】
(５) 参照画像更新
ステップＳ１０では、サブルーチンＳＲ２で求められた最小残差量が上述の閾値Ｔ3より大きいか否かが判定され、判定が肯定されるとプログラムはステップＳ３に戻り、上述の処理を繰り返す。一方、判定が否定されるとプログラムはステップＳ１１に移行する。
【００２６】
ステップＳ１１では、参照画像の更新処理が行われる。参照画像更新は、目標被写体の連続的な変化（例えば正面顔から横顔）に対応するために画像を入力するたびに参照画像データの何分の１かを新しいデータを含んだ形で更新する。このステップでは、参照画像データＢijに次式
Ｂij＝(１−ｋ)Ｂij＋ｋＤij （ｉ，ｊ＝１〜４）
で与えられる値を代入する。ここに、０≦ｋ≦１、通常はｋ＝0.1〜0.2程度で与えられる経験値である。また、Ｄijは、サブルーチンＳＲ２においてＳｕｍnが最小値をとる検出領域Ｄのデータである。但し、目標被写体の動きが激しいとき、または目標被写体の前方を障害物が通過するなどの場合、参照画像の更新作業を行うと本来の目標被写体以外のデータが取り込まれてしまうため、上述のステップＳ１０で示すように最小残差量が閾値Ｔ3より大きい場合に更新処理を禁止する。以後、プログラムはステップＳ３に戻って上述の処理を繰り返す。
【００２７】
以上の動作により、カメラ１により撮像される目標被写体のファインダ画面内の位置を追尾することができる。ここで、本実施例では、撮像センサ７からのＲＧＢ出力のうち１つの色αについての出力を選択して残差演算を行っているので目標被写体検出のための演算時間を全体として短縮でき、これにより、スポーツシーンなど動きの速い目標被写体であってもその位置を迅速に追尾することができる。しかも、最大出力が得られる色αを選択することにより目標物体を検出するために特徴的な色を選択でき、色出力選択による情報量減少を補って確実な位置検出が可能となる。
さらに、位置検出の度に参照画像データを部分的に更新しているので、目標被写体の連続的変化あるいは目標被写体の輝度変化があっても確実に目標被写体を捕捉することができ、確実な位置検出が可能となる。
しかも、本実施例では、撮像センサ７に対応する視野領域Ａ内に演算領域Ｃを設け、目標被写体の速度、加速度を計測して演算領域Ｃの位置を予測しており、また最小残差量の大きさによって演算領域Ｃの大きさを最適に制御することで上述した従来例のように目標被写体を見失うといった事態を防ぐことができ、確実な目標被写体追尾が可能となる。これにより、画面全体について残差量を求める必要がなくなることとあいまって、スポーツシーンなど動きの速い目標被写体であってもその位置を確実かつ迅速に追尾することができる。
【００２８】
（変形例）
色選択は、上述の一実施例に示すように最大出力が得られる色αを選択する手法のみならず、他の好適な手法も採用できる。
図７は、色選択処理の他の例を示すフローチャートである。ステップＳ４０１では、ステップＳ１で得られた追尾領域Ｂ内のＲＧＢ出力を各色毎に加算する。ステップＳ４０２では、図１７に示すように追尾領域Ｂの上下左右にそれぞれ隣接し、この追尾領域Ｂと同様に４列×４行の画素から構成される４つの隣接領域Ｂ1〜Ｂ4内のそれぞれのＲＧＢ出力を各色毎に加算する。ステップＳ４０３では、ステップＳ４０１およびＳ４０２で得られた追尾領域Ｂ内の加算結果およびそれぞれの隣接領域Ｂ1〜Ｂ4内の加算結果の差を各色毎に求め、その最大値が得られた色（Ｒ、Ｇ、Ｂのいずれか）を検出、選択する。この後、プログラムは図５のメインルーチンに戻る。
【００２９】
図８は、色選択処理のまた他の例を示すフローチャートである。ステップＳ５０１では、追尾領域Ｂと同様に４列×４行の画素から構成され、この追尾領域Ｂから上下左右、および左右斜め上下にそれぞれ１画素分ずらして配置された８つの検出領域および追尾領域の各々の残差量を各色毎にそれぞれ求める。ステップＳ５０２では、ステップＳ５０１で得られた８つの残差量の最小値を各色毎に求める。ステップＳ５０３では、ステップＳ５０２で得られた残差量の最小値から、その最大値となる色（Ｒ、Ｇ、Ｂのいずれか）を検出、選択する。この後、プログラムは図５のメインルーチンに戻る。
【００３０】
なお、本発明の目標物体追尾装置は、その細部が上述の実施例に限定されず、種々の変形が可能である。一例として、一実施例では本発明を一眼レフカメラに適用した例を示したが、ビデオカメラ等の動画撮影用撮像手段にも適用可能である。また、テンプレートとなる参照画像データは、上述の実施例のごとく目標物体追尾前に取り込んだものだけでなく、目標物体の形状等を予め知ることができるのであれば、この目標物体に対応して予め記憶したものであってもよい。同様に、入力画像データも実時間的に入力されるものだけでなく、予め記憶しておいたものであってもよい。
また、上述の実施例では速度，加速度の双方を用いて演算領域の設定を行なっていたが、いずれか一方のみでもよい。加速度を用いた場合、加速度が零とはすなわち目標物体が等速で移動していることであるから、加速度および初速を検出すれば演算領域の位置，大きさの双方を設定できる。
【００３１】
【発明の効果】
以上詳細に説明したように、請求項１の発明によれば、更新手段が荷重加算を行うことにより目標物体の位置に対応する入力画像データに参照画像データの重みを残すように次回の参照画像データを更新しているので、目標物体の連続的変化あるいは目標物体の輝度変化があっても確実に目標物体を捕捉することができ、確実な位置検出が可能となる。
【図面の簡単な説明】
【図１】本発明のクレーム対応図である。
【図２】本発明の目標物体追尾装置が適用されたカメラの一実施例を示す概略図である。
【図３】撮像センサの詳細を示す図である。
【図４】画素の詳細を示す図である。
【図５】一実施例の動作を説明するためのフローチャートである。
【図６】色選択処理の一例を示すフローチャートである。
【図７】色選択処理の他の例を示すフローチャートである。
【図８】色選択処理のまた他の例を示すフローチャートである。
【図９】最小残差量演算の詳細を示すフローチャートである。
【図１０】次回演算領域設定の詳細を示すフローチャートである。
【図１１】速度ベクトルの定義および速度による被写体位置の予測を示す図である。
【図１２】追尾領域、演算領域および検出領域の初期設定時の位置関係を示す図である。
【図１３】初期設定時における追尾領域および検出領域内の色出力の位置関係を示す図である。
【図１４】残差演算途中における追尾領域および検出領域内の色出力の位置関係を示す図である。
【図１５】残差演算終了時における追尾領域および検出領域内の色出力の位置関係を示す図である。
【図１６】演算領域設定手順を説明するための図である。
【図１７】色選択処理２での検出領域と隣接領域との位置関係を示す図である。
【符号の説明】
１ カメラ
７ 撮像センサ
８ 演算装置
１０ 画素

Claims (2)

1. 入力画像データを出力する撮像手段と、
   追尾すべき目標物体の画像データとなる参照画像データを記憶する記憶手段と、
   前記入力画像データおよび前記参照画像データの最小残差量を算出する演算手段と、
   前記最小残差量に基づいて前記目標物体の位置を検出する位置検出手段とを備えた目標物体追尾装置において、
   前記目標物体の位置に対応する前記入力画像データおよび前記参照画像データについて、前記参照画像データの重みを残すように荷重加算することにより次回用いられる参照画像データを更新する更新手段を備え、
   前記演算手段は、前記更新手段により更新された参照画像データを用いて前記最小残差量を算出することを特徴とする目標物体追尾装置。
2. 請求項１に記載の目標物体追尾装置において、
   前記更新手段は、前記演算手段により算出された前記最小残差量が所定値以下である場合にのみ前記参照画像データを更新することを特徴とする目標物体追尾装置。

Images