JP5409189B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、撮影された撮影画像を生成する撮像装置及びその制御方法に関する。

従来、デジタルカメラや監視カメラを利用した監視装置において、被写体追尾を行う撮像システムが知られている。

例えば、特許文献１には、複数の画像データから被写体の動きベクトルを計算し、被写体の動きを追尾してカメラを回転させるシステムが開示されている。このシステムは、ズームの位置が望遠である場合にカメラの回転速度を速やかにし、広角である場合にゆるくして被写体を効果的に追跡して撮影する。

また、特許文献２には、肌色領域の検出を行い、検出された領域を追尾枠としてＷＢ（ホワイトバランス）や露出を制御することで、ホワイトバランスや露出制御の性能を最適に向上させることが示されている。

このように、被写体追尾システムや、被写体追尾機能を利用したホワイトバランスや露出制御を行う装置など、さまざまな応用例が提案されている。

これらの追尾方法として、動きベクトルを計算するフレーム画像データ間の相関を用いた追尾方法、画像特徴量を基に行われる被写体追尾方法などが一般的である。

特開平０６−０５４３２６号公報 特開２００７−１０４２００号公報

しかしながら、上記従来の撮像装置では、以下に掲げる問題があった。すなわち、上記追尾方法として、画像データの相関を用いて追尾する方法では、たとえば、主要被写体の前を別の移動物体が横切った場合、主要被写体の画像データの相関が低くなり、横切った被写体に追尾してしまう可能性が高かった。

また、色味などの画像特徴量による主要被写体の追尾方法では、似通った被写体が主要被写体の周りに存在している場合、主要被写体を追尾し続けることが難しかった。

さらに、これらの手法を組み合わせた追尾方法においても、同様に個々の手法で苦手な条件が重なった場合において、被写体追尾を継続することが難しかった。

また、特許文献２には、被写体追尾を終了させる条件として、角速度センサおよびＡＦ（オートフォーカス）の情報を用いて被写体を追尾し、追尾領域の被写体の特徴量が追尾開始時と比較して大きく異なった場合、被写体を見失った（ロストした）と判断することが示されている。

しかし、被写体の前に車などが横切った場合や検出された顔が一時的に横向きになった場合など、一時的に追尾ができなかった場合においても、一定の時間内であれば追尾が可能な状態に復帰する可能性も十分に考えられる。

そのような場合、例えば、追尾できない状況が一時的な短い時間内の場合は、一時的に追尾領域を固定させ、もとの被写体と相関の高い被写体が再検出されたときに追尾を再開することで、見失わない（ロストしない）ように制御することが可能である。これにより、使い勝手を向上させることも可能である。

ここで、このような被写体追尾機能を備えた撮像装置は、被写体追尾に成功しているか否かをユーザが容易に確認できるようにするため、追尾領域に枠（追尾枠）を重畳した画像を生成してモニタ装置に表示する機能を有している。

主要被写体を見失った場合には、この追尾枠は消去されるべきである。しかしながら、見失った直後に追尾枠をすぐに消去してしまうと、その直後に主要被写体が見つかった場合に追尾枠がすぐに復帰することとなり、かえって見苦しい表示となってしまうことがある。

そのため、主要被写体を一時的に見失ったのであれば追尾枠の表示を継続し、まったく見失ったのであれば追尾枠の表示を停止すべきであるが、その判断を行うことは非常に難しかった。

そこで、本発明は、被写体追尾中、一時的に追尾できなくなった場合、追尾可能な状態に復帰する可能性のある保持時間を適切に設定することができ、ユーザの使い勝手が向上する撮像装置及びその制御方法を提供することを目的とする。

本発明に係る撮像装置は、上記の目的を達成させるため、第１の撮影画像に含まれる特定の被写体の領域と相関の高い領域を、前記第１の撮影画像より後に得られた第２の撮影画像から抽出することで、前記特定の被写体の追尾を行う追尾手段と、前記第２の撮影画像とともに、前記特定の被写体の位置を示す識別情報を画面に表示する表示手段と、前記識別情報の表示を保持する保持時間を設定する設定手段とを有し、前記表示手段は、前記追尾手段が前記特定の被写体を見失ってから前記保持時間が経過するまでは、前記識別情報の表示を保持し、前記追尾手段が前記特定の被写体を見失ってから前記保持時間が経過した後は、前記識別情報の表示を消去するものであって、前記設定手段は、前記第２の撮影画像を生成した撮像素子の感度、手ぶれ防止装置の制御情報、および角速度センサの出力の少なくとも一つに応じて、前記保持時間を決定することを特徴とする。

本発明によれば、表示手段は、追尾手段が特定の被写体を見失ってから保持時間が経過するまでは、識別情報の表示を保持し、追尾手段が特定の被写体を見失ってから保持時間が経過した後は、識別情報の表示を消去する。また、設定手段は、第２の撮影画像を生成した撮像素子の感度、手ぶれ防止装置の制御情報、および角速度センサの出力の少なくとも一つに応じて、保持時間を決定する。従って、被写体追尾中、一時的に追尾できなくなった場合、追尾可能な状態に復帰する可能性のある保持時間を適切に設定することができ、ユーザの使い勝手が向上する。

本発明の実施の形態における撮像装置の構成を示すブロック図である。 図１の撮像装置の被写体追尾動作手順の前半を示すフローチャートである。 図１の撮像装置の被写体追尾動作手順の後半を示すフローチャートである。 図１の撮像装置の顔検出処理を示すフローチャートである。 （ａ）は図１の撮像装置の顔検出処理の対象となる原画像データ、（ｂ）は原画像データから抽出された肌色領域の画像データ、（ｃ）は肌色領域の画像データに対してハイパスフィルタを適用した画像データ、および、（ｄ）はハイパスフィルタを適用した画像データに対するテンプレートマッチングの方法を示す図である。 ＣＩＥＬＡＢのＬａｂ色空間における代表色を示した色度図である。 図１の撮像装置の空間フィルタリング処理に用いられる係数が示された２次元ハイパスフィルタの一例の行列を示す図である。 図２のステップＳ４、Ｓ５の処理に相当する画像データの相関を算出する手順を示すフローチャートである。 （ａ）は図８の追尾処理で相関をとる元となる追尾対象領域の画像データ、（ｂ）は対象となる次フレーム画像データを示す図である。 （ａ）は図３のステップＳ１２における保持時間算出の基礎となる焦点距離および被写体距離に対応する保持時間を示す表、（ｂ）は同内容を示すグラフである。

本発明の撮像装置及びその追尾方法の実施の形態について図面を参照しながら説明する。図１は実施の形態における撮像装置の構成を示すブロック図である。撮像装置は、撮像素子１０１、バッファメモリ１０２、ユーザインタフェース１０３、圧縮回路１０４、記録装置１０５、記録媒体１０６、システムコントローラ１０７、表示制御回路１０８、Ｄ／Ａ変換器１０９およびモニタ装置１１０を有する。また、撮像装置は、信号処理回路１１１、鏡筒装置１１２、発光装置１１３、顔検出部１２０および被写体追尾部１２１を有する。鏡筒装置１１２内には、手ぶれ防止装置（ＩＳ：Image Stabilizer）１１２aおよび角速度センサ１１２bが設けられている。

ユーザからユーザインタフェース１０３を介して撮影指示があると、システムコントローラ１０７は、鏡筒装置１１２の焦点位置や絞り・メカシャッタ、ＣＣＤからなる撮像素子１０１、フラッシュ撮影を行う際の発光装置１１３等を制御し、撮影を行う。

撮影が行われると、撮像素子１０１から撮像信号が出力され、バッファメモリ１０２に蓄えられる。その後、バッファメモリ１０２に蓄えられた撮像信号に対し、信号処理回路１１１によって画像生成用の信号処理が施され、ＹＵＶ画像データが生成される。

この生成された画像データは、バッファメモリ１０２に記憶され、画像データの記録が行われる場合、バッファメモリ１０２から圧縮回路（圧縮・伸長回路）１０４に送られ、ＪＰＥＧファイルとして圧縮される。この圧縮された画像データは、記録装置（記録・読み出し装置）１０５によって記録媒体１０６に記録される。

また、バッファメモリ１０２に蓄えられたＹＵＶ画像データを基に、表示制御回路１０８によって表示画像データ（撮影画像）が生成されると、その撮影画像はＤ／Ａ変換器１０９によって信号変換され、モニタ装置１１０の画面上に表示される。

また、画像データから顔検出を行う場合、顔検出部１２０は、バッファメモリ１０２に蓄えられたＹＵＶ画像データまたはＣＣＤ画像データから顔検出を行い、画像データ中の座標位置（場所）を出力する。

顔検出部１２０によって顔検出が行われていた場合、システムコントローラ１０７は、表示制御回路１０８に対して顔位置に顔枠を表示するように指示を行う。そして、システムコントローラ１０７は、検出された顔のうちのいずれかを追尾対象として選択し、表示制御回路１０８に対して追尾対象として選択した顔位置に、顔枠の代わりに追尾枠を表示するように指示を行う。この追尾枠は、ユーザがどの被写体が追尾されているのかを識別するための識別情報として用いられる。

動画の撮影時やＥＶＦ(Electric View Finder)の利用時において被写体追尾を行う場合、被写体追尾部１２１は、システムコントローラ１０７から追尾対象が存在する追尾対象領域の画像データを取得する。そして、被写体追尾部１２１はこの追尾対象領域の画像データと、新たに得られたフレーム画像データとの相関を求めることで、新たなフレーム画像データにおける追尾対象領域の位置を求める。システムコントローラ１０７は、追尾枠の位置を、被写体追尾部１２１が求めた新たなフレーム画像データにおける追尾対象領域の位置に変更するよう表示制御回路１０８に指示を出す。

本実施形態では、システムコントローラ１０７が顔検出部１２０によって検出された顔位置を顔検出情報として受け取り、この顔位置の画像データを追尾対象領域の画像データとして設定する。そして、被写体追尾部１２１が連続したフレーム画像データの中から、追尾対象領域の画像データと最も相関の高い領域の画像データを検出することを繰り返すことで、被写体の追尾を行う。被写体追尾部１２１は、追尾が成功している間は、顔検出部１２０によって新たに検出された顔位置を追尾には用いない。被写体追尾部１２１は、追尾に失敗して追尾枠が消去された場合に、再び、顔検出部１２０にて検出された顔位置を追尾対象領域として設定する。なお、本実施形態は追尾対象として設定される被写体は人物の顔であるものとして説明を行っているが、これに限られるものではない。例えば、ユーザインタフェース（操作パネル）１０３を介してユーザにより指定された任意の被写体を追尾対象として設定してもよい。

上記構成を有する撮像装置において、顔検出部１２０にて検出された顔を追尾する手法について説明する。図２および図３は被写体追尾時の動作手順を示すフローチャートである。この処理は被写体追尾部１２１によって実行される。

被写体追尾部１２１は、システムコントローラ１０７から追尾対象領域を取得し、その追尾対象領域の画像データを取得する（ステップＳ１）。上述したように、本実施形態では、システムコントローラ１０７は顔検出部１２０で検出された顔位置の領域を最初の追尾対象領域として設定する。被写体追尾部１２１は、この最初の追尾対象領域の画像特徴量を抽出する（ステップＳ２）。この画像特徴量は、例えば明るさや色相といった色情報などである。

被写体追尾部１２１は次のフレーム画像データを取得する（ステップＳ３）。被写体追尾部１２１は、追尾対象領域と最も相関の大きくなる領域を次フレーム画像データから検出し（ステップＳ４）、動きベクトルを算出する（ステップＳ５）。この相関の計算および動きベクトルの算出の詳細については後述する。

被写体追尾部１２１は、この動きベクトル量分だけ追尾対象領域の位置を移動させて追尾対象候補領域の位置を求め、次フレーム画像データから、この追尾対象候補領域の画像データを取得する（ステップＳ６）。すなわち、被写体追尾部１２１は、次フレーム画像データのうち、追尾対象領域と最も相関の高い追尾対象候補領域の画像データを取得する。被写体追尾部１２１は、ステップＳ２と同様に、この追尾対象候補領域の画像特徴量を抽出する（ステップＳ７）。

被写体追尾部１２１は、ステップＳ２で取得した追尾対象領域の画像特徴量とステップＳ７で取得した追尾対象候補領域の画像特徴量を比較する（ステップＳ８）。この比較の結果、被写体追尾部１２１は画像特徴量の差が所定の範囲内であるか否か、つまり、このステップＳ６で取得した追尾対象候補領域の被写体が、ステップＳ１で設定した最初の追尾対象領域と同じ被写体であるか否かを判別する（ステップＳ９）。

画像特徴量の差が所定の範囲内である場合、被写体追尾部１２１は、被写体追尾に成功したとして、システムコントローラ１０７に伝える。システムコントローラ１０７は、ステップＳ６で求めた追尾対象候補領域を新たな追尾対象領域として更新し、更新された追尾対象領域の位置に基づいて、表示制御回路１０８に対して追尾枠の表示位置を更新するように指示を行う（ステップＳ１０）。また、システムコントローラ１０７は、後述するステップＳ１３でタイマがスタートしていた場合には、タイマをストップさせ、かつ、保持時間をリセットする。

この後、被写体追尾部１２１は、ステップＳ３の処理に戻り、新たに次フレーム画像データを取得する。被写体追尾部１２１は、ステップＳ４〜Ｓ６で、次フレーム画像データからステップＳ１０で更新した追尾対象領域と最も類似した追尾対象候補領域を検出し、ステップＳ７でその追尾対象候補領域の画像特徴量を求める。そして、被写体追尾部１２１はこの追尾対象候補領域の画像特徴量と、ステップＳ２で求めた初期の追尾対象領域の画像特徴量と比較し、その差分が所定範囲内であれば、システムコントローラ１０７が再び追尾対象領域を更新する。

このように、被写体追尾部１２１は、新たなフレーム画像データから追尾対象領域と相関の高い領域を追尾対象候補領域として検出し、この追尾対象候補領域と初期の追尾対象領域の画像特徴量が類似していれば、この追尾対象候補領域を追尾候補領域として更新する。被写体追尾部１２１は、追尾対象領域を更新することで、被写体の向きが徐々に変化したり、被写体の形状が徐々に変化したりした場合であっても、継続して追尾を行うことが可能となる。ただし、追尾対象候補領域と初期の追尾対象領域の画像特徴量の差分が所定範囲を超えたのであれば、追尾初期とは別の被写体を追尾対象候補領域として検出している可能性が高い。そのような場合には、追尾に失敗したと判断する。

一方、ステップＳ９に戻り、画像特徴量の差が所定の範囲内でなかった場合、被写体追尾部１２１は、追尾が失敗していると判断し、ステップＳ１１以降の被写体追尾失敗ルーチンに進む。

被写体追尾部１２１は、前フレーム画像データで追尾が成功していたか否かを判別する（ステップＳ１１）。前フレーム画像データにおいて、追尾が成功していた場合、被写体追尾部１２１は、現段階のフレームで始めて追尾が失敗したものとして、保持時間を決定（設定）する（ステップＳ１２）。この保持時間は、追尾が失敗しても追尾枠の表示をそのまま保持する時間である。また、この保持時間は、後述するように、鏡筒装置１１２で制御されている焦点距離、前フレーム画像データ以前に検出された被写体位置および被写体距離、手ぶれ防止装置（ＩＳ）１１２aの制御情報や角速度センサ１１２bの出力などを取得して設定される。

被写体追尾部１２１は、内蔵するタイマをスタートさせ（ステップＳ１３）、ステップＳ１４の処理に進む。

一方、ステップＳ１１で前フレーム画像データにおいても追尾に失敗していた場合、被写体追尾部１２１は、前フレーム画像データに連続して被写体追尾に失敗しているとして、タイマの経過時間が所定の保持時間を超過しているか否かを判別する（ステップＳ１４）。

所定の保持時間内であった場合、表示制御回路１０８に同じ位置での追尾枠の表示を継続させたまま、被写体追尾部１２１は次フレーム画像データを取得し（ステップＳ１６）、ステップＳ６の処理に戻る。被写体追尾部１２１はステップＳ１６からステップＳ６に進んだ場合は、最後に更新された追尾対象領域を追尾対象候補領域として設定する。

一方、所定の保持時間を超過（経過）した場合、被写体追尾部１２１は、追尾枠を消去することを決定し（ステップＳ１５）、本処理を終了する。この追尾枠の消去の決定は被写体追尾部１２１からシステムコントローラ１０７に伝えられる。システムコントローラ１０７は、この決定に従って表示制御回路１０８に追尾枠を消去する指示を送出すると、追尾枠は消去される。これにより、追尾終了となる。

つぎに、顔検出部１２０による顔検出方法について説明する。顔検出方法として、多数の方法が提案されている。一般的には、ニューラルネットワークに代表される学習を用いた方法、目や鼻といった物理的な形状の特徴のある部位の領域によるテンプレートマッチングを用いた方法、肌の色や目の形といった画像特徴量を検出しその統計的解析を用いた方法などがある。また、これらの方法を複数組み合わせて顔認識を行う方法が一般的である。

現在提案されているものとして、ウェーブレット変換と画像特徴量を利用して顔検出する方法や、テンプレートマッチング等を組み合わせた方法など、多数の顔検出方法がある。その一例として、図４は顔検出処理手順を示すフローチャートである。この処理は、前述したように、顔検出部１２０によって行われる。図５は顔検出方法を説明する図である。図５（ａ）は顔検出が行われる対象画像データ（原画像）を示す。

まず、顔検出部１２０は、肌色領域抽出処理を行い、対象画像データから肌色の領域を抽出する（ステップＳ２１）。図６はＣＩＥＬＡＢのＬａｂ色空間における代表色を示した色度図である。図中の楕円ａで示される領域は、肌色である可能性が高い領域である。図５（ｂ）は、ステップＳ２１の処理によって対象画像データから肌色領域の色度である領域が抽出された画像データである。

顔検出部１２０は、抽出された肌色の領域の画像データに対し、ハイパスフィルタを適用する空間フィルタリング処理を行う（ステップＳ２２）。図７は空間フィルタリング処理に用いられる係数が示された２次元ハイパスフィルタの一例を示す行列である。図５（ｃ）は、図５（ｂ）の画像データに対し、図７のハイパスフィルタを適用した画像データである。このハイパスフィルタの適用によって画像データ中、目や鼻などの変化のある部分の輪郭線が強調される。

さらに、顔検出部１２０は、テンプレートマッチングを行い、画像データ中における目の検出を行う（ステップＳ２３）。図５（ｄ）は、ハイパスフィルタを適用した図５（ｃ）の画像データに対するテンプレートマッチングの方法を示す図である。顔検出部１２０は、検出された目の領域の位置関係から顔認識を行い、方向、大きさ等の特徴量を抽出する（ステップＳ２４）。この後、顔検出部１２０は本処理を終了する。なお、ステップＳ２１を省略し、ステップＳ２２にて対象画像データの全領域に対してハイパスフィルタを適用し、ステップＳ２３でテンプレートマッチングを行って顔認識を行うように処理を修正してもよい。

ステップＳ２４で抽出された方向、大きさ等の特徴量である顔検出情報は、顔検出部１２０からシステムコントローラ１０７に伝送される。システムコントローラ１０７は、顔検出情報から追尾対象となる領域（追尾枠）を決定する。

つぎに、被写体の追尾方法について説明する。被写体の相関および動きベクトルを検出する方法は、多数提案されており、ここでは比較的単純な方法について説明する。

図８は画像データの相関を算出する手順を示すフローチャートである。この処理は図２に示す追尾処理におけるステップＳ４、Ｓ５の処理に相当する。

図９は、それぞれ前のフレーム画像データにおける追尾対象領域の画像データ、および、次のフレーム画像データを示す図である。被写体追尾部１２１は、相関をとる元となる追尾対象領域の画像データ２０１を取得する（ステップＳ３１）。なお、図９（ａ）に示すように、追尾枠２１０は追尾対象領域の画像データ２０１を囲うように設定される。

続いて、被写体追尾部１２１は、追尾対象領域の画像データ２０１が得られたフレーム画像データの次に得られたフレーム画像データ３００のうち、追尾対象領域の画像データ２０１と同じ位置に存在する比較領域の位置を取得する（ステップＳ３２）。

被写体追尾部１２１は、比較領域の位置を、フレーム画像データ３００上で垂直、水平あるいは斜め方向に所定範囲内でシフトさせ、シフトさせた位置での比較領域の画像データを取得する（ステップＳ３３）。

被写体追尾部１２１は、ステップＳ３３で取得した比較領域の画像データと追尾対象領域の画像データ２０１との画像差分を算出する（ステップＳ３４）。被写体追尾部１２１は、ステップＳ３４における画像差分の絶対値の積分値を取得する（ステップＳ３５）。ここで、画像差分の積分値の絶対値が小さいほど画像データの相関が高い（画像データの相関が大きい）。

被写体追尾部１２１は、画像データの相関がそれまで得られた中で最大であるか否かを判別する（ステップＳ３６）。画像データの相関が最大である場合、被写体追尾部１２１は、この相関および比較領域の位置を保存する（ステップＳ３７）。一方、画像データの相関が最大でない場合、被写体追尾部１２１はそのままステップＳ３８の処理に進む。

被写体追尾部１２１は、ステップＳ３３にて、ステップＳ３２で取得した位置を含む、あらかじめ設定された全ての位置に比較領域の位置を移動させたか否かを判別する（ステップＳ３８）。全ての位置に移動させていない場合、被写体追尾部１２１はステップＳ３３の処理に戻る。一方、全ての位置に移動させていた場合、被写体追尾部１２１は、最も相関が高かった位置までのシフト量（動きベクトル）および相関を出力する（ステップＳ３９）。図９（ｂ）において、画像データ３０１は、追尾対象領域の画像データ２０１と最も相関が高いと判断された比較領域の画像データを示している。この後、被写体追尾部１２１は本処理を終了する。なお、動きベクトルを算出する方法は様々であり、本方法に限定されるものではない。

つぎに、ステップＳ１２における保持時間の設定について説明する。図１０は焦点距離および被写体距離に対応する保持時間を示す表およびグラフである。図１０（ａ）に示す表および同図１０（ｂ）に示すグラフでは、被写体距離と焦点距離との組み合わせで保持時間は設定される。

ここで、焦点距離が長い程、保持時間は短く設定される。すなわち、ズームアップ時には、手ぶれなどによる視野(撮影範囲)の変動や被写体の移動によって追尾対象である被写体が視野から外れる可能性が高いので、そのような場合、保持時間は短く設定される。これにより、追尾に失敗すると、次の被写体の検出に移行するまでの時間が短くなる。また同様に、被写体距離が短い程、主要被写体が視野から外れやすくなるので、保持時間は短く設定される。なお、被写体距離の代わりに、主要被写体の画面内のサイズが大きいほど保持時間を長くすることで、同様の効果が得られる。

また同様に、焦点距離、および撮影画像の画面内で被写体追尾が失敗した場所に応じて、保持時間を決定するようにしてもよい。すなわち、前フレーム以前に検出された被写体位置が画面の中心部から外れて周辺にある程、被写体が視野から外れやすいので、このような場合、保持時間を短く設定することが好ましい。

また、焦点距離情報、手振れ防止装置（ＩＳ）の制御情報、角速度センサの出力および被写体位置の少なくとも１つによって、主要被写体が視野から外れたことを検出することも可能である。ここで、角速度センサやＩＳから所定値よりも大きい値が出力された場合に、視野から主要被写体が外れたと判断し、保持時間を短く設定するようにしてもよい。

また、撮像装置に搭載した角速度センサから、撮像装置が三脚に装着されているか否かを判断し、三脚に装着されていると判断された場合には、保持時間を長く設定するようにしてもよい。主要被写体以外の部分の画像データの相関が極めて高い場合には、三脚に装着されているものと判断して、保持時間を長く設定してもよい。

焦点距離や被写体距離だけでなく、被写体輝度、色温度、あるいは、撮像素子の感度に応じて保持時間を設定してもよい。例えば、撮像素子の感度が高めに設定されるとノイズが増加し、被写体輝度が低い場合には被写体の相関が低くなるため、顔検出処理や追尾処理の精度が低下する。このような場合には、追尾枠が誤った位置に表示される可能性が高まるため、保持時間を短めに設定する。また、色温度が低い場合には電球などの低輝度の光源が用いられていることが多く、被写体輝度が低いと推定される。そのため、色温度に応じて保持時間を設定するようにしてもよい。

本実施形態の撮像装置は、被写体追尾機能を利用し、被写体に最適な撮影設定および信号処理を行う際、被写体を追尾していることを示す追尾枠の表示および消去を制御する。さらに、撮像装置は、焦点距離などに応じて、被写体追尾が失敗しても追尾枠の表示をそのまま保持するための保持時間を制御することで、ユーザの使い勝手を向上させることが可能である。

このように、撮像装置は、被写体を追尾していることを示す追尾枠の表示および消去を制御する際、焦点距離に応じて、保持時間を設定する。そして、被写体を見失ってからこの設定された保持時間が経過した場合、撮像装置は追尾枠の表示を終了させる。従って、被写体追尾中、一時的に追尾できなくなった場合、追尾可能な状態に復帰する可能性のある保持時間を適切に設定することができ、ユーザの使い勝手が向上する。

また、一時的に被写体を見失っても、保持時間内であれば、速やかに追尾状態に復帰することができる。

また、ズームアップ時に手ぶれなどによる視野の変動や被写体の移動によって追尾被写体が視野から外れる可能性が高いが、焦点距離が長い程、保持時間を短くすることで、追尾処理を行う時間が短くなり、次の被写体検出に移行し易くなる。

また、被写体距離が短い程、主要被写体が視野から外れ易くなることに対処できる。また、被写体追尾が失敗した場所が画面の中心から周辺に外れる程、主要被写体が視野から外れ易いことに対処できる。また、撮像装置が振動している程、主要被写体が視野から外れ易くなることに対処できる。また、被写体を自動的に検出あるいはユーザが指定することで、被写体の特定が容易になる。また、追尾対象となる被写体を示す追尾枠を表示することで、被写体領域の識別が容易である。

なお、本発明は、上記実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、または本実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。

例えば、上記実施形態では、被写体領域として、顔検出部１２０が顔検出を行い、その顔位置を含む領域が特定されたが、前述したように、ユーザインタフェース１０３を介してユーザによって指定されたユーザ指定領域が特定されてもよい。

また、上記実施形態では、撮像素子としてＣＣＤ素子が用いられたが、ＣＭＯＳ素子等でもよい。

また、モニタ（表示）装置としては、液晶ディスプレイに限らず、有機ＥＬディスプレイ、表面電界ディスプレイ（ＳＥＤ）、プラズマディスプレイなどを用いてもよい。

また、本発明は、撮像装置として、コンパクトタイプのデジタルカメラ、デジタルビデオカメラ、デジタルＳＬＲ（一眼レフカメラ）等に適用可能である。

１０１ 撮像素子
１０２ バッファメモリ
１０７ システムコントローラ
１１０ モニタ装置
１２０ 顔検出部
１２１ 被写体追尾部
２１０ 追尾枠

Claims (11)

1. 第１の撮影画像に含まれる特定の被写体の領域と相関の高い領域を、前記第１の撮影画像より後に得られた第２の撮影画像から抽出することで、前記特定の被写体の追尾を行う追尾手段と、
   前記第２の撮影画像とともに、前記特定の被写体の位置を示す識別情報を画面に表示する表示手段と、
   前記識別情報の表示を保持する保持時間を設定する設定手段とを有し、
   前記表示手段は、前記追尾手段が前記特定の被写体を見失ってから前記保持時間が経過するまでは、前記識別情報の表示を保持し、前記追尾手段が前記特定の被写体を見失ってから前記保持時間が経過した後は、前記識別情報の表示を消去するものであって、
   前記設定手段は、前記第２の撮影画像を生成した撮像素子の感度、手ぶれ防止装置の制御情報、および角速度センサの出力の少なくとも一つに応じて、前記保持時間を決定することを特徴とする撮像装置。
2. 前記設定手段は、前記撮像素子の感度が所定値より高い場合には、前記所定値より高くない場合に比べて、前記保持時間を短く設定することを特徴とする請求項１に記載の撮像装置。
3. 前記設定手段は、前記手ぶれ防止装置の制御情報が所定値より大きい場合には、前記所定値より高くない場合に比べて、前記保持時間を短く設定することを特徴とする請求項１または２に記載の撮像装置。
4. 前記設定手段は、前記角速度センサの出力が所定値より大きい場合には、前記所定値より高くない場合に比べて、前記保持時間を短く設定することを特徴とする請求項１または２に記載の撮像装置。
5. 前記設定手段は、さらに焦点距離が長い程、前記保持時間を短く設定することを特徴とする請求項１記載の撮像装置。
6. 前記設定手段は、さらに被写体距離が長い程、前記保持時間を長く設定することを特徴とする請求項１記載の撮像装置。
7. 前記設定手段は、さらに被写体距離と焦点距離の組み合わせによって前記保持時間を決定することを特徴とする請求項１記載の撮像装置。
8. 前記設定手段は、さらに前記撮影画像の画面内で被写体追尾が失敗した場所に応じて、前記保持時間を決定することを特徴とする請求項１記載の撮像装置。
9. 前記設定手段は、前記撮影画像の画面内で前記被写体追尾が失敗した場所が前記画面の中心と比較して周辺である程、前記保持時間を短く設定することを特徴とする請求項８記載の撮像装置。
10. 前記設定手段は、前記手ぶれ防止装置の制御情報または前記角速度センサの出力を基に、前記撮像装置が振動していると判断した場合、振動していない場合と比較して前記保持時間を短く設定することを特徴とする請求項１記載の撮像装置。
11. 撮像装置の制御方法において、
    第１の撮影画像に含まれる特定の被写体の領域と相関の高い領域を、前記第１の撮影画像より後に得られた第２の撮影画像から抽出することで、前記特定の被写体の追尾を行う追尾ステップと、
    前記第２の撮影画像とともに、前記特定の被写体の位置を示す識別情報を画面に表示する表示ステップと、
    前記識別情報の表示を保持する保持時間を設定する設定ステップとを有し、
    前記表示ステップでは、前記特定の被写体を見失ってから前記保持時間が経過するまでは、前記識別情報の表示を保持し、前記特定の被写体を見失ってから前記保持時間が経過した後は、前記識別情報の表示を消去するものであって、
    前記設定ステップでは、前記第２の撮影画像を生成した撮像素子の感度、手ぶれ防止装置の制御情報、および角速度センサの出力の少なくとも一つに応じて、前記保持時間を決定することを特徴とする撮像装置の制御方法。