JP7342883B2 - 撮像制御装置、撮像装置、撮像制御方法 - Google Patents

Description

本技術は、撮像制御装置、撮像装置、及び撮像制御方法に関し、特にオートフォーカス制御等、撮像制御パラメータについての調整制御を行う場合に好適な技術に関する。

撮像装置においては、例えばオートフォーカス制御や自動露出制御（ＡＥ：Automatic Exposure）等、撮像制御パラメータについての調整制御を行うものがある。特に、オートフォーカス制御については、近年、撮像画像の解析や被写体認識の技術を用いて、ターゲットとした被写体を追尾しながら、その被写体を対象としてオートフォーカスを行うものもある。また、オートフォーカス制御については、被写体の顔や瞳を検出し、検出した顔や瞳を対象としてオートフォーカスを行う技術も知られている。
なお、下記特許文献１には、オートフォーカス動作や追尾動作に関する技術が記載されている。

特開２０１５－１１１７４６号公報

ここで、上記のように被写体の顔や瞳を基準としたオートフォーカスを行うにあたっては、撮像装置のユーザに、表示部に表示された画像から対象とする被写体の顔や瞳をタッチ操作により選択させたり、或いは、十字キー等によるカーソル移動操作により該顔や瞳を選択させたり、また、撮像装置の向きを変える等して表示部に表示されているＡＦ（オートフォーカス）枠を該顔や瞳の部分に位置させたりする等の操作を行わせることが考えられる。

しかしながら、上記のタッチ操作を採用した場合には、ユーザがビューファインダを覗いているときに顔や瞳の選択ができなくなってしまう。また、上記のカーソルやＡＦエリアの移動操作を含め、何れの手法を採用した場合でも、例えばスポーツのシーン等における動きのある被写体に対して正確に顔や瞳の位置を選択させることは困難である。

本技術は上記事情に鑑み為されたものであり、被写体の顔や瞳の位置を基準とした撮像制御パラメータの調整を実現するための操作の容易化を図ることを目的とする。

本技術に係る撮像制御装置は、操作により撮像画像内における被写体が選択されたことに応じて、該選択された被写体の顔又は瞳を判定する顔・瞳判定部と、
前記顔・瞳判定部が判定した前記顔又は瞳の位置情報に基づいて撮像制御パラメータの調整制御を行う調整制御部と、を備える。

撮像制御パラメータとは、例えばフォーカスや露出、ホワイトバランス等、撮像装置を用いた撮像に係る各種の制御パラメータを意味する。上記構成によれば、被写体の胴体部等、被写体の任意部分が選択されさえすれば、被写体の顔又は瞳の判定処理が行われて、判定された顔や瞳の位置を基準とした撮像制御パラメータの調整制御が行われる。すなわち、被写体の顔や瞳を基準としたオートフォーカス等の撮像制御パラメータの調整を実現するにあたり、ユーザに被写体の顔や瞳を直接選択させる必要がなくなる。

上記した本技術に係る撮像制御装置においては、前記顔・瞳判定部は、前記撮像画像内に存在する顔又は瞳を検出し、検出した顔又は瞳が前記被写体の顔又は瞳に該当するか否かを判定することが考えられる。

選択された被写体の顔又は瞳を判定する手法としては、選択された被写体について人体部位を判定する画像解析を行う手法も考えられるが、この種の画像解析処理は計算コストが比較的高い。上記構成によれば、そのような計算コストの高い画像解析処理を行わずとも被写体の顔又は瞳を判定することが可能となる。

上記した本技術に係る撮像制御装置においては、前記顔・瞳判定部は、前記検出した顔又は瞳と前記被写体との位置関係に基づいて前記被写体の顔又は瞳を判定することが考えられる。

これにより、撮像画像内で検出された顔又は瞳のうち、位置的にかけ離れた顔又は瞳が被写体の顔又は瞳として判定されないようにすることが可能とされる。

上記した本技術に係る撮像制御装置においては、前記顔・瞳判定部は、前記検出した顔又は瞳の位置から幾何学的に設定した探索範囲内に前記被写体が位置することを条件として、該検出した顔又は瞳が前記被写体の顔又は瞳であると判定することが考えられる。

これにより、被写体の顔又は瞳を判定するにあたっては、検出した顔又は瞳ごとに、範囲設定の処理と、設定範囲内に選択被写体が含まれるか否かの判定処理とを少なくとも行えば足る。

上記した本技術に係る撮像制御装置においては、前記顔・瞳判定部は、前記検出した顔又は瞳と前記被写体との奥行き方向における位置関係に基づいて前記被写体の顔又は瞳を判定することが考えられる。

これにより、画像平面方向における位置関係のみでなく奥行き方向の位置関係に基づいて被写体の顔又は瞳を判定することが可能とされる。

上記した本技術に係る撮像制御装置においては、前記顔・瞳判定部は、前記検出した顔又は瞳と前記被写体との動きの整合性に基づいて前記被写体の顔又は瞳を判定することが考えられる。

これにより、位置関係のみでは適切に被写体の顔又は瞳を判定できない場合に対応して、動きの整合性に基づき、検出された顔又は瞳のうちから被写体の顔又は瞳を適切に判定することが可能とされる。

上記した本技術に係る撮像制御装置においては、前記顔・瞳判定部は、前記検出した顔又は瞳と前記被写体との奥行き方向における動きの整合性に基づいて前記被写体の顔又は瞳を判定することが考えられる。

これにより、画像の平面方向における動きの整合性のみでなく奥行き方向の動きの整合性に基づいて被写体の顔又は瞳を判定することが可能とされる。

上記した本技術に係る撮像制御装置においては、前記調整制御部は、前記撮像制御パラメータの調整制御としてオートフォーカス制御を行い、前記顔・瞳判定部は、前記検出した顔又は瞳と前記被写体の奥行き情報としてオートフォーカス用の測距情報を用いることが考えられる。

これにより、奥行き方向の位置関係や動きの整合性に基づく被写体の顔又は瞳の判定を行うにあたり、オートフォーカス制御用の測距センサ以外の別途の測距センサを撮像装置に設ける必要がなくなる。

上記した本技術に係る撮像制御装置においては、対象とされた被写体を追尾する追尾部を備え、前記顔・瞳判定部は、前記被写体の顔又は瞳を判定した場合は、前記追尾部が追尾の対象とする被写体である追尾対象被写体を、該判定した顔又は瞳に更新すると共に、以降の判定においては、前記追尾部が追尾する位置に基づき、前記検出した顔又は瞳が前記被写体の顔又は瞳であるか否かを判定することが考えられる。

これにより、一度被写体の顔又は瞳を判定した後、顔が後を向く等して被写体の顔又は瞳が検出されなくなったとしても、被写体の頭部を追尾することが可能とされる。

上記した本技術に係る撮像制御装置においては、前記顔・瞳判定部は、前記検出した顔又は瞳のうちから前記被写体の顔又は瞳を判定した以降は、前記被写体の顔又は瞳と判定しなかった全ての顔又は瞳を判定対象から除外することが考えられる。

これにより、一度でも被写体の顔又は瞳を判定した以降、該顔又は瞳をロストした場合に行われる判定において、被写体の顔又は瞳以外の顔又は瞳が誤判定されてしまうことの防止が図られる。

上記した本技術に係る撮像制御装置においては、前記顔・瞳判定部は、前記検出した顔又は瞳のうちから前記被写体の顔又は瞳を判定した以降は、前記探索範囲を第一探索範囲から前記第一探索範囲とは異なる第二探索範囲に切り換えた判定を行うことが考えられる。

これにより、一度でも被写体の顔又は瞳を判定した以降、該顔又は瞳をロストした場合に行われる判定において、探索範囲を第一探索範囲よりも狭めた第二探索範囲とすること等が可能となり、被写体の顔又は瞳以外の顔又は瞳が誤判定されてしまうことの防止が図られる。

上記した本技術に係る撮像制御装置においては、対象とされた被写体を追尾する追尾部を備え、前記追尾部は、前記顔・瞳判定部が前記被写体の顔又は瞳を判定したか否かに拘わらず、前記操作により選択された被写体を追尾し続け、前記顔・瞳判定部は、前記追尾部が追尾する位置を基準として、前記検出した顔又は瞳が前記被写体の顔又は瞳であるか否かを判定することが考えられる。

これにより、顔が後を向く等して顔又は瞳が検出されていない被写体が選択されて、選択された被写体以外の被写体の顔又は瞳が誤判定された場合であっても、以降の判定としては、選択された被写体位置を基準とした判定が行われるため、選択された被写体の顔が前を向く等して該被写体の顔又は瞳が検出されたときに、該被写体の顔又は瞳を正しく判定することが可能とされる。

上記した本技術に係る撮像制御装置においては、前記操作により被写体が選択されたことに応じて、前記撮像画像を表示する表示部において該被写体の位置に第一視覚情報を表示させ、前記顔・瞳判定部により該被写体の顔又は瞳が判定されたことに応じて、前記表示部において該判定された顔又は瞳の位置に第二視覚情報を表示させると共に、前記第一視覚情報を非表示とさせる表示制御部を備えることが考えられる。

これにより、選択した被写体の追尾から顔又は瞳の追尾に切り替わったことをユーザに直感的に分かりやすく通知することが可能とされる。

上記した本技術に係る撮像制御装置においては、前記表示制御部は、前記第二視覚情報として、前記第一視覚情報とは異なる形状の情報を表示させることが考えられる。

これにより、選択した被写体の追尾から顔又は瞳の追尾に切り替わったことをユーザに直感的により分かりやすく通知することが可能とされる。

上記した本技術に係る撮像制御装置においては、対象とされた被写体を追尾する追尾部を備え、前記顔・瞳判定部は、前記被写体の顔又は瞳を判定した場合は、前記追尾部が追尾の対象とする被写体である追尾対象被写体を、該判定した顔又は瞳に更新し、該判定した顔又は瞳が前記撮像画像内に検出されなくなった場合は、前記追尾対象被写体をそれまでの追尾対象被写体で維持させ、前記調整制御部は、前記追尾部が追尾する位置の情報に基づいて前記撮像制御パラメータの調整制御を行い、前記表示制御部は、前記顔・瞳判定部が前記判定した顔又は瞳を検出できなくなったことに応じて、前記追尾部が追尾する位置に、前記第二視覚情報とは異なる視覚情報を表示させる制御を行うことが考えられる。

上記構成によれば、選択された被写体の顔又は瞳が判定された以降は、例えば該被写体の顔が後を向く等して該顔又は瞳が非検出の状態となるまで、該顔又は瞳の位置を基準とした撮像制御パラメータの調整が行われる。そして、上記構成によれば、選択された被写体の顔又は瞳が非検出の状態となった場合に、該選択された被写体の顔（頭部）位置が追尾され続けると共に、追尾位置に対して、第二視覚情報とは異なる視覚情報が表示されるようになる（例えば顔・瞳追尾枠９２から追尾枠９１への表示切換）。このような表示制御が行われることで、選択された被写体の顔又は瞳が検出されなくなったことにより顔又は瞳の位置情報に基づく撮像制御パラメータ調整が不能となったが、顔位置（頭部位置）の追尾は継続していることをユーザに直感的に分かりやすく通知することが可能とされる。

上記した本技術に係る撮像制御装置においては、前記被写体は人であることが考えられる。

これにより、人の顔や瞳を基準とした撮像制御パラメータの調整を実現するにあたり、ユーザに人の顔や瞳を直接選択させる必要がなくなる。

上記した本技術に係る撮像制御装置においては、前記被写体は動物であることが考えられる。

これにより、例えば犬や猫、鳥等の動物の顔や瞳を基準とした撮像制御パラメータの調整を実現するにあたり、ユーザに動物の顔や瞳を直接選択させる必要がなくなる。

また、本技術に係る撮像装置は、撮像画像を得る撮像部と、操作により前記撮像画像内における被写体が選択されたことに応じて、該選択された被写体の顔又は瞳を判定する顔・瞳判定部と、前記顔・瞳判定部が判定した前記顔又は瞳の位置情報に基づいて撮像制御パラメータの調整制御を行う調整制御部と、を備える。

さらに、本技術に係る撮像制御方法は、操作により撮像画像内における被写体が選択されたことに応じて、該選択された被写体の顔又は瞳を判定し、判定した前記顔又は瞳の位置情報に基づいて撮像制御パラメータの調整制御を行う撮像制御方法である。

これらの撮像装置、撮像制御方法によっても、上記した本技術に係る撮像制御装置と同様の作用が得られる。

本技術に係る実施形態としての撮像装置の外観の斜視図である。 実施形態としての撮像装置の背面図である。 実施形態としての撮像装置に装着できるレンズ鏡筒の側面図である。 実施形態としての撮像装置の内部構成のブロック図である。 実施形態におけるカメラ制御部の機能構成の説明図である。 実施形態におけるオートフォーカス時の表示例の説明図である。 実施形態における追尾時の表示例の説明図である。 実施形態の動作説明図である。 同じく、実施形態の動作説明図である。 同じく、実施形態の動作説明図である。 同じく、実施形態の動作説明図である。 同じく、実施形態の動作説明図である。 被写体の顔又は瞳へのオートフォーカス制御を実現するためのメイン処理を例示したフローチャートである。 被写体顔判定処理の例を示したフローチャートである。 被写体顔候補判定処理の第一例としての処理を示したフローチャートである。 顔検出枠と顔紐づけ範囲枠との関係を例示した図である。 被写体顔候補判定処理の第二例としての処理を示したフローチャートである。 動きのある被写体にオートフォーカスを行う例を示した図である。 撮像対象のシーンの一例を示した図である。 変形例において対策されるべきシーンを例示した図である。 第一変形例としての被写体顔判定処理のフローチャートである。 通常の顔紐づけ範囲枠を例示した図である。 変更後の顔紐づけ範囲枠を例示した図である。 第三変形例において対策されるべきシーンを例示した図である。 同じく、第三変形例において対策されるべきシーンを例示した図である。 第三変形例としてのメイン処理を例示したフローチャートである。

以下、実施の形態を次の順序で説明する。

＜１．撮像装置の構成＞
＜２．実施形態の動作説明＞
＜３．処理手順＞
＜４．変形例＞
＜５．その他変形例＞
＜６．実施形態のまとめ＞
＜７．本技術＞

なお、以下の説明において、「オートフォーカス」の用語は「ＡＦ」とも表記する。
また、撮像制御パラメータの調整制御の例として、オートフォーカス制御を例に挙げる。撮像制御パラメータとは、撮像装置を用いた撮像に係る各種の制御パラメータを意味する。

＜１．撮像装置の構成＞

図１は、本技術に係る実施形態としての撮像装置１の前方からの斜視図、図２は背面図を示している。ここでは撮像装置１は、いわゆるデジタルスチルカメラとされ、撮像モードを切り換えることで、静止画撮像と動画撮像の両方を実行できるものとする。
なお、本実施の形態では撮像装置１は、デジタルスチルカメラに限定されず、主に動画撮像に用いられ静止画撮像も行えるビデオカメラであっても良い。

撮像装置１は、カメラ本体を構成する本体筐体１００の前方側にレンズ鏡筒２（図１ではレンズ鏡筒２Ａ）が配置され、又は着脱可能とされる。
撮像装置１の背面側（使用者側）には、例えば液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスによる表示パネル１０１が設けられる。
またビューファインダー１０２として、ＬＣＤや有機ＥＬディスプレイ等を用いて形成された表示部も設けられる。
ユーザは表示パネル１０１やビューファインダー１０２により、画像や各種情報を視認することができる。
この例では撮像装置１には表示パネル１０１とビューファインダー１０２の両方が設けられているが、これに限定されず、表示パネル１０１とビューファインダー１０２のいずれか一方のみが設けられている構成や、表示パネル１０１とビューファインダー１０２の両方またはいずれか一方が着脱可能な構成であってもよい。

撮像装置１の本体筐体１００上には、各種の操作子１１０が設けられている。
例えば操作子１１０としては、キー、ダイヤル、押圧／回転の複合操作子などの各種の形態のものが配備され、各種の操作機能を実現している。例えばメニュー操作、再生操作、モード選択操作、フォーカス操作、ズーム操作、シャッタースピードやＦ値（F-number）等のパラメータの選択操作などが可能とされる。それぞれの操作子１１０に関しての詳述は避けるが、本実施形態の場合、操作子１１０のうちでシャッターボタン１１０Ｓとアサイナブルボタン１１０Ｃを特に示している。
シャッターボタン１１０Ｓはシャッター操作（レリーズ操作）や、また半押しによるＡＦ操作に用いられる。
アサイナブルボタン１１０Ｃは、カスタムボタンとも呼ばれる操作子で、ユーザが任意の操作機能を割り当てることのできるボタンである。

シャッターボタン１１０Ｓは本体筐体１００の右側上面に配置され、例えばユーザが右手で握持部１０３を持った状態で、右手の人差し指で押圧操作可能とされている。
またアサイナブルボタン１１０Ｃは、例えば図２のように本体筐体１００の背面側上部に配置され、ユーザが右手の親指で押圧操作可能とされている。
つまりシャッターボタン１１０Ｓ、アサイナブルボタン１１０Ｃは、ユーザが右手で握持部１１２を握持する状態で本体筐体１００を持ったときに、人差し指と親指で操作できる位置に配置され、即ち、それぞれを任意に個別に押したり、同時に押したりすることができるようにされている。

なお、シャッターボタン１１０Ｓと追尾操作のためのボタンは、必ずしも片手で同時に操作できるようにすることに限られない。例えば右手でシャッターボタン１１０Ｓを押し、左手で追尾操作ができるようにしてもよい。
このため、例えばレンズ鏡筒２のボタンを用いて追尾操作ができるようにしてもよい。
例えば図３には本体筐体１００の前面側に装着できるレンズ鏡筒２Ｂの一例を示している。レンズ鏡筒２Ｂにも各種の操作子１２０が設けられている。
この場合に、側面部のやや下方の位置に設けられたアサイナブルボタン１２０Ｃを追尾操作ボタンに割り当てる。

通常、ユーザは握持部１０３を右手で握持し、左手はレンズ鏡筒２を下方から支えるようなスタイルで撮像を行う。この場合に、アサイナブルボタン１２０Ｃは左手の親指で押圧操作可能となる。
このような配置であっても、シャッターボタン１１０Ｓとアサイナブルボタン１２０Ｃは互いに同時に操作したり、任意に別々に操作することが可能である。

図４は、レンズ鏡筒２を含めた撮像装置１の内部構成を示している。なお、ここでは撮像装置１が本体筐体１００とレンズ鏡筒２に分かれて構成される例で述べるが、レンズ鏡筒２に相当する部分が本体筐体１００と一体化されるものであってもよい。

撮像装置１は、本体筐体１００に撮像素子（イメージセンサ）１２、カメラ信号処理部１３、記録部１４、表示部１５、出力部１６、操作部１７、電源部１８、カメラ制御部３０、メモリ部３１を有する。
またレンズ鏡筒２はレンズ系２１、ドライバ部２２、レンズ制御部２３、操作部２４を有する。

レンズ鏡筒２におけるレンズ系２１は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り（アイリス）機構を備える。このレンズ系２１により、被写体からの光（入射光）が導かれ、撮像装置１における撮像素子１２に集光される。

撮像素子１２は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型などとして構成される。
この撮像素子１２では、受光した光を光電変換して得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のカメラ信号処理部１３やカメラ制御部３０に出力する。

カメラ信号処理部１３は、例えばＤＳＰ（Digital Signal Processor）等により画像処理プロセッサとして構成される。このカメラ信号処理部１３は、撮像素子１２からのデジタル信号（撮像画像信号）に対して、各種の信号処理を施す。例えばカメラ信号処理部１３は、前処理、同時化処理、ＹＣ生成処理、解像度変換処理、コーデック処理等を行う。

前処理では、撮像素子１２からの撮像画像信号に対して、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を行う。
同時化処理では、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにするデモザイク処理を施す。
ＹＣ生成処理では、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
解像度変換処理では、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。
コーデック処理では、解像度変換された画像データについて、例えば記録用や通信用の符号化処理を行う。

記録部１４は、例えば不揮発性メモリからなり、静止画データや動画データ等の画像ファイル（コンテンツファイル）や、画像ファイルの属性情報、サムネイル画像等を記憶する。
画像ファイルは、例えばＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）等の形式で記憶される。
記録部１４の実際の形態は多様に考えられる。例えば記録部１４は、撮像装置１に内蔵されるフラッシュメモリでもよいし、撮像装置１に着脱できるメモリカード（例えば可搬型のフラッシュメモリ）と該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。

表示部１５は撮像者に対して各種表示を行う表示部であり、具体的には図２に示した表示パネル１０１やビューファインダー１０２を示している。
表示部１５は、カメラ制御部３０の指示に基づいて表示画面上に各種表示を実行させる。例えば表示部１５は、記録部１４において記録媒体から読み出された画像データの再生画像を表示させる。また表示部１５には、カメラ信号処理部１３で表示用に解像度変換された撮像画像の画像データが供給されている。表示部１５はカメラ制御部３０の指示に応じて、当該撮像画像の画像データに基づいて表示を行うことで、レリーズのスタンバイ中の撮像画像である、いわゆるスルー画（被写体のモニタリング画像）を表示させる。
また表示部１５はカメラ制御部３０の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。

出力部１６は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。
例えば外部の表示装置、記録装置、再生装置等に対して撮像画像データ（静止画ファイルや動画ファイル）の送信出力を行う。
また出力部１６はネットワーク通信部であるとして、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。

操作部１７は、ユーザが各種操作入力を行うための入力デバイスを総括して示している。具体的には操作部１７は本体筐体１００に設けられた各種の操作子１１０（シャッターボタン１１０Ｓ、アサイナブルボタン１１０Ｃを含む）を示している。
操作部１７によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部３０へ送られる。
この操作部１７としては操作子１１０だけでなく、タッチパネルを用いてもよい。例えば表示パネル１０１にタッチパネルを形成し、表示パネル１０１に表示させるアイコンやメニュー等を用いたタッチパネル操作により、各種の操作が可能とされてもよい。
或いは操作部１７はタッチパッド等によりユーザのタップ操作等を検出する形態もある。
更に操作部１７は、別体のリモートコントローラ等の外部操作機器の受信部として構成されることもある。

電源部１８は、例えば内部に装填したバッテリーから各部に必要な電源電圧Ｖｃｃを生成し、動作電圧として供給する。
撮像装置１にレンズ鏡筒２が装着された状態では、電源部１８による電源電圧Ｖｃｃがレンズ鏡筒２内の回路にも供給されるように構成されている。
なお電源部１８には、商用交流電源に接続したＡＣアダプタにより変換されて入力される直流電圧を電源として、バッテリーへの充電を行う回路や電源電圧Ｖｃｃを生成する回路が形成されていてもよい。

カメラ制御部３０はＣＰＵ（Central Processing Unit）を備えたマイクロコンピュータ（演算処理装置）により構成される。
メモリ部３１は、カメラ制御部３０が処理に用いる情報等を記憶する。図示するメモリ部３１としては、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなど包括的に示している。
メモリ部３１はカメラ制御部３０としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
カメラ制御部３０はメモリ部３１のＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１及びレンズ鏡筒２の全体を制御する。
例えばカメラ制御部３０は、撮像素子１２のシャッタースピードの制御、カメラ信号処理部１３における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、レンズ鏡筒２におけるズーム、フォーカス、絞り調整等のレンズ系２１の動作、ユーザインターフェース動作等について、必要各部の動作を制御する。絞り調整に関してカメラ制御部３０は、ユーザ操作に応じたＦ値の可変制御や、自動制御（オートアイリス）としてのＦ値の指示を行う。

メモリ部３１におけるＲＡＭは、カメラ制御部３０のＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
メモリ部３１におけるＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。

本体筐体１００にレンズ鏡筒２が装着された状態では、カメラ制御部３０はレンズ制御部２３に対して通信を行い、各種の指示を行う。
レンズ鏡筒２においては、例えばマイクロコンピュータによるレンズ制御部２３が搭載されており、カメラ制御部３０との間で各種のデータ通信が可能とされる。本実施形態の場合、カメラ制御部３０は、レンズ制御部２３に対してズームレンズ、フォーカスレンズ、絞り機構等の駆動指示を行う。レンズ制御部２３はこれらの駆動指示に応じてドライバ部２２を制御し、レンズ系２１の動作を実行させる。
なお本体筐体１００にレンズ鏡筒２が装着された状態では、カメラ制御部３０とレンズ制御部２３の間で有線通信が実行されるように構成されている。但し、カメラ制御部３０とレンズ制御部２３が無線通信を行うことができるように構成されてもよい。

ドライバ部２２には、例えばズームレンズ駆動モータに対するモータドライバ、フォーカスレンズ駆動モータに対するモータドライバ、絞り機構のモータに対するモータドライバ等が設けられている。
これらのモータドライバはレンズ制御部２３からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させることになる。

操作部２４はレンズ鏡筒２側に設けられた操作子１２０（アサイナブルボタン１２０Ｃを含む）を示している。操作部２４による操作情報はレンズ制御部２３に供給され、レンズ制御部２３を介してカメラ制御部３０に通知される。
これによりレンズ制御部２３は、操作子１２０の操作に応じて例えばレンズ系２１の動作制御を行ったり、カメラ制御部３０が操作子１２０の操作に応じて各種設定や動作制御を行うことができる。
なお操作部２４としても操作部１７と同様に、キーやダイヤル等に限らず、タッチパネル、タッチパッド、或いはリモートコントローラの受信部などとして構成されてもよい。

図５は、図４の構成の一部を抽出するとともに、本実施形態の動作を行うためのカメラ制御部３０の機能を示している。
カメラ制御部３０の機能としては、ＡＦ測距部５１、ＡＦ制御部５２、画像認識部５３、操作認識部５４、表示制御部５５、アサイナブルボタン設定部５６が設けられる。
なお説明上の一例として、これらの機能がカメラ制御部３０にソフトウェアにより設けられるものとするが、これらの機能の一部又は全部が例えばカメラ信号処理部１３等として用いられるＤＳＰやマイクロコンピュータに設けられてもよいし、或いは、例えばカメラ制御部３０や、カメラ信号処理部１３とは別チップのマイクロコンピュータなど、他の部位に設けられてもよい。いずれにしても撮像装置１内に、これらの機能を行う構成が設けられればよい。

ＡＦ測距部５１は、オートフォーカスのための測距処理を行う。例えば撮像素子１２で得られる撮像画像信号を用いて、いわゆる位相差検出方式やコントラスト検出方式、或いはこれらの両方の特徴を持ち合わせたハイブリッドＡＦ方式などとしてのＡＦ制御のための演算を行う。
ＡＦ制御部５２は、ＡＦ測距部５１で求められた制御値に基づいてＡＦ制御信号を生成し、ＡＦ動作を実行させる処理を行う。ＡＦ制御部５２によるＡＦ制御信号はレンズ制御部２３に送信される。そしてレンズ制御部２３がＡＦ制御信号に基づいてドライバ部２２を制御し、レンズ系２１内のフォーカスレンズの駆動を実行させることで、ＡＦ動作が行われる。

画像認識部５３は、撮像素子１２で得られる撮像画像信号に対する画像解析を行い画像内容の認識処理を行う。特に本実施形態の場合、顔・瞳検出部６１、追尾処理部６２、被写体顔判定部６３としての認識処理が行われる。
顔・瞳検出部６１では、撮像画像信号のフレーム内で被写体としての人（或いは動物）の顔や瞳を検出する処理を行う。
ここで、本実施形態において、顔・瞳検出部で顔や瞳の検出対象とする被写体としては、顔や瞳を有する人物や動物等の生体に限らず、例えばロボット等の顔や瞳を模した物体を含む生体以外の物体も含み得る。

追尾処理部６２では、撮像画像信号のフレーム内で、対象とされた被写体（例えば人物や動物等の一部とされる場合もある）の位置を判定し追尾するための処理を行う。なお、追尾対象とする被写体は、例えばＡＦがかけられた被写体などとされる。ユーザ（撮像者）による追尾対象被写体の選択は、ＡＦ対象の被写体を選択するという操作によってなされることもある。

被写体顔判定部６３は、被写体の顔の判定を行う。これはフレーム内での人の顔の領域の判定であったり、さらには顔の個人識別の処理を行う。例えば多数の人が被写体となっているときに、ターゲットとした個人の顔の認識なども行うことが想定される。
特に、本例では、被写体顔判定部６３は、顔・瞳検出部６１により撮像画像のフレーム内で検出された顔や瞳のうちから、ユーザにより選択された被写体の顔や瞳を判定する処理も行うが、これについては後に改めて説明する。

操作認識部５４は、操作部１７による操作を認識する。カメラ制御部３０は、操作認識部５４によって認識されるユーザ操作に応じて必要な制御処理を行うことになる。
特に実施形態の処理に関連するものとしては、操作認識部５４は操作部１７におけるシャッターボタン１１０Ｓ、アサイナブルボタン１１０Ｃや、操作部２４におけるアサイナブルボタン１２０Ｃの操作を認識する。これらの操作の認識に応じて、上記のＡＦ測距部５１、ＡＦ制御部５２、画像認識部５３が対応した処理を行うことが可能とされる。

アサイナブルボタン設定部５６は、ユーザの設定操作に応じて、アサイナブルボタン１１０Ｃ、１２０Ｃの操作機能を設定する機能を示している。操作認識部５４がアサイナブルボタン１１０Ｃやアサイナブルボタン１２０Ｃの操作を検知した場合、カメラ制御部３０はアサイナブルボタン設定部５６の設定に基づいて、所定機能に対する操作が行われたと認識することになる。

表示制御部５５は、表示部１５の表示動作を制御する。例えば表示制御部５５はスルー画の表示の実行や、各種操作メニュー、アイコン、メッセージ等の表示を画面上に実行させるように制御する機能を示している。

図６，図７には、表示部１５での表示例を示している。これらはスルー画に重ねて各種アイコンを表示している例である。
図６では、バスケットボールを使っている人物ＨＭが、被写体として表示部１５の画面（即ち撮像している画角）のほぼ中央にとらえられている状態である。
ここでは画面中央にフォーカス枠９０が表示されている。フォーカス枠９０は、ＡＦ対象を示す枠であり、いわゆるＡＦ測距点を示す枠である。
フォーカス枠９０の表示位置は、各種のモードによって変わり、またフォーカス枠９０が複数表示される場合もあるが、ここでは一つのフォーカス枠９０が画面中央に表示される例としている。

図７では追尾を行っている状態を示している。例えば図６のフォーカス枠９０に基づいて人物ＨＭにＡＦがかけられ、また追尾のターゲットとされたとする。
図７の時点では、人物ＨＭが画面内で左寄りの位置にあるとする。この人物ＨＭに対して追尾枠９１が表示されている。追尾枠９１はターゲットとした被写体に追従して、その被写体に重なるように表示されていくことになる。
本例では、フォーカス枠９０と追尾枠９１とは形状を異にしている。この形状の切り替わりタイミングは、例えば、ＡＦ操作（本例ではシャッターボタン１１０Ｓの半押し操作）が行われて被写体に対するフォーカスが完了した時点などとされる。

また図６，図７に示すように画面上には、撮像装置１のモードや動作状態などを示す各種のアイコンや文字／数字が表示される。
例えば画面下部にはＩＳＯ感度７１、露出値７２、絞り値７３、シャッタースピード７４、合焦マーク７５が表示される。
合焦マーク７５はターゲットに対して合焦状態にあることを示すもので、図７において追尾対象にピントが合っている状態を示している。

画面左側には、ファインダフレームレート７６、シャッター方式７７、フォーカスエリア７８、フォーカスモード７９、ドライブモード８０、撮影モード８１としての表示が行われる。
ファインダフレームレート７６はビューファインダー１０２の表示画像のフレームレートを示すアイコンである。
シャッター方式７７は、メカシャッター方式、電子シャッター方式、オートを示すアイコンである。図示しているのはオートであり、これは撮影状況やシャッタースピードに応じて、メカシャッター方式と電子シャッター方式が自動で切り換わるモードを示している。

フォーカスエリア７８は、フォーカス制御を行う領域としてフォーカスエリア設定を表すアイコンである。フォーカスエリア設定としては、「ワイド」「ゾーン」「中央」「フレキシブルスポット」などがある。
「ワイド」はスルー画としてのモニタ全体を基準に、自動ピント合わせをするフォーカスエリアモードである。
「ゾーン」はモニタ上でピントを合わせたいゾーンの位置を選ぶと、その中で自動でピントを合わせるフォーカスエリアモードである。
「中央」はモニタ中央付近の被写体に自動ピント合わせをするフォーカスエリアモードである。
「フレキシブルスポット」はモニタ上の好きなところにフォーカス枠を移動し、非常に小さな被写体や狭いエリアを狙ってピントを合わせるフォーカスエリアモードである。

なお、フォーカスエリア７８のアイコンは、そのときのフォーカスエリア設定等に応じて切り換えられる。
図６，図７に示したフォーカスエリア７８として表示するアイコンの画像例は説明上の例であって、これらの画像デザインに限定されない。

図６，図７のように表示されるフォーカスモード７９は、ＡＦ動作モードを表すアイコンである。ＡＦ動作モードとしては、例えばシングルＡＦ（ＡＦ－Ｓ）、コンティニアスＡＦ（ＡＦ－Ｃ）としてのモードがある。
シングルＡＦは、シャッターボタン１１０Ｓを半押しするとオートフォーカスが働き、一度ピントが合うと、ピントがそこで固定されるモードである。
コンティニュアスＡＦは、シャッターボタン１１０Ｓを半押ししている間中、オートフォーカスが働き、被写体にピントを合わせ続けるモードである。図６，図７ではコンティニアスＡＦを示すアイコンが表示された例としている。

ドライブモード８０は、１枚撮影、連写、ブラケット撮影などを示すアイコンである。
撮影モード８１は、「プログラムオート」「絞り優先」「シャッタースピード優先」「マニュアル露出」「動画」「スロー／クイックモーション」などの撮影モードを示すアイコンである。

図６，図７において画面上部には、記憶メディア／枚数８２、縦横比８３、画像サイズ８４、手ぶれ補正８５、画質８６、バッテリー残量８７の表示が行われる。
記憶メディア／枚数８２として記録メディアに保存したピクチャーの枚数や保存可能数などが表示される。
縦横比８３により撮像画像の縦横比が表示される。
画像サイズ８４により撮像画像のサイズが表示される。
手ぶれ補正８５により手ぶれ補正機能のオン／オフやモードが表示される。
画質８６により撮像画像の画質設定が表示される。
バッテリー残量８７によりバッテリー残量が例えば絵柄とパーセント表示で示される。

ここまで表示部１５に表示される各種アイコン等を例示したが、これ以外にも各種の情報を提示するためのアイコン、数字、文字、或いはグラフィックが表示され得る。

＜２．実施形態の動作説明＞

以上の構成の撮像装置１において行われる、被写体の顔又は瞳にオートフォーカスするための動作例を説明する。
先ず、本例において、ユーザが撮像装置１に被写体の顔又は瞳にオートフォーカスさせる動作を実行させるために行うべき操作は、以下のように定められている。

１）メニューから顔又は瞳でＡＦする設定をＯＮとする
２）メニューからＡＦ動作モードの設定をコンティニアスＡＦ（ＡＦ－Ｃ）に設定する
３）フォーカス枠９０を所望の被写体（顔又は瞳の部分に限らない）に当てて、ＡＦ操作（本例ではシャッターボタン１１０Ｓの半押し操作）を行う

図８から図１２は、被写体の顔又は瞳にオートフォーカスする動作例を説明するための図である。
図８は、上記した１）及び２）の操作が行われた上で、所望の被写体として、撮像画像内に存在する人物ＨＭ１と人物ＨＭ２のうち手前側に位置する人物ＨＭ１を対象とした３）のＡＦ操作が行われた状態における表示部１５での表示例を示している。具体的に、この場合における３）のＡＦ操作としては、フォーカス枠９０を人物ＨＭ１の胴体部に当てた状態でのＡＦ操作が行われたとする。

先ず前提として、本例では、１）の操作に応じて、顔・瞳検出部６１が撮像画像内に存在する顔又は瞳の検出処理を開始する。この顔又は瞳の検出処理は、毎フレーム行われる。

図８の状態では、人物ＨＭ１に対する胴体部を対象としてＡＦが行われる。また、コンティニアスＡＦの設定に応じて、該胴体部を追尾対象被写体とした追尾処理部６２による被写体追尾が開始される。
このとき、表示部１５の画面上では、該追尾の開始に伴い、フォーカス枠９０は非表示状態となり、代わりに追尾枠９１が表示される。以降、追尾枠９１は、追尾処理部６２による追尾位置に表示される（対象の被写体が動く場合は該被写体の動きに連動して追尾枠９１も動く）。

図８の状態では、人物ＨＭ１の顔が後を向いているため、上記した顔・瞳検出部６１の検出処理では人物ＨＭ１の顔又は瞳が非検出とされる。一方、人物ＨＭ２は顔が前を向いているため、人物ＨＭ２の顔又は瞳が顔・瞳検出部６１の検出処理で検出されている。
但し、本実施形態における顔・瞳判定処理では、後述する手法が採られることで、前を向く人物ＨＭ２の顔又は瞳が選択された人物ＨＭ１の顔又は瞳として誤判定されてしまうことの防止が図られている。

図８の状態から、図９に示すように人物ＨＭ１の顔が前を向いたとする。
図９に示す状態では、顔・瞳検出部６１の検出処理で人物ＨＭ１の顔又は瞳が検出され、検出された人物ＨＭ１の顔又は瞳にＡＦが行われる。
また、以降は、人物ＨＭ１の顔又は瞳が追尾されるべく、追尾処理部６２が追尾の対象とする被写体位置を、検出された人物ＨＭ１の顔又は瞳の位置に更新する処理が行われる。

このとき、ＡＦや追尾の対象位置が人物ＨＭ１つまり選択された被写体の顔又は瞳位置となったことをユーザに通知するべく、本例では、図１０に示すように、該選択された被写体の顔又は瞳位置に顔・瞳追尾枠９２を表示すると共に、それまで表示していた追尾枠９１を非表示とする。
これにより、選択した被写体の追尾から顔又は瞳の追尾に切り替わったことをユーザに直感的に分かりやすく通知することが可能とされ、追尾に係る情報の通知精度向上を図ることができる。

ここで、図１０から図１１への遷移として示すように、人物ＨＭ１の顔が再度、後を向いてしまったとする。
この場合には、顔・瞳検出部６１の検出処理では人物ＨＭ１の顔又は瞳が非検出となる。このように、選択された被写体の顔又は瞳が一度判定された後、判定した顔又は瞳が撮像画像内に検出されなくなった場合は、追尾処理部６２が追尾対象とする被写体位置を、それまで追尾対象としていた被写体位置のまま維持させる。つまり図の例では、人物ＨＭ１の頭部位置のまま維持させる。
またこの場合、ＡＦについては、被写体追尾ＡＦを行う。すなわち、追尾処理部６２が追尾対象とする被写体位置にＡＦを行う。これにより、以降、人物ＨＭ１の顔が再び前を向くまでは、人物ＨＭ１の頭部が追尾されつつ、該頭部に対するＡＦが行われる。

また、図１０から図１１への遷移のように、選択した被写体の顔又は瞳が判定された後に該顔又は瞳が撮像画像内に検出されなくなった場合には、それまで該顔又は瞳の位置に表示していた顔・瞳追尾枠９２を非表示として、代わりに追尾枠９１を表示する。このとき、追尾枠９１は、追尾処理部６２が追尾対象としている被写体位置（つまり図の例では人物ＨＭ１の頭部）に表示する。
このように、判定した顔又は瞳が撮像画像内に検出されなくなったことに応じて画面上の追尾及びＡＦに係る枠表示の表示態様を変更することで、選択された被写体の顔又は瞳が検出されなくなったことにより顔又は瞳の位置情報に基づくＡＦが不能となったが、顔位置（頭部位置）の追尾は継続していることをユーザに直感的に分かりやすく通知することが可能となり、追尾及びＡＦに係る情報の通知精度向上を図ることができる。

図１２は、図１１の状態から、人物ＨＭ１の顔が再び前を向いた状態の画面例を示している。
この図１２に示す状態では、人物ＨＭ１の顔又は瞳が顔・瞳検出部６１により再び検出されるようになり、図９の場合と同様に、検出された人物ＨＭ１の顔又は瞳にＡＦが行われると共に、追尾処理部６２が追尾の対象とする被写体位置を、検出された人物ＨＭ１の顔又は瞳の位置に更新する処理が行われる。また、この場合も図９と同様に、それまで表示していた追尾枠９１を非表示とし、追尾対象とされた顔又は瞳位置に顔・瞳追尾枠９２を表示する。

上記の一連の動作、特に図６から図１０への遷移として説明した動作から理解されるように、本実施形態によれば、被写体の顔や瞳の位置を基準としたオートフォーカスを実現するにあたり、ユーザに被写体の顔や瞳を直接選択させる必要がなくなる。
従って、被写体の顔や瞳の位置を基準としたオートフォーカスを実現するための操作の容易化を図ることができる。

なお、上記では、顔又は瞳へのＡＦ対象とする被写体の選択操作がフォーカス枠９０を当てた状態でのＡＦ操作とされる例を挙げたが、該選択操作は、例えばタッチパネルにより画面上の被写体をタッチする操作とされてもよい。或いは、ＧＵＩカーソルを被写体の近くに重ねた上で、所定ボタンを押圧する等の操作とされてもよい。このとき、上記カーソルの移動操作は十字キーによるものであってもよいし、タッチ操作によるものであってもよい。

＜３．処理手順＞

図１３から図１８を参照して、上記により説明した実施形態としての動作を実現するために実行されるべき処理例を説明する。
なお、以下のフローチャートにより示す処理は、カメラ制御部３０が実行する処理であり、特に、本例においてこれらの処理は、カメラ制御部３０が備えるＣＰＵが例えばメモリ部３１に格納されたプログラムに従って実行するソフトウェア処理として実現される。ただし、これらの処理の全て又は一部がハードウェアによる処理として実現されてもよい。

ここで、以下の説明では便宜上、顔と瞳は区別せずに纏めて顔として扱う。
勿論、顔と瞳を別々に扱うものとし、顔と瞳のうち顔のみが検出できていれば顔位置にＡＦや追尾対象の被写体位置を更新し、瞳が検出できていれば瞳位置にＡＦや追尾対象の被写体位置を更新するということもできる。

図１３は、被写体の顔又は瞳へのＡＦ制御を実現するためのメイン処理を例示したフローチャートである。なお、図１３に示す処理は、本例では、前述した１）及び２）の設定が行われたことに応じて開始される。

先ず、カメラ制御部３０はステップＳ１０１で、被写体位置が選択されるまで待機する。すなわち、前述の３）の操作としてのＡＦ操作が実行されるまで待機する。
ＡＦ操作が行われて被写体位置が選択されたと判定した場合、カメラ制御部３０はステップＳ１０２で選択位置を追尾対象の被写体位置として初期化する。すなわち、ステップＳ１０１のＡＦ操作が行われた時点でフォーカス枠９０と重複している位置を追尾対象の被写体位置として初期化する。

ステップＳ１０２に続くステップＳ１０３でカメラ制御部３０は、被写体顔判定処理を実行する。この被写体顔判定処理は、追尾対象の被写体位置に対応する顔を判定する処理である。具体的に本例では、毎フレーム行われる顔検出処理で撮像画像内から検出される顔のうちから、追尾対象の被写体位置に対応する顔を判定する処理となる。
ここで、このステップＳ１０３の顔判定処理を含むステップＳ１１０までの処理は、後述するステップＳ１１１の１フレーム待機処理が設けられることで、撮像画像のフレーム毎に実行されることになる。

図１４のフローチャートを参照し、ステップＳ１０３の被写体顔判定処理の例を説明する。
図１４において、先ず、カメラ制御部３０は図中のＬＰ１、ＬＰ２で表すループ処理により、ステップＳ２０１の被写体顔候補判定処理を画像内の全ての顔について繰り返し実行する。

図１５のフローチャートは、ステップＳ２０１の被写体顔候補判定処理の第一例としての処理を示している。
図１５において、カメラ制御部３０はステップＳ２１０で、顔検出枠Ｆｆから顔紐づけ範囲枠Ｆｒを設定する。
ここで、顔検出枠Ｆｆは、撮像画像内から検出した顔の範囲を表す枠として設定した枠であり、複数の顔が検出された場合は顔ごとに設定される。
顔紐づけ範囲枠Ｆｒは、顔検出枠Ｆｆに基づいて設定される枠であり、該顔検出枠Ｆｆが表す顔が、選択された被写体位置に対応する顔であると仮定した場合に、該選択された被写体位置が含まれると予想される範囲を規定した枠である。すなわち、選択された被写体位置が、この顔紐づけ範囲枠Ｆｒ内の位置であれば、顔検出枠Ｆｆの表す顔が、選択された被写体の顔である可能性が高いと推定できるものである。

図１６は、顔検出枠Ｆｆと顔紐づけ範囲枠Ｆｒとの関係を例示した図である。
本例では、顔検出枠Ｆｆ、顔紐づけ範囲枠Ｆｒはそれぞれ矩形状の枠とされる。そして、顔紐づけ範囲枠Ｆｒは、顔検出枠Ｆｆに基づき幾何学的に設定される。
具体的に、カメラ制御部３０は、顔紐づけ範囲枠Ｆｒの位置については、顔検出枠ＦｆのＸ方向（水平方向）及びＹ方向（垂直方向）の位置に基づいて設定するものとし、例えば図示のように、Ｘ方向の位置は、顔紐づけ範囲枠ＦｒのＸ方向中心が顔検出枠ＦｆのＸ方向中心と一致する位置とし、Ｙ方向の位置は、顔検出枠Ｆｆと上辺同士が一致する位置として設定する。
また、カメラ制御部３０は、顔紐づけ範囲枠Ｆｒのサイズについては、Ｘ方向の辺の長さを顔検出枠ＦｆのＸ方向の辺の長さに応じた長さに設定し、Ｙ方向の辺の長さを顔検出枠ＦｆのＹ方向の辺の長さに応じた長さに設定する。例えば、Ｘ方向の辺の長さは、顔検出枠ＦｆのＸ方向の辺の長さの２倍に設定し、Ｙ方向の辺の長さは、顔検出枠ＦｆのＹ方向の辺の長さの３倍に設定する。

なお、顔紐づけ範囲枠Ｆｒの設定について、上記はあくまで一例を示したものに過ぎない。また、顔紐づけ範囲枠Ｆｒについては、撮像装置１を横向きに構えた場合と縦向きに構えた場合とで位置やサイズの設定手法を異ならせることもできる。

説明を図１５に戻す。
カメラ制御部３０は、ステップＳ２１０の顔紐づけ範囲枠Ｆｒの設定処理を実行したことに応じ、ステップＳ２１１で被写体位置が顔紐づけ範囲枠Ｆｒ内に存在するか否かを判定する。被写体位置が顔紐づけ範囲枠Ｆｒ内に存在していれば、カメラ制御部３０はステップＳ２１２に進み、被写体位置（本例では追尾対象の被写体位置）のＤＦ（デフォーカス量）と顔検出枠ＦｆのＤＦが近いか否かを判定する。具体的には、被写体位置のＤＦと顔検出枠ＦｆのＤＦとの差が所定閾値以下であるか否かを判定する。ここでのＤＦの情報としては、ＡＦ測距部５１で得られるＤＦの情報を用いる。
なお、ＤＦの情報は、撮像素子１２（イメージセンサ）に埋め込まれた像面位相差センサーの検出信号に基づき得るものとしてもよいし、撮像素子１２とは異なる箇所に設置された別体位相差センサーによる検出信号に基づき得るものとしてもよい。

ステップＳ２１２において、被写体位置のＤＦと顔検出枠ＦｆのＤＦとが近いと判定した場合、カメラ制御部３０はステップＳ２１３に進み、被写体顔候補と判定し、ステップＳ２０１の被写体顔候補判定処理を終える。つまり、撮像画像内から検出した顔のうち、処理対象とした顔が被写体顔候補であると判定し、被写体顔候補判定処理を終える。

このように本例では、処理対象とした顔に対し被写体位置が所定の位置関係条件（本例では画像平面方向における位置と奥行き方向における位置の条件）を満たす場合には、処理対象とした顔が被写体の顔候補として判定される。

一方、カメラ制御部３０は、ステップＳ２１１で被写体位置が顔紐づけ範囲枠Ｆｒ内に存在しないと判定した場合と、ステップＳ２１２で被写体位置のＤＦと顔検出枠ＦｆのＤＦとが近くないと判定した場合には、それぞれステップＳ２１４に処理を進めて被写体顔候補でないと判定し、ステップＳ２０１の被写体顔候補判定処理を終える。つまり、撮像画像内から検出した顔のうち、処理対象とした顔が被写体顔候補でないと判定し、被写体顔候補判定処理を終える。

なお、顔紐づけ範囲枠Ｆｒについては、画像認識によって人体部位を認識することで形成しても良い。ただし、一般的に画像認識で人体部位を認識するのは大きな計算リソースが必要だったり、精度が不十分で安定しなかったりする傾向があるので、図１６の例のように顔検出結果から幾何学的に求めたほうがより実用的である。

また、被写体位置と顔検出枠Ｆｆの奥行き情報としてはＤＦの情報に限定されない。例えば、奥行き情報は、レンズを微小にシフトさせた際に生じるデフォーカスの違いから推定する、いわゆるDepth From Defocusを用いて取得しても良い。或いは、奥行き情報は、Deep Learningに代表される画像処理技術を用いて推定しても良いし、二以上の撮像部による撮像画像を用いたステレオマッチングによって算出しても良い。さらには、奥行き情報は、動体視差を用いて算出することもできる。なお、動体視差とは、近いものほど速く動き、遠くのものほど遅く動くように見えることを意味し、この速さの違いにより遠近を把握することが可能なものである。
或いは、被写体位置の奥行き情報は、レンズのピント位置の情報から取得し、顔の奥行き情報は顔の撮像面上のサイズと平均的な人間の顔のサイズから算出して推定してもよい。
このとき、平均的な顔のサイズに代えて、顔の実寸を手動で設定した値を用いてもよい。動物の場合は、動物の種別を設定して、その動物の平均的なサイズを用いてもよい。

図１７のフローチャートは、ステップＳ２０１の被写体顔候補判定処理の第二例としての処理を示している。
ここで、スポーツの撮影などでは、図１８の上段に示すように被写体が激しい姿勢をとるため、必ずしも体の真上付近に顔があるとは限らない。図１８の上段の例では、白抜きで示した人物ＨＭ１がＡＦの対象としたい人物、梨地で示した人物ＨＭ２がＡＦの対象としたくない人物とされる。この場合において、図１８の下段に示すように、人物ＨＭ１と人物ＨＭ２が交差するタイミングでＡＦの対象としたい人物ＨＭ１にフォーカス枠９０を当ててＡＦ操作が行われたとする。このとき、図１５の第一例の処理のように位置関係のみに基づく顔候補判定を行った場合には、ＡＦの対象としたくない人物ＨＭ２の顔に追尾やＡＦが行われてしまう虞がある。

そこで、ステップＳ２０１の被写体顔候補判定処理としては、図１７に示すような第二例としての処理を実行することもできる。
図１５の第一例との差異点は、顔候補と判定するための条件として、ステップＳ２１１及びＳ２１２の条件以外に、ステップＳ２２０の条件が追加された点である。具体的に、ステップＳ２２０においてカメラ制御部３０は、被写体の動きと顔検出枠Ｆｆの動きが近いか否かを判定する。具体的に、このステップＳ２２０の処理では、過去数フレームの顔のＸ，Ｙ，Ｚ方向（Ｚ方向は奥行き方向：ＸＹ平面に垂直な方向）の動きと、追尾対象としている被写体のＸ，Ｙ，Ｚ方向の動きを比較し、その軌跡が類似しているかどうかを判定する。Ｚ方向の動きに関しては、前述したＤＦの情報を用いることができる。
なお、ステップＳ２２０の判定処理に関して、顔や被写体の動きとしては、Ｘ，Ｙ，Ｚ全ての方向の動きではではなく、一部の方向のみの動きを用いるようにしてもよい。
軌跡が類似しているか否かの判定は、例えば近づいているか遠ざかっているかの２値のようなラフな判定でも良い。逆方向に動いている顔を除外できるだけでもユーザメリットは大きいと考えられる。

図示のように、ステップＳ２１１、Ｓ２１２、Ｓ２２０の全ての判定処理において肯定結果が得られた場合、すなわち、被写体位置が顔紐づけ範囲枠Ｆｒ内に存在し、且つ被写体位置と顔検出枠ＦｆのＤＦが近く、且つ被写体と顔検出枠Ｆｆの動きが近いと判定された場合には、カメラ制御部３０はステップＳ２１３で被写体顔候補と判定する処理を行う。
一方、ステップＳ２１１、Ｓ２１２、Ｓ２２０の何れかの判定処理で否定結果が得られた場合、カメラ制御部３０はステップＳ２１４で被写体顔候補でないと判定する処理を行う。

第二例においてもカメラ制御部３０は、ステップＳ２１３、Ｓ２１４の何れかの処理を実行したことに応じステップＳ２０１の被写体顔候補判定処理を終える。

説明を図１４に戻す。
カメラ制御部３０は、上記した第一例や第二例としての被写体顔候補判定処理を画像内の全ての顔について実行したことに応じ、処理をステップＳ２０２に進める。
ステップＳ２０２でカメラ制御部３０は、被写体顔候補が存在するか否かを判定する。
ステップＳ２０２において、被写体顔候補が存在すると判定した場合、カメラ制御部３０はステップＳ２０３に進み、追尾対象の被写体位置と最も近い被写体顔候補を被写体顔と判定して、ステップＳ１０４の被写体顔判定処理を終える。
一方、被写体顔候補が存在しないと判定した場合、カメラ制御部３０はステップＳ２０４に進み、被写体顔が存在しないと判定して、ステップＳ１０４の被写体顔判定処理を終える。

図１３において、ステップＳ１０３の被写体顔判定処理を終えると、カメラ制御部３０はステップＳ１０４に処理を進めて被写体顔が存在するか否かを判定する。
被写体顔が存在する場合、カメラ制御部３０はステップＳ１０５に進んで被写体顔でＡＦを行うと共に、続くステップＳ１０６で顔位置を被写体位置として更新する処理を行う。
ここで、ステップＳ１０５の処理は、図５に示したＡＦ制御部５２としての機能により、被写体顔を対象としたＡＦが行われるように制御する処理となる。また、ステップＳ１０６の処理は、追尾処理部６２で追尾対象とする被写体位置を、被写体顔の位置に更新する処理となる。

ステップＳ１０６に続くステップＳ１０７でカメラ制御部３０は、顔・瞳枠表示処理を実行する。すなわち、表示部１５の画面上における枠表示に関して、それまで表示されていた追尾枠９１を非表示とし、被写体顔の位置に顔・瞳追尾枠９２を表示するための処理を実行する。
これにより、先の図９から図１０の遷移として説明したような、被写体顔が判定されたことに応じた枠表示切り換えが実現される。
ステップＳ１０７の表示処理を実行したことに応じ、カメラ制御部３０はステップＳ１１１の１フレーム待機処理を実行し、ステップＳ１０３の被写体顔判定処理に戻る。

一方、ステップＳ１０４で被写体顔が存在しないと判定した場合、カメラ制御部３０はステップＳ１０８に進み、被写体追尾ＡＦを行う。具体的には、追尾対象の被写体の位置にＡＦを行うための処理を行う。
そして、続くステップＳ１０９でカメラ制御部３０は、被写体追尾結果を被写体位置として更新する処理を行う。すなわち、被写体追尾処理により特定した位置を、追尾対象の被写体位置として更新するものである。

ここで、追尾対象の被写体位置は、ステップＳ１０２、ステップＳ１０６、又はステップＳ１０９で設定（更新）される。仮に、ステップＳ１０１で被写体が選択された以降、ステップＳ１０４の判定処理で被写体顔が存在するとの判定結果が一度も得られていない状況では、追尾対象の被写体位置は、ステップＳ１０１で選択された位置の追尾結果としての位置となる（つまり被写体の胴体部が選択された場合には胴体部の追尾結果としての位置となる）。
また、仮に、ステップＳ１０９の処理が、一度、ステップＳ１０４の判定処理で被写体顔が存在すると判定され、それ以降のフレームについて行われたステップＳ１０４の判定処理で被写体顔が存在しないと判定されたことに応じて実行される場合、追尾対象の被写体位置は、ステップＳ１０６で設定された顔位置の追尾結果としての位置となる。この場合のステップＳ１０９の処理では、顔位置の追尾結果を、追尾対象の被写体位置として更新する処理が行われることになる。このため、先の図１０から図１１の遷移として示したように、一度判定された被写体の顔が後を向いて検出されなくなった場合には、該被写体の頭部が追尾されるようになる（つまり選択した胴体部に追尾の対象が切り替わらない）。

ステップＳ１０９に続くステップＳ１１０でカメラ制御部３０は、追尾枠表示処理を実行する。すなわち、表示部１５の画面上での枠表示として、追尾枠９１を表示させる処理を実行する。これにより、ステップＳ１０１で被写体が選択された以降、ステップＳ１０４で被写体顔が存在するとの判定結果が未だ得られていない状態では、表示部１５の画面上での枠表示として、追尾枠９１が表示され続ける。また、ステップＳ１０４で被写体顔が存在するとの判定結果が得られた以降、該ステップＳ１０４で被写体顔が存在しないと判定された場合において、追尾枠９１が表示されることになる（図１０から図１１への遷移を参照）。すなわち、図１０から図１１への遷移として示したような、顔・瞳追尾枠９２から追尾枠９１への枠表示切り換えが実現される。

カメラ制御部３０は、ステップＳ１１０の追尾枠表示処理を実行したことに応じ、ステップＳ１１１の１フレーム待機処理に処理を進める。

なお、フォーカス枠９０、追尾枠９１、顔・瞳追尾枠９２については、枠形状による表示に限定されず、他の形状を採用することもでき、ＡＦや追尾の対象とされている位置を示すことが可能な何らかの視覚情報を表示すればよい。

また、ＡＦや追尾の対象位置を示す情報の表示に関しては、次のような手法を採ることもできる。すなわち、選択された被写体について人体部位の解析処理を行う場合において、被写体の選択後、何れの部位も非検出である状態では被写体位置に追尾枠９１を表示し、胴体部が検出されたことに応じて該胴体の範囲を表す胴体枠を表示し、さらに顔が検出されたことに応じて該顔の範囲を示す顔枠を表示し、また瞳が検出されたことに応じて該瞳の範囲を表す瞳枠を表示する、などといった手法である。
なお、ＡＦや追尾の対象とされている位置を示すための視覚情報を表示することは必須ではない。

＜４．変形例＞

ここで、図１９に示すような、母親としての人物ＨＭｍがその子どもとしての人物ＨＭｃを抱いているシーンを考える。このときユーザは、母親ではなく子どもを撮影したいと考えているとする。この場合には、ユーザは、図示のように子どもの胴体部などの比較的面積大きい部分にフォーカス枠９０を当てた状態でＡＦ操作を行うことが想定され得る。
図１９に示すシーンにおいて、母親と子どもの両方の顔が検出されているときには、子どもの顔の方がユーザの選択した位置に対してより近いため、子どもの顔に正しく追尾をかけたりＡＦを行うことができる。

しかしながら、その後、子どもが暴れる等してその顔が非検出状態になったとする（図２０参照）。この状態では、画像内に存在する顔が母親の顔のみとなり、且つ、母親の顔は被写体顔候補の条件を満たす可能性が高いため、追尾対象が母親の顔に切り替えられ、且つ母親の顔にＡＦが行われてしまう虞がある。
以下では、このような事態への対応策としての第一、第二、及び第三変形例について述べる。
なお、以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号や同一ステップ番号を付して説明を省略する。

第一変形例は、非被写体顔の導入による対策である。
図２１は、第一変形例としての被写体顔判定処理（Ｓ１０３）のフローチャートである。
第一変形例としての被写体顔判定処理では、選択された被写体の顔を一度判定した以降は、該被写体の顔と判定しなかった全ての顔を判定対象から除外する。
具体的に、この場合のカメラ制御部３０は、先ずステップＳ３０１で、検出済フラグがＯＮであるか否かを判定する。この検出済フラグは、後述するステップＳ３０２の処理で、被写体顔が判定されたことに応じてＯＮとされるフラグであり、初期値はＯＦＦである。つまり検出済フラグは、ステップＳ１０１で被写体が選択された後、一度でもステップＳ２０３の処理が行われたか否か（選択された被写体の顔が一度でも判定されたか否か）を表すフラグとなる。

ステップＳ１０１の被写体の選択後に未だステップＳ２０３の処理が実行されておらず、検出済フラグがＯＮでないと判定した場合、カメラ制御部３０は図中のＬＰ１、ＬＰ２のループ処理に進み、画像内の全ての顔についてステップＳ２０１の処理を繰り返し実行する。その後、ステップＳ２０２で被写体顔候補が存在するとの肯定結果が得られ、ステップＳ２０３の判定処理が実行されたことに応じ、カメラ制御部３０は、ステップＳ３０２で検出済フラグをＯＮとした上で、ステップＳ３０３で被写体顔以外の全ての顔を非被写体顔として設定する処理を行い、ステップＳ１０３の被写体顔判定処理を終える。

以降のフレームにおいては、ステップＳ３０１の判定処理で、検出済フラグがＯＮであるとの肯定結果が得られる。
ステップＳ３０１で肯定結果が得られた場合、カメラ制御部３０は図中のＬＰ１’、ＬＰ２’のループ処理に進んで、画像内の非被写体顔以外の顔について、ステップＳ２０１の被写体顔候補判定処理を繰り返し実行する。
その後、カメラ制御部３０はステップＳ２０２’に進んで被写体顔候補が存在するか否かを判定し、被写体顔候補が存在する場合はステップＳ２０３’で追尾対象の被写体位置と最も近い被写体顔候補を被写体顔と判定する処理を行ってステップＳ１０３の被写体顔判定処理を終える。一方、被写体顔候補が存在しない場合はステップＳ２０４’で被写体顔が存在しないと判定する処理を行ってステップＳ１０３の被写体顔判定処理を終える。

このような第一変形例としての処理により、一度でも被写体顔を判定した以降、被写体顔をロストした場合に行われる被写体判定において、選択された被写体の顔以外の顔が誤って判定されてしまうことの防止が図られる。
従って、被写体の顔又は瞳の判定精度向上を図ることができる。

続いて、第二変形例について説明する。
第二変形例は、顔紐づけ範囲枠Ｆｒの変更による対策である。
図２２は、人物ＨＭｍ、人物ＨＭｃそれぞれについての通常の顔紐づけ範囲枠Ｆｒを例示した図であり、図２３は、人物ＨＭｍ、人物ＨＭｃそれぞれについての変更後の顔紐づけ範囲枠Ｆｒを例示した図である。
第二変形例では、一度被写体顔が判定されたら、顔紐づけ範囲枠Ｆｒを狭めることで、その後に被写体顔を検出できない状態となっても、他の被写体（母親）の顔が被写体顔として誤判定されることの防止を図る。
図示による説明は省略するが、この場合のカメラ制御部３０は、被写体顔が一度も見つかっていない状態では、図２２に示した通常の顔紐づけ範囲枠Ｆｒ（具体例については図１６の説明を参照）を用いて、ステップＳ１０４の被写体顔判定処理を行う。
その後、被写体顔が判定されたことに応じて、以降は、図２３に示すような通常よりも範囲を狭めた顔紐づけ範囲枠Ｆｒを用いてステップＳ１０４の被写体顔判定処理を行う。特に本例では、一度被写体顔が判定されていれば、追尾対象の被写体位置（つまりステップＳ２１１で顔紐づけ範囲枠Ｆｒ内に位置しているか否かが判定される位置）は該被写体顔の付近に位置しているため、顔紐づけ範囲枠Ｆｒは体全体まで広げる必要はなく、図２３に示すように通常よりも範囲を狭める。なお、ここで言う「範囲を狭める」とは、少なくともＸ、Ｙ方向の何れか一方の枠長さを狭めることを意味する。

このような第二変形例によっても、一度でも被写体の顔（例えば子どもの顔）を判定した以降、該顔をロストした場合に行われる判定において、選択された被写体の顔以外の顔（例えば母親の顔）が被写体顔として誤判定されてしまうことの防止を図ることができる。
特に、第二変形例によれば、母親の顔が非検出の状態で子どもの顔が被写体顔と判定された場合であっても、子どもの顔が非検出の状態となったときに母親の顔が被写体顔として誤判定されてしまうことの防止を図ることができる

第三変形例は、最初に選択された被写体位置を覚えておくことによる対策である。
例えば、母親と子どもの例において、図２４に示すように、ユーザが被写体を選択する操作を行ったときに、子どもが後を向いている状態であったとすると、子どもの顔を検出することができず、母親の顔を被写体顔として誤判定してしまう虞がある。
これまでで説明した処理では、このように母親の顔が被写体顔として判定されてしまうと、母親の顔位置が追尾対象の被写体位置として更新されるため、その後、子どもが前を向いてその顔が検出される状態となっても、母親の顔が検出される限りは、母親の顔が被写体顔として判定され続ける虞がある（図２５参照）。すなわち、ユーザが意図する被写体の顔を対象としてＡＦや追尾を行うことができない虞がある。

図２６は、第三変形例としてのメイン処理を例示したフローチャートである。
図１３に示したメイン処理との差異点は、ステップＳ１０６の処理に代えてステップＳ１２０の処理を実行する点である。
ステップＳ１２０でカメラ制御部３０は、被写体位置から被写体追尾を行い、追尾結果を被写体位置として更新する処理を実行する。すなわち、ステップＳ１０４で被写体顔が存在すると判定されても、追尾対象の被写体位置を顔位置に更新せず、それまでの追尾位置を追尾対象の被写体位置として更新するものである。この処理により、追尾対象の被写体位置（ステップＳ２１１で顔紐づけ範囲枠Ｆｒ内に存在するか否かが判定される位置）は、ステップＳ１０１で選択された位置の追尾結果としての位置のまま維持される。

このような第三変形例としての処理により、顔が後を向く等して顔が非検出とされた被写体（例えば子ども）が操作により選択されて、選択された被写体以外の被写体の顔（例えば母親の顔）が誤判定された場合であっても、以降の判定としては、選択された被写体の追尾位置（例えば子どもの胴体部の追尾位置）を基準とした判定が行われるため、その後、選択された被写体の顔が前を向く等して該被写体の顔が検出されたときに、該被写体の顔を正しく判定することが可能とされる。

なお、ステップＳ２１１で顔紐づけ範囲枠Ｆｒ内に存在するか否かが判定される位置を最初にユーザが選んだ被写体位置のまま維持させる手法としては、例えばフレキシブルスポット等のＡＦエリアの示す位置を該ユーザが選んだ被写体位置とみなす手法が採られてもよい。

＜５．その他変形例＞

なお、上記した具体例はあくまで一例であり、実施形態としては多様な変形例としての構成を採り得る。
例えば、上記では、撮像制御パラメータの調整制御の例として、オートフォーカス制御を例に挙げたが、撮像制御パラメータの調整制御としては、他にも自動露出制御（ＡＥ）やオートホワイトバランス制御（ＡＷＢ）などを挙げることができる。すなわち、本技術は、例えば選択された被写体の顔や瞳の露出が最適となるように露出制御を行う場合や、選択された被写体の顔や瞳の色が最適となるようにホワイトバランスの制御を行う場合等にも好適に適用することができる。

また、上記では、検出した顔や瞳の位置から幾何学的に設定した探索範囲（顔紐づけ範囲枠Ｆｒ）内に選択された被写体が存在することを条件に、該検出した顔や瞳が選択された被写体の顔や瞳であると判定する例を挙げたが、これに代えて、例えば選択された被写体位置を元にアクティブセグメンテーションを行い、選択された位置と同じセグメントに属する顔や瞳を、選択した被写体の顔や瞳と判定する手法を採ることもできる。

また、上記では顔や瞳に対するＡＦの例としてＡＦ－ＣによるＡＦ（顔や瞳にピントを合わせ続けるＡＦ）を行う例を挙げたが、これに代えて、ＡＦ－ＳによるＡＦ（一度顔や瞳にピントを合わせた後、ピントを固定する）を行うこともできる。

＜６．実施形態のまとめ＞

上記のように実施形態としての撮像制御装置（カメラ制御部３０）は、操作により撮像画像内における被写体が選択されたことに応じて、該選択された被写体の顔又は瞳を判定する顔・瞳判定部（被写体顔判定部６３）と、顔・瞳判定部が判定した顔又は瞳の位置情報に基づいて撮像制御パラメータの調整制御を行う調整制御部（ＡＦ制御部５２）と、を備えている。

撮像制御パラメータとは、例えばフォーカスや露出、ホワイトバランス等、撮像装置を用いた撮像に係る各種の制御パラメータを意味する。上記構成によれば、被写体の胴体部等、被写体の任意部分が選択されさえすれば、被写体の顔又は瞳の判定処理が行われて、判定された顔や瞳の位置を基準とした撮像制御パラメータの調整制御が行われる。すなわち、被写体の顔や瞳を基準としたオートフォーカス等の撮像制御パラメータの調整を実現するにあたり、ユーザに被写体の顔や瞳を直接選択させる必要がなくなる。
従って、被写体の顔や瞳の位置を基準とした撮像制御パラメータの調整を実現するための操作の容易化を図ることができる。

また、実施形態としての撮像制御装置においては、顔・瞳判定部は、撮像画像内に存在する顔又は瞳を検出し、検出した顔又は瞳が被写体の顔又は瞳に該当するか否かを判定している。

選択された被写体の顔又は瞳を判定する手法としては、選択された被写体について人体部位を判定する画像解析を行う手法も考えられるが、この種の画像解析処理は計算コストが比較的高い。上記構成によれば、そのような計算コストの高い画像解析処理を行わずとも被写体の顔又は瞳を判定することが可能となる。
従って、被写体の顔又は瞳を判定するにあたっての処理負担軽減を図ることができる。

さらに、実施形態としての撮像制御装置においては、顔・瞳判定部は、検出した顔又は瞳と被写体との位置関係に基づいて被写体の顔又は瞳を判定している。

これにより、撮像画像内で検出された顔又は瞳のうち、位置的にかけ離れた顔又は瞳が被写体の顔又は瞳として判定されないようにすることが可能とされる。
従って、被写体の顔又は瞳の判定精度を高めることができる。

さらにまた、実施形態としての撮像制御装置においては、顔・瞳判定部は、検出した顔又は瞳の位置から幾何学的に設定した探索範囲内に被写体が位置することを条件として、該検出した顔又は瞳が被写体の顔又は瞳であると判定している。

これにより、被写体の顔又は瞳を判定するにあたっては、検出した顔又は瞳ごとに、範囲設定の処理と、設定範囲内に選択被写体が含まれるか否かの判定処理とを少なくとも行えば足る。
従って、被写体の顔又は瞳を判定するにあたっての処理負担軽減を図ることができる。

また、実施形態としての撮像制御装置においては、顔・瞳判定部は、検出した顔又は瞳と被写体との奥行き方向における位置関係に基づいて被写体の顔又は瞳を判定している。

これにより、画像平面方向における位置関係のみでなく奥行き方向の位置関係に基づいて被写体の顔又は瞳を判定することが可能とされる。
従って、被写体の顔又は瞳の判定精度向上を図ることができる。

さらに、実施形態としての撮像制御装置においては、顔・瞳判定部は、検出した顔又は瞳と被写体との動きの整合性に基づいて被写体の顔又は瞳を判定している。

これにより、位置関係のみでは適切に被写体の顔又は瞳を判定できない場合に対応して、動きの整合性に基づき、検出された顔又は瞳のうちから被写体の顔又は瞳を適切に判定することが可能とされる。
従って、被写体の顔又は瞳の判定精度向上を図ることができる。

さらにまた、実施形態としての撮像制御装置においては、顔・瞳判定部は、検出した顔又は瞳と被写体との奥行き方向における動きの整合性に基づいて被写体の顔又は瞳を判定している。

これにより、画像の平面方向における動きの整合性のみでなく奥行き方向の動きの整合性に基づいて被写体の顔又は瞳を判定することが可能とされる。
従って、被写体の顔又は瞳の判定精度向上を図ることができる。

また、実施形態としての撮像制御装置においては、調整制御部は、撮像制御パラメータの調整制御としてオートフォーカス制御を行い、顔・瞳判定部は、検出した顔又は瞳と被写体の奥行き情報としてオートフォーカス用の測距情報を用いている。

これにより、奥行き方向の位置関係や動きの整合性に基づく被写体の顔又は瞳の判定を行うにあたり、オートフォーカス制御用の測距センサ以外の別途の測距センサを撮像装置に設ける必要がなくなる。
従って、撮像装置の小型軽量化を図ることができる。

さらに、実施形態としての撮像制御装置においては、対象とされた被写体を追尾する追尾部（追尾処理部６２）を備え、顔・瞳判定部は、被写体の顔又は瞳を判定した場合は、追尾部が追尾の対象とする被写体である追尾対象被写体を、該判定した顔又は瞳に更新すると共に、以降の判定においては、追尾部が追尾する位置に基づき、検出した顔又は瞳が被写体の顔又は瞳であるか否かを判定している。

これにより、一度被写体の顔又は瞳を判定した後、顔が後を向く等して被写体の顔又は瞳が検出されなくなったとしても、被写体の頭部を追尾することが可能とされる。
従って、一度判定した被写体の顔又は瞳をロストした以降において、再び被写体の顔又は瞳が判定され易くすることができ、被写体の顔又は瞳の判定精度向上を図ることができる。

さらにまた、実施形態としての撮像制御装置においては、顔・瞳判定部は、検出した顔又は瞳のうちから被写体の顔又は瞳を判定した以降は、被写体の顔又は瞳と判定しなかった全ての顔又は瞳を判定対象から除外している（第一変形例を参照）。

これにより、一度でも被写体の顔又は瞳を判定した以降、該顔又は瞳をロストした場合に行われる判定において、被写体の顔又は瞳以外の顔又は瞳が誤判定されてしまうことの防止が図られる。
従って、被写体の顔又は瞳の判定精度向上を図ることができる。

また、実施形態としての撮像制御装置においては、顔・瞳判定部は、検出した顔又は瞳のうちから被写体の顔又は瞳を判定した以降は、探索範囲を第一探索範囲から第一探索範囲とは異なる第二探索範囲に切り換えた判定を行っている（第二変形例を参照）。

これにより、一度でも被写体の顔又は瞳を判定した以降、該顔又は瞳をロストした場合に行われる判定において、探索範囲を第一探索範囲よりも狭めた第二探索範囲とすること等が可能となり、被写体の顔又は瞳以外の顔又は瞳が誤判定されてしまうことの防止が図られる。
従って、被写体の顔又は瞳の判定精度向上を図ることができる。

さらに、実施形態としての撮像制御装置においては、対象とされた被写体を追尾する追尾部を備え、追尾部は、顔・瞳判定部が被写体の顔又は瞳を判定したか否かに拘わらず、操作により選択された被写体を追尾し続け、顔・瞳判定部は、追尾部が追尾する位置を基準として、検出した顔又は瞳が被写体の顔又は瞳であるか否かを判定している。

これにより、顔が後を向く等して顔又は瞳が検出されていない被写体が選択されて、選択された被写体以外の被写体の顔又は瞳が誤判定された場合であっても、以降の判定としては、選択された被写体位置を基準とした判定が行われるため、選択された被写体の顔が前を向く等して該被写体の顔又は瞳が検出されたときに、該被写体の顔又は瞳を正しく判定することが可能とされる。
従って、被写体の顔又は瞳の判定精度向上を図ることができる。

さらにまた、実施形態としての撮像制御装置においては、操作により被写体が選択されたことに応じて、撮像画像を表示する表示部において該被写体の位置に第一視覚情報を表示させ、顔・瞳判定部により該被写体の顔又は瞳が判定されたことに応じて、表示部において該判定された顔又は瞳の位置に第二視覚情報を表示させると共に、第一視覚情報を非表示とさせる表示制御部（同５５）を備えている（図６から図１０を参照）。

これにより、選択した被写体の追尾から顔又は瞳の追尾に切り替わったことをユーザに直感的に分かりやすく通知することが可能とされる。
従って、追尾に係る情報の通知精度向上を図ることができる。

また、実施形態としての撮像制御装置においては、表示制御部は、第二視覚情報として、第一視覚情報とは異なる形状の情報を表示させている。

これにより、選択した被写体の追尾から顔又は瞳の追尾に切り替わったことをユーザに直感的により分かりやすく通知することが可能とされる。
従って、追尾に係る情報の通知精度のさらなる向上を図ることができる。

さらに、実施形態としての撮像制御装置においては、対象とされた被写体を追尾する追尾部を備え、顔・瞳判定部は、被写体の顔又は瞳を判定した場合は、追尾部が追尾の対象とする被写体である追尾対象被写体を、該判定した顔又は瞳に更新し、該判定した顔又は瞳が撮像画像内に検出されなくなった場合は、追尾対象被写体をそれまでの追尾対象被写体で維持させ、調整制御部は、追尾部が追尾する位置の情報に基づいて撮像制御パラメータの調整制御を行い、表示制御部は、顔・瞳判定部が判定した顔又は瞳を検出できなくなったことに応じて、追尾部が追尾する位置に、第二視覚情報とは異なる視覚情報を表示させる制御を行っている（図１０及び図１１を参照）。

上記構成によれば、選択された被写体の顔又は瞳が判定された以降は、例えば該被写体の顔が後を向く等して該顔又は瞳が非検出の状態となるまで、該顔又は瞳の位置を基準とした撮像制御パラメータの調整が行われる。そして、上記構成によれば、選択された被写体の顔又は瞳が非検出の状態となった場合に、該選択された被写体の顔（頭部）位置が追尾され続けると共に、追尾位置に対して、第二視覚情報とは異なる視覚情報が表示されるようになる（例えば顔・瞳追尾枠９２から追尾枠９１への表示切換）。このような表示制御が行われることで、選択された被写体の顔又は瞳が検出されなくなったことにより顔又は瞳の位置情報に基づく撮像制御パラメータ調整が不能となったが、顔位置（頭部位置）の追尾は継続していることをユーザに直感的に分かりやすく通知することが可能とされる。
従って、追尾及び撮像制御パラメータ調整に係る情報の通知精度向上を図ることができる。

さらにまた、実施形態としての撮像制御装置においては、被写体は人であるものとされている。

これにより、人の顔や瞳を基準とした撮像制御パラメータの調整を実現するにあたり、ユーザに人の顔や瞳を直接選択させる必要がなくなる。
従って、人の顔や瞳の位置を基準とした撮像制御パラメータの調整を実現するための操作の容易化を図ることができる。

また、実施形態としての撮像制御装置においては、被写体は動物であるものとされている。

これにより、例えば犬や猫、鳥等の動物の顔や瞳を基準とした撮像制御パラメータの調整を実現するにあたり、ユーザに動物の顔や瞳を直接選択させる必要がなくなる。
従って、動物の顔や瞳の位置を基準とした撮像制御パラメータの調整を実現するための操作の容易化を図ることができる。

また、実施形態としての撮像装置（同１）は、撮像画像を得る撮像部（撮像素子１２）と、操作により撮像画像内における被写体が選択されたことに応じて、該選択された被写体の顔又は瞳を判定する顔・瞳判定部と、顔・瞳判定部が判定した顔又は瞳の位置情報に基づいて撮像制御パラメータの調整制御を行う調整制御部と、を備えている。

また、実施形態の撮像制御方法は、操作により撮像画像内における被写体が選択されたことに応じて、該選択された被写体の顔又は瞳を判定し、判定した前記顔又は瞳の位置情報に基づいて撮像制御パラメータの調整制御を行う撮像制御方法である。

これらの撮像装置、撮像制御方法によっても、上記した実施形態としての撮像制御装置と同様の作用及び効果が得られる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

＜７．本技術＞

なお本技術は以下のような構成も採ることができる。
（１）
操作により撮像画像内における被写体が選択されたことに応じて、該選択された被写体の顔又は瞳を判定する顔・瞳判定部と、
前記顔・瞳判定部が判定した前記顔又は瞳の位置情報に基づいて撮像制御パラメータの調整制御を行う調整制御部と、を備える
撮像制御装置。
（２）
前記顔・瞳判定部は、
前記撮像画像内に存在する顔又は瞳を検出し、検出した顔又は瞳が前記被写体の顔又は瞳に該当するか否かを判定する
前記（１）に記載の撮像制御装置。
（３）
前記顔・瞳判定部は、
前記検出した顔又は瞳と前記被写体との位置関係に基づいて前記被写体の顔又は瞳を判定する
前記（２）に記載の撮像制御装置。
（４）
前記顔・瞳判定部は、
前記検出した顔又は瞳の位置から幾何学的に設定した探索範囲内に前記被写体が位置することを条件として、該検出した顔又は瞳が前記被写体の顔又は瞳であると判定する
前記（２）に記載の撮像制御装置。
（５）
前記顔・瞳判定部は、
前記検出した顔又は瞳と前記被写体との奥行き方向における位置関係に基づいて前記被写体の顔又は瞳を判定する
前記（３）又は（４）の何れかに記載の撮像制御装置。
（６）
前記顔・瞳判定部は、
前記検出した顔又は瞳と前記被写体との動きの整合性に基づいて前記被写体の顔又は瞳を判定する
前記（２）から（５）の何れかに記載の撮像制御装置。
（７）
前記顔・瞳判定部は、
前記検出した顔又は瞳と前記被写体との奥行き方向における動きの整合性に基づいて前記被写体の顔又は瞳を判定する
前記（６）に記載の撮像制御装置。
（８）
前記調整制御部は、
前記撮像制御パラメータの調整制御としてオートフォーカス制御を行い、
前記顔・瞳判定部は、
前記検出した顔又は瞳と前記被写体の奥行き情報としてオートフォーカス用の測距情報を用いる
前記（５）又は（７）に記載の撮像制御装置。
（９）
対象とされた被写体を追尾する追尾部を備え、
前記顔・瞳判定部は、
前記被写体の顔又は瞳を判定した場合は、前記追尾部が追尾の対象とする被写体である追尾対象被写体を、該判定した顔又は瞳に更新すると共に、以降の判定においては、前記追尾部が追尾する位置に基づき、前記検出した顔又は瞳が前記被写体の顔又は瞳であるか否かを判定する
前記（２）から（８）の何れかに記載の撮像制御装置。
（１０）
前記顔・瞳判定部は、
前記検出した顔又は瞳のうちから前記被写体の顔又は瞳を判定した以降は、前記被写体の顔又は瞳と判定しなかった全ての顔又は瞳を判定対象から除外する
前記（２）から（９）の何れかに記載の撮像制御装置。
（１１）
前記顔・瞳判定部は、
前記検出した顔又は瞳のうちから前記被写体の顔又は瞳を判定した以降は、前記探索範囲を第一探索範囲から前記第一探索範囲とは異なる第二探索範囲に切り換えた判定を行う
前記（４）から（１０）の何れかに記載の撮像制御装置。
（１２）
対象とされた被写体を追尾する追尾部を備え、
前記追尾部は、
前記顔・瞳判定部が前記被写体の顔又は瞳を判定したか否かに拘わらず、前記操作により選択された被写体を追尾し続け、
前記顔・瞳判定部は、
前記追尾部が追尾する位置を基準として、前記検出した顔又は瞳が前記被写体の顔又は瞳であるか否かを判定する
前記（２）から（８）の何れかに記載の撮像制御装置。
（１３）
前記操作により被写体が選択されたことに応じて、前記撮像画像を表示する表示部において該被写体の位置に第一視覚情報を表示させ、前記顔・瞳判定部により該被写体の顔又は瞳が判定されたことに応じて、前記表示部において該判定された顔又は瞳の位置に第二視覚情報を表示させると共に、前記第一視覚情報を非表示とさせる表示制御部を備える
前記（１）から（１２）の何れかに記載の撮像制御装置。
（１４）
前記表示制御部は、
前記第二視覚情報として、前記第一視覚情報とは異なる形状の情報を表示させる
前記（１３）に記載の撮像制御装置。
（１５）
対象とされた被写体を追尾する追尾部を備え、
前記顔・瞳判定部は、
前記被写体の顔又は瞳を判定した場合は、前記追尾部が追尾の対象とする被写体である追尾対象被写体を、該判定した顔又は瞳に更新し、該判定した顔又は瞳が前記撮像画像内に検出されなくなった場合は、前記追尾対象被写体をそれまでの追尾対象被写体で維持させ、
前記調整制御部は、
前記追尾部が追尾する位置の情報に基づいて前記撮像制御パラメータの調整制御を行い、
前記表示制御部は、
前記顔・瞳判定部が前記判定した顔又は瞳を検出できなくなったことに応じて、前記追尾部が追尾する位置に、前記第二視覚情報とは異なる視覚情報を表示させる制御を行う
前記（１３）又は（１４）に記載の撮像制御装置。
（１６）
前記被写体は人である
前記（１）から（１５）の何れかに記載の撮像制御装置。
（１７）
前記被写体は動物である
前記（１）から（１５）の何れかに記載の撮像制御装置。

１ 撮像装置、１２ 撮像素子、３０ カメラ制御部、５１ ＡＦ測距部、５２ ＡＦ制御部、５３ 画像認識部、５５ 表示制御部、６１ 顔・瞳検出部、６２ 追尾処理部、６３ 被写体顔判定部、９０ フォーカス枠、９１ 追尾枠、９２ 顔・瞳追尾枠、１１０Ｓ シャッターボタン、１０１ 表示パネル、１０２ ビューファインダー、Ｆｆ 顔検出枠、Ｆｒ 顔紐づけ範囲枠

Claims (17)

1. 操作により撮像画像内における被写体が選択されたことに応じて、該選択された被写体の顔又は瞳を判定する顔・瞳判定部と、
   前記顔・瞳判定部が判定した前記顔又は瞳の位置情報に基づいて撮像制御パラメータの調整制御を行う調整制御部と、を備え、
   前記顔・瞳判定部は、
   前記撮像画像内に存在する顔又は瞳を検出し、検出した顔又は瞳が前記被写体の顔又は瞳に該当するか否かを、前記検出した顔又は瞳と前記被写体との位置関係に基づいて判定する
   撮像制御装置。
2. 前記顔・瞳判定部は、
   前記検出した顔又は瞳の位置から幾何学的に設定した探索範囲内に前記被写体が位置することを条件として、該検出した顔又は瞳が前記被写体の顔又は瞳であると判定する
   請求項１に記載の撮像制御装置。
3. 前記顔・瞳判定部は、
   前記検出した顔又は瞳と前記被写体との奥行き方向における位置関係に基づいて前記被写体の顔又は瞳を判定する
   請求項１に記載の撮像制御装置。
4. 前記顔・瞳判定部は、
   前記検出した顔又は瞳と前記被写体との動きの整合性に基づいて前記被写体の顔又は瞳を判定する
   請求項１に記載の撮像制御装置。
5. 前記顔・瞳判定部は、
   前記検出した顔又は瞳と前記被写体との奥行き方向における動きの整合性に基づいて前記被写体の顔又は瞳を判定する
   請求項４に記載の撮像制御装置。
6. 前記調整制御部は、
   前記撮像制御パラメータの調整制御としてオートフォーカス制御を行い、
   前記顔・瞳判定部は、
   前記検出した顔又は瞳と前記被写体の奥行き情報としてオートフォーカス用の測距情報を用いる
   請求項３又は請求項５に記載の撮像制御装置。
7. 対象とされた被写体を追尾する追尾部を備え、
   前記顔・瞳判定部は、
   前記被写体の顔又は瞳を判定した場合は、前記追尾部が追尾の対象とする被写体である追尾対象被写体を、該判定した顔又は瞳に更新すると共に、以降の判定においては、前記追尾部が追尾する位置に基づき、前記検出した顔又は瞳が前記被写体の顔又は瞳であるか否かを判定する
   請求項１に記載の撮像制御装置。
8. 前記顔・瞳判定部は、
   前記検出した顔又は瞳のうちから前記被写体の顔又は瞳を判定した以降は、前記被写体の顔又は瞳と判定しなかった全ての顔又は瞳を判定対象から除外する
   請求項１に記載の撮像制御装置。
9. 前記顔・瞳判定部は、
   前記検出した顔又は瞳のうちから前記被写体の顔又は瞳を判定した以降は、前記探索範囲を第一探索範囲から前記第一探索範囲とは異なる第二探索範囲に切り換えた判定を行う
   請求項２に記載の撮像制御装置。
10. 対象とされた被写体を追尾する追尾部を備え、
    前記追尾部は、
    前記顔・瞳判定部が前記被写体の顔又は瞳を判定したか否かに拘わらず、前記操作により選択された被写体を追尾し続け、
    前記顔・瞳判定部は、
    前記追尾部が追尾する位置を基準として、前記検出した顔又は瞳が前記被写体の顔又は瞳であるか否かを判定する
    請求項１に記載の撮像制御装置。
11. 前記操作により被写体が選択されたことに応じて、前記撮像画像を表示する表示部において該被写体の位置に第一視覚情報を表示させ、前記顔・瞳判定部により該被写体の顔又は瞳が判定されたことに応じて、前記表示部において該判定された顔又は瞳の位置に第二視覚情報を表示させると共に、前記第一視覚情報を非表示とさせる表示制御部を備える
    請求項１に記載の撮像制御装置。
12. 前記表示制御部は、
    前記第二視覚情報として、前記第一視覚情報とは異なる形状の情報を表示させる
    請求項１１に記載の撮像制御装置。
13. 対象とされた被写体を追尾する追尾部を備え、
    前記顔・瞳判定部は、
    前記被写体の顔又は瞳を判定した場合は、前記追尾部が追尾の対象とする被写体である追尾対象被写体を、該判定した顔又は瞳に更新し、該判定した顔又は瞳が前記撮像画像内に検出されなくなった場合は、前記追尾対象被写体をそれまでの追尾対象被写体で維持させ、
    前記調整制御部は、
    前記追尾部が追尾する位置の情報に基づいて前記撮像制御パラメータの調整制御を行い、
    前記表示制御部は、
    前記顔・瞳判定部が前記判定した顔又は瞳を検出できなくなったことに応じて、前記追尾部が追尾する位置に、前記第二視覚情報とは異なる視覚情報を表示させる制御を行う
    請求項１１に記載の撮像制御装置。
14. 前記被写体は人である
    請求項１に記載の撮像制御装置。
15. 前記被写体は動物である
    請求項１に記載の撮像制御装置。
16. 撮像画像を得る撮像部と、
    操作により前記撮像画像内における被写体が選択されたことに応じて、該選択された被写体の顔又は瞳を判定する顔・瞳判定部と、
    前記顔・瞳判定部が判定した前記顔又は瞳の位置情報に基づいて撮像制御パラメータの調整制御を行う調整制御部と、を備え、
    前記顔・瞳判定部は、
    前記撮像画像内に存在する顔又は瞳を検出し、検出した顔又は瞳が前記被写体の顔又は瞳に該当するか否かを、前記検出した顔又は瞳と前記被写体との位置関係に基づいて判定する
    撮像装置。
17. 操作により撮像画像内における被写体が選択されたことに応じて、該選択された被写体の顔又は瞳を判定し、判定した前記顔又は瞳の位置情報に基づいて撮像制御パラメータの調整制御を行うと共に、
    前記顔又は瞳の判定においては、
    前記撮像画像内に存在する顔又は瞳を検出し、検出した顔又は瞳が前記被写体の顔又は瞳に該当するか否かを、前記検出した顔又は瞳と前記被写体との位置関係に基づいて判定する
    撮像制御方法。

Images