JP7754101B2 - 撮像装置、撮像方法、およびプログラム - Google Patents

Description

本技術は、撮像装置、撮像方法、およびプログラムに関し、特に、ユーザが所望する品質の画像を取得することができるようにした撮像装置、撮像方法、およびプログラムに関する。

特許文献１においては、人物の顔の領域である顔領域を検出し、検出した顔領域の中から、瞳の領域である瞳領域が検出できた場合、瞳領域に対して合焦を行い、瞳領域が検出できなかった場合、顔領域に対して合焦を行う撮像装置が提案されている。

国際公開第２０１５／０４５９１１号

しかしながら、撮像装置においては、動物の撮像を行う場合、動物の顔領域を検出せずに、瞳領域の検出が行われる。したがって、この撮像装置においては、動物の瞳領域が検出できなかった場合、合焦の対象が存在せず、ユーザが所望する品質の画像を取得することが難しかった。

本技術はこのような状況に鑑みてなされたものであり、ユーザが所望する品質の画像を取得することができるようにするものである。

本技術の一側面の撮像装置は、被写体の第１の特定部位を含む第１の領域を、焦点を合わせる合焦領域として設定する設定部を備え、前記設定部は、前記第１の特定部位が検出されなかった場合、前記第１の特定部位と同じ種類の特定部位である、前記被写体の第２の特定部位を含む第２の領域を前記合焦領域として設定する。

本技術の一側面においては、被写体の第１の特定部位を含む第１の領域が、焦点を合わせる合焦領域として設定される。また、前記第１の特定部位が検出されなかった場合、前記第１の特定部位と同じ種類の特定部位である、前記被写体の第２の特定部位を含む第２の領域が前記合焦領域として設定される。

本技術の一実施形態に係る撮像装置の構成例を示すブロック図である。 デジタル信号処理部の構成例を示すブロック図である。 各被写体の瞳検出モード時の表示例を示す図である。 撮像装置１１の瞳検出モードに関わる設定の一部を示す図である。 動物の瞳検出モードにおける内部処理の例を示す図である。 人物の瞳検出モードの左右瞳選択の設定が適用された場合の内部処理の例を示す図である。 動物の瞳検出モードにおいて、本技術の左右瞳選択の設定が適用された場合の内部処理の例を示す図である。 人物の瞳検出モードの撮像処理を説明するフローチャートである。 図８に続く、人物の瞳検出モードの撮像処理を説明するフローチャートである。 図９に続く、人物の瞳検出モードの撮像処理を説明するフローチャートである。 動物の瞳検出モードの撮像処理を説明するフローチャートである。 図１１に続く、動物の瞳検出モードの撮像処理を説明するフローチャートである。 図１２に続く、動物の瞳検出モードの撮像処理を説明するフローチャートである。 左右瞳選択がオートの設定である場合の瞳領域の選択例を示す図である。 鳥の瞳領域選択処理を説明するフローチャートである。 図１５に続く、鳥の瞳領域選択処理を説明するフローチャートである。 図１６に続く、鳥の瞳領域選択処理を説明するフローチャートである。 検出対象切換設定画面の例を示す図である。 検出対象が切り換えられた場合の表示画面の例を示す図である。 被写体の種類における階層構造を示す図である。

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．撮像装置
２．各被写体の瞳検出モード
３．動物の瞳検出モード
４．撮像装置の動作
５．その他

＜１．撮像装置＞
＜撮像装置の構成例＞
図１は、本技術の一実施形態に係る撮像装置の構成例を示すブロック図である。

図１の撮像装置１００は、人物、動物、鳥などの被写体の特定部位に焦点を合わせる領域を検出する特定部位毎の検出モードを有している。特定部位は、顔や瞳などである。被写体の特定部位毎の検出モードとしては、例えば、人物の瞳検出モード、動物の瞳検出モード、および鳥の瞳検出モードなどがある。

なお、撮像装置１００においては、人物の瞳または動物の瞳に限らず、特定部位に応じた検出モードを設けることが可能である。ユーザは、被写体や被写体の特定部位の各検出モードから、所望の検出モードを選択して、設定することができる。

図１に示されるように、撮像装置１００は、レンズ１０１、絞り１０２、撮像素子１０３、アナログ信号処理部１０４、A/D変換部１０５、およびデジタル信号処理部１０６を含むように構成される。撮像装置１００は、レンズドライバ１２１、TG（Timing Generator）１２２、ジャイロ（センサ）１２３、およびシステムコントローラ１３１を含むように構成される。

また、撮像装置１００は、表示部１４１、記憶部１４２、入力部１４３、出力部１４４、通信部１４５、操作部１４６、およびドライブ１４７を含むように構成される。

レンズ１０１は、被写体に対する焦点を調整し、被写体からの光を集光する。絞り１０２は、露出の調整を行う。

撮像素子１０３は、被写体を撮像して撮影画像を得る。すなわち、撮像素子１０３は、被写体からの光を光電変換して画像信号としてアナログ信号処理部１０４に出力する。撮像素子１０３は、このような光電変換により、静止画像を取り込むこともできるし、動画像を取り込むこともできる。

アナログ信号処理部１０４は、撮像素子１０３により得られた画像信号に対してアナログ信号処理を行う。A/D変換部１０５は、アナログ信号処理された画像信号をA/D変換し、デジタル信号である画像データを得る。

デジタル信号処理部１０６は、A/D変換部１０５において得られた画像データに対してデジタル信号処理を行う。デジタル信号処理部１０６は、デジタル信号処理として、少なくとも、画像データとして供給される動画像から被写体または被写体の特定部位の領域を検出し、焦点を合わせる領域である合焦領域を設定する処理などを行う。以下、被写体の特定部位を、単に特定部位と称する。

また、デジタル信号処理部１０６においては、被写体または特定部位の領域の検出結果に基づいて、いずれかの領域を合焦領域に設定し、合焦開始前に合焦領域に設定される予定の領域を予告する合焦予告枠や、合焦開始後に合焦領域を示す合焦枠などの表示を制御する処理なども行われる。

なお、デジタル信号処理の内容は任意であり、上述した以外の処理も行われるようにしてもよい。例えば、デジタル信号処理部１０６が、混色補正、黒レベル補正、ホワイトバランス調整、デモザイク処理、マトリックス処理、ガンマ補正、およびYC変換などをデジタル信号処理として行うようにしてもよい。また、デジタル信号処理部１０６が、デジタル信号処理として、画像データの符号化や復号に関する処理であるコーデック処理を行うようにしてもよい。

レンズドライバ１２１は、レンズ１０１および絞り１０２を駆動し、焦点距離または露出などを制御する。TG１２２は、同期信号を生成して撮像素子１０３に供給することにより撮像素子１０３を駆動し、撮像を制御する。ジャイロ１２３は、撮像装置１００の位置および姿勢を検知するセンサである。ジャイロ１２３は、撮像装置１００の位置および姿勢を示す情報をA/D変換部１０５に出力する。

システムコントローラ１３１は、例えば、CPU（Central Processing Unit）、ROM（Read Only Memory）、およびRAM（Random Access Memory）などよりなり、プログラムを実行したり、データを処理したりして撮像装置１００の各処理部の制御を行う。また、システムコントローラ１３１は、操作部１４６から供給された信号に基づいて、ユーザによる操作入力を受け、操作入力に対応する処理または制御を行う。

例えば、システムコントローラ１３１は、デジタル信号処理部１０６から供給される合焦領域を示す情報などに基づいて、焦点距離または露出などを制御することができる。

表示部１４１は、例えば、液晶ディスプレイなどにより構成され、デジタル信号処理部１０６のメモリに記憶されている画像データに対応する画像を表示する。例えば、表示部１４１は、撮像素子１０３において得られた取り込み画像や保存した撮影画像などを表示することができる。

記憶部１４２は、デジタル信号処理部１０６のメモリに記憶されている画像データを記憶する。その際、記憶部１４２は、データ量を低減させるために、デジタル信号処理部１０６により符号化された符号化データを記憶する。記憶部１４２に記憶されている符号化データは、デジタル信号処理部１０６により読み出され、復号されて、例えば、表示部１４１に表示される。

入力部１４３は、外部入力端子などの外部入力インタフェースを有し、外部入力インタフェースを介して撮像装置１００の外部から供給される各種データ（例えば画像データや符号化データ）をデジタル信号処理部１０６に出力する。

出力部１４４は、外部出力端子などの外部出力インタフェースを有し、デジタル信号処理部１０６を介して供給される各種データを、外部出力インタフェースを介して撮像装置１００の外部に出力する。

通信部１４５は、他の装置と、有線通信および無線通信の少なくとも一方である所定の通信を行い、所定の通信を介して他の装置とデータの授受を行う。例えば、通信部１４５は、デジタル信号処理部１０６から供給される各種データ（例えば画像データや符号化データ）を、所定の通信を介して他の装置に送信する。また、通信部１４５は、所定の通信を介して他の装置から各種データを受信し、受信したデータをデジタル信号処理部１０６に出力する。

操作部１４６は、例えば、キー、ボタン、またはタッチパネルなどの任意の入力デバイスにより構成される。操作部１４６には、例えば、シャッタボタンが含まれる。操作部１４６は、ユーザによる操作入力を受け、操作入力に対応する信号をシステムコントローラ１３１に出力する。

ドライブ１４７は、自身に装着された、例えば、半導体メモリなどのリムーバブル記録媒体１４８に記憶されている情報（プログラムやデータなど）を読み出す。ドライブ１４７は、リムーバブル記録媒体１４８から読み出した情報をシステムコントローラ１３１に供給する。また、ドライブ１４７は、書き込み可能なリムーバブル記録媒体１４８が装着された場合、システムコントローラ１３１を介して供給される情報（画像データや符号化データなど）を、リムーバブル記録媒体１４８に記憶させることができる。

なお、以上に説明したレンズ１０１、絞り１０２、およびレンズドライバ１２１は、撮像装置１００とは別筐体で、撮像装置１００に着脱可能な（交換可能な）交換式レンズ１５１として形成されるようにしてもよい。

＜デジタル信号処理部の構成例＞
図２は、デジタル信号処理部１０６の構成例を示すブロック図である。

デジタル信号処理部１０６は、メモリ２１１、被写体検出部２１２、被写体追尾部２１３、領域設定部２１４、表示制御部２１５、およびコーデック処理部２１６を有する。

メモリ２１１は、A/D変換部１０５から供給される画像データを記憶する。画像データは、例えば、動画像の各フレームの画像データまたは静止画像の画像データである。

被写体検出部２１２は、システムコントローラ１３１から供給されるユーザの操作入力に対応する信号に基づいて、メモリ２１１に記憶されている画像データから被写体または特定部位の領域を検出する。被写体検出部２１２は、被写体または特定部位の領域の検出結果を、領域設定部２１４および表示制御部２１５に出力する。

被写体検出部２１２は、人物検出部２１２－１、動物検出部２１２－２、および鳥検出部２１２－３から構成される。

人物検出部２１２－１は、被写体の特定部位毎の検出モードが人物の瞳検出モードに設定されている場合に、人物の顔領域を検出し、検出した顔領域の検出結果を、領域設定部２１４および表示制御部２１５に出力する。人物検出部２１２－１は、合焦開始を指示する操作がユーザにより行われた場合、顔領域の検出結果に基づいて、人物の瞳領域を検出し、瞳領域の検出結果を、領域設定部２１４および表示制御部２１５に出力する。

動物検出部２１２－２は、被写体の特定部位毎の検出モードが動物の瞳検出モードに設定されている場合に、動物の瞳領域を検出し、検出した動物の瞳領域の検出結果を、領域設定部２１４および表示制御部２１５に出力する。

動物の瞳の検出には、例えば、動物辞書を用いたディープラーニングなどの手法が用いられる。動物辞書には、正面向き用と横向き用の２種類の辞書がある。動物検出部２１２－２は、合焦開始を指示する操作がユーザにより行われた場合、フォーカス枠に応じて、動物の瞳領域を検出し、検出した動物の瞳領域の検出結果を、領域設定部２１４および表示制御部２１５に出力する。

フォーカス枠とは、ユーザがおおよその焦点合わせの位置を設定するために用いられる枠である。フォーカス枠が設定されている場合、フォーカス枠の内側から優先的に領域の検出処理が行われる。

動物の種類は、例えば、犬、猫、ライオンなどがあげられるが、それらに限定されない。なお、例えば、検出する特徴が同様の動物の種類毎にそれぞれ異なる動物検出部が設けられてもよい。

鳥検出部２１２－３は、被写体の特定部位毎の検出モードが鳥の瞳検出モードに設定されている場合に、鳥の瞳領域を検出し、検出した鳥の瞳領域の検出結果を、領域設定部２１４および表示制御部２１５に出力する。

鳥の瞳の検出には、例えば、鳥辞書を用いたディープラーニングなどの手法が用いられる。鳥検出部２１２－３は、合焦開始を指示する操作がユーザにより行われた場合、フォーカス枠に応じて、鳥の瞳領域を検出し、検出した鳥の瞳領域の検出結果を、領域設定部２１４および表示制御部２１５に出力する。

被写体追尾部２１３は、領域設定部２１４により設定された合焦領域を追尾する。例えば、追尾は、領域設定部２１４により合焦領域として設定された各領域（検出または追尾された顔領域、瞳領域、または後述する通常のAF(オートフォーカス)枠により指定される領域）に対して行われる。被写体追尾部２１３は、追尾した合焦領域を示す情報を、追尾結果として、領域設定部２１４および表示制御部２１５に出力する。

領域設定部２１４は、被写体の特定部位毎の検出モードに応じて、被写体検出部２１２により検出された被写体の特定部位の領域を合焦領域に設定する。領域設定部２１４は、被写体検出部２１２により被写体の特定部位の領域が検出されなかった場合、代わりに、被写体追尾部２１３により追尾された被写体の特定部位の追尾結果を用いる。

なお、領域設定部２１４は、被写体の特定部位の領域が検出されず、かつ、追尾できなかった場合、被写体の特定部位ごとの検出モードではなく、通常のAF(オートフォーカス)モードにおいて、合焦領域に設定される領域を合焦領域に設定する。この領域は、ユーザにより移動可能であり、通常のAFモードのAF枠（以下、通常のAF枠と称する）により指定することができる。領域設定部２１４は、設定した合焦領域の情報をシステムコントローラ１３１に供給する。

表示制御部２１５は、システムコントローラ１３１から供給されるユーザの操作入力に対応する信号に応じて、フォーカス枠を生成し、メモリ２１１からの画像に重畳して表示部１４１に表示させる。フォーカス枠の情報は、被写体検出部２１２に出力される。

また、表示制御部２１５は、システムコントローラ１３１から供給されるユーザの操作入力に対応する信号に基づいて、合焦予告枠、合焦枠、フォーカス枠、通常のAF枠などを生成する。表示制御部２１５は、生成した合焦予告枠、合焦枠、フォーカス枠、通常のAF枠をメモリ２１１からの画像に重畳して表示部１４１に表示させる。合焦予告枠、合焦枠、フォーカス枠、通常のAF枠の情報は、必要に応じて、被写体検出部２１２に出力される。

なお、表示制御部２１５は、メニュー、ボタン、またはカーソルなどのGUI（Graphical User Interface）の画像を生成して、取り込み画像や撮影画像などとともに表示する。

コーデック処理部２１６は、メモリ２１１に記憶されている動画像や静止画像の画像データの符号化や復号に関する処理を行う。

＜２．各被写体の瞳検出モード＞
＜各被写体の瞳検出モードの概要＞
図３は、各被写体の瞳検出モード設定時の表示例を示す図である。

図３においては、上から順に、撮像装置１１が有している、人物の瞳検出モード、動物の瞳検出モード、および鳥の瞳検出モードが設定されている場合に表示部１４１に表示される画面例が示されている。

図３の中央の画面Ａ１乃至画面Ａ３は、合焦開始を指示する操作がユーザにより行われる前に表示される画面である。右側の画面Ｂ１乃至画面Ｂ３は、合焦開始を指示する操作がユーザにより行われた後に表示される画面である。

人物の瞳検出モード、動物の瞳検出モード、および鳥の瞳検出モードの切り換えは、ユーザにより行われる。

人物の瞳検出モードが設定されている場合、画面Ａ１に示すように、人物の顔の領域である顔領域のうち、フォーカス枠Ｆに重なる顔領域の検出が行われ、検出された顔領域に、合焦予告枠PFが表示される。画面Ａ１の例においては、フォーカス枠Ｆに一部重なる形で合焦予告枠PFが表示されている。

この状態において合焦開始を指示する操作がユーザにより行われた場合、画面Ｂ１に示すように、顔領域を対象として瞳の領域である瞳領域の検出が行われ、検出された瞳領域が合焦領域に設定される。そして、合焦領域に、合焦枠AFが合焦予告枠PFに代えて表示され、合焦枠AFにより囲まれる合焦領域を対象として合焦が行われる。なお、詳しくは後述するが、人物の瞳検出モードにおいては、瞳領域が検出されなかった場合、検出されている顔領域が合掌領域に設定され、合掌枠が表示される。

動物の瞳検出モードが設定されている場合、画面Ａ２に示されるように、フォーカス枠Ｆの内と外を対象として、動物の瞳領域の検出が行われ、検出された瞳領域に合焦予告枠PFが表示される。なお、このとき、瞳領域の検出は、フォーカス枠Ｆ内を優先して行われる。

この状態において合焦開始を指示する操作がユーザにより行われた場合、画面Ｂ２に示すように、瞳領域が合焦領域に設定され、合焦予告枠PFに代えて、合焦枠AFが合焦領域に表示される。また、合焦枠AFにより囲まれる瞳領域を対象として合焦が行われる。なお、詳しくは後述するが、動物の瞳検出モードにおいては、一方の瞳領域が検出されなかった場合、検出されている他方の瞳領域が合掌領域に設定され、合掌枠が表示される。

鳥の瞳検出モードが設定されている場合、画面Ａ３に示されるように、フォーカス枠Ｆの内と外を対象として、鳥の瞳領域の検出が行われ、検出された瞳領域に、合焦予告枠PFが表示される。なお、瞳領域の検出は、フォーカス枠Ｆ内を優先して行われる。

この状態において合焦開始を指示する操作がユーザにより行われた場合、画面Ｂ３に示すように、瞳領域が合焦領域に設定され、合焦予告枠PFに代えて、合焦枠AFが合焦領域に表示される。また、合焦枠AFにより囲まれる瞳領域を対象として合焦が行われる。

鳥の瞳検出モードにおいては、左右の瞳領域が検出された場合、撮像装置に近い、手前の瞳領域に合焦予告枠PFが表示され、合焦領域に設定され、合焦枠AFが表示される。なお、詳しくは後述するが、鳥の瞳検出モードにおいては、瞳領域が検出されなかった場合、ユーザにより予め設定された領域が合掌領域に設定され、合掌枠が表示される。

また、例えば、合焦予告枠PFが白い枠で表示され、合焦枠AFが緑色の枠で表示されるというように、合焦枠AFは、合焦予告枠PFと異なる表示方法で表示される。

以上のように、人間の瞳検出モードが設定されている場合、合焦開始を指示する操作がユーザにより行われる前に、顔領域の検出が行われ、検出された顔領域に合焦予告枠PFが表示される。

一方、動物や鳥の瞳検出モードが設定されている場合、合焦開始を指示する操作がユーザにより行われる前に、瞳領域の検出が行われ、検出された瞳領域に合焦予告枠PFが表示される。

合焦開始を指示する操作がユーザにより行われる前に合焦予告枠が表示されることにより、ユーザが意図する位置、または、意図しない位置が検出されていることが事前にわかるため、ユーザが自動合焦を行わないことを選択することが可能である。これにより、被写体の特定部位に着目した撮像を容易に行うことができるようになる。

＜瞳検出モードに関連する設定＞
図４は、撮像装置１１の瞳検出モードに関連する設定の一部を示す図である。

図４においては、瞳検出モードの検出対象として、人物、動物、鳥、オートが設定可能であることが示されている。

人物が検出対象として設定される場合、瞳検出モードにおいては、人物の顔または瞳が検出される。動物が検出対象として設定される場合、瞳検出モードにおいては、動物の瞳が検出される。鳥が検出対象として設定される場合、瞳検出モードにおいては、鳥の瞳が検出される。

オートが検出対象として設定される場合、別途設定される優先順に被写体の瞳が検出される。例えば、人物、動物、鳥の優先順が設定されている場合には、人物の瞳が検出され、人物の瞳が検出されなければ、動物の瞳が検出され、人物および動物の瞳が検出されなければ、鳥の瞳が検出されるというように、設定されている優先順に瞳が検出される。

また、図４においては、瞳検出モードの左右瞳選択として、オート、右側の瞳、左側の瞳が設定可能であることが示されている。

オートが瞳検出モードの左右瞳選択として設定される場合、焦点を合わせる合焦対象の瞳が撮像装置１１１に任せられる。右側の瞳が瞳検出モードの左右瞳選択として設定される場合、右側の瞳が合焦対象とされる。左側の瞳が瞳検出モードの左右瞳選択として設定される場合、左側の瞳が合焦対象とされる。

これらの瞳検出モードの左右瞳選択が設定されている場合でも、ユーザが所定のボタンなどの操作を行うことで、合焦対象の瞳を一時的に切り換えることが可能である。なお、以下、ユーザが合焦対象の瞳を一時的に切り換える操作を、マニュアル指定と称する。

なお、上記の左右瞳選択は、人物の瞳検出モードの場合に実行される。動物の瞳検出モードの場合は、左右瞳優先選択が実行される。ここでの「優先」の意味は、「右側の瞳と左側の瞳を両方選べる状態であるならば、指定された瞳を合焦対象とする」ことである。

また、これらの瞳検出モードの左右瞳（優先）選択が設定されている場合でも、ユーザのマニュアル指定に応じて、合焦対象の瞳を一時的に切り換えることが可能である。なお、動物の瞳検出モードの場合、右側の瞳と左側の瞳を両方選べる状態であるならば、指定された瞳の方を合焦対象とすることができる。

以上のように、人物の瞳検出モードと動物の瞳検出モードでは、左右瞳選択に係る動作が異なっている。

以下、動物の瞳検出モードについて詳しく説明する。

＜３．動物の瞳検出モード＞
＜内部処理の概要＞
図５は、動物の瞳検出モードにおける内部処理の例を示す図である。

動物の瞳検出モードにおいては、動物の瞳（領域）の検出処理と追尾処理が並行して行われている。

図５においては、上から順に、表示部１４１に表示される表示画面、動物の瞳の検出結果、および動物の瞳の追尾結果が時間の経過に沿って示されている。各表示画面には、瞳の検出対象である動物（キツネ）が正面向きで表示され、各タイミングにおいてキツネの瞳を検出または追尾した結果に基づいて合焦領域を設定したときの合焦枠AFが表示されている。

ここで、検出OKは、検出処理により瞳が検出できていることを示し、検出NGは、被写体の動きの大きさやボケ、検出の性能不足など様々な理由のために、検出処理により瞳が検出できていないことを示す。追尾OKは、追尾処理により瞳を追尾できていることを示す。

また、検出結果または追尾結果のどちらかに示される枠Pは、そのタイミングで検出結果と追尾結果のどちらの結果に基づいて合焦領域が設定され、合焦枠AFが表示されているのかを示す。

以下、時間に沿って説明する。図５のタイミングt1において、表示画面においてキツネの左側の瞳に合焦枠AFが表示されている。タイミングt1においては、キツネの左側の瞳が検出OKかつ追尾OKである。すなわち、タイミングt1において表示される合焦枠AFは、キツネの左側の瞳の検出結果に基づいて合焦領域が設定されて表示されたものである。

タイミングt2において、表示画面においてキツネの左側の瞳に合焦枠AFが表示されている。タイミングt2においては、キツネの左側の瞳が検出NGであり、追尾OKである。すなわち、タイミングt2において表示される合焦枠AFは、キツネの左側の瞳の追尾結果に基づいて合焦領域が設定されて表示されたものである。

タイミングt3において、表示画面においてキツネの左側の瞳に合焦枠AFが表示されている。タイミングt3においては、キツネの左側の瞳が検出NGであり、追尾OKである。すなわち、タイミングt3において表示される合焦枠AFは、キツネの左側の瞳の追尾結果に基づいて合焦領域が設定されて表示されたものである。

タイミングt4において、表示画面においてキツネの左側の瞳に合焦枠AFが表示される。タイミングt4においては、キツネの左側の瞳が検出OKかつ追尾OKである。すなわち、タイミングt4において表示される合焦枠AFは、キツネの左側の瞳の検出結果に基づいて合焦領域が設定されて表示されたものである。

以上のように、動物の瞳検出モードにおいては、動物の瞳が検出OKの場合、検出結果に基づいて合焦領域が設定されて合焦枠AFが表示され、動物の瞳が検出NGで、追尾OKである場合、追尾結果に基づいて合焦領域が設定されて合焦枠AFが表示される。

すなわち、表示画面上はほとんど変わらないが、タイミングt2およびタイミングt3においては、合焦枠AFが、動物の瞳の検出結果ではなく、追尾結果に基づいて合焦領域が設定されて表示されている。なお、これらのタイミングにおいては、合焦枠AFが表示されている反対（右）側の瞳の検出精度は保証されていない。

しかしながら、合焦枠AFが、検出結果および追尾結果のどちらに基づいて表示されるかは、内部的な処理であるため、ユーザにはわからない。

＜人物の瞳検出モードの左右瞳選択の設定が適用された場合の内部処理＞
図６は、動物の瞳検出モードにおいて、人物の瞳検出モードの左右瞳選択の設定が適用された場合の内部処理の例が示されている。

図６においては、図５と同様に、上から順に、表示部１４１に表示される表示画面、動物の瞳の検出結果、および動物の瞳の追尾結果が時間の経過に沿って示されている。さらに、図６においては、追尾結果の下に、左右瞳選択の設定が追加されている。

撮像装置１１においては、上述したように、左右瞳選択として、合焦対象の瞳を予め設定することができる。また、ユーザによるマニュアル指定に応じて、撮像処理中に、合焦対象の瞳を切り換えることもできる。

図６のタイミングt11において、表示画面においてキツネの左側の瞳に合焦枠AFが表示される。タイミングt11においては、合焦対象として、左側の瞳が選択されており、キツネの左側の瞳が検出OKかつ追尾OKである。すなわち、タイミングt11において表示される合焦枠AFは、キツネの左側の瞳の検出結果に基づいて合焦領域が設定されて表示されたものである。

ここで、撮像装置１１は、ユーザによるマニュアル指定に応じて、合焦対象を右側の瞳に切り換える。

タイミングt12およびt13において、表示画面においてキツネの鼻付近に合焦枠Eが表示されている。タイミングt12およびt13においては、合焦対象が右側の瞳に切り換えられる。しかしながら、右側の瞳は検出NGかつ追尾NGである。なお、追尾が継続されている左側の瞳は追尾OKである。

キツネの左側の瞳は追尾OKであるものの、切り換えられた右側の瞳が検出も追尾もNGであるため、合焦領域は、上述したように、通常のAFモードにおける合焦領域として設定される領域に設定される。すなわち、タイミングt12およびt13において表示される合焦枠Eは、通常のAFにおいて合焦領域として設定される領域（図６においては、キツネの鼻付近に位置する領域）が合焦領域に設定され、表示されたものである。

つまり、右側の瞳に切り換えるタイミングによって、右側の瞳の検出や追尾に対応できない場合、通常AFモードの動作となり、瞳検出モードの動作が実行されなくなる。

その後、タイミングt14において、表示画面においてキツネの右側の瞳に合焦枠AFが表示される。タイミングt14においては、合焦対象として、右側の瞳が選択されており、右側の瞳の検出処理および追尾処理が復帰し、キツネの右側の瞳が検出OKかつ追尾OKである。すなわち、タイミングt14において表示される合焦枠AFは、右側の瞳の検出結果に基づいて合焦領域が設定されて表示されたものとなる。

以上のように、動物の瞳検出モードにおける追尾処理は、瞳の切り換えに対応できないタイミングが多い。また、人物の瞳検出モードの場合は、瞳検出ができない場合、検出されている顔に合焦するように設定されているが、動物の瞳検出モードにおいては、顔の検出が行われていないため、通常AFの動作となってしまう。なお、被写界深度が浅い時、鼻に一度合焦が行われると、瞳がぼけてしまい、瞳に焦点を復帰させ難くなる。

以上により、動物の瞳検出モードにおいては、合焦対象である瞳を、反対側の瞳に切り換えるタイミングが難しい。

そこで、本技術においては、動物の瞳検出モードにおいて左右瞳選択が行われた場合、左右瞳“優先”選択が実行される。

＜左右瞳優先選択における内部処理＞
図７は、本技術の動物の瞳検出モードにおける左右瞳優先選択の設定が適用された場合の内部処理の例が示されている。

図７においては、図６と同様に、上から順に、表示部１４１に表示される表示画面、動物の瞳の検出結果、動物の瞳の追尾結果、および左右瞳優先選択の設定内容が時間の経過に沿って示されている。

図７のタイミングt21において、表示画面においてキツネの左側の瞳に合焦枠AFが表示される。タイミングt21においては、合焦対象として、左側の瞳が優先選択されており、キツネの左側の瞳が検出OKかつ追尾OKである。すなわち、タイミングt21において表示される合焦枠AFは、左側の瞳の検出結果に基づいて合焦領域が設定されて表示されたものである。

ここで、撮像装置１１は、ユーザによるマニュアル指定に応じて、合焦対象を右側の瞳に切り換える。

タイミングt22およびt23において、表示画面においてキツネの左側の瞳に合焦枠AFが表示される。タイミングt22およびt23において、合焦対象は、右側の瞳に切り換えられている。しかしながら、優先選択であるので、例えば、右側の瞳が検出されていない、または、検出されていても検出精度がよくないなど、切り換え可能なタイミングではない場合、切り換える前の左側の瞳を検出および追尾した結果が用いられる。

すなわち、タイミングt22およびt23において、キツネの右側の瞳が検出NGかつ追尾NGであり、左側の瞳が検出NGであり、追尾OKである。したがって、タイミングt22およびt23において表示される合焦枠AFは、左側の瞳の追尾結果に基づいて合焦領域が設定されて表示されたものとなる。

タイミングt24において、表示画面においてキツネの右側の瞳に合焦枠AFが表示される。タイミングt24において、合焦対象は、ユーザによるマニュアル指定に応じて右側の瞳に切り換えられている。

すなわち、タイミングt24において、キツネの右側の瞳が検出OKかつ追尾OKであり、合焦対象を切り換えられるタイミングである。したがって、タイミングt24において表示される合焦枠AFは、右側の瞳の検出結果に基づいて合焦領域が設定されて表示されたものとなる。

以上のように、動物の瞳検出モードにおいては、優先選択が設定されている側、またはマニュアル指定されている側の瞳に切り換えられるタイミングである場合には、優先選択が設定されている側、または、マニュアル指定されている側の瞳が合焦に用いられる。

一方、優先選択が設定されている側、またはマニュアル指定されている側の瞳に切り換えられないタイミングである場合には、優先選択が設定されていない側、または、マニュアル指定されていない側の瞳が合焦に用いられる。

これにより、ユーザの操作を考慮しつつ、品質のよい画像を得ることができる。

＜４．撮像装置の動作＞
＜人物の瞳検出モードの撮像処理＞
図８乃至図１０は、撮像装置１００の人物の瞳検出モードの撮像処理を説明するフローチャートである。

図８乃至図１０の人物の瞳検出モードの撮像処理は、例えば、電源ボタンが操作されることにより電源がオンにされたとき開始される。被写体の特定部位毎の検出モードは、設定画面などから人物の瞳検出モードとして予め設定されている。

図８のステップＳ１１において、撮像装置１１は、画像を取得し、表示させる。具体的には、撮像素子１０３は、レンズ１０１および絞り１０２を介して集光された被写体からの光を画素単位で光電変換することにより各画素の電気信号を取得する。各画素の電気信号からなる画像信号は、アナログ信号処理部１０４およびA/D変換部１０５を介して、デジタルの画像データが生成され、デジタル信号処理部１０６のメモリ２１１に記憶される。

表示制御部２１５は、メモリ２１１に記憶されている画像データに基づく画像をライブビュー画像として表示部１４１に表示させる。

ステップＳ１２において、人物検出部２１２－１は、メモリ２１１に記憶されている画像データから顔領域を検出する。人物検出部２１２－１は、検出した顔領域の情報を領域設定部２１４および表示制御部２１５に供給する。

ステップＳ１３において、人物検出部２１２－１は、システムコントローラ１３１の制御に従って、フォーカス枠内の顔領域に対して瞳領域を検出し、検出結果（瞳領域の情報）を、領域設定部２１４および表示制御部２１５に出力する。

ステップＳ１４において、領域設定部２１４は、瞳を検出できているか否かを判定する。瞳を検出できているとステップＳ１４において判定された場合、処理は、ステップＳ１５に進む。

ステップＳ１５において、領域設定部２１４は、瞳検出結果を使用し、合焦領域を設定するための以降の処理を行う。

ステップＳ１６において、領域設定部２１４は、左右瞳選択の設定がオートであるか否かを判定する。左右瞳選択の設定がオートであるとステップＳ１６において判定された場合、処理は、ステップＳ１７に進む。

ステップＳ１７において、領域設定部２１４は、顔領域を合焦領域として設定する。ステップＳ１７の後、処理は、図９のステップＳ１８に進む。

ステップＳ１８において、被写体追尾部２１３は、領域設定部２１４により設定された合焦領域を追尾し、追尾結果を、領域設定部２１４および表示制御部２１５に出力する。ステップＳ１８における追尾処理は、合焦領域として設定された顔領域に対して行われる。

ユーザは、所定ボタンの押下、またはシャッタボタンの半押しなどの操作を行うことにより、合焦開始を指示する。なお、合焦開始の指示は、画像の撮像単位（フレーム）毎に行われる。操作部１４６は、ユーザによる操作入力を受け、操作入力に対応する信号をシステムコントローラ１３１に出力する。

ステップＳ１９において、システムコントローラ１３１は、合焦開始が指示されたか否かを判定する。合焦開始が指示されたとステップＳ１９において判定された場合、処理はステップＳ２０に進む。

ステップＳ２０において、システムコントローラ１３１は、レンズドライバ１２１を制御し、合焦領域内の手前の瞳に焦点が合うように、レンズ１０１および絞り１０２などの光学系を駆動する。すなわち、合焦領域内に左右の瞳が検出されている場合がある。この場合、人物の瞳検出モードにおいては、撮像装置１００から見て手前の瞳に焦点が合うように制御される。領域設定部２１４は、手前の瞳を判別する。

ステップＳ２１において、領域設定部２１４は、手前の瞳を判別できたか否かを判定する。手前の瞳を判別できたとステップＳ２１において判定された場合、処理はステップＳ２２に進む。

ステップＳ２２において、領域設定部２１４は、合焦領域を手前の瞳に変更する。ステップＳ２２の後、処理は、ステップＳ３５に進む。

ステップＳ２１において、手前の瞳が判別できなかったと判定された場合、処理は、ステップＳ３５に進む。すなわち、合焦領域は、顔領域のままであり、変更されない。

また、ステップＳ１９において、合焦開始が指示されていないと判定された場合、処理は、ステップＳ３６に進む。

図８に戻って、ステップＳ１６において、左右瞳選択の設定がオートではないと判定された場合、処理はステップＳ２３に進む。

ステップＳ２３において、領域設定部２１４は、ユーザにより指定された瞳が選択可能であるか否かを判定する。なお、ユーザにより指定された瞳には、上述したように、左右瞳選択により設定された瞳、およびマニュアル指定された瞳が含まれる。例えば、ユーザにより指定された瞳が検出されており、検出の精度も高い場合、ユーザにより指定された瞳が選択可能であるとステップＳ２３において判定され、処理は、ステップＳ２４に進む。

ステップＳ２４において、領域設定部２１４は、ユーザにより指定された瞳領域を合焦領域として設定する。

ステップＳ２３において、ユーザにより指定された瞳が選択可能ではないと判定された場合、処理は、ステップＳ２６に進む。

ステップＳ１４において、瞳を検出できていないと判定された場合、処理は、ステップＳ２５に進む。

ステップＳ２５において、領域設定部２１４は、顔を検出できているか否かを判定する。顔が検出できているとステップＳ２５において判定された場合、処理は、ステップＳ２６に進む。

ステップＳ２６において、領域設定部２１４は、顔領域を合焦領域として設定する。

ステップＳ２５において、顔が検出されていないと判定された場合、処理は、ステップＳ２７に進む。

ステップＳ２７において、領域設定部２１４は、合焦領域を追尾できているか否かを判定する。合焦領域を追尾できているとステップＳ２７において判定された場合、処理は、ステップＳ２８に進む。

ステップＳ２８において、領域設定部２１４は、追尾結果に基づいて合焦領域を設定する。

ステップＳ２４、ステップＳ２６、およびステップＳ２８の後、処理は、図９のステップＳ３２に進む。

一方、ステップＳ２７において、合焦領域を追尾できていないと判定された場合、処理は、図９のステップＳ２９に進む。

ステップＳ２９において、領域設定部２１４は、通常のAF枠でAFを行う設定になっているか否かを判定する。通常のAF枠でAFを行う設定になっているとステップＳ２９において判定された場合、処理は、ステップＳ３０に進む。

ステップＳ３０において、領域設定部２１４は、通常のAF枠により指定されている領域を合焦領域として設定する。

ステップＳ３１において、領域設定部２１４は、通常のAF枠で追尾を行う設定となっているか否かを判定する。通常のAF枠により指定されている領域で追尾を行う設定となっているとステップＳ３１において判定された場合、処理は、ステップＳ３２に進む。

ステップＳ３２において、被写体追尾部２１３は、合焦領域を追尾し、追尾結果を、領域設定部２１４および表示制御部２１５に出力する。ここでの追尾は、ステップＳ２４、Ｓ２６、Ｓ２８、およびＳ３０において合焦領域としてそれぞれ設定された領域（検出または追尾された瞳領域、顔領域、通常のAF枠により指定されている領域）に対して行われる。ステップＳ３２の後、処理は、ステップＳ３３に進む。

ステップＳ３１において、通常のAF枠で追尾を行う設定となっていないと判定された場合、処理は、ステップＳ３３に進む。

ステップＳ３３において、システムコントローラ１３１は、合焦開始が指示されたか否かを判定する。合焦開始が指示されたとステップＳ３３において判定された場合、処理はステップＳ３４に進む。

ステップＳ３４において、システムコントローラ１３１は、レンズドライバ１２１を制御し、合焦領域に焦点が合うように、レンズ１０１および絞り１０２などの光学系を駆動する。その後、処理は、ステップＳ３５に進む。

ステップＳ３５において、表示制御部２１５は、メモリ２１１に記憶されている画像データに基づく画像をライブビュー画像として表示部１４１に表示させる。また、表示制御部２１５は、設定された合焦領域を示す合焦枠をライブビュー画像に重畳して表示部１４１に表示させる。

ステップＳ３３において、合焦開始が指示されていないと判定された場合、処理はステップＳ３６に進む。

ステップＳ３６において、表示制御部２１５は、合焦領域に設定される予定の領域を示す合焦予告枠を生成し、ライブビュー画像に合焦予告枠を重畳して、表示部１４１に表示させる。

ステップＳ３５およびＳ３６の後、処理は、図１０のステップＳ３７に進む。

また、ステップＳ２９において、通常のAF枠でAFを行う設定となっていないと判定された場合、処理は、図１０のステップＳ３７に進む。この場合、ライブビュー画像に合焦領域を示す枠の表示は行われない。

ステップＳ３７において、システムコントローラ１３１は、操作部１４６からの操作入力に対応する信号に基づいて、シャッタボタンの全押しが行われたか否かを判定する。シャッタボタンの全押しが行われたとステップＳ３７において判定された場合、処理はステップＳ３８に進む。

ステップＳ３８において、撮像素子１０３は、レンズ１０１および絞り１０２などの光学系を介して集光された被写体からの光を画素単位で光電変換することにより画像の各画素の電気信号を取得する。画像の各画素の電気信号である画像信号は、アナログ信号処理部１０４およびA/D変換部１０５を介して、デジタルの画像データが生成され、デジタル信号処理部１０６のメモリ２１１に撮影画像データとして記憶される。

ステップＳ３９において、表示制御部２１５は、メモリ２１１に記憶されている撮影画像データに基づく画像を撮影画像として表示部１４１に表示させる。

ステップＳ４０において、コーデック処理部２１６は、メモリ２１１に記憶されている撮影画像データを符号化する。コーデック処理部２１６は、符号化後の画像データを記憶部１４２に供給する。

ステップＳ４１において、コーデック処理部２１６は、記憶部１４２に、符号化後の撮影画像データを記憶させる。

ステップＳ４２において、システムコントローラ１３１は、処理を終了するか否か、例えば、電源ボタンが操作されたか否かを判定する。

ステップＳ４２において処理を終了すると判定された場合、撮像処理は終了される。

ステップＳ４２において処理を終了しないと判定された場合、処理は、図８のステップＳ１１に戻り、それ以降の処理が繰り返される。

以上のように、人物の瞳検出モードにおいては、瞳の領域が検出できなかった場合、顔領域が、合焦領域として設定される。

＜動物の瞳検出モードの撮像処理＞
図１１乃至図１３は、撮像装置１００の動物の瞳検出モードの撮像処理を説明するフローチャートである。

図１１乃至図１３の動物の瞳検出モードの撮像処理は、例えば、電源ボタンが操作されることにより電源がオンにされたとき開始される。被写体の特定部位毎の検出モードは、設定画面などで動物の瞳検出モードが予め設定されている。図１１乃至図１３においては、猫または犬の瞳を検出する動物検出部２１２－２により動物の瞳が検出される例が説明される。

図１１のステップＳ６１において、図８のステップＳ１１の処理と同様に、画像が取得され、表示される。

ステップＳ６２において、動物検出部２１２－２は、メモリ２１１に記憶されている画像データから、動物辞書を用いて瞳領域を検出する。動物検出部２１２－２は、検出結果（検出した瞳領域の情報）を、領域設定部２１４および表示制御部２１５に供給する。

ステップＳ６３において、領域設定部２１４は、瞳領域を検出できているか否かを判定する。瞳領域を検出できているとステップＳ６３において判定された場合、処理は、ステップＳ６４に進む。

ステップＳ６４において、領域設定部２１４は、瞳検出結果を使用して、合焦領域を設定するための以降の処理を行う。

ステップＳ６５において、領域設定部２１４は、左右瞳選択の設定がオートであるか否かを判定する。左右瞳選択の設定がオートであるとステップＳ６５において判定された場合、処理は、ステップＳ６６に進む。

ステップＳ６６において、領域設定部２１４は、瞳領域を自動選択して、合焦領域に設定する。

＜オートの設定の場合の瞳領域の選択＞
図１４は、図１１のステップＳ６６における左右瞳選択がオートの設定である場合の瞳領域の選択例を示す図である。

図１４には、キツネを被写体とした画像Ｐ１乃至画像Ｐ７が示されている。画像Ｐ１乃至画像Ｐ７に写っているキツネは、顔の向き（角度）が異なる。実線の矩形は、各画像において検出された手前の瞳領域を示しており、破線の矩形は、各画像において検出された奥の瞳領域を示している。

画像Ｐ１には、左方向に顔を向けているキツネが写っている。画像Ｐ２には、左斜め前方向に顔を向けているキツネが写っている。画像Ｐ３には、ごく僅かに左斜め前方向に顔を向けているキツネが写っている。画像Ｐ４には、正面方向に顔を向けているキツネが写っている。画像Ｐ５には、ごく僅かに右斜め前方向に顔を向けているキツネが写っている。画像Ｐ６には、右斜め前方向に顔を向けているキツネが写っている。画像Ｐ７には、右方向に顔を向けているキツネが写っている。

これらの画像のうち、斜め前方向乃至横（左右）方向に顔を向けているキツネが写っている画像Ｐ１、画像Ｐ２、画像Ｐ６、および画像Ｐ７では、それぞれ、撮像装置１００から見て手前に位置する瞳領域しか検出されなかった場合を示している。

ごく僅かに斜め前方向に顔を向けているキツネが写っている画像Ｐ３と画像Ｐ５では、それぞれ２つの瞳領域が検出され、かつ、どちらか一方の瞳領域が撮像装置１００から見て手前に位置し、どちらか他方の瞳領域が奥に位置するかを判定しやすい。

正面方向に顔を向けているキツネが写っている画像Ｐ４では、左の瞳領域と右の瞳領域のうち、どちらの瞳領域が手前であるのかを判定するのが難しい。この場合、上述したように、撮像装置１００から見て手前に位置し、フォーカス枠の中心に近い瞳領域が選択され、選択された瞳領域に、合焦予告枠または合焦枠が表示される。

図１１に戻って、ステップＳ６５において、左右瞳選択の設定がオートではないと判定された場合、処理は、ステップＳ６７に進む。

ステップＳ６７において、領域設定部２１４は、ユーザにより指定された瞳が選択可能であるか否かを判定する。例えば、指定された瞳領域が検出できている、または、指定された瞳領域の検出精度が所定の閾値よりも高い場合など、マニュアル指定された瞳が選択可能であるとステップＳ６７において判定され、処理は、ステップＳ６８に進む。

ステップＳ６８において、領域設定部２１４は、ユーザにより指定された一方の瞳領域を合焦領域として設定する。

ステップＳ６７において、ユーザにより指定された一方の瞳領域が選択可能ではないと判定された場合、処理は、ステップＳ６９に進む。

ステップＳ６９において、領域設定部２１４は、もう一方の瞳を合焦領域として設定する。

ステップＳ６３において、瞳領域を検出できていないと判定された場合、処理は、ステップＳ７０に進む。

ステップＳ７０において、領域設定部２１４は、合焦領域を追尾できているか否かを判定する。合焦領域を追尾できているとステップＳ７０において判定された場合、処理は、ステップＳ７１に進む。

ステップＳ７１において、領域設定部２１４は、追尾結果に基づいて合焦領域を設定する。

ステップＳ６６、Ｓ６８、Ｓ６９、およびＳ７１の後、処理は、図１２のステップＳ７５に進む。

ステップＳ７０において、合焦領域を追尾できていないと判定された場合、処理は、図１２のステップＳ７２に進む。

ステップＳ７２において、領域設定部２１４は、通常のAF枠でAFを行う設定になっているか否かを判定する。通常のAF枠でAFを行う設定になっているとステップＳ７２において判定された場合、処理は、ステップＳ７３に進む。

ステップＳ７３において、領域設定部２１４は、通常のAF枠により指定されている領域を合焦領域として設定する。

ステップＳ７４において、領域設定部２１４は、通常のAF枠で追尾を行う設定になっているか否かを判定する。通常のAF枠で追尾を行う設定になっているとステップＳ７４において判定された場合、処理は、ステップＳ７５に進む。

ステップＳ７５において、被写体追尾部２１３は、合焦領域を追尾する。ここでの追尾は、ステップＳ６６、Ｓ６８、Ｓ６９、Ｓ７１、およびＳ７３において合焦領域としてそれぞれ設定された領域（検出または追尾された瞳領域、顔領域、通常のAF枠により指定されている領域）に対して行われる。その後、処理は、ステップＳ７６に進む。

ステップＳ７４において、通常のAF枠で追尾を行う設定になっていないと判定された場合、ステップＳ７５はスキップされ、処理は、ステップＳ７６に進む。

ステップＳ７２において通常のAF枠でAFを行う設定となっていないと判定された場合、処理は、図１３のステップＳ８０に進む。

なお、図１２のステップＳ７６乃至図１３のステップＳ８５は、図９のステップＳ３３乃至図１０のステップＳ４２と基本的に同様の処理であるので、その説明は繰り返しになるので、省略する。

以上のように、動物の瞳検出モードにおいては、選択されている一方の瞳領域が検出できなかった場合、もう一方の瞳領域が、合焦領域として設定される。

＜鳥の瞳検出モードの撮像処理＞
図１５は、撮像装置１００の鳥の瞳検出モードの撮像処理を説明するフローチャートである。

図１５の鳥の瞳検出モードの撮像処理は、例えば、電源ボタンが操作されることにより電源がオンにされたとき開始される。被写体の特定部位毎の検出モードは、設定画面などで鳥の瞳検出モードが予め設定されている。図１５においては、鳥の瞳を検出する鳥検出部２１２－３により鳥の瞳が検出される例が説明される。

図１５のステップＳ１０１において、図８のステップＳ１１の処理と同様に、画像が取得され、表示される。

ステップＳ１０２において、鳥検出部２１２－３は、メモリ２１１に記憶されている画像データから、鳥辞書を用いて瞳領域を検出する。鳥検出部２１２－３は、検出した検出結果を、領域設定部２１４および表示制御部２１５に供給する。

ステップＳ１０３において、領域設定部２１４は、瞳領域を検出できているか否かを判定する。瞳領域を検出できているとステップＳ１０３において判定された場合、処理は、ステップＳ１０４に進む。

ステップＳ１０４において、領域設定部２１４は、瞳検出結果を使用して、合焦領域を設定するための以降の処理を行う。

ステップＳ１０５において、領域設定部２１４は、瞳領域を自動選択して、合焦領域に設定する。

ステップＳ１０３において、瞳領域を検出できていないと判定された場合、処理は、ステップＳ１０６に進む。

ステップＳ１０６において、領域設定部２１４は、合焦領域を追尾できているか否かを判定する。合焦領域を追尾できているとステップＳ１０６において判定された場合、処理は、ステップＳ１０７に進む。

ステップＳ１０７において、領域設定部２１４は、追尾結果に基づいて合焦領域を設定する。

ステップＳ１０５およびＳ１０７の後、処理は、図１６のステップＳ１１１に進む。

ステップＳ１０６において、合焦領域を追尾できていないと判定された場合、処理は、図１６のステップＳ１０８に進む。

ステップＳ１０８において、領域設定部２１４は、通常のAF枠でAFを行う設定になっているか否かを判定する。通常のAF枠でAFを行う設定になっているとステップＳ１０８において判定された場合、処理は、ステップＳ１０９に進む。

ステップＳ１０９において、領域設定部２１４は、通常のAF枠により指定されている領域を合焦領域として設定する。

ステップＳ１１０において、領域設定部２１４は、通常のAF枠で追尾を行う設定になっているか否かを判定する。通常のAF枠で追尾を行う設定になっているとステップＳ１１０において判定された場合、処理は、ステップＳ１１１に進む。

ステップＳ１１１において、被写体追尾部２１３は、合焦領域を追尾する。ここでの追尾は、ステップＳ１０５、Ｓ１０７、およびＳ１０９において合焦領域としてそれぞれ設定された領域（検出または追尾された瞳領域、顔領域、通常のAF枠により指定されている領域）に対して行われる。その後、処理は、ステップＳ１１２に進む。

ステップＳ１１０において、通常のAF枠で追尾を行う設定になっていないと判定された場合、ステップＳ１１１をスキップし、処理は、ステップＳ１１２に進む。

ステップＳ１０８において通常のAF枠でAFを行う設定となっていないと判定された場合、処理は、図１７のステップＳ１１６に進む。

なお、図１６のステップＳ１１２乃至図１７のステップＳ１２１は、図９のステップＳ３３乃至図１０のステップＳ４２と基本的に同様の処理であるので、その説明は繰り返しになるので、省略する。

以上のように、鳥の瞳検出モードにおいては、瞳の領域が検出できなかった場合、通常のAFモードにおいて合焦領域に設定される、すなわち、通常のAF枠により指定される領域が、合焦領域として設定される。

＜５．その他＞
＜検出対象切り換え設定画面＞
図１８は、検出対象切換設定画面の例を示す図である。

検出対象切換設定画面は、被写体の特定部位の検出モードのうち、所定の操作により切り換え可能な検出モードを設定する画面である。

図１８においては、左から順に、人物のアイコンと、人物アイコンの下のチェックボックス、動物のアイコンと、動物のアイコンの下のチェックボックス、および鳥のアイコンと、鳥のアイコンの下のチェックボックスが表示されている。

検出対象切換画面においては、カーソルＣを移動させることにより、各被写体のアイコンを選択することができる。そして、選択された被写体のアイコンの下にあるチェックボックスへのチェックの有無を切り替えることができる。

そして、画面の右下に設けられている実行ボタンが押下されると、チェックが入力されている検出モードが、ユーザの操作に応じて選択可能な検出モードに設定される。

また、ユーザが必要としない被写体の検出モードは、チェックボックスのチェックを外すことにより、無効にすることができる。すなわち、チェックボックスのチェックが外された被写体の検出モードは、選択対象から外すことができる。これにより、ユーザの嗜好に応じた使い分けを行うことができる。

すなわち、人物のアイコンの下のチェックボックスにチェックが入力されている場合、人物の瞳検出モードが有効になり、選択可能な状態になる。

動物のアイコンの下のチェックボックスにチェックが入力されている場合、動物の瞳を検出する動物の瞳検出モードが有効になり、選択可能な状態になる。

鳥のアイコンの下のチェックボックスにチェックが入力されている場合、撮像装置１１の検出モードを、鳥の瞳を検出する鳥の瞳検出モードが有効になり、選択可能な状態になる。

なお、検出対象切換画面において、動物の瞳や鳥の瞳の検出の設定に限らず、魚、爬虫類、両生類などあらゆる生物の瞳、顔、顔の一部、首、頭部などの被写体の特定部位または全身（被写体）などの検出を設定できるようにしてもよい。

また、検出対象の被写体は、生物に限らず、車両のヘッドライト、フロントエンブレム、フロントガラス、ハンドル、運転手、または運転席、あるいは、バイクのヘッドライトまたはヘルメットなど、被写体の特定部位などの検出を設定できるようにしてもよい。

＜検出対象が切り換えられた場合の表示画面＞
図１８においては、人物のアイコンの下のチェックボックス、動物のアイコンの下のチェックボックス、および鳥のアイコンの下のチェックボックスにチェックが入っている。したがって、図１９に示されるように、撮像装置１１の検出モードを、ユーザの操作に応じて、人物の瞳検出モード、動物の瞳検出モード、および鳥の瞳検出モードのいずれかに切り換えることができる。

図１９は、検出対象が切り換えられた場合の表示画面の例を示す図である。

図１９において、左側には、人物の瞳検出モードに切り換えられた場合の表示画面Mode_Hが示されている。中央には、動物の瞳検出モードに切り換えられた場合の表示画面Mode_Aが示されている。右側には、鳥の瞳検出モードに切り換えられた場合の表示画面Mode_Bが示されている。なお、各表示画面には、人物、動物、鳥が表示されている。

表示画面Mode_Hにおいては、合焦開始が指示される前に表示される合焦予告枠PFが、検出対象となる人物の顔の周りに表示されている。

表示画面Mode_Aにおいては、合焦開始が指示される前に表示される合焦予告枠PFが、検出対象となる動物の瞳の周りに表示されている。

表示画面Mode_Bにおいては、検出対象が鳥であり、合焦開始が指示される前に表示される合焦予告枠PFが、検出対象となる鳥の瞳の周りに表示されている。

撮像装置１１において、検出モードが人物の瞳検出モードであり、表示画面Mode_Hが表示されている場合に、ユーザの所定のボタンの操作が行われると、検出モードが動物の瞳検出モードに切り換えられ、表示画面Mode_Hが表示画面Mode_Aに変わる。

撮像装置１１において、検出モードが動物の瞳検出モードであり、表示画面Mode_Aが表示されている場合に、ユーザの所定のボタンの操作が行われると、検出モードが鳥の瞳検出モードに切り換えられ、表示画面Mode_Aが表示画面Mode_Bに変わる。

撮像装置１１において、検出モードが鳥の瞳検出モードであり、表示画面Mode_Bが表示されている場合に、ユーザの所定のボタンの操作が行われると、検出モードが人物の瞳検出モードに切り換えられ、表示画面Mode_Bが表示画面Mode_Hに変わる。

＜被写体の種類の階層構造例＞
なお、上記説明においては、人物の瞳検出モード、動物の瞳検出モード、および鳥の検出モードを同じ階層で管理されるようにしたが、例えば、鳥の検出モードは、動物の瞳検出モードの下の階層で管理されるようにしてもよい。

図２０は、被写体の種類の階層構造を示す図である。

図２０の例においては、人物と動物とは同じ階層で管理される。犬や猫、小動物、鳥は、動物の下の階層において管理される。

このように、各被写体の種類を、階層構造で管理することも可能である。

＜各検出モードの次善の手段＞
なお、上述した各処理において、瞳領域が検出されなかった場合、顔領域で合焦処理を実行したり、もう一方の瞳領域で合焦処理を実行したり、通常のAF枠などの他の条件で合焦処理を実行したりするように説明した。

瞳領域が検出されなかった場合の動作は、上記処理に限定されず、ユーザによる設定などで使い分けられるようにしてもよい。その際、検出されなかった対象被写体や特定部位に応じて、検出されなかった場合の動作が「次善の手段」に変更される。

例えば、被写体の種類やユーザの好みによって、ユーザが焦点を合わせたい場所は異なる。また、被写体によって、認識できる部位が異なることもある。

具体的には、人物においては、「顔」、「右側の瞳」、「左側の瞳」が認識可能とされる。動物においては、「右側の瞳」、「左側の瞳」、「鼻」（内部的）が認識可能とされる。鳥においては、「瞳（手前の瞳）」が認識可能とされる。クルマにおいては、「ヘッドライト」、「フロントウィンドウ」、「ドライバ」が認識可能とされる。

また、瞳は、「右側の瞳」と「左側の瞳」が存在する。焦点を「右側の瞳」に合わせるように撮像装置１１に指示していても、「右側の瞳」が見えない（検出できない）場合、被写体の種類によって、「次善」の手段が異なる。

例えば、被写体が動物であり、焦点を「右側の瞳」に合わせるように撮像装置１１に指示した場合に、「右側の瞳」が見えないとき、次善の手段として、「顔」にピントを合わせようとしても、高い「鼻」に焦点が合ってしまうことになる。ただし、「鼻」に焦点を合わせるよりも、見えている「左側の瞳」に合わせるほうが次善の手段として好ましい。

被写体が人物である場合、焦点を「右側の瞳」に合わせるように撮像装置１１に指示していても、「右側の瞳」が見えないとき、人物が、動物ほど「鼻」が高くないために、「顔」に焦点を合わせる方が、ユーザは自然に感じる。また、被写体が人物である場合、動物のように、見えている「瞳」に焦点を合わせた場合、ユーザは、撮像装置１１が、ユーザの指示を無視しているように感じてしまう。したがって、被写体が人物である場合、「顔」が次善の手段として好ましい。

また、クルマなど、被写体の構成部位がそもそもクルマ毎に異なるような被写体も存在する。

鳥のように、「手前の瞳」しか認識できないなどの、認識手段の制約や特性の差異がある場合も考えられる。この場合、ユーザにより予め設定されている領域が次善の手段となる。

以上のように、被写体に応じて「次善の手段」を個別に制御することで、ユーザの意図により寄り添って自動的に焦点を合わせることができる。また、異なった特性に応じて、ユーザに提供できる「次善の手段」を自動的に選択することができる。

以上、本技術においては、ユーザの操作に応じて、被写体の第１の特定部位の領域が、焦点を合わせる合焦領域として設定される。また、第１の特定部位の領域が検出されなかった場合、第１の特定部位と同じ種類の特定部位である、被写体の第２の特定部位の領域が合焦領域として設定される。

また、本技術においては、第１の特定部位の領域が検出されなかった場合、被写体の種類に応じた領域が合焦領域として設定される。

したがって、ユーザの意図により寄り添って自動的に焦点を合わせることができる。

なお、上記説明においては、犬や猫などの動物の瞳を検出する処理について説明したが、本技術は、鳥、魚、爬虫類、両生類などあらゆる生物の瞳、顔、顔の一部、首、頭部などの被写体の特定部位または全身（被写体）に適用することができる。また、本技術は、これらの被写体の特定部位や被写体の組み合わせにも適用することができる。

さらに、本技術は、生物に限らず、車両のヘッドライト、フロントエンブレム、フロントガラス、または運転席、あるいは、バイクのヘッドライトまたはヘルメットなど、被写体の特定部位にも適用することができる。

これらの場合、被写体の特定部位を検出するための検出モードが予め設定されて用いられる。このようにすることで、複数ある検出結果や検出方法のうち、どの検出結果や検出方法を優先するか、あるいは、複数ある被写体の中で、どの被写体を優先するかなどのユーザの意図を撮像装置に伝えることができる。

なお、人物の場合と異なり、毛が長い動物などの場合、瞳に焦点を合わせようとすると、瞳ではなく、瞳にかかる毛に焦点が合ってしまうことがある。この場合、焦点の位置を後ろに調整したり、毛に合焦しやすい被写体であることを撮像装置に予め設定し、設定に基づいて撮像装置が合焦したりすることで、ユーザの意図により即した撮像結果を得ることができる。

なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、ソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図１に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブル記録媒体１４８により構成される。このリムーバブル記録媒体１４８には、磁気ディスク（フレキシブルディスクを含む）や光ディスク（CD-ROMやDVDを含む）が含まれる。さらに、光磁気ディスク（MD（Mini Disc）を含む）や半導体メモリなども含まれる。

この場合、プログラムは、リムーバブル記録媒体１４８をドライブ１４７に装着することにより、記憶部１４２にインストールすることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。この場合、プログラムは、通信部１４５を介して受信し、記憶部１４２にインストールすることができる。

その他、このプログラムは、記憶部１４２やシステムコントローラ１３１内のROM（Read Only Memory）などに、あらかじめインストールしておくこともできる。

コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたときなどの必要なタイミングで処理が行われるプログラムであってもよい。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）など）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
（１）
被写体の第１の特定部位を含む第１の領域を、焦点を合わせる合焦領域として設定する設定部を備え、
前記設定部は、前記第１の特定部位が検出されなかった場合、前記第１の特定部位と同じ種類の特定部位である、前記被写体の第２の特定部位を含む第２の領域を前記合焦領域として設定する
撮像装置。
（２）
前記第１の特定部位は、前記被写体の左右の瞳のうち一方の瞳であり、前記第２の特定部位は、他方の瞳である
前記（１）に記載の撮像装置。
（３）
ユーザにより前記第１の特定部位を前記被写体の左の瞳または右の瞳に設定することが可能である
前記（２）に記載の撮像装置。
（４）
前記被写体は、動物である
前記（１）乃至（３）のいずれかに記載の撮像装置。
（５）
前記設定部は、前記第１の特定部位が検出された場合でも、前記第１の特定部位の検出精度が所定の閾値より低いとき、前記第２の領域を前記合焦領域として設定する
前記（１）乃至（４）のいずれかに記載の撮像装置。
（６）
前記設定部は、前記第１の特定部位が検出されなかった場合、前記被写体の種類に応じた領域を前記合焦領域として設定する
前記（１）に記載の撮像装置。
（７）
前記設定部は、前記第１の特定部位が検出されなかった場合、前記被写体の種類に応じて、前記第２の領域、または、前記第１の特定部位を含み、前記第１の特定部位よりも大きい前記被写体の第３の特定部位を含む第３の領域を前記合焦領域として設定する
前記（６）に記載の撮像装置。
（８）
前記第１の特定部位は、左右の瞳のうち一方の瞳であり、および前記第２の特定部位は、他方の瞳であり、前記第３の特定部位は、顔である
前記（７）に記載の撮像装置。
（９）
前記設定部は、前記第１の特定部位が検出されなかった場合、前記被写体の種類に応じて、前記第２の領域、前記第１の特定部位を含み、前記第１の特定部位よりも大きい前記被写体の第３の特定部位を含む第３の領域、または、ユーザの操作により指定された第４の領域を前記合焦領域に設定する
前記（６）に記載の撮像装置。
（１０）
前記被写体の種類は、人、動物、または鳥である
前記（６）乃至（９）のいずれかに記載の撮像装置。
（１１）
検出対象となる前記被写体の種類は、予め設定可能である
前記（１）乃至（１０）のいずれかに記載の撮像装置。
（１２）
前記被写体の種類に応じた辞書を用いて、少なくとも前記第１の領域を検出する領域検出部をさらに備える
前記（１）乃至（１１）のいずれかに記載の撮像装置。
（１３）
少なくとも前記第１の領域を追尾する追尾部をさらに備え、
前記設定部は、前記第１の領域が追尾できなかった場合、前記第２の領域を前記合焦領域として設定する
前記（１）乃至（１２）のいずれかに記載の撮像装置。
（１４）
画像の撮像単位で、合焦の開始を指示する合焦指示部画像の撮像単位で、合焦の開始を指示する合焦指示部と、
前記合焦の開始が指示された場合、前記合焦領域を示す情報の表示を制御する表示制御部と
をさらに備える前記（１）乃至（１３）のいずれかに記載の撮像装置。
（１５）
撮像を指示する撮像指示部と、
前記撮像が指示された場合、前記設定部により設定された前記合焦領域に焦点を合わせて前記撮像を行うように、撮像部を制御する合焦制御部と
をさらに備える前記（１）乃至（１４）のいずれかに記載の撮像装置。
（１６）
撮像装置が、
被写体の第１の特定部位を含む第１の領域を、焦点を合わせる合焦領域として設定し、
前記第１の特定部位が検出されなかった場合、前記第１の特定部位と同じ種類の特定部位である、前記被写体の第２の特定部位を含む第２の領域を前記合焦領域として設定する
撮像方法。
（１７）
被写体の第１の特定部位を含む第１の領域を、焦点を合わせる合焦領域として設定する設定部として、コンピュータを機能させ、
前記設定部は、前記第１の特定部位が検出されなかった場合、前記第１の特定部位と同じ種類の特定部位である、前記被写体の第２の特定部位を含む第２の領域を前記合焦領域として設定する
プログラム。

１００ 撮像装置， １０１ レンズ， １０２ 絞り， １０３ 撮像素子， １０４ アナログ信号処理部， １０５ A/D変換部， １０６ デジタル信号処理部， １２１ レンズドライバ， １３１ システムコントローラ， １４１ 表示部， １４２ 記憶部， １４６ 操作部， ２１１ メモリ， ２１２ 被写体検出部， ２１２－１ 人物検出部， ２１２－２ 動物検出部，２１２－３ 鳥検出部， ２１３ 被写体追尾部， ２１４ 領域設定部， ２１５ 表示制御部， ２１６ コーデック処理部

Claims (14)

1. 被写体の左右の瞳のうち一方の瞳を含む第１の瞳領域を、焦点を合わせる合焦領域として設定する設定部を備え、
   前記設定部は、前記一方の瞳の検出結果に応じて前記第１の瞳領域を合焦領域として選択できない場合、前記被写体の種類に応じた第１のモードでは、前記左右の瞳のうち他方の瞳を含む第２の瞳領域を前記合焦領域として設定する
   撮像装置。
2. 前記設定部は、前記被写体の種類に応じた第２のモードでは、前記一方の瞳の検出結果に応じて前記第１の瞳領域を合焦領域として選択できない場合、顔領域を前記合焦領域として設定する
   請求項１に記載の撮像装置。
3. 前記設定部は、前記被写体の種類に応じた第３のモードでは、前記一方の瞳の検出結果に応じて前記第１の瞳領域を合焦領域として選択できない場合、合焦枠の領域を前記合焦領域として設定する
   請求項２に記載の撮像装置。
4. ユーザの操作により前記第１のモード、前記第２のモード、及び、前記第３のモードの切り換えが可能である
   請求項３に記載の撮像装置。
5. 前記第１のモードは、前記被写体の種類が動物のモードであり、
   前記第２のモードは、前記被写体の種類が人物のモードであり、
   前記第３のモードは、前記被写体の種類が鳥のモードである
   請求項３に記載の撮像装置。
6. 前記設定部は、前記第１のモードにおいて前記一方の瞳が検出された場合でも、その検出精度が所定の閾値より低いとき、前記第２の瞳領域を前記合焦領域として設定する
   請求項１に記載の撮像装置。
7. 前記設定部は、前記第１のモードでは、前記他方の瞳の検出結果に応じて前記第２の瞳領域を合焦領域として選択できない場合、合焦枠の領域を前記合焦領域として設定する
   請求項１に記載の撮像装置。
8. 前記設定部は、前記第２のモードでは、先に前記顔領域を検出し、検出した前記顔領域に対して前記第１の瞳領域を検出する
   請求項２に記載の撮像装置。
9. 少なくとも前記第１の瞳領域を追尾する追尾部をさらに備え、
   前記設定部は、前記第２の瞳領域を合焦領域とするユーザの操作がされたが前記第２の瞳領域を合焦領域として選択できない場合、追尾結果に基づく前記第１の瞳領域を前記合焦領域として設定する
   請求項１に記載の撮像装置。
10. 前記設定部は、前記第１の瞳領域を追尾中に前記第２の瞳領域が選択できない状態から選択できる状態になった場合、前記合焦領域を前記第１の瞳領域から前記第２の瞳領域に変更する
    請求項９に記載の撮像装置。
11. 画像の撮像単位で、合焦の開始を指示する合焦指示部と、
    前記合焦の開始が指示された場合、前記合焦領域を示す情報の表示を制御する表示制御部と
    をさらに備える
    請求項１に記載の撮像装置。
12. 撮像を指示する撮像指示部と、
    前記撮像が指示された場合、前記設定部により設定された前記合焦領域に焦点を合わせて前記撮像を行うように、撮像部を制御する合焦制御部と
    をさらに備える
    請求項１に記載の撮像装置。
13. 撮像装置が、
    被写体の左右の瞳のうち一方の瞳を含む第１の瞳領域を、焦点を合わせる合焦領域として設定することと、
    前記一方の瞳の検出結果に応じて前記第１の瞳領域を合焦領域として選択できない場合、前記被写体の種類に応じた第１のモードでは、前記左右の瞳のうち他方の瞳を含む第２の瞳領域を前記合焦領域として設定することと
    を含む撮像方法。
14. コンピュータに、
    被写体の左右の瞳のうち一方の瞳を含む第１の瞳領域を、焦点を合わせる合焦領域として設定することと、
    前記一方の瞳の検出結果に応じて前記第１の瞳領域を合焦領域として選択できない場合、前記被写体の種類に応じた第１のモードでは、前記左右の瞳のうち他方の瞳を含む第２の瞳領域を前記合焦領域として設定することと
    を含む処理を実行させるためのプログラム。