JP7791164B2 - 撮像装置及び情報処理方法 - Google Patents

Description

本開示の技術は、撮像装置、情報処理方法、及びプログラムに関する。

特開２０１０－２２６４９６号公報には、撮像範囲中の被写体の光学像からスルー画データを生成する撮像部、撮像部の合焦位置を自動調整するオートフォーカス部、スルー画データ中の合焦位置を含む領域Ｒ１を特定する合焦領域特定部、領域Ｒ１に対応するスルー画データ中の子画面データを拡大する画像拡大部、子画面の配置を合焦領域に重ならないように設定する合成領域設定部、子画面に子画面データを合成する画像合成部、および子画面データが合成されたスルー画データを出力する画像出力部と、を備えた撮影装置が開示されている。

特開２０１６－００４１６３号公報には、撮像画像内の被写体の奥行き情報を取得する奥行き情報取得部と、前記撮像画像又は前記撮像画像に対応する画像と前記奥行き情報から得られる合焦位置を指定するための情報とを重畳して表示する処理を行い、合焦位置と被写体位置との関係に応じて前記合焦位置を指定するための情報の表示状態を変化させる表示処理部と、を備える制御装置が開示されている。

特開２０１９－１６９７６９号公報には、被写体を撮像する撮像部と、被写体の距離分布に関連する情報をマップデータとして取得する距離マップ取得部を備える画像処理装置が開示されている。距離マップ取得部は、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式や瞳分割型撮像素子を用いた撮像面位相差検出方式等により、距離マップデータまたは撮像画像に関連する像ずれ量もしくはデフォーカス量のマップデータを取得する。画像処理部は、撮像画像の低周波数成分を抑圧したテクスチャ画像のデータを生成し、テクスチャ画像のデータと、距離マップ取得部により取得されたマップデータを合成して被写体の距離分布を表現した画像データを生成する。

本開示の技術に係る一つの実施形態は、ユーザによる窓領域の設定操作が不要で、かつ合焦領域の視認性を高めることができる撮像装置、情報処理方法、及びプログラムを提供する。

本開示の撮像装置は、イメージセンサ及びプロセッサを備える撮像装置であって、プロセッサは、イメージセンサにより得られた撮像データに基づいて、撮像エリア内における合焦領域を検出し、イメージセンサにより得られた撮像データに基づいて動画像データを生成し、動画像データに関連する情報を表す情報画像データを生成し、動画像データ、及び動画像データが表す画像内における窓領域に関連付けられた情報画像データを出力し、合焦領域に応じて窓領域の位置を制御する。

プロセッサは、動画像データ及び情報画像データを表示先に出力することが好ましい。

プロセッサは、窓領域に情報画像データを配置して、動画像データと情報画像データとを合成することにより生成した合成動画像データを出力することが好ましい。

プロセッサは、合焦領域に重ならない領域に窓領域の位置を設定することが好ましい。

プロセッサは、被写界深度内の一部の範囲を合焦判定範囲として合焦領域を検出することが好ましい。

絞りを備え、プロセッサは、絞りの絞り値に応じて合焦判定範囲を設定することが好ましい。

プロセッサは、動画像データが表す画像内の一定割合以上の領域が合焦領域である場合に、被写界深度内の一部の範囲を合焦判定範囲として、再度合焦領域を検出することが好ましい。

プロセッサは、撮像データに基づいて被写体の距離を検出し、検出した被写体の距離の変化方向に応じて窓領域の状態を制御することが好ましい。

プロセッサは、合焦領域内に存在する少なくとも１つの被写体が遠ざかる方向に移動して非合焦状態になることにより合焦領域が変化した場合に、窓領域の位置を一定時間変更しないことが好ましい。

プロセッサは、合焦領域内に存在する少なくとも１つの被写体が近づく方向に移動して非合焦状態になることにより合焦領域が変化した場合に、窓領域を一定時間消去するか、若しくは一定時間透過率を上げることが好ましい。

プロセッサは、合焦領域内に存在しない少なくとも１つの被写体が近づく方向に移動して合焦状態になることにより合焦領域が変化した場合に、窓領域の位置を一定時間変更しないことが好ましい。

プロセッサは、動画像データが表す画像の外周に沿って窓領域の位置を変更することが好ましい。

プロセッサは、動画像データが表す画像内にアイコンが表示されている場合に、アイコンを避ける経路に沿って窓領域を移動させるか、若しくは窓領域が移動する経路外にアイコンを移動させることが好ましい。

プロセッサは、窓領域が、動画像データが表す画像の一辺に沿って延伸した形状である場合に、窓領域の位置の変更方向を、窓領域の延伸方向と交差する方向に制限することが好ましい。

プロセッサは、特定の操作が行われている間には、窓領域の位置を変更しないことが好ましい。

情報画像データは、動画像データに補正を施したデータ、輝度を表すヒストグラム、又は輝度を表す波形であることが好ましい。

プロセッサは、情報画像データがピーキング画像データである場合には、窓領域の位置を、合焦領域に重なる位置に設定することが好ましい。

プロセッサは、合焦領域の大きさに応じて窓領域の大きさを変更することが好ましい。

動画像データが表す画像内の一定割合以上の領域が合焦領域であって、合焦領域に重ならない領域に窓領域を設定することができない場合に、窓領域を、特定の位置に設定し、透過率を上げた状態とすることが好ましい。

イメージセンサは、複数の位相差画素を備え、プロセッサは、撮像データのうち、位相差画素から得られた撮像データに基づいて合焦領域を検出することが好ましい。

位相差画素は、画素の全領域によって光電変換が行われた非位相差画像データと、画素の一部の領域によって光電変換が行われた位相差画像データとを選択的に出力可能であり、プロセッサは、位相差画素が位相差画像データを出力した場合における撮像データに基づいて合焦領域を検出することが好ましい。

本開示の情報処理方法は、イメージセンサにより得られた撮像データに基づいて、撮像エリア内における合焦領域を検出すること、イメージセンサにより得られた撮像データに基づいて動画像データを生成すること、動画像データに関連する情報を表す情報画像データを生成すること、動画像データ、及び動画像データが表す画像内における窓領域に関連付けられた情報画像データを出力すること、合焦領域に応じて窓領域の位置を制御すること、を含む。

本開示のプログラムは、イメージセンサにより得られた撮像データに基づいて、撮像エリア内における合焦領域を検出すること、イメージセンサにより得られた撮像データに基づいて動画像データを生成すること、動画像データに関連する情報を表す情報画像データを生成すること、動画像データ、及び動画像データが表す画像内における窓領域に関連付けられた情報画像データを出力すること、合焦領域に応じて窓領域の位置を制御することを含む処理をコンピュータに実行させる。

撮像装置の全体の構成の一例を示す概略構成図である。 撮像装置の光学系及び電気系のハードウェア構成の一例を示す概略構成図である。 光電変換素子の構成の一例を示す概略構成図である。 プロセッサの機能の一例を示すブロック図である。 撮像装置による撮像エリアを上空から見た俯瞰図である。 動画像データの一例を示す図である。 情報画像データ生成処理の一例を説明する概念図である。 データ出力処理の一例を説明する概念図である。 窓領域位置制御処理の一例を説明する概念図である。 ＰｉｎＰ表示処理の流れの一例を示すフローチャートである。 第１変形例に係るプロセッサの機能の一例を示すブロック図である。 被写界深度と合焦判定範囲との関係一例を示す概念図である。 第１変形例に係る合焦領域検出処理の一例を説明する概念図である。 Ｆ値と合焦判定範囲との関係の一例を示す図である。 第１変形例に係る合焦領域検出処理の流れの一例を示すフローチャートである。 第２変形例に係る窓領域位置制御処理の一例を説明する概念図である。 第２変形例に係る窓領域位置制御処理の流れの一例を示すフローチャートである。 第３変形例に係る窓領域位置制御処理の一例を説明する概念図である。 第３変形例に係る窓領域位置制御処理の流れの一例を示すフローチャートである。 第４変形例に係る窓領域位置制御処理の一例を説明する概念図である。 第４変形例に係る窓領域位置制御処理の流れの一例を示すフローチャートである。 第５変形例に係る窓領域位置制御処理の一例を説明する概念図である。 第６変形例に係る窓領域位置制御処理の一例を説明する概念図である。 第６変形例に係る窓領域位置制御処理の他の例を説明する概念図である。 第７変形例に係る窓領域位置制御処理の一例を説明する概念図である。 第８変形例に係る窓領域位置制御処理の流れの一例を示すフローチャートである。 第９変形例に係る窓領域位置制御処理の一例を説明する概念図である。 第１０変形例に係る窓領域位置制御処理の一例を説明する概念図である。

以下、添付図面に従って本開示の技術に係る撮像装置、情報処理方法、及びプログラムの一例について説明する。

先ず、以下の説明で使用される文言について説明する。

ＣＰＵとは、“Central Processing Unit”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＴＰＵとは、“Tensor processing unit”の略称を指す。ＮＶＭとは、“Non-volatile memory”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＩＣとは、“Integrated Circuit”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。Ｉ／Ｆとは、“Interface”の略称を指す。ＵＩとは、“User Interface”の略称を指す。ｆｐｓとは、“frame per second”の略称を指す。ＭＦとは、“Manual Focus”の略称を指す。ＡＦとは、“Auto Focus”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。Ａ／Ｄとは、“Analog/Digital”の略称を指す。ＬＵＴとは、“Lookup table”の略称を指す。

一例として図１に示すように、撮像装置１０は、被写体を撮像する装置であり、プロセッサ１２、撮像装置本体１６、及び交換レンズ１８を備えている。プロセッサ１２は、本開示の技術に係る「コンピュータ」の一例である。プロセッサ１２は、撮像装置本体１６に内蔵されており、撮像装置１０の全体を制御する。交換レンズ１８は、撮像装置本体１６に交換可能に装着される。交換レンズ１８には、フォーカスリング１８Ａが設けられている。フォーカスリング１８Ａは、撮像装置１０のユーザ（以下、単に「ユーザ」と称する）等が撮像装置１０による被写体に対するピントの調整を手動で行う場合に、ユーザ等によって操作される。

図１に示す例では、撮像装置１０の一例として、レンズ交換式のデジタルカメラが示されている。但し、これは、あくまでも一例に過ぎず、レンズ固定式のデジタルカメラであってもよいし、スマートデバイス、ウェアラブル端末、細胞観察装置、眼科観察装置、又は外科顕微鏡等の各種の電子機器に内蔵されるデジタルカメラであってもよい。

撮像装置本体１６には、イメージセンサ２０が設けられている。イメージセンサ２０は、本開示の技術に係る「イメージセンサ」の一例である。イメージセンサ２０は、ＣＭＯＳイメージセンサである。イメージセンサ２０は、少なくとも１つの被写体を含む撮像エリアを撮像する。交換レンズ１８が撮像装置本体１６に装着された場合に、被写体を示す被写体光は、交換レンズ１８を透過してイメージセンサ２０に結像され、被写体の画像を示す画像データがイメージセンサ２０によって生成される。

本実施形態では、イメージセンサ２０としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、イメージセンサ２０がＣＣＤイメージセンサ等の他種類のイメージセンサであっても本開示の技術は成立する。

撮像装置本体１６の上面には、レリーズボタン２２及びダイヤル２４が設けられている。ダイヤル２４は、撮像系の動作モード及び再生系の動作モード等の設定の際に操作され、ダイヤル２４が操作されることによって、撮像装置１０では、動作モードとして、撮像モード、再生モード、及び設定モードが選択的に設定される。撮像モードは、撮像装置１０に対して撮像を行わせる動作モードである。再生モードは、撮像モードで記録用の撮像が行われることによって得られた画像（例えば、静止画像及び／又は動画像）を再生する動作モードである。設定モードは、撮像に関連する制御で用いられる各種の設定値を設定する場合などに撮像装置１０に対して設定する動作モードである。

レリーズボタン２２は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。撮像装置１０の構成によっては、撮像準備指示状態とは、ユーザの指がレリーズボタン２２に接触した状態であってもよく、撮像指示状態とは、操作するユーザの指がレリーズボタン２２に接触した状態から離れた状態に移行した状態であってもよい。

撮像装置本体１６の背面には、指示キー２６及びタッチパネル・ディスプレイ３２が設けられている。

タッチパネル・ディスプレイ３２は、ディスプレイ２８及びタッチパネル３０（図２も参照）を備えている。ディスプレイ２８の一例としては、ＥＬディスプレイ（例えば、有機ＥＬディスプレイ又は無機ＥＬディスプレイ）が挙げられる。ディスプレイ２８は、ＥＬディスプレイではなく、液晶ディスプレイ等の他種類のディスプレイであってもよい。

ディスプレイ２８は、画像及び／又は文字情報等を表示する。ディスプレイ２８は、撮像装置１０が撮像モードの場合に、ライブビュー画像用の撮像、すなわち、連続的な撮像が行われることにより得られたライブビュー画像の表示に用いられる。ここで、「ライブビュー画像」とは、イメージセンサ２０によって撮像されることにより得られた画像データに基づく表示用の動画像を指す。ライブビュー画像を得るために行われる撮像（以下、「ライブビュー画像用撮像」とも称する）は、例えば、６０ｆｐｓのフレームレートに従って行われる。６０ｆｐｓは、あくまでも一例に過ぎず、６０ｆｐｓ未満のフレームレートであってもよいし、６０ｆｐｓを超えるフレームレートであってもよい。

ディスプレイ２８は、撮像装置１０に対してレリーズボタン２２を介して静止画像用の撮像の指示が与えられた場合に、静止画像用の撮像が行われることで得られた静止画像の表示にも用いられる。また、ディスプレイ２８は、撮像装置１０が再生モードの場合の再生画像等の表示にも用いられる。更に、ディスプレイ２８は、撮像装置１０が設定モードの場合に、各種メニューを選択可能なメニュー画面の表示、及び、撮像に関連する制御で用いられる各種の設定値等を設定するための設定画面の表示にも用いられる。

タッチパネル３０は、透過型のタッチパネルであり、ディスプレイ２８の表示領域の表面に重ねられている。タッチパネル３０は、指又はスタイラスペン等の指示体による接触を検知することで、ユーザからの指示を受け付ける。なお、以下では、説明の便宜上、上述した「全押し状態」には、撮像開始用のソフトキーに対してユーザがタッチパネル３０を介してオンした状態も含まれる。

本実施形態では、タッチパネル・ディスプレイ３２の一例として、タッチパネル３０がディスプレイ２８の表示領域の表面に重ねられているアウトセル型のタッチパネル・ディスプレイを挙げているが、これはあくまでも一例に過ぎない。例えば、タッチパネル・ディスプレイ３２として、オンセル型又はインセル型のタッチパネル・ディスプレイを適用することも可能である。

指示キー２６は、各種の指示を受け付ける。ここで、「各種の指示」とは、例えば、メニュー画面の表示の指示、１つ又は複数のメニューの選択の指示、選択内容の確定の指示、選択内容の消去の指示、ズームイン、ズームアウト、及びコマ送り等の各種の指示等を指す。また、これらの指示はタッチパネル３０によってされてもよい。

一例として図２に示すように、イメージセンサ２０は、光電変換素子７２を備えている。光電変換素子７２は、受光面７２Ａを有する。光電変換素子７２は、受光面７２Ａの中心と光軸ＯＡとが一致するように撮像装置本体１６内に配置されている（図１も参照）。光電変換素子７２は、マトリクス状に配置された複数の感光画素７２Ｂ（図３参照）を有しており、受光面７２Ａは、複数の感光画素によって形成されている。各感光画素７２Ｂは、マイクロレンズ７２Ｃ（図３参照）を有する。各感光画素７２Ｂは、フォトダイオード（図示省略）を有する物理的な画素であり、受光した光を光電変換し、受光量に応じた電気信号を出力する。

また、複数の感光画素７２Ｂには、赤（Ｒ）、緑（Ｇ）、又は青（Ｂ）のカラーフィルタ（図示省略）が既定のパターン配列（例えば、ベイヤ配列、ＧストライプＲ／Ｇ完全市松、Ｘ－Ｔｒａｎｓ（登録商標）配列、又はハニカム配列等）でマトリクス状に配置されている。

なお、以下では、説明の便宜上、マイクロレンズ７２Ｃ及びＲのカラーフィルタを有する感光画素７２ＢをＲ画素と称し、マイクロレンズ７２Ｃ及びＧのカラーフィルタを有する感光画素７２ＢをＧ画素と称し、マイクロレンズ７２Ｃ及びＢのカラーフィルタを有する感光画素７２ＢをＢ画素と称する。また、以下では、説明の便宜上、Ｒ画素から出力される電気信号を「Ｒ信号」と称し、Ｇ画素から出力される電気信号を「Ｇ信号」と称し、Ｂ画素から出力される電気信号を「Ｂ信号」と称する。

交換レンズ１８は、撮像レンズ４０を備えている。撮像レンズ４０は、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄを有する。対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄは、被写体側（物体側）から撮像装置本体１６側（像側）にかけて、光軸ＯＡに沿って、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄの順に配置されている。

また、交換レンズ１８は、制御装置３６、第１アクチュエータ３７、第２アクチュエータ３８、及び第３アクチュエータ３９を備えている。制御装置３６は、撮像装置本体１６からの指示に従って交換レンズ１８の全体を制御する。制御装置３６は、例えば、ＣＰＵ、ＮＶＭ、及びＲＡＭ等を含むコンピュータを有する装置である。制御装置３６のＮＶＭは、例えば、ＥＥＰＲＯＭである。但し、これは、あくまでも一例に過ぎず、ＥＥＰＲＯＭに代えて、又は、ＥＥＰＲＯＭと共に、ＨＤＤ、及び／又はＳＳＤ等をシステムコントローラ４４のＮＶＭとして適用してもよい。また、制御装置３６のＲＡＭは、各種情報を一時的に記憶し、ワークメモリとして用いられる。制御装置３６において、ＣＰＵは、ＮＶＭから必要なプログラムを読み出し、読み出した各種プログラムをＲＡＭ上で実行することで撮像レンズ４０の全体を制御する。

なお、ここでは、制御装置３６の一例として、コンピュータを有する装置を挙げているが、これは、あくまでも一例に過ぎず、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、制御装置３６として、例えば、ハードウェア構成及びソフトウェア構成の組み合わせによって実現される装置を用いてよい。

第１アクチュエータ３７は、フォーカス用スライド機構（図示省略）及びフォーカス用モータ（図示省略）を備えている。フォーカス用スライド機構には、光軸ＯＡに沿ってスライド可能にフォーカスレンズ４０Ｂが取り付けられている。また、フォーカス用スライド機構にはフォーカス用モータが接続されており、フォーカス用スライド機構は、フォーカス用モータの動力を受けて作動することでフォーカスレンズ４０Ｂを光軸ＯＡに沿って移動させる。

第２アクチュエータ３８は、ズーム用スライド機構（図示省略）及びズーム用モータ（図示省略）を備えている。ズーム用スライド機構には、光軸ＯＡに沿ってスライド可能にズームレンズ４０Ｃが取り付けられている。また、ズーム用スライド機構にはズーム用モータが接続されており、ズーム用スライド機構は、ズーム用モータの動力を受けて作動することでズームレンズ４０Ｃを光軸ＯＡに沿って移動させる。

第３アクチュエータ３９は、動力伝達機構（図示省略）及び絞り用モータ（図示省略）を備えている。絞り４０Ｄは、開口４０Ｄ１を有しており、開口４０Ｄ１の大きさが可変な絞りである。開口４０Ｄ１は、例えば、複数枚の絞り羽根４０Ｄ２によって形成されている。複数枚の絞り羽根４０Ｄ２は、動力伝達機構に連結されている。また、動力伝達機構には絞り用モータが接続されており、動力伝達機構は、絞り用モータの動力を複数枚の絞り羽根４０Ｄ２に伝達する。複数枚の絞り羽根４０Ｄ２は、動力伝達機構から伝達される動力を受けて作動することで開口４０Ｄ１の大きさを変化させる。絞り４０Ｄは、開口４０Ｄ１の大きさを変化させることで露出を調節する。

フォーカス用モータ、ズーム用モータ、及び絞り用モータは、制御装置３６に接続されており、制御装置３６によってフォーカス用モータ、ズーム用モータ、及び絞り用モータの各駆動が制御される。なお、本実施形態では、フォーカス用モータ、ズーム用モータ、及び絞り用モータの一例として、ステッピングモータが採用されている。従って、フォーカス用モータ、ズーム用モータ、及び絞り用モータは、制御装置３６からの命令によりパルス信号に同期して動作する。なお、ここでは、フォーカス用モータ、ズーム用モータ、及び絞り用モータが交換レンズ１８に設けられている例が示されているが、これは、あくまでも一例に過ぎず、フォーカス用モータ、ズーム用モータ、及び絞り用モータのうちの少なくとも１つが撮像装置本体１６に設けられていてもよい。なお、交換レンズ１８の構成物及び／又は動作方法は、必要に応じて変更可能である。

撮像装置１０では、撮像モードの場合に、撮像装置本体１６に対して与えられた指示に従ってＭＦモードとＡＦモードとが選択的に設定される。ＭＦモードは、手動でピントを合わせる動作モードである。ＭＦモードでは、例えば、ユーザによってフォーカスリング１８Ａ等が操作されることで、フォーカスリング１８Ａ等の操作量に応じた移動量でフォーカスレンズ４０Ｂが光軸ＯＡに沿って移動し、これによって焦点が調節される。

ＡＦモードでは、撮像装置本体１６が被写体距離に応じた合焦位置の演算を行い、演算して得た合焦位置に向けてフォーカスレンズ４０Ｂを移動させることで、焦点を調節する。ここで、合焦位置とは、ピントが合っている状態でのフォーカスレンズ４０Ｂの光軸ＯＡ上での位置を指す。

撮像装置本体１６は、イメージセンサ２０、プロセッサ１２、システムコントローラ４４、画像メモリ４６、ＵＩ系デバイス４８、外部Ｉ／Ｆ５０、通信Ｉ／Ｆ５２、光電変換素子ドライバ５４、及び入出力インタフェース７０を備えている。また、イメージセンサ２０は、光電変換素子７２及びＡ／Ｄ変換器７４を備えている。

入出力インタフェース７０には、プロセッサ１２、画像メモリ４６、ＵＩ系デバイス４８、外部Ｉ／Ｆ５０、光電変換素子ドライバ５４、及びＡ／Ｄ変換器７４が接続されている。また、入出力インタフェース７０には、交換レンズ１８の制御装置３６も接続されている。

システムコントローラ４４は、ＣＰＵ（図示省略）、ＮＶＭ（図示省略）、及びＲＡＭ（図示省略）を備えている。システムコントローラ４４において、ＮＶＭには、非一時的記憶媒体であり、各種パラメータ及び各種プログラムが記憶されている。システムコントローラ４４のＮＶＭは、例えば、ＥＥＰＲＯＭである。但し、これは、あくまでも一例に過ぎず、ＥＥＰＲＯＭに代えて、又は、ＥＥＰＲＯＭと共に、ＨＤＤ、及び／又はＳＳＤ等をシステムコントローラ４４のＮＶＭとして適用してもよい。また、システムコントローラ４４のＲＡＭは、各種情報を一時的に記憶し、ワークメモリとして用いられる。システムコントローラ４４において、ＣＰＵは、ＮＶＭから必要なプログラムを読み出し、読み出した各種プログラムをＲＡＭ上で実行することで撮像装置１０の全体を制御する。すなわち、図２に示す例では、プロセッサ１２、画像メモリ４６、ＵＩ系デバイス４８、外部Ｉ／Ｆ５０、通信Ｉ／Ｆ５２、光電変換素子ドライバ５４、及び制御装置３６がシステムコントローラ４４によって制御される。

プロセッサ１２は、システムコントローラ４４の制御下で動作する。プロセッサ１２は、ＣＰＵ６２、ＮＶＭ６４、及びＲＡＭ６６を備えている。

ＣＰＵ６２、ＮＶＭ６４、及びＲＡＭ６６は、バス６８を介して接続されており、バス６８は入出力インタフェース７０に接続されている。なお、図２に示す例では、図示の都合上、バス６８として１本のバスが図示されているが、複数本のバスであってもよい。バス６８は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。

ＮＶＭ６４は、非一時的記憶媒体であり、システムコントローラ４４のＮＶＭに記憶されている各種パラメータ及び各種プログラムとは異なる各種パラメータ及び各種プログラムを記憶している。各種プログラムには、後述のプログラム６５（図４参照）が含まれる。ＮＶＭ６４は、例えば、ＥＥＰＲＯＭである。但し、これは、あくまでも一例に過ぎず、ＥＥＰＲＯＭに代えて、又は、ＥＥＰＲＯＭと共に、ＨＤＤ、及び／又はＳＳＤ等をＮＶＭ６４として適用してもよい。また、ＲＡＭ６６は、各種情報を一時的に記憶し、ワークメモリとして用いられる。

ＣＰＵ６２は、ＮＶＭ６４から必要なプログラムを読み出し、読み出したプログラムをＲＡＭ６６で実行する。ＣＰＵ６２は、ＲＡＭ６６上で実行するプログラムに従って画像処理を行う。

光電変換素子７２には、光電変換素子ドライバ５４が接続されている。光電変換素子ドライバ５４は、光電変換素子７２によって行われる撮像のタイミングを規定する撮像タイミング信号を、ＣＰＵ６２からの指示に従って光電変換素子７２に供給する。光電変換素子７２は、光電変換素子ドライバ５４から供給された撮像タイミング信号に従って、リセット、露光、及び電気信号の出力を行う。撮像タイミング信号としては、例えば、垂直同期信号及び水平同期信号が挙げられる。

交換レンズ１８が撮像装置本体１６に装着された場合、撮像レンズ４０に入射された被写体光は、撮像レンズ４０によって受光面７２Ａに結像される。光電変換素子７２は、光電変換素子ドライバ５４の制御下で、受光面７２Ａによって受光された被写体光を光電変換し、被写体光の光量に応じた電気信号を、被写体光を示す撮像データ７３としてＡ／Ｄ変換器７４に出力する。具体的には、Ａ／Ｄ変換器７４が、露光順次読み出し方式で、光電変換素子７２から１フレーム単位で且つ水平ライン毎に撮像データ７３を読み出す。

Ａ／Ｄ変換器７４は、光電変換素子７２から読み出されるアナログの撮像データ７３をデジタル化する。Ａ／Ｄ変換器７４によりデジタル化された撮像データ７３は、いわゆるＲＡＷ画像データであり、Ｒ画素、Ｇ画素、及びＢ画素がモザイク状に配列された画像を表す。また、本実施形態では、一例として、ＲＡＷ画像データに含まれるＲ画素、Ｂ画素、及びＧ画素の各画素のビット数、すなわち、ビット長は、１４ビットである。

本実施形態において、一例として、プロセッサ１２のＣＰＵ６２は、Ａ／Ｄ変換器７４から撮像データ７３を取得し、取得した撮像データ７３に対して画像処理を行う。本実施形態では、プロセッサ１２は、撮像データ７３に基づいて、動画像データ８０及び情報画像データ８２を生成する。画像メモリ４６には、動画像データ８０と情報画像データ８２とを合成することにより生成された合成動画像データ８４が記憶される。本実施形態では、合成動画像データ８４は、ライブビュー画像の表示に用いられる動画データである。

ＵＩ系デバイス４８は、ディスプレイ２８を備えている。ＣＰＵ６２は、ディスプレイ２８に対して、画像メモリ４６に記憶された合成動画像データ８４を表示させる。また、ＣＰＵ６２は、ディスプレイ２８に対して各種情報を表示させる。

また、ＵＩ系デバイス４８は、受付デバイス７６を備えている。受付デバイス７６は、タッチパネル３０及びハードキー部７８を備えている。ハードキー部７８は、指示キー２６（図１参照）を含む複数のハードキーである。ＣＰＵ６２は、タッチパネル３０によって受け付けられた各種指示に従って動作する。なお、ここでは、ハードキー部７８がＵＩ系デバイス４８に含まれているが、本開示の技術はこれに限定されず、例えば、ハードキー部７８は、外部Ｉ／Ｆ５０に接続されていてもよい。

外部Ｉ／Ｆ５０は、撮像装置１０の外部に存在する装置（以下、「外部装置」とも称する）との間の各種情報の授受を司る。外部Ｉ／Ｆ５０の一例としては、ＵＳＢインタフェースが挙げられる。ＵＳＢインタフェースには、スマートデバイス、パーソナル・コンピュータ、サーバ、ＵＳＢメモリ、メモリカード、及び／又はプリンタ等の外部装置（図示省略）が直接的又は間接的に接続される。

通信Ｉ／Ｆ５２は、ネットワーク（図示省略）に接続されている。通信Ｉ／Ｆ５２は、ネットワーク上のサーバ等の通信装置（図示省略）とシステムコントローラ４４との間の情報の授受を司る。例えば、通信Ｉ／Ｆ５２は、システムコントローラ４４からの要求に応じた情報を、ネットワークを介して通信装置に送信する。また、通信Ｉ／Ｆ５２は、通信装置から送信された情報を受信し、受信した情報を、入出力インタフェース７０を介してシステムコントローラ４４に出力する。

一例として図３に示すように、本実施形態では、光電変換素子７２の受光面７２Ａには、独立した一対のフォトダイオードＰＤ１，ＰＤ２を含む感光画素７２Ｂが２次元状に配列されている。図３では、受光面７２Ａに平行である１つの方向をＸ方向とし、Ｘ方向に直交する方向をＹ方向としている。感光画素７２Ｂは、Ｘ方向及びＹ方向に沿って配列されている。

フォトダイオードＰＤ１は、撮像レンズ４０における第１の瞳部分領域を通過する光束に対する光電変換を行う。フォトダイオードＰＤ２は、撮像レンズ４０における第２の瞳部分領域を通過する光束に対する光電変換を行う。感光画素７２Ｂの各々には、カラーフィルタ（図示省略）、及びマイクロレンズ７２Ｃが配置されている。

図３に示す構成の光電変換素子７２は、一画素に一対のフォトダイオードＰＤ１，ＰＤ２が設けられた像面位相差方式の光電変換素子である。本実施形態では、電変換素子７２は、全ての感光画素７２Ｂが撮像及び位相差に関するデータを出力する機能を兼ね備えている。光電変換素子７２は、撮像時には、一対のフォトダイオードＰＤ１，ＰＤ２を合わせて１つの画素とすることで、非位相差画像データ７３Ａを出力する。また、光電変換素子７２は、ＡＦモードでは、一対のフォトダイオードＰＤ１，ＰＤ２のそれぞれから信号を検出することにより、位相差画像データ７３Ｂを出力する。

すなわち、本実施形態の光電変換素子７２に設けられた全ての感光画素７２Ｂは、いわゆる「位相差画素」である。感光画素７２Ｂは、画素の全領域によって光電変換が行われた非位相差画像データ７３Ａと、画素の一部の領域によって光電変換が行われた位相差画像データとを選択的に出力可能である。ここで、「画素の全領域」とは、フォトダイオードＰＤ１とフォトダイオードＰＤ２とを合わせた受光領域である。また、「画素の一部の領域」とは、フォトダイオードＰＤ１の受光領域、又はフォトダイオードＰＤ２の受光領域である。

なお、非位相差画像データ７３Ａは、位相差画像データ７３Ｂに基づいて生成することも可能である。例えば、位相差画像データ７３Ｂを、一対のフォトダイオードＰＤ１，ＰＤ２に対応する一対の画素信号ごとに加算することにより、非位相差画像データ７３Ａが生成される。また、位相差画像データ７３Ｂには、一対のフォトダイオードＰＤ１，ＰＤ２のうちの一方から出力されたデータのみが含まれていてもよい。例えば、位相差画像データ７３ＢにフォトダイオードＰＤ１から出力されたデータのみが含まれている場合には、非位相差画像データ７３Ａから位相差画像データ７３Ｂを画素ごとに減算することにより、フォトダイオードＰＤ２から出力されるデータを作成することが可能である。

すなわち、光電変換素子７２から読み出される撮像データ７３には、非位相差画像データ７３Ａ及び／又は位相差画像データ７３Ｂが含まれる。本実施形態では、ＭＦモードにおいて、位相差画像データ７３Ｂに基づいて撮像エリア内における合焦領域を検出する。検出した合焦領域に基づいて、後述するピクチャー・イン・ピクチャー表示（以下、ＰｉｎＰ表示と称する）が行われる。

一例として図４に示すように、撮像装置１０のＮＶＭ６４には、プログラム６５が記憶されている。ＣＰＵ６２は、ＮＶＭ６４からプログラム６５を読み出し、読み出したプログラム６５をＲＡＭ６６上で実行する。ＣＰＵ６２は、ＲＡＭ６６上で実行するプログラム６５に従ってＰｉｎＰ表示処理を行う。ＰｉｎＰ表示処理は、ＣＰＵ６２がプログラム６５に従って、動画像データ生成部６２Ａ、情報画像データ生成部６２Ｂ、データ出力処理部６２Ｃ、合焦領域検出部６２Ｄ、及び窓領域位置制御部６２Ｅとして動作することで実現される。

一例として図５に示すように、撮像装置１０を用いて被写体の撮像が行われる。図５は、撮像装置１０による撮像エリア１０Ａを上空から見た俯瞰図である。図５に示す例では、撮像エリア１０Ａに、被写体として、人物１１Ａ及び木１１Ｂが存在している。図５において、光軸ＯＡに平行な方向をＺ方向とする。Ｚ方向は、前述のＸ方向及びＹ方向に直交している。図５に示す例では、撮像装置１０を基準として、人物１１Ａと木１１Ｂとの距離が異なり、人物１１Ａよりも木１１Ｂのほうが遠くに存在する。

一例として図６に示すように、動画像データ生成部６２Ａは、イメージセンサ２０の撮像動作により得られる非位相差画像データ７３Ａ（図４参照）に基づいて、複数のフレーム８０Ａを含む動画像データ８０を生成する。図６に示す例では、各フレーム８０Ａには、人物１１Ａ及び木１１Ｂの２つの被写体が写っている。

情報画像データ生成部６２Ｂは、動画像データ生成部６２Ａが生成した動画像データ８０に基づき、動画像データ８０に関連する情報を表す情報画像データ８２を生成する。一例として図７に示すように、情報画像データ生成部６２Ｂは、動画像データ８０の各フレーム８０Ａに対して色味補正を行うことにより、色味補正が施された複数のフレーム８２Ａからなる動画像データである情報画像データ８２を生成する。

なお、情報画像データ生成部６２Ｂは、色味補正に限られず、動画像データ８０に対して、カラーマッチングを行うためのＬＵＴを適用することにより情報画像データ８２を生成してもよい。また、情報画像データ８２は、動画像データ８０に補正を施したデータに限られず、画像の輝度を表すヒストグラム、又は画像の輝度を表す波形であってもよい。このように、情報画像データ８２は、動画像データ８０に関連する情報を表すデータであればよい。

データ出力処理部６２Ｃは、動画像データ８０、及び動画像データ８０が表す画像内における窓領域８５（図８参照）に関連付けられた情報画像データ８２を出力する。一例として図８に示すように、データ出力処理部６２Ｃは、動画像データ８０のフレーム８０Ａ内の一部に矩形領域として設定される窓領域８５に情報画像データ８２を重畳させる。また、本実施形態では、データ出力処理部６２Ｃは、動画像データ８０の窓領域８５に情報画像データ８２を重畳させた状態で、動画像データ８０と情報画像データ８２とを合成することにより、合成動画像データ８４を生成する。データ出力処理部６２Ｃは、合成動画像データ８４を、画像メモリ４６（図２参照）を介してディスプレイ２８に出力する。

なお、ディスプレイ２８は、本開示の技術に係る「表示先」の一例である。また、データ出力処理部６２Ｃは、合成動画像データ８４を直接表示先に出力することに限られず、中継装置等を介して間接的に表示先に出力してもよい。また、データ出力処理部６２Ｃは、合成動画像データ８４を生成せずに、情報画像データ８２を動画像データ８０の窓領域８５に関連付けた状態で、動画像データ８０及び情報画像データ８２を、直接又は間接的に表示先に出力してもよい。

合焦領域検出部６２Ｄは、位相差画像データ７３Ｂに基づいて撮像エリア１０Ａ内における合焦領域を検出する。すなわち、合焦領域検出部６２Ｄは、位相差画素としての感光画素７２Ｂ（図３参照）が、位相差画像データ７３Ｂを出力した場合における撮像データ７３に基づいて合焦領域を検出する。

具体的には、合焦領域検出部６２Ｄは、位相差画像データ７３Ｂに基づいて、フォトダイオードＰＤ１から出力された信号による像と、フォトダイオードＰＤ２から出力された信号による像との位相差（ずれ量及びずれ方向）を検出することにより、撮像エリア１０Ａ内の複数の位置における距離情報を取得する。本実施形態では、一画素に一対のフォトダイオードが設けられた像面位相差方式の光電変換素子７２を用いているので、感光画素７２Ｂの各々に対応する位置について距離を取得することができる。合焦領域検出部６２Ｄは、撮像エリア１０Ａ内の複数の位置における距離情報に基づいて、合焦状態にある被写体の領域（すなわち合焦領域）を検出することができる

例えば、合焦領域検出部６２Ｄは、動画像データ生成部６２Ａが１つのフレーム８０Ａを生成するたびに、生成されたフレーム８０Ａに対応する位相差画像データ７３Ｂに基づいて、フレーム８０Ａから合焦領域を検出する。

窓領域位置制御部６２Ｅは、合焦領域検出部６２Ｄが検出した合焦領域に応じて窓領域８５の位置を制御する。本実施形態では、窓領域位置制御部６２Ｅは、動画像データ８０の各フレーム８０Ａにおいて、合焦領域に重ならない領域に窓領域８５の位置を設定する。

一例として図９に示すように、人物１１Ａを含む領域が合焦領域ＦＡとして検出されている場合には、窓領域位置制御部６２Ｅは、フレーム８０Ａ内において合焦状態にある人物１１Ａに重ならないように、窓領域８５の位置を設定する。例えば、窓領域位置制御部６２Ｅは、窓領域８５を、非合焦状態にある木１１Ｂに重なる位置に設定する。なお、窓領域位置制御部６２Ｅは、合焦領域ＦＡに重ならないように窓領域８５の大きさを縮小してもよい。なお、本開示において、「窓領域の位置を変更する」ことには、窓領域の大きさを変更することも含まれる。

図９において、合焦状態である被写体を実線で表し、非合焦状態である被写体を破線で表している。以下の図においても同様である。

この後、木１１Ｂにピントが合うようにユーザが手動でピント調整を行った場合には、人物１１Ａに代えて、木１１Ｂを含む領域が合焦領域ＦＡとして検出される。この場合、窓領域位置制御部６２Ｅは、合焦状態にある木１１Ｂに重ならないように、窓領域８５の位置を変更する。例えば、図９に示す例では、窓領域位置制御部６２Ｅは、窓領域８５の位置を、非焦状態にある人物１１Ａに重なる位置に変更している。

上述のデータ出力処理部６２Ｃは、動画像データ８０の各フレーム８０Ａにおいて、窓領域位置制御部６２Ｅにより設定された窓領域８５の位置に情報画像データ８２を重畳させる。これにより、表示先としてのディスプレイ２８では、動画像データ８０の各フレーム８０Ａにおいて、情報画像データ８２は、合焦領域ＦＡに重ならないようにＰｉｎＰ表示される。

次に、撮像装置１０の作用について図１０を参照しながら説明する。図１０には、ＣＰＵ６２によって実行されるＰｉｎＰ表示処理の流れの一例が示されている。図１０に示すＰｉｎＰ表示処理は、例えば、ＭＦモードにおいてレリーズボタン２２により撮像指示が行われる前のライブビュー画像の表示中に実行される。

図１０に示すＰｉｎＰ表示処理では、先ず、ステップＳＴ１００で、動画像データ生成部６２Ａは、イメージセンサ２０（図２参照）によって撮像データ７３（図３参照）が生成されたか否かを判定する。ここで、撮像データ７３には、非位相差画像データ７３Ａ及び位相差画像データ７３Ｂが含まれる。

ステップＳＴ１００において、イメージセンサ２０によって撮像データ７３が生成されていない場合は、判定が否定されて、ＰｉｎＰ表示処理はステップＳＴ１０６へ移行する。ステップＳＴ１００において、イメージセンサ２０によって撮像データ７３が生成された場合は、判定が肯定されて、ＰｉｎＰ表示処理はステップＳＴ１０１へ移行する。

ステップＳＴ１０１で、動画像データ生成部６２Ａは、撮像データ７３に含まれる非位相差画像データ７３Ａに基づいて動画像データ８０（図６参照）を生成する。ステップＳＴ１０１で、動画像データ８０の１つのフレーム８０Ａが生成された後、ＰｉｎＰ表示処理はステップＳＴ１０２へ移行する。

ステップＳＴ１０２で、情報画像データ生成部６２Ｂは、動画像データ生成部６２Ａが生成した動画像データ８０に基づいて、動画像データ８０に関連する情報を表す情報画像データ８２を生成する。本実施形態では、情報画像データ生成部６２Ｂは、動画像データ８０の各フレーム８０Ａに対して色味補正（図７参照）を行うことにより情報画像データ８２を生成する。ステップＳＴ１０２で、情報画像データ８２が生成された後、ＰｉｎＰ表示処理はステップＳＴ１０３へ移行する。

ステップＳＴ１０３で、合焦領域検出部６２Ｄは、撮像データ７３に含まれる位相差画像データ７３Ｂに基づいて、撮像エリア１０Ａ内（すなわちフレーム８０Ａ内）における合焦領域ＦＡ（図９参照）を検出する。ステップＳＴ１０３で、合焦領域ＦＡが検出された後、ＰｉｎＰ表示処理はステップＳＴ１０４へ移行する。

ステップＳＴ１０４で、窓領域位置制御部６２Ｅは、合焦領域検出部６２Ｄが検出した合焦領域ＦＡに応じて窓領域８５の位置を設定する（図９参照）。本実施形態では、窓領域位置制御部６２Ｅは、合焦領域ＦＡに重ならない領域に窓領域８５の位置を設定する。ステップＳＴ１０４で、窓領域８５の位置が設定された後、ＰｉｎＰ表示処理はステップＳＴ１０５へ移行する。

ステップＳＴ１０５で、データ出力処理部６２Ｃは、フレーム８０Ａに設定された窓領域８５に情報画像データ８２を重畳させた状態で、動画像データ８０及び情報画像データ８２を、ディスプレイ２８に出力する。本実施形態では、データ出力処理部６２Ｃは、動画像データ８０と情報画像データ８２とを合成することにより生成した合成動画像データ８４（図８参照）をディスプレイ２８に出力する。ステップＳＴ１０５で、合成動画像データ８４を出力した後、ＰｉｎＰ表示処理はステップＳＴ１０６へ移行する。

ステップＳＴ１０６で、ＣＰＵ６２は、ＰｉｎＰ表示処理を終了する条件（以下、「終了条件」と称する）を満足したか否かを判定する。終了条件としてはレリーズボタン２２（図１参照）により撮像指示がなされたことを検出した、との条件等が挙げられる。ステップＳＴ１０６において、終了条件を満足していない場合は、判定が否定されて、ＰｉｎＰ表示処理はステップＳＴ１００へ移行する。ステップＳＴ１０５において、終了条件を満足した場合は、判定が肯定されて、ＰｉｎＰ表示処理が終了する。

以上説明したように、上記実施形態に係る撮像装置１０では、窓領域８５は、合焦領域ＦＡに重ならないように位置が制御されるので、ユーザによる窓領域８５の設定操作が不要で、かつ合焦領域ＦＡの視認性を高めることができる。

上記実施形態では、光電変換素子７２は、一画素に一対のフォトダイオードが設けられた像面位相差方式の光電変換素子であり、全ての感光画素７２Ｂが撮像及び位相差に関するデータを出力する機能を兼ね備えているが、全ての感光画素７２Ｂが撮像及び位相差に関するデータを出力する機能を兼ね備えていることには限定されない。光電変換素子７２には、撮像及び位相差に関するデータを出力する機能を有しない感光画素が含まれていてもよい。また、光電変換素子７２は、一画素に一対のフォトダイオードが設けられた像面位相差方式の光電変換素子に限られず、非位相差画像データ７３Ａを取得するための撮像用の感光画素と、位相差画像データ７３Ｂを取得するための位相差検出用の感光画素とを含むものであってもよい。この場合、位相差画素は、第１の瞳部分領域と第２の瞳部分領域とのうち一方を受光するように遮光部材が設けられる。

また、合焦領域ＦＡは、位相差画素を有する光電変換素子を用いる手法に限られず、位相差画素を有しない光電変換素子により得られる撮像データに基づいて検出することも可能である。例えば、撮像データが表す被写体のコントラスト又は輪郭情報などに基づいて、合焦領域ＦＡを検出することが可能である。

［第１変形例］
第１変形例に係る撮像装置１０は、フレーム８０Ａ内において窓領域８５を設定可能な領域を広げるために、被写界深度内の一部の範囲を合焦判定範囲として合焦領域ＦＡを検出する。第１変形例に係る撮像装置１０のその他の構成は、上記実施形態に係る撮像装置１０の構成と同様である。

一例として図１１に示すように、第１変形例では、合焦領域検出部６２Ｄは、非位相差画像データ７３Ａに加えて、例えばシステムコントローラ４４から被写界深度情報９０を取得する。被写界深度情報９０は、下式（１）で表される後方被写界深度Ｌ_ｒと、下式（２）で表される前方被写界深度Ｌ_ｆとを表す情報である。

ここで、ｆは焦点距離、Ｆは絞り４０Ｄの絞り値（すなわちＦ値）、Ｌは合焦距離、δは許容錯乱円径である。許容錯乱円径は、感光画素７２Ｂの配列ピッチの２倍程度であり、１画素程度の大きさのボケを許容する。なお、合焦距離Ｌとは、イメージセンサ２０に含まれる光電変換素子７２の受光面７２Ａから合焦状態にある被写体までの距離である。

例えば、被写界深度情報９０には、後方被写界深度Ｌ_ｒ及び前方被写界深度Ｌ_ｆの値が含まれている。なお、被写界深度情報９０に、焦点距離ｆ、Ｆ値、合焦距離Ｌ、及び許容錯乱円径δの値がそれぞれ含まれていてもよい。この場合、合焦領域検出部６２Ｄは、上式（１）及び上式（２）に基づいて、後方被写界深度Ｌ_ｒ及び前方被写界深度Ｌ_ｆを算出すればよい。

一例として図１２に示すように、被写界深度ＤＯＦは、Ｚ方向に沿って、前方被写界深度Ｌ_ｆから後方被写界深度Ｌ_ｒまでの範囲を表す。被写界深度ＤＯＦは、Ｆ値が大きいほど大きく（すなわち深く）なる。

合焦領域検出部６２Ｄは、被写界深度ＤＯＦ内の一部の範囲を合焦判定範囲ＦＪＲとして合焦領域ＦＡを検出する。すなわち、合焦領域検出部６２Ｄは、非位相差画像データ７３Ａに基づき、合焦判定範囲ＦＪＲ内に存在する被写体を検出し、検出した被写体の領域を合焦領域ＦＡとする。

Ｆ値が大きい場合（例えばＦ値が２２の場合）には、Ｚ方向のすべての範囲が被写界深度ＤＯＦ内となり、フレーム８０Ａ内のほぼすべての領域が合焦領域ＦＡとなることがある。このような場合には、合焦領域ＦＡに重ならない位置に窓領域８５を設定することができない。一例として図１３に示すように、例えば、ＦＪＲ＝ＤＯＦであり、フレーム８０Ａ内に多数の合焦領域ＦＡが検出されることにより、合焦領域ＦＡに重ならない位置に窓領域８５を設定することができない場合を想定する。

このような場合であっても、ＦＪＲ＜ＤＯＦとすることにより、フレーム８０Ａ内において検出される合焦領域ＦＡの数が減少するので、合焦領域ＦＡに重ならない位置に窓領域８５を設定することが可能となる。すなわち、ＦＪＲ＜ＤＯＦとすることにより、窓領域８５を設定可能な領域を広げることができる。

合焦判定範囲ＦＪＲは、固定値であってもよい。例えば、合焦距離Ｌを基準として±１ｍの範囲を合焦判定範囲ＦＪＲとしてもよい。但し、被写界深度ＤＯＦはＦ値に応じて変化するものであるため、合焦判定範囲ＦＪＲを固定値とすると、合焦領域ＦＡの判定結果とＦ値との関係に対して、ユーザに違和感を与える可能性がある。

このため、一例として図１４に示すように、Ｆ値に応じて合焦判定範囲ＦＪＲを変化させてもよい。例えば、Ｆ値が大きいほど、合焦判定範囲ＦＪＲを広くする。また、被写界深度ＤＯＦに応じて合焦判定範囲ＦＪＲを変化させてもよい。例えば、被写界深度ＤＯＦに一定の比率（例えば１０％）を乗じることにより縮小した範囲を合焦判定範囲ＦＪＲとしてもよい。さらに、受付デバイス７６等により、ユーザが合焦判定範囲ＦＪＲを設定可能としてもよい。

また、合焦領域検出部６２Ｄは、動画像データ８０が表す画像内（すなわちフレーム８０Ａ内）の一定割合以上の領域が合焦領域ＦＡである場合に、被写界深度ＤＯＦ内の一部の範囲を合焦判定範囲ＦＪＲとして（すなわちＦＪＲ＜ＤＯＦとして）、再度合焦領域ＦＡを検出してもよい。

この場合、合焦領域検出部６２Ｄは、一例として図１５に示す合焦領域検出処理を行う。まず、ステップＳＴ２００で、合焦領域検出部６２Ｄは、撮像データ７３に含まれる位相差画像データ７３Ｂに基づいて合焦領域ＦＡを検出する。このステップＳＴ２００は、上記実施形態のステップＳＴ１０３（図１０参照）と同様であり、ＦＪＲ＝ＤＯＦである。ステップＳＴ２００で、合焦領域ＦＡが検出された後、合焦領域検出処理はステップＳＴ２０１へ移行する。

ステップＳＴ２０１で、合焦領域検出部６２Ｄは、フレーム８０Ａ内における合焦領域ＦＡの割合を算出する。ステップＳＴ２０１で、合焦領域ＦＡの割合が算出された後、合焦領域検出処理はステップＳＴ２０２へ移行する。

ステップＳＴ２０２で、合焦領域検出部６２Ｄは、合焦領域ＦＡの割合が一定割合以上であるか否かを判定する。ステップＳＴ２０２において、合焦領域ＦＡの割合が一定割合未満である場合には、判定が否定されて、合焦領域検出処理は終了する。ステップＳＴ２０２において、合焦領域ＦＡの割合が一定割合以上である場合には、判定が肯定されて、合焦領域検出処理はステップＳＴ２０３へ移行する。

ステップＳＴ２０３で、合焦領域検出部６２Ｄは、合焦判定範囲ＦＪＲを、被写界深度ＤＯＦ内の一部の範囲に制限する（すなわちＦＪＲ＜ＤＯＦとする）。ステップＳＴ２０３で、ＦＪＲ＜ＤＯＦとされた後、合焦領域検出処理はステップＳＴ２０４へ移行する。

ステップＳＴ２０４で、合焦領域検出部６２Ｄは、ＦＪＲ＜ＤＯＦとした状態で、位相差画像データ７３Ｂに基づいて、再度合焦領域ＦＡを検出する。ステップＳＴ２０４で、合焦領域ＦＡが検出された後、合焦領域検出処理はステップＳＴ２０２へ移行する。

ステップＳＴ２０２で、合焦領域検出部６２Ｄは、合焦領域ＦＡの割合が一定割合以上であるか否かを再度判定する。ステップＳＴ２０２において、合焦領域ＦＡの割合が一定割合未満である場合には、判定が否定されて、合焦領域検出処理は終了する。ステップＳＴ２０２において、合焦領域ＦＡの割合が一定割合以上である場合には、判定が肯定されて、合焦領域検出処理は、再度ステップＳＴ２０３へ移行する。

ステップＳＴ２０３で、合焦領域検出部６２Ｄは、合焦判定範囲ＦＪＲをさらに狭い範囲に制限する。この後、合焦領域検出処理は、ステップＳＴ２０２において判定が否定されるまで繰り返し実行される。

このように、図１５に示す例では、合焦領域検出部６２Ｄは、動画像データ８０が表す画像のほぼ全体が合焦領域ＦＡである場合に、合焦判定範囲ＦＪＲを狭めることで、窓領域８５の位置を変更可能な領域を広げる。

［第２変形例］
第２変形例に係る撮像装置１０は、被写体の距離を検出し、検出した被写体の距離の変化方向に応じて窓領域８５の状態を制御する。特に本変形例では、撮像装置１０は、合焦領域内に存在する少なくとも１つの被写体が撮像装置１０から遠ざかる方向に移動して非合焦状態になった場合に、窓領域８５の位置を制御する。

本変形例では、合焦領域検出部６２Ｄは、複数のフレーム８０Ａに対応する位相差画像データ７３Ｂに基づいて、合焦領域ＦＡの検出に加えて、被写体の移動を検出する。窓領域位置制御部６２Ｅは、被写体の移動方向に基づいて、窓領域８５の位置を制御する。

一例として図１６に示すように、フレーム８０Ａにおいて合焦領域ＦＡに二人の人物１１Ａ１，１１Ａ２が存在している場合に、一方の人物１１Ａ２が撮像装置１０から遠ざかる方向に移動したとする。本変形例では、合焦領域検出部６２Ｄは、人物１１Ａ２が撮像装置１０から遠ざかって非合焦状態となったことを検出する。

合焦状態であった人物１１Ａ２が非合焦状態となることにより、人物１１Ａ２が存在する領域は合焦領域ＦＡではなくなるので、人物１１Ａ２に重なるように窓領域８５を移動させることが可能である。しかし、ユーザは、合焦状態にある人物１１Ａ１にピントを合わせ続けるのではなく、遠ざかった人物１１Ａ２を追うようにピント調整を行いたい場合がある。この場合、窓領域位置制御部６２Ｅが非合焦状態となった人物１１Ａ２に重なるように窓領域８５を設定すると、窓領域８５に表示される情報画像データ８２が、人物１１Ａ２に対するピント調整の邪魔となってしまう。

このため、本変形例では、窓領域位置制御部６２Ｅは、合焦状態の人物１１Ａ２が撮像装置１０から遠ざかる方向に移動して非合焦状態となった場合に、窓領域８５を一定時間（例えば２秒間）移動させず、非合焦状態が一定時間継続した後に窓領域８５を移動させる。図１６に示す例では、窓領域位置制御部６２Ｅは、窓領域８５を移動させるとともに、窓領域８５を拡大している。

本変形例では、窓領域位置制御部６２Ｅは、一例として図１７に示す窓領域位置制御処理を行う。まず、ステップＳＴ３００で、窓領域位置制御部６２Ｅは、合焦領域検出部６２Ｄにより被写体の移動が検出されたか否かを判定する。ステップＳＴ３００において、被写体の移動が検出されていない場合には、判定が否定されて、窓領域位置制御処理はステップＳＴ３０５へ移行する。ステップＳＴ３００において、被写体の移動が検出された場合には、判定が肯定されて、窓領域位置制御処理はステップＳＴ３０１へ移行する。

ステップＳＴ３０１で、窓領域位置制御部６２Ｅは、合焦領域検出部６２Ｄにより検出された被写体の移動が、遠ざかる方向への移動であるか否かを判定する。ステップＳＴ３０１において、遠ざかる方向への移動でない場合には、判定が否定されて、窓領域位置制御処理はステップＳＴ３０５へ移行する。ステップＳＴ３０１において、遠ざかる方向への移動である場合には、判定が肯定されて、窓領域位置制御処理はステップＳＴ３０２へ移行する。

ステップＳＴ３０２で、窓領域位置制御部６２Ｅは、合焦領域検出部６２Ｄにより検出された被写体が合焦状態から非合焦状態となったか否かを判定する。ステップＳＴ３０２において、被写体が非合焦状態となっていない場合には、判定が否定されて、窓領域位置制御処理はステップＳＴ３０５へ移行する。ステップＳＴ３０２において、被写体が非合焦状態となった場合には、判定が肯定されて、窓領域位置制御処理はステップＳＴ３０３へ移行する。

ステップＳＴ３０３で、窓領域位置制御部６２Ｅは、非合焦状態が一定時間継続したか否かを判定する。ステップＳＴ３０３において、非合焦状態が一定時間継続しなかった場合には、判定が否定されて、窓領域位置制御処理はステップＳＴ３０５へ移行する。ステップＳＴ３０３において、非合焦状態が一定時間継続した場合には、判定が肯定されて、窓領域位置制御処理はステップＳＴ３０４へ移行する。

ステップＳＴ３０４で、窓領域位置制御部６２Ｅは、窓領域８５の位置を変更する（図１６参照）。ステップＳＴ３０４で、窓領域８５の位置が変更された後、窓領域位置制御処理はステップＳＴ３０５へ移行する。

ステップＳＴ３０５で、窓領域位置制御部６２Ｅは、窓領域位置制御処理を終了する条件（以下、「終了条件」と称する）を満足したか否かを判定する。ステップＳＴ３０５において、終了条件を満足していない場合は、判定が否定されて、窓領域位置制御処理はステップＳＴ３００へ移行する。ステップＳＴ３０５において、終了条件を満足した場合は、判定が肯定されて、窓領域位置制御処理が終了する。

以上のように、本変形例では、合焦状態であった被写体が撮像装置１０から遠ざかる方向に移動して非合焦状態になることにより合焦領域ＦＡが変化した場合に、窓領域８５の位置を一定時間変更しない。これにより、窓領域８５に表示される情報画像データ８２がピント調整の邪魔になることを抑制することができる。

［第３変形例］
第３変形例に係る撮像装置１０は、第２変形例と同様に、被写体の距離を検出し、検出した被写体の距離の変化方向に応じて窓領域８５の状態を制御する。特に本変形例では、撮像装置１０は、合焦領域内に存在する少なくとも１つの被写体が撮像装置１０に近づく方向に移動して非合焦状態になった場合に、窓領域８５を一定時間消去するか、若しくは一定時間透過率を上げる。

本変形例では、合焦領域検出部６２Ｄは、第２変形例と同様に、合焦領域ＦＡの検出に加えて、被写体の移動を検出する。窓領域位置制御部６２Ｅは、被写体の移動方向に基づいて、窓領域８５の位置を制御する。

一例として図１８に示すように、フレーム８０Ａにおいて合焦領域ＦＡに二人の人物１１Ａ１，１１Ａ２が存在している場合に、一方の人物１１Ａ２が撮像装置１０に近づく方向に移動したとする。本変形例では、合焦領域検出部６２Ｄは、人物１１Ａ２が撮像装置１０に近づいて非合焦状態となったことを検出する。

第２変形例の場合と同様に、ユーザは、合焦状態にある人物１１Ａ１にピントを合わせ続けるのではなく、近づいてきた人物１１Ａ２にピント調整を行いたい場合がある。しかし、人物１１Ａ２は、撮像装置１０に近づくに連れて大きさが大きくなるので、窓領域８５が人物１１Ａ２に重なり、窓領域８５に表示される情報画像データ８２が、人物１１Ａ２に対するピント調整の邪魔となってしまう。

このため、本変形例では、窓領域位置制御部６２Ｅは、人物１１Ａ２が撮像装置１０に近づく方向に移動して非合焦状態となった場合に、窓領域８５を一定時間（例えば２秒間）消去する。なお、窓領域８５を一定時間消去することに代えて、窓領域８５の透過率を一定時間上げてもよい。この場合、窓領域８５の透過率は、例えば０％から７０％に設定される。窓領域８５の透過率上げることで、窓領域８５に情報画像データ８２を表示させた場合においても、窓領域８５に重なった領域における人物１１Ａ２の像が、窓領域８５を透過して視認可能となる。

本変形例では、窓領域位置制御部６２Ｅは、一例として図１９に示す窓領域位置制御処理を行う。まず、ステップＳＴ４００で、窓領域位置制御部６２Ｅは、合焦領域検出部６２Ｄにより被写体の移動が検出されたか否かを判定する。ステップＳＴ４００において、被写体の移動が検出されていない場合には、判定が否定されて、窓領域位置制御処理はステップＳＴ４０４へ移行する。ステップＳＴ４００において、被写体の移動が検出された場合には、判定が肯定されて、窓領域位置制御処理はステップＳＴ４０１へ移行する。

ステップＳＴ４０１で、窓領域位置制御部６２Ｅは、合焦領域検出部６２Ｄにより検出された被写体の移動が、近づく方向への移動であるか否かを判定する。ステップＳＴ４０１において、近づく方向への移動でない場合には、判定が否定されて、窓領域位置制御処理はステップＳＴ４０４へ移行する。ステップＳＴ４０１において、近づく方向への移動である場合には、判定が肯定されて、窓領域位置制御処理はステップＳＴ４０２へ移行する。

ステップＳＴ４０２で、窓領域位置制御部６２Ｅは、合焦領域検出部６２Ｄにより検出された被写体が合焦状態から非合焦状態となったか否かを判定する。ステップＳＴ４０２において、被写体が非合焦状態となっていない場合には、判定が否定されて、窓領域位置制御処理はステップＳＴ４０４へ移行する。ステップＳＴ４０２において、被写体が非合焦状態となった場合には、判定が肯定されて、窓領域位置制御処理はステップＳＴ４０３へ移行する。

ステップＳＴ４０３で、窓領域位置制御部６２Ｅは、窓領域８５を一定時間消去する（図１８参照）。すなわち、情報画像データ８２が一定時間表示されない。ステップＳＴ４０３で、窓領域８５が一定時間消去された後、窓領域位置制御処理はステップＳＴ４０４へ移行する。

ステップＳＴ４０４で、窓領域位置制御部６２Ｅは、終了条件を満足したか否かを判定する。ステップＳＴ４０４において、終了条件を満足していない場合は、判定が否定されて、窓領域位置制御処理はステップＳＴ４００へ移行する。ステップＳＴ４０４において、終了条件を満足した場合は、判定が肯定されて、窓領域位置制御処理が終了する。

以上のように、本変形例では、合焦状態であった被写体が撮像装置１０に近づく方向に移動して非合焦状態になることにより合焦領域ＦＡが変化した場合に、窓領域８５を一定時間消去するか、若しくは一定時間透過率を上げる。これにより、窓領域８５に表示される情報画像データ８２がピント調整の邪魔になることを抑制することができる。

［第４変形例］
第４変形例に係る撮像装置１０は、第２変形例及び第３変形例と同様に、被写体の距離を検出し、検出した被写体の距離の変化方向に応じて窓領域８５の状態を制御する。特に本変形例では、撮像装置１０は、合焦領域内に存在しない少なくとも１つの被写体が撮像装置１０に近づく方向に移動して合焦状態になった場合に、窓領域８５の位置を一定時間変更しない。

本変形例では、合焦領域検出部６２Ｄは、第２変形例及び第３変形例と同様に、合焦領域ＦＡの検出に加えて、被写体の移動を検出する。窓領域位置制御部６２Ｅは、被写体の移動方向に基づいて、窓領域８５の位置を制御する。

一例として図２０に示すように、フレーム８０Ａにおいて二人の人物１１Ａ１，１１Ａ２のうち、合焦領域ＦＡに存在しない一方の人物１１Ａ２が撮像装置１０に近づく方向に移動したとする。本変形例では、合焦領域検出部６２Ｄは、非合焦状態の人物１１Ａ２が撮像装置１０に近づいて合焦状態となったことを検出する。

非合焦状態であった人物１１Ａ２が近づいてきて合焦状態となったとしても、この人物１１Ａ２は、ユーザが撮像対象としたい対象被写体とは限らない。このような場合に、合焦領域ＦＡが変更することにより窓領域８５が移動及び／又は縮小すると、窓領域８５に表示される情報画像データ８２の視認性が低下する恐れがある。

このため、本変形例では、窓領域位置制御部６２Ｅは、非合焦状態の人物１１Ａ２が撮像装置１０に近づく方向に移動して合焦状態となった場合に、窓領域８５の位置を一定時間（例えば１０秒間）変更しない。すなわち、窓領域８５は、一定時間経過後に位置が変更される。なお、一定時間は、次の操作（ＭＦ操作、ズーム操作、又はホワイトバランス等の設定変更操作など）が行われるまでの時間であってもよい。また、一定時間は、画角が変更されたことを、加速度センサなどが検出するまでの時間であってもよい。

本変形例では、窓領域位置制御部６２Ｅは、一例として図２１に示す窓領域位置制御処理を行う。まず、ステップＳＴ５００で、窓領域位置制御部６２Ｅは、合焦領域検出部６２Ｄにより被写体の移動が検出されたか否かを判定する。ステップＳＴ５００において、被写体の移動が検出されていない場合には、判定が否定されて、窓領域位置制御処理はステップＳＴ５０４へ移行する。ステップＳＴ５００において、被写体の移動が検出された場合には、判定が肯定されて、窓領域位置制御処理はステップＳＴ５０１へ移行する。

ステップＳＴ５０１で、窓領域位置制御部６２Ｅは、合焦領域検出部６２Ｄにより検出された被写体の移動が、近づく方向への移動であるか否かを判定する。ステップＳＴ５０１において、近づく方向への移動でない場合には、判定が否定されて、窓領域位置制御処理はステップＳＴ５０４へ移行する。ステップＳＴ５０１において、近づく方向への移動である場合には、判定が肯定されて、窓領域位置制御処理はステップＳＴ５０２へ移行する。

ステップＳＴ５０２で、窓領域位置制御部６２Ｅは、合焦領域検出部６２Ｄにより検出された被写体が非合焦状態から合焦状態となったか否かを判定する。ステップＳＴ５０２において、被写体が合焦状態となっていない場合には、判定が否定されて、窓領域位置制御処理はステップＳＴ５０４へ移行する。ステップＳＴ５０２において、被写体が合焦状態となった場合には、判定が肯定されて、窓領域位置制御処理はステップＳＴ５０３へ移行する。

ステップＳＴ５０３で、窓領域位置制御部６２Ｅは、窓領域８５の位置を一定時間変更しない（図２０参照）。すなわち、窓領域８５は、一定時間経過後に位置が変更される。ステップＳＴ５０３で、窓領域８５の位置が一定時間変更されず、位置が固定された状態が続いた後、窓領域位置制御処理はステップＳＴ５０４へ移行する。

ステップＳＴ５０４で、窓領域位置制御部６２Ｅは、終了条件を満足したか否かを判定する。ステップＳＴ５０４において、終了条件を満足していない場合は、判定が否定されて、窓領域位置制御処理はステップＳＴ５００へ移行する。ステップＳＴ５０４において、終了条件を満足した場合は、判定が肯定されて、窓領域位置制御処理が終了する。

以上のように、本変形例では、非合焦状態であった被写体が撮像装置１０に近づく方向に移動して合焦状態になることにより合焦領域ＦＡが変化した場合に、窓領域８５の位置を一定時間変更しない。これにより、ユーザが意図しない被写体が合焦することにより、窓領域８５の位置が変更されることを抑制することができる。

［第５変形例］
次に、窓領域８５の位置の変更に関する変形例について説明する。本変形例では、一例として図２２に示すように、窓領域位置制御部６２Ｅは、窓領域８５の位置を変更する場合に、動画像データ８０が表す画像の外周（すなわちフレーム８０Ａの外周）に沿って窓領域８５の位置を変更する。

合焦領域ＦＡはフレーム８０Ａの中央付近に存在することが多いので、フレーム８０Ａの外周に沿って窓領域８５を移動させることで、合焦領域ＦＡの視認性が確保される。

［第６変形例］
次に、動画像データ８０が表す画像内にアイコンが表示されている場合における窓領域８５の位置の変更に関する変形例について説明する。本変形例では、一例として図２３に示すように、窓領域位置制御部６２Ｅは、フレーム８０Ａ内にアイコン９２が表示されている場合において、アイコン９２を避ける経路に沿って窓領域８５を移動させる。これにより、窓領域８５が重なることによるアイコン９２の視認性の低下が防止される。

例えば、アイコン９２は、撮像装置１０の各種の設定情報（フォーカスモードの種別、Ｆ値、フラッシュのオン／オフなど）を表す表示画像である。

別の例として図２４に示すように、窓領域位置制御部６２Ｅは、窓領域８５が移動する経路上にアイコン９２が存在する場合に、窓領域８５が移動する経路外にアイコン９２を移動させてもよい。

［第７変形例］
次に、窓領域８５が、動画像データ８０が表す画像の一辺に沿って延伸した形状である場合における窓領域８５の位置の変更に関する変形例について説明する。本変形例では、一例として図２５に示すように、窓領域８５は、フレーム８０Ａの長辺方向であるＸ方向に延伸した矩形状である。本変形例では、窓領域８５には、情報画像データ８２として、フレーム８０ＡのＹ方向に関する輝度値をプロットしたヒストグラム又は波形が表示される。

この場合、窓領域８５をＸ方向に移動させることはできない。そこで、窓領域８５の形状を変更して移動させると、窓領域８５に表示されるヒストグラム又は波形の視認性が低下する。このため、本変形例では、窓領域位置制御部６２Ｅは、窓領域８５の位置の変更方向を、窓領域８５の延伸方向と交差する方向に制限する。図２５に示す例では、窓領域位置制御部６２Ｅは、窓領域８５の位置の変更方向をＹ方向に制限する。なお、窓領域８５はＹ方向に延伸していてもよい。この場合、窓領域位置制御部６２Ｅは、窓領域８５の位置の変更方向をＸ方向に制限する。

［第８変形例］
次に、窓領域８５の位置の変更を、撮像装置１０に対してユーザが操作を行っている場合に禁止する例を説明する。ユーザが、撮像装置１０に対してピント調整などの操作を行っている最中に窓領域８５が移動すると、煩わしく、操作に支障をきたす恐れがある。このため、本変形例では、窓領域位置制御部６２Ｅは、ユーザが特定の操作を行っている場合に、窓領域８５の位置を変更しない。

本変形例では、窓領域位置制御部６２Ｅは、一例として図２６に示す窓領域位置制御処理を行う。まず、ステップＳＴ６００で、窓領域位置制御部６２Ｅは、窓領域８５の位置を変更する条件を満たすか否かを判定する。例えば、窓領域位置制御部６２Ｅは、合焦領域ＦＡに変更が生じた場合には、窓領域８５の位置を変更する条件を満たすと判定する。ステップＳＴ６００において、条件を満たさない場合には、判定が否定されて、窓領域位置制御処理はステップＳＴ６０３へ移行する。ステップＳＴ６００において、条件を満たす場合には、判定が肯定されて、窓領域位置制御処理はステップＳＴ６０１へ移行する。

ステップＳＴ６０１で、窓領域位置制御部６２Ｅは、撮像装置１０に対してユーザにより特定の操作が行われているか否かを判定する。ステップＳＴ６０１において、特定の操作が行われていない場合には、判定が否定されて、窓領域位置制御処理はステップＳＴ６０３へ移行する。ステップＳＴ６０１において、特定の操作が行われている場合には、判定が肯定されて、窓領域位置制御処理はステップＳＴ６０２へ移行する。

ステップＳＴ６０２で、窓領域位置制御部６２Ｅは、操作が終了したか否かを判定する。ステップＳＴ６０２において、操作が終了していない場合には、判定が否定されて、窓領域位置制御処理は再びステップＳＴ６０２を実行する。ステップＳＴ６０２において、操作が終了した場合には、判定が肯定されて、窓領域位置制御処理はステップＳＴ６０３へ移行する。

ステップＳＴ６０３で、窓領域位置制御部６２Ｅは、窓領域８５の位置を変更する。ステップＳＴ６０３で、窓領域８５の位置が変更された後、窓領域位置制御処理はステップＳＴ６０４へ移行する。

ステップＳＴ６０４で、窓領域位置制御部６２Ｅは、終了条件を満足したか否かを判定する。ステップＳＴ６０４において、終了条件を満足していない場合は、判定が否定されて、窓領域位置制御処理はステップＳＴ６００へ移行する。ステップＳＴ６０４において、終了条件を満足した場合は、判定が肯定されて、窓領域位置制御処理が終了する。

以上のように、本変形例では、ユーザにより特定の操作が行われている場合に、窓領域８５の位置を変更しないので、操作性と窓領域８５の視認性とが両立する。

［第９変形例］
次に、情報画像データ８２がピーキング画像データである場合について説明する。ピーキング画像データとは、合焦部分が強調された画像データであり、情報画像データ生成部６２Ｂにより生成される。本変形例では、窓領域位置制御部６２Ｅは、窓領域８５の位置を合焦領域ＦＡに重なる位置に設定する。

一例として図２７に示すように、人物１１Ａの顔部分が合焦領域ＦＡとして検出されている場合を想定する。この場合、窓領域位置制御部６２Ｅは、窓領域８５の位置を合焦領域ＦＡに重なる位置に設定する。窓領域８５には、人物１１Ａの顔部分における合焦部分（例えば輪郭）が強調されたピーキング画像データが表示される。

なお、合焦領域ＦＡの面積に応じて窓領域８５の大きさを変更してもよい。図２７に示す例では、ピーキング画像内の顔の大きさが、フレーム８０Ａ内における人物１１Ａの顔の大きさよりも大きくなるように、窓領域８５を拡大している。

このように、情報画像データ８２がピーキング画像データである場合に、ピーキング画像に限って、窓領域８５の位置を合焦領域ＦＡに重なる位置に設定することで、ユーザによる合焦確認の精度が向上する。

［第１０変形例］
次に、動画像データ８０が表す画像内の一定割合以上の領域が合焦領域ＦＡであって、合焦領域ＦＡに重ならない領域に窓領域８５を設定することができない場合について説明する。上記第２変形例では、合焦判定範囲ＦＪＲを狭めることで、窓領域８５の位置を変更可能な領域を広げているが、本変形例では、窓領域８５を、フレーム８０Ａ内の特定の位置に設定し、透過率を上げた状態とする

一例として図２８に示すように、フレーム８０Ａ内に多数の合焦領域ＦＡが検出されることにより、合焦領域ＦＡに重ならない位置に窓領域８５を設定することができない場合を想定する。この場合、本変形例では、窓領域位置制御部６２Ｅは、窓領域８５をフレーム８０Ａ内の特定の位置（例えば、右上隅のデフォルト位置）に設定する。窓領域８５の透過率は、例えば０％から５０％に変更される。窓領域８５の透過率を上げることで、窓領域８５に情報画像データ８２を表示させた場合においても、窓領域８５に重なった領域における人物１１Ａの像が、窓領域８５を透過して視認可能となる。

本変形例によれば、合焦領域ＦＡに重ならないように窓領域８５を設定することができない状況下で、合焦領域ＦＡの視認性を一定程度確保することができる。

上記実施形態及び各変形例は、ＭＦモード時においてライブビュー画像の表示中に行われるＰｉｎＰ表示処理について説明しているが、本開示のＰｉｎＰ表示処理は、ＡＦモード時にも適用可能である。

なお、上記実施形態及び各変形例は、矛盾が生じない限り互いに組み合わせることが可能である。

また、上記実施形態では、ＣＰＵ６２を例示したが、ＣＰＵ６２に代えて、又は、ＣＰＵ６２と共に、他の少なくとも１つのＣＰＵ、少なくとも１つのＧＰＵ、及び／又は、少なくとも１つのＴＰＵを用いるようにしてもよい。

上記実施形態では、ＮＶＭ６４にプログラム６５が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、プログラム６５がＳＳＤ又はＵＳＢメモリなどの可搬型の非一時的記憶媒体に記憶されていてもよい。非一時的記憶媒体に記憶されているプログラム６５は、撮像装置１０のプロセッサ１２にインストールされる。ＣＰＵ６２は、プログラム６５に従ってＰｉｎＰ表示処理を実行する。

また、ネットワークを介して撮像装置１０に接続される他のコンピュータ又はサーバ装置等の記憶装置にプログラム６５を記憶させておき、撮像装置１０の要求に応じてプログラム６５がダウンロードされ、プロセッサ１２にインストールされるようにしてもよい。

なお、撮像装置１０に接続される他のコンピュータ又はサーバ装置等の記憶装置、又はＮＶＭ６４にプログラム６５の全てを記憶させておく必要はなく、プログラム６５の一部を記憶させておいてもよい。

また、図１及び図２に示す撮像装置１０にはプロセッサ１２が内蔵されているが、本開示の技術はこれに限定されず、例えば、プロセッサ１２が撮像装置１０の外部に設けられるようにしてもよい。

上記実施形態では、ＣＰＵ６２、ＮＶＭ６４、及びＲＡＭ６６を含むプロセッサ１２が例示されているが、本開示の技術はこれに限定されず、プロセッサ１２に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、プロセッサ１２に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。

上記実施形態で説明したＰｉｎＰ表示処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、ＰｉｎＰ表示処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することでＰｉｎＰ表示処理を実行する。

ＰｉｎＰ表示処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、ＰｉｎＰ表示処理を実行するハードウェア資源は１つのプロセッサであってもよい。

１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、ＰｉｎＰ表示処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、ＰｉｎＰ表示処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、ＰｉｎＰ表示処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記のＰｉｎＰ表示処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (26)

1. イメージセンサ及びプロセッサを備える撮像装置であって、
   前記プロセッサは、
   前記イメージセンサにより得られた撮像データに基づいて、撮像エリア内における合焦領域を検出し、
   前記イメージセンサにより得られた撮像データに基づいて動画像データを生成し、
   前記動画像データに関連する情報を表す情報画像データを生成し、
   前記動画像データ、及び前記動画像データが表す画像内における窓領域に関連付けられた前記情報画像データを出力し、
   前記合焦領域に応じて前記窓領域の位置を制御し、
   前記動画像データが表す画像内の一定割合以上の領域が前記合焦領域である場合に、被写界深度内の一部の範囲を合焦判定範囲として、再度前記合焦領域を検出する、
   撮像装置。
2. イメージセンサ及びプロセッサを備える撮像装置であって、
   前記プロセッサは、
   前記イメージセンサにより得られた撮像データに基づいて、撮像エリア内における合焦領域を検出し、
   前記イメージセンサにより得られた撮像データに基づいて動画像データを生成し、
   前記動画像データに関連する情報を表す情報画像データを生成し、
   前記動画像データ、及び前記動画像データが表す画像内における窓領域に関連付けられた前記情報画像データを出力し、
   前記合焦領域に応じて前記窓領域の位置を制御し、
   前記撮像データに基づいて被写体の距離を検出し、
   前記合焦領域内に存在する少なくとも１つの被写体が遠ざかる方向に移動して非合焦状態になることにより前記合焦領域が変化した場合に、前記窓領域の位置を一定時間変更しない、
   撮像装置。
3. イメージセンサ及びプロセッサを備える撮像装置であって、
   前記プロセッサは、
   前記イメージセンサにより得られた撮像データに基づいて、撮像エリア内における合焦領域を検出し、
   前記イメージセンサにより得られた撮像データに基づいて動画像データを生成し、
   前記動画像データに関連する情報を表す情報画像データを生成し、
   前記動画像データ、及び前記動画像データが表す画像内における窓領域に関連付けられた前記情報画像データを出力し、
   前記合焦領域に応じて前記窓領域の位置を制御し、
   前記撮像データに基づいて被写体の距離を検出し、
   前記合焦領域内に存在する少なくとも１つの被写体が近づく方向に移動して非合焦状態になることにより前記合焦領域が変化した場合に、前記窓領域を一定時間消去するか、若しくは一定時間透過率を上げる、
   撮像装置。
4. イメージセンサ及びプロセッサを備える撮像装置であって、
   前記プロセッサは、
   前記イメージセンサにより得られた撮像データに基づいて、撮像エリア内における合焦領域を検出し、
   前記イメージセンサにより得られた撮像データに基づいて動画像データを生成し、
   前記動画像データに関連する情報を表す情報画像データを生成し、
   前記動画像データ、及び前記動画像データが表す画像内における窓領域に関連付けられた前記情報画像データを出力し、
   前記合焦領域に応じて前記窓領域の位置を制御し、
   前記撮像データに基づいて被写体の距離を検出し、
   前記合焦領域内に存在しない少なくとも１つの被写体が近づく方向に移動して合焦状態になることにより前記合焦領域が変化した場合に、前記窓領域の位置を一定時間変更しない、
   撮像装置。
5. イメージセンサ及びプロセッサを備える撮像装置であって、
   前記プロセッサは、
   前記イメージセンサにより得られた撮像データに基づいて、撮像エリア内における合焦領域を検出し、
   前記イメージセンサにより得られた撮像データに基づいて動画像データを生成し、
   前記動画像データに関連する情報を表す情報画像データを生成し、
   前記動画像データ、及び前記動画像データが表す画像内における窓領域に関連付けられた前記情報画像データを出力し、
   前記合焦領域に応じて前記窓領域の位置を制御し、
   前記動画像データが表す画像内の一定割合以上の領域が前記合焦領域であって、前記合焦領域に重ならない領域に前記窓領域を設定することができない場合に、前記窓領域を、特定の位置に設定し、透過率を上げた状態とする、
   撮像装置。
6. 前記プロセッサは、前記動画像データ及び前記情報画像データを表示先に出力する
   請求項１から請求項５のうちいずれか１項に記載の撮像装置。
7. 前記プロセッサは、
   前記窓領域に前記情報画像データを配置して、前記動画像データと前記情報画像データとを合成することにより生成した合成動画像データを出力する、
   請求項１から請求項６のうちいずれか１項に記載の撮像装置。
8. 前記プロセッサは、
   前記合焦領域に重ならない領域に前記窓領域の位置を設定する、
   請求項１から請求項７のうちいずれか１項に記載の撮像装置。
9. 前記プロセッサは、
   被写界深度内の一部の範囲を合焦判定範囲として前記合焦領域を検出する、
   請求項１から請求項８のうちいずれか１項に記載の撮像装置。
10. 絞りを備え、
    前記プロセッサは、前記絞りの絞り値に応じて前記合焦判定範囲を設定する、
    請求項９に記載の撮像装置。
11. 前記プロセッサは、
    前記動画像データが表す画像の外周に沿って前記窓領域の位置を変更する、
    請求項１から請求項１０のうちいずれか１項に記載の撮像装置。
12. 前記プロセッサは、
    前記動画像データが表す画像内にアイコンが表示されている場合に、前記アイコンを避ける経路に沿って前記窓領域を移動させるか、若しくは前記窓領域が移動する経路外に前記アイコンを移動させる、
    請求項１から請求項１１のうちいずれか１項に記載の撮像装置。
13. 前記プロセッサは、
    前記窓領域が、前記動画像データが表す画像の一辺に沿って延伸した形状である場合に、前記窓領域の位置の変更方向を、前記窓領域の延伸方向と交差する方向に制限する、
    請求項１から請求項１０のうちいずれか１項に記載の撮像装置。
14. 前記プロセッサは、
    特定の操作が行われている間には、前記窓領域の位置を変更しない、
    請求項１から請求項１３のうちいずれか１項に記載の撮像装置。
15. 前記情報画像データは、前記動画像データに補正を施したデータ、輝度を表すヒストグラム、又は輝度を表す波形である、
    請求項１から請求項１４のうちいずれか１項に記載の撮像装置。
16. 前記プロセッサは、
    前記情報画像データがピーキング画像データである場合には、前記窓領域の位置を、前記合焦領域に重なる位置に設定する、
    請求項１から請求項７、及び請求項９から請求項１４のうちいずれか１項に記載の撮像装置。
17. 前記プロセッサは、
    前記合焦領域の大きさに応じて前記窓領域の大きさを変更する、
    請求項１６に記載の撮像装置。
18. 前記イメージセンサは、複数の位相差画素を備え、
    前記プロセッサは、
    前記撮像データのうち、前記位相差画素から得られた撮像データに基づいて前記合焦領域を検出する、
    請求項１から請求項１７のうちいずれか１項に記載の撮像装置。
19. 前記位相差画素は、画素の全領域によって光電変換が行われた非位相差画像データと、画素の一部の領域によって光電変換が行われた位相差画像データとを選択的に出力可能であり、
    前記プロセッサは、
    前記位相差画素が前記位相差画像データを出力した場合における撮像データに基づいて前記合焦領域を検出する、
    請求項１８に記載の撮像装置。
20. イメージセンサにより得られた撮像データに基づいて、撮像エリア内における合焦領域を検出すること、
    前記イメージセンサにより得られた撮像データに基づいて動画像データを生成すること、
    前記動画像データに関連する情報を表す情報画像データを生成すること、
    前記動画像データ、及び前記動画像データが表す画像内における窓領域に関連付けられた前記情報画像データを出力すること、
    前記合焦領域に応じて前記窓領域の位置を制御すること、
    前記動画像データが表す画像内の一定割合以上の領域が前記合焦領域である場合に、被写界深度内の一部の範囲を合焦判定範囲として、再度前記合焦領域を検出すること、
    を含む情報処理方法。
21. イメージセンサにより得られた撮像データに基づいて、撮像エリア内における合焦領域を検出すること、
    前記イメージセンサにより得られた撮像データに基づいて動画像データを生成すること、
    前記動画像データに関連する情報を表す情報画像データを生成すること、
    前記動画像データ、及び前記動画像データが表す画像内における窓領域に関連付けられた前記情報画像データを出力すること、
    前記合焦領域に応じて前記窓領域の位置を制御すること、
    前記撮像データに基づいて被写体の距離を検出すること、
    前記合焦領域内に存在する少なくとも１つの被写体が遠ざかる方向に移動して非合焦状態になることにより前記合焦領域が変化した場合に、前記窓領域の位置を一定時間変更しないこと、
    を含む情報処理方法。
22. イメージセンサにより得られた撮像データに基づいて、撮像エリア内における合焦領域を検出すること、
    前記イメージセンサにより得られた撮像データに基づいて動画像データを生成すること、
    前記動画像データに関連する情報を表す情報画像データを生成すること、
    前記動画像データ、及び前記動画像データが表す画像内における窓領域に関連付けられた前記情報画像データを出力すること、
    前記合焦領域に応じて前記窓領域の位置を制御すること、
    前記撮像データに基づいて被写体の距離を検出すること、
    前記合焦領域内に存在する少なくとも１つの被写体が近づく方向に移動して非合焦状態になることにより前記合焦領域が変化した場合に、前記窓領域を一定時間消去するか、若しくは一定時間透過率を上げること、
    を含む情報処理方法。
23. イメージセンサにより得られた撮像データに基づいて、撮像エリア内における合焦領域を検出すること、
    前記イメージセンサにより得られた撮像データに基づいて動画像データを生成すること、
    前記動画像データに関連する情報を表す情報画像データを生成すること、
    前記動画像データ、及び前記動画像データが表す画像内における窓領域に関連付けられた前記情報画像データを出力すること、
    前記合焦領域に応じて前記窓領域の位置を制御すること、
    前記撮像データに基づいて被写体の距離を検出すること、
    前記合焦領域内に存在しない少なくとも１つの被写体が近づく方向に移動して合焦状態になることにより前記合焦領域が変化した場合に、前記窓領域の位置を一定時間変更しないこと、
    を含む情報処理方法。
24. イメージセンサにより得られた撮像データに基づいて、撮像エリア内における合焦領域を検出すること、
    前記イメージセンサにより得られた撮像データに基づいて動画像データを生成すること、
    前記動画像データに関連する情報を表す情報画像データを生成すること、
    前記動画像データ、及び前記動画像データが表す画像内における窓領域に関連付けられた前記情報画像データを出力すること、
    前記合焦領域に応じて前記窓領域の位置を制御すること、
    前記動画像データが表す画像内の一定割合以上の領域が前記合焦領域であって、前記合焦領域に重ならない領域に前記窓領域を設定することができない場合に、前記窓領域を、特定の位置に設定し、透過率を上げた状態とすること、
    を含む情報処理方法。
25. イメージセンサ及びプロセッサを備える撮像装置であって、
    前記プロセッサは、
    前記イメージセンサにより得られた撮像データに基づいて、撮像エリア内における合焦領域を検出し、
    前記イメージセンサにより得られた撮像データに基づいて動画像データを生成し、
    前記動画像データに関連する情報を表す情報画像データを生成し、
    前記動画像データ、及び前記動画像データが表す画像内における窓領域に関連付けられた前記情報画像データを出力し、
    前記合焦領域に応じて前記窓領域の位置を制御し、
    前記撮像データに基づいて被写体の距離を検出し、
    前記合焦領域内に存在する被写体の移動に応じて前記合焦領域が変化した場合に、前記窓領域の位置の制御又は前記窓領域の表示状態の変更を行う、
    撮像装置。
26. イメージセンサにより得られた撮像データに基づいて、撮像エリア内における合焦領域を検出すること、
    前記イメージセンサにより得られた撮像データに基づいて動画像データを生成すること、
    前記動画像データに関連する情報を表す情報画像データを生成すること、
    前記動画像データ、及び前記動画像データが表す画像内における窓領域に関連付けられた前記情報画像データを出力すること、
    前記合焦領域に応じて前記窓領域の位置を制御すること、
    前記撮像データに基づいて被写体の距離を検出すること、
    前記合焦領域内に存在する被写体の移動に応じて前記合焦領域が変化した場合に、前記窓領域の位置の制御又は前記窓領域の表示状態の変更を行うこと、
    を含む情報処理方法。