JP7477726B2 - 撮像装置、撮像方法、及びプログラム - Google Patents

Description

本開示の技術は、撮像装置、撮像方法、及びプログラムに関する。

特開２００８－１４５４６５号公報には、マニュアルフォーカス調整機能を有し、撮影前に使用者の任意により絞りＦ値を設定することができる機能を有し、コントラストを検出してその高さにより合焦判定を行う機能を有した撮影装置において、レンズを絞り開放Ｆ値にしてフォーカス駆動可能範囲のコントラストデータを撮像素子から全て取り込み、取得したコントラストデータのテーブルを合焦判定テーブルに変換し、コントラストデータに基づいて得られた被写界深度と合焦判定テーブルにより、ライブビューに合焦分布データを２色の着色によって重畳表示するための表示方法及び合焦分布データが表示されるユーザインターフェイスが開示されている。

特開２００７－２１４８４５号公報には、多数ポイント同時合焦枠表示モードを備えた電子カメラであって、多数ポイント同時合焦枠表示モード時に、撮像素子により順次得られる撮像画像のコントラスト値を比較し、コントラスト値の差が所定の閾値内にあるコントラストの集まりに対応する被写体をそれぞれ合焦対象候補として取得する合焦対象候補取得手段と、各合焦対象候補の合焦レンズ位置を取得する合焦ポイント取得手段と、合焦ポイント取得手段によって取得された各合焦対象候補の合焦レンズ位置を比較して合焦ポイントが近似するか否かを判定する合焦ポイント近似判定手段と、合焦ポイント近似判定手段によって合焦レンズ位置が近似すると判定された合焦対象候補の画像毎に略同一色の合焦枠を表示する合焦枠表示制御手段と、を備える電子カメラが開示されている。

特開２０１０－０９３４２２号公報には、被写体を撮影する撮像装置において、被写体の距離情報を検出する手段と、距離情報に基づき距離に応じて被写体を抽出する手段と、合焦レンズの位置から得られた焦点距離及び絞りのＦ値に基づきフォーカス情報を算出する手段と、表示画面上に、被写体の画像と、距離を軸とするグラフ上に表示された、抽出された被写体に基づいて作成された被写体の位置を示す被写体位置マークにフォーカス情報を付加した被写体距離グラフとを表示する表示手段と、表示された被写体距離グラフ又は被写体の画像に対する操作に応じてフォーカス変更及び絞り調節を行う手段と、を備える撮像装置が開示されている。

特開平１０－１９７９３８号公報には、撮影距離の設定状態及び絞りの設定値に基づいて算出されるピントの合う距離適正範囲を、距離目盛に対応させて表示するように構成したピントの合う距離範囲を表示するカメラが開示されている。

特開２０１０－１７７７４１号公報には、撮像対象物を撮像する撮像部と、フォーカスの調整を行うフォーカス調整部と、撮像対象物の奥行き方向での位置を表す奥行き位置と、フォーカスの位置を表すフォーカス位置とを示すためのマップ画像を生成するマップ画像生成部と、生成されたマップ画像を表示する表示部と、を含む撮像装置が開示されている。

本開示の技術に係る一つの実施形態は、例えば、動画像データにより示される画像に基づいて、ユーザが被写界深度の境界部の位置を把握することができる撮像装置、撮像方法、及びプログラムを提供する。

本開示の撮像装置は、イメージセンサ及びプロセッサを備える撮像装置であって、プロセッサは、イメージセンサによって撮像される撮像エリア内の複数の被写体と撮像装置との間の距離に関する距離データを取得し、距離データに基づいて、被写界深度の境界部の距離に存在する境界被写体の領域を示す境界データを生成し、イメージセンサにより撮像されることで得られた画像データに基づいて境界データを含む動画像データを生成し、動画像データを出力する。

プロセッサは、境界被写体の領域と境界被写体の領域以外の領域とが区別される態様で表現された第１画像を第１ディスプレイに表示させるためのデータとして動画像データを出力してもよい。

境界データは、画像データに基づいて第２ディスプレイに表示される第２画像に対して境界被写体の領域を示す画像処理に用いられるデータでもよい。

画像処理は、第２画像を構成する複数の第１画素のうち境界被写体の領域に対応する第１画素に対して既定色を付す処理でもよい。

画像処理は、第２画像を構成する複数の第２画素のうち境界被写体の領域に対応する第２画素に対して既定輝度を付す処理でもよい。

画像処理は、第２画像に対して境界被写体の領域を示すマークを付す処理でもよい。

画像処理は、距離データに基づいて生成された距離画像を第２画像に重畳させる処理でもよい。

境界部は、被写界深度の近点側に位置する第１境界部と、被写界深度の遠点側に位置する第２境界部と、を含み、境界被写体は、第１境界部の距離に存在する第１境界被写体と、第２境界部の距離に存在する第２境界被写体と、を含み、境界データは、第１境界被写体の領域を示す第１境界データと、第２境界被写体の領域を示す第２境界データと、を含んでもよい。

第１境界データは、画像データに基づいて第３ディスプレイに表示される第３画像に対して、第１境界被写体の領域を第１態様で表すデータであり、第２境界データは、第３画像に対して、第２境界被写体の領域を第１態様と異なる第２態様で表すデータでもよい。

境界部は、被写界深度の近点及び遠点のうちの少なくとも一方でもよい。

プロセッサは、距離データに基づいて、複数の被写体と撮像装置との間の距離のうち境界部の距離と等しい距離に存在する境界被写体の領域を示す領域データを取得し、領域データに基づいて、境界データを生成してもよい。

境界部は、被写界深度の近点を含む範囲、及び前記被写界深度の遠点を含む範囲のうちの少なくとも一方でもよい。

被写界深度の近点を含む範囲は、被写界深度の近点から被写界深度の遠点側に延びる範囲でもよい。

被写界深度の遠点を含む範囲は、被写界深度の遠点から被写界深度の近点側に延びる範囲でもよい。

プロセッサは、境界部の距離を含む距離範囲を設定し、距離データに基づいて、複数の被写体と撮像装置との間の距離のうち距離範囲に収まる距離に存在する境界被写体の領域を示す領域データを取得し、領域データに基づいて、境界データを生成してもよい。

境界部の幅は、被写界深度の深さに応じて、異なってもよい。

プロセッサは、被写界深度の深さが深くなるに従って、境界部の幅を広げ、被写界深度の深さが浅くなるに従って、境界部の幅を狭めてもよい。

境界部の幅は、動画像データに基づいて第４ディスプレイに表示される第４画像を構成する複数の画素のうち境界部に対応する画素の数に応じて、異なってもよい。

撮像装置は、撮像レンズを備え、イメージセンサの許容錯乱円径は、撮像レンズにおける物体距離、焦点距離、絞り値のうちの少なくとも１つに応じて、異なってもよい。

プロセッサは、物体距離、焦点距離、絞り値、及び既定許容錯乱円径に基づいて、第１被写界深度を取得し、第１被写界深度の深さが第１既定深さよりも浅い場合、許容錯乱円径は第１既定値よりも小さくてもよい。

プロセッサは、表示用画像を第５ディスプレイに表示させる場合、距離データに基づいて、複数の被写体のうち物体距離に存在する合焦被写体の領域を示す合焦位置データ、及び境界データを動画像データに含めることにより、表示用画像を表す表示用画像データを生成し、表示用画像データを第５ディスプレイに対して出力し、記録用画像を第５ディスプレイに表示させる場合、動画像データを第５ディスプレイに対して出力してもよい。

プロセッサは、画像データを非一時的記憶媒体に記憶させてもよい。

イメージセンサは、複数の位相差画素を有し、プロセッサは、位相差画素から出力された位相差画素データに基づいて距離データを取得してもよい。

位相差画素は、非位相差画素データと、位相差画素データとを選択的に出力する画素であり、非位相差画素データは、位相差画素の全領域によって光電変換が行われることで得られる画素データであり、位相差画素データは、位相差画素の一部の領域によって光電変換が行われることで得られる画素データでもよい。

本開示の撮像方法は、撮像装置が備えるイメージセンサによって撮像される撮像エリア内の複数の被写体と撮像装置との間の距離に関する距離データを取得すること、距離データに基づいて、被写界深度の境界部の距離に存在する境界被写体の領域を示す境界データを生成すること、イメージセンサにより撮像されることで得られた画像データに基づいて境界データを含む動画像データを生成すること、及び動画像データを出力することを備える。

本開示のプログラムは、撮像装置が備えるイメージセンサによって撮像される撮像エリア内の複数の被写体と撮像装置との間の距離に関する距離データを取得すること、距離データに基づいて、被写界深度の境界部の距離に存在する境界被写体の領域を示す境界データを生成すること、イメージセンサにより撮像されることで得られた画像データに基づいて境界データを含む動画像データを生成すること、及び動画像データを出力することを含む処理をコンピュータに実行させるためのプログラムである。

第１実施形態に係る撮像装置の構成の一例を示す概略構成図である。 第１実施形態に係る撮像装置の光学系及び電気系のハードウェア構成の一例を示す概略構成図である。 第１実施形態に係る光電変換素子の構成の一例を示す概略構成図である。 第１実施形態に係る撮像レンズと被写界深度との関係の一例を説明する説明図である。 第１実施形態に係るＣＰＵの機能的な構成の一例を示すブロック図である。 第１実施形態に係る撮像装置の第１動作例の一例を示す説明図である。 第１実施形態に係る撮像装置の第１動作例によって得られた画像の一例を示す正面図である。 第１実施形態に係る撮像装置の第２動作例の一例を示す説明図である。 第１実施形態に係る撮像装置の第２動作例によって得られた画像の一例を示す正面図である。 第１実施形態に係る撮像装置の第３動作例の一例を示す説明図である。 第１実施形態に係る撮像装置の第３動作例によって得られた画像の一例を示す正面図である。 第１実施形態に係るＣＰＵが実行する動画像生成処理のうちの第１処理の流れの一例を示すフローチャートである。 第１実施形態に係るＣＰＵが実行する動画像生成処理のうちの第２処理の流れの一例を示すフローチャートである。 第２実施形態に係る撮像装置の第１動作例の一例を示す説明図である。 第２実施形態に係る撮像装置の第２動作例の一例を示す説明図である。 第２実施形態に係る撮像装置の第３動作例の一例を示す説明図である。 第２実施形態に係るＣＰＵが実行する動画像生成処理のうちの第１処理の流れの一例を示すフローチャートである。 第２実施形態に係るＣＰＵが実行する動画像生成処理のうちの第２処理の流れの一例を示すフローチャートである。 第３実施形態に係る撮像装置の第１動作例の一例を示す説明図である。 第３実施形態に係る撮像装置の第２動作例の一例を示す説明図である。 第３実施形態に係るＣＰＵが実行する動画像生成処理の流れの一部の一例を示すフローチャートである。 第４実施形態に係る撮像装置の動作例の一例を示す説明図である。 第４実施形態に係る第１後方被写界深度と許容錯乱円径との関係の一例を示す説明図である。 第４実施形態に係るＣＰＵが実行する動画像生成処理の流れの一部の一例を示すフローチャートである。 第５実施形態に係る撮像装置の第１動作例の一例を示す説明図である。 第５実施形態に係る撮像装置の第１動作例によって得られた画像の一例を示す正面図である。 第５実施形態に係るＣＰＵが実行する動画像生成処理のうちの第１処理の流れの一例を示すフローチャートである。 第５実施形態に係るＣＰＵが実行する動画像生成処理のうちの第２処理の流れの一例を示すフローチャートである。

以下、添付図面に従って本開示の技術に係る撮像装置、撮像方法、及びプログラムの一例について説明する。

先ず、以下の説明で使用される文言について説明する。

ＣＰＵとは、“Central Processing Unit”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＴＰＵとは、“Tensor processing unit”の略称を指す。ＮＶＭとは、“Non-volatile memory”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＩＣとは、“Integrated Circuit”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。Ｉ／Ｆとは、“Interface”の略称を指す。ＵＩとは、“User Interface”の略称を指す。ｆｐｓとは、“frame per second”の略称を指す。ＭＦとは、“Manual Focus”の略称を指す。ＡＦとは、“Auto Focus”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。Ａ／Ｄとは、“Analog/Digital”の略称を指す。ＰＣとは、“Personal Computer”の略称を指す。ＬｉＤＡＲとは、“Light Detection And Ranging”の略称を指す。ＴＯＦとは、“Time of Flight”の略称を指す。ＥＶＦとは、“Electronic View Finder”の略称を指す。

本明細書において、「平行」とは、完全な平行の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの平行を指す。また、本明細書において、「直交」とは、完全な直交の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの直交を指す。また、本明細書の説明において、「一致」とは、完全な一致の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの一致を指す。また、本明細書の説明において、「等しい」とは、完全な「等しい」の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの「等しい」を指す。また、以下の説明において「～」を用いて表される数値範囲は、「～」の前後に記載される数値を下限値及び上限値として含む範囲を意味する。

［第１実施形態］
一例として図１に示すように、撮像装置１０は、被写体（図示省略）を撮像する装置であり、コントローラ１２、撮像装置本体１６、及び交換レンズ１８を備えている。撮像装置１０は、本開示の技術に係る「撮像装置」の一例であり、コントローラ１２は、本開示の技術に係る「コンピュータ」の一例である。コントローラ１２は、撮像装置本体１６に内蔵されており、撮像装置１０の全体を制御する。交換レンズ１８は、撮像装置本体１６に交換可能に装着される。交換レンズ１８には、フォーカスリング１８Ａが設けられている。フォーカスリング１８Ａは、撮像装置１０のユーザ（以下、単に「ユーザ」と称する）等が撮像装置１０による被写体に対する焦点の調整を手動で行う場合に、ユーザ等によって操作される。

図１に示す例では、撮像装置１０の一例として、レンズ交換式のデジタルカメラが示されている。ただし、本例は、あくまでも一例に過ぎず、撮像装置１０は、レンズ固定式のデジタルカメラであってもよいし、スマートデバイス、ウェアラブル端末、細胞観察装置、眼科観察装置、又は外科顕微鏡等の各種の電子機器に内蔵されるデジタルカメラであってもよい。

撮像装置本体１６には、イメージセンサ２０が設けられている。イメージセンサ２０は、本開示の技術に係る「イメージセンサ」の一例である。イメージセンサ２０は、一例として、ＣＭＯＳイメージセンサである。イメージセンサ２０は、少なくとも１つの被写体を含む撮像エリアを撮像する。交換レンズ１８が撮像装置本体１６に装着された場合に、被写体を示す被写体光は、交換レンズ１８を透過してイメージセンサ２０に結像され、被写体の画像を示す画像データがイメージセンサ２０によって生成される。

第１実施形態では、イメージセンサ２０としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、イメージセンサ２０がＣＣＤイメージセンサ等の他種類のイメージセンサであっても本開示の技術は成立する。

撮像装置本体１６の上面には、レリーズボタン２２及びダイヤル２４が設けられている。ダイヤル２４は、撮像系の動作モード及び再生系の動作モード等の設定の際に操作され、ダイヤル２４が操作されることによって、撮像装置１０では、動作モードとして、撮像モード、再生モード、及び設定モードが選択的に設定される。撮像モードは、撮像装置１０に対して撮像を行わせる動作モードである。再生モードは、撮像モードで記録用の撮像が行われることによって得られた画像（例えば、静止画像及び／又は動画像）を再生する動作モードである。設定モードは、撮像に関連する制御で用いられる各種の設定値を設定する場合などに撮像装置１０に対して設定する動作モードである。

レリーズボタン２２は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。撮像装置１０の構成によっては、撮像準備指示状態とは、ユーザの指がレリーズボタン２２に接触した状態であってもよく、撮像指示状態とは、操作するユーザの指がレリーズボタン２２に接触した状態から離れた状態に移行した状態であってもよい。

撮像装置本体１６の背面には、指示キー２６及びタッチパネル・ディスプレイ３２が設けられている。タッチパネル・ディスプレイ３２は、ディスプレイ２８及びタッチパネル３０（図２も参照）を備えている。ディスプレイ２８の一例としては、ＥＬディスプレイ（例えば、有機ＥＬディスプレイ又は無機ＥＬディスプレイ）が挙げられる。ディスプレイ２８は、ＥＬディスプレイではなく、液晶ディスプレイ等の他種類のディスプレイであってもよい。

ディスプレイ２８は、画像及び／又は文字情報等を表示する。ディスプレイ２８は、撮像装置１０の動作モードが撮像モードである場合に、ライブビュー画像用の撮像、すなわち、連続的な撮像が行われることにより得られたライブビュー画像の表示に用いられる。ここで、「ライブビュー画像」とは、イメージセンサ２０によって撮像されることにより得られた画像データに基づく表示用の動画像を指す。ライブビュー画像を得るために行われる撮像（以下、「ライブビュー画像用撮像」とも称する）は、例えば、６０ｆｐｓのフレームレートに従って行われる。６０ｆｐｓは、あくまでも一例に過ぎず、６０ｆｐｓ未満のフレームレートであってもよいし、６０ｆｐｓを超えるフレームレートであってもよい。

ディスプレイ２８は、撮像装置１０に対してレリーズボタン２２を介して静止画像用の撮像の指示が与えられた場合に、静止画像用の撮像が行われることで得られた静止画像の表示にも用いられる。また、ディスプレイ２８は、撮像装置１０の動作モードが再生モードである場合の再生画像等の表示にも用いられる。更に、ディスプレイ２８は、撮像装置１０の動作モードが設定モードである場合に、各種メニューを選択可能なメニュー画面の表示、及び、撮像に関連する制御で用いられる各種の設定値等を設定するための設定画面の表示にも用いられる。

タッチパネル３０は、透過型のタッチパネルであり、ディスプレイ２８の表示領域の表面に重ねられている。タッチパネル３０は、指又はスタイラスペン等の指示体による接触を検知することで、ユーザからの指示を受け付ける。以下では、説明の便宜上、上述した「全押し状態」には、撮像開始用のソフトキーに対してユーザがタッチパネル３０を介してオンした状態も含まれる。

第１実施形態では、タッチパネル・ディスプレイ３２の一例として、タッチパネル３０がディスプレイ２８の表示領域の表面に重ねられているアウトセル型のタッチパネル・ディスプレイを挙げているが、これはあくまでも一例に過ぎない。例えば、タッチパネル・ディスプレイ３２として、オンセル型又はインセル型のタッチパネル・ディスプレイを適用することも可能である。

指示キー２６は、各種の指示を受け付ける。ここで、「各種の指示」とは、例えば、メニュー画面の表示の指示、１つ又は複数のメニューの選択の指示、選択内容の確定の指示、選択内容の消去の指示、ズームイン、ズームアウト、及びコマ送り等の各種の指示等を指す。また、これらの指示はタッチパネル３０によってされてもよい。

一例として図２に示すように、イメージセンサ２０は、光電変換素子７２を備えている。光電変換素子７２は、受光面７２Ａを有する。光電変換素子７２は、受光面７２Ａの中心と光軸ＯＡとが一致するように撮像装置本体１６内に配置されている（図１も参照）。光電変換素子７２は、マトリクス状に配置された複数の感光画素７２Ｂ（図３参照）を有しており、受光面７２Ａは、複数の感光画素７２Ｂによって形成されている。各感光画素７２Ｂは、マイクロレンズ７２Ｃ（図３参照）を有する。各感光画素７２Ｂは、フォトダイオード（図示省略）を有する物理的な画素であり、受光した光を光電変換し、受光量に応じた電気信号を出力する。

また、複数の感光画素７２Ｂには、赤（Ｒ）、緑（Ｇ）、又は青（Ｂ）のカラーフィルタ（図示省略）が既定のパターン配列（例えば、ベイヤ配列、ＲＧＢストライプ配列、Ｒ／Ｇ市松配列、Ｘ－Ｔｒａｎｓ（登録商標）配列、又はハニカム配列等）でマトリクス状に配置されている。

交換レンズ１８は、撮像レンズ４０を備えている。撮像レンズ４０は、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄを有する。対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄは、被写体側（物体側）から撮像装置本体１６側（像側）にかけて、光軸ＯＡに沿って、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄの順に配置されている。撮像レンズ４０は、本開示の技術に係る「撮像レンズ」の一例である。

また、交換レンズ１８は、制御装置３６、第１アクチュエータ３７、第２アクチュエータ３８、第３アクチュエータ３９、第１位置センサ４２Ａ、第２位置センサ４２Ｂ、及び絞り量センサ４２Ｃを備えている。制御装置３６は、撮像装置本体１６からの指示に従って交換レンズ１８の全体を制御する。制御装置３６は、例えば、ＣＰＵ、ＮＶＭ、及びＲＡＭ等を含むコンピュータを有する装置である。制御装置３６のＮＶＭは、例えば、ＥＥＰＲＯＭである。ただし、これは、あくまでも一例に過ぎず、ＥＥＰＲＯＭに代えて、又は、ＥＥＰＲＯＭと共に、ＨＤＤ、及び／又はＳＳＤ等を制御装置３６のＮＶＭとして適用してもよい。また、制御装置３６のＲＡＭは、各種情報を一時的に記憶し、ワークメモリとして用いられる。制御装置３６において、ＣＰＵは、ＮＶＭから必要なプログラムを読み出し、読み出した各種プログラムをＲＡＭ上で実行することで交換レンズ１８の全体を制御する。

なお、ここでは、制御装置３６の一例として、コンピュータを有する装置を挙げているが、これは、あくまでも一例に過ぎず、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、制御装置３６として、例えば、ハードウェア構成及びソフトウェア構成の組み合わせによって実現される装置を用いてよい。

第１アクチュエータ３７は、フォーカス用スライド機構（図示省略）及びフォーカス用モータ（図示省略）を備えている。フォーカス用スライド機構には、光軸ＯＡに沿ってスライド可能にフォーカスレンズ４０Ｂが取り付けられている。また、フォーカス用スライド機構にはフォーカス用モータが接続されており、フォーカス用スライド機構は、フォーカス用モータの動力を受けて作動することでフォーカスレンズ４０Ｂを光軸ＯＡに沿って移動させる。

第２アクチュエータ３８は、ズーム用スライド機構（図示省略）及びズーム用モータ（図示省略）を備えている。ズーム用スライド機構には、光軸ＯＡに沿ってスライド可能にズームレンズ４０Ｃが取り付けられている。また、ズーム用スライド機構にはズーム用モータが接続されており、ズーム用スライド機構は、ズーム用モータの動力を受けて作動することでズームレンズ４０Ｃを光軸ＯＡに沿って移動させる。

なお、ここでは、フォーカス用スライド機構とズーム用スライド機構とが別々に設けられている形態例を挙げているが、これはあくまでも一例に過ぎず、フォーカス及びズームを共に実現可能な一体型のスライド機構であってもよい。また、この場合、フォーカス用モータとズーム用モータとを用いずに、１つのモータによって生成された動力がスライド機構に伝達されるようにすればよい。

第３アクチュエータ３９は、動力伝達機構（図示省略）及び絞り用モータ（図示省略）を備えている。絞り４０Ｄは、開口４０Ｄ１を有しており、開口４０Ｄ１の大きさが可変な絞りである。開口４０Ｄ１は、例えば、複数枚の羽根４０Ｄ２によって形成されている。複数枚の羽根４０Ｄ２は、動力伝達機構に連結されている。また、動力伝達機構には絞り用モータが接続されており、動力伝達機構は、絞り用モータの動力を複数枚の羽根４０Ｄ２に伝達する。複数枚の羽根４０Ｄ２は、動力伝達機構から伝達される動力を受けて作動することで開口４０Ｄ１の大きさを変化させる。開口４０Ｄ１の大きさが変化することで、絞り４０Ｄによる絞り量が変化し、これによって露出が調節される。

フォーカス用モータ、ズーム用モータ、及び絞り用モータは、制御装置３６に接続されており、制御装置３６によってフォーカス用モータ、ズーム用モータ、及び絞り用モータの各駆動が制御される。なお、第１実施形態では、フォーカス用モータ、ズーム用モータ、及び絞り用モータの一例として、ステッピングモータが採用されている。したがって、フォーカス用モータ、ズーム用モータ、及び絞り用モータは、制御装置３６からの命令によりパルス信号に同期して動作する。ここでは、フォーカス用モータ、ズーム用モータ、及び絞り用モータが交換レンズ１８に設けられている例が示されているが、これは、あくまでも一例に過ぎず、フォーカス用モータ、ズーム用モータ、及び絞り用モータのうちの少なくとも１つが撮像装置本体１６に設けられていてもよい。交換レンズ１８の構成物及び／又は動作方法は、必要に応じて変更可能である。

第１位置センサ４２Ａは、フォーカスレンズ４０Ｂの光軸ＯＡ上での位置を検出する。第１位置センサ４２Ａの一例としては、ポテンショメータが挙げられる。第１位置センサ４２Ａによる検出結果は、制御装置３６によって取得される。フォーカスレンズ４０Ｂの光軸ＯＡ上での位置は、第１位置センサ４２Ａによる検出結果に基づいて、制御装置３６によって調節される。

第２位置センサ４２Ｂは、ズームレンズ４０Ｃの光軸ＯＡ上での位置を検出する。第２位置センサ４２Ｂの一例としては、ポテンショメータが挙げられる。第２位置センサ４２Ｂによる検出結果は、制御装置３６によって取得される。

絞り量センサ４２Ｃは、開口４０Ｄ１の大きさ（すなわち、絞り量）を検出する。絞り量センサ４２Ｃの一例としては、ポテンショメータが挙げられる。絞り量センサ４２Ｃによる検出結果は、制御装置３６によって取得される。

撮像装置１０では、動作モードが撮像モードである場合に、撮像装置本体１６に対して与えられた指示に従ってＭＦモードとＡＦモードとが選択的に設定される。ＭＦモードは、手動で焦点を合わせる動作モードである。ＭＦモードでは、例えば、ユーザによってフォーカスリング１８Ａ等が操作されることで、フォーカスリング１８Ａ等の操作量に応じた移動量でフォーカスレンズ４０Ｂが光軸ＯＡに沿って移動し、これによって焦点の位置が調節される。ＡＦモードでは、ＡＦが行われる。ＡＦとは、イメージセンサ２０から得られる信号に従って焦点の位置を調節する処理を指す。例えば、ＡＦモードでは、撮像装置本体１６によって撮像装置１０と被写体との間の距離が演算され、被写体に焦点が合う位置にフォーカスレンズ４０Ｂが光軸ＯＡに沿って移動し、これによって焦点の位置が調節される。

撮像装置本体１６は、イメージセンサ２０、コントローラ１２、画像メモリ４６、ＵＩ系デバイス４８、外部Ｉ／Ｆ５０、通信Ｉ／Ｆ５２、光電変換素子ドライバ５４、及び入出力インタフェース７０を備えている。また、イメージセンサ２０は、光電変換素子７２及びＡ／Ｄ変換器７４を備えている。

入出力インタフェース７０には、コントローラ１２、画像メモリ４６、ＵＩ系デバイス４８、外部Ｉ／Ｆ５０、通信Ｉ／Ｆ５２、光電変換素子ドライバ５４、及びＡ／Ｄ変換器７４が接続されている。また、入出力インタフェース７０には、交換レンズ１８の制御装置３６も接続されている。

コントローラ１２は、撮像装置１０の全体を制御する。すなわち、図２に示す例では、画像メモリ４６、ＵＩ系デバイス４８、外部Ｉ／Ｆ５０、通信Ｉ／Ｆ５２、光電変換素子ドライバ５４、及び制御装置３６がコントローラ１２によって制御される。コントローラ１２は、ＣＰＵ６２、ＮＶＭ６４、及びＲＡＭ６６を備えている。ＣＰＵ６２は、本開示の技術に係る「プロセッサ」の一例であり、ＮＶＭ６４及び／又はＲＡＭ６６は、本開示の技術に係る「メモリ」の一例である。

ＣＰＵ６２、ＮＶＭ６４、及びＲＡＭ６６は、バス６８を介して接続されており、バス６８は入出力インタフェース７０に接続されている。なお、図２に示す例では、図示の都合上、バス６８として１本のバスが図示されているが、バス６８は、複数本のバスであってもよい。バス６８は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。

ＮＶＭ６４は、非一時的記憶媒体であり、各種パラメータ及び各種プログラムを記憶している。各種プログラムには、後述のプログラム６５（図５参照）が含まれる。ＮＶＭ６４は、例えば、ＥＥＰＲＯＭである。ただし、これは、あくまでも一例に過ぎず、ＥＥＰＲＯＭに代えて、又は、ＥＥＰＲＯＭと共に、ＨＤＤ、及び／又はＳＳＤ等をＮＶＭ６４として適用してもよい。また、ＲＡＭ６６は、各種情報を一時的に記憶し、ワークメモリとして用いられる。ＣＰＵ６２は、ＮＶＭ６４から必要なプログラムを読み出し、読み出したプログラムをＲＡＭ６６で実行する。ＣＰＵ６２は、ＲＡＭ６６上で実行するプログラムに従って画像処理を行う。

ＣＰＵ６２は、制御装置３６から第１位置センサ４２Ａによる検出結果を取得し、第１位置センサ４２Ａによる検出結果に基づいて制御装置３６を制御することで、フォーカスレンズ４０Ｂの光軸ＯＡ上での位置を調節する。また、ＣＰＵ６２は、制御装置３６から第２位置センサ４２Ｂによる検出結果を取得し、第２位置センサ４２Ｂによる検出結果に基づいて制御装置３６を制御することで、ズームレンズ４０Ｃの光軸ＯＡ上での位置を調節する。更に、ＣＰＵ６２は、制御装置３６から絞り量センサ４２Ｃによる検出結果を取得し、絞り量センサ４２Ｃによる検出結果に基づいて制御装置３６を制御することで、開口４０Ｄ１の大きさを調節する。

光電変換素子７２には、光電変換素子ドライバ５４が接続されている。光電変換素子ドライバ５４は、光電変換素子７２によって行われる撮像のタイミングを規定する撮像タイミング信号を、ＣＰＵ６２からの指示に従って光電変換素子７２に供給する。光電変換素子７２は、光電変換素子ドライバ５４から供給された撮像タイミング信号に従って、リセット、露光、及び電気信号の出力を行う。撮像タイミング信号としては、例えば、垂直同期信号及び水平同期信号が挙げられる。

交換レンズ１８が撮像装置本体１６に装着された場合、撮像レンズ４０に入射された被写体光は、撮像レンズ４０によって受光面７２Ａに結像される。光電変換素子７２は、光電変換素子ドライバ５４の制御下で、受光面７２Ａによって受光された被写体光を光電変換し、被写体光の光量に応じた電気信号を、被写体光を示す撮像データ７３としてＡ／Ｄ変換器７４に出力する。具体的には、Ａ／Ｄ変換器７４が、露光順次読み出し方式で、光電変換素子７２から１フレーム単位で且つ水平ライン毎に撮像データ７３を読み出す。

Ａ／Ｄ変換器７４は、光電変換素子７２から読み出されるアナログの撮像データ７３をデジタル化する。Ａ／Ｄ変換器７４によりデジタル化された撮像データ７３は、いわゆるＲＡＷ画像データであり、Ｒ画素、Ｇ画素、及びＢ画素がモザイク状に配列された画像を表す。また、第１実施形態では、一例として、ＲＡＷ画像データに含まれるＲ画素、Ｂ画素、及びＧ画素の各画素のビット数、すなわち、ビット長は、１４ビットである。

Ａ／Ｄ変換器７４は、デジタル化した撮像データ７３を画像メモリ４６に出力することで画像メモリ４６に撮像データ７３を記憶させる。ＣＰＵ６２は、画像メモリ４６内の撮像データ７３に対して画像処理（例えば、ホワイトバランス処理及び／又は色補正等）を行う。ＣＰＵ６２は、撮像データ７３に基づいて、動画像データ８０を生成する。ＣＰＵ６２は、生成した動画像データ８０をＮＶＭ６４に記憶させる。なお、ＮＶＭ６４は、本開示の技術に係る「非一時的記憶媒体」の一例である。

ＵＩ系デバイス４８は、ディスプレイ２８を備えている。ＣＰＵ６２は、ディスプレイ２８に対して、動画像データ８０に基づいて画像を表示させる。また、ＣＰＵ６２は、ディスプレイ２８に対して各種情報を表示させる。

また、ＵＩ系デバイス４８は、ユーザからの指示を受け付ける受付装置７６を備えている。受付装置７６は、タッチパネル３０及びハードキー部７８を備えている。ハードキー部７８は、指示キー２６（図１参照）を含む複数のハードキーである。ＣＰＵ６２は、タッチパネル３０によって受け付けられた各種指示に従って動作する。なお、ここでは、ハードキー部７８がＵＩ系デバイス４８に含まれているが、本開示の技術はこれに限定されず、例えば、ハードキー部７８は、外部Ｉ／Ｆ５０に接続されていてもよい。

外部Ｉ／Ｆ５０は、撮像装置１０の外部に存在する装置（以下、「外部装置」とも称する）との間の各種情報の授受を司る。外部Ｉ／Ｆ５０の一例としては、ＵＳＢインタフェースが挙げられる。ＵＳＢインタフェースには、スマートデバイス、パーソナル・コンピュータ、サーバ、ＵＳＢメモリ、メモリカード、及び／又はプリンタ等の外部装置（図示省略）が直接的又は間接的に接続される。

通信Ｉ／Ｆ５２は、ネットワーク（図示省略）に接続される。通信Ｉ／Ｆ５２は、ネットワーク上のサーバ等の通信装置（図示省略）とコントローラ１２との間の情報の授受を司る。例えば、通信Ｉ／Ｆ５２は、コントローラ１２からの要求に応じた情報を、ネットワークを介して通信装置に送信する。また、通信Ｉ／Ｆ５２は、通信装置から送信された情報を受信し、受信した情報を、入出力インタフェース７０を介してコントローラ１２に出力する。

一例として図３に示すように、光電変換素子７２の受光面７２Ａには、複数の感光画素７２Ｂが２次元状に配列されている。各感光画素７２Ｂには、カラーフィルタ（図示省略）、及びマイクロレンズ７２Ｃが配置されている。図３では、受光面７２Ａに平行である１つの方向（例えば、２次元状に配列された複数の感光画素７２Ｂの行方向）をＸ方向とし、Ｘ方向に直交する方向（例えば、２次元状に配列された複数の感光画素７２Ｂの列方向）をＹ方向としている。複数の感光画素７２Ｂは、Ｘ方向及びＹ方向に沿って配列されている。各感光画素７２Ｂは、独立した一対のフォトダイオードＰＤ１及びＰＤ２を含む。フォトダイオードＰＤ１には、撮像レンズ４０を透過した被写体を示す光束（以下、「被写体光束」とも称する）が瞳分割されることで得られた第１光束（例えば、撮像レンズ４０（図２参照）における第１の瞳部分領域を通過する光束）が入射され、フォトダイオードＰＤ２には、被写体光束が瞳分割されることで得られた第２光束（例えば、撮像レンズ４０（図２参照）における第２の瞳部分領域を通過する光束）が入射される。フォトダイオードＰＤ１は、第１光束に対する光電変換を行う。フォトダイオードＰＤ２は、第２光束に対する光電変換を行う。

一例として、光電変換素子７２は、１つの感光画素７２Ｂに一対のフォトダイオードＰＤ１及びＰＤ２が設けられた像面位相差方式の光電変換素子である。一例として、光電変換素子７２は、全ての感光画素７２Ｂが撮像及び位相差に関するデータを出力する機能を兼ね備えている。光電変換素子７２は、一対のフォトダイオードＰＤ１及びＰＤ２を合わせて１つの感光画素７２Ｂとすることで、非位相差画素データ７３Ａを出力する。また、光電変換素子７２は、一対のフォトダイオードＰＤ１及びＰＤ２のそれぞれから信号を検出することにより、位相差画素データ７３Ｂを出力する。すなわち、光電変換素子７２に設けられた全ての感光画素７２Ｂは、いわゆる位相差画素である。

感光画素７２Ｂは、非位相差画素データ７３Ａと、位相差画素データ７３Ｂとを選択的に出力する画素である。非位相差画素データ７３Ａは、感光画素７２Ｂの全領域によって光電変換が行われることで得られる画素データであり、位相差画素データ７３Ｂは、感光画素７２Ｂの一部の領域によって光電変換が行われることで得られる画素データである。ここで、「感光画素７２Ｂの全領域」とは、フォトダイオードＰＤ１とフォトダイオードＰＤ２とを合わせた受光領域である。また、「感光画素７２Ｂの一部の領域」とは、フォトダイオードＰＤ１の受光領域、又はフォトダイオードＰＤ２の受光領域である。感光画素７２Ｂは、本開示の技術に係る「位相差画素」の一例である。

なお、非位相差画素データ７３Ａは、位相差画素データ７３Ｂに基づいて生成することも可能である。例えば、位相差画素データ７３Ｂを、一対のフォトダイオードＰＤ１及びＰＤ２に対応する一対の画素信号ごとに加算することにより、非位相差画素データ７３Ａが生成される。また、位相差画素データ７３Ｂには、一対のフォトダイオードＰＤ１及びＰＤ２のうちの一方から出力されたデータのみが含まれていてもよい。例えば、位相差画素データ７３ＢにフォトダイオードＰＤ１から出力されたデータのみが含まれている場合には、非位相差画素データ７３Ａから位相差画素データ７３Ｂを画素ごとに減算することにより、フォトダイオードＰＤ２から出力されるデータを作成することが可能である。

撮像データ７３は、画像データ８１及び位相差画素データ７３Ｂを含む。画像データ８１は、非位相差画素データ７３Ａに基づいて生成される。例えば、画像データ８１は、アナログの非位相差画素データ７３ＡがＡ／Ｄ変換されることによって得られる。すなわち、画像データ８１は、光電変換素子７２から出力された非位相差画素データ７３Ａがデジタル化されることによって得られるデータである。ＣＰＵ６２は、Ａ／Ｄ変換器７４からデジタル化された撮像データ７３を取得し、取得した撮像データ７３に基づいて距離データ８２を取得する。例えば、ＣＰＵ６２は、撮像データ７３から位相差画素データ７３Ｂを取得し、取得した位相差画素データ７３Ｂに基づいて距離データ８２を生成する。距離データ８２は、イメージセンサ２０によって撮像される撮像エリア内の複数の被写体と撮像装置１０との間の距離に関するデータである。距離データは、各感光画素７２Ｂについて得られた距離（すなわち、撮像エリア内の物体と撮像装置１０との間の距離）を表すデータである。距離データは、本開示の技術に係る「距離データ」の一例である。

一例として図４には、撮像レンズ４０と被写界深度との関係の一例が示されている。図４に示す例では、撮像レンズ４０が一枚のレンズとして模式的に示されている。像距離は、撮像レンズ４０の主点から光電変換素子７２の受光面７２Ａまでの深度方向に沿った距離である。像距離は、既定の計算式、又はデータマッチングテーブルを用いて、第１位置センサ４２Ａ（図２参照）によって検出されたフォーカスレンズ４０Ｂ（図２参照）の位置に基づいて取得される。深度方向は、光軸ＯＡと平行な方向である。

物体距離は、撮像レンズ４０の主点から合焦状態にある被写体までの深度方向に沿った距離である。合焦状態にある被写体は、合焦位置に位置する。合焦位置は、焦点が最も合っている位置である。物体距離をＬとした場合、物体距離Ｌは、下式（１）で算出される。ただし、ｔは、像距離であり、上述の通り、第１位置センサ４２Ａによるフォーカスレンズ４０Ｂの位置検出結果に基づいて取得される。また、ｆは、フォーカスレンズ４０Ｂの焦点距離であり、既知の固定値である。焦点距離ｆは、本開示の技術に係る「撮像レンズにおける焦点距離」の一例であり、物体距離Ｌは、本開示の技術に係る「撮像レンズにおける物体距離」の一例である。

撮像装置１０の被写界深度は、前方被写界深度及び後方被写界深度を有する。被写界深度をＤとした場合、被写界深度Ｄは、下式（２）で算出される。また、前方被写界深度をＤ_１とした場合、前方被写界深度Ｄ_１は、下式（３）で算出される。また、後方被写界深度をＤ_２とした場合、後方被写界深度Ｄ_２は、下式（４）で算出される。ただし、Ｆは、絞り４０Ｄ（図２参照）の絞り値（すなわちＦ値）であり、δは、許容錯乱円径である。絞り値Ｆは、絞り量センサ４２Ｃ（図２参照）によって検出された絞り量に相当する。許容錯乱円径δは、既知の固定値である。許容錯乱円径δは、受光面７２Ａに配列された感光画素７２Ｂ（図３参照）の配列ピッチの１～２倍程度であり、１画素程度の大きさのボケを許容する。絞り値Ｆは、本開示の技術に係る「撮像レンズにおける絞り値」の一例であり、許容錯乱円径δは、本開示の技術に係る「撮像レンズにおける許容錯乱円径」の一例である。

近点距離は、撮像レンズ４０の主点から被写界深度の近点までの深度方向に沿った距離である。近点距離をＬ_１とした場合、近点距離Ｌ_１は、下式（５）で算出される。遠点距離は、撮像レンズ４０の主点から被写界深度の遠点までの深度方向に沿った距離である。遠点距離をＬ_２とした場合、遠点距離Ｌ_２は、下式（６）で算出される。

以上の式（１）～（６）は、以下に説明する動画像生成処理で利用される。

一例として図５に示すように、ＮＶＭ６４には、プログラム６５が記憶されている。プログラム６５は、本開示の技術に係る「プログラム」の一例である。ＣＰＵ６２は、ＮＶＭ６４からプログラム６５を読み出し、読み出したプログラム６５をＲＡＭ６６上で実行する。ＣＰＵ６２は、ＲＡＭ６６上で実行するプログラム６５に従って、撮像データ７３（図２参照）に基づいて動画像データ８０（図２参照）を生成する動画像生成処理を行う。動画像生成処理は、ＣＰＵ６２がプログラム６５に従って、第１撮像制御部１００、第１動画像データ生成部１０２、第２撮像制御部１０４、距離データ取得部１０６、物体距離取得部１０８、近点距離取得部１１０、遠点距離取得部１１２、第１被写体判定部１１４、第２被写体判定部１１８、第２動画像データ生成部１２０、動画像データ出力部１２２、及び動画像データ記憶制御部１２４として動作することで実現される。

一例として図６には、イメージセンサ２０によって撮像される撮像エリア内に第１被写体９０Ａ、第２被写体９０Ｂ、及び第３被写体９２が存在する例が示されている。第１被写体９０Ａ、第２被写体９０Ｂ、及び第３被写体９２は、一例として人物である。第１被写体９０Ａ、第２被写体９０Ｂ、及び第３被写体９２は、本開示の技術に係る「複数の被写体」の一例である。第１被写体９０Ａ、第２被写体９０Ｂ、及び第３被写体９２は、撮像装置１０の深度方向にずれて並んでいる。また、第１被写体９０Ａ、第２被写体９０Ｂ、及び第３被写体９２は、平面視で撮像装置１０の深度方向と直交する方向（すなわち、撮像装置１０の左右方向）にずれて並んでいる。以下、第１被写体９０Ａ、第２被写体９０Ｂ、及び第３被写体９２を区別して説明する必要が無い場合、第１被写体９０Ａ、第２被写体９０Ｂ、及び第３被写体９２をそれぞれ被写体と称する。

第１被写体９０Ａの顔の一部は、近点距離に存在する。すなわち、第１被写体９０Ａの顔の一部は、撮像レンズ４０の主点から近点距離だけ離れた被写界深度の近点上に存在する。以下、近点距離に存在する第１被写体９０Ａの顔の一部を第１境界被写体９１Ａと称する。第２被写体９０Ｂの顔の一部は、遠点距離に存在する。すなわち、第２被写体９０Ｂの顔の一部は、撮像レンズ４０の主点から遠点距離だけ離れた被写界深度の遠点上に存在する。以下、遠点距離に存在する第２被写体９０Ｂの顔の一部を第２境界被写体９１Ｂと称する。第３被写体９２は、第１被写体９０Ａと第２被写体９０Ｂとの間に存在している。第３被写体９２の顔の一部は、物体距離に存在している。すなわち、第３被写体９２の顔の一部は、撮像レンズ４０の主点から物体距離だけ離れた合焦位置上に存在する。以下、物体距離に存在する第３被写体９２の顔の一部を合焦被写体９３と称する。また、以下、第１境界被写体９１Ａ及び第２境界被写体９１Ｂを区別して説明する必要が無い場合、第１境界被写体９１Ａ及び第２境界被写体９１Ｂを境界被写体９１と称する。

被写界深度の近点及び遠点は、本開示の技術に係る「被写界深度の境界部」の一例である。被写界深度の近点は、本開示の技術に係る「被写界深度の近点側に位置する第１境界部」の一例であり、被写界深度の遠点は、本開示の技術に係る「被写界深度の遠点側に位置する第２境界部」の一例である。近点距離は、本開示の技術に係る「境界部の距離」及び「第１境界部の距離」の一例であり、遠点距離は、本開示の技術に係る「境界部の距離」及び「第２境界部の距離」の一例である。第１境界被写体９１Ａは、本開示の技術に係る「第１境界被写体」の一例であり、第２境界被写体９１Ｂは、本開示の技術に係る「第２境界被写体」の一例である。合焦被写体９３は、本開示の技術に係る「合焦被写体」の一例である。

以下、図６に示す例に基づいて、第１撮像制御部１００、第１動画像データ生成部１０２、第２撮像制御部１０４、距離データ取得部１０６、物体距離取得部１０８、近点距離取得部１１０、遠点距離取得部１１２、第１被写体判定部１１４、第２被写体判定部１１８、第２動画像データ生成部１２０、動画像データ出力部１２２、及び動画像データ記憶制御部１２４の動作について説明する。

第１撮像制御部１００は、光電変換素子７２に対して、非位相差画素データ７３Ａを出力させる制御を行う。具体的には、第１撮像制御部１００は、撮像タイミング信号として第１撮像タイミング信号を光電変換素子７２に出力させるための第１撮像指令を光電変換素子ドライバ５４に対して出力する。第１撮像タイミング信号は、光電変換素子７２に非位相差画素データ７３Ａを出力させるための撮像タイミング信号である。光電変換素子７２の各感光画素７２Ｂは、第１撮像タイミング信号に従って、感光画素７２Ｂの全領域によって光電変換を行うことにより、非位相差画素データ７３Ａを出力する。光電変換素子７２は、各感光画素７２Ｂから出力された非位相差画素データ７３ＡをＡ／Ｄ変換器７４に出力する。Ａ／Ｄ変換器７４は、各感光画素７２Ｂから出力された非位相差画素データ７３Ａをデジタル化することで画像データ８１を生成する。

第１動画像データ生成部１０２は、Ａ／Ｄ変換器７４から画像データ８１を取得する。画像データ８１は、イメージセンサ２０によって第１被写体９０Ａ、第２被写体９０Ｂ、及び第３被写体９２が撮像されることで得られた画像を表すデータである。画像データ８１は、本開示の技術に係る「画像データ」の一例である。そして、第１動画像データ生成部１０２は、画像データ８１に基づいて、第１動画像データ（すなわち、１フレーム分の動画像用のデータ）を生成する。

第２撮像制御部１０４は、光電変換素子７２に対して、位相差画素データ７３Ｂを出力させる制御を行う。具体的には、第２撮像制御部１０４は、撮像タイミング信号として第２撮像タイミング信号を光電変換素子７２に出力させるための第２撮像指令を光電変換素子ドライバ５４に対して出力する。第２撮像タイミング信号は、光電変換素子７２に位相差画素データ７３Ｂを出力させるための撮像タイミング信号である。光電変換素子７２の各感光画素７２Ｂは、第２撮像タイミング信号に従って、感光画素７２Ｂの一部の領域によって光電変換を行うことにより、位相差画素データ７３Ｂを出力する。光電変換素子７２は、各感光画素７２Ｂから得られた位相差画素データ７３ＢをＡ／Ｄ変換器７４に出力する。Ａ／Ｄ変換器７４は、位相差画素データ７３Ｂをデジタル化し、デジタル化した位相差画素データ７３Ｂを距離データ取得部１０６に出力する。

距離データ取得部１０６は、距離データ８２を取得する。具体的には、距離データ取得部１０６は、Ａ／Ｄ変換器７４から位相差画素データ７３Ｂを取得し、取得した位相差画素データ７３Ｂに基づいて各感光画素７２Ｂに対応する距離データ８２（すなわち、撮像エリア内の物体と各感光画素７２Ｂとの間の距離を示すデータ）を生成する。

物体距離取得部１０８は、像距離ｔ及び焦点距離ｆを取得する。そして、物体距離取得部１０８は、像距離ｔ及び焦点距離ｆに基づいて、上式（１）を用いて物体距離Ｌを算出することにより、物体距離Ｌを取得する。この場合に、物体距離取得部１０８は、第１位置センサ４２Ａによって検出されたフォーカスレンズ４０Ｂ（図２参照）の位置に基づいて、像距離ｔを取得する。また、物体距離取得部１０８は、例えばＮＶＭ６４に予め記憶されている焦点距離ｆを取得する。

近点距離取得部１１０は、物体距離Ｌ、焦点距離ｆ、絞り値Ｆ、及び許容錯乱円径δを取得する。そして、近点距離取得部１１０は、物体距離Ｌ、焦点距離ｆ、絞り値Ｆ、及び許容錯乱円径δに基づいて、上式（５）を用いて近点距離Ｌ_１を算出することにより、近点距離Ｌ_１を取得する。この場合に、近点距離取得部１１０は、物体距離Ｌ、焦点距離ｆ、絞り値Ｆ、及び許容錯乱円径δを以下の要領で取得する。すなわち、近点距離取得部１１０は、物体距離取得部１０８によって取得された物体距離Ｌを取得する。また、近点距離取得部１１０は、例えばＮＶＭ６４に予め記憶されている焦点距離ｆを取得する。また、近点距離取得部１１０は、絞り量センサ４２Ｃによって検出された絞り量に相当する絞り値Ｆを取得する。また、近点距離取得部１１０は、例えばユーザから受付装置７６に対して許容錯乱円径δが付与された場合、受付装置７６によって受け付けられた許容錯乱円径δを取得する。

遠点距離取得部１１２は、物体距離Ｌ、焦点距離ｆ、絞り値Ｆ、及び許容錯乱円径δを取得する。そして、遠点距離取得部１１２は、物体距離Ｌ、焦点距離ｆ、絞り値Ｆ、及び許容錯乱円径δに基づいて、上式（６）を用いて遠点距離Ｌ_２を算出することにより、遠点距離Ｌ_２を取得する。この場合に、遠点距離取得部１１２は、物体距離Ｌ、焦点距離ｆ、絞り値Ｆ、及び許容錯乱円径δを以下の要領で取得する。すなわち、遠点距離取得部１１２は、物体距離取得部１０８によって取得された物体距離Ｌを取得する。また、遠点距離取得部１１２は、例えばＮＶＭ６４に予め記憶されている焦点距離ｆを取得する。また、遠点距離取得部１１２は、絞り量センサ４２Ｃによって検出された絞り量に相当する絞り値Ｆを取得する。また、遠点距離取得部１１２は、例えばユーザから受付装置７６に対して許容錯乱円径δが付与された場合、受付装置７６によって受け付けられた許容錯乱円径δを取得する。

なお、近点距離取得部１１０及び遠点距離取得部１１２は、例えばＮＶＭ６４に予め記憶されている情報から許容錯乱円径δを取得してもよい。

第１被写体判定部１１４は、距離データ取得部１０６によって取得された距離データに基づいて、近点距離に第１境界被写体９１Ａが存在するか否か（換言すれば、近点上に第１境界被写体９１Ａが存在するか否か）を判定する。具体的には、第１被写体判定部１１４は、距離データに基づいて、各感光画素７２Ｂ（図３参照）について得られた距離と近点距離とを比較し、各感光画素７２Ｂについて得られた距離に近点距離と等しい距離が含まれているか否かを判定する。近点距離と等しい距離が得られた感光画素７２Ｂは、第１境界被写体９１Ａに対応する感光画素７２Ｂである。そして、第１被写体判定部１１４は、各感光画素７２Ｂについて得られた距離に近点距離と等しい距離が含まれている場合、近点距離に第１境界被写体９１Ａが存在すると判定する。一方、第１被写体判定部１１４は、各感光画素７２Ｂについて得られた距離に近点距離と等しい距離が含まれていない場合、近点距離に第１境界被写体９１Ａが存在しないと判定する。

一例として図６に示す例では、近点距離に第１境界被写体９１Ａが存在する。近点距離に第１境界被写体９１Ａが存在する場合、第１被写体判定部１１４は、近点距離に第１境界被写体９１Ａが存在すると判定する。

第２被写体判定部１１８は、距離データ取得部１０６によって取得された距離データに基づいて、遠点距離に第２境界被写体９１Ｂが存在するか否か（換言すれば、遠点上に第２境界被写体９１Ｂが存在するか否か）を判定する。具体的には、第２被写体判定部１１８は、距離データに基づいて、各感光画素７２Ｂ（図３参照）について得られた距離と遠点距離とを比較し、各感光画素７２Ｂについて得られた距離に遠点距離と等しい距離が含まれているか否かを判定する。遠点距離と等しい距離が得られた感光画素７２Ｂは、第２境界被写体９１Ｂに対応する感光画素７２Ｂである。そして、第２被写体判定部１１８は、各感光画素７２Ｂについて得られた距離に遠点距離と等しい距離が含まれている場合、遠点距離に第２境界被写体９１Ｂが存在すると判定する。一方、第２被写体判定部１１８は、各感光画素７２Ｂについて得られた距離に遠点距離と等しい距離が含まれていない場合、遠点距離に第２境界被写体９１Ｂが存在しないと判定する。

一例として図６に示す例では、遠点距離に第２境界被写体９１Ｂが存在する。遠点距離に第２境界被写体９１Ｂが存在する場合、第２被写体判定部１１８は、遠点距離に第２境界被写体９１Ｂが存在すると判定する。

第２動画像データ生成部１２０は、近点距離に第１境界被写体９１Ａが存在すると第１被写体判定部１１４によって判定された場合、距離データに基づいて、近点距離に存在する第１境界被写体９１Ａの領域を示す第１境界データを生成する。具体的には、第２動画像データ生成部１２０は、次の要領で第１境界データを生成する。

すなわち、第２動画像データ生成部１２０は、距離データに基づいて、各感光画素７２Ｂ（図３参照）について得られた距離のうち近点距離と等しい距離に存在する第１境界被写体９１Ａの領域を示す第１領域データを取得する。第１領域データは、例えば、感光画素７２Ｂのアドレスによって表される。つまり、第２動画像データ生成部１２０は、距離データに基づいて、複数の感光画素７２Ｂのうち近点距離と等しい距離が得られた感光画素７２Ｂのアドレスを第１領域データとして取得する。感光画素７２Ｂのアドレスは、各感光画素７２Ｂについて定められた座標である。各感光画素７２Ｂについて定められた座標とは、例えば、光電変換素子７２の縦方向及び横方向（例えば、行方向及び列方向）を表す２次元座標を指す。

続いて、第２動画像データ生成部１２０は、第１領域データに基づいて、第１境界データを生成する。第１境界データは、上述の第１動画像データに基づいてディスプレイ２８に表示される画像に対して、近点距離に存在する第１境界被写体９１Ａの領域（すなわち、第１領域データが示す領域）を第１態様で表すデータである。第１境界被写体９１Ａの領域を第１態様で表すデータの一例としては、ディスプレイ２８に表示される画像に対して、近点距離に存在する第１境界被写体９１Ａの領域を他の領域と区別可能な態様で示す第１画像処理に用いられるデータである。

一例として、第１画像処理は、ディスプレイ２８に表示される画像を構成する複数の画素のうち近点距離に存在する第１境界被写体９１Ａの領域に対応する画素（すなわち、第１領域データが表す感光画素７２Ｂのアドレスに対応する画素）に対して第１既定色を付す処理である。第１既定色を付す処理は、例えば、画素の信号値を第１既定色に対応する値に置き換える処理である。例えば、画素に対して赤色を付す場合には、画素の赤（Ｒ）の値、緑（Ｇ）の値、及び青（Ｂ）の値が、それぞれ２５５、０、及び０に設定される。第１既定色は、無彩色でもよく、有彩色でもよい。第１既定色は、例えば、赤色、青色、又は黄色等である。第１境界データは、本開示の技術に係る「境界データ」及び「第１境界データ」の一例である。第１画像処理は、本開示の技術に係る「画像処理」の一例である。第１領域データは、本開示の技術に係る「領域データ」の一例である。

また、第２動画像データ生成部１２０は、遠点距離に第２境界被写体９１Ｂが存在すると第２被写体判定部１１８によって判定された場合、距離データに基づいて、遠点距離に存在する第２境界被写体９１Ｂの領域を示す第２境界データを生成する。具体的には、第２動画像データ生成部１２０は、次の要領で第２境界データを生成する。

すなわち、第２動画像データ生成部１２０は、距離データに基づいて、各感光画素７２Ｂ（図３参照）について得られた距離のうち遠点距離と等しい距離に存在する第２境界被写体９１Ｂの領域を示す第２領域データを取得する。第２領域データは、例えば、感光画素７２Ｂのアドレスによって表される。つまり、第２動画像データ生成部１２０は、距離データに基づいて、複数の感光画素７２Ｂのうち遠点距離と等しい距離が得られた感光画素７２Ｂのアドレスを第２領域データとして取得する。

続いて、第２動画像データ生成部１２０は、第２領域データに基づいて、第２境界データを生成する。第２境界データは、上述の第１動画像データに基づいてディスプレイ２８に表示される画像に対して、遠点距離に存在する第２境界被写体９１Ｂの領域（すなわち、第２領域データが示す領域）を第１態様と異なる第２態様で表すデータである。第２境界被写体９１Ｂの領域を第１態様と異なる第２態様で表すデータの一例としては、上述の第１動画像データに基づいてディスプレイ２８に表示される画像に対して、遠点距離に存在する第２境界被写体９１Ｂの領域を他の領域と区別可能な態様で示す第２画像処理に用いられるデータである。

一例として、第２画像処理は、ディスプレイ２８に表示される画像を構成する複数の画素のうち遠点距離に存在する第２境界被写体９１Ｂの領域に対応する画素（すなわち、第２領域データが表す感光画素７２Ｂのアドレスに対応する画素）に対して第２既定色を付す処理である。第２既定色は、第１既定色と異なる色である。第２既定色は、無彩色でもよく、有彩色でもよい。第２既定色は、例えば、赤色、青色、又は黄色等である。以下、第１画像処理及び第２画像処理を区別して説明する必要が無い場合、第１画像処理及び第２画像処理を境界データと称する。また、第１既定色及び第２既定色を区別して説明する必要が無い場合、第１既定色及び第２既定色を既定色と称する。第２境界データは、本開示の技術に係る「境界データ」及び「第２境界データ」の一例である。第２画像処理は、本開示の技術に係る「画像処理」の一例である。第２領域データは、本開示の技術に係る「領域データ」の一例である。

そして、第２動画像データ生成部１２０は、近点距離に第１境界被写体９１Ａが存在すると第１被写体判定部１１４によって判定され、かつ、遠点距離に第２境界被写体９１Ｂが存在すると第２被写体判定部１１８によって判定された場合、第１動画像データに基づいて、第１境界データ及び第２境界データを含む第２動画像データを生成する。具体的には、第２動画像データ生成部１２０は、第１動画像データに基づいてディスプレイ２８に表示される画像を構成する複数の画素のうち近点距離に存在する第１境界被写体９１Ａの領域に対応する画素に対して第１画像処理を行う。同様に、第２動画像データ生成部１２０は、第１動画像データに基づいてディスプレイ２８に表示される画像を構成する複数の画素のうち遠点距離に存在する第２境界被写体９１Ｂの領域に対応する画素に対して第２画像処理を行う。これにより、近点距離に存在する第１境界被写体９１Ａの領域に対応する画素に第１既定色が付され、かつ、遠点距離に存在する第２境界被写体９１Ｂの領域に対応する画素に第２既定色が付された画像を表す第２動画像データが第２動画像データ生成部１２０によって生成される。

なお、第２動画像データ生成部１２０は、第１境界データ及び第２境界データを含む第２動画像データを生成する場合、第２動画像データを段階的に生成してもよい。すなわち、例えば、第２動画像データ生成部１２０は、第１動画像データに基づいて、第１境界データを含む仮動画像データを生成してから、仮動画像データに基づいて、第２境界データを含む第２動画像データを生成してもよい。

第２動画像データは、本開示の技術に係る「動画像データ」の一例である。以下、第１境界データ及び第２境界データを区別して説明する必要が無い場合、第１境界データ及び第２境界データを境界データと称する。

動画像データ出力部１２２は、近点距離に第１境界被写体９１Ａが存在すると第１被写体判定部１１４によって判定され、かつ、遠点距離に第２境界被写体９１Ｂが存在すると第２被写体判定部１１８によって判定された場合、第２動画像データ生成部１２０によって生成された第２動画像データ（すなわち、第１境界データ及び第２境界データを含む第２動画像データ）を表示用動画像データとしてディスプレイ２８に対して出力する。ディスプレイ２８は、表示用動画像データに基づいて画像を表示する。

動画像データ記憶制御部１２４は、第１動画像データ生成部１０２によって生成された第１動画像データを記録用動画像データとしてＮＶＭ６４に記憶させる。なお、ここでは、ＮＶＭ６４に記録用動画像データを記憶させる形態例を挙げて説明しているが、動画像データ記憶制御部１２４は、外部Ｉ／Ｆ５０（図２参照）に接続されて用いられるメモリカード及び／又はＵＳＢメモリ等に記録用動画像データを記憶させるようにしてもよい。

一例として図７には、図６に示す例において生成された第２動画像データに基づいてディスプレイ２８に表示された画像２００が示されている。図７に示す画像２００では、第１境界被写体９１Ａの領域と第１境界被写体９１Ａの領域以外の領域とが区別される態様で表現される。また、図７に示す画像２００では、第２境界被写体９１Ｂの領域と第２境界被写体９１Ｂの領域以外の領域とが区別される態様で表現される。つまり、一例として、図７に示す画像２００では、第１境界被写体９１Ａの領域は第１既定色で表され、第２境界被写体９１Ｂの領域は第２既定色で表される。また、図７に示す例では、第１境界被写体９１Ａの領域及び第２境界被写体９１Ｂの領域として、円環状の領域が示されているが、これはあくまでも一例に過ぎず、他の形状の領域であってもよい。また、第１境界被写体９１Ａの領域及び第２境界被写体９１Ｂの領域は、互いに異なる形状の領域であってもよい。また、第１境界被写体９１Ａの領域及び第２境界被写体９１Ｂの領域に対して同一の模様が施されていてもよいし、互いに異なる模様（例えば、ドットとメッシュ）が施されていてもよい。

ディスプレイ２８は、本開示の技術に係る「第１ディスプレイ」、「第２ディスプレイ」、「第３ディスプレイ」、「第４ディスプレイ」、及び「第５ディスプレイ」の一例である。本開示では、便宜上、ディスプレイ２８が「第１ディスプレイ」、「第２ディスプレイ」、「第３ディスプレイ」、「第４ディスプレイ」、及び「第５ディスプレイ」の一例として表現されている。ディスプレイ２８に表示される画像２００は、本開示の技術に係る「第１画像」、「第２画像」、及び「第３画像」の一例である。本開示では、便宜上、画像２００が「第１画像」、「第２画像」、及び「第３画像」の一例として表現されている。ディスプレイ２８に表示される画像２００を構成する複数の画素は、本開示の技術に係る「第１画素」及び「第２画素」の一例である。本開示では、便宜上、ディスプレイ２８に表示される画像２００を構成する複数の画素が「第１画素」及び「第２画素」の一例として表現されている。

一例として図８には、イメージセンサ２０によって撮像される撮像エリア内に第１被写体９０Ａ及び第３被写体９２が存在する例が示されている。図８に示す例では、第１被写体９０Ａ及び第３被写体９２の位置は、図６に示す例と同様である。

以下、図８に示す例に基づいて、第１撮像制御部１００、第１動画像データ生成部１０２、第２撮像制御部１０４、距離データ取得部１０６、物体距離取得部１０８、近点距離取得部１１０、遠点距離取得部１１２、第１被写体判定部１１４、第２被写体判定部１１８、第２動画像データ生成部１２０、動画像データ出力部１２２、及び動画像データ記憶制御部１２４の動作について説明する。

第１撮像制御部１００、第１動画像データ生成部１０２、第２撮像制御部１０４、距離データ取得部１０６、物体距離取得部１０８、近点距離取得部１１０、遠点距離取得部１１２、第１被写体判定部１１４、動画像データ記憶制御部１２４の動作は、図６に示す例と同様である。図８に示す例では、第２被写体判定部１１８、第２動画像データ生成部１２０、及び動画像データ出力部１２２の動作が図６に示す例と異なる。以下、図８に示す例について、図６に示す例と異なる点として、第２被写体判定部１１８、第２動画像データ生成部１２０、及び動画像データ出力部１２２の動作を説明する。

一例として図８に示す例では、遠点距離に第２境界被写体９１Ｂ（図６参照）が存在しない。遠点距離に第２境界被写体９１Ｂが存在しない場合、第２被写体判定部１１８は、遠点距離に第２境界被写体９１Ｂが存在しないと判定する。

第２動画像データ生成部１２０は、近点距離に第１境界被写体９１Ａが存在すると第１被写体判定部１１４によって判定され、かつ、遠点距離に第２境界被写体９１Ｂが存在しないと第２被写体判定部１１８によって判定された場合、第１動画像データに基づいて、第１境界データを含む第２動画像データを生成する。具体的には、第２動画像データ生成部１２０は、第１動画像データに基づいてディスプレイ２８に表示される画像を構成する複数の画素のうち近点距離に存在する第１境界被写体９１Ａの領域に対応する画素に対して第１画像処理を行う。これにより、近点距離に存在する第１境界被写体９１Ａの領域に対応する画素に第１既定色が付された画像を表す第２動画像データが第２動画像データ生成部１２０によって生成される。

動画像データ出力部１２２は、近点距離に第１境界被写体９１Ａが存在すると第１被写体判定部１１４によって判定され、かつ、遠点距離に第２境界被写体９１Ｂが存在しないと第２被写体判定部１１８によって判定された場合、第２動画像データ生成部１２０によって生成された第２動画像データ（すなわち、第１境界データを含む第２動画像データ）を表示用動画像データ（例えば、ライブビュー画像を示すデータ）としてディスプレイ２８に対して出力する。ディスプレイ２８は、表示用動画像データに基づいて画像（例えば、ライブビュー画像）を表示する。

一例として図９には、図８に示す例において生成された第２動画像データに基づいてディスプレイ２８に表示された画像２００が示されている。図９に示す画像２００では、第１境界被写体９１Ａの領域と第１境界被写体９１Ａの領域以外の領域とが区別される態様で表現される。つまり、一例として、図９に示す画像２００では、第１境界被写体９１Ａの領域は第１既定色で表される。

一例として図１０には、イメージセンサ２０によって撮像される撮像エリア内に第２被写体９０Ｂ及び第３被写体９２が存在する例が示されている。図１０に示す例では、第２被写体９０Ｂ及び第３被写体９２の位置は、図６に示す例と同様である。

以下、図１０に示す例に基づいて、第１撮像制御部１００、第１動画像データ生成部１０２、第２撮像制御部１０４、距離データ取得部１０６、物体距離取得部１０８、近点距離取得部１１０、遠点距離取得部１１２、第１被写体判定部１１４、第２被写体判定部１１８、第２動画像データ生成部１２０、動画像データ出力部１２２、及び動画像データ記憶制御部１２４の動作について説明する。

第１撮像制御部１００、第１動画像データ生成部１０２、第２撮像制御部１０４、距離データ取得部１０６、物体距離取得部１０８、近点距離取得部１１０、遠点距離取得部１１２、第２被写体判定部１１８、動画像データ記憶制御部１２４の動作は、図６に示す例と同様である。図１０に示す例では、第１被写体判定部１１４、第２動画像データ生成部１２０、及び動画像データ出力部１２２の動作が図６に示す例と異なる。以下、図１０に示す例について、図６に示す例と異なる点として、第１被写体判定部１１４、第２動画像データ生成部１２０、及び動画像データ出力部１２２の動作を説明する。

一例として図１０に示す例では、近点距離に第１境界被写体９１Ａ（図６参照）が存在しない。近点距離に第１境界被写体９１Ａが存在しない場合、第１被写体判定部１１４は、近点距離に第１境界被写体９１Ａが存在しないと判定する。

第２動画像データ生成部１２０は、近点距離に第１境界被写体９１Ａが存在しないと第１被写体判定部１１４によって判定され、かつ、遠点距離に第２境界被写体９１Ｂが存在すると第２被写体判定部１１８によって判定された場合、第１動画像データに基づいて、第２境界データを含む第２動画像データを生成する。具体的には、第２動画像データ生成部１２０は、第１動画像データに基づいてディスプレイ２８に表示される画像を構成する複数の画素のうち遠点距離に存在する第２境界被写体９１Ｂの領域に対応する画素に対して第２画像処理を行う。これにより、遠点距離に存在する第２境界被写体９１Ｂの領域に対応する画素に第２既定色が付された画像を表す第２動画像データが第２動画像データ生成部１２０によって生成される。

動画像データ出力部１２２は、近点距離に第１境界被写体９１Ａが存在しないと第１被写体判定部１１４によって判定され、かつ、遠点距離に第２境界被写体９１Ｂが存在すると第２被写体判定部１１８によって判定された場合、第２動画像データ生成部１２０によって生成された第２動画像データ（すなわち、第２境界データを含む第２動画像データ）を表示用動画像データとしてディスプレイ２８に対して出力する。ディスプレイ２８は、表示用動画像データに基づいて画像を表示する。

一例として図１１には、図１０に示す例において生成された第２動画像データに基づいてディスプレイ２８に表示された画像２００が示されている。図１１に示す画像２００では、第２境界被写体９１Ｂの領域と第２境界被写体９１Ｂの領域以外の領域とが区別される態様で表現される。つまり、一例として、図１１に示す画像２００では、第２境界被写体９１Ｂの領域は第２既定色で表される。

なお、特に図に示さないが、イメージセンサ２０によって撮像される撮像エリア内に第１被写体９０Ａ及び第２被写体９０Ｂが存在しない場合、近点距離に第１境界被写体９１Ａが存在しないと第１被写体判定部１１４によって判定され、かつ、遠点距離に第２境界被写体９１Ｂが存在しないと第２被写体判定部１１８によって判定される。

近点距離に第１境界被写体９１Ａが存在しないと第１被写体判定部１１４によって判定され、かつ、遠点距離に第２境界被写体９１Ｂが存在しないと第２被写体判定部１１８によって判定された場合、第２動画像データ生成部１２０の動作がスキップされる。すなわち、第２動画像データ生成部１２０による第２動画像データの生成が行われることなく、動画像データ出力部１２２による処理が行われる。

動画像データ出力部１２２は、近点距離に第１境界被写体９１Ａが存在しないと第１被写体判定部１１４によって判定され、かつ、遠点距離に第２境界被写体９１Ｂが存在しないと第２被写体判定部１１８によって判定された場合、第１動画像データ生成部１０２によって生成された第１動画像データを表示用動画像データとしてディスプレイ２８に対して出力する。ディスプレイ２８は、表示用動画像データに基づいて画像を表示する。この場合に、ディスプレイ２８に表示される画像には、第１被写体９０Ａ及び第２被写体９０Ｂが像として表れない。

次に、第１実施形態に係る撮像装置１０の作用について図１２Ａ及び図１２Ｂを参照しながら説明する。図１２Ａ及び図１２Ｂには、第１実施形態に係る動画像生成処理の流れの一例が示されている。動画像生成処理は、撮像装置１０の動作モードが撮像モードである場合に実行される。

図１２Ａに示す動画像生成処理では、先ず、ステップＳＴ１０で、第１撮像制御部１００は、光電変換素子７２に非位相差画素データ７３Ａを出力させる。ステップＳＴ１０の処理が実行された後、動画像生成処理は、ステップＳＴ１１へ移行する。

ステップＳＴ１１で、第１動画像データ生成部１０２は、画像データ８１を取得する。そして、第１動画像データ生成部１０２は、画像データ８１に基づいて、第１動画像データを生成する。ステップＳＴ１１の処理が実行された後、動画像生成処理は、ステップＳＴ１２へ移行する。

ステップＳＴ１２で、第２撮像制御部１０４は、光電変換素子７２に位相差画素データ７３Ｂを出力させる。ステップＳＴ１２の処理が実行された後、動画像生成処理は、ステップＳＴ１３へ移行する。

ステップＳＴ１３で、距離データ取得部１０６は、距離データを取得する。ステップＳＴ１３の処理が実行された後、動画像生成処理は、ステップＳＴ１４へ移行する。

ステップＳＴ１４で、物体距離取得部１０８は、像距離ｔ及び焦点距離ｆに基づいて物体距離Ｌを取得する。ステップＳＴ１４の処理が実行された後、動画像生成処理は、ステップＳＴ１５へ移行する。

ステップＳＴ１５で、近点距離取得部１１０は、物体距離Ｌ、焦点距離ｆ、絞り値Ｆ、及び許容錯乱円径δに基づいて近点距離Ｌ_１を取得する。ステップＳＴ１５の処理が実行された後、動画像生成処理は、ステップＳＴ１６へ移行する。

ステップＳＴ１６で、遠点距離取得部１１２は、物体距離Ｌ、焦点距離ｆ、絞り値Ｆ、及び許容錯乱円径δに基づいて遠点距離Ｌ_２を取得する。ステップＳＴ１６の処理が実行された後、動画像生成処理は、図１２Ｂに示すステップＳＴ１７へ移行する。

ステップＳＴ１７で、第１被写体判定部１１４は、ステップＳＴ１３（図１２Ａ参照）で取得された距離データに基づいて、近点距離に第１境界被写体９１Ａが存在するか否かを判定する。ステップＳＴ１７において、近点距離に第１境界被写体９１Ａが存在しない場合は、判定が否定されて、動画像生成処理は、ステップＳＴ２３に移行する。ステップＳＴ１７において、近点距離に第１境界被写体９１Ａが存在する場合は、判定が肯定されて、動画像生成処理は、ステップＳＴ１８に移行する。

ステップＳＴ１８で、第２被写体判定部１１８は、ステップＳＴ１３で取得された距離データに基づいて、遠点距離に第２境界被写体９１Ｂが存在するか否かを判定する。ステップＳＴ１８において、遠点距離に第２境界被写体９１Ｂが存在しない場合は、判定が否定されて、動画像生成処理は、ステップＳＴ２２に移行する。ステップＳＴ１８において、遠点距離に第２境界被写体９１Ｂが存在する場合は、判定が肯定されて、動画像生成処理は、ステップＳＴ１９に移行する。

ステップＳＴ１９で、第２動画像データ生成部１２０は、ステップＳＴ１３で取得された距離データに基づいて、近点距離に存在する第１境界被写体９１Ａの領域を示す第１境界データを生成する。また、第２動画像データ生成部１２０は、ステップＳＴ１３で取得された距離データに基づいて、遠点距離に存在する第２境界被写体９１Ｂの領域を示す第２境界データを生成する。そして、第２動画像データ生成部１２０は、第１動画像データに基づいて、第１境界データ及び第２境界データを含む第２動画像データを生成する。ステップＳＴ１９の処理が実行された後、動画像生成処理は、ステップＳＴ２０へ移行する。

ステップＳＴ２０で、動画像データ出力部１２２は、ステップＳＴ１９で生成された第２動画像データ（すなわち、第１境界データ及び第２境界データを含む第２動画像データ）を表示用動画像データとしてディスプレイ２８に対して出力する。ステップＳＴ２０の処理が実行された後、動画像生成処理は、ステップＳＴ２７へ移行する。

ステップＳＴ２１で、第２動画像データ生成部１２０は、ステップＳＴ１３で取得された距離データに基づいて、近点距離に存在する第１境界被写体９１Ａの領域を示す第１境界データを生成する。そして、第２動画像データ生成部１２０は、第１動画像データに基づいて、第１境界データを含む第２動画像データを生成する。ステップＳＴ２１の処理が実行された後、動画像生成処理は、ステップＳＴ２２へ移行する。

ステップＳＴ２２で、動画像データ出力部１２２は、ステップＳＴ１８で生成された第２動画像データ（すなわち、第１境界データを含む第２動画像データ）を表示用動画像データとしてディスプレイ２８に対して出力する。ステップＳＴ２２の処理が実行された後、動画像生成処理は、ステップＳＴ２７へ移行する。

ステップＳＴ２３で、第２被写体判定部１１８は、ステップＳＴ１３で取得された距離データに基づいて、遠点距離に第２境界被写体９１Ｂが存在するか否かを判定する。ステップＳＴ２３において、遠点距離に第２境界被写体９１Ｂが存在しない場合は、判定が否定されて、動画像生成処理は、ステップＳＴ２６に移行する。ステップＳＴ２３において、遠点距離に第２境界被写体９１Ｂが存在する場合は、判定が肯定されて、動画像生成処理は、ステップＳＴ２４に移行する。

ステップＳＴ２４で、第２動画像データ生成部１２０は、ステップＳＴ１３で取得された距離データに基づいて、遠点距離に存在する第２境界被写体９１Ｂの領域を示す第２境界データを生成する。そして、第２動画像データ生成部１２０は、第１動画像データに基づいて、第２境界データを含む第２動画像データを生成する。ステップＳＴ２４の処理が実行された後、動画像生成処理は、ステップＳＴ２５へ移行する。

ステップＳＴ２５で、動画像データ出力部１２２は、ステップＳＴ２４で生成された第２動画像データ（すなわち、第２境界データを含む第２動画像データ）を表示用動画像データとしてディスプレイ２８に対して出力する。ステップＳＴ２５の処理が実行された後、動画像生成処理は、ステップＳＴ２７へ移行する。

ステップＳＴ２６で、動画像データ出力部１２２は、ステップＳＴ１１で生成された第１動画像データを表示用動画像データとしてディスプレイ２８に対して出力する。ステップＳＴ２６の処理が実行された後、動画像生成処理は、ステップＳＴ２７へ移行する。

ステップＳＴ２７で、動画像データ記憶制御部１２４は、ステップＳＴ１１で生成された第１動画像データを記録用動画像データとしてＮＶＭ６４に記憶させる。ステップＳＴ２７の処理が実行された後、動画像生成処理は、ステップＳＴ２８へ移行する。

ステップＳＴ２８で、ＣＰＵ６２は、動画像生成処理を終了する条件が成立したか否かを判定する。動画像生成処理を終了する条件としては、例えば、撮像装置１０の動作モードが撮像モードから再生モード又は設定モードに切り替えられた、という条件が挙げられる。ステップＳＴ２８において、動画像生成処理を終了する条件が成立していない場合は、判定が否定されて、動画像生成処理は、図１２Ａに示すステップＳＴ１０に移行する。ステップＳＴ２８において、動画像生成処理を終了する条件が成立した場合は、判定が肯定されて、動画像生成処理は終了する。なお、上述の撮像装置１０の作用として説明した撮像方法は、本開示の技術に係る「撮像方法」の一例である。

以上説明したように、第１実施形態に係る撮像装置１０では、例えば、撮像エリア内に第１被写体９０Ａ、第２被写体９０Ｂ、及び第３被写体９２が存在する場合、ＣＰＵ６２は、複数の被写体と撮像装置１０との間の距離に関する距離データを取得する。そして、ＣＰＵ６２は、距離データに基づいて、近点距離に存在する第１境界被写体９１Ａの領域を示す第１境界データを生成する。同様に、ＣＰＵ６２は、距離データに基づいて、遠点距離に存在する第２境界被写体９１Ｂの領域を示す第２境界データを生成する。さらに、ＣＰＵ６２は、第１動画像データに基づいて、第１境界データ及び第２境界データを含む第２動画像データを生成する。そして、ＣＰＵ６２は、第１境界データ及び第２境界データを含む第２動画像データを表示用動画像データとしてディスプレイ２８に出力する。したがって、例えば、ユーザがディスプレイ２８に表示された画像で第１既定色が付された画素の位置及び第２既定色が付された画素の位置を確認することにより、被写界深度の近点の位置及び遠点の位置を把握することができる。

また、第１実施形態に係る撮像装置１０では、例えば、撮像エリア内に第１被写体９０Ａ及び第３被写体９２が存在する場合、ＣＰＵ６２は、複数の被写体と撮像装置１０との間の距離に関する距離データを取得する。そして、ＣＰＵ６２は、距離データに基づいて、近点距離に存在する第１境界被写体９１Ａの領域を示す第１境界データを生成する。また、ＣＰＵ６２は、イメージセンサ２０により撮像されることで得られた第１動画像データに基づいて、第１境界データを含む第２動画像データを生成する。そして、ＣＰＵ６２は、第１境界データを含む第２動画像データを表示用動画像データとしてディスプレイ２８に出力する。したがって、例えば、ユーザがディスプレイ２８に表示された画像で第１既定色が付された画素の位置を確認することにより、被写界深度の近点の位置を把握することができる。

また、第１実施形態に係る撮像装置１０では、例えば、撮像エリア内に第２被写体９０Ｂ及び第３被写体９２が存在する場合、ＣＰＵ６２は、複数の被写体と撮像装置１０との間の距離に関する距離データを取得する。そして、ＣＰＵ６２は、距離データに基づいて、遠点距離に存在する第２境界被写体９１Ｂの領域を示す第２境界データを生成する。また、ＣＰＵ６２は、イメージセンサ２０により撮像されることで得られた第１動画像データに基づいて、第２境界データを含む第２動画像データを生成する。そして、ＣＰＵ６２は、第２境界データを含む第２動画像データを表示用動画像データとしてディスプレイ２８に出力する。したがって、例えば、ユーザがディスプレイ２８に表示された画像で第２既定色が付された画素の位置を確認することにより、被写界深度の遠点の位置を把握することができる。

また、第１実施形態に係る撮像装置１０では、物体距離に存在する合焦被写体９３の領域を示す合焦位置データが表示用動画像データに含まれない。したがって、例えば、合焦位置データに基づいて、合焦被写体９３の領域と合焦被写体９３の領域以外の領域とが区別される態様でディスプレイ２８に表示される場合に比して、ユーザがディスプレイ２８に表示される画像に基づいて合焦被写体９３の表情及び／又は動作を容易に確認することができる。

また、表示用動画像データは、境界被写体９１の領域と境界被写体９１の領域以外の領域とが区別される態様で表現された画像をディスプレイ２８に表示させるためのデータである。したがって、例えば、ディスプレイ２８に表示された画像に基づいて、ユーザが境界被写体９１の領域と境界被写体９１の領域以外の領域とを判別することができる。

また、境界データは、第１動画像データに基づいてディスプレイ２８に表示される画像に対して境界被写体９１の領域を示す画像処理に用いられるデータである。したがって、画像処理された画像に基づいて、ユーザが境界被写体９１の領域を判別することができる。

また、画像処理は、ディスプレイ２８に表示される画像を構成する複数の画素のうち境界被写体９１の領域に対応する画素に対して既定色を付す処理である。したがって、既定色が付された画素に基づいて、ユーザが境界被写体９１の領域を判別することができる。

また、第１実施形態に係る撮像装置１０では、例えば、撮像エリア内に第１被写体９０Ａ、第２被写体９０Ｂ、及び第３被写体９２が存在する場合、ＣＰＵ６２は、第１境界データ及び第２境界データを含む第２動画像データを生成する。第１境界データは、近点距離に存在する第１境界被写体９１Ａの領域を示すデータであり、第２境界データは、遠点距離に存在する第２境界被写体９１Ｂの領域を示すデータである。そして、ＣＰＵ６２は、第１境界データ及び第２境界データを含む第２動画像データを表示用動画像データとしてディスプレイ２８に出力する。したがって、例えば、ユーザがディスプレイ２８に表示された画像で第１既定色が付された画素の位置及び第２既定色が付された画素の位置を確認することにより、被写界深度の近点の位置及び遠点の位置を把握することができる。

また、第１境界データは、ディスプレイ２８に表示される画像に対して、第１境界被写体９１Ａの領域を第１態様で表すデータであり、第２境界データは、ディスプレイ２８に表示される画像に対して、第２境界被写体９１Ｂの領域を第１態様と異なる第２態様で表すデータである。したがって、例えば、ディスプレイ２８に表示される画像に第１境界被写体９１Ａ及び第２境界被写体９１Ｂが同じ態様で表される場合に比して、ユーザが第１境界被写体９１Ａ及び第２境界被写体９１Ｂを容易に判別することができる。

また、ＣＰＵ６２は、距離データに基づいて、複数の被写体と撮像装置１０との間の距離のうち近点距離と等しい距離に存在する第１境界被写体９１Ａの領域を示す第１領域データを取得する。そして、ＣＰＵ６２は、第１領域データに基づいて、近点距離に存在する第１境界被写体９１Ａの領域を第１態様で表す第１境界データを生成する。したがって、距離データに基づいて第１境界データを生成することができる。

同様に、ＣＰＵ６２は、距離データに基づいて、複数の被写体と撮像装置１０との間の距離のうち遠点距離と等しい距離に存在する第２境界被写体９１Ｂの領域を示す第２領域データを取得する。そして、ＣＰＵ６２は、第２領域データに基づいて、遠点距離に存在する第２境界被写体９１Ｂの領域を第２態様で表す第２境界データを生成する。したがって、距離データに基づいて第２境界データを生成することができる。

また、ＣＰＵ６２は、第１動画像データを記録用動画像データとしてＮＶＭ６４に記憶させる。したがって、ＮＶＭ６４に記憶された記録用動画像データに基づいてディスプレイ２８に画像が表示される場合には、第１境界被写体９１Ａの領域及び／又は第２境界被写体９１Ｂの領域が色付けされた状態で画像に表されることを回避することができる。

また、イメージセンサ２０が備える光電変換素子７２は、複数の感光画素７２Ｂを有し、ＣＰＵ６２は、感光画素７２Ｂから出力された位相差画素データ７３Ｂに基づいて距離データを取得する。したがって、イメージセンサ２０以外の距離センサを不要にすることができる。

また、感光画素７２Ｂは、非位相差画素データ７３Ａと、位相差画素データ７３Ｂとを選択的に出力する画素である。非位相差画素データ７３Ａは、感光画素７２Ｂの全領域によって光電変換が行われることで得られる画素データであり、位相差画素データ７３Ｂは、感光画素７２Ｂの一部の領域によって光電変換が行われることで得られる画素データである。したがって、撮像データ７３から、画像データ８１及び距離データ８２を取得することができる。

なお、第１実施形態では、第２動画像データ生成部１２０によって実行される第１画像処理は、複数の画素のうち近点距離に存在する第１境界被写体９１Ａの領域に対応する画素に第１既定色を付す処理であるが、第１画像処理は、複数の画素のうち第１境界被写体９１Ａの領域に対応する画素に対して第１既定輝度を付す処理でもよい。第１既定輝度は、第１境界被写体９１Ａの領域の輝度を第１境界被写体９１Ａの領域以外の領域の輝度よりも高くする輝度でもよく、第１境界被写体９１Ａの領域の輝度を第１境界被写体９１Ａの領域以外の領域の輝度よりも低くする輝度でもよい。

同様に、第１実施形態では、第２動画像データ生成部１２０によって実行される第２画像処理は、複数の画素のうち遠点距離に存在する第２境界被写体９１Ｂの領域に対応する画素に第２既定色を付す処理であるが、第２画像処理は、複数の画素のうち第２境界被写体９１Ｂの領域に対応する画素に対して第２既定輝度を付す処理でもよい。第２既定輝度は、第２境界被写体９１Ｂの領域の輝度を第２境界被写体９１Ｂの領域以外の領域の輝度よりも高くする輝度でもよく、第２境界被写体９１Ｂの領域の輝度を第２境界被写体９１Ｂの領域以外の領域の輝度よりも低くする輝度でもよい。

また、第１既定輝度は、第２既定輝度と異なる輝度でもよい。第１既定輝度及び第２既定輝度は、本開示の技術に係る「既定輝度」の一例である。

また、第１画像処理は、ディスプレイ２８に表示される画像に対して第１境界被写体９１Ａの領域を示す第１マークを付す処理でもよい。同様に、第２画像処理は、ディスプレイ２８に表示される画像に対して第２境界被写体９１Ｂの領域を示す第２マークを付す処理でもよい。第１マーク及び第２マークの一例としては、矢印及び／又は枠等が挙げられる。第１マークの形態は、第２マークの形態と異なっていてもよい。第１マーク及び第２マークは、本開示の技術に係る「マーク」の一例である。

また、第１画像処理は、距離データに基づいて生成された第１距離画像（すなわち、第１境界被写体９１Ａの領域を示す距離画像）をディスプレイ２８に表示される画像に重畳させる処理でもよい。同様に、第２画像処理は、距離データに基づいて生成された第２距離画像（すなわち、第２境界被写体９１Ｂの領域を示す距離画像）をディスプレイ２８に表示される画像に重畳させる処理でもよい。第１距離画像及び第２距離画像の一例としては、距離データ８２がヒートマップ化された画像（例えば、網掛け画像、ドット画像、コンター画像、及び／又は等高線画像等）が挙げられる。第１距離画像の態様は、第２距離画像の態様と異なっていてもよい。第１距離画像及び第２距離画像は、本開示の技術に係る「距離画像」の一例である。

また、第１実施形態では、第１既定色を付す第１画像処理の一例として、画素の赤（Ｒ）の値、緑（Ｇ）の値、及び青（Ｂ）の値が変更されるが、第１既定色を付す第１画像処理の一例として、画素の輝度（Ｙ）の値、青の色差（Ｃｂ）の値、及び赤の色差（Ｃｒ）の値が変更されてもよい。この場合の一例としては、例えば、画素の輝度（Ｙ）の値、青の色差（Ｃｂ）の値、及び赤の色差（Ｃｒ）の値が、それぞれ１２８、１２８、及び０に設定される例が挙げられる。

同様に、第１実施形態では、第２既定色を付す第２画像処理の一例として、画素の赤（Ｒ）の値、緑（Ｇ）の値、及び青（Ｂ）の値が変更されるが、第２既定色を付す第２画像処理の一例として、画素の輝度（Ｙ）の値、青の色差（Ｃｂ）の値、及び赤の色差（Ｃｒ）の値が変更されてもよい。

また、第１画像処理は、ディスプレイ２８に表示される画像に対して第１境界被写体９１Ａの領域を示す第１ハッチングを付す処理でもよい。同様に、第２画像処理は、ディスプレイ２８に表示される画像に対して第２境界被写体９１Ｂの領域を示す第２ハッチングを付す処理でもよい。第１ハッチングの態様は、第２ハッチングの態様と異なっていてもよい。

また、第２動画像データ生成部１２０は、第１既定色が付される前の画素と第１既定色が同じ色である場合、第１既定色を第１既定色が付される前の画素と異なる色に設定してもよい。同様に、第２動画像データ生成部１２０は、第２既定色が付される前の画素と第２既定色が同じ色である場合、第２既定色を第２既定色が付される前の画素と異なる色に設定してもよい。

また、第１実施形態では、動画像データ記憶制御部１２４は、第１動画像データ生成部１０２によって生成された第１動画像データを記録用動画像データとしてＮＶＭ６４に記憶させる。しかしながら、例えば、撮像エリア内に第１被写体９０Ａ、第２被写体９０Ｂ、及び第３被写体９２が存在する場合、動画像データ記憶制御部１２４は、第２動画像データ生成部１２０によって生成された第２動画像データ（すなわち、第１境界データ及び第２境界データを含む第２動画像データ）を記録用動画像データとしてＮＶＭ６４に記憶させてもよい。

また、例えば、撮像エリア内に第１被写体９０Ａ及び第３被写体９２が存在する場合、動画像データ記憶制御部１２４は、第２動画像データ生成部１２０によって生成された第２動画像データ（すなわち、第１境界データを含む第２動画像データ）を記録用動画像データとしてＮＶＭ６４に記憶させてもよい。

また、例えば、撮像エリア内に第２被写体９０Ｂ及び第３被写体９２が存在する場合、動画像データ記憶制御部１２４は、第２動画像データ生成部１２０によって生成された第２動画像データ（すなわち、第２境界データを含む第２動画像データ）を記録用動画像データとしてＮＶＭ６４に記憶させてもよい。

また、第１実施形態では、ＣＰＵ６２は、光電変換素子７２に含まれる感光画素７２Ｂの各々に対応する被写体について距離を取得するが、必ずしもすべての感光画素７２Ｂに対応する被写体から距離を取得する必要はない。すなわち、距離を取得する感光画素７２Ｂが間引かれてもよい。

また、第１実施形態では、光電変換素子７２は、一画素に一対のフォトダイオードＰＤ１及びＰＤ２が設けられた像面位相差方式の光電変換素子であり、全ての感光画素７２Ｂが撮像及び位相差に関するデータを出力する機能を兼ね備えているが、全ての感光画素７２Ｂが撮像及び位相差に関するデータを出力する機能を兼ね備えていることには限定されない。光電変換素子７２には、撮像及び位相差に関するデータを出力する機能を有しない感光画素７２Ｂが含まれていてもよい。また、光電変換素子７２は、一画素に一対のフォトダイオードＰＤ１及びＰＤ２が設けられた像面位相差方式の光電変換素子に限られず、非位相差画素データ７３Ａを取得するための撮像用の感光画素７２Ｂと、位相差画素データ７３Ｂを取得するための位相差検出用の感光画素７２Ｂとを含むものであってもよい。この場合、位相差画素は、第１の瞳部分領域と第２の瞳部分領域とのうち一方を受光するように遮光部材が設けられる。

また、第１実施形態では、位相差方式の光電変換素子７２により距離データを取得しているが、位相差方式に限定されず、ＴＯＦ方式の光電変換素子を用いて距離データを取得してもよいし、ステレオカメラ又は深度センサを用いて距離データを取得してもよい。ＴＯＦ方式の光電変換素子を用いて距離データを取得する方式としては、例えば、ＬｉＤＡＲを用いた方式が挙げられる。なお、距離データは、イメージセンサ２０のフレームレートに合わせて取得されるようにしてもよいし、イメージセンサ２０のフレームレートで規定される時間間隔よりも長い時間間隔又は短い時間間隔で取得されるようにしてもよい。

［第２実施形態］
一例として図１３に示すように、第２実施形態では、第１実施形態に対して、撮像装置１０の構成が次のように変更されている。

すなわち、ＣＰＵ６２は、第１撮像制御部１００、第１動画像データ生成部１０２、第２撮像制御部１０４、距離データ取得部１０６、物体距離取得部１０８、近点距離取得部１１０、遠点距離取得部１１２、第１被写体判定部１１４、第２被写体判定部１１８、第２動画像データ生成部１２０、動画像データ出力部１２２、及び動画像データ記憶制御部１２４に加えて、第１距離範囲設定部１３０及び第２距離範囲設定部１３２として動作する。

第１撮像制御部１００、第１動画像データ生成部１０２、第２撮像制御部１０４、距離データ取得部１０６、物体距離取得部１０８、近点距離取得部１１０、遠点距離取得部１１２、動画像データ出力部１２２、及び動画像データ記憶制御部１２４の動作は、第１実施形態と同様である。第２実施形態では、第１被写体判定部１１４、第２被写体判定部１１８、及び第２動画像データ生成部１２０の動作が第１実施形態と異なる。

以下、第２実施形態に係る撮像装置１０について、第１実施形態に係る撮像装置１０と異なる点として、第１距離範囲設定部１３０、第２距離範囲設定部１３２、第１被写体判定部１１４、第２被写体判定部１１８、及び第２動画像データ生成部１２０の動作を説明する。

第１距離範囲設定部１３０は、近点距離取得部１１０によって取得された近点距離に基づいて、近点及び第１境界点を含む第１距離範囲を設定する。第１距離範囲は、近点から第１境界点までの間の範囲である。第１境界点は、近点に対して遠点側に位置する。つまり、第１距離範囲は、近点から遠点側に延びる範囲である。第１距離範囲は、近点距離を下限とし、第１境界点距離を上限とする距離範囲である。第１境界点距離は、撮像レンズ４０の主点から第１境界点までの深度方向に沿った距離である。第１距離範囲の幅（すなわち、第１境界点距離と近点距離との差）は、予め定められた固定値でもよく、ユーザから受付装置７６に対して付与された指定値でもよい。第１距離範囲は、本開示の技術に係る「境界部」、「第１境界部」、及び「距離範囲」の一例である。

第１被写体９０Ａの顔の一部は、第１距離範囲に存在する。すなわち、第１被写体９０Ａの顔の一部は、近点と第１境界点との間に存在する。以下、第１距離範囲に存在する第１被写体９０Ａの顔の一部を第１境界被写体９１Ａと称する。

第２距離範囲設定部１３２は、遠点距離取得部１１２によって取得された遠点距離に基づいて、遠点及び第２境界点を含む第２距離範囲を設定する。第２距離範囲は、遠点から第２境界点までの間の範囲である。第２境界点は、遠点に対して近点側に位置する。つまり、第２距離範囲は、遠点から近点側に延びる範囲である。第２距離範囲は、第２境界点距離を下限とし、遠点距離を上限とする距離範囲である。第２境界点距離は、撮像レンズ４０の主点から第２境界点までの深度方向に沿った距離である。第２距離範囲の幅（すなわち、遠点距離と第２境界点距離との差）は、予め定められた固定値でもよく、ユーザから受付装置７６に対して付与された指定値でもよい。第２距離範囲は、本開示の技術に係る「境界部」、「第２境界部」、及び「距離範囲」の一例である。

第２被写体９０Ｂの顔の一部は、第２距離範囲に存在する。すなわち、第２被写体９０Ｂの顔の一部は、第２境界点と遠点との間に存在する。以下、第２距離範囲に存在する第２被写体９０Ｂの顔の一部を第２境界被写体９１Ｂと称する。

第１被写体判定部１１４は、第１距離範囲設定部１３０によって設定された第１距離範囲に基づいて、第１距離範囲に第１境界被写体９１Ａが存在するか否か（換言すれば、近点と第１境界点との間に第１境界被写体９１Ａが存在するか否か）を判定する。第１被写体判定部１１４は、具体的には、第１距離範囲に基づいて、各感光画素７２Ｂ（図３参照）について得られた距離と第１距離範囲とを比較し、各感光画素７２Ｂについて得られた距離に第１距離範囲に収まる距離が含まれているか否かを判定する。つまり、各感光画素７２Ｂ（図３参照）について得られた距離をｄ、近点距離をＬ_１、第１距離範囲の幅をＲ_１とした場合、第１被写体判定部１１４は、各感光画素７２Ｂについて得られた距離に下式（７）を満たす距離ｄが含まれているか否かを判定する。

第１距離範囲に収まる距離が得られた感光画素７２Ｂは、第１境界被写体９１Ａに対応する感光画素７２Ｂである。そして、第１被写体判定部１１４は、各感光画素７２Ｂについて得られた距離に第１距離範囲に収まる距離が含まれている場合、第１距離範囲に第１境界被写体９１Ａが存在すると判定する。一方、第１被写体判定部１１４は、各感光画素７２Ｂについて得られた距離に第１距離範囲に収まる距離が含まれていない場合、近点距離に第１境界被写体９１Ａが存在しないと判定する。

一例として図１３に示す例では、第１距離範囲に第１境界被写体９１Ａが存在する。第１距離範囲に第１境界被写体９１Ａが存在する場合、第１被写体判定部１１４は、第１距離範囲に第１境界被写体９１Ａが存在すると判定する。

第２被写体判定部１１８は、距離データ取得部１０６によって取得された距離データに基づいて、第２距離範囲に第２境界被写体９１Ｂが存在するか否か（換言すれば、第２境界点と遠点との間に第２境界被写体９１Ｂが存在するか否か）を判定する。具体的には、第２被写体判定部１１８は、距離データに基づいて、各感光画素７２Ｂ（図３参照）について得られた距離と第２距離範囲とを比較し、各感光画素７２Ｂについて得られた距離に第２距離範囲に収まる距離が含まれているか否かを判定する。つまり、各感光画素７２Ｂ（図３参照）について得られた距離をｄ、遠点距離をＬ_２、第２距離範囲の幅をＲ_２とした場合、第２被写体判定部１１８は、各感光画素７２Ｂについて得られた距離に下式（８）を満たす距離ｄが含まれているか否かを判定する。

第２距離範囲に収まる距離が得られた感光画素７２Ｂは、第２境界被写体９１Ｂに対応する感光画素７２Ｂである。そして、第２被写体判定部１１８は、各感光画素７２Ｂについて得られた距離に第２距離範囲に収まる距離が含まれている場合、第２距離範囲に第２境界被写体９１Ｂが存在すると判定する。一方、第２被写体判定部１１８は、各感光画素７２Ｂについて得られた距離に第２距離範囲に収まる距離が含まれていない場合、第２距離範囲に第２境界被写体９１Ｂが存在しないと判定する。

一例として図１３に示す例では、第２距離範囲に第２境界被写体９１Ｂが存在する。第２距離範囲に第２境界被写体９１Ｂが存在する場合、第２被写体判定部１１８は、第２距離範囲に第２境界被写体９１Ｂが存在すると判定する。

第２動画像データ生成部１２０は、第１距離範囲に第１境界被写体９１Ａが存在すると第１被写体判定部１１４によって判定された場合、距離データに基づいて、第１距離範囲に存在する第１境界被写体９１Ａの領域を示す第１境界データを生成する。具体的には、第２動画像データ生成部１２０は、次の要領で第１境界データを生成する。

すなわち、第２動画像データ生成部１２０は、距離データに基づいて、各感光画素７２Ｂ（図３参照）について得られた距離のうち第１距離範囲に収まる距離に存在する第１境界被写体９１Ａの領域を示す第１領域データを取得する。第１領域データは、例えば、感光画素７２Ｂのアドレスによって表される。つまり、第２動画像データ生成部１２０は、距離データに基づいて、複数の感光画素７２Ｂのうち第１距離範囲に収まる距離が得られた感光画素７２Ｂのアドレスを第１領域データとして取得する。感光画素７２Ｂのアドレスは、各感光画素７２Ｂについて定められた座標であり、光電変換素子７２の縦方向及び横方向を表す座標である。

続いて、第２動画像データ生成部１２０は、第１領域データに基づいて、第１境界データを生成する。第１境界データは、上述の第１動画像データに基づいてディスプレイ２８に表示される画像に対して、第１距離範囲に存在する第１境界被写体９１Ａの領域（すなわち、第１領域データが示す領域）を第１態様で表すデータである。第１境界データは、第１境界被写体９１Ａの領域を第１態様で表すデータの一例として、ディスプレイ２８に表示される画像に対して、第１距離範囲に存在する第１境界被写体９１Ａの領域を示す第１画像処理に用いられるデータである。

一例として、第１画像処理は、ディスプレイ２８に表示される画像を構成する複数の画素のうち第１距離範囲に存在する第１境界被写体９１Ａの領域に対応する画素（すなわち、第１領域データが表す感光画素７２Ｂのアドレスに対応する画素）に対して第１既定色を付す処理である。第１既定色を付す処理は、第１実施形態と同様である。第１境界データは、本開示の技術に係る「境界データ」及び「第１境界データ」の一例である。第１画像処理は、本開示の技術に係る「画像処理」の一例である。

また、第２動画像データ生成部１２０は、第２距離範囲に第２境界被写体９１Ｂが存在すると第２被写体判定部１１８によって判定された場合、距離データに基づいて、第２距離範囲に存在する第２境界被写体９１Ｂの領域を示す第２境界データを生成する。具体的には、第２動画像データ生成部１２０は、次の要領で第２境界データを生成する。

すなわち、第２動画像データ生成部１２０は、距離データに基づいて、各感光画素７２Ｂ（図３参照）について得られた距離のうち第２距離範囲に収まる距離に存在する第２境界被写体９１Ｂの領域を示す第２領域データを取得する。第２領域データは、例えば、感光画素７２Ｂのアドレスによって表される。つまり、第２動画像データ生成部１２０は、距離データに基づいて、複数の感光画素７２Ｂのうち第２距離範囲に収まる距離が得られた感光画素７２Ｂのアドレスを第２領域データとして取得する。

続いて、第２動画像データ生成部１２０は、第２領域データに基づいて、第２境界データを生成する。第２境界データは、上述の第１動画像データに基づいてディスプレイ２８に表示される画像に対して、第２距離範囲に存在する第２境界被写体９１Ｂの領域（すなわち、第２領域データが示す領域）を第１態様と異なる第２態様で表すデータである。第２境界データは、第２境界被写体９１Ｂの領域を第２態様で表すデータの一例として、上述の第１動画像データに基づいてディスプレイ２８に表示される画像に対して、第２距離範囲に存在する第２境界被写体９１Ｂの領域を示す第２画像処理に用いられるデータである。

一例として、第２画像処理は、ディスプレイ２８に表示される画像を構成する複数の画素のうち第２距離範囲に存在する第２境界被写体９１Ｂの領域に対応する画素（すなわち、第２領域データが表す感光画素７２Ｂのアドレスに対応する画素）に対して第２既定色を付す処理である。第２既定色を付す処理は、第１実施形態と同様である。第２境界データは、本開示の技術に係る「境界データ」及び「第２境界データ」の一例である。第２画像処理は、本開示の技術に係る「画像処理」の一例である。

そして、第２動画像データ生成部１２０は、第１距離範囲に第１境界被写体９１Ａが存在すると第１被写体判定部１１４によって判定され、かつ、第２距離範囲に第２境界被写体９１Ｂが存在すると第２被写体判定部１１８によって判定された場合、第１動画像データに基づいて、第１境界データ及び第２境界データを含む第２動画像データを生成する。具体的には、第２動画像データ生成部１２０は、第１動画像データに基づいてディスプレイ２８に表示される画像を構成する複数の画素のうち第１距離範囲に存在する第１境界被写体９１Ａの領域に対応する画素に対して第１画像処理を行う。同様に、第２動画像データ生成部１２０は、第１動画像データに基づいてディスプレイ２８に表示される画像を構成する複数の画素のうち第２距離範囲に存在する第２境界被写体９１Ｂの領域に対応する画素に対して第２画像処理を行う。これにより、第１距離範囲に存在する第１境界被写体９１Ａの領域に対応する画素に第１既定色が付され、第２距離範囲に存在する第２境界被写体９１Ｂの領域に対応する画素に第２既定色が付された画像を表す第２動画像データが第２動画像データ生成部１２０によって生成される。

動画像データ出力部１２２は、第１距離範囲に第１境界被写体９１Ａが存在すると第１被写体判定部１１４によって判定され、かつ、第２距離範囲に第２境界被写体９１Ｂが存在すると第２被写体判定部１１８によって判定された場合、第２動画像データ生成部１２０によって生成された第２動画像データ（すなわち、第１境界データ及び第２境界データを含む第２動画像データ）を表示用動画像データとしてディスプレイ２８に対して出力する。ディスプレイ２８は、表示用動画像データに基づいて画像を表示する。この場合に、動画像データに基づいてディスプレイ２８に表示される画像２００は、第１実施形態における図７に示す例と同様である。

一例として図１４には、イメージセンサ２０によって撮像される撮像エリア内に第１被写体９０Ａ及び第３被写体９２が存在する例が示されている。第１被写体９０Ａ及び第３被写体９２の位置は、図１３に示す例と同様である。

以下、図１４に示す例に基づいて、第１撮像制御部１００、第１動画像データ生成部１０２、第２撮像制御部１０４、距離データ取得部１０６、物体距離取得部１０８、近点距離取得部１１０、遠点距離取得部１１２、第１距離範囲設定部１３０、第２距離範囲設定部１３２、第１被写体判定部１１４、第２被写体判定部１１８、第２動画像データ生成部１２０、及び動画像データ出力部１２２の動作について説明する。

第１撮像制御部１００、第１動画像データ生成部１０２、第２撮像制御部１０４、距離データ取得部１０６、物体距離取得部１０８、近点距離取得部１１０、遠点距離取得部１１２、第１被写体判定部１１４、第２動画像データ生成部１２０、動画像データ記憶制御部１２４の動作は、図１３に示す例と同様である。図１４に示す例では、第２被写体判定部１１８、第２動画像データ生成部１２０、及び動画像データ出力部１２２の動作が図１３に示す例と異なる。以下、図１４に示す例について、図１３に示す例と異なる点として、第２被写体判定部１１８、第２動画像データ生成部１２０、及び動画像データ出力部１２２の動作を説明する。

一例として図１４に示す例では、第２距離範囲に第２境界被写体９１Ｂ（図１３参照）が存在しない。第２距離範囲に第２境界被写体９１Ｂが存在しない場合、第２被写体判定部１１８は、第２距離範囲に第２境界被写体９１Ｂが存在しないと判定する。

第２動画像データ生成部１２０は、第１距離範囲に第１境界被写体９１Ａが存在すると第１被写体判定部１１４によって判定され、かつ、第２距離範囲に第２境界被写体９１Ｂが存在しないと第２被写体判定部１１８によって判定された場合、第１動画像データに基づいて、第１境界データを含む第２動画像データを生成する。具体的には、第２動画像データ生成部１２０は、第１動画像データに基づいてディスプレイ２８に表示される画像を構成する複数の画素のうち第１距離範囲に存在する第１境界被写体９１Ａの領域に対応する画素に対して第１画像処理を行う。これにより、第１距離範囲に存在する第１境界被写体９１Ａの領域に対応する画素に第１既定色が付された画像を表す第２動画像データが第２動画像データ生成部１２０によって生成される。

動画像データ出力部１２２は、第１距離範囲に第１境界被写体９１Ａが存在すると第１被写体判定部１１４によって判定され、かつ、第２距離範囲に第２境界被写体９１Ｂが存在しないと第２被写体判定部１１８によって判定された場合、第２動画像データ生成部１２０によって生成された第２動画像データ（すなわち、第１境界データを含む第２動画像データ）を表示用動画像データとしてディスプレイ２８に対して出力する。ディスプレイ２８は、表示用動画像データに基づいて画像を表示する。この場合に、動画像データに基づいてディスプレイ２８に表示される画像２００は、第１実施形態における図９に示す例と同様である。

一例として図１５には、イメージセンサ２０によって撮像される撮像エリア内に第２被写体９０Ｂ及び第３被写体９２が存在する例が示されている。第２被写体９０Ｂ及び第３被写体９２の位置は、図１３に示す例と同様である。

以下、図１５に示す例に基づいて、第１撮像制御部１００、第１動画像データ生成部１０２、第２撮像制御部１０４、距離データ取得部１０６、物体距離取得部１０８、近点距離取得部１１０、遠点距離取得部１１２、第１距離範囲設定部１３０、第２距離範囲設定部１３２、第１被写体判定部１１４、第２被写体判定部１１８、第２動画像データ生成部１２０、及び動画像データ出力部１２２の動作について説明する。

第１撮像制御部１００、第１動画像データ生成部１０２、第２撮像制御部１０４、距離データ取得部１０６、物体距離取得部１０８、近点距離取得部１１０、遠点距離取得部１１２、第２動画像データ生成部１２０、第２被写体判定部１１８、動画像データ記憶制御部１２４の動作は、図１３に示す例と同様である。図１５に示す例では、第１被写体判定部１１４、第２動画像データ生成部１２０、及び動画像データ出力部１２２の動作が図１３に示す例と異なる。以下、図１５に示す例について、図１３に示す例と異なる点として、第１被写体判定部１１４、第２動画像データ生成部１２０、及び動画像データ出力部１２２の動作を説明する。

一例として図１５に示す例では、第１距離範囲に第１境界被写体９１Ａ（図１３参照）が存在しない。第１距離範囲に第１境界被写体９１Ａが存在しない場合、第１被写体判定部１１４は、第１距離範囲に第１境界被写体９１Ａが存在しないと判定する。

第２動画像データ生成部１２０は、第１距離範囲に第１境界被写体９１Ａが存在しないと第１被写体判定部１１４によって判定され、かつ、第２距離範囲に第２境界被写体９１Ｂが存在すると第２被写体判定部１１８によって判定された場合、第１動画像データに基づいて、第２境界データを含む第２動画像データを生成する。具体的には、第２動画像データ生成部１２０は、第１動画像データに基づいてディスプレイ２８に表示される画像を構成する複数の画素のうち第２距離範囲に存在する第２境界被写体９１Ｂの領域に対応する画素に対して第２画像処理を行う。これにより、第２距離範囲に存在する第２境界被写体９１Ｂの領域に対応する画素に第２既定色が付された画像を表す第２動画像データが第２動画像データ生成部１２０によって生成される。

動画像データ出力部１２２は、第１距離範囲に第１境界被写体９１Ａが存在しないと第１被写体判定部１１４によって判定され、かつ、第２距離範囲に第２境界被写体９１Ｂが存在すると第２被写体判定部１１８によって判定された場合、第２動画像データ生成部１２０によって生成された第２動画像データ（すなわち、第２境界データを含む第２動画像データ）を表示用動画像データとしてディスプレイ２８に対して出力する。ディスプレイ２８は、表示用動画像データに基づいて画像を表示する。この場合に、動画像データに基づいてディスプレイ２８に表示される画像２００は、第１実施形態における図１１に示す例と同様である。

なお、特に図に示さないが、イメージセンサ２０によって撮像される撮像エリア内に第１被写体９０Ａ及び第２被写体９０Ｂが存在しない場合、第１距離範囲に第１境界被写体９１Ａが存在しないと第１被写体判定部１１４によって判定され、かつ、第２距離範囲に第２境界被写体９１Ｂが存在しないと第２被写体判定部１１８によって判定される。

第１距離範囲に第１境界被写体９１Ａが存在しないと第１被写体判定部１１４によって判定され、かつ、第２距離範囲に第２境界被写体９１Ｂが存在しないと第２被写体判定部１１８によって判定された場合、第２動画像データ生成部１２０の動作がスキップされる。すなわち、第２動画像データ生成部１２０による第２動画像データの生成が行われることなく、動画像データ出力部１２２による処理が行われる。

動画像データ出力部１２２は、第１距離範囲に第１境界被写体９１Ａが存在しないと第１被写体判定部１１４によって判定され、かつ、第２距離範囲に第２境界被写体９１Ｂが存在しないと第２被写体判定部１１８によって判定された場合、第１動画像データ生成部１０２によって生成された第１動画像データを表示用動画像データとしてディスプレイ２８に対して出力する。ディスプレイ２８は、表示用動画像データに基づいて画像を表示する。この場合に、ディスプレイ２８に表示される画像には、第１被写体９０Ａ及び第２被写体９０Ｂが像として表れない。

次に、第２実施形態に係る撮像装置１０の作用について図１６Ａ及び図１６Ｂを参照しながら説明する。図１６Ａ及び図１６Ｂには、第２実施形態に係る動画像生成処理の流れの一例が示されている。

第２実施形態に係る動画像生成処理では、ステップＳＴ１０～ステップＳＴ１６は、第１実施形態と同様である。図１６Ａに示す動画像生成処理は、ステップＳＴ１６の処理が実行された後、ステップＳＴ３０へ移行する。

ステップＳＴ３０で、第１距離範囲設定部１３０は、ステップＳＴ１５で取得された近点距離に基づいて、近点を含む第１距離範囲を設定する。ステップＳＴ３０の処理が実行された後、動画像生成処理は、ステップＳＴ３１へ移行する。

ステップＳＴ３１で、第２距離範囲設定部１３２は、ステップＳＴ１６で取得された遠点距離に基づいて、遠点を含む第２距離範囲を設定する。ステップＳＴ３１の処理が実行された後、動画像生成処理は、図１６Ｂに示すステップＳＴ１７へ移行する。

ステップＳＴ１７で、第１被写体判定部１１４は、ステップＳＴ３０（図１６Ａ参照）で設定された第１距離範囲に基づいて、第１距離範囲に第１境界被写体９１Ａが存在するか否かを判定する。ステップＳＴ１７において、第１距離範囲に第１境界被写体９１Ａが存在しない場合は、判定が否定されて、動画像生成処理は、ステップＳＴ２３に移行する。ステップＳＴ１７において、第１距離範囲に第１境界被写体９１Ａが存在する場合は、判定が肯定されて、動画像生成処理は、ステップＳＴ１８に移行する。

ステップＳＴ１８で、第２被写体判定部１１８は、ステップＳＴ１３で取得された距離データに基づいて、第２距離範囲に第２境界被写体９１Ｂが存在するか否かを判定する。ステップＳＴ１８において、第２距離範囲に第２境界被写体９１Ｂが存在しない場合は、判定が否定されて、動画像生成処理は、ステップＳＴ２１に移行する。ステップＳＴ１８において、第２距離範囲に第２境界被写体９１Ｂが存在する場合は、判定が肯定されて、動画像生成処理は、ステップＳＴ１９に移行する。

ステップＳＴ１９で、第２動画像データ生成部１２０は、ステップＳＴ１３で取得された距離データに基づいて、第１距離範囲に存在する第１境界被写体９１Ａの領域を示す第１境界データを生成する。また、第２動画像データ生成部１２０は、ステップＳＴ１３で取得された距離データに基づいて、第２距離範囲に存在する第２境界被写体９１Ｂの領域を示す第２境界データを生成する。そして、第２動画像データ生成部１２０は、第１動画像データに基づいて、第１境界データ及び第２境界データを含む第２動画像データを生成する。ステップＳＴ１９の処理が実行された後、動画像生成処理は、ステップＳＴ２０へ移行する。

第２実施形態に係る動画像生成処理では、ステップＳＴ２０は、第１実施形態と同様である。

ステップＳＴ２１で、第２動画像データ生成部１２０は、ステップＳＴ１３で取得された距離データに基づいて、第１距離範囲に存在する第１境界被写体９１Ａの領域を示す第１境界データを生成する。そして、第２動画像データ生成部１２０は、第１動画像データに基づいて、第１境界データを含む第２動画像データを生成する。ステップＳＴ２１の処理が実行された後、動画像生成処理は、ステップＳＴ２２へ移行する。

第２実施形態に係る動画像生成処理では、ステップＳＴ２２は、第１実施形態と同様である。

ステップＳＴ２３で、第２被写体判定部１１８は、ステップＳＴ１３で取得された距離データに基づいて、第２距離範囲に第２境界被写体９１Ｂが存在するか否かを判定する。ステップＳＴ２３において、第２距離範囲に第２境界被写体９１Ｂが存在しない場合は、判定が否定されて、動画像生成処理は、ステップＳＴ２６に移行する。ステップＳＴ２３において、第２距離範囲に第２境界被写体９１Ｂが存在する場合は、判定が肯定されて、動画像生成処理は、ステップＳＴ２４に移行する。

ステップＳＴ２４で、第２動画像データ生成部１２０は、ステップＳＴ１３で取得された距離データに基づいて、第２距離範囲に存在する第２境界被写体９１Ｂの領域を示す第２境界データを生成する。そして、第２動画像データ生成部１２０は、第１動画像データに基づいて、第２境界データを含む第２動画像データを生成する。ステップＳＴ２４の処理が実行された後、動画像生成処理は、ステップＳＴ２５へ移行する。

第２実施形態に係る動画像生成処理では、ステップＳＴ２５～ステップＳＴ２８は、第１実施形態と同様である。

以上説明したように、第２実施形態に係る撮像装置１０では、ＣＰＵ６２は、近点を含む第１距離範囲を設定する。また、ＣＰＵ６２は、第１距離範囲に第１境界被写体９１Ａが存在する場合、第１距離範囲に存在する第１境界被写体９１Ａの領域を示す第１境界データを生成する。そして、ＣＰＵ６２は、第１境界データを含む表示用動画像データをディスプレイ２８に出力する。したがって、例えば、近点距離に存在する第１境界被写体９１Ａの領域を示す第１境界データが生成される場合に比して、被写体及び／又は撮像装置１０にぶれが生じた場合でも、ディスプレイ２８に表示された画像を構成する複数の画素のうち第１境界被写体９１Ａの領域に対応する画素に第１既定色を安定して付すことができる。つまり、被写体及び／又は撮像装置１０にぶれが生じた場合でも、第１既定色が付された画素が途切れること、及び／又は第１既定色が付された画素が表れたり消えたりすることを抑制することができる。

同様に、第２実施形態に係る撮像装置１０では、ＣＰＵ６２は、遠点を含む第２距離範囲を設定する。また、ＣＰＵ６２は、第２距離範囲に第２境界被写体９１Ｂが存在する場合、第２距離範囲に存在する第２境界被写体９１Ｂの領域を示す第２境界データを生成する。そして、ＣＰＵ６２は、第２境界データを含む表示用動画像データをディスプレイ２８に出力する。したがって、例えば、遠点距離に存在する第２境界被写体９１Ｂの領域を示す第２境界データが生成される場合に比して、被写体及び／又は撮像装置１０にぶれが生じた場合でも、ディスプレイ２８に表示された画像を構成する複数の画素のうち第２境界被写体９１Ｂの領域に対応する画素に第２既定色を安定して付すことができる。つまり、被写体及び／又は撮像装置１０にぶれが生じた場合でも、第２既定色が付された画素が途切れること、及び／又は第２既定色が付された画素が表れたり消えたりすることを抑制することができる。

また、第１距離範囲は、被写界深度の近点から被写界深度の遠点側に延びる範囲である。したがって、例えば、近点距離に存在する第１境界被写体９１Ａの領域を示す第１境界データが生成される場合に比して、第１被写体９０Ａが近点から遠点側に移動した場合でも、第１既定色が付された画素が直ちに消えることを抑制することができる。

また、第２距離範囲は、被写界深度の遠点から被写界深度の近点側に延びる範囲である。したがって、例えば、遠点距離に存在する第２境界被写体９１Ｂの領域を示す第２境界データが生成される場合に比して、第２被写体９０Ｂが遠点から近点側に移動した場合でも、第２既定色が付された画素が直ちに消えることを抑制することができる。

また、ＣＰＵ６２は、距離データに基づいて、複数の被写体と撮像装置１０との間の距離のうち第１距離範囲に収まる距離に存在する第１境界被写体９１Ａの領域を示す第１領域データを取得する。そして、ＣＰＵ６２は、第１領域データに基づいて、第１距離範囲に存在する第１境界被写体９１Ａの領域を第１態様で表す第１境界データを生成する。したがって、距離データに基づいて第１境界データを生成することができる。

同様に、ＣＰＵ６２は、距離データに基づいて、複数の被写体と撮像装置１０との間の距離のうち第２距離範囲に収まる距離に存在する第２境界被写体９１Ｂの領域を示す第２領域データを取得する。そして、ＣＰＵ６２は、第２領域データに基づいて、第２距離範囲に存在する第２境界被写体９１Ｂの領域を第２態様で表す第２境界データを生成する。したがって、距離データに基づいて第２境界データを生成することができる。

なお、第２実施形態に係る撮像装置１０では、第１距離範囲の幅と第２距離範囲の幅とが揃えられてもよい。

［第３実施形態］
一例として図１７及び図１８に示すように、第３実施形態では、第２実施形態に対して、撮像装置１０の構成が次のように変更されている。

すなわち、ＣＰＵ６２は、第１撮像制御部１００、第１動画像データ生成部１０２、第２撮像制御部１０４、距離データ取得部１０６、物体距離取得部１０８、近点距離取得部１１０、遠点距離取得部１１２、第１距離範囲設定部１３０、第２距離範囲設定部１３２、第１被写体判定部１１４、第２被写体判定部１１８、第２動画像データ生成部１２０、及び動画像データ出力部１２２に加えて、前方被写界深度取得部１４０及び後方被写界深度取得部１４２として動作する。

第１撮像制御部１００、第１動画像データ生成部１０２、第２撮像制御部１０４、距離データ取得部１０６、物体距離取得部１０８、近点距離取得部１１０、遠点距離取得部１１２、第１被写体判定部１１４、第２被写体判定部１１８、第２動画像データ生成部１２０、動画像データ出力部１２２、及び動画像データ記憶制御部１２４の動作は、第２実施形態と同様である。第３実施形態では、第１距離範囲設定部１３０及び第２距離範囲設定部１３２の動作が第２実施形態と異なる。

以下、第３実施形態に係る撮像装置１０について、第２実施形態に係る撮像装置１０と異なる点として、第１距離範囲設定部１３０、第２距離範囲設定部１３２、前方被写界深度取得部１４０、及び後方被写界深度取得部１４２の動作を説明する。なお、図１８に示す例は、図１７に示す例に比して被写界深度の深さが深い例である。

前方被写界深度取得部１４０は、物体距離Ｌ、焦点距離ｆ、絞り値Ｆ、及び許容錯乱円径δを取得する。そして、前方被写界深度取得部１４０は、物体距離Ｌ、焦点距離ｆ、絞り値Ｆ、及び許容錯乱円径δに基づいて、上式（３）を用いて前方被写界深度Ｄ_１を算出することにより、前方被写界深度Ｄ_１を取得する。この場合に、前方被写界深度取得部１４０は、物体距離Ｌ、焦点距離ｆ、絞り値Ｆ、及び許容錯乱円径δを以下の要領で取得する。すなわち、前方被写界深度取得部１４０は、物体距離取得部１０８によって取得された物体距離Ｌを取得する。また、前方被写界深度取得部１４０は、例えばＮＶＭ６４に予め記憶されている焦点距離ｆを取得する。また、前方被写界深度取得部１４０は、絞り量センサ４２Ｃによって検出された絞り量に相当する絞り値Ｆを取得する。また、前方被写界深度取得部１４０は、例えばユーザから受付装置７６に対して許容錯乱円径δが付与された場合、受付装置７６によって受け付けられた許容錯乱円径δを取得する。

後方被写界深度取得部１４２は、物体距離Ｌ、焦点距離ｆ、絞り値Ｆ、及び許容錯乱円径δを取得する。そして、後方被写界深度取得部１４２は、物体距離Ｌ、焦点距離ｆ、絞り値Ｆ、及び許容錯乱円径δに基づいて、上式（４）を用いて後方被写界深度Ｄ_２を算出することにより、後方被写界深度Ｄ_２を取得する。この場合に、後方被写界深度取得部１４２は、物体距離Ｌ、焦点距離ｆ、絞り値Ｆ、及び許容錯乱円径δを以下の要領で取得する。すなわち、後方被写界深度取得部１４２は、物体距離取得部１０８によって取得された物体距離Ｌを取得する。また、後方被写界深度取得部１４２は、例えばＮＶＭ６４に予め記憶されている焦点距離ｆを取得する。また、後方被写界深度取得部１４２は、絞り量センサ４２Ｃによって検出された絞り量に相当する絞り値Ｆを取得する。また、後方被写界深度取得部１４２は、例えばユーザから受付装置７６に対して許容錯乱円径δが付与された場合、受付装置７６によって受け付けられた許容錯乱円径δを取得する。

第１距離範囲設定部１３０は、前方被写界深度をＤ_１とし、第１距離範囲の幅をＲ_１とし、第１係数をＰ_１とした場合、前方被写界深度取得部１４０によって算出された前方被写界深度Ｄ_１に基づいて、下式（９）を用いて第１距離範囲の幅Ｒ_１を算出する。第１係数Ｐ_１は、前方被写界深度Ｄ_１に対する第１距離範囲の幅Ｒ_１の比率を規定する係数である。第１係数Ｐ_１は、例えば、０．０５～０．１５の範囲で設定され、好ましくは、０．１０程度に設定される。第１係数Ｐ_１は、例えばＮＶＭ６４に予め記憶されていてもよく、ユーザによって受付装置７６に対して付与されてもよい。

一例として図１７及び図１８に示すように、前方被写界深度は、被写界深度の深さが深くなるに従って深くなり、被写界深度の深さが浅くなるに従って浅くなる。第１距離範囲設定部１３０は、上式（９）により、前方被写界深度Ｄ_１が深くなるに従って第１距離範囲の幅Ｒ_１を広げ、前方被写界深度Ｄ_１が浅くなるに従って第１距離範囲の幅Ｒ_１を狭める。

また、第１距離範囲設定部１３０は、第１境界点距離をＬ_ｐ１とし、近点距離をＬ_１とした場合、下式（１０）を用いて、第１境界点距離Ｌ_ｐ１を算出する。

そして、第１距離範囲設定部１３０は、近点距離Ｌ_１を下限とし、第１境界点距離Ｌ_ｐ１を上限とする第１距離範囲を設定する。

第２距離範囲設定部１３２は、後方被写界深度をＤ_２とし、第２距離範囲の幅をＲ_２とし、第２係数をＰ _２ とした場合、後方被写界深度取得部１４２によって算出された後方被写界深度Ｄ_２に基づいて、下式（１１）を用いて第２距離範囲の幅Ｒ_２を算出する。第２係数Ｐ _２ は、後方被写界深度Ｄ_２に対する第２距離範囲の幅Ｒ_２の比率を規定する係数である。第２係数Ｐ_２は、例えば、０．０５～０．１５の範囲で設定され、好ましくは、０．１０程度に設定される。第２係数Ｐ_２は、例えばＮＶＭ６４に予め記憶されていてもよく、ユーザによって受付装置７６に対して付与されてもよい。

一例として図１７及び図１８に示すように、後方被写界深度は、被写界深度の深さが深くなるに従って深くなり、被写界深度の深さが浅くなるに従って浅くなる。第２距離範囲設定部１３２は、上式（１１）により、後方被写界深度Ｄ_２が深くなるに従って第２距離範囲の幅を広げ、後方被写界深度Ｄ_２が浅くなるに従って第２距離範囲の幅を狭める。

また、第２距離範囲設定部１３２は、第２境界点距離をＬ_ｐ２とし、遠点距離をＬ_２とした場合、下式（１２）を用いて、第２境界点距離Ｌ_ｐ２を算出する。

そして、第２距離範囲設定部１３２は、第２境界点距離Ｌ_ｐ２を下限とし、遠点距離Ｌ_２を上限とする第２距離範囲を設定する。

次に、第３実施形態に係る撮像装置１０の作用について図１９を参照しながら説明する。図１９には、第３実施形態に係る動画像生成処理の流れの一部の一例が示されている。

第３実施形態に係る動画像生成処理では、ステップＳＴ１０～ステップＳＴ１６は、第２実施形態と同様である。図１９に示す動画像生成処理は、ステップＳＴ１６の処理が実行された後、ステップＳＴ４０へ移行する。

ステップＳＴ４０で、前方被写界深度取得部１４０は、物体距離Ｌ、焦点距離ｆ、絞り値Ｆ、及び許容錯乱円径δに基づいて前方被写界深度Ｄ_１を取得する。ステップＳＴ４０の処理が実行された後、動画像生成処理は、ステップＳＴ４１へ移行する。

ステップＳＴ４１で、後方被写界深度取得部１４２は、物体距離Ｌ、焦点距離ｆ、絞り値Ｆ、及び許容錯乱円径δに基づいて後方被写界深度Ｄ_２を取得する。ステップＳＴ４１の処理が実行された後、動画像生成処理は、ステップＳＴ３０へ移行する。

ステップＳＴ３０で、第１距離範囲設定部１３０は、ステップＳＴ４０で取得された前方被写界深度に基づいて、第１距離範囲を設定する。この場合に、第１距離範囲設定部１３０は、前方被写界深度に対する第１距離範囲の幅の比率を規定する第１係数に基づいて、前方被写界深度が深くなるに従って第１距離範囲の幅を広げ、前方被写界深度が浅くなるに従って第１距離範囲の幅を狭める。ステップＳＴ３０の処理が実行された後、動画像生成処理は、ステップＳＴ３１へ移行する。

ステップＳＴ３１で、第２距離範囲設定部１３２は、ステップＳＴ４１で取得された後方被写界深度に基づいて、第２距離範囲を設定する。この場合に、第２距離範囲設定部１３２は、後方被写界深度に対する第２距離範囲の幅の比率を規定する第２係数に基づいて、後方被写界深度が深くなるに従って第２距離範囲の幅を広げ、後方被写界深度が浅くなるに従って第２距離範囲の幅を狭める。ステップＳＴ３１の処理が実行された後、動画像生成処理は、図１６Ｂに示すステップＳＴ１７へ移行する。

第３実施形態に係る動画像生成処理では、ステップＳＴ１７～ステップＳＴ２８（図１６Ｂ参照）は、第２実施形態と同様である。

以上説明したように、第３実施形態に係る撮像装置１０では、ＣＰＵ６２は、被写界深度の深さに応じて、第１距離範囲の幅及び／又は第２距離範囲の幅を変更する。つまり、第１距離範囲の幅及び／又は第２距離範囲の幅は、被写界深度の深さに応じて、異なる。したがって、例えば、フォーカスレンズ４０Ｂの位置及び／又は絞り量が調節されることにより前方被写界深度及び／又は後方被写界深度が変動しても、同程度のボケ具合の範囲（例えば、画素の０．９倍～１．０倍程度のボケ具合の範囲）で境界被写体の領域に対応する画素に既定色を付すことができる。

また、ＣＰＵ６２は、前方被写界深度の深さが深くなるに従って、第１距離範囲の幅を広げ、前方被写界深度の深さが浅くなるに従って、第１距離範囲の幅を狭める。したがって、例えば、前方被写界深度の深さが変動しても、第１距離範囲の幅が一定である場合に比して、被写界深度の近点の位置の視認性を高めることができる。

同様に、ＣＰＵ６２は、後方被写界深度の深さが深くなるに従って、第２距離範囲の幅を広げ、後方被写界深度の深さが浅くなるに従って、第２距離範囲の幅を狭める。したがって、例えば、後方被写界深度の深さが変動しても、第２距離範囲の幅が一定である場合に比して、被写界深度の遠点の位置の視認性を高めることができる。

なお、ＣＰＵ６２は、ディスプレイ２８に表示される画像を構成する複数の画素のうち第１距離範囲に対応する画素の数に応じて、第１距離範囲の幅を変更してもよい。例えば、ＣＰＵ６２は、第１距離範囲に対応する画素の数が少なくなるに従って、第１距離範囲の幅を広げてもよい。この場合には、第１距離範囲の幅が第１距離範囲に対応する画素の数に応じて、異なる。したがって、例えば、第１距離範囲に対応する画素の数が変動しても、第１距離範囲の幅が一定である場合に比して、被写界深度の近点の位置の視認性を高めることができる。

同様に、ＣＰＵ６２は、ディスプレイ２８に表示される画像を構成する複数の画素のうち第２距離範囲に対応する画素の数に応じて、第２距離範囲の幅を変更してもよい。例えば、ＣＰＵ６２は、第２距離範囲に対応する画素の数が少なくなるに従って、第２距離範囲の幅を広げてもよい。この場合には、第２距離範囲の幅が第２距離範囲に対応する画素の数に応じて、異なる。したがって、例えば、第２距離範囲に対応する画素の数が変動しても、第２距離範囲の幅が一定である場合に比して、被写界深度の遠点の位置の視認性を高めることができる。

また、ＣＰＵ６２は、物体距離に応じて、第１距離範囲の幅を変更してもよい。例えば、ＣＰＵ６２は、物体距離が長くなるに従って、第１距離範囲を広げ、物体距離が短くなるに従って、第１距離範囲を狭めてもよい。この場合には、例えば、物体距離が変動しても、第１距離範囲の幅が一定である場合に比して、被写界深度の近点の位置の視認性を高めることができる。

同様に、ＣＰＵ６２は、物体距離に応じて、第２距離範囲の幅を変更してもよい。例えば、ＣＰＵ６２は、物体距離が長くなるに従って、第２距離範囲を広げ、物体距離が短くなるに従って、第２距離範囲を狭めてもよい。この場合には、例えば、物体距離が変動しても、第２距離範囲の幅が一定である場合に比して、被写界深度の遠点の位置の視認性を高めることができる。

また、ＣＰＵ６２は、焦点距離及び絞り値のうちの少なくとも一方に応じて、第１距離範囲の幅及び／又は第２距離範囲の幅を変更してもよい。

［第４実施形態］
一例として図２０に示すように、第４実施形態では、第１実施形態に対して、撮像装置１０の構成が次のように変更されている。

すなわち、ＣＰＵ６２は、第１撮像制御部１００、第１動画像データ生成部１０２、第２撮像制御部１０４、距離データ取得部１０６、物体距離取得部１０８、近点距離取得部１１０、遠点距離取得部１１２、第１被写体判定部１１４、第２被写体判定部１１８、第２動画像データ生成部１２０、動画像データ出力部１２２、及び動画像データ記憶制御部１２４に加えて、被写界深度取得部１５０及び許容錯乱円径取得部１５２として動作する。

第１撮像制御部１００、第１動画像データ生成部１０２、第２撮像制御部１０４、距離データ取得部１０６、物体距離取得部１０８、近点距離取得部１１０、遠点距離取得部１１２、第１被写体判定部１１４、第２被写体判定部１１８、第２動画像データ生成部１２０、動画像データ出力部１２２、及び動画像データ記憶制御部１２４の動作は、第１実施形態と同様である。

以下、第４実施形態に係る撮像装置１０について、第１実施形態に係る撮像装置１０と異なる点として、被写界深度取得部１５０及び許容錯乱円径取得部１５２の動作を説明する。

被写界深度取得部１５０は、物体距離Ｌ、焦点距離ｆ、絞り値Ｆ、及び既定許容錯乱円径δ_ａを取得する。そして、被写界深度取得部１５０は、物体距離Ｌ、焦点距離ｆ、絞り値Ｆ、及び既定許容錯乱円径δ_ａに基づいて、下式（１３）を用いて第１後方被写界深度Ｄ_２ａを算出することにより、第１後方被写界深度Ｄ_２ａを取得する。第１後方被写界深度Ｄ_２ａは、本開示の技術に係る「第１被写界深度」の一例である。

この場合に、被写界深度取得部１５０は、物体距離Ｌ、焦点距離ｆ、絞り値Ｆ、及び既定許容錯乱円径δ_ａを以下の要領で取得する。すなわち、被写界深度取得部１５０は、物体距離取得部１０８によって取得された物体距離Ｌを取得する。また、被写界深度取得部１５０は、例えばＮＶＭ６４に予め記憶されている焦点距離ｆを取得する。また、被写界深度取得部１５０は、絞り量センサ４２Ｃによって検出された絞り量に相当する絞り値Ｆを取得する。また、被写界深度取得部１５０は、例えばユーザから受付装置７６に対して既定許容錯乱円径δ_ａが付与された場合、受付装置７６によって受け付けられた既定許容錯乱円径δ_ａを取得する。既定許容錯乱円径は、本開示の技術に係る「既定許容錯乱円径」の一例である。

一例として図２１には、第１後方被写界深度Ｄ_２ａに対応する許容錯乱円径δが示されている。図２１に示す第１後方被写界深度Ｄ_２ａと許容錯乱円径δとの関係では、第１後方被写界深度Ｄ_２ａが第１範囲、第２範囲、第３範囲、及び第４範囲に区分けされている。第１範囲は、第１深さよりも浅い範囲である。第２範囲は、第１深さ以上かつ第２深さよりも浅い範囲である。第３範囲は、第２深さ以上かつ第３深さよりも浅い範囲である。第４範囲は、第３深さ以上の範囲である。第１深さは、本開示の技術に係る「第１既定深さ」の一例である。

第１範囲では、第１後方被写界深度Ｄ_２ａが浅くなるに従って、許容錯乱円径δが小さくなる。すなわち、第１後方被写界深度Ｄ_２ａが第１深さよりも浅い場合、許容錯乱円径δは第１値よりも小さい。第２範囲では、許容錯乱円径δが第１値で一定である。すなわち、第１後方被写界深度Ｄ_２ａが第２範囲の深さである場合、許容錯乱円径δは第１値である。第１値は、本開示の技術に係る「第１既定値」の一例である。第３範囲では、第１後方被写界深度Ｄ_２ａが深くなるに従って、許容錯乱円径δが大きくなる。すなわち、第１後方被写界深度Ｄ_２ａが第３範囲の深さである場合、許容錯乱円径δは第１値以上、第２値未満である。第４範囲では、許容錯乱円径δが第２値で一定である。すなわち、第１後方被写界深度Ｄ_２ａが第４範囲の深さである場合、許容錯乱円径δは第２値である。図２１に示す第１後方被写界深度Ｄ_２ａと許容錯乱円径δとの関係は、図２０に示すＮＶＭ６４に関係データとして記憶されている。

許容錯乱円径取得部１５２は、関係データに基づいて、第１後方被写界深度Ｄ_２ａに対応する許容錯乱円径δを抽出することにより、許容錯乱円径δを取得する。

次に、第４実施形態に係る撮像装置１０の作用について図２２を参照しながら説明する。図２２には、第４実施形態に係る動画像生成処理の流れの一部の一例が示されている。

第４実施形態に係る動画像生成処理では、ステップＳＴ１０～ステップＳＴ１４は、第１実施形態と同様である。図２２に示す動画像生成処理は、ステップＳＴ１４の処理が実行された後、ステップＳＴ５０へ移行する。

ステップＳＴ５０で、被写界深度取得部１５０は、物体距離Ｌ、焦点距離ｆ、絞り値Ｆ、及び既定許容錯乱円径δ_ａに基づいて第１後方被写界深度Ｄ_２ａを取得する。ステップＳＴ５０の処理が実行された後、動画像生成処理は、ステップＳＴ５１へ移行する。

ステップＳＴ５１で、許容錯乱円径取得部１５２は、関係データに基づいて、第１後方被写界深度Ｄ_２ａに対応する許容錯乱円径δを取得する。ステップＳＴ５１の処理が実行された後、動画像生成処理は、ステップＳＴ１５へ移行する。

第４実施形態に係る動画像生成処理では、ステップＳＴ１５～ステップＳＴ１６は、第１実施形態と同様である。ステップＳＴ１６の処理が実行された後、動画像生成処理は、図１２Ｂに示すステップＳＴ１７へ移行する。第４実施形態に係る動画像生成処理では、ステップＳＴ１７～ステップＳＴ２８（図１２Ｂ参照）は、第１実施形態と同様である。

以上説明したように、第４実施形態に係る撮像装置１０では、ＣＰＵ６２は、撮像レンズ４０における物体距離Ｌ、焦点距離ｆ、絞り値Ｆに応じて、許容錯乱円径δを変更する。つまり、許容錯乱円径δは、撮像レンズにおける物体距離Ｌ、焦点距離ｆ、絞り値Ｆのうちの少なくとも１つに応じて、異なる。したがって、物体距離Ｌ、焦点距離ｆ、絞り値Ｆに応じたボケ量に調節することができる。

また、ＣＰＵ６２は、物体距離Ｌ、焦点距離ｆ、絞り値Ｆ、及び既定許容錯乱円径δ_ａに基づいて、第１後方被写界深度Ｄ_２ａを取得する。そして、ＣＰＵ６２は、第１後方被写界深度Ｄ_２ａの深さが第１深さよりも浅い場合、許容錯乱円径δを第１値よりも小さい値に設定する。したがって、例えば、許容錯乱円径δが一定である場合に比して、ボケ量をユーザがボケを感じにくい範囲に制限することができる。

なお、第４実施形態に係る撮像装置１０では、ＣＰＵ６２は、撮像レンズ４０における物体距離Ｌ、焦点距離ｆ、絞り値Ｆのうちの少なくとも１つに応じて、許容錯乱円径δを変更してもよい。

また、第４実施形態に係る撮像装置１０では、第１後方被写界深度Ｄ_２ａと許容錯乱円径δとの関係が関係データとして予め設定されている。そして、ＣＰＵ６２は、関係データに基づいて、第１後方被写界深度Ｄ_２ａから許容錯乱円径δを設定する。しかしながら、第１後方被写界深度Ｄ_２ａと許容錯乱円径δとの関係と同様に、第１前方被写界深度Ｄ_１ａと許容錯乱円径δとの関係が関係データとして予め設定されてもよい。そして、ＣＰＵ６２は、関係データに基づいて、第１前方被写界深度Ｄ_１ａから許容錯乱円径δを設定してもよい。この場合にも、例えば、許容錯乱円径δが一定である場合に比して、ボケ量をユーザがボケを感じにくい範囲に制限することができる。

また、第１後方被写界深度Ｄ_２ａ及び第１前方被写界深度Ｄ_１ａの平均を平均被写界深度とした場合に、平均被写界深度と許容錯乱円径δとの関係が関係データとして予め設定されてもよい。そして、ＣＰＵ６２は、関係データに基づいて、平均被写界深度から許容錯乱円径δを設定してもよい。この場合にも、例えば、許容錯乱円径δが一定である場合に比して、ボケ量をユーザがボケを感じにくい範囲に制限することができる。

［第５実施形態］
一例として図２３に示すように、第５実施形態では、第１実施形態に対して、撮像装置１０の構成が次のように変更されている。

すなわち、ＣＰＵ６２は、第１撮像制御部１００、第１動画像データ生成部１０２、第２撮像制御部１０４、距離データ取得部１０６、物体距離取得部１０８、近点距離取得部１１０、遠点距離取得部１１２、第１被写体判定部１１４、第２被写体判定部１１８、第２動画像データ生成部１２０、動画像データ出力部１２２、及び動画像データ記憶制御部１２４に加えて、動作モード判定部１６０として動作する。

第１撮像制御部１００、第１動画像データ生成部１０２、第２撮像制御部１０４、距離データ取得部１０６、物体距離取得部１０８、近点距離取得部１１０、遠点距離取得部１１２、第１被写体判定部１１４、第２被写体判定部１１８、及び動画像データ記憶制御部１２４の動作は、第１実施形態と同様である。第５実施形態では、第２動画像データ生成部１２０及び動画像データ出力部１２２の動作が第１実施形態と異なる。

以下、第５実施形態に係る撮像装置１０について、第１実施形態に係る撮像装置１０と異なる点として、動作モード判定部１６０、第２動画像データ生成部１２０、及び動画像データ出力部１２２の動作を説明する。

動作モード判定部１６０は、撮像装置１０の動作モードがライブビュー画像表示モード及び動画像記録モードのどちらであるかを判定する。ライブビュー画像表示モードは、動画像データに基づいてライブビュー画像をディスプレイ２８に表示させるモードである。動画像記録モードは、動画像データに基づいて画像をディスプレイ２８に表示させ、かつ、動画像記録用データをＮＶＭ６４に記憶させるモードである。

第２動画像データ生成部１２０は、撮像装置１０の動作モードがライブビュー画像表示モードであると動作モード判定部１６０によって判定された場合、距離データに基づいて、物体距離に存在する合焦被写体９３の領域を示す合焦位置データを生成する。具体的には、第２動画像データ生成部１２０は、次の要領で合焦位置データを生成する。

すなわち、第２動画像データ生成部１２０は、距離データに基づいて、各感光画素７２Ｂ（図３参照）について得られた距離のうち物体距離と等しい距離に存在する合焦被写体９３の領域を示す合焦領域データを取得する。合焦領域データは、例えば、感光画素７２Ｂのアドレスによって表される。つまり、第２動画像データ生成部１２０は、距離データに基づいて、複数の感光画素７２Ｂのうち物体距離と等しい距離が得られた感光画素７２Ｂのアドレスを合焦領域データとして取得する。感光画素７２Ｂのアドレスは、各感光画素７２Ｂについて定められた座標であり、光電変換素子７２の縦方向及び横方向を表す座標である。

続いて、第２動画像データ生成部１２０は、合焦領域データに基づいて、合焦位置データを生成する。合焦位置データは、上述の第１動画像データに基づいてディスプレイ２８に表示される画像に対して、物体距離に存在する合焦被写体９３の領域（すなわち、第３領域データが示す領域）を上述の第１態様及び第２態様と異なる第３態様で表すデータである。一例として、合焦位置データは、ディスプレイ２８に表示される画像に対して、物体距離に存在する合焦被写体９３の領域を示す第３画像処理に用いられるデータである。

一例として、第３画像処理は、ディスプレイ２８に表示される画像を構成する複数の画素のうち物体距離に存在する合焦被写体９３の領域に対応する画素（すなわち、合焦領域データが表す感光画素７２Ｂのアドレスに対応する画素）に対して第３既定色を付す処理である。第３既定色を付す処理は、例えば、画素の信号値を第３既定色に対応する値に置き換える処理である。第３既定色は、第１既定色及び第２既定色と異なる色である。第３既定色は、無彩色でもよく、有彩色でもよい。第３既定色は、例えば、赤色、青色、又は黄色等である。合焦位置データは、本開示の技術に係る「合焦位置データ」の一例である。第２画像処理は、本開示の技術に係る「画像処理」の一例である。

そして、一例として図２３に示すように、第１境界被写体９１Ａ及び第２境界被写体９１Ｂが存在することにより、近点距離に第１境界被写体９１Ａが存在すると第１被写体判定部１１４によって判定され、遠点距離に第２境界被写体９１Ｂが存在すると第２被写体判定部１１８によって判定され、かつ、撮像装置１０の動作モードがライブビュー画像表示モードであると動作モード判定部１６０によって判定された場合、第２動画像データ生成部１２０は、第１動画像データに基づいて、第１境界データ、第２境界データ、及び合焦位置データを含む第２動画像データを生成する。

具体的には、第２動画像データ生成部１２０は、第１動画像データに基づいてディスプレイ２８に表示される画像を構成する複数の画素のうち近点距離に存在する第１境界被写体９１Ａの領域に対応する画素に対して第１画像処理を行う。同様に、第２動画像データ生成部１２０は、第１動画像データに基づいてディスプレイ２８に表示される画像を構成する複数の画素のうち遠点距離に存在する第２境界被写体９１Ｂの領域に対応する画素に対して第２画像処理を行う。また、第２動画像データ生成部１２０は、第１動画像データに基づいてディスプレイ２８に表示される画像を構成する複数の画素のうち物体距離に存在する合焦被写体９３の領域に対応する画素に対して第３画像処理を行う。これにより、近点距離に存在する第１境界被写体９１Ａの領域に対応する画素に第１既定色が付され、遠点距離に存在する第２境界被写体９１Ｂの領域に対応する画素に第２既定色が付され、かつ、物体距離に存在する合焦被写体９３の領域に対応する画素に第３既定色が付された画像を表す第２動画像データが第２動画像データ生成部１２０によって生成される。

動画像データ出力部１２２は、近点距離に第１境界被写体９１Ａが存在すると第１被写体判定部１１４によって判定され、遠点距離に第２境界被写体９１Ｂが存在すると第２被写体判定部１１８によって判定され、かつ、撮像装置１０の動作モードがライブビュー画像表示モードであると動作モード判定部１６０によって判定された場合、第２動画像データ生成部１２０によって生成された第２動画像データ（すなわち、第１境界データ、第２境界データ、及び合焦位置データを含む第２動画像データ）を表示用動画像データとしてディスプレイ２８に対して出力する。ディスプレイ２８は、表示用動画像データに基づいて画像を表示する。この場合に、ディスプレイ２８に表示される画像は、ライブビュー画像である。

一例として図２４には、図２３に示す例において生成された第２動画像データに基づいてディスプレイ２８に表示された画像２００が示されている。図２４に示す画像２００では、合焦被写体９３の領域と合焦被写体９３の領域以外の領域とが区別される態様で表現される。また、図２４に示す画像２００では、第１境界被写体９１Ａの領域及び第２境界被写体９１Ｂの領域に対して合焦被写体９３の領域が区別される態様で表現される。つまり、一例として、図２４に示す画像２００では、第１境界被写体９１Ａの領域は第１既定色で表され、第２境界被写体９１Ｂの領域は第２既定色で表され、合焦被写体９３の領域は第３既定色で表される。

なお、近点距離に第１境界被写体９１Ａが存在すると第１被写体判定部１１４によって判定され、遠点距離に第２境界被写体９１Ｂが存在すると第２被写体判定部１１８によって判定され、かつ、撮像装置１０の動作モードが動画像記録モードであると動作モード判定部１６０によって判定された場合、第２動画像データ生成部１２０は、第１動画像データに基づいて、第１境界データ及び第２境界データを含む第２動画像データを生成する。

動画像データ出力部１２２は、近点距離に第１境界被写体９１Ａが存在すると第１被写体判定部１１４によって判定され、遠点距離に第２境界被写体９１Ｂが存在すると第２被写体判定部１１８によって判定され、かつ、撮像装置１０の動作モードが動画像記録モードであると動作モード判定部１６０によって判定された場合、第２動画像データ生成部１２０によって生成された第２動画像データ（すなわち、第１境界データ及び第２境界データを含む第２動画像データ）を表示用動画像データとしてディスプレイ２８に対して出力する。

また、近点距離に第１境界被写体９１Ａが存在すると第１被写体判定部１１４によって判定され、遠点距離に第２境界被写体９１Ｂが存在しないと第２被写体判定部１１８によって判定され、かつ、撮像装置１０の動作モードがライブビュー画像表示モードであると動作モード判定部１６０によって判定された場合、第２動画像データ生成部１２０は、第１動画像データに基づいて、第１境界データ及び合焦位置データを含む第２動画像データを生成する。

動画像データ出力部１２２は、近点距離に第１境界被写体９１Ａが存在すると第１被写体判定部１１４によって判定され、遠点距離に第２境界被写体９１Ｂが存在しないと第２被写体判定部１１８によって判定され、かつ、撮像装置１０の動作モードがライブビュー画像表示モードであると動作モード判定部１６０によって判定された場合、第２動画像データ生成部１２０によって生成された第２動画像データ（すなわち、第１境界データ及び合焦位置データを含む第２動画像データ）を表示用動画像データとしてディスプレイ２８に対して出力する。

また、近点距離に第１境界被写体９１Ａが存在すると第１被写体判定部１１４によって判定され、遠点距離に第２境界被写体９１Ｂが存在しないと第２被写体判定部１１８によって判定され、かつ、撮像装置１０の動作モードが動画像記録モードであると動作モード判定部１６０によって判定された場合、第２動画像データ生成部１２０は、第１動画像データに基づいて、第１境界データを含む第２動画像データを生成する。

動画像データ出力部１２２は、近点距離に第１境界被写体９１Ａが存在すると第１被写体判定部１１４によって判定され、遠点距離に第２境界被写体９１Ｂが存在しないと第２被写体判定部１１８によって判定され、かつ、撮像装置１０の動作モードが動画像記録モードであると動作モード判定部１６０によって判定された場合、第２動画像データ生成部１２０によって生成された第２動画像データ（すなわち、第１境界データを含む第２動画像データ）を表示用動画像データとしてディスプレイ２８に対して出力する。

また、近点距離に第１境界被写体９１Ａが存在しないと第１被写体判定部１１４によって判定され、遠点距離に第２境界被写体９１Ｂが存在すると第２被写体判定部１１８によって判定され、かつ、撮像装置１０の動作モードがライブビュー画像表示モードであると動作モード判定部１６０によって判定された場合、第２動画像データ生成部１２０は、第１動画像データに基づいて、第２境界データ及び合焦位置データを含む第２動画像データを生成する。

動画像データ出力部１２２は、近点距離に第１境界被写体９１Ａが存在しないと第１被写体判定部１１４によって判定され、遠点距離に第２境界被写体９１Ｂが存在すると第２被写体判定部１１８によって判定され、かつ、撮像装置１０の動作モードがライブビュー画像表示モードであると動作モード判定部１６０によって判定された場合、第２動画像データ生成部１２０によって生成された第２動画像データ（すなわち、第２境界データ及び合焦位置データを含む第２動画像データ）を表示用動画像データとしてディスプレイ２８に対して出力する。

また、近点距離に第１境界被写体９１Ａが存在しないと第１被写体判定部１１４によって判定され、遠点距離に第２境界被写体９１Ｂが存在すると第２被写体判定部１１８によって判定され、かつ、撮像装置１０の動作モードが動画像記録モードであると動作モード判定部１６０によって判定された場合、第２動画像データ生成部１２０は、第１動画像データに基づいて、第２境界データを含む第２動画像データを生成する。

動画像データ出力部１２２は、近点距離に第１境界被写体９１Ａが存在しないと第１被写体判定部１１４によって判定され、遠点距離に第２境界被写体９１Ｂが存在すると第２被写体判定部１１８によって判定され、かつ、撮像装置１０の動作モードが動画像記録モードであると動作モード判定部１６０によって判定された場合、第２動画像データ生成部１２０によって生成された第２動画像データ（すなわち、第２境界データを含む第２動画像データ）を表示用動画像データとしてディスプレイ２８に対して出力する。

また、近点距離に第１境界被写体９１Ａが存在しないと第１被写体判定部１１４によって判定され、遠点距離に第２境界被写体９１Ｂが存在しないと第２被写体判定部１１８によって判定され、かつ、撮像装置１０の動作モードがライブビュー画像表示モードであると動作モード判定部１６０によって判定された場合、第２動画像データ生成部１２０は、第１動画像データに基づいて、合焦位置データを含む第２動画像データを生成する。

動画像データ出力部１２２は、近点距離に第１境界被写体９１Ａが存在しないと第１被写体判定部１１４によって判定され、遠点距離に第２境界被写体９１Ｂが存在しないと第２被写体判定部１１８によって判定され、かつ、撮像装置１０の動作モードがライブビュー画像表示モードであると動作モード判定部１６０によって判定された場合、第２動画像データ生成部１２０によって生成された第２動画像データ（すなわち、合焦位置データを含む第２動画像データ）を表示用動画像データとしてディスプレイ２８に対して出力する。

また、近点距離に第１境界被写体９１Ａが存在しないと第１被写体判定部１１４によって判定され、遠点距離に第２境界被写体９１Ｂが存在しないと第２被写体判定部１１８によって判定され、かつ、撮像装置１０の動作モードが動画像記録モードであると動作モード判定部１６０によって判定された場合、動画像データ出力部１２２は、第１動画像データを表示用動画像データとしてディスプレイ２８に対して出力する。

撮像装置１０の動作モードが動画像記録モードであると動作モード判定部１６０によって判定された場合に、第２動画像データに基づいてディスプレイ２８に表示される画像は、記録用画像（例えば、ポストビュー画像）である。

ライブビュー画像は、本開示の技術に係る「表示用画像」の一例である。記録用画像は、本開示の技術に係る「記録用画像」の一例である。合焦位置データは、本開示の技術に係る「合焦位置データ」の一例である。合焦位置データを含む第２動画像データは、本開示の技術に係る「表示用画像データ」の一例である。

次に、第５実施形態に係る撮像装置１０の作用について図２５Ａ及び図２５Ｂ参照しながら説明する。図２５Ａ及び図２５Ｂには、第５実施形態に係る動画像生成処理の流れの一部の一例が示されている。

第５実施形態に係る動画像生成処理では、ステップＳＴ１０～ステップＳＴ１６（図１２Ａ参照）、及び図２５Ａに示すステップＳＴ１７～ステップＳＴ１８は、第１実施形態と同様である。図２５Ａに示す動画像生成処理は、ステップＳＴ１８の処理が実行された後、ステップＳＴ６０へ移行する。

ステップＳＴ６０で、動作モード判定部１６０は、撮像装置１０の動作モードがライブビュー画像表示モード及び動画像記録モードのどちらであるかを判定する。ステップＳＴ６０において、撮像装置１０の動作モードがライブビュー画像表示モードである場合は、動画像生成処理は、ステップＳＴ６１に移行する。ステップＳＴ６０において、撮像装置１０の動作モードが動画像記録モードである場合は、動画像生成処理は、ステップＳＴ１９に移行する。図２５Ａに示すステップＳＴ１９及びステップＳＴ２０は、第１実施形態と同様である。

ステップＳＴ６１で、第２動画像データ生成部１２０は、ステップＳＴ１３（図１２Ａ参照）で取得された距離データに基づいて、物体距離に存在する合焦被写体９３の領域を示す合焦位置データを生成する。そして、第２動画像データ生成部１２０は、第１動画像データに基づいて、第１境界データ、第２境界データ、及び合焦位置データを含む第２動画像データを生成する。ステップＳＴ６１の処理が実行された後、動画像生成処理は、ステップＳＴ６２へ移行する。

ステップＳＴ６２で、動画像データ出力部１２２は、ステップＳＴ６１で生成された第２動画像データ（すなわち、第１境界データ、第２境界データ、及び合焦位置データを含む第２動画像データ）を表示用動画像データとしてディスプレイ２８に対して出力する。ステップＳＴ６２の処理が実行された後、動画像生成処理は、ステップＳＴ２７に移行する。

図２５Ａに示す動画像生成処理は、ステップＳＴ１８の処理で判定が否定された場合、ステップＳＴ６３へ移行する。

ステップＳＴ６３で、動作モード判定部１６０は、撮像装置１０の動作モードがライブビュー画像表示モード及び動画像記録モードのどちらであるかを判定する。ステップＳＴ６３において、撮像装置１０の動作モードがライブビュー画像表示モードである場合は、動画像生成処理は、ステップＳＴ６４に移行する。ステップＳＴ６３において、撮像装置１０の動作モードが動画像記録モードである場合は、動画像生成処理は、ステップＳＴ２１に移行する。図２５Ａに示すステップＳＴ２１及びステップＳＴ２２は、第１実施形態と同様である。

ステップＳＴ６４で、第２動画像データ生成部１２０は、ステップＳＴ１３で取得された距離データに基づいて、物体距離に存在する合焦被写体９３の領域を示す合焦位置データを生成する。そして、第２動画像データ生成部１２０は、第１動画像データに基づいて、第１境界データ及び合焦位置データを含む第２動画像データを生成する。ステップＳＴ６４の処理が実行された後、動画像生成処理は、ステップＳＴ６５へ移行する。

ステップＳＴ６５で、動画像データ出力部１２２は、ステップＳＴ６４で生成された第２動画像データ（すなわち、第１境界データ及び合焦位置データを含む第２動画像データ）を表示用動画像データとしてディスプレイ２８に対して出力する。ステップＳＴ６５の処理が実行された後、動画像生成処理は、ステップＳＴ２７へ移行する。

図２５Ａに示す動画像生成処理は、ステップＳＴ１７の処理で判定が否定された場合、図２５Ｂに示すステップＳＴ２３に移行する。図２５Ｂに示すステップＳＴ２３は、第１実施形態と同様である。図２５Ｂに示す動画像生成処理は、ステップＳＴ２３の処理が実行された後、ステップＳＴ６６へ移行する。

ステップＳＴ６６で、動作モード判定部１６０は、撮像装置１０の動作モードがライブビュー画像表示モード及び動画像記録モードのどちらであるかを判定する。ステップＳＴ６６において、撮像装置１０の動作モードがライブビュー画像表示モードである場合は、動画像生成処理は、ステップＳＴ６７に移行する。ステップＳＴ６６において、撮像装置１０の動作モードが動画像記録モードである場合は、動画像生成処理は、ステップＳＴ２４に移行する。図２５Ｂに示すステップＳＴ２４及びステップＳＴ２５は、第１実施形態と同様である。

ステップＳＴ６７で、第２動画像データ生成部１２０は、ステップＳＴ１３（図１２Ａ参照）で取得された距離データに基づいて、物体距離に存在する合焦被写体９３の領域を示す合焦位置データを生成する。そして、第２動画像データ生成部１２０は、第１動画像データに基づいて、第２境界データ及び合焦位置データを含む第２動画像データを生成する。ステップＳＴ６７の処理が実行された後、動画像生成処理は、ステップＳＴ６８へ移行する。

ステップＳＴ６８で、動画像データ出力部１２２は、ステップＳＴ６７で生成された第２動画像データ（すなわち、第２境界データ及び合焦位置データを含む第２動画像データ）を表示用動画像データとしてディスプレイ２８に対して出力する。ステップＳＴ６８の処理が実行された後、動画像生成処理は、図２５Ａに示すステップＳＴ２７に移行する。

図２５Ｂに示す動画像生成処理は、ステップＳＴ２３の処理で判定が否定された場合、ステップＳＴ６９へ移行する。

ステップＳＴ６９で、動作モード判定部１６０は、撮像装置１０の動作モードがライブビュー画像表示モード及び動画像記録モードのどちらであるかを判定する。ステップＳＴ６９において、撮像装置１０の動作モードがライブビュー画像表示モードである場合は、動画像生成処理は、ステップＳＴ７０に移行する。ステップＳＴ６９において、撮像装置１０の動作モードが動画像記録モードである場合は、動画像生成処理は、ステップＳＴ２６に移行する。図２５Ｂに示すステップＳＴ２６は、第１実施形態と同様である。

ステップＳＴ７０で、第２動画像データ生成部１２０は、ステップＳＴ１３で取得された距離データに基づいて、物体距離に存在する合焦被写体９３の領域を示す合焦位置データを生成する。そして、第２動画像データ生成部１２０は、第１動画像データに基づいて、合焦位置データを含む第２動画像データを生成する。ステップＳＴ７０の処理が実行された後、動画像生成処理は、ステップＳＴ７１へ移行する。

ステップＳＴ７１で、動画像データ出力部１２２は、ステップＳＴ７０で生成された第２動画像データ（すなわち、合焦位置データを含む第２動画像データ）を表示用動画像データとしてディスプレイ２８に対して出力する。ステップＳＴ７１の処理が実行された後、動画像生成処理は、図２５Ａに示すステップＳＴ２７に移行する。

第５実施形態に係る動画像生成処理では、図２５Ａに示すステップＳＴ２７及びステップＳＴ２８は、第１実施形態と同様である。

以上説明したように、第５実施形態に係る撮像装置１０では、ＣＰＵ６２は、表示用画像をディスプレイ２８に表示させる場合、距離データに基づいて、合焦被写体９３の領域を示す合焦位置データを動画像データに含めることにより、表示用画像を表す表示用画像データを生成する。そして、ＣＰＵ６２は、表示用画像データをディスプレイ２８に対して出力する。したがって、表示用画像がディスプレイ２８に表示される場合、例えば、ユーザがディスプレイ２８に表示された画像で第３既定色が付された画素の位置を確認することにより、合焦位置を把握することができる。一方、ＣＰＵ６２は、記録用画像をディスプレイ２８に表示させる場合、第１動画像データをディスプレイ２８に対して出力する。したがって、記録用画像がディスプレイ２８に表示される場合、合焦被写体９３の領域が色付けされた状態で画像に表されることを回避することができる。

なお、第５実施形態では、第２動画像データ生成部１２０は、第１境界データ、第２境界データ、及び合焦位置データを含む第２動画像データを生成する場合、第２動画像データを段階的に生成してもよい。すなわち、例えば、第２動画像データ生成部１２０は、第１動画像データに基づいて、第１境界データを含む第１仮動画像データを生成し、第１仮動画像データに基づいて、第２境界データを含む第２仮動画像データを生成し、第２仮動画像データに基づいて、合焦位置データを含む第２動画像データを生成してもよい。

以上、第１実施形態から第５実施形態について説明したが、上記実施形態及び変形例は、矛盾が生じない限り互いに組み合わせることが可能である。また、上記実施形態及び変形例が組み合わされた場合に、重複する複数のステップがある場合、各種条件等に応じて複数のステップに優先順位が付与されてもよい。

また、上記各実施形態では、表示用動画像データは、撮像装置１０のディスプレイ２８に出力される。しかしながら、表示用動画像データは、例えば、ＥＶＦに出力されてもよい。また、表示用動画像データは、撮像装置１０の外部に設けられた外部表示装置に出力されてもよい。

また、上記各実施形態では、ＣＰＵ６２を例示したが、ＣＰＵ６２に代えて、又は、ＣＰＵ６２と共に、他の少なくとも１つのＣＰＵ、少なくとも１つのＧＰＵ、及び／又は、少なくとも１つのＴＰＵを用いるようにしてもよい。

また、上記各実施形態では、ＮＶＭ６４にプログラム６５が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、プログラム６５がＳＳＤ又はＵＳＢメモリなどの可搬型の非一時的なコンピュータ読取可能な記憶媒体（以下、単に「非一時的記憶媒体」と称する）に記憶されていてもよい。非一時的記憶媒体に記憶されているプログラム６５は、撮像装置１０のコントローラ１２にインストールされる。ＣＰＵ６２は、プログラム６５に従って動画像生成処理を実行する。

また、ネットワークを介して撮像装置１０に接続される他のコンピュータ又はサーバ装置等の記憶装置にプログラム６５を記憶させておき、撮像装置１０の要求に応じてプログラム６５がダウンロードされ、コントローラ１２にインストールされるようにしてもよい。

なお、撮像装置１０に接続される他のコンピュータ又はサーバ装置等の記憶装置、又はＮＶＭ６４にプログラム６５の全てを記憶させておく必要はなく、プログラム６５の一部を記憶させておいてもよい。

また、図１及び図２に示す撮像装置１０にはコントローラ１２が内蔵されているが、本開示の技術はこれに限定されず、例えば、コントローラ１２が撮像装置１０の外部に設けられるようにしてもよい。

また、上記各実施形態では、ＣＰＵ６２、ＮＶＭ６４、及びＲＡＭ６６を含むコントローラ１２が例示されているが、本開示の技術はこれに限定されず、コントローラ１２に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コントローラ１２に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。

また、上記各実施形態で説明した動画像生成処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、動画像生成処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで動画像生成処理を実行する。

動画像生成処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、動画像生成処理を実行するハードウェア資源は１つのプロセッサであってもよい。

１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、動画像生成処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、動画像生成処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、動画像生成処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の動画像生成処理はあくまでも一例である。したがって、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (26)

1. イメージセンサ及びプロセッサを備える撮像装置であって、
   前記プロセッサは、
   前記イメージセンサによって撮像される撮像エリア内の複数の被写体と前記撮像装置との間の距離に関する距離データを取得し、
   前記距離データに基づいて、被写界深度の境界部の距離に存在する境界被写体の領域を示す境界データを生成し、
   前記イメージセンサにより撮像されることで得られた画像データに基づいて前記境界データを含む動画像データを生成し、
   前記動画像データを出力する
   撮像装置。
2. 前記プロセッサは、前記境界被写体の領域と前記境界被写体の領域以外の領域とが区別される態様で表現された第１画像を第１ディスプレイに表示させるためのデータとして前記動画像データを出力する
   請求項１に記載の撮像装置。
3. 前記境界データは、前記画像データに基づいて第２ディスプレイに表示される第２画像に対して前記境界被写体の領域を示す画像処理に用いられるデータである
   請求項１又は請求項２に記載の撮像装置。
4. 前記画像処理は、前記第２画像を構成する複数の第１画素のうち前記境界被写体の領域に対応する第１画素に対して既定色を付す処理である
   請求項３に記載の撮像装置。
5. 前記画像処理は、前記第２画像を構成する複数の第２画素のうち前記境界被写体の領域に対応する第２画素に対して既定輝度を付す処理である
   請求項３に記載の撮像装置。
6. 前記画像処理は、前記第２画像に対して前記境界被写体の領域を示すマークを付す処理である
   請求項３に記載の撮像装置。
7. 前記画像処理は、前記距離データに基づいて生成された距離画像を前記第２画像に重畳させる処理である
   請求項３に記載の撮像装置。
8. 前記境界部は、
   前記被写界深度の近点側に位置する第１境界部と、
   前記被写界深度の遠点側に位置する第２境界部と、を含み、
   前記境界被写体は、
   前記第１境界部の距離に存在する第１境界被写体と、
   前記第２境界部の距離に存在する第２境界被写体と、を含み、
   前記境界データは、
   前記第１境界被写体の領域を示す第１境界データと、
   前記第２境界被写体の領域を示す第２境界データと、を含む
   請求項１又は請求項２に記載の撮像装置。
9. 前記第１境界データは、前記画像データに基づいて第３ディスプレイに表示される第３画像に対して、前記第１境界被写体の領域を第１態様で表すデータであり、
   前記第２境界データは、前記第３画像に対して、前記第２境界被写体の領域を前記第１態様と異なる第２態様で表すデータである
   請求項８に記載の撮像装置。
10. 前記境界部は、前記被写界深度の近点及び遠点のうちの少なくとも一方である
    請求項１又は請求項２に記載の撮像装置。
11. 前記プロセッサは、
    前記距離データに基づいて、前記複数の被写体と前記撮像装置との間の距離のうち前記境界部の距離と等しい距離に存在する前記境界被写体の領域を示す領域データを取得し、
    前記領域データに基づいて、前記境界データを生成する
    請求項１０に記載の撮像装置。
12. 前記境界部は、前記被写界深度の近点を含む範囲、及び前記被写界深度の遠点を含む範囲のうちの少なくとも一方である
    請求項１又は請求項２に記載の撮像装置。
13. 前記被写界深度の近点を含む範囲は、前記被写界深度の近点から前記被写界深度の遠点側に延びる範囲である
    請求項１２に記載の撮像装置。
14. 前記被写界深度の遠点を含む範囲は、前記被写界深度の遠点から前記被写界深度の近点側に延びる範囲である
    請求項１２に記載の撮像装置。
15. 前記プロセッサは、
    前記境界部の距離を含む距離範囲を設定し、
    前記距離データに基づいて、前記複数の被写体と前記撮像装置との間の距離のうち前記距離範囲に収まる距離に存在する前記境界被写体の領域を示す領域データを取得し、
    前記領域データに基づいて、前記境界データを生成する
    請求項１又は請求項２に記載の撮像装置。
16. 前記境界部の幅は、前記被写界深度の深さに応じて、異なる
    請求項１又は請求項２に記載の撮像装置。
17. 前記プロセッサは、前記被写界深度の深さが深くなるに従って、前記境界部の幅を広げ、前記被写界深度の深さが浅くなるに従って、前記境界部の幅を狭める
    請求項１６に記載の撮像装置。
18. 前記境界部の幅は、前記動画像データに基づいて第４ディスプレイに表示される第４画像を構成する複数の画素のうち前記境界部に対応する画素の数に応じて、異なる
    請求項１又は請求項２に記載の撮像装置。
19. 撮像レンズを備え、
    前記イメージセンサの許容錯乱円径は、前記撮像レンズにおける物体距離、焦点距離、絞り値のうちの少なくとも１つに応じて、異なる
    請求項１又は請求項２に記載の撮像装置。
20. 前記プロセッサは、前記物体距離、前記焦点距離、前記絞り値、及び既定許容錯乱円径に基づいて、第１被写界深度を取得し、
    前記第１被写界深度の深さが第１既定深さよりも浅い場合、前記許容錯乱円径は第１既定値よりも小さい
    請求項１９に記載の撮像装置。
21. 前記プロセッサは、
    表示用画像を第５ディスプレイに表示させる場合、前記距離データに基づいて、前記複数の被写体のうち物体距離に存在する合焦被写体の領域を示す合焦位置データ、及び前記境界データを前記動画像データに含めることにより、前記表示用画像を表す表示用画像データを生成し、
    前記表示用画像データを前記第５ディスプレイに対して出力し、
    記録用画像を前記第５ディスプレイに表示させる場合、前記動画像データを前記第５ディスプレイに対して出力する
    請求項１又は請求項２に記載の撮像装置。
22. 前記プロセッサは、前記画像データを非一時的記憶媒体に記憶させる
    請求項１又は請求項２に記載の撮像装置。
23. 前記イメージセンサは、複数の位相差画素を有し、
    前記プロセッサは、前記位相差画素から出力された位相差画素データに基づいて前記距離データを取得する
    請求項１又は請求項２に記載の撮像装置。
24. 前記位相差画素は、非位相差画素データと、前記位相差画素データとを選択的に出力する画素であり、
    前記非位相差画素データは、前記位相差画素の全領域によって光電変換が行われることで得られる画素データであり、
    前記位相差画素データは、前記位相差画素の一部の領域によって光電変換が行われることで得られる画素データである
    請求項２３に記載の撮像装置。
25. 撮像装置が備えるイメージセンサによって撮像される撮像エリア内の複数の被写体と前記撮像装置との間の距離に関する距離データを取得すること、
    前記距離データに基づいて、被写界深度の境界部の距離に存在する境界被写体の領域を示す境界データを生成すること、
    前記イメージセンサにより撮像されることで得られた画像データに基づいて前記境界データを含む動画像データを生成すること、及び
    前記動画像データを出力すること
    を備える撮像方法。
26. 撮像装置が備えるイメージセンサによって撮像される撮像エリア内の複数の被写体と前記撮像装置との間の距離に関する距離データを取得すること、
    前記距離データに基づいて、被写界深度の境界部の距離に存在する境界被写体の領域を示す境界データを生成すること、
    前記イメージセンサにより撮像されることで得られた画像データに基づいて前記境界データを含む動画像データを生成すること、及び
    前記動画像データを出力すること
    を含む処理をコンピュータに実行させるためのプログラム。