以下、添付図面を参照して、本発明の実施例について説明する。図1は、本実施例のデジタルカメラ(撮像装置)100のブロック図である。図2は、デジタルカメラ(撮像装置)100を操作者が横向きに構えた状態の背面図である。図3は、デジタルカメラ(撮像装置)100を操作者が縦向きに構えた状態の背面図である。
1は被写体から入射した光束により、被写体の光学像を形成する撮影レンズであり、フォーカスレンズ1aを備えた1枚又は複数枚のレンズで構成される。フォーカスレンズ1aは、レンズ制御部4によって光軸方向に駆動制御される。撮影レンズ1の鏡筒の外周には、マニュアルフォーカスリング(マニュアルフォーカス操作部材)18が回転操作可能に設けられている。マニュアルフォーカスリング18の回転は、不図示の伝達機構を介してフォーカスレンズ1aを光軸方向に移動させる。
2は光学像を電気信号に変換するCCDセンサやCMOSセンサなどの撮像素子である。撮像素子2は、全画素独立出力が可能なように構成されている。また一部の画素が焦点検出用画素(AF用画素)となっており、撮像面で位相差検出方式の焦点検出(位相差AF)が可能となっている。より具体的には、撮像素子2は、被写体の像を形成する撮影レンズ1の射出瞳の全域を通る光を各々が受光して被写体の像を生成する複数の撮影用画素(第1の画素)を有する。また、撮像素子2は、各々が撮影レンズ1の射出瞳の一部の領域を通る光を受光する複数のAF用画素(第2の画素)を更に有する。複数のAF用画素は全体として撮影レンズ1の射出瞳の全域を通る光を受光することができる。複数のAF用画素は瞳分割画素信号を生成する瞳分割画素である。
3は撮像素子2のアナログ信号出力をデジタル信号に変換するA/D変換部である。4は合焦制御部7に従って撮影レンズ1のフォーカスレンズを制御するレンズ制御部である。5はA/D変換部3の出力から画像信号を受けRGB信号からYUV信号に変換する現像処理部である。
6は撮像素子2のAF用画素が生成した瞳分割画素信号をA/D変換部3の出力から抽出する瞳分割画素抽出部であり、左右瞳分割A画素抽出部6a、左右瞳分割B画素抽出部6b、上下瞳分割A画素抽出部6c、上下瞳分割B画素抽出部6dを有する。抽出された瞳分割画素はそれぞれ左右瞳分割A画像、左右瞳分割B画像、上下瞳分割A画像、上下瞳分割B画像となる。本出願において、「A画像」、「B画像」は単に「A像」、「B像」と呼ばれる場合もある。
7は瞳分割画素抽出部6より得られた瞳分割画素信号を基にレンズ制御部4を制御する合焦制御部である。
8は瞳分割画素抽出部6によって抽出された瞳分割画素信号からスプリットイメージに使用する瞳分割画素信号を左右瞳分割A画像、左右瞳分割B画像、上下瞳分割A画像、上下瞳分割B画像から選択するスプリットイメージ使用画素選択部である。9はスプリットイメージとして表示する領域を抽出するスプリットイメージ使用領域抽出部である。10はスプリットイメージ使用領域抽出部9によって抽出されたスプリットイメージを表示サイズに変倍する変倍処理部である。11は表示画像サイズに合わせて変倍する変倍処理部である。
12はスプリットイメージの2つの画像(後述するA像とB像)の評価値(特徴)を算出する評価値算出部(特徴抽出部、又は姿勢検知手段)である。13はカメラの姿勢(図2に示す姿勢と図3に示す姿勢)を検知できるセンサ(姿勢検知部、又は姿勢検知手段)である。
14は各種の動作指示を入力するための操作部(操作手段)であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。操作部14は、マニュアルフォーカス(MF)モードと、スプリットイメージ表示モードと、を設定可能なモード設定部として機能する。MFモードはMFを可能にする。スプリットイメージ表示モードは、複数のAF用画素によって形成され、分割線により2つの画像に分割されたスプリットイメージを表示する。
図2及び図3に示すように、操作部14は、レリーズボタン14a、モードダイヤル14b、操作ボタン14c〜14f、十字キー14gを含む。
レリーズボタン14aは撮影動作を行う。モードダイヤル14bはマニュアルフォーカスモード(MFモード)又はオートフォーカスモード(AFモード)を設定するモード設定部である。操作ボタン14c〜14fは、MFモード時にはスプリットイメージの表示モードのON/OFF、上下分割、左右分割の切り替え、スプリットイメージの適応的自動変更のON/OFF、十字キー14gの操作内容切り替え、メニュー表示を行う。また、メニューによって、操作者は、初期設定されたスプリットイメージの大きさ、位置、分割方向を変更することができる。十字キー14gは、スプリットイメージの位置や大きさを変更する。
15は評価値算出部12、姿勢検知部13、操作部14からの情報に基づいてスプリットイメージとして表示する領域を決定するスプリットイメージ領域決定部(スプリットイメージ領域決定手段)である。スプリットイメージ領域決定部15は、図示しないメモリを有している。かかるメモリは、デジタルカメラ100の姿勢毎に初期設定されたスプリットイメージの位置、大きさ及び分割線の方向(分割方向)を格納する。スプリットイメージ領域決定部15には、タイマ19が接続されており、スプリットイメージ領域決定部15は、タイマ19において設定時間が経過したことを知ることができる。また、スプリットイメージ領域決定部15には、画像表示部17が接続されており、スプリットイメージ領域決定部15は、画像表示部17においてスプリットイメージが表示されたことを知ることができる。
姿勢検知部13の検知結果に基づいてスプリットイメージ領域決定部15は、スプリットイメージを初期設定された分割方向で生成するようにスプリットイメージ使用画素選択部8、スプリットイメージ使用領域抽出部9及び画像合成部16を制御する。例えば、姿勢検知部13が図2に示すようにデジタルカメラ100が横位置にあることを検知した場合には、画像表示部17には上下に分割したスプリットイメージ20aが表示される。また、姿勢検知部13が図3に示すようにデジタルカメラ100が縦位置にあることを検知した場合には、画像表示部17には左右に分割したスプリットイメージ20bが表示される。スプリットイメージ20aはA像22a、B像24aを有し、スプリットイメージ20bはA像22b、B像24bを有する。上下分割スプリットイメージ、左右分割スプリットイメージ、A像、B像については後で詳細に説明する。
なお、瞳分割画素抽出部6、スプリットイメージ使用画素選択部8、スプリットイメージ使用領域抽出部9、評価値算出部12、スプリットイメージ領域決定部15はスプリットイメージを生成するスプリットイメージ生成部として機能する。
16は被写体の像とスプリットイメージを合成する画像合成部である。スプリットイメージ領域決定部15によって決定されたスプリットイメージ領域に従って、スプリットイメージ使用画素選択部8による選択、スプリットイメージ使用領域抽出部9による抽出、画像合成部16による合成が行われる。
17はTFT LCD等からなる画像表示部である。画像表示部17は、画像合成部16に接続され、被写体の像及びスプリットイメージを合成された状態で表示する。画像表示部17を用いて撮像した画像データを逐次表示し、電子ビュー機能、電子ファインダー機能を実現する。
次に、図4及び図5を参照して、位相差AFについて説明する。
図4は撮像素子2の撮影用画素の平面図で、2画素×2画素を基本単位とするエリアセンサの基本単位部の色配列である。図4(a)は(純色)ベイヤ配列、図4(b)はベイヤ配列を捕色フィルタに適用したもの(補色ベイヤ風配列)、図4(c)は補色3色にGを加えたもの(G込補色配列)である。通常知られる画素配列としては、この他に2画素×4画素単位の補色市松配列があり、これはビデオムービーカメラ用のセンサとして最もよく使われる。また、本出願人が特許文献3において提案している色配列(2画素×8画素)の補色市松も適用可能である。2画素×4画素、2画素×8画素の色配列は動画像(インターレース走査を行うビデオ)を扱うエリアセンサとしては優位であるが、スチル画像を扱うカメラとしては2画素×2画素の方が信号処理を簡易化でき、かつ、高画質の画像を得ることができる。以下では、2画素×2画素の画素ブロックで説明するが、2画素×4画素、2画素×8画素の色配列をもつエリアセンサにも適用可能である。
図5は、撮像素子2のAF用画素を含む画素ブロックの平面図である。図5(a)は純色ベイヤ配列の場合、図5(b)は補色ベイヤ風配列又はG込補色配列の場合である。図5において、「S」は、測光データを読み出す焦点検出用画素(AF用画素)である。本実施例は、撮像素子2の画素の中にAF用画素を設けて撮像素子2の信号を読み出すことで高精度なAFを行うと共に、別にセンサを持つ場合に必要な機構部が無くなるのでカメラを小型で低価格としている。
次に、AF用画素と、その画素を配した画素ブロック(エリアセンサ)について説明する。高画素デジタルスチルカメラ用の撮像素子としては、主にインターライン型CCDかフルフレーム型CCDが使われる。インターライン型CCDは、撮像素子に光が入射していても撮像された信号電荷を読み出すことが可能であるが、フルフレームCCDでは、撮像素子の前面に設けられるメカニカルシャッタを閉じないと信号電荷の読み出しができない。この解決方法として、フルフレームCCDのイメージエリアと水平CCDの間にライン分の電荷を蓄積するためのストレージ部を設けた改良フルフレーム型CCDと、それによるメカニカルシャッタを開いた状態でのAFの部分読み出しが有効である。また、インターライン型CCDでのAFのためのイメージエリア内の部分的に必要な部分のみを高速に読み出す方法(即ち、必要な部分以外の信号電荷の高速クリアの方法)も有効である。これにより、インターライン型CCDでもフルフレーム型CCD(但し、改良型)でも、イメージエリア内に配された焦点検出、測光画素を含む領域の信号電荷をメカニカルシャッタを何度も開閉することなく短時間に読み出すことができる。以下、改良型のフルフレーム型CCDを用いた実施例について説明するが、インターライン型にも適用可能である。
図6(a)は、イメージエリアの画素(CCDセル)の平面図、図6(b)は図6(a)のAA断面図とポテンシャルプロフィールである。201は光透過性のあるポリシリコンで形成されるクロックゲート電極であり、この電極下の半導体表面がクロックフェーズ領域である。クロックフェーズ領域はイオンの打ち込みにより2領域に分けられ、その一方が、クロックバリア領域202であり、もう一方がクロックバリアよりもポテンシャルが高くなるようにイオンを打ち込むことで形成されるクロックウエル領域203である。204は半導体表面にP+層を形成することでチャネルポテンシャルを固定するためのバーチャルゲートであり、この領域がバーチャルフェーズ領域である。この領域もまた、P+層より深い層にN型イオンを打ち込むことで2領域に分けられ、その一方がバーチャルバリア領域205、もう一方がバーチャルウエル領域206である。207は電極と半導体の間に設けられる酸化膜などによる絶縁層である。208は各VCCDのチャネルを分離するためのチャネルストップである。
なお、図示はしていないが、強い光が入射した場合に電荷が隣接画素にあふれて擬似信号となるブルーミング現象の防御の機能が付加される。その代表的な方法は横形オーバーフロードレインを設ける方法である。
即ち、各VCCDに接してN+層よりなるドレインが設けられ、オーバーフロードレインと電荷転送チャネルとの間にはオーバーフロードレインバリアが設けられる。オーバーフロードレインバリアの高さを超える電荷はドレインに掃き捨てられることになるのである。ドレインバリアの高さはイオンのうちこみにより固定されるか、オーバーフロードレインバリア上に電極(オーバードレインバリア電極)を構成することで、ドレイン電極に加える電圧(VOD)の値の制御によりドレインバリアの高さを変えるようにされる。
VCCDの転送はクロック電極202に任意のパルスを加えることでクロックフェーズ相のポテンシャルをバーチャル層のポテンシャルに対して上下に動かすことで電荷を水平CCDの方向へ転送する。なお、図6(b)において丸印と矢印は電荷の移動を概念的に示している。以上はイメージエリアの画素構造であるが、ストレージ部の画素構造もこれに準ずる。但し、この領域は、画素上部がアルミ遮光されているため、ブルーミングを防御する必要がないのでオーバーフロードレインは省かれる。H−CCDも、また、バーチャルフェーズ構造とされるがVCCDからの電荷を受け取り、かつそれを水平に転送することができるようにクロック相領域とバーチャルフェーズ相領域のレイアウトを構成する。
図7(a)は、図6に示すCCDセル(201〜207)の上に純色のいずれかの色か補色のいずれかの色のカラーフィルタ層212を配置した構造の平面図、図7(b)は図7(a)のBB断面図である。カラーフィルタ層212とCCDセルの間には、半導体表面の保護層209と各色の混色を防止するためのメタル遮光膜210が設けられる。但し、これはカラーフィルタと同様の材料で作られる黒の色素層で構成されることもある。211はカラーフィルタ層212をのせる表面を平らにするための平滑層、213はフィルタ層を保護する保護層である。
図8に、フルフレームCCDにAF用画素を構成した配列を示す。通常のベイヤ配列のセンサにAF用画素S1を複数もつラインとAF用画素S2をもつラインが並んでいる。図9(a)は、AF用画素S1の平面図であり、図9(b)は図9(a)のCC断面図である。210は光電変換素子、214Aはメタル遮光膜であり、画素の光電変換エリアの中心部から一方に偏った(偏心した)開口部214aを有する。215はマイクロレンズを形成するための平面を構成するための平滑層である。216はマイクロレンズである。AF用画素S1はフィルタ層を持たず、最上部にマイクロレンズ216を有する。図10(a)は、AF用画素S2の平面図であり、図10(b)は図10(a)のDD断面図である。AF用画素S2は、AF用画素S1の画素中心とは反対方向に同距離で偏心した開口部214bを有するメタル遮光膜214Bを有する。AF用画素S1のメタル遮光膜214AとAF用画素S2のメタル遮光膜214Bは、図9(a)及び図10(b)に示すように、左右(又は上下)対称となるように設けられる。これにより、光軸を中心として対称となる射出瞳の二つの位置からの光束によりAF用画素に結像した像のうち、一方がAF用画素S1の行によって光電変換され、もう一方がAF用画素S2の行によって光電変換され、二つの像が得られる。
100万画素を越えるエリアセンサにとっては、図8の配列で、AF用画素S1の行とAF用画素S2の行は殆ど同一で近似の像がマイクロレンズ216上に結像される。いま撮像素子2に像を結ぶ撮影レンズ1が撮像素子2上でピントがあっていれば、AF用画素S1を含む行のS1群からの像信号と、AF用画素S2を含む行のS2群の信号群からの像信号は一致する。もし、ピントを結ぶ点が撮像素子2の撮像面よりも前方か後方にあれば、AF用画素S1を含む行のS1群からの像信号と、AF用画素S2を含む行のS2群の信号群からの像信号の位相差が生じる。そして、結像点が前の場合と後の場合では位相のずれ方向が逆になる。
これは、原理的には、特許文献4の瞳分割位相差AFと同じである。AF用画素S1の光電変換部からカメラレンズを見た場合と、AF用画素S2の光電変換部からカメラレンズをみた場合とでは、あたかも光学中心に対して瞳が左右に分割したように見える。図11及び図12に、位相差とピント状態との関係を示す。図11及び図12は、互いに隣り合う2つのAF用画素S1、S2を示し、撮像画素を省略して、複数のAF用画素S1、S2を互いに近づけて同一断面上に示している。なお、これらの図では、AF用画素S1、S2のペアは同一のマイクロレンズ216で覆われているが、実際には、AF用画素S1、S2はそれぞれ別々のマイクロレンズ216で覆われている。
被写体の特定点からの光はAF用画素S1にとっての瞳を通ってAF用画素S1に入射する光束L1と、AF用画素S2にとっての瞳を通ってAF用画素S2に入射する光束L2とに分割される。この2つの光束L1、L2は、撮影レンズ1のピントが特定点に合っている状態では、図11に示すように、マイクロレンズ216の表面の一点に集光し、AF用画素S1、S2には同一の像が形成される。これにより、AF用画素S1から読み出したA像信号と、AF用画素S2から読み出したB像信号とは同一のものとなる。
一方、撮影レンズ1のピントが特定点に対して合っていない状態では、図12に示すように、光束L1、L2はマイクロレンズ216の表面とは異なる位置で交差する。このときのマイクロレンズ216の表面と2つの光束L1、L2の交点との距離、即ち、デフォーカス量をxとする。また、この状態で発生したAF用画素S1、S2上での像のずれ量(位相差)がn画素分に相当するものとする。また、画素ピッチをd、2つの瞳の重心間の距離をDaf、撮影レンズ1の主点から焦点までの距離をuとするとき、デフォーカス量xは次式で与えられる。
uは撮影レンズ1の焦点距離fにほぼ等しく次式で与えられる。
図13は、撮像素子2上のAF用画素S1、S2のそれぞれから読み出したA像信号(AF用画素S1の像)及びB像信号(AF用画素S2の像)の信号レベルを示す。これらのA像及びB像信号にはずれ量(つまりは像ずれ量)n×dが発生する。合焦制御部7は、相関演算手法を用いて一対の像信号のずれ量(位相差)n×dを求め、この位相差から数式1又は2を用いてデフォーカス量xを求める。合焦制御部7は、算出したデフォーカス量に基づいて、デフォーカス量xを所定範囲内に収める(望ましくは零にする)ためのフォーカスレンズ1aの目標駆動量を算出する。そして、レンズ制御部4を通じて、フォーカスレンズ1aを、算出した目標駆動量だけ移動させる。これにより、位相差AFによる合焦状態が得られる。
図14〜図16は、図8に示す画素配列の変形例であり、AF用画素S1及びS2の配列を図8に示す配列とは変えている。図8ではAF用画素S1の行とAF用画素S2の行が僅かにずれているが、100万画素を越える撮像素子2では実用上問題はない。図14〜図16は、AF用画素S1の行とAF用画素S2の行を同一箇所に近似させようとしている。図14は同一行にAF用画素S1とS2を交互に配置する。図15はAF用画素S1の行をAF用画素S2の行の上下に設けてAF用画素S1による第1の行と第2の行の補間によりAF用画素S2の行に相当するAF用画素S1の行データを作成する。図16は図14の変形例であり、AF用画素S1とS2を交互にもつ行を2行にしてそれぞれジグザグになるように配置している。以上のように、AF画素群とその部分のみを読み出す駆動方法により、高速かつ精度の高い位相差AFが可能となる。
撮像素子2における被写体の像の画像処理においては、AF用画素S1、S2の部分は周辺の撮影用画素により補間される。これにより、画質の劣化は殆どなく、かつ、画像取り込み以外の焦点検出データをも読みこめる撮像素子が実現するのである。このような補間をする前提にたつと、図5に示すように、2×2画素で3色の撮影用画素と1つのAF用画素だと補間が簡易でかつ画像劣化も問題にならない。もちろん、2×4配列も可能であるが、AF用画素S1行とAF用画素S2行の距離が2×2画素よりも離れることとなる。また、上述の説明は、インターライン型CCD撮像素子、フレームトランスファ型CCD撮像素子、また、X−Yアドレス型撮像素子にも適用可能である。
AF時には、撮像素子2上からAF用画素S1及びS2を含む行を読み出してA/D変換部3によりA/D変換し、瞳分割画素抽出部6により各画素値よりAF用画素S1の像とAF用画素S2の像をそれぞれ生成する。そして、合焦制御部7が、二つの像の相関を演算することによって像のずれ量を求め、求めたずれ量に従って撮影レンズ1の中のフォーカスレンズを移動するようにレンズ制御部4を制御する。
撮影時には、撮像素子2上に被写体像を露光し、これを全画素分読み出してA/D変換部3によりA/D変換し、不図示の信号処理回路に入力する。信号処理回路においては、まずAF画素S1、S2から読み出した画素値を破棄し、代わりに周辺画素よりAF画素S1及びS2に相当する画素値を生成して補間する。この後、輝度色差信号の生成及び圧縮を行い、記録メディアに画像ファイルとして保存する。
本実施例は、AF用画素S1、S2を撮影には使用せず、AF用画素S1、S2を周辺の撮影用画素で補間する。静止画撮影時には補間処理は、映像信号をメモリ上に取込んだ後に行えばよい。しかし、動画撮影時や電子ビューファインダーを動作させるときは、1秒間に30枚ほどの画像を撮像素子から繰り返し読み出すため、処理が間に合わなくならないように撮像素子2上のラインを間引いて行う。このように、本実施例によれば、間引きモードの読み出しにおいて読み出される画素にはAF用画素が含まれず、なおかつ動画の生成に必要十分な画素数を読み出すことができる。
また、特許文献5及び6に開示されているように、水平と垂直に直交して瞳分割することで、水平方向と垂直方向の両方の位相差を検出して合焦精度を向上させることができる。例えば、図17(a)に撮像素子2の水平方向に瞳分割するAF用画素を示し、図17(b)に撮像素子2の垂直方向に瞳分割したAF用画素を示す。このようなAF用画素を撮像素子2の中に満遍なく一定間隔で配置する。撮像素子2全体の画素の1%程度をこのAF用画素に割り当てる。ここで、水平方向(左右方向又は横方向)とは、撮影レンズ1の光軸と撮像領域の長辺とが地面に平行となるようにデジタルカメラ100を構えたとき、この光軸に直交し、かつ水平方向に伸びる直線に沿った方向をいう。また、垂直方向(上下方向又は縦方向)とは、撮影レンズ1の光軸と撮像領域の長辺とが地面に平行となるようにデジタルカメラ100を構えたとき、この光軸に直交し、鉛直方向に伸びる直線に沿った方向をいう。
カメラを正位置で撮影したときの被写体の縦縞は、横方向に瞳分割したAF用画素により位相差(デフォーカス量)を検出し、被写体の横縞は、縦方向に瞳分割したAF用画素により位相差(デフォーカス量)を検出してAFを行うと合焦精度を高くできる。
本実施例では、図17(a)で示される撮像素子2を水平方向に瞳分割したAF用画素を左右瞳分割A画素及びB画素、これを基に形成される画像データを左右瞳分割A像及びB像と呼ぶ。また、本実施例は、図17(b)で示される撮像素子2を垂直方向に瞳分割した画素を上下分割A画素及びB画素、これを基に形成される画像データを上下瞳分割A像及びB像と呼ぶ。
図18は、上下分割スプリットイメージ20cを画像表示部17の中央部に表示した図である。図19は左右分割スプリットイメージ20dを画像表示部17の中央部に表示した図である。本実施例ではスプリットイメージを方形にしているがデザインに応じて円形、楕円形などでも構わない。
図20〜図22は、上下分割スプリットイメージ20eを説明する図である。図21(a)の斜線領域の画像は、上下分割スプリットイメージ20eのA像22eを示し、図21(b)の斜線領域の画像は、上下分割スプリットイメージ20eのB像24eを示している。図22(a)は、上下分割スプリットイメージ20eの分割線21eに沿ったA像22eの評価値算出対象領域23eを示し、図22(b)は、上下分割スプリットイメージ20eの分割線21eに沿ったB像24eの評価値算出対象領域25eを示している。評価値算出対象領域23e及び25eは2つの画像(A像22e、B像24e)が互いに隣接する隣接部分であり、上下分割スプリットイメージ20eの分割方向に沿って評価値を調べるための算出対象となる。以下、評価値を算出する例について説明する。
例えば、評価値算出対象領域23eは左右瞳分割A画素評価値HAi(i=0〜m)の垂直画素積分値列からなり、評価値算出対象領域25eは左右瞳分割B画素評価値HBi(i=0〜m)の垂直画素積分値列からなる。この時の画素評価値は、例えば、それぞれ図23(a)及び図23(b)のようになり、評価値HAC、HBCは次式で与えられる。
ここで、MAX[HAi(i=0〜m)]は左右瞳分割A画素評価値HAi(i=0〜m)の最大値、MIN[HAi(i=0〜m)]は左右瞳分割A画素評価値HAi(i=0〜m)の最小値を示している。HAC、HBCがある一定値以上である場合はコントラストが高いと判断し、HAC、HBCがある一定値に満たない場合コントラストが低いと判断できる。更に、MFにおける操作者によるフォーカシング補助において、HAC及びHBCが共にある一定値以上である場合はコントラストが十分であると判断し、HAC及びHBCの少なくとも一方がある一定値に満たない場合はコントラストが不十分であると判断できる。
図24〜図26は、左右分割スプリットイメージ20fを説明する図である。図25(a)の斜線領域の画像は、左右分割スプリットイメージ20fのA像22fを示し、図25(b)の斜線領域の画像は、左右分割スプリットイメージ20fのB像24fを示している。図26(a)は、左右分割スプリットイメージ20fの分割線21fに沿ったA像22fの評価値算出対象領域23fを示し、図26(b)は、左右分割スプリットイメージ20fの分割線21fに沿ったB像24fの評価値算出対象領域25fを示している。評価値算出対象領域23f及び25fは左右分割スプリットイメージ20fの分割方向に沿って評価値を調べるための算出対象となる。以下、評価値算出例を説明する。
例えば、評価値算出対象領域23fは上下瞳分割A画素評価値VAi(i=0〜n)の水平画素積分値列からなり、評価値算出対象領域25fは上下瞳分割B画素評価値VBi(i=0〜n)の水平画素積分値列からなる。この時の画素評価値は、例えば、それぞれ図27(a)及び図27(b)のようになり、評価値VAC、VBCは次式で与えられる。
ここで、MAX[VAi(i=0〜n)]は上下瞳分割A画素評価値VAi(i=0〜n)の中の最大値を示しており、MIN[VAi(i=0〜n)]は上下瞳分割A画素評価値VAi(i=0〜n)の中の最小値を示している。VAC、VBCがある一定値以上である場合はコントラストが高いと判断し、VAC、VBCがある一定値に満たない場合コントラストが低いと判断できる。更に、MFにおける操作者によるフォーカシング補助において、VAC及びVBCが共にある一定値以上である場合はコントラストが十分であると判断し、VAC及びVBCの少なくとも一方がある一定値に満たない場合はコントラストが不十分であると判断できる。
なお、ここでは評価値算出結果を基に特徴抽出をしているが、周波数分布を調べて相関演算評価値を求めたり、周期的な特徴が見られるか否かを調べたりして特徴抽出をしてもよい。
図28は、上下分割スプリットイメージ20g内のコントラストが不十分な例を示す図である。図28では被写体である家の壁が上下分割スプリットイメージ20gの領域となっている。上下分割スプリットイメージ20gの左右瞳分割A画像22g及び左右瞳分割B画像24gは、図29(a)及び図29(b)に示すように、コントラストが高くない。この場合、操作者はスプリットイメージを利用したMFが十分ではない。
以下、図30を参照して、本実施例のスプリットイメージ表示モードにおける動作を説明するためのフローチャートである。図30において、「S」はステップを表す。
スプリットイメージ領域決定部15は、操作部14のモードダイヤル14bによってMFモードが設定されているかどうかを判断し(S1)、MFモードが設定されていなければ処理を終了する。スプリットイメージ領域決定部15は、MFモードが設定されていると判断すると(S1)、スプリットイメージ表示モードが操作部14の操作ボタン(14c−14f)によって設定されているかどうかを判断する(S2)。スプリットイメージ領域決定部15は、スプリットイメージ表示モードが操作部14によって設定されていないと判断すると(S2)、処理を終了する。
次に、スプリットイメージ領域決定部15は、スプリットイメージ表示モードが設定されていると判断すると(S2)、スプリットイメージ使用画素選択部8が瞳分割画素信号からスプリットイメージに使用するものを選択する。そして、スプリットイメージ使用領域抽出部9が、スプリットイメージとして表示する領域を抽出し、変倍処理部10が、スプリットイメージ使用領域抽出部9によって抽出されたスプリットイメージを表示サイズに変倍する。次いで、画像合成部16が被写体像とスプリットイメージを合成し、画像表示部17が合成画像を表示する(S3)。この場合は、初期値として与えられる上下か左右のスプリットイメージ分割方向、位置、大きさのスプリットイメージを生成し、電子ビューに被写体像と共に表示する。
次に、スプリットイメージ領域決定部15は、操作部14を参照して、操作者による何らかの操作があるかどうかを判断する(S4)。スプリットイメージ領域決定部15は、操作があると判断すると(S4)、MFモードが操作部14によって設定されているかどうかを判断し(S10)、設定されていなければ処理を終了する。次に、スプリットイメージ領域決定部15は、MFモードが設定されていると判断するとスプリットイメージ表示モードが操作部14によって設定されているかどうかを判断し(S11)、設定されていなければ処理を終了する。
次に、スプリットイメージ領域決定部15は、スプリットイメージ表示モードが操作部14によって設定されていると判断すると(S11)、スプリットイメージ領域の変更が指示されているかどうかを判断する(S12)。この場合の変更指示は、操作者の操作部14の操作によるスプリットイメージの位置、広さ、分割方向などの領域変更の指示である。
一方、スプリットイメージ領域決定部15は、操作がないと判断した場合(S4)又はスプリットイメージ領域の変更が指示されていないと判断した場合(S12)、タイマ19を参照して設定時間が経過したかどうかを判断する(S5)。スプリットイメージ領域決定部15が設定時間が経過していないと判断すると(S5)、処理はS4に戻る。一方、スプリットイメージ領域決定部15は、何等の操作なく一定時間が経過したと判断すると(S5)、評価値算出部12が算出した評価値(コントラスト)を取り込む(S6)。
なお、本実施例では、図1に示すように、画像表示部17とタイマ19がスプリットイメージ領域決定部15に接続されてスプリットイメージ領域決定部15がS5の判断を行ってS6における評価値の取り込みタイミングを制御している。しかし、別の実施例では、画像表示部17とタイマ19がスプリットイメージ使用画素選択部8に接続されてスプリットイメージ使用画素選択部8がS5の判断を行ってS6の代わりに評価値の算出タイミングを制御してもよい。もちろん、評価値の取り込みタイミングや算出タイミングを不図示の別の制御部が行ってもよい。
次に、スプリットイメージ領域決定部15は、スプリットイメージの2つの画像(A像及びB像)の特徴の相関が十分であるかどうかを判断する(S7)。本実施例において、「特徴の相関が十分である」とは、各特徴のコントラストが十分であり、かつ、合焦ずれの特徴が十分に表れていることを意味する。逆に、「特徴の相関が十分である」とは、スプリットイメージの2つの画像(A像及びB像)のそれぞれの特徴ではMFができない(困難である場合も含む)ことを意味する。
スプリットイメージ領域決定部15は、特徴の相関が十分であると判断すると(S7)、S4に戻る。一方、スプリットイメージ領域決定部15は、特徴の相関が十分ではないと判断した場合(S7)又はスプリットイメージ領域を変更指示したと判断した場合(S12)、スプリットイメージ領域を変更する(S8)。S8における変更は、スプリットイメージの位置の変更、分割線の方向(分割方向)の変更、スプリットイメージの拡大のいずれかを含む。そして、スプリットイメージ使用画素選択部8、スプリットイメージ使用領域抽出部9、画像合成部16を制御して画像表示部17によるスプリットイメージの表示を更新する(S9)。その後、処理はS4に戻る。
以下、図31及び図32を参照して、図30のS8の変更のうちスプリットイメージの表示上の拡大(即ち、A像及びB像の拡大)について説明する。図31は、コントラストが不十分な場合(即ち、図28に示すように、スプリットイメージ20gの左右瞳分割A画像22g、B画像24gのコントラストが十分とれない場合)に、横方向に広げた上下分割スプリットイメージ20hを示す図である。図32(a)は、上下分割スプリットイメージ20hの左右瞳分割A画像22hの評価値を示すグラフである。図32(b)は、上下分割スプリットイメージ20hの左右瞳分割B画像24hの評価値を示すグラフである。スプリットイメージ領域決定部15は、スプリットイメージ20gのA像とB像のコントラストを調べ、図32(a)及び図32(b)に示すように、コントラストが十分得られる領域までスプリットイメージを自動的に左右に広げる。なお、左右分割スプリットイメージの場合にも同様に、コントラストが十分とれる領域まで自動的に上下に広げる。なお、スプリットイメージを拡大する方向は分割線が延びる方向である。また、ここでいうところの拡大とは、表示上の拡大をいい、信号処理をするうえで当該拡大領域の信号量を増やす場合と増やさない場合を問わない。
次に、図33及び図34を参照して、図30のS8の変更のうちスプリットイメージの位置の変更(即ち、A像及びB像の位置の変更)について説明する。図33は、図28に示すように、コントラストが不十分な場合に、スプリットイメージ20gの位置をスプリットイメージ20iの位置に変更した図である。図34(a)は、上下分割スプリットイメージ20iの左右瞳分割A画像22iの評価値を示すグラフである。図34(b)は、上下分割スプリットイメージ20iの左右瞳分割B画像24iの評価値を示すグラフである。スプリットイメージ領域決定部15は、スプリットイメージ20gのA像とB像のコントラストを調べ、図34(a)及び図34(b)に示すように、コントラストが十分得られる位置にスプリットイメージ20gの位置を自動的に変更する。なお、左右分割スプリットイメージの場合にも同様に、コントラストが十分とれる領域に自動的に位置を変更する。
次に、図35〜図42を参照して、図30のS8の変更のうちスプリットイメージの分割方向(分割線の方向)の変更について説明する。図35は、上下分割スプリットイメージ20jにおいて合焦ずれの特徴が十分ではない場合を示す図である。図36(a)は上下分割スプリットイメージ20jの左右瞳分割A画像22jの評価値を示すグラフである。図36(b)は上下分割スプリットイメージ20jの左右瞳分割B画像24jの評価値を示すグラフである。図36(a)に示すA画像22jと図36(b)に示すB画像24jの評価値が殆ど同じであることが理解される。図35に示す上下分割スプリットイメージ20jは、図28に示すようなA像22g、B像24gのコントラストの低い場合ではない。しかし、操作者から見ると上下分割スプリットイメージ20jのA像22j、B像24jのずれが殆どなく合焦作業がしづらい。
そこで、図37に示すように、分割方向を変更する。図37は、図35と全く同じ画像部分での左右分割スプリットイメージ20kを示す図である。図38(a)は左右分割スプリットイメージ20kのA像22kの評価値を示すグラフである。図38(b)は左右分割スプリットイメージ20kのB像24kの評価値を示すグラフである。図38(a)及び図38(b)に示すように、A画像22kとB画像24kの評価値は明らかに異なり、図37に示す左右分割スプリットイメージ20kの場合、合焦ずれの特徴が見て取りやすく操作者にとっても合焦作業がしやすくなる。この場合、スプリットイメージ領域決定部15は、異なるスプリットイメージの分割方向(上下分割、左右分割)のそれぞれの評価値を算出し、特徴が十分な分割方向を選択して表示する。図35に示す上下分割スプリットイメージ20jにおいて特徴抽出が十分でない場合、図37に示すように、スプリットイメージ領域決定部15は、左右分割スプリットイメージ20kに自動的に切り替える。これにより操作者の十分合焦作業が行いやすいスプリットイメージを自動的に選択して表示することができる。
以上、説明したように、図30に示すS8は、特徴抽出部であるスプリットイメージ使用画素選択部8が抽出した2つの画像(A像及びB像)のそれぞれの特徴ではMFができないと判断した場合に行われる。そして、スプリットイメージ領域決定部15は、S8において、スプリットイメージの位置の変更、分割線の方向(分割方向)の変更、スプリットイメージの拡大のいずれかを行う。この結果、MFに適したスプリットイメージ画像を被写体像と共に操作者に提供することができる。
なお、本実施例は、上下瞳分割画像、左右瞳分割画像によるスプリットイメージについて説明したが、本発明は、斜め方向に分割された瞳分割画像を利用した斜め分割のスプリットイメージに関しても同様に適用可能である。