JP6099536B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、一部の画素を位相差方式の焦点検出素子として利用して焦点状態を検出する撮像素子の画素出力を処理する画像処理装置、画像処理方法及び画像処理プログラムに関する。

撮像素子の一部の画素を焦点検出素子として利用して焦点状態を検出する撮像装置に関する提案が例えば特許文献１においてなされている。特許文献１は、撮像素子の一部の画素を位相差検出画素に設定し、撮影レンズの光軸中心に対して対称な異なる瞳領域を通過した被写体光束を複数の位相差検出画素に結像させ、この被写体光束の間の位相差を検出することによって撮影レンズの焦点状態を検出している。

ここで、位相差検出画素は、撮影レンズの異なる瞳領域を通過した被写体光束の一方を受光できるように例えば一部の領域が遮光されている。このため、位相差検出画素は、そのままでは画像として使用できない欠損画素となる。したがって、特許文献２に開示された撮像装置では、位相差検出画素の画素出力を、ゲイン調整したり、周辺の画素を用いて補間したりすることにより、記録や表示に利用可能としている。

特許第３５９２１４７号公報 特開２０１０−０６２６４０号公報

ところで、位相差検出画素に入射する光の量は、入射する光の角度、位相差検出画素に形成された遮光膜の位置の他、像高によっても異なる。さらに、位相差検出画素に入射する光の角度は、撮影レンズ等の光学系の製造ばらつきや撮像素子の前面に配置されるマイクロレンズの製造ばらつきによっても異なる。ゲイン調整の精度を高めるためには、位相差検出画素毎の光量の低下量を正しく検出し、検出した低下量に応じてゲイン調整量を設定することが望ましい。

本発明は、前記の事情に鑑みてなされたもので、位相差検出画素を有する撮像素子からの画素出力を処理する撮像装置において、位相差検出画素による画質の低下をより抑えることが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様の画像処理装置は、位相差を検出する方向に並べられた位相差検出画素と撮像画素とを有する撮像素子からの画素出力を処理する画像処理装置であって、前記位相差検出画素の画素出力をゲイン補正するゲイン補正部と、前記ゲイン補正の際のゲイン量を推定するゲイン量推定部とを具備し、前記ゲイン量推定部は、前記位相差検出画素を含む基準ブロックと前記基準ブロックを含むサーチ範囲内において設定された参照ブロックとの相関に応じて前記ゲイン量の推定に用いる基準となる撮像画素の画素出力を仮真値算出画素の画素出力として算出する仮真値算出処理部を有することを特徴とする。

前記の目的を達成するために、本発明の第２の態様の画像処理方法は、位相差を検出する方向に並べられた位相差検出画素と撮像画素とを有する撮像素子からの画素出力を処理するための画像処理方法であって、前記位相差検出画素を含む基準ブロックと前記基準ブロックを含むサーチ範囲内において設定された参照ブロックとの相関に応じて仮真値算出画素の画素出力を算出し、前記仮真値算出画素の画素出力と前記位相差検出画素の画素出力との比率に応じてゲイン量を推定し、前記推定されたゲイン量に応じて前記位相差検出画素の画素出力をゲイン補正することを特徴とする。

前記の目的を達成するために、本発明の第３の態様の画像処理プログラムは、位相差を検出する方向に並べられた位相差検出画素と撮像画素とを有する撮像素子からの画素出力を処理するための画像処理プログラムであって、前記位相差検出画素を含む基準ブロックと前記基準ブロックを含むサーチ範囲内において設定された参照ブロックとの相関に応じて仮真値算出画素の画素出力を算出する機能と、前記仮真値算出画素の画素出力と前記位相差検出画素の画素出力との比率に応じてゲイン量を推定する機能と、前記推定されたゲイン量に応じて前記位相差検出画素の画素出力をゲイン補正する機能とをコンピュータに実現させる。

本発明によれば、位相差検出画素を有する撮像素子からの画素出力を処理する撮像装置において、位相差検出画素による画質の低下をより抑えることが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。

本発明の一実施形態に係る画像処理装置を有する撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。 撮像素子の画素配列の例を示した図である。 画像処理部の詳細な構成を示す図である。 ゲイン量推定部の構成を示す図である。 動画記録処理を示すフローチャートである。 仮真値算出処理について説明するための図である。 基準ブロックを斜めに横切るような絵柄の被写体像が撮像素子に結像しているときの仮真値算出画素を示す図である。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る画像処理装置を有する撮像装置の一例としてのデジタルカメラ（以下、単にカメラと言う）の構成を示すブロック図である。ここで、図１において、矢印付き実線はデータの流れを示し、矢印付き破線は制御信号の流れを示す。

図１に示すカメラ１は、撮影レンズ１１と、絞り１３と、メカシャッタ１５と、駆動部１７と、操作部１９と、撮像素子２１と、撮像制御回路２３と、Ａ−ＡＭＰ２５と、アナログデジタル変換部（ＡＤＣ）２７と、ＣＰＵ２９と、画像処理部３１と、焦点検出回路３３と、ビデオエンコーダ３５と、表示部３７と、バス３９と、ＤＲＡＭ（Dynamic Random Access Memory）４１と、ＲＯＭ（Read Only Memory）４３と、記録媒体４５とを有する。

撮影レンズ１１は、被写体１００からの像を撮像素子２１に形成するための撮影光学系である。撮影レンズ１１は、合焦位置を調節するためのフォーカスレンズを有しており、またズームレンズとして構成されていてもよい。絞り１３は、撮影レンズ１１の光軸上に配置され、その口径が可変に構成されている。絞り１３は、撮影レンズ１１を通過した被写体１００からの光束の量を制限する。メカシャッタ１５は、開閉自在に構成されている。メカシャッタ１５は、撮像素子２１への被写体１００からの被写体光束の入射時間（撮像素子２１の露光時間）を調節する。メカシャッタ１５としては、公知のフォーカルプレーンシャッタ、レンズシャッタ等が採用され得る。駆動部１７は、ＣＰＵ２９からの制御信号に基づいて、撮影レンズ１１、絞り１３及びメカシャッタ１５の駆動の制御を行う。

操作部１９は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦といった各種の操作釦及びタッチパネル等の各種の操作部材を含む。この操作部１９は、各種の操作部材の操作状態を検知し、検知結果を示す信号をＣＰＵ２９に出力する。ここで、本実施形態の操作部１９により、カメラ１の撮影モードを選択することが可能である。すなわち、ユーザは、操作部１９を操作することにより、カメラ１の撮影モードを静止画撮影モードと動画撮影モードの何れかから選択することができる。静止画撮影モードは、静止画像を撮影するための撮影モードであり、動画撮影モードは、動画像を撮影するための撮影モードである。

撮像素子２１は、撮影レンズ１１の光軸上であって、メカシャッタ１５の後方で、かつ、撮影レンズ１１によって被写体光束が結像される位置に配置されている。撮像素子２１は、画素を構成するフォトダイオードが二次元的に配置されて構成されている。ここで、本実施形態における撮像素子２１は、記録や表示のための画像を取得するための撮像画素と焦点検出をするための位相差検出画素とを有する。

撮像素子２１を構成するフォトダイオードは、受光量に応じた電荷を生成する。フォトダイオードで発生した電荷は、各フォトダイオードに接続されているキャパシタに蓄積される。このキャパシタに蓄積された電荷が画像信号として読み出される。本実施形態における撮像素子２１は、複数の異なる電荷の読み出し方式を有している。撮像素子２１に蓄積された電荷は、撮像制御回路２３からの制御信号に従って読み出される。

また、画素を構成するフォトダイオードの前面には、例えばベイヤ配列のカラーフィルタが配置されている。ベイヤ配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインを有している。

撮像制御回路２３は、ＣＰＵ２９からの制御信号に従って撮像素子２１の駆動モードを設定し、設定した駆動モードに応じた読み出し方式に従って撮像素子２１からの画像信号の読み出しを制御する。例えば、ライブビュー表示時や動画記録時といった撮像素子２１からの画素データの読み出しにリアルタイム性が求められるような駆動モードの場合には、画素データの読み出しを高速に行えるよう、複数の同色画素からの画素データを混合して読み出すか、特定の画素の画素データを間引いて読み出す。一方、例えば静止画像の記録時のようなリアルタイム性よりも画質が求められる駆動モードの場合には、混合読み出しや間引き読み出しをせずに全画素の画素データを読み出すことで解像力を維持する。

Ａ−ＡＭＰ２５は、撮像制御回路２３の制御に従って撮像素子２１から読み出された画像信号を増幅する。撮像素子２１、撮像制御回路２３、Ａ−ＡＭＰ２５とともに撮像部として機能するＡＤＣ２７は、Ａ−ＡＭＰ２５から出力された画像信号を、デジタル形式の画像信号（画素データ）に変換する。以下、本明細書においては、複数の画素データの集まりを撮像データと記す。

ＣＰＵ２９は、ＲＯＭ４３に記憶されているプログラムに従ってカメラ１の全体制御を行う。画像処理部３１は、撮像データに対して各種の画像処理を施して画像データを生成する。例えば画像処理部３１は、静止画像の記録の際には、静止画記録用の画像処理を施して静止画像データを生成する。同様に、画像処理部３１は、動画像の記録の際には、動画記録用の画像処理を施して動画像データを生成する。さらに、画像処理部３１は、ライブビュー表示時には、表示用の画像処理を施して表示用画像データを生成する。このような画像処理部３１の構成については後で詳しく説明する。

焦点検出回路３３は、位相差検出画素からの画素データを取得し、取得した画素データに基づき、公知の位相差方式を用いて撮影レンズ１１の合焦位置に対するデフォーカス方向及びデフォーカス量を算出する。

ビデオエンコーダ３５は、画像処理部３１で生成された表示用画像データを映像データに変換し、この映像データを表示部３７に入力して表示部３７に画像を表示させる。

表示部３７は、例えば液晶ディスプレイや有機ＥＬディスプレイといった表示部であって、例えばカメラ１の背面に配置される。この表示部３７は、ビデオエンコーダ３５の動作に従って画像を表示する。表示部３７は、ライブビュー表示や記録済み画像の表示等に使用される。

バス３９は、ＡＤＣ２７、ＣＰＵ２９、画像処理部３１、焦点検出回路３３、ＤＲＡＭ４１、ＲＯＭ４３、記録媒体４５に接続され、これらのブロックで発生した各種のデータを転送するための転送路として機能する。

ＤＲＡＭ４１は、電気的に書き換え可能なメモリであり、前述した撮像データ（画素データ）、記録用画像データ、表示用画像データ、ＣＰＵ２９における処理データといった各種データを一時的に記憶する。なお、一時記憶用としてＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）が用いられてもよい。ＲＯＭ４３は、マスクＲＯＭやフラッシュメモリ等の不揮発性メモリである。ＲＯＭ４３は、ＣＰＵ２９で使用されるプログラム、カメラ１の調整値等の各種データを記憶している。記録媒体４５は、カメラ１に内蔵されるか又は装填されるように構成されており、記録用画像データを所定の形式の画像ファイルとして記録する。

図２を用いて撮像素子２１の構成について説明する。図２は、撮像素子２１の画素配列の例を示した図である。また、図２の右側には、一部の画素を拡大して示している。図２は、ベイヤ配列の例であるが、カラーフィルタの配列はベイヤ配列に限るものではなく、種々の配列が適用され得る。

前述したように、ベイヤ配列の撮像素子２１は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置された画素行と、Ｇ（Ｇｂ）画素とＢ画素が交互に配置された画素行とを有している。言い換えれば、右側の拡大図で示すＧｒ画素と、Ｒ画素、Ｇｂ画素、Ｂ画素の４画素の組が水平及び垂直方向に繰り返して配置されている。

本実施形態においては、一部の撮像画素２１ａの位置に位相差検出画素２１ｂを配置する。位相差検出画素は、例えば左右の何れかの領域を遮光膜によって遮光した画素である。図２の例では、左半面を遮光した位相差検出画素（以下、右開口位相差検出画素と言う）の行と、右半面を遮光した位相差検出画素（以下、左開口位相差検出画素と言う）の行とを垂直方向に沿って近接するように配置している。

高画素数の撮像素子の場合には個々の画素の面積が小さくなるので、近接して配置される画素にはほぼ同じ像が結像すると考えることができる。したがって、図２に示すようにして位相差検出画素を配置することにより、図２のＡ行の位相差検出画素とＢ行の位相差検出画素の対で位相差を検出することができる。また、Ｃ行の位相差検出画素とＤ行の位相差検出画素の対でも位相差を検出することができる。

ここで、図２の例では、位相差検出画素中の遮光する領域を、左右何れかの領域としている。この場合、水平位相差を検出することが可能である。これに対し、遮光する領域を上下何れかの領域としたり、斜め方向の領域としたりすることで、垂直位相差や斜め方向の位相差を検出することも可能である。また、ある程度の面積を有していれば遮光面積も画素領域の１/２でなくともよい。さらに、図２では位相差検出画素をＧ画素に配置しているが、Ｇ画素以外の、Ｒ画素、Ｂ画素の何れかに配置するようにしてもよい。また、図２の例は、位相差検出画素の一部領域を遮光することによって瞳分割をする例を示しているが、位相差検出画素は、撮影レンズ１１の異なる瞳領域を通過した対をなす被写体光束のうちの一方を選択的に受光できればよい。このため、一部領域を遮光する構成とせず、例えば瞳分割用のマイクロレンズによって瞳分割をするようにしてもよい。さらに、図２は、水平方向に沿って４画素周期で位相差検出画素を配置した例を示している。位相差検出画素を配置する周期は特定の周期に限定されるものではない。

ここで、位相差検出画素の一部の領域は遮光されているので、光量の低下が発生する。この光量の低下は、位相差検出画素に形成された遮光膜の面積の他、遮光膜の位置、位相差検出画素に入射する光の角度、像高によっても異なるものである。このような光量の低下が画像処理部３１において補正される。

図３は、画像処理部３１の詳細な構成を示す図である。図３では、画像処理部３１以外のブロックについては図示を省略している。図３に示すように、画像処理部３１は、ホワイトバランス（ＷＢ）補正処理部３１１と、ゲイン量推定部３１２と、ゲイン補正部３１３と、補間判断処理部３１４と、補間処理部３１５と、同時化処理部３１６と、輝度特性変換部３１７と、エッジ強調処理部３１８と、ノイズ低減（ＮＲ）処理部３１９と、色再現処理部３２０とを有している。

ＷＢ補正処理部３１１は、撮像データの各色成分を所定のゲイン量で増幅することにより、画像の色バランスを補正するホワイトバランス補正処理を行う。

ゲイン量推定部３１２は、ゲイン補正部３１３において位相差検出画素の画素出力を補正するためのゲイン量を推定するための関数を算出する。この関数は、撮像画素に対する位相差検出画素の光量低下量を表す関数である。位相差検出画素の光量低下量は、位相差検出画素の画素出力と位相差検出画素の近傍の撮像画素の画素出力との比率に基づいて算出される。ゲイン補正部３１３は、ゲイン量推定部３１２で推定されたゲイン量に従って位相差検出画素の画素出力を補正する。ゲイン量推定部３１２及びゲイン補正部３１３の詳細については後で説明する。

補間判断処理部３１４は、ゲイン補正部３１３でゲイン補正された位相差検出画素の画素出力の適用割合を判断する。適用割合とは、例えばゲイン補正がされた位相差検出画素の画素出力と位相差検出画素の周辺の撮像画素の画素出力との重み付け加算の際の重み付け係数である。ここで、周辺の撮像画素とは、例えば位相差検出画素の周辺の同色（ベイヤ配列の場合には同一成分）の４個の撮像画素のことである。勿論、周辺の撮像画素の画素数は、４画素に限られない。また、重み付け係数は、例えば位相差検出画素の周辺の撮像画素の画素出力のばらつきに従って判断される。補間処理部３１５は、補間判断処理部３１４で判断された適用割合に従ってゲイン補正部３１３でゲイン補正された位相差検出画素の画素出力とその周辺の撮像画素の画素出力とを重み付け加算する補間処理を行う。

同時化処理部３１６は、例えばベイヤ配列に対応して撮像素子２１を介して出力される撮像データ等の、１つの画素が１つの色成分に対応している撮像データを、１つの画素が複数の色成分に対応している画像データに変換する。輝度特性変換部３１７は、画像データの輝度特性（ガンマ特性）を、表示や記録に適するように変換する。エッジ強調処理部３１８は、画像データからバンドパスフィルタ等を用いて抽出したエッジ信号にエッジ強調係数を乗じ、この結果をもとの画像データに加算することによって、画像データにおけるエッジ（輪郭）成分を強調する。ＮＲ処理部３１９は、コアリング処理等を用いて、画像データにおけるノイズ成分を除去する。色再現処理部３２０は、画像データの色再現を適切なものとするための各種の処理を行う。この処理としては、例えばカラーマトリクス演算処理がある。カラーマトリクス演算処理は、画像データに対して、例えばホワイトバランスモードに応じたカラーマトリクス係数を乗じる処理である。この他、色再現処理部３２０は、彩度・色相の補正を行う。

図４は、ゲイン量推定部３１２の構成を示す図である。ゲイン量推定部３１２は、仮真値算出処理部３１２１と、比率計算処理部３１２２とを有している。

仮真値算出処理部３１２１は、比率計算処理部３１２２で比率計算をする際の基準となる撮像画素（仮真値算出画素）の画素出力を算出するための仮真値算出処理を行う。比率計算処理部３１２２は、位相差検出画素の画素出力と仮真値算出画素の画素出力との比率を計算することにより、各位相差検出画素の画素出力をゲイン補正するための関数を算出する。

以下、本実施形態の撮像装置の動作を説明する。図５は、撮像装置による動画記録処理を示すフローチャートである。図５に示すフローチャートの処理は、ＲＯＭ４３に記憶されているプログラムに基づいてＣＰＵ２９によって実行される。また、図５に示す処理は、静止画記録処理やライブビュー表示処理に対しても適用可能である。

図５のフローチャートの処理が開始されると、ＣＰＵ２９は、撮像素子２１による撮像（露光）を実行させる（ステップ１０１）。撮像により得られた画像信号は、予め設定された駆動モードに応じた読み出し方式に従って撮像素子２１から読み出される。この読み出された画像信号は、Ａ−ＡＭＰ２５で増幅され、ＡＤＣ２７においてデジタル化された後、撮像データとしてＤＲＡＭ４１に一時記憶される。

次に、ＣＰＵ２９は、焦点検出処理を行う（ステップＳ１０２）。ここでは、ＣＰＵ２９は、焦点検出回路３３に焦点検出処理を実行させる。焦点検出処理の実行指示を受けて、焦点検出回路３３は、ＤＲＡＭ４１に一時記憶された撮像データの中から、位相差検出画素に対応した画素データを読み出し、この画素データを用いて公知の位相差法によって撮影レンズ１１のデフォーカス方向及びデフォーカス量を算出する。次に、ＣＰＵ２９は、焦点検出回路３３により検出された撮影レンズ１１のデフォーカス方向及びデフォーカス量に基づいて駆動部１７を制御し、撮影レンズ１１を合焦させる。

焦点検出処理の後、ＣＰＵ２９は、画像処理部３１による画像処理を実行させる。これを受けて画像処理部３１は、撮像データ中の画素の走査を行って画素データを選択する（ステップＳ１０３）。画素の走査は、例えば撮像データの左上端から右下端に向かうようにして行われる。なお、ループ処理では位相差検出画素の画素出力が補正されればよい。したがって、位相差検出画素以外の画素データはステップＳ１０３において選択されないようにしてもよい。この場合、ステップＳ１０４のホワイトバランス補正処理は、ループ処理の外で行われることになる。

画素データの選択後、画像処理部３１のＷＢ補正処理部３１１は、画素データに対してホワイトバランス補正処理を施す（ステップＳ１０４）。続いて、ゲイン量推定部３１２の仮真値算出処理部３１２１は、仮真値算出処理を行う（ステップＳ１０５）。以下、仮真値算出処理の例を説明する。

図６は、仮真値算出処理について説明するための図である。仮真値算出処理は、現在の仮真値算出処理の対象となっている画素、すなわちステップＳ１０３で選択された画素を含むブロックと類似のブロックを撮像データに設定された所定のサーチ範囲の中から探索する処理である。この探索は、例えば周知のブロックマッチング法を用いて行われる。図６の位相差検出画素Ｇｒ（右）が仮真値算出処理の対象となっている画素である。また、図６においてはサーチ範囲Ｓの大きさを９×７画素とし、１つのブロックの大きさを３×３画素とした例が示されている。サーチ範囲Ｓ及び１つのブロックの大きさは図６に示したものに限られるものではない。

具体的な仮真値算出処理として、まず、仮真値算出処理部３１２１は、サーチ範囲Ｓ内に基準ブロックＢａｓｅと参照ブロックＲｅｆとを設定する。ここで、基準ブロックＢａｓｅは、現在の仮真値算出処理の対象となる画素（図６の例では位相差検出画素Ｇｒ（右））を中心とするブロックである。また、参照ブロックＲｅｆは、サーチ範囲Ｓ内に設定される基準ブロックＢａｓｅと同じ大きさのブロックである。

基準ブロックＢａｓｅと参照ブロックＲｅｆとをそれぞれ設定した後、仮真値算出処理部３１２１は、基準ブロックＢａｓｅと参照ブロックＲｅｆとの対応する画素同士の画素出力の差の絶対値を算出する。図６の矢印によって差分絶対値を算出する画素の関係が示されている。なお、図６では３画素分の関係のみが例示されているが、実際にはブロック内のそれぞれの画素についての差分絶対値を算出する。基準ブロックＢａｓｅと参照ブロックＲｅｆの各画素についての差分絶対値を算出した後、仮真値算出処理部３１２１は、算出した差分絶対値の積算値を相関値として算出する。

１つの参照ブロックＲｅｆに対する相関値を算出した後、仮真値算出処理部３１２１は、サーチ範囲Ｓの中で参照ブロックＲｅｆの位置をずらし、基準ブロックＢａｓｅと位置をずらした後の参照ブロックＲｅｆとの間で前述と同様にして相関値を算出する。ここで、参照ブロックＲｅｆの位置は、例えばサーチ範囲Ｓの左上端から右下端に向けてずらしていく。このときの参照ブロックＲｅｆの位置ずらし量及び位置ずらし方向については特に制限されない。

以上のような参照ブロックＲｅｆの位置をずらしながらの相関値の算出は、参照ブロックＲｅｆがサーチ範囲Ｓの終端（例えば右下端）に達するまで繰り返される。そして、サーチ範囲Ｓ内の終端位置の参照ブロックＲｅｆについての相関値を算出した後、仮真値算出処理部３１２１は、各参照ブロックＲｅｆについて算出した相関値の中で、最も小さい相関値を有する参照ブロックＲｅｆ、すなわち基準ブロックＢａｓｅとの相関が最も高い参照ブロックＲｅｆの中心の撮像画素を仮真値算出画素とする。これにより、仮真値算出処理が終了する。

ここで、仮真値算出処理においては、仮真値算出画素を位相差検出画素とすることはない。したがって、仮真値算出処理においては、中心画素が撮像画素である参照ブロックＲｅｆの相関値が算出されていればよい。このため、参照ブロックＲｅｆの位置ずらしの時点で参照ブロックＲｅｆの中心の画素が位相差検出画素にならないように参照ブロックＲｅｆの位置をずらすようにしてもよい。

また、仮真値算出画素においては、差分絶対値和を相関値としている。これ以外に、差分二乗和を相関値とする等、相関値は、四則演算を適宜組み合わせることによって得られる。例えば、撮像の駆動モードに応じてより高速性が求められる駆動モードの場合においては、演算不可軽減のため差分二乗和でなく差分絶対値を求める等、使用形態に応じて演算方法を切り替えても良い。

仮真値算出処理の終了後、ゲイン量推定部３１２の比率計算処理部３１２２は、比率計算処理を行う（ステップＳ１０６）。比率計算処理においては、現在の比率計算処理の対象となる位相差検出画素の画素出力とこの位相差検出画素に対応する仮真値算出画素の画素出力との比が算出される。例えば、仮真値算出画素の画素出力をＧｒ１とし、位相差検出画素の画素出力をＧｒ２としたとき、画素出力の比Dif_piは、以下の（式１）に従って算出される。
Dif_pi=Gr1/Gr2 （式１）
前述したように、位相差検出画素の一部の領域は遮光されている。したがって、近傍の撮像画素と同じ量の光が位相差検出画素に入射したとしても、位相差検出画素の画素出力は撮像画素の画素出力に対して低下する。撮像画素の画素出力に対する位相差検出画素の画素出力の低下量は、単純には両者の比を計算することによって算出できる。ここで、動画撮影時の撮像データは必ずしも均一輝度面を撮像して得られるものではないので、撮像画素の画素出力と位相差検出画素の画素出力とはともに被写体像（絵柄）の変化の影響を受けて変動する可能性がある。このため、撮像画素と位相差検出画素との間で絵柄の変化があると、撮像画素の画素出力に対する位相差検出画素の画素出力の低下量を正しく求めることができない。例えば、図７に示すように、基準ブロックを斜めに横切るような絵柄の被写体像が撮像素子２１に結像している場合において、被写体像が結像している画素と結像していない画素とで画素出力の比較をしてしまうと、比率計算の結果に誤差が生じてしまう。

本実施形態では、位相差検出画素と相関のある撮像画素との間で画素出力の低下量を求めるようにしている。したがって、絵柄の変化の影響を低減した状態で比率を求めることが可能である。さらに、本実施形態の場合、ブロック単位での相関を求めるようにしている。例えば、図７の例において、基準ブロックとの相関が高い参照ブロックは、基準ブロックと同様に被写体像の部分に存在している可能性が高い。すなわち、基準ブロックとの相関が高い参照ブロックの撮像画素を仮真値算出画素とすることにより、絵柄の影響をより低減した状態で比率の計算を行うことが可能である。

比率計算処理の後、画像処理部３１は、ループ処理の終了判定として、画素の走査が終了したか否かを判定する（ステップＳ１０７）。画素の走査が終了していないと画像処理部３１において判定された場合には、ループ処理が継続される。一方、画素の走査が終了したと画像処理部３１において判定された場合には、ループ処理が終了される。ループ処理の終了後、ゲイン補正部３１３は、ゲイン補正処理を行う（ステップＳ１０８）。ステップＳ１０３−Ｓ１０７のループ処理により、各位相差検出画素の撮像画素に対する光量の低下量を表す関数が算出される。この関数は、例えば１次関数y＝ax＋bの形で表される。ここで、ｘは、水平座標（水平像高）であり、yは撮像画素の画素出力を基準とした位相差検出画素の画素出力（すなわち光量低下量）である。また、この１次関数の傾きａ及び切片ｂは、例えば最小二乗法により、以下の（式２）で示すようにして与えられる。

ここで、（式２）のｉは、水平座標ｘの値を示す。また、start_xは、水平座標ｘの開始座標である。さらに、水平方向にはｎ個の画素が配列されているものとしている。このような（式２）で示される関数の値を、各位相差検出画素の画素出力に乗じるゲイン補正をすることにより、各位相差検出画素の画素出力における光量低下が補正される。

ここで、（式２）は、光量低下量を１次式で近似する例である。光量低下量は、２次式以上の高次式を用いて近似されてもよい。また、最小二乗法によらずにラグランジュ補間やスプライン補間といった周知の手法で近似が行われてもよい。

ゲイン補正処理の後、補間判断処理部３１４は、ゲイン補正部３１３でゲイン補正された位相差検出画素の画素出力の適用割合を判断する（ステップＳ１０９）。前述したように、適用割合は、例えばゲイン補正がされた位相差検出画素の画素出力と位相差検出画素の周辺の撮像画素の画素出力との重み付け加算の際の重み付け係数である。補間判断処理部３１４による判断の後、補間処理部３１５は、補間判断処理部３１４で判断された適用割合に従ってゲイン補正部３１３でゲイン補正された位相差検出画素の画素出力とその周辺の撮像画素の画素出力とを重み付け加算する補間処理を行う（ステップＳ１１０）。

補間処理の後、画像処理部３１は、補間処理以後の画像処理を実行する（ステップＳ１１１）。画像処理の終了後、ＣＰＵ２９は、画像処理の結果としてＤＲＡＭ４１に一時記憶された画像データを記録媒体４５に記録する（ステップＳ１１１）。次に、ＣＰＵ２９は、動画記録を停止させるか否かを判定する（ステップＳ１１２）。ここでは、ＣＰＵ２９は、操作部１９のレリーズ釦の操作状態を判定する。すなわち、レリーズ釦が再び押された場合に、ＣＰＵ２９は、動画記録を停止させると判定する。

ステップＳ１１２において、動画記録を停止させないと判定した場合に、ＣＰＵ２９は、処理をステップＳ１０１に戻し、動画記録を続行する。一方、ステップＳ１１２において、動画記録を停止させると判定した場合に、ＣＰＵ２９は、図５の処理を終了させる。

以上説明したように本実施形態においては、位相差検出画素の画素出力をゲイン補正するためのゲイン量を推定する際に、ゲイン量を求めようとしている位相差検出画素とこの位相差検出画素との相関が高い撮像画素との比率に応じてゲイン量を推定している。相関が高い画素であるということは、位相差検出画素と撮像画素との間で絵柄の傾向が類似していることを意味している。これにより、絵柄の影響を低減して画素出力の比較を行うことができる。結果として、ゲイン量の推定精度を向上させることが可能である。さらに、ブロック単位で相関を判断するようにすることで、よりゲイン量の推定精度を向上させることが可能である。

ここで、前述の実施形態では相関値が最も小さい参照ブロックの中心の撮像画素を仮真値算出画素としている。これに対し、各参照ブロックについて算出された相関値を用いた重み付け平均によって仮真値算出画素が算出されてもよい。この場合の手法の一例を説明する。まず、各参照ブロックについて算出された相関値のうちの最小の相関値が最大値１になるように正規化する。続いて、各正規化された相関値を重み係数として各参照ブロックの中心の撮像画素の画素出力の重み付け平均値を計算し、この計算結果を仮真値算出画素の画素出力とする。このような重み付け平均値を仮真値算出画素の画素出力とすることにより、よりゲイン量の推定精度を向上させることが可能である。

また、本実施形態においては、サーチ範囲の大きさを９×７画素とし、１つのブロックの大きさを３×３画素としている。しかしながら、サーチ範囲の大きさ及び形状並びにブロックの大きさ及び形状は、図６で示した例に限定されるものではない。例えば、位相差検出画素の配置が矩形範囲でない場合には、サーチ範囲やブロックの形状が矩形でなくてもよい。また、ブロックの大きさは１×１画素であってもよい。さらには、撮像素子２１の駆動モード等の諸条件に応じてサーチ範囲やブロックの大きさを適応的に変化させてもよい。例えば、撮像素子２１の駆動モードが動画記録用の駆動モードの時やライブビュー表示時にはサーチ範囲を狭くすることで、仮真値算出画素の算出精度を向上させることが可能である。また、本実施形態においては、中心に位相差検出画素が位置するように基準ブロックの設定をしているが、位相差検出画素の位置は必ずしも中心でなくてよい。基準ブロックの中心に位相差検出画素が位置していない場合、仮真値算出画素の位置も参照ブロックの中心ではなく位相差検出画素に相等する位置になる。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施形態による各処理は、ＣＰＵ２９に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、ＣＰＵ２９は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１１…撮影レンズ、１３…絞り、１５…メカシャッタ、１７…駆動部、１９…操作部、２１…撮像素子、２３…撮像制御回路、３１…画像処理部、３３…焦点検出回路、３５…ビデオエンコーダ、３７…表示部、３９…バス、４１…ＤＲＡＭ、４３…ＲＯＭ、４５…記録媒体、３１１…ホワイトバランス（ＷＢ）補正処理部、３１２…ゲイン量推定部、３１３…ゲイン補正部、３１４…補間判断処理部、３１５…補間処理部、３１６…同時化処理部、３１７…輝度特性変換部、３１８…エッジ強調処理部、３１９…ノイズ低減（ＮＲ）処理部、３２０…色再現処理部、３１２１…仮真値算出処理部、３１２２…比率計算処理部

Claims (8)

1. 位相差を検出する方向に並べられた位相差検出画素と撮像画素とを有する撮像素子からの画素出力を処理する画像処理装置であって、
   前記位相差検出画素の画素出力をゲイン補正するゲイン補正部と、
   前記ゲイン補正の際のゲイン量を推定するゲイン量推定部と、
   を具備し、
   前記ゲイン量推定部は、前記位相差検出画素を含む基準ブロックと前記基準ブロックを含むサーチ範囲内において設定された参照ブロックとの相関に応じて前記ゲイン量の推定に用いる基準となる撮像画素の画素出力を仮真値算出画素の画素出力として算出する仮真値算出処理部を有することを特徴とする画像処理装置。
2. 前記基準ブロックは、前記位相差検出画素を含む１画素以上のブロックであり、
   前記参照ブロックは、前記サーチ範囲内で前記基準ブロックから水平、垂直又は斜め方向にずれた位置のブロックであり、
   前記仮真値算出処理部は、前記基準ブロックと前記参照ブロックとの間の四則演算によって相関値を算出し、該相関値に応じて前記仮真値算出画素の画素出力を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記仮真値算出処理部は、前記相関値を算出するための前記四則演算の方法、前記基準ブロックと前記参照ブロックの大きさ及びずらし量、前記サーチ範囲の大きさ及び形状を、前記位相差検出画素の配置又は前記撮像素子の駆動モードに依存して適応的に変化させることを特徴とする請求項２に記載の画像処理装置。
4. 前記仮真値算出処理部は、前記相関値が最も小さい参照ブロックの前記位相差検出画素に相等する位置の撮像画素の画素出力を前記仮真値算出画素の画素出力として算出することを特徴とする請求項２に記載の画像処理装置。
5. 前記仮真値算出処理部は、複数の前記参照ブロックについて算出した複数の前記相関値を用いて複数の前記参照ブロックのそれぞれの前記位相差検出画素に相等する位置の撮像画素の画素出力を重み付け平均することによって前記仮真値算出画素の画素出力を算出することを特徴とする請求項２に記載の画像処理装置。
6. 前記仮真値算出処理部は、前記相関値が小さい参照ブロックの前記撮像画素の画素出力に対しては、前記重み付けの割合を高くすることを特徴とする請求項５に記載の画像処理装置。
7. 位相差を検出する方向に並べられた位相差検出画素と撮像画素とを有する撮像素子からの画素出力を処理するための画像処理方法であって、
   前記位相差検出画素を含む基準ブロックと前記基準ブロックを含むサーチ範囲内において設定された参照ブロックとの相関に応じて仮真値算出画素の画素出力を算出し、
   前記仮真値算出画素の画素出力と前記位相差検出画素の画素出力との比率に応じてゲイン量を推定し、
   前記推定されたゲイン量に応じて前記位相差検出画素の画素出力をゲイン補正する、
   ことを特徴とする画像処理方法。
8. 位相差を検出する方向に並べられた位相差検出画素と撮像画素とを有する撮像素子からの画素出力を処理するための画像処理プログラムであって、
   前記位相差検出画素を含む基準ブロックと前記基準ブロックを含むサーチ範囲内において設定された参照ブロックとの相関に応じて仮真値算出画素の画素出力を算出する機能と、
   前記仮真値算出画素の画素出力と前記位相差検出画素の画素出力との比率に応じてゲイン量を推定する機能と、
   前記推定されたゲイン量に応じて前記位相差検出画素の画素出力をゲイン補正する機能と、
   をコンピュータに実現させるための画像処理プログラム。