JP7451264B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、撮像された画像に対する画像処理技術に関する。

従来、撮像画像から被写体領域を抽出し、被写体領域内だけ明るさを補正したり、被写体領域以外に背景ぼかし効果を付与したりするカメラが知られている。特許文献１では、デフォーカス量分布に基づいて被写体領域を抽出し、被写体領域以外をぼかすことで電子的に背景ぼかし効果を調節する技術が開示されている。

特開２００８－１５７５４号公報

しかしながら、上述の特許文献に開示された従来技術では、デフォーカス量分布のヒストグラムを解析して被写体領域のデフォーカス量範囲を決定するため、人物などの被写体と壁などの背景が接近している場合はデフォーカス量範囲が精度よく決定できない。結果、被写体領域に背景の一部が疎らに含まれたり、逆に被写体領域の一部が疎らに欠けたりして、画像補正や画像効果が疎らに適用され出力画像に斑状等のアーティファクトが発生してしまう。

そこで、本発明は、被写体領域の抽出精度不足によるアーティファクト発生を抑圧可能にすることを目的とする。

本発明の画像処理装置は、画像に対応した評価値分布を評価値マップとして取得するマップ取得手段と、前記評価値マップを用いて前記画像から抽出した被写体領域に基づく第１の被写体マップを生成するマップ生成手段と、前記第１の被写体マップに含まれる疎ら領域の度合を表す、疎ら度合を取得する度合取得手段と、前記第１の被写体マップと、前記評価値マップを用いずに生成された第２の被写体マップとの、少なくともいずれかを用いて前記画像に補正処理を行う補正手段と、を有し、前記補正手段は、前記疎ら度合が高いほど前記第１の被写体マップよりも前記第２の被写体マップを優先的に用いて、前記補正処理を行うことを特徴とする。

本発明によれば、被写体領域の抽出精度不足によるアーティファクト発生を抑圧可能になる。

実施形態に係るデジタルカメラの構成例を示す図である。 撮像部の構成を説明するための図である。 画像処理部の構成例を示す図である。 被写体領域抽出部の動作を説明するための図である。 被写体マップ合成部の動作を説明するための図である。 疎ら判定部の構成を説明するための図である。 膨張フィルタ部の構成例を示す図である。 収縮フィルタ部の構成例を示す図である。 ＭＡＸ／ＭＥＤＩＡＮ／ＭＩＮフィルタ部の動作フローチャートである。 静止画撮影時の制御部の動作フローチャートである。 疎ら判定部の他の構成を説明するための図である。

以下、本発明の実施形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。同一の構成または処理については、同じ参照符号を付して説明する。

図１は、本発明実施形態の画像処理装置の一適用例としての撮像装置（以下、デジタルカメラ１００とする）の概略的な構成例を示したブロック図である。
制御部１０１は、例えばＣＰＵである。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作を制御する動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。制御部１０１は、ＲＯＭ１０２から動作プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより、本実施形態のデジタルカメラ１００が備える各ブロックの動作を制御する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

光学系１０４は、被写体等の光学像を撮像部１０５の撮像面上に結像させる。
撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、光学系１０４により撮像素子に結像された光学像を光電変換し、得られた撮像信号（アナログ信号）をＡ／Ｄ変換部１０６に出力する。
Ａ／Ｄ変換部１０６は、入力された撮像信号にＡ／Ｄ変換処理を適用し、得られた撮像データ（デジタル撮像信号）をＲＡＭ１０３に出力して記憶させる。

画像処理部１０７は、ＲＡＭ１０３に記憶されている撮像データに対して、ホワイトバランス調整、色補間、縮小／拡大、フィルタリングなど、様々な画像処理を適用し、得られた画像データをＲＡＭ１０３に出力して記憶させる。本実施形態に係る後述する補正処理は、画像処理部１０７において行われる。

記録媒体１０８は、着脱可能なメモリカード等であり、画像処理部１０７で画像処理がなされてＲＡＭ１０３に記憶されている画像データや、Ａ／Ｄ変換部１０６でＡ／Ｄ変換された撮像データなどを記録画像として記録する。
表示部１０９は、液晶ディスプレイ（ＬＣＤ）等の表示デバイスであり、撮像部１０５で取り込まれた被写体像をスルー表示するなど、様々な情報を表示する。撮像部１０５で取り込まれた被写体像をスルー表示する場合、表示部１０９は、ＥＶＦ（電子ビューファインダ）として機能する。

ピントマップ処理部１１０は、撮像部１０５による撮像信号を解析することで、被写体等のピント分布に関連する情報をピントマップとして生成し、そのピントマップのデータをＲＡＭ１０３に出力して記憶させる。ピントマップ処理部１１０におけるピントマップの生成処理の詳細は後述する。本実施形態の場合、ピントマップ処理部１１０が取得した被写体等のピント分布に関連する情報であるピントマップは、撮像された画像に対する評価値分布を表した評価値マップとして用いられる。

図２は、撮像部１０５の撮像面の構成例を説明するための図である。
画素２０２は、マイクロレンズ２０１と一対の光電変換部２０３、２０４とから構成される。図１の撮像部１０５の撮像面には、それらマイクロレンズ２０１と一対の光電変換部２０３、２０４とで構成された画素２０２が、二次元的に規則的に配列されている。図２に示す構成の撮像部１０５では、二次元的に規則的に配列された各画素２０２の一対の光電変換部２０３、２０４の出力から、一対の画像としてＡ像、Ｂ像が出力される。すなわち、撮像部１０５によれば、図１の光学系１０４の瞳の異なる領域を通過する一対の光束を一対の光学像として結像させて、それらを一対の画像であるＡ像およびＢ像として出力することができる。

図１のピントマップ処理部１１０は、それらＡ像とＢ像との位相差分布、つまり視点がそれぞれ異なる二つの画像群から取得される視差情報分布を、評価値マップ（ピントマップ）として出力する。Ａ像とＢ像の位相差分布としては、例えば特許文献１に開示されている手法を用いたデフォーカス量分布を取得すればよい。

図３は、画像処理部１０７の構成例を示すブロック図である。図３に示すように、画像処理部１０７は、被写体領域抽出部３０１、疎ら判定部３０２、被写体マップ合成部３０３、及び補正処理部３０５を有して構成されている。

被写体領域抽出部３０１は、ピントマップ処理部１１０から入力されるピントマップ（評価値マップ）を用いて被写体領域を抽出して被写体マップを生成する被写体マップ取得処理を行う。そして、被写体領域抽出部３０１は、その被写体マップの情報を、被写体マップ合成部３０３と疎ら判定部３０２とに出力する。なお被写体領域は、例えば特許文献１に開示されているデフォーカス量分布を用いて抽出することができる。

図４（ａ）～図４（ｄ）は、被写体領域抽出部３０１における被写体マップ生成処理の動作を説明するための図である。
図４（ａ）は図１の撮像部１０５の撮像面４０１上に結像された被写体像を説明するための図である。図４（ａ）の例では、主被写体である人物４１２にピントが合っていて、その手前に人物４１１が立っているとする。図４（ａ）の例の場合、主被写体の人物４１２は、部屋の壁の直前に立っているとする。また図４（ａ）の場合、部屋内には家具４１３もあり、その家具４１３は背面が壁につくように設置されている。このため、主被写体の人物４１２にピントが合っている場合、その家具４１３もピントが合った状態になっているとする。一方、人物４１１は、人物４１２よりも手前に立っているため、その人物４１１にはピントが合っていない。

図４（ｂ）は、ピントマップ４０２を表した図である。図４（ｂ）に示したピントマップ４０２はグレースケールで表現されており、デフォーカス量が大きいほど白く表され、デフォーカス量が小さいほどグレーに表されている。なお図４（ｂ）中の領域４２２は図４（ａ）の人物４１２に対応した領域であり、領域４２３は図４（ａ）の家具４１３に対応した領域であり、領域４２１は図４（ａ）の人物４１１に対応した領域である。図４（ａ）の主被写体の人物４１２と家具４１３及びその背後の壁は距離が近くそれぞれデフォーカス量が小さいため、領域４２２と４２３および壁はグレーで表され、一方、手前側の人物４１１はデフォーカス量が大きいため、領域４２１は白で表されている。

図４（ｄ）は、デフォーカス量頻度分布を示した図である。図４（ｄ）の頻度分布４０４は人物４１１のデフォーカス量頻度分布を示し、頻度分布４０５は人物４１２および家具４１３のデフォーカス量頻度分布を、頻度分布４０６は壁のデフォーカス量頻度分布を示している。前述したように人物４１２と家具４１３は壁に近いため、人物４１２及び家具４１３のデフォーカス量頻度分布４０５と、壁のデフォーカス量頻度分布４０６との境界（頻度分布の谷部分）は、不鮮明になっている。一方、人物４１２及び家具４１３や壁から離れている人物４１１のデフォーカス量頻度分布４０４は、それら人物４１２及び家具４１３や壁のデフォーカス量頻度分布４０５，４０６と明確に区別可能になっている。

図４（ｃ）は、図４（ｄ）のデフォーカス量頻度分布に基づいて生成される被写体マップ４０３を示した図である。被写体マップは、白が２５５で黒が０の８ビットの２値で表されるマップである。白部分は、被写体領域を表す被写体ラベルとして用いられ、黒部分は被写体領域外（非被写体領域）を表す非被写体ラベルとして用いられる。このように、被写体マップは、白部分で表される被写体ラベルと、黒部分で表される非被写体ラベルとの、少なくとも二つのラベル領域にクラス分けされている。被写体マップの生成時には、デフォーカス量０を含むデフォーカス量頻度分布４０５のピークを挟む一方の谷ｄ１から他方の谷ｄ２までのＬ２範囲に含まれる領域が白（２５５）の被写体ラベルで表される被写体領域となされる。Ｌ２範囲外（Ｌ１範囲やＬ３範囲）の領域は黒（０）の非被写体ラベルで表される非被写体領域となされる。なお、図４（ｃ）中の領域４３２は図４（ａ）の人物４１２に対応した領域であり、領域４３３は図４（ａ）の家具４１３に対応した領域である。

ただし、図４（ｄ）のデフォーカス量頻度分布例の場合、デフォーカス量頻度分布４０５と４０６との境界が不鮮明である。このため、図４（ｃ）の被写体マップ４０３では、人物４１２に対応した領域４３２および家具４１３に対応した領域４３３だけでなく、部屋の壁の一部が被写体ラベルを表す白（２５５）の領域４３４として生成されている。この領域４３４は、本来の主被写体ではない領域であるため、主被写体の人物４１２のように纏まった領域にはならず、疎らに散らばった斑状等の小領域になることが多い。以下、被写体マップにおいて疎らに散らばった斑状等の各小領域４３４を、疎ら領域と呼ぶことにする。

図３に説明を戻す。
疎ら判定部３０２は、被写体領域抽出部３０１によって生成された被写体マップにおいて疎ら領域を検出し、被写体マップ内に疎ら領域がどの程度含まれているかを示す疎ら度合を判定する疎ら度合取得処理を行う。そして、疎ら判定部３０２は、その取得した疎ら度合を表す情報を、被写体マップ合成部３０３に出力する。

本実施形態の場合、疎ら判定部３０２は、被写体マップに含まれる各疎ら領域の面積を求め、それら疎ら領域の面積を基に当該被写体マップの疎ら度合を判定する。疎ら度合は一例として０～１００％の割合を示す値となされており、疎ら判定部３０２は、被写体マップの全面積に対して疎ら領域の面積が相対的に大きくなるほど、当該被写体マップの疎ら度合を高い値にする。図４（ｃ）に例示した被写体マップ４０３の場合、壁の一部の小領域４１４が疎ら領域として検出され、被写体マップに対して疎ら領域の面積が相対的に大きいほど高い値の疎ら度合が出力される。なお、疎ら判定部３０２の構成、疎ら領域検出、および疎ら度合の判定処理等の詳細な説明は後述する。

そして、被写体マップ合成部３０３は、被写体領域抽出部３０１からの被写体マップと、予め用意された代替シルエット３０７とを、疎ら度合に基づいて合成し、その合成後の被写体マップを補正処理部３０５に出力する。詳細は後述するが、本実施形態の場合、被写体マップ合成部３０３では、疎ら度合が高いほど、代替シルエット３０７が被写体マップ４０３よりも優先的に用いられるように合成された合成後被写体マップが生成される。そしてこの場合、補正処理部３０５では、疎ら度合が高いほど代替シルエット３０７が被写体マップ４０３よりも優先的に用いられるように合成された合成後被写体マップに基づく補正処理が行われることになる。

図５（ａ）～図５（ｄ）は、被写体マップ合成部３０３の動作を説明するための図である。
図５（ｂ）は代替シルエット３０７の一例を示した図である。図５（ｂ）に示した代替シルエット３０７は、人型５１０を含む固定形状マップである。前述した被写体マップはピントマップ（評価値マップ）を用いて生成された第１の被写体マップであり、一方、代替シルエットは評価値マップを用いずに予め生成されている第２の被写体マップである。代替シルエット３０７の情報は、例えば図１のＲＯＭ１０２が保持しており、画像処理部１０７において利用される時に、図１のＲＡＭ１０３に展開されて被写体マップ合成部３０３に送られる。なお、疎ら度合を基に代替シルエット３０７が合成される場合、画像処理部１０７では、例えば撮像画像から既知の人物画像認識処理などで人型の領域を検出する。そして、被写体マップ合成部３０３では、その検出位置に、代替シルエット３０７の人型５１０の位置を合わせるようにして合成するものとする。

図５（ａ）のグラフ５０１は、代替シルエット使用率と疎ら度合との関係を示した図である。図５（ａ）の縦軸が代替シルエット使用率［％］を示し、横軸が疎ら度合［％］を示している。グラフ５０１に示すように、疎ら度合が第１の閾値ＴＨ１未満である場合には代替シルエット使用率が０％となされ、疎ら度合が第２の閾値ＴＨ２以上である場合には代替シルエット使用率が１００％となされる。また、疎ら度合が第１の閾値ＴＨ１以上で第２の閾値ＴＨ２未満である場合には、疎ら度合が高くなるほど、代替シルエット使用率が高くなる。

図５（ｄ）は図４（ｃ）に示した被写体マップ４０３を示した図である。
図５（ｃ）は、被写体マップ合成部３０３において、図５（ｄ）の被写体マップ４０３と図５（ｂ）の代替シルエット３０７とを、図５（ａ）のグラフ５０１の疎ら度合を基に合成した後の合成後被写体マップ５０３を示した図である。なお、被写体マップ合成部３０３における合成処理の詳細は後述する。

図５（ｃ）の例は、被写体マップの疎ら度合が例えば図５（ａ）の第２の閾値ＴＨ２以上であったため、代替シルエット使用率が１００％になされた場合の合成後被写体マップ５０３を示している。図５（ｃ）の例では、図５（ｄ）の被写体マップ４０３内の図４（ａ）の家具４１３に対応した領域４３３が白（２５５）の被写体レベルとはならず黒（０）の非被写体レベルになるが、疎ら領域４３４についてはすべて黒（０）の非被写体レベルになっている。この合成後被写体マップ５０３が後段の補正処理部３０５で後述する補正処理に用いられた場合、疎ら領域に補正が行われて不要なアーティファクトが発生してしまうのを防ぐことができることになる。

図５の説明では、代替シルエット３０７は予め用意され加工等されずに被写体マップ４０３と合成される例を挙げたが、本実施形態はこれに限定されるものではない。代替シルエット３０７を加工して被写体マップ４０３と合成してもよい。例えば、図４（ａ）の主被写体の人物４１２の顔器官位置、関節位置や姿勢情報などを検出し、その検出結果を基に、代替シルエット３０７の人型５１０の位置と形状を、主被写体の人物４１２の位置と形状に合うように変形や拡大・縮小等するようにしても良い。その他にも、代替シルエットは撮像された画像の解析を行うことで生成されてもよい。例えば、機械学習に基づいた意味的領域分割などの手法を使って、主被写体の人物４１２の人物マップを検出し、その人物マップを代替シルエットとして用いても良い。

図３に説明を戻す。
加算部３０４は、Ａ像３０８とＢ像３０９の一対の視差画像が入力され、それらＡ像３０８とＢ像３０９の一対の視差画像を加算する。加算部３０４による加算後の画像（加算画像）は補正処理部３０５に送られる。

補正処理部３０５は、加算画像の明るさを、合成後被写体マップに基づいて補正する。補正処理部３０５における補正処理は、以下の式（１）の演算により表される。なお、式（１）において、Ｘは加算画像の画素値、Ｇは合成後被写体マップの画素値、Ｙは補正処理が行われた後の画像の画素値である。この補正処理部３０５による補正処理後の画像は、画像処理部１０７における補正後画像３１０として出力される。

Ｙ＝Ｘ・（１＋Ｇ／２５５） 式（１）

式（１）は加算画像の明るさを合成後被写体マップに基づいて補正する補正処理の演算例であるため、補正後画像３１０は、着目被写体つまり主被写体である人物４１２にライトを照らしたようなライティング補正効果が付与された画像となる。本実施形態では、ライティング補正効果を付与する補正処理を挙げたが、補正処理はこの例に限定されるものではない。例えば、合成後被写体マップに基づいて加算画像にシャープネス調整を行う補正処理でも良く、この場合、着目被写体のシャープネスが向上した画像の取得が可能となる。その他にも、着目被写体に対する補正処理ではなく、合成後被写体マップに基づいて着目被写体の領域外の背景領域について背景ぼかしや背景コントラスト調整を行うような補正処理でもよい。この場合、着目被写体の領域外の背景がぼけた画像や背景コントラストが調整された画像の取得が可能となる。またこれらライティング補正、シャープネス調整、背景ぼかし、背景コントラスト調整等は、それぞれ別個に行われても良いし、二つ以上が組み合わされて行われても良い。

図６（ａ）は、図３の疎ら判定部３０２の構成例を示す図であり、図６（ｂ）～図６（ｇ）は図６（ａ）の構成における動作を説明するための図である。
図６（ａ）に示すように、疎ら判定部３０２は、膨張フィルタ部６０１、収縮フィルタ部６０２、差分検出部６０３、差分検出部６０４、マップ統合部６０５、ＭＥＤＩＡＮフィルタ部６０６、及び疎ら度合算出部６０７を有する。

膨張フィルタ部６０１は、入力被写体マップ６０８の白（２５５）の被写体ラベル部分を膨張させるフィルタ部である。図６（ｂ）は、入力被写体マップ６０８が前述の図４（ｃ）に示した被写体マップ４０３である場合に、その被写体マップ４０３を膨張フィルタ部６０１にて膨張フィルタ処理した後の、膨張後被写体マップ６１１を示した図である。すなわち図４（ｃ）の被写体マップ４０３に対して膨張フィルタ処理が行われた場合、被写体マップ４０３内で互いに近い白部分同士（被写体ラベル部分同士）が繋がった、図６（ｂ）に示すような膨張後被写体マップ６１１が生成される。本実施形態の場合、膨張後被写体マップ６１１は第３の被写体マップに相当する。

収縮フィルタ部６０２は、入力被写体マップ６０８の白（２５５）の被写体ラベルを収縮させるフィルタ部である。図６（ｃ）は、入力被写体マップ６０８が図４（ｃ）に示した被写体マップ４０３である場合に、その被写体マップ４０３を収縮フィルタ部６０２にて収縮フィルタ処理した後の、収縮後被写体マップ６１２を示した図である。すなわち図４（ｃ）の被写体マップ４０３に対して収縮フィルタ処理が行われた場合、被写体マップ４０３内で互いに近い黒部分同士が繋がった、図６（ｃ）に示すような収縮後被写体マップ６１２が生成される。本実施形態の場合、収縮後被写体マップ６１２は第４の被写体マップに相当する。

差分検出部６０３は、膨張フィルタ処理前後の被写体マップで差分があるところを白（２５５）の被写体ラベルとし、それ以外を黒（０）の非被写体ラベルとするような差分検出処理を行う。図６（ｄ）は、膨張フィルタ処理前である図４（ｃ）の被写体マップ４０３と、膨張フィルタ処理後である図６（ｂ）の膨張後被写体マップ６１１とから、差分検出部６０３が差分検出処理を行った後の、差分検出マップ６１３を示した図である。すなわち図４（ｃ）の被写体マップ４０３と図６（ｂ）の膨張後被写体マップ６１１との差分検出処理が行われた場合、差分部分が白（２５５）となり、それ以外が黒（０）の非被写体ラベルとなった、図６（ｄ）に示すような差分検出マップ６１３が生成される。本実施形態の場合、差分検出マップ６１３は第１の疎ら領域マップに相当する。

差分検出部６０４は、収縮フィルタ処理前後の被写体マップで差分があるところを白（２５５）の被写体ラベルとし、それ以外の黒（０）の非被写体ラベルとするような差分検出処理を行う。図６（ｅ）は、収縮フィルタ処理前である図４（ｃ）の被写体マップ４０３と、収縮フィルタ処理後である図６（ｃ）の収縮後被写体マップ６１２とから、差分検出部６０４が差分検出処理を行った後の、差分検出マップ６１４を示した図である。つまり図４（ｃ）の被写体マップ４０３と図６（ｃ）の収縮後被写体マップ６１２との差分検出処理によれば、差分部分が白（２５５）の被写体ラベルで、それ以外が黒（０）の非被写体ラベルとなる図６（ｅ）に示すような差分検出マップ６１４が生成される。本実施形態の場合、差分検出マップ６１４は第２の疎ら領域マップに相当する。

これら差分検出部６０３、６０４における差分検出処理は、以下の式（２）で表される。なお、式（２）において、Ｘ０及びＸ１は差分検出部へ入力される被写体マップである。つまりＸ０とＸ１は、差分検出部６０３の場合には膨張フィルタ処理前後の被写体マップであり、差分検出部６０４の場合には膨張フィルタ処理前後の被写体マップである。また式（２）において、ＡＢＳは絶対値関数、Ｓは差分検出部の出力である。

Ｓ＝ＡＢＳ（Ｘ０－Ｘ１） 式（２）

このように、膨張フィルタ部６０１による膨張フィルタ処理前後の被写体マップを用い、差分検出部６０３で差分検出処理を行うように構成することで、疎ら領域における黒部分を検出することができることになる。つまり膨張フィルタ部６０１の膨張フィルタ処理で被写体マップの疎ら領域の黒部分（非被写体ラベル）が変化（白の被写体ラベルに変化）することになり、さらに差分検出部６０３で差分検出処理で疎ら領域における黒部分を検出することができることになる。また、収縮フィルタ部６０２による収縮フィルタ処理前後の被写体マップを用い、差分検出部６０４で差分検出処理を行うように構成することで、疎ら領域における白部分を検出することができることになる。つまり収縮フィルタ部６０２の収縮フィルタ処理によって被写体マップの疎ら領域の白部分が変化（黒部分に変化）することになり、さらに差分検出部６０４で差分検出処理を行うことで、その疎ら領域における白部分を検出することができることになる。

なお本実施形態では、差分検出部６０３，６０４における差分検出処理を式（２）で表される演算としたが、この例に限定されるものではない。例えば、白（２５５）の部分をＴＲＵＥ（真）、黒（０）の部分をＦＡＬＳＥ（偽）としたうえで、ＸＯＲ（排他的論理和）の論理演算を行って差分検出を行うようにしても良い。

差分検出部６０３による差分検出マップと、差分検出部６０４による差分検出マップとは、マップ統合部６０５に入力される。
マップ統合部６０５は、入力された差分検出マップのいずれかが白なら白（２５５）の被写体ラベルとし、それ以外を黒（０）の非被写体ラベルにして出力するマップ統合処理を行う。図６（ｆ）は、図６（ｄ）に示した差分検出マップ６１３と、図６（ｅ）に示した差分検出マップ６１４とを、マップ統合処理した後の統合マップ６１５を示した図である。

マップ統合部６０５におけるマップ統合処理は、以下の式（３）で表される。なお、式（３）において、Ｘ２およびＸ３はマップ統合部へ入力される差分検出マップである。また式（３）において、ＣＬＩＰは０以下なら０、２５５以上なら２５５に値をクリップするクリップ関数、Ｉはマップ統合部の出力である。

Ｉ＝ＣＬＩＰ（Ｘ２＋Ｘ３） 式（３）

マップ統合部６０５において式（３）で表されるようなマップ統合処理が行われることで、図４（ｃ）の被写体マップ４０３から疎ら領域全体を検出することができる。すなわち、図６（ｆ）に示した統合マップ６１５は、被写体マップ４０３から検出された疎ら領域マップ６１５となされている。

なお本実施形態では、マップ統合部６０５において式（３）の演算を行う例を挙げたが、これに限定されるものではない。例えば白（２５５）の部分をＴＲＵＥとし、黒（０）の部分をＦＡＬＳＥとしたうえで、ＯＲ（論理和）の論理演算を行ってマップ統合を行うようにしても良い。

また本実施形態においては、差分検出部６０３による疎ら領域の黒部分検出結果と、差分検出部６０４による疎ら領域の白部分検出結果との両方を疎ら領域として評価する構成としたが、これに限定されるものではない。例えば、差分検出部６０３の検出結果だけ用いても良いし、逆に差分検出部６０４の検出結果だけ用いるようにしても良い。

図６（ａ）のＭＥＤＩＡＮフィルタ部６０６は、マップ統合部６０５にて生成された疎ら領域マップ６１５に対し、メディアンフィルタをかけるフィルタ処理部である。図６（ｇ）は、図６（ｆ）に示した疎ら領域マップ６１５にメディアンフィルタ処理が行われた後の疎ら領域マップ６１６を示した図である。疎ら領域マップ６１５に対するメディアンフィルタ処理は、当該疎ら領域マップ６１５の孤立領域を除去する孤立領域除去処理となる。すなわち疎ら領域マップ６１５に対してメディアンフィルタ処理が行われると、疎ら領域マップ６１５内の細い線や細かい点等を除去することができ、被写体の輪郭部などで発生する疎ら領域マップの誤判定領域を除去することができる。

図６（ａ）の疎ら度合算出部６０７は、メディアンフィルタ処理後の疎ら領域マップ６１６の白の被写体ラベル部分の画素数を計測し、その計測画素数がマップ内の全画素数に対して占める割合を、疎ら度合として算出するような疎ら度合算出処理を行う。そして、疎ら度合算出部６０７は、算出した疎ら度合６０９の情報を前述した図３の被写体マップ合成部３０３へ出力する。なお本実施形態では、疎ら度合を画素数の割合として算出したが、例えば疎ら領域マップの白の被写体ラベル部分の画素数をそのまま疎ら度合の値としても良い。

図７は、図６（ａ）の膨張フィルタ部６０１の構成例を示した図である。膨張フィルタ部６０１は、ＭＡＸフィルタ部７０１、ＭＥＤＩＡＮフィルタ部７０２、およびＭＩＮフィルタ部７０３を有する。
図８は、図６（ａ）の収縮フィルタ部６０２の構成例を示した図である。収縮フィルタ部６０２は、ＭＩＮフィルタ部８０１、ＭＥＤＩＡＮフィルタ部８０２、およびＭＡＸフィルタ部８０３を有する。
これら図７と図８に示されたＭＡＸフィルタ部７０１と８０３、ＭＥＤＩＡＮフィルタ部７０２と８０２、ＭＩＮフィルタ部７０３と８０１の各動作を、図９のフローチャートを用いて説明する。なお図９のフローチャートでは、ＭＡＸフィルタ、ＭＥＤＩＡＮフィルタ部、およびＭＩＮフィルタ部を区別せずに、単に、フィルタ部と呼ぶ。

ステップＳ９０１において、フィルタ部は、図６（ａ）の入力被写体マップ６０８の着目画素それぞれについて、その着目画素の周辺画素の値を積算し、その積算値ΣＰｉｘと閾値ｔｈとを比較する。そして、フィルタ部は、積算値ΣＰｉｘが閾値ｔｈ以上であればステップＳ９０２へ処理を進めて白の値（２５５）を出力し、一方、積算値ΣＰｉｘが閾値ｔｈ未満である場合にはステップＳ９０３に処理を進めて黒の値（０）を出力する。

ここで、着目画素に対する周辺画素の範囲（参照範囲とする）が、着目画素を中心として縦横７×７画素の範囲である場合、閾値ｔｈを２５５×１＝２５５とすることで、当該フィルタ部はＭＡＸフィルタ部として動作する。また、閾値ｔｈを２５５×７×７＝１２４９５とすることで、当該フィルタ部はＭＩＸフィルタ部として動作する。また、閾値ｔｈを２５５×（７×７／２）＝２５５×（２４．５）＝２５５×２５＝６３７５とすることで、当該フィルタ部はＭＥＤＩＡＮフィルタ部として動作する。

この図９のフローチャートの動作により、図７の膨張フィルタ部６０１の場合、ＭＡＸフィルタ部７０１では、入力被写体マップ６０８の白（２５５）の被写体ラベル部分が一律に膨張し、疎ら領域の黒（０）の非被写体ラベル部分が白で埋まるようになる。その後、ＭＩＮフィルタ部７０３により被写体の輪郭部が膨張したところは収縮させて元に戻す。これにより、疎ら領域の黒（０）の非被写体ラベル部分だけを変化させることができる。さらに、ＭＥＤＩＡＮフィルタ部７０２により、疎ら領域の黒（０）の非被写体ラベル部分の埋め残しを白（２５５）で埋める。これにより、後段のＭＩＮフィルタ部７０３の処理で黒（０）の非被写体ラベル部分の埋め残しが再度広がることがない。

また図８の収縮フィルタ部６０２の場合、ＭＩＮフィルタ部８０１では、入力被写体マップ６０８の白（２５５）の部分が一律に収縮し、疎ら領域の白の被写体ラベル部分が黒（０）で埋まる。その後、ＭＡＸフィルタ部８０３により被写体輪郭部が収縮したところは膨張させて元に戻す。これにより、疎ら領域の白部分だけを変化させることができる。さらにＭＥＤＩＡＮフィルタ部８０２により、疎ら領域の白の被写体ラベル部分の埋め残しを黒で埋めることで、後段のＭＡＸフィルタ部８０３の処理で白部分の埋め残しが再度広がることがない。

図１０は、図１のデジタルカメラ１００において、静止画撮影が行われる場合の制御部１０１の動作を説明するためのフローチャートである。
ステップＳ１００１の処理として、制御部１０１は、不図示のシャッターボタンがいわゆる半押し状態（ＳＷ１オン）になるまで、表示部１０９にＥＶＦ映像を表示させるＥＶＦ撮像制御を行う。

次にステップＳ１００２において、制御部１０１は、シャッターボタンが半押し状態（ＳＷ１オン）であるか否かを判定する。制御部１０１は、半押し状態（ＳＷ１オン）でないと判定した場合にはステップＳ１００１に処理を戻し、一方、ユーザにてシャッターボタンが操作されることで半押し状態（ＳＷ１オン）になっていると判定した場合にはステップＳ１００３に処理を進める。

ステップＳ１００３に進むと、制御部１０１は、光学系１０４のフォーカスレンズを駆動制御するオートフォーカス（ＡＦ）処理を行って、被写体にフォーカスを合わせるようにする。

次にステップＳ１００４において、制御部１０１は、シャッターボタンがいわゆる全押し状態（ＳＷ２オン）であるか否かを判定する。制御部１０１は、全押し状態（ＳＷ２オン）でないと判定した場合にはステップＳ１００１に処理を戻し、一方、全押し状態（ＳＷ２オン）になっていると判定した場合にはステップＳ１００５に処理を進める。

ステップＳ１００５に進むと、制御部１０１は、各部を制御して静止画を撮像させる。
その後、ステップＳ１００６に進むと、制御部１０１は、画像処理部１０７を制御して本実施形態に係る補正処理を含む画像処理を行わせる。画像処理部１０７における補正処理は、前述の図３等を用いて説明したような補正処理であり、例えばライティング補正、シャープネス調整、背景ぼかし、背景コントラスト調整などの何れか若しくは二つ以上を組み合わせた補正処理である。

なお図１０のフローチャートの例では、撮像された静止画のみに補正処理を施す例を挙げたが、この例に限定されるものではない。例えば、ＥＶＦ撮像中に補正処理を行ってもよい。ＥＶＦ撮像中に補正処理を行うと、ユーザは記録される静止画の仕上がり具合を、ＥＶＦ映像を見ることで事前に確認しながら、レリーズを切ることができ、利便性が高い。

また前述した実施形態の説明では、被写体マップの疎ら領域の黒（非被写体ラベル）部分と白（被写体ラベル）部分をそれぞれ検出して統合することで疎ら領域を検出する構成としたが、これに限定されるものではない。例えば、図３に示した疎ら判定部３０２は、図１１（ａ）のような構成であっても良い。なお、図１１の構成例において、膨張フィルタ部６０１、収縮フィルタ部６０２、ＭＥＤＩＡＮフィルタ部６０６、疎ら度合算出部６０７、被写体マップ６０８、疎ら度合６０９は、図６と同様であるためそれらの説明は省略する。

図１１の構成の疎ら判定部３０２において、膨張フィルタ部６０１からは前述の図６（ｂ）に示した膨張後被写体マップ６１１が出力され、収縮フィルタ部６０２からは前述の図６（ｃ）に示した収縮後被写体マップ６１２が出力される。これら膨張後被写体マップ６１１と収縮後被写体マップ６１２は、差分検出部１１０５に入力される。

差分検出部１１０５は、前述した式（２）と同様の演算を行って、それら膨張後被写体マップ６１１と収縮後被写体マップ６１２との差分を検出する。差分検出部１１０５による差分検出処理の結果、前述の図６（ｆ）に示したのと同様の疎ら領域マップ６１５が生成される。図１１の構成例の場合、差分検出部１１０５による差分検出処理結果のマップは第３の疎ら領域マップに相当する。

ＭＥＤＩＡＮフィルタ部６０６では、疎ら領域マップ６１５の被写体輪郭部などの誤検出を排除して、前述の図６（ｇ）と同様の疎ら領域マップ６１６を出力する。
図１１の構成例の場合、被写体マップの差分検出処理およびマップ統合処理のための構成及び演算を減らすことができる。

以上説明したように、本実施形態によれば、例えば被写体領域ごとに適応的に画像補正や画像効果を適用する画像処理装置において、被写体領域抽出精度不足によるアーティファクト発生を抑圧することが可能である。

前述した本実施形態では、ＭＡＸフィルタ部やＭＩＮフィルタ部などの空間フィルタで疎ら領域が変化するのを検出して疎ら度合を算出する構成としたが、これに限定されるものではない。例えば、被写体マップを縦や横に走査して白の被写体ラベルと黒の非被写体ラベルとがトグルするようなトグル回数を数えて疎ら度合を算出するようにしても良い。また白（被写体ラベル）と黒（非被写体ラベル）とがトグルする回数が多い領域について、白から黒へ変化したときに白が持続した幅を疎ら領域の白部分の数とし、黒から白へ変化した時に黒が持続した幅を疎ら領域の黒部分の数としてカウントしても良い。このように構成することで、空間フィルタを使うよりも演算コストを軽くすることができる。

また例えば、離散フーリエ変換（ＦＦＴ）や離散コサイン変換（ＤＣＴ）を用いて、被写体マップの疎ら領域に対応する周波数帯域を解析することで疎ら度合を算出するようにしても良い。すなわち疎ら判定部３０２は、評価値マップを用いて抽出した被写体マップを周波数領域に変換する周波数領域変換処理を行って周波数領域マップを生成し、その周波数領域マップに基づいて疎ら度合を算出する。この例の場合、疎ら判定部３０２は、予め疎ら周波数範囲が決定されており、被写体マップを小ブロックごとに分けて周波数変換処理した周波数領域マップの小ブロックごとに、その疎ら周波数範囲で所定の閾値以上の応答を示しているか否かを判定する。そして、疎ら判定部３０２は、所定以上の応答を示している小ブロックの数に応じて疎ら度合を算出する。より具体的に説明すると、疎ら判定部３０２は、被写体マップに対し、例えば８×８画素のブロックごとにＦＦＴ処理を実施して、疎ら領域に対応する周波数応答が閾値より高いブロックのブロック数を数え、それらのブロックの割合を疎ら度合とする。このように構成することで、空間フィルタを使うよりもきめ細かく疎ら領域の周波数帯域を決めることができる。

また本実施形態では、評価値分布として位相差分布（例えばデフォーカス量分布によるピント分布）を用いているが、これに限定されるものではない。評価値分布は、例えば、Ａ像とＢ像のずれ量（つまり視差）を表すシフト量の分布であっても良い。なおシフト量は、検出ピッチ（同一種類の画素の配置ピッチ）をかけてマイクロメートルなどの長さの単位で表しても良い。また例えば、評価値分布は、デフォーカス量を焦点深度（２Ｆδもしくは１Ｆδ。Ｆは絞り値、δは許容錯乱円径）で正規化した値の分布であっても良い。なお、絞り値Ｆは像高中央付近の絞り値を代表値として全面固定値としても良いし、光学系１０４のケラレで周辺像高の絞り値が暗くなるのを加味した絞り値分布を適用するようにしても良い。

また本実施形態では、画像のピント情報分布、例えば位相差測距方式によるデフォーカス量分布を、評価値マップとして取得する例を挙げたが、これに限定されるものではない。例えば、評価値マップは、コントラスト測距方式による被写体距離つまりフォーカス位置を逐次異ならせて得られる画像群から取得されるコントラスト情報分布に基づいて生成されても良い。また例えば、評価値マップは、像面側のデフォーカス量を物体面側の距離値に変換した距離情報分布に基づいて生成されても良い。また距離情報分布を取得する際の測距の方式は、位相差測距方式、コントラスト測距方式あるいは画像特徴に基づくパッシブ方式に限定されない。例えば、測距の方式は、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式やストロボ反射光の有無を比較するようなアクティブ方式が用いられてもよい。さらには被写体距離によらない方式でも良く、例えば動きベクトル分布をマップ化したオプティカルフロー、色情報を基にラベリングした色ラベルマップ、機械学習に基づいた意味的領域分割などに基づいて被写体マップが生成されてもよい。意味的領域分割を利用する場合は、代替シルエットはそれ以外の方式を用いる必要があるが、人型の固定形状マップを用いるなど、シーン変化によりロバストな方式を選択するようにすればよい。すなわち、記評価値マップは、画像のピント情報分布、距離情報分布、動きベクトル情報分布、色ラベリング情報分布、もしくは機械学習による意味的領域分割の、少なくともいずれかを基に生成されてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：デジタルカメラ、１０１：制御部、１０７：画像処理部、１１０：ピントマップ処理部、３０１：被写体領域抽出部、３０２：疎ら判定部、３０３：被写体マップ合成部、３０４：加算部、３０５：補正処理部

Claims (15)

1. 画像に対応した評価値分布を評価値マップとして取得するマップ取得手段と、
   前記評価値マップを用いて前記画像から抽出した被写体領域に基づく第１の被写体マップを生成するマップ生成手段と、
   前記第１の被写体マップに含まれる疎ら領域の度合を表す、疎ら度合を取得する度合取得手段と、
   前記第１の被写体マップと、前記評価値マップを用いずに生成された第２の被写体マップとの、少なくともいずれかを用いて前記画像に補正処理を行う補正手段と、を有し、
   前記補正手段は、前記疎ら度合が高いほど前記第１の被写体マップよりも前記第２の被写体マップを優先的に用いて、前記補正処理を行うことを特徴とする画像処理装置。
2. 前記マップ生成手段は、被写体領域を表す被写体ラベルと非被写体を表す非被写体ラベルとの、少なくとも二つのラベル領域にクラス分けした、前記第１の被写体マップを生成し、
   前記度合取得手段は、
   前記第１の被写体マップに対する所定の処理によって前記被写体ラベルが疎らに分布している領域を変化させた第３の被写体マップを生成し、
   前記第１の被写体マップに対する所定の処理によって前記非被写体ラベルが疎らに分布している領域を変化させた第４の被写体マップを生成し、
   前記第３の被写体マップと前記第４の被写体マップとの、少なくともいずれかに基づいて、前記疎ら度合を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記度合取得手段は、
   前記第１の被写体マップと前記第３の被写体マップとを基に第１の疎ら領域マップを生成し、
   前記第１の被写体マップと前記第４の被写体マップとを基に第２の疎ら領域マップを生成して、
   前記第１の疎ら領域マップと前記第２の疎ら領域マップとの、少なくともいずれかに基づいて、前記疎ら度合を算出することを特徴とする請求項２に記載の画像処理装置。
4. 前記度合取得手段は、前記第３の被写体マップと前記第４の被写体マップとを基に第３の疎ら領域マップを生成し、前記第３の疎ら領域マップに基づいて前記疎ら度合を算出することを特徴とする請求項２に記載の画像処理装置。
5. 前記第３の被写体マップを生成する際の前記所定の処理は、前記被写体ラベルのラベル領域を収縮させた後、少なくとも前記被写体ラベルのラベル領域を膨張させるフィルタ処理を含むことを特徴とする請求項２から請求項４のいずれか１項に記載の画像処理装置。
6. 前記第４の被写体マップを生成する際の前記所定の処理は、前記非被写体ラベルのラベル領域を収縮させた後、少なくとも前記非被写体ラベルのラベル領域を膨張させるフィルタ処理を含むことを特徴とする請求項２から請求項４のいずれか１項に記載の画像処理装置。
7. 前記度合取得手段は、前記疎ら領域マップに対して孤立領域を除去する孤立領域除去処理をも行うことを特徴とする請求項３から請求項６のいずれか１項に記載の画像処理装置。
8. 前記マップ生成手段は、被写体領域を表す被写体ラベルと非被写体を表す非被写体ラベルとの、少なくとも二つのラベル領域にクラス分けした、前記第１の被写体マップを生成し、
   前記度合取得手段は、前記被写体ラベルと前記非被写体ラベルとがトグルする回数に基づいて前記疎ら度合を算出することを特徴とする請求項１に記載の画像処理装置。
9. 前記度合取得手段は、前記第１の被写体マップを周波数領域に変換して周波数領域マップを生成し、前記周波数領域マップに基づいて前記疎ら度合を算出することを特徴とする請求項１に記載の画像処理装置。
10. 前記度合取得手段は、前記第１の被写体マップを小ブロックごとに周波数領域に変換して周波数領域マップを生成し、前記周波数領域マップの小ブロックごとに、予め決定された疎ら周波数範囲で所定の閾値以上の応答を示しているか否かを判定し、所定の閾値以上の応答を示している小ブロックの数に応じて、前記疎ら度合を算出することを特徴とする請求項９に記載の画像処理装置。
11. 前記評価値マップは、前記画像のピント情報分布と、距離情報分布と、動きベクトル情報分布と、色ラベリング情報分布と、機械学習による意味的領域分割との、いずれかを含むことを特徴とする請求項１から請求項１０のいずれか１項に記載の画像処理装置。
12. 前記ピント情報分布は、視点の異なる画像群から取得される視差情報分布、もしくはフォーカス位置を逐次異ならせて得られた画像群から取得されるコントラスト情報分布であることを特徴とする請求項１１に記載の画像処理装置。
13. 前記視差情報分布は、視差を表すシフト量に基づいたマップ、デフォーカス量に基づいたマップ、もしくは距離値に基づいたマップの、いずれかを含むことを特徴とする請求項１２に記載の画像処理装置。
14. 画像処理装置が実行する画像処理方法であって、
    画像に対応した評価値分布を評価値マップとして取得するマップ取得工程と、
    前記評価値マップを用いて前記画像から抽出した被写体領域に基づく第１の被写体マップを生成するマップ生成工程と、
    前記第１の被写体マップに含まれる疎ら領域の度合を表す、疎ら度合を取得する度合取得工程と、
    前記第１の被写体マップと、前記評価値マップを用いずに生成された第２の被写体マップとの、少なくともいずれかを用いて前記画像に補正処理を行う補正工程と、を有し、
    前記補正工程では、前記疎ら度合が高いほど前記第１の被写体マップよりも前記第２の被写体マップを優先的に用いて、前記補正処理を行うことを特徴とする画像処理方法。
15. コンピュータを、請求項１から請求項１３のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

Images