JP7534866B2 - 画像処理装置及び方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、デジタルカメラなどで撮影された画像に対して領域ごとに画像処理を行う画像処理装置に関するものである。

従来より、被写体領域を抽出し被写体領域の明るさを補正する補正方法や、被写体領域以外の階調を補正する画像処理装置が提案されている。

例えば、特許文献１では、被写体領域を決定し、被写体領域のライティングを補正する技術について開示されている。仮想光源を用いたリライティング処理により、環境光によって生じた影などの暗部領域を明るくし、好ましい画像を得ることが可能となる。

このような場合、被写体領域を検出する方法として、距離情報を取得し、主要被写体の距離値に対して所定の範囲内の距離にある領域を被写体領域として検出する方法が知られている。

距離情報の取得方式としては、複数の方式が挙げられるが、その代表的な手法として、複数の視点位置から画像を取得し、その各画像中の画素の対応関係から算出される視差を用いて、三角測量の原理に基づき距離を算出するステレオ方式がある。距離情報を取得して被写体領域を検出することにより、手前に存在する被写体領域と奥に存在する被写体領域を区別することが可能となる。

例えば、一つの仮想光源を手前の被写体にあてた場合と、奥の被写体にあてた場合とでは、仮想光源から被写体までの距離差に応じて仮想光源の照射量（強度）を変えるといった制御が可能となる。

また、特許文献２には、複数の被写体領域を検出し、主被写体の領域および主被写体以外の領域などのように、被写体領域ごとに階調補正を行う方法が開示されている。

これらの方法で用いられている被写体領域の推定方法には、顔検出の結果から人体領域を推定する方法、機械学習を用いて被写体領域を推定する手法、距離情報を取得して被写体領域を検出する方法など、複数の被写体領域の推定方法がある。

しかし、被写体領域の推定がうまくいかない場合、人物領域の明るさを補正する場合に、背景領域まで明るく補正してしまったり、背景領域を補正してコントラストを改善する場合に、背景領域のみならず主被写体領域までコントラストを向上させてしまうなど、不自然な補正を行ってしまうことがあった。

それらの課題に対して、特許文献１には、撮影条件と被写体条件の関係性、および被写体の画像解析の結果から、被写体領域情報を被写体距離情報から取得する手段と被写体領域情報を画像から取得する手段を切り替える方法について開示されている。

特開２０１８－１８２７００号公報 特開２０１４－１５３９５９号公報

しかしながら、顔検出の情報や被写体の連続性などの画像情報を用いた被写体領域の推定方法では、肌や洋服の色と背景色の境界が紛らわしい場合に正しく被写体領域を推定することが難しい。機械学習を用いた被写体領域検出方法においても、同様の課題を有している。距離情報を用いる手法においては、被写体と近い距離にある被写体などに対して正しく被写体領域の推定ができないという問題がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、被写体の領域ごとに画像補正を行う場合に、より自然な補正を行うことができる画像処理装置を提供することである。

本発明に係わる画像処理装置は、画像から被写体領域を検出する検出手段と、前記被写体領域に対して、仮想光源により明るさを補正するリライティング処理を行う第１の画像処理手段と、前記被写体領域以外の領域に対して、コントラスト補正処理を行う第２の画像処理手段と、前記被写体領域において、前記リライティング処理を行う対象となる、前記被写体領域に近い大きさで、且つ前記被写体領域よりも小さい第１の基準領域を決定する第１の決定手段と、前記コントラスト補正処理を行う対象となる領域を決定するために、前記被写体領域に近い大きさで、且つ前記被写体領域よりも大きい第２の基準領域を決定する第２の決定手段と、を備えることを特徴とする。

本発明によれば、被写体の領域ごとに画像補正を行う場合に、より自然な補正を行うことが可能となる。

本発明の一実施形態に係わるデジタルカメラの構成を示すブロック図。 一実施形態における処理の流れを示したブロック図。 一実施形態における背景領域補正処理の流れを示すブロック図。 一実施形態における人物領域補正処理の流れを示すブロック図。 本発明が適用される撮影シーンを想定した概念図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

以下では、本発明の画像処理装置の一実施形態であるデジタルカメラについて説明する。本実施形態では、画像処理装置の一例としてデジタルカメラ（撮像装置）を挙げて説明するが、本発明の画像処理装置は撮像装置に限定されず、例えばパーソナルコンピュータ（ＰＣ）などであってもよい。

一般的に逆光シーンにおいて人物撮影を行う場合、人物被写体が適正露出となるように撮影を行うと、背景領域の露出がオーバーとなる。また、逆に背景領域の露出が適正露出となるように撮影を行うと、人物領域の露出がアンダーとなる。そのような場合は、人物領域が適正露出となる撮影条件と背景領域が適正露出となる撮影条件の中間的な撮影条件で撮影を行うことになる。しかしながら、そのようにして撮影された画像は、人物も暗く、背景のコントラストももの足りない画像となってしまう。図５（ａ）は、本発明が適用される撮影シーンを想定した概念図である。背景のコントラストが下がり、人物被写体が暗く撮影されている様子を示している。

このような画像でも見栄えよく補正するためには、被写体領域の明るさを明るく補正するととともに、背景領域のコントラストを向上させる処理を行うことが望ましい。特に背景領域が遠景の山や海や湖などの風景シーンなどにおいては、空気中の水蒸気や霞の影響により、コントラストが低下することが多いため、背景領域のコントラストを向上させたいという要望は多い。

本実施形態では、背景領域補正にはコントラストを向上させる補正処理を行い、被写体領域には、被写体の明るさや被写体に照射される光源の方向など、ライティングを補正するリライティング補正処理を行う。

＜デジタルカメラの構成＞
図１は、本実施形態のデジタルカメラ１００の構成を示すブロック図である。

図１に示すデジタルカメラ１００において、ズームレンズ、フォーカスレンズを含むレンズ群１０１（撮像光学系）、及び、絞り機能を備えるシャッター１０２を介して入射した光は、撮像部１０３において光電変換される。撮像部１０３は、ＣＣＤやＣＭＯＳ素子などの撮像素子を備えて構成され、光電変換により得られた電気信号は、画像信号としてＡ／Ｄ変換器１０４へ出力される。Ａ／Ｄ変換器１０４は、撮像部１０３から出力されるアナログ画像信号をデジタル画像信号（画像データ）に変換し、画像処理部１０５に出力する。

画像処理部１０５は、Ａ／Ｄ変換器１０４からの画像データ、または、メモリ制御部１０７を介して画像メモリ１０６から読み出された画像データに対し、ホワイトバランスなどの色変換処理、γ処理、輪郭強調処理、色補正処理などの各種画像処理を行う。画像処理部１０５から出力された画像データは、メモリ制御部１０７を介して画像メモリ１０６に書き込まれる。画像メモリ１０６は、画像処理部１０５から出力された画像データや、表示部１０９に表示するための画像データを格納する。顔・顔器官検出部１１３は、撮影された画像から、人物の顔及び器官が存在する顔領域及び顔器官領域を検出する。

画像処理部１０５では、顔・顔器官検出部１１３の顔検出結果や顔器官検出結果、及び撮像した画像データを用いて所定の評価値算出処理を行い、得られた評価値に基づいてシステム制御部５０が露光制御、焦点調節制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理などを行う。

また、Ｄ／Ａ変換器１０８は、画像メモリ１０６に格納されている表示用のデジタルの画像データをアナログ信号に変換して表示部１０９に供給する。表示部１０９は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１０８からのアナログ信号に応じた表示を行う。

コーデック部１１０は、画像メモリ１０６に格納された画像データをＪＰＥＧやＭＰＥＧなどの規格に基づいてそれぞれ圧縮符号化する。システム制御部５０は符号化した画像データを、インタフェース（Ｉ／Ｆ）１１１を介して、メモリカードやハードディスク等の記録媒体１１２に格納する。また、Ｉ／Ｆ１１１を介して記録媒体１１２から読み出された画像データをコーデック部１１０により復号して伸長し、画像メモリ１０６に格納する。そして、画像メモリ１０６に格納された画像データを、メモリ制御部１０７、Ｄ／Ａ変換器１０８を介して表示部１０９に表示することで、画像を再生表示することができる。

リライティング処理部１１４は、撮影された画像に仮想光源を当てて明るさを補正するリライティング処理（再照明処理）を行う。画像合成処理部１１５は、２種類の画像を合成マップに従い合成する。合成マップとは２種類の画像の合成比率を表したものである。

システム制御部５０は、デジタルカメラ１００のシステム全体を制御する。不揮発性メモリ１２１は、ＥＥＰＲＯＭなどのメモリにより構成され、システム制御部５０の処理に必要なプログラムやパラメータなどを格納する。システム制御部５０は、不揮発性メモリ１２１に記録されたプログラム、及び、システム制御部５０の動作用の定数、変数をシステムメモリ１２２に展開して実行することで、後述する本実施形態の各処理を実現する。操作部１２０は、ユーザによるメニューの設定や画像選択などの操作を受け付ける。

＜画像補正処理の流れ＞
図２は、本実施形態における処理の流れを示したブロック図である、
図２において、入力画像は、画像処理部１０５に入力され、参照画像が生成される。ここで生成される参照画像は、顔検出や人体領域を推定するための参照画像であり、ホワイトバランスや色味などがユーザにより設定された画像とは異なる、顔検出や領域検出などに適した画質設定がなされた画像である。例えばオートホワイトバランス、色味・彩度：標準設定、暗部補正：強め、明るさ設定：明るめなど、暗部が多い画像や彩度が高い画像においても、顔や人体の領域を検出しやすい設定にするとよい。

画像処理部１０５で生成された参照画像を用いて、顔・顔器官検出部１１３において顔領域情報２０３を生成する。顔領域情報２０３は、顔領域の輪郭情報、顔の中の目・鼻・口などの顔器官の位置情報や画像に対する角度、それらの位置情報に対する検出精度を示す顔検出信頼度などの情報である。顔や顔器官検出方法には、一般的にテンプレートマッチングを用いた手法や機械学習を用いた手法などが用いられる。

背景コントラスト補正領域決定部３００は、顔情報と参照画像とに基づいて、コントラストを向上させる領域を決定する。コントラスト強調部３１０は、背景コントラスト補正領域決定部３００で決定されたコントラスト強調領域（コントラスト補正処理領域）のコントラストを向上させる。

リライティング補正領域決定部４００は、顔情報と参照画像とに基づいて、ライティング補正を行う領域を決定する。リライティング処理部４１０は、リライティング補正領域決定部４００で決定されたライティング補正領域に対してリライティング処理を行う。

コントラスト強調処理部３１０で行うコントラスト強調処理は、一般的に用いられる方法でよく、階調変換特性として暗部と明部の比率を向上させるガンマ処理やシャープネス強調処理、ローカルコントラストのみを強調させる処理などが用いられる。本実施形態においてはローカルコントラスト強調処理を適用するものとする。

図３は、本実施形態における背景コントラスト補正領域決定部３００およびコントラスト強調部３１０の処理の流れを示したブロック図である。

図３において、背景補正用被写体領域設定部３０１は、顔領域情報２０３から背景補正を行うための被写体領域を決定する。背景補正用人物領域特定部３０２は、参照画像２０２と背景補正用被写体領域設定部３０１により決定された被写体領域から背景領域の特定を行い、背景コントラスト補正領域マップ２１０を生成する。合成処理部１１５は背景コントラスト補正領域マップ２１０の領域・レベル情報に基づいて領域ごとの合成処理比率を決定し、入力画像２０１およびコントラスト強調処理部３１１の出力画像の合成処理を行う。

背景補正用人物領域特定部３０２により生成される背景コントラスト補正領域マップ２１０は、背景領域と判定された領域を示した領域情報であり、人物領域として判定されなかった部分の情報である。つまり、人物領域と判定された領域と人物と判定した判定レベルを反転させた領域情報であり、合成処理部１１５においてコントラスト補正の補正レベルを示した領域情報に相当する情報である。

図４は、図２におけるリライティング補正領域決定部４００およびリライティング処理部４１０におけるリライティング処理の流れを示したブロック図である。

被写体領域設定部４０１は、顔領域情報２０３に基づいて、被写体領域の設定を行う。被写体領域特定部４０２は、被写体領域設定部４０１によって設定された被写体領域と参照画像２０２を用いて、リライティング補正領域マップ２２０を生成する。

仮想光源算出部４１１は、入力画像２０１および顔領域情報２０３を用いて、仮想光源の光源情報を生成する。仮想光源成分演算部４１２は、仮想光源算出部４１１によって算出された仮想光源情報とリライティング補正領域マップ２２０を用いて、リライティングゲインマップ２２１を生成する。リライティングゲインマップ２２１は、画像領域ごとに被写体領域の明るさを補正する補正ゲインが表現されたゲインマップである。ゲイン乗算部４１３は、コントラスト乗算後画像２１１に対して、リライティングゲインマップに応じて、被写体領域毎にゲインの乗算を行う。

なお、仮想光源算出部４１１における仮想光源の光源情報の生成方法および仮想光源成分４１２における仮想光源成分の演算方法については、特許文献１に詳しく説明されているため、本実施形態においては説明を省略する。ただし、特許文献１は、信号処理回路の処理の中でリライティング処理を実施しているが、処理のフローとしてデガンマ処理後にリライティング処理を行っており、本実施形態における信号処理の実施前にリライティング処理を行うことはほぼ同等の効果が得られる。

＜人体基準画像適用方法＞
次に、図３における背景補正用被写体領域設定部３０１および図４における被写体領域設定部４０１における被写体領域設定方法について説明する。

本実施形態においては、あらかじめ顔と人体領域を含めた人物基準画像（人物基準領域）を設定する。人物基準画像の顔領域は顔の目や鼻・口といった顔器官情報を有する。人物基準画像の器官情報と撮影画像から検出された顔の目や鼻・口といった器官情報の位置が合致するように、人物基準画像の拡縮や回転を行うことで、実画像の領域に適合させる。また人物基準画像は、人物領域の周辺になるに従い人物領域の判定レベルを下げるようなグラデーションを有するように設定される。

背景領域補正用の人物基準画像は、一般的な人体モデルに比べて体部分の人体領域を広く設定したモデル（被写体モデル画像）を用い、被写体領域設定部４０１で用いる人物基準画像は、一般的な人体モデルに比べて体部分の人体領域を狭く設定したモデルを用いる。人物領域の頭部に当たる領域についても同様に、背景領域補正用の人物基準画像では、一般的な人体モデルに比べて頭部の領域を広く設定したモデルを用い、被写体領域設定部４０１で用いる人物基準画像では、一般的な人体モデルに比べて頭部の領域を狭く設定したモデルを用いてもよい。

図５は、本実施形態における被写体モデルの適用例を示した概念図である。図５（ｂ）は、人物領域の明るさを補正するリライティング処理の場合に適用される（対象となる）基準画像を示しており、図５（ａ）の逆光の人物が撮影された画像に対して、人物の内側になるように人物基準画像を設定している。

図５（ｃ）は、背景領域の補正を行う場合に適応される基準画像を示しており、図５（ａ）の逆光の人物の画像に対して、人物の外側になるように人物基準画像を設定している。また、顔領域は体領域に比べて、目や口といった器官情報が多く存在するため、顔領域の検出精度は高い。そのため、基準画像の頭部領域の大きさは、実画像と同程度、または人体領域に比べて、実画像に対する拡大・縮小率を小さめに設定してもよい。図５（ｂ）、（ｃ）においても、体領域に比較して、頭部領域の基準画像の実画像に対する比率を小さめに設定している様子を示している。

図３の背景補正用人物領域特定部３０２および図４の被写体領域特定部４０２における被写体領域設定方法は、例えば特開２０１７－１１６５２号公報で説明されているように、参照画像２０２の画素値を参照した整形処理を行なうことで被写体の輪郭に合うような被写体領域特定処理を行う。

このように、被写体基準画像に対して被写体領域特定部によって輪郭にあわせた被写体領域特定処理を適用すると、背景領域のコントラストを補正するための背景補正用人物領域特定部３０２では、人物の外側にはみ出すように人物特定領域が設定される。また、人物の内側から外側に向けて人物特定レベルが下がるため、その特定された領域設定レベルを反転させた背景コントラスト補正領域マップは、人物の外側に対して、コントラストを強める作用がなされる。つまり人物領域に近づくにしたがって背景領域と判定されなくなるため、それに伴い人物領域に近づくほどコントラスト強調処理も適用されなくなる。

一方、リライティングにおける被写体領域特定部４０２は、被写体領域の内側が補正領域となっており、被写体領域の内側から外側にかけて被写体補正量が小さくなるように設定される。それとともに、被写体の外側には被写体領域判定がはみ出さないように処理がなされる。つまり被写体の内側を中心に明るさ補正がなされ、被写体の外側になるにつれて明るさ補正レベルが小さくなるように動作する。そのため、人物領域の明るさ補正が人物領域外にはみ出すことが防止されるように作用する。

また、被写体領域特定処理は、画像の輪郭情報をもとに被写体領域の整形処理を行う。しかし、被写体領域の輪郭が検出できないような場合においても、人物基準画像がそれぞれの補正領域にかからないように選定されているため、補正不具合を効果的に回避することができる。

本実施形態における、図３の背景補正用被写体領域設定部３０１および図４の被写体領域設定部４０１において用いる人物基準画像は、顔の左右方向の向き毎に基準画像を用意するようにしてもよい。そして、画像から検出された顔の向きの情報に応じて、最適な角度の人物基準画像を選択してもよい。また顔領域と人体領域を含めた３次元モデルを用意しておき、顔の角度に応じて人体基準画像を生成してもよい。また顔の角度ごとの基準画像だけでなく、顔の基準画像と人体領域の基準画像を角度ごとにそれぞれ用意しておいてもよい。そして、画像から検出された顔角度に応じて顔角度のモデルを選択し、実際の画像の顔の下部領域に対して、首から下の角度を変更した人体領域を複数あてはめ、その人体領域の分散が最も少なくなる、または領域内の類似度が最も高くなる角度を人体領域の基準画像としてもよい。

また、本実施形態においては、被写体領域を補正する場合の基準画像と被写体領域外を補正する場合の基準画像、すなわち複数の基準画像を持ち、そこから使用する基準画像を選択すると説明した。しかし、被写体領域を補正する場合と被写体領域外を補正する場合の両方において基準画像を共通にもち、それぞれ適用する頭部領域、人体領域ごとにその拡縮の倍率を変更するようにしてもよい。

本実施形態においては、被写体領域の推定には、顔領域のサイズや方向から推定する方法を用いたが、その方法に限らず機械学習を用いた領域推定方法などがある。これらの方法においても、背景領域と人体領域の色味や模様が似通っている場合には、人体領域が正しく抽出されないことは多く、そのような場合においても本発明は適用可能である。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

５０：システム制御部、１０１：光学系、１０３：撮像部、１０５ 画像処理部、１１３：顔・顔器官検出部、１１４：リライティング処理部、１１５：合成処理部

Claims (9)

1. 画像から被写体領域を検出する検出手段と、
   前記被写体領域に対して、仮想光源により明るさを補正するリライティング処理を行う第１の画像処理手段と、
   前記被写体領域以外の領域に対して、コントラスト補正処理を行う第２の画像処理手段と、
   前記被写体領域において、前記リライティング処理を行う対象となる、前記被写体領域に近い大きさで、且つ前記被写体領域よりも小さい第１の基準領域を決定する第１の決定手段と、
   前記コントラスト補正処理を行う対象となる領域を決定するために、前記被写体領域に近い大きさで、且つ前記被写体領域よりも大きい第２の基準領域を決定する第２の決定手段と、
   を備えることを特徴とする画像処理装置。
2. 前記検出手段は、前記被写体領域として顔の領域と体の領域を検出し、前記第１の決定手段は、前記第１の基準領域を前記被写体領域よりも小さくする程度を、前記顔の領域と前記体の領域で異ならせることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の決定手段は、前記第１の基準領域を前記被写体領域よりも小さくする程度を、前記顔の領域よりも前記体の領域が大きくなるように決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記検出手段は、前記被写体領域として顔の領域と体の領域を検出し、前記第２の決定手段は、前記第２の基準領域を前記被写体領域よりも大きくする程度を、前記顔の領域と前記体の領域で異ならせることを特徴とする請求項１に記載の画像処理装置。
5. 前記第２の決定手段は、前記第２の基準領域を前記被写体領域よりも大きくする程度を、前記顔の領域よりも前記体の領域が大きくなるように決定することを特徴とする請求項４に記載の画像処理装置。
6. 前記第１の決定手段及び第２の決定手段は、顔の領域の検出結果および前記画像に基づいて被写体モデル画像を変形して前記第１の基準領域と前記第２の基準領域を決定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 画像から被写体領域を検出する検出工程と、
   前記被写体領域に対して、仮想光源により明るさを補正するリライティング処理を行う第１の画像処理工程と、
   前記被写体領域以外の領域に対して、コントラスト補正処理を行う第２の画像処理工程と、
   前記被写体領域において、前記リライティング処理を行う対象となる、前記被写体領域に近い大きさで、且つ前記被写体領域よりも小さい第１の基準領域を決定する第１の決定工程と、
   前記コントラスト補正処理を行う対象となる領域を決定するために、前記被写体領域に近い大きさで、且つ前記被写体領域よりも大きい第２の基準領域を決定する第２の決定工程と、
   を有することを特徴とする画像処理方法。
8. コンピュータを、請求項１乃至５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
9. コンピュータを、請求項１乃至５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images