JP6922066B2 - 関心領域の自動露出制御のための調整方法、端末機器、および非一時的なコンピュータ可読記憶媒体 - Google Patents

Description

本開示は、露出処理の技術分野に関し、特に、関心領域の自動露出制御（ａｕｔｏｍａｔｉｃ ｅｘｐｏｓｕｒｅ ｃｏｎｔｒｏｌ：ＡＥＣ）のための調整方法、端末機器、および非一時的なコンピュータ可読記憶媒体に関する。

スマートフォンなどの端末機器の普及に伴い、端末機器の機能に対するユーザの要求はますます多様化している。例えば、端末機器のカメラ機能は、ユーザの生産と生活に大きな利便性をもたらす可能性があるため、ユーザが広く必要としている。カメラで撮影した画像の品質を保証する鍵は、露出制御にある。露出制御は、画像内の露出過度領域および露出不足領域を可能な限り減らすことを目的としている。一方、現在の画像の輝度は、期待される輝度と一致するように保証される。

関連技術では、ＡＥＣ技術を採用してカメラのセンサと画像信号プロセッサ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ：ＩＳＰ）とを制御して画像全体の露出制御を実行し、それにより適切な画像輝度を自動的に取得する。

しかしながら、ＡＥＣ技術では、主流のＡＥＣアルゴリズムは、画像のフレーム全体の輝度情報に基づいて画像輝度を制御する。肖像を撮影する場合、関心領域の輝度と関心領域の周囲の領域の輝度との差が比較的大きい場合、平均輝度に基づいて露出制御を行うと、関心領域が露出過度になりやすくなる。画像の露出過度は、情報を回復不能にし、撮影画像の品質を低下させる可能性がある。

本開示の実施形態は、関心領域のＡＥＣのための調整方法、端末機器、および非一時的なコンピュータ可読記憶媒体を提供する。

少なくとも１つの代替実施形態では、関心領域内の複数のサブ領域ブロックの輝度に関する統計に基づいて、関心領域内の各色チャネルの輝度ヒストグラムを取得することであって、色チャネルの輝度ヒストグラムは、色チャネルのサブ領域ブロックの数と輝度との間の対応関係を含むことと、関心領域内の各色チャネルの輝度ヒストグラムと、輝度とサブ領域ブロックの数との間の対応関係とに従って、各色チャネルの第１の輝度を決定することであって、第１の輝度は現在のＡＥＣ輝度に関連することと、各色チャネルの第１の輝度に基づいて、基準色チャネルに対応する基準輝度を決定することと、現在のＡＥＣ輝度に対応する目標輝度を取得することと、目標輝度に応じて基準色チャネルに関する輝度調整を実行することと、を含む、関心領域のＡＥＣの調整方法が提供される。

少なくとも１つの代替実施形態では、端末機器であって、少なくとも１つのプロセッサと、少なくとも１つのプロセッサに結合され、少なくとも１つのコンピュータ実行可能命令を格納するコンピュータ可読記憶装置と、を備え、少なくとも１つのコンピュータ実行可能命令が少なくとも１つのプロセッサによって実行されることにより、少なくとも１つのプロセッサが、関心領域を複数のサブ領域ブロックに分割し、関心領域内の複数のサブ領域ブロックの輝度に関する統計に基づいて関心領域内の各色チャネルの輝度ヒストグラムを取得することであって、色チャネルの輝度ヒストグラムは、輝度と色チャネルのサブ領域ブロックの数との間の対応関係を含むことと、各色チャネルの輝度ヒストグラムと、輝度とサブ領域ブロックの数との間の対応関係とに応じて、現在の自動露出制御（ＡＥＣ）輝度を満たす各色チャネルの最低輝度を決定することと、各色チャネルの最低輝度から最大値を取得して基準輝度を決定し、基準輝度に対応する基準色チャネルを取得することと、現在のＡＥＣ輝度に対応する目標輝度を取得することと、目標輝度に応じて、基準色チャネルに関して輝度収束調整を実行すること、の作業を実行する端末機器が提供される。

少なくとも１つの代替実施形態では、コンピュータプログラムが記憶される非一時的なコンピュータ可読記憶媒体であって、コンピュータプログラムがプロセッサによって実行されて、関心領域内の複数のサブ領域ブロックの輝度に関する統計に基づいて、関心領域内の各色チャネルの輝度ヒストグラムを取得することであって、チャネルの輝度ヒストグラムは、色チャネルのサブ領域ブロックの数と輝度との間の対応関係を含むことと、関心領域内の各色チャネルの輝度ヒストグラムと、輝度とサブ領域ブロックの数との間の対応関係とに従って、各色チャネルの第１の輝度を決定することであって、第１の輝度は現在のＡＥＣ輝度に関連することと、各色チャネルの第１の輝度に基づいて、基準色チャネルに対応する基準輝度を決定することと、現在のＡＥＣ輝度に対応する目標輝度を取得することと、目標輝度に応じて基準色チャネルに関する輝度調整を実行すること、の作業を実行する、非一時的なコンピュータ可読記憶媒体が提供される。

本開示の追加の態様および利点の一部が以下の説明で提示され、その一部は以下の説明から明らかになるか、または本開示を実施することにより理解されるであろう。

本開示の上記および／または追加の態様および利点は、図面と組み合わせた以下の実施形態の説明から明らかになり、容易に理解されるであろう。

例示的なアプリケーションシナリオで顔画像が実際に撮影されたときの輝度分布を示す概略図である。 本開示の実施形態による関心領域を選択するシナリオを示す概略図である。 本開示の別の実施形態による関心領域を選択するシナリオを示す概略図である。 本開示の一実施形態に係る関心領域のＡＥＣの調整方法を示すフローチャートである。 本開示の一実施形態による、関心領域を複数のサブ領域ブロックに分割するシナリオを示す概略図である。 本開示の一実施形態による輝度ヒストグラムを示す概略図である。 本開示の例示的な実施形態による関心領域のＡＥＣのための調整方法を示すフローチャートである。 本開示の一実施形態による、関心領域のＡＥＣの調整前後の画像効果を示す概略図である。 本開示の一実施形態による、関心領域のＡＥＣのための調整装置を示す構造概略図である。 本開示の別の実施形態による、関心領域のＡＥＣのための調整装置を図示する構造概略図である。 本開示の実施形態による端末機器を示す構造概略図である。

以下、本開示の実施形態について詳細に説明する。実施形態の例が図面に示されており、同一または類似の参照符号は、同一または類似の構成要素、あるいは同一または類似の機能を有する構成要素を表すために採用されている。図面を参照して説明される以下の実施形態は、例示に過ぎず、本開示を説明することを意図しており、本開示に対する限定として理解されるべきではない。

以前の分析から、ＡＥＣ技術では、輝度は、画像のフレーム全体の平均輝度情報に従って調整され、関心領域の輝度と関心領域の周囲の領域の輝度との差が比較的大きい、例えば、関心領域の輝度が関心領域の周囲の領域の輝度よりも高い場合、関心領域が露出過度になり、カラースポットが形成され、これによって画質が低下するとともにユーザが撮影画像に不満を抱く可能性が非常に高くなる。

例えば、顔を含む画像を撮影すると、環境光の影響、例えば、顔の位置を照らす光が他の領域の光よりも高いことにより、撮影画像中の関心領域（本例では顔領域）の輝度が他の領域の輝度と大きく異なる場合がある。図１に示すように、顔が位置する領域１の輝度は、顔の周囲の領域２の輝度よりも高い。図１に示す画像のフレーム全体の輝度情報に基づいて輝度調整を行う場合、領域１は領域１と領域２との間の平均化効果の影響を受け、顔が位置する領域１の輝度が十分に収束しないため、顔が露出過度である状態が存在する可能性がある。

技術的問題を解決するために、本開示の実施形態は、関心領域の輝度に基づいて輝度調整を実行する技術的解決策を開示する。技術的解決策では、関心領域の輝度に基づいて輝度制御が実行されるため、正確な露出制御が実装され、関心領域の露出過度領域とその結果のカラースポット現象が排除され、画像の品質が効果的に向上し、ユーザの満足度が改善される。

以下、本開示の実施形態で提供される関心領域のＡＥＣの調整方法および装置について、図面を参照しながら説明する。

本開示の一実施形態は、画像内の露出過度の領域を排除し、露出過度によって形成されるカラースポットによって引き起こされる画質の低下を回避することができる。実際、このような露出過度の領域は、関心のある被写体（顔、空、建物など）を含む画像に存在する場合がある。説明を簡単にするために、本開示の以下の実施形態における説明は、主に、図１に示されるように顔領域の露出過度領域に対する制御についてなされる。本開示の実施形態で提供される技術的解決策は、例えば、顔領域、空領域および建物領域の少なくとも１つを含む任意の関心領域にも適用される。

実際の適用中に、例示的なアプリケーションシナリオに従って関心領域を決定するために異なる実装モードが採用されてもよい。以下に例を挙げて説明する。

第１の例
画像に関して被写体の識別が実行されて、関心領域が識別される。

第２の例
画像に関して輪郭抽出が実行される。例えば、深度情報抽出は、対応する画像深度情報に基づいて実行され、関心領域が位置する輪郭は、関心領域と他の領域との異なる深度情報に従って識別することができるため、輪郭の位置は、つまり関心領域である。

第３の例
端末機器が画像プレビュー領域内においてユーザにプレビュー画像を表示する場合、関心領域上においてユーザの選択を受け取ることができる。例えば、図２（ａ）に示すように、ユーザが画像プレビュー領域に軌跡を入力し、入力軌跡で囲まれた領域が関心領域として決定され得る。別の例では、図２（ｂ）に示すように、被写体選択ボックスが提供され、ユーザは被写体選択ボックスをドラッグして対応する関心領域を選択でき、この例では、被写体選択ボックスのサイズが要求に従って調整され得る。

図３は、本開示の一実施形態に係る関心領域のＡＥＣの調整方法を示すフローチャートである。

関心領域のＡＥＣの調整方法には、図３に示すブロックの以下の作業が含まれる。

ブロック３０２では、関心領域内の複数のサブ領域ブロックの輝度に関する統計に基づいて、関心領域内の各色チャネルの輝度ヒストグラムが取得され、色チャネルの輝度ヒストグラムは、輝度と色チャネルのサブ領域ブロックの数との間の対応関係を含む。

ブロック３０２における上記の作業の例では、顔領域が複数のサブ領域ブロックに分割され、複数のサブ領域ブロックのすべての輝度について統計が実行されて、関心領域内の各色チャネルの輝度ヒストグラムを構築することができ、輝度ヒストグラムは、輝度とサブ領域ブロックの数との間の対応関係を含む。

関心領域のみの輝度分布の違いも明らかであり、輝度調整が関心領域の平均輝度のみに従って実行される場合、露出過度の領域を除去する効果はそれほど理想的ではないことが理解できる。したがって、本開示の一実施形態では、平均化のプロセスの影響を受けずに統計データに基づいて露出過度の領域を効果的にキャプチャできるように、関心領域は輝度情報に関する統計のために複数のサブ領域ブロックに分割される。

平均化の影響を実際に防ぐために、複数のサブ領域ブロックの分割粒度は、関心領域の面積に対して十分に小さいことが提案されており、例えば、各サブ領域ブロックは、関心領域の合計面積の０．１％を占めてもよい。もちろん、実際の適用中に、異なる例示的なアプリケーションシナリオに従って関心領域内の複数のサブ領域ブロックの分割を実施するために異なるモードが採用されてもよい。例とともに説明する。

可能な実装モードとして、関心領域内の複数のサブ領域ブロックは、以下の方法で取得された複数のサブ領域ブロックであってもよい。関心領域の面積が取得され、その面積に対応する複数のサブ領域ブロックの総数が、事前に設定された分割粒度情報に従って決定され、複数のサブ領域ブロックの総数に従って関心領域が複数のサブ領域ブロックに分割される。

一例では、事前に設定された分割粒度情報は、例えば、以下の表１に示されるように、関心領域の面積とサブ領域ブロックの数との間の対応関係を含み得る。各領域面積の下で（または特定の範囲内の領域面積の下で、例示的な領域面積の対応関係のみを表１に示す）平均化の影響を排除できるサブ領域ブロックの総数（または総数の選択範囲、サブ領域ブロックの例示的な総数のみを表１に示す）が、実験の結果に基づいて事前に取得および保存される。このようにして、関心領域の取得された面積に従って対応関係が照会され、その面積に対応するサブ領域ブロックの総数が決定され得る。

別の可能な実装モードとして、関心領域内の複数のサブ領域ブロックは、以下の方法で取得された複数のサブ領域ブロックであってもよい。関心領域の面積が取得され、その面積に対応する複数のサブ領域ブロックの総数が分割比情報に従って決定され、複数のサブ領域ブロックの総数に従って関心領域が複数のサブ領域ブロックに分割される。

一例では、分割比情報は、関心領域の面積に対するサブ領域ブロックの総数の第１の比を含み得る。例えば、実験の結果に応じて、関心領域の総面積に対するサブ領域ブロックの総数の第１の比ｓが事前に設定される。関心領域の面積ｍが得られた後、関心領域の総面積に対するサブ領域ブロックの総数の第１の比ｓが、関心領域の平均化の影響を効果的に除去できる場合、ｍ＊ｓの積の値は、サブ領域ブロックの総数として決定することができ、関心領域は、複数のサブ領域ブロックの総数に従って複数のサブ領域ブロックに分割され得る。

ブロック３０２における上記の作業の例では、関心領域は複数のサブ領域ブロックに分割され、複数のサブ領域ブロックすべての輝度に関する統計が実行されて、関心領域内の各色チャネルの輝度ヒストグラムが構築され、色チャネルの輝度ヒストグラムは、輝度とサブ領域ブロックの数、例えばＲチャネルの各輝度に対応するサブ領域ブロックの数との間の対応関係を含む。輝度ヒストグラムに基づいて、関心領域の例示的な輝度分布を学習することができる。

各サブ領域ブロックの輝度は、サブ領域ブロック内の平均輝度であってもよく、あるいは、サブ領域ブロック内の中心位置の輝度であってもよい。各サブ領域ブロックの輝度の決定の例示的な実装は、本明細書では１つずつリストされない。

例えば、図４（ａ）に示すように、画像に４つの色チャネルＲ、Ｇｒ、Ｇｂ、Ｂが含まれる場合、関心領域は複数のサブ領域ブロックに分割され、複数のサブ領域ブロックのすべての輝度に関して統計が実行されて、関心領域内の各色チャネルの輝度ヒストグラムが構築される。例えば、Ｇｒチャネルの輝度ヒストグラムを図４（ｂ）に示す。０〜２５５の輝度範囲内の各輝度に対応するサブ領域ブロックの数は、図４（ｂ）に示される輝度ヒストグラムに従って取得され得る。

ブロック３０４において、各色チャネルの第１の輝度は、関心領域における各色チャネルの輝度ヒストグラムおよび輝度とサブ領域ブロックの数との間の対応関係に従って決定され、第１の輝度は現在のＡＥＣ輝度に関連付けられている。

ブロック３０６において、基準輝度は、各色チャネルの第１の輝度に基づいて決定され、基準輝度は基準色チャネルに対応する。

ブロック３０６の例示的な実装では、各色チャネルの第１の輝度に基づいて基準輝度を決定する作業は、以下の方法で実装され得る。すべての最低輝度の最大値が基準輝度として決定されてもよい。

ブロック３０４の例示的な実装では、第１の輝度は、現在のＡＥＣ輝度の要件を満たす各色チャネルの最低輝度であってもよい。

例示的な実装では、各色チャネルの輝度ヒストグラムは、輝度の降順に従って分析され、現在のＡＥＣ輝度を満たす各色チャネルの対応する最低輝度は、輝度とサブ領域ブロックの数との間の対応関係に従って決定され得る。例えば、関心領域内の各色チャネルの輝度ヒストグラムと、輝度とサブ領域ブロックの数との間の対応関係とに従って、各色チャネルの第１の輝度が決定される作業は、次の方法で実施され得る。輝度範囲内の各色チャネルの合計輝度値は、各色チャネルの輝度ヒストグラム、および輝度とサブ領域ブロックの数との間の対応関係に基づいて、輝度の降順に従って決定されてもよく、現在のＡＥＣ輝度の要件を満たす各色チャネルの最低輝度は、合計輝度値、輝度範囲、および現在のＡＥＣ輝度に従って決定されてもよい。例えば、合計輝度値が現在のＡＥＣ輝度に等しいか、または現在のＡＥＣ輝度よりも大きい輝度範囲内の最小輝度は、初めて、現在のＡＥＣ輝度の要件に適合する各色チャネルの最低輝度であると決定され得る。

関心領域が露出過度であるという状態は、１つまたはいくつかの色チャネルの過飽和によって引き起こされる可能性があることが理解できる。第１の飽和色チャネルがキャプチャされ、この飽和色チャネルに対して輝度制御が実行されて、露出過度を防止する場合、露出過度領域が最も効果的に除去される。通常の状態では、第１の飽和色チャネルの輝度が高いサブ領域ブロックの数は比較的大きくなる可能性が高いため、各色チャネルの輝度ヒストグラムは、第１の飽和色チャネルを効率的に決定するために輝度の降順に従って分析され得る。

各色チャネルの輝度ヒストグラムは、輝度の降順に従って分析されてもよく、現在のＡＥＣ輝度の要件を満たす各色チャネルの対応する最低輝度は、輝度とサブ領域ブロックの数との間の対応関係に従って決定されてもよい。

すなわち、輝度ヒストグラムの情報に基づいて、一定の露出過度率の下での各色チャネルの輝度値（２５５から降順で輝度を統計する）が取得され得る。ここで、露出過度率の値は、パラメータ（例えば、露光時間）によって設定されてもよい。ＡＥＣ中に採用された露出過度率に対応する制御輝度が各色チャネルで達成されると、各色チャネルの最低輝度、または累積計算によって得られる最低輝度が得られる。ＡＥＣ中に採用された露出過度率に対応する制御輝度は、露出過度率の下で色輝度が飽和しているかどうかを判断するための基準輝度を表す。

当業者が現在のＡＥＣ輝度の要件を満たす各色チャネルの対応する最低輝度を決定する方法をより明確に理解するために、現在のＡＥＣ輝度の要件を満たす色チャネルＲの対応する最低輝度を例として以下に説明する。

この例では、ＡＥＣの露出過度率は１％であり、対応するＡＥＣ輝度はＬであり、色チャネルＲの値が２５５である輝度ピーク（つまり、最大輝度）から統計が実行される。輝度値が２５５であるサブ領域ブロックの数は０であり、そのような場合、色チャネルＲの輝度２５５の下の輝度値は０である。輝度値が２５４であるサブ領域ブロックの数は０であり、そのような場合、色チャネルＲにおける２５５〜２５４の輝度範囲内の輝度値は０＋０＝０である。輝度値が２５３であるサブ領域ブロックの数は１であり、画像のフレーム全体の面積がＳ_{ｔｏｔａｌ}であり、かつピクセル総数が１３，０００，０００であるとした場合、取得されたサブ領域ブロックの面積はＳ１であり、そのような場合、色チャネルＲの２５５〜２５３の輝度範囲内の輝度値は

である。累積計算が順番に実行され、毎回得られる重畳値がＡＥＣ輝度Ｌと比較される。輝度値が２４０であるサブ領域ブロックの数が７と計算された場合、そのような場合、色チャネルＲの２５５〜２４０の輝度範囲内の輝度値は

である。Ｌ１がＡＥＣ輝度Ｌに等しい（または初めてＬより大きい）場合、色チャネルＲの最低輝度は２４０であり、このことは、色チャネルＲの輝度値２４０と輝度値２５５との間に含まれる複数のサブ領域ブロックの輝度はより高いことを意味する。

基準輝度を決定するために、すべての最低輝度から最大値が選択される。例えば、画像に４つの色チャネルＲ、Ｇｒ、Ｇｂ、Ｂが含まれ、各色チャネルに対応する最低輝度がそれぞれ２４０、３５、９０、１２５である場合、輝度２４０が基準輝度として決定される。さらに、基準輝度に対応する基準色チャネルが決定される。例えば、輝度２４０に対応する基準色チャネルは、色チャネルＲであると決定される。

ブロック３０８では、現在のＡＥＣ輝度に対応する目標輝度が取得される。

ブロック３１０において、目標輝度に従って基準色チャネルに関して輝度調整、例えば、輝度収束調整が実行される。

関心領域への露出過度現象を引き起こす基準色チャネル、および基準色チャネルにおける基準色チャネルを飽和させる基準輝度が決定された後に、結果として関心領域の露出過度状態の原因が決定されることが理解される。この時点で、輝度収束調整を実行して原因に対処できる。

現在のＡＥＣ輝度に対応する目標輝度が得られ、目標輝度に従って基準色チャネルについて輝度収束調整が実行される。例えば、基準色チャネルＲの場合、基準色チャネルＲに対応する基準輝度は２４０であり、決定された目標輝度は２１０である。この時点で、輝度２１０に応じて色チャネルの輝度を収束させるために、基準色チャネルに関して輝度調整を実行できる。このようにして、関心領域の輝度が低下するため、露出過度領域が制御され、それにより露出過度によって形成されるカラースポットが除去される。

実際の作業中に、さまざまな方法を選択して、さまざまなアプリケーションシナリオに従って目標輝度を決定することができる。可能な実装モードとして、第１の事前に設定されたＡＥＣ情報に基づいて現在のＡＥＣ輝度に対応する第２の輝度が取得され、第２の輝度は目標輝度として機能する。例示的な実装として、第１のＡＥＣ情報を事前に設定することができ、第１のＡＥＣ情報は目標輝度と基準輝度との間の対応関係を含み、現在のＡＥＣ輝度に対応する第２の輝度を得るために第１の事前に設定されたＡＥＣ情報が照会されてもよく、第２の輝度は目標輝度として機能する。

別の可能な実装モードとして、目標輝度は、基準輝度と輝度ピーク（すなわち、最大輝度）との間に含まれるサブ領域ブロックのピクセル比に関係している。ピクセル比が比較的低い場合、基準色チャネル内の少数のピクセルが輝度に大きく寄与し、基準色チャネルが関心領域全体の輝度に大きく寄与していることを表す。次に、そのような場合、基準色チャネルに関して輝度収束が比較的高い程度に実行されるように制御するために、目標輝度は比較的低く決定される。ピクセル比が比較的高い場合、基準色チャネルの多数のピクセルが輝度に一定の貢献をすることを表し、そのような場合、基準色チャネルに関して輝度収束が比較的低い範囲で実行されるように制御するために、目標輝度は比較的高く決定される。

別の可能な実装モードとして、基準輝度と輝度ピークとの間のそれぞれの輝度に対応するサブ領域ブロックの数の合計が決定されてもよく、関心領域内の複数のサブ領域ブロックの総数に対する合計の第２の比が決定されてもよく、第３の事前に設定されたＡＥＣ情報に基づいて第２の比に対応する第４の輝度が取得されてもよく、第４の輝度は目標輝度として機能する。例えば、基準輝度と輝度ピークとの間のそれぞれの輝度に対応するサブ領域ブロックの数の合計を計算することができ、関心領域内のすべてのサブ領域ブロックの総数に対する合計の第２の比を計算することができ、第２の比に対応する第４の輝度を得るために第３の事前に設定されたＡＥＣ情報が照会されてもよく、第４の輝度は目標輝度として機能する。

実際の適用では、第２の輝度に応じて基準色チャネルで輝度収束調整が実行されるが、関心領域の輝度分布は人間の目で見られるものと一致することを保証できない場合があることに注意することが重要である。実際には、輝度に対する人間の目の反応は線形比例関係ではなく、光電変換に関連するさまざまな機器の入出力特性は通常非線形であり、冪関数として提示されるため、画像システム全体の透過関数は冪関数である。

画像センサの応答は線形関係に近似している。レンダリングする画像を補正せずに表示画面に直接表示すると、第２の輝度に従って輝度の収束が行われる画像の関心領域が露出過度にならないようにしたとしても、ディスプレイ画面に表示される画像の関心領域が露出過度である状態が依然として存在し得る。したがって、機器のさまざまな部分の輝度に対する人間の目の反応と一致する画像を正しく出力するために、対応する補正作業を実行することが提案され、補正機能はガンマ曲線を採用することができる。

したがって、本開示の一実施形態では、現在のＡＥＣ輝度に対応する第２の輝度が得られた後、第２の輝度に対応するガンマ曲線を採用することにより、第２の輝度に対応する第３の輝度が得られ、表示画面に表示される画像の関心領域の比較的高い品質を確保するために、第３の輝度に応じて基準色チャネルに関して輝度収束調整が行われる。

上記の処理プロセスに基づいて、関心領域において輝度収束プロセスを実装する前に、最初に画像のフレーム全体でＡＥＣが実行されることを理解する必要がある。ＡＥＣプロセスでは、画像のフレーム全体に予備的な輝度調整処理を実装するため、画像のフレーム全体の平均輝度情報に基づいて輝度調整が行われ、画像のフレーム全体の暗い領域の輝度がある程度増加し、明るい領域の輝度がある程度減少する。

肖像画像における関心領域と他の領域との輝度の差が比較的大きい場合、画像のフレーム全体の平均輝度に従って実行される画像処理の程度は明らかに不十分である。したがって、関心領域において追加的に輝度調整を実行することが推奨される。関心領域で輝度調整が追加的に実行された後、関心領域の輝度はさらに収束され、画像フレーム全体の平均輝度は画像フレーム全体の目標輝度よりも低くなる。画像のフレーム全体の輝度処理結果が主流の制御アルゴリズムを介してＡＥＣによって補正される場合、現在の調整結果が画像のフレーム全体の目標輝度よりも相対的に低いと判断される可能性があるため、逆調整を行ってもよい。ただし、このような逆調整は不要である。したがって、逆調整を回避するには、関心領域で輝度調整が実行された後に元のＡＥＣロジックが逆制御を実行しないようにして、発振を回避することが推奨される。

実際の処理プロセスでは、例示的な実施形態による関心領域のＡＥＣのための調整方法は、図５に示されるブロック内の以下の作業を含み得る。

ブロック５０２では、最初に画像のフレーム全体に関しＡＥＣが実行され、画像のフレーム全体の輝度に関して統計が実行される。

ブロック５０４では、輝度計算が実行されて、画像のフレーム全体に対応する目標輝度が決定される。

ブロック５０６では、画像のフレーム全体に対応する目標輝度に従って輝度収束制御が実行される。

本実施形態の方法を採用すると、画像のフレーム全体の輝度に応じて統計が行われるため、比較的明るい関心領域の収束度が不十分になる場合がある。この問題を解決するには、以下のブロック５０８〜５１２で説明するように、関心領域の輝度ヒストグラムに関する統計を実行し、関心領域の輝度ヒストグラムの統計結果に従って画像のフレーム全体の輝度収束調整を実行して、関心領域のカラースポットを効果的に除去することが推奨される。

ブロック５０８では、関心領域の輝度ヒストグラムに関して統計が実行される。

ブロック５１０では、輝度ヒストグラムに基づいて関心領域の露出過度領域の目標輝度が決定される。

ブロック５１２では、関心領域の露出過度輝度の目標輝度に基づいて、画像のフレーム全体に対して輝度収束制御が実行される。

処理効果をより明確に提示するために、例示的な処理効果図と組み合わせて以下に説明する。図６の左図に示すように、関心領域のＡＥＣの調整方法が実装される前、および従来のロジックベースのＡＥＣが実行された後、関心領域は過度に露出過度の領域とその結果のカラースポット現象を有する。上記の実施形態で説明した関心領域のＡＥＣの調整方法が適用された後、図６の右図に示すように、関心領域のカラースポットが除去され、取得された画像はより柔らかく、比較的より高品質である。

要約すると、本開示の実施形態における関心領域のＡＥＣの調整方法によれば、関心領域は複数のサブ領域ブロックに分割され、複数のサブ領域ブロックのすべてに関して輝度の統計が実行されて関心領域内の各色チャネルの輝度ヒストグラムが構築され、各色チャネルの輝度ヒストグラムは、輝度の降順に従って分析され、現在のＡＥＣ輝度の要件を満たす各色チャネルの対応する最低輝度は、輝度とサブ領域ブロックの数との間の対応関係に従って決定され、すべての最低輝度から最大値が選択されて、基準輝度および基準輝度に対応する基準色チャネルが決定され、現在のＡＥＣ輝度に対応する目標輝度が取得され、目標輝度に応じて、基準色チャネルに関して輝度収束調整が実行される。本実施形態の技術的解決策を採用することにより、正確な露出制御を実施し、関心領域の露出過度領域および結果として生じるカラースポット現象を除去することができ、画像の品質を効果的に改善することができ、ユーザの満足度を改善することができる。

上記の実施形態に基づいて、上述の実施形態で説明した関心領域のＡＥＣの調整方法の後は、ＡＥＣの制御ロジックは、画像のフレーム全体の制御を行うことができ、局所領域の制御を行うことができないので、カラースポットは除去されるが、他の領域の輝度も低下することも理解されるべきである。その結果、一部のシナリオでは、元々輝度が低かった一部の領域がさらに減少する可能性があり、したがって一部の画像の詳細が失われる可能性がある。したがって、このような損失を回避するために、実際の作業プロセスにおいていくつかの補償作業を採用することができる。

例えば、関心領域に従って輝度収束が実行された後、ＩＳＰの他の非線形輝度制御モジュールの協調と組み合わせて、収束度に応じて輝度が相対的に低いいくつかの領域で逆輝度回復作業が実行される場合があるため、比較的低い輝度を有する領域が、関心領域に従って実行される輝度収束によって影響されるのを防ぐことができる。

上述の実施形態を実施するために、本開示の実施形態は、関心領域のＡＥＣのための調整装置を提供する。図７は、本開示の実施形態による、関心領域のＡＥＣのための調整装置を図示する構造概略図である。図７に示すように、関心領域のＡＥＣのための調整装置は、分割モジュール７１０、統計モジュール７２０、決定モジュール７３０、選択モジュール７４０、取得モジュール７５０、および調整モジュール７６０を含む。

分割モジュール７１０は、関心領域を複数のサブ領域ブロックに分割するように構成される。統計モジュール７２０は、関心領域内の各色チャネルの輝度ヒストグラムを構築するために複数のサブ領域ブロックのすべての輝度に関する統計を実行するように構成され、輝度ヒストグラムは輝度とサブ領域ブロックの数との間の対応関係を含む。

決定モジュール７３０は、輝度の降順に従って各色チャネルの輝度ヒストグラムを分析し、輝度とサブ領域ブロックの数との間の対応関係に従って現在のＡＥＣ輝度の要件を満たす各色チャネルの対応する最低輝度を決定するように構成される。選択モジュール７４０は、すべての最低輝度から最大値を選択して、基準輝度および基準輝度に対応する基準色チャネルを決定するように構成される。取得モジュール７５０は、現在のＡＥＣ輝度に対応する目標輝度を取得するように構成される。調整モジュール７６０は、目標輝度に応じて基準色チャネルに関して輝度収束調整を実行するように構成される。

本開示の一実施形態では、図８に示すように、取得モジュール７５０は、第１の事前に設定されたＡＥＣ情報を照会して、現在のＡＥＣ輝度に対応する第２の輝度を取得するように構成されてもよく、第２の輝度は目標輝度として機能する。

本開示の一実施形態では、図８に示すように、分割モジュール７１０は、取得ユニット８１０、決定ユニット８２０、および分割ユニット８３０を含み得る。

取得ユニット８１０は、関心領域の面積を取得するように構成され得る。

決定ユニット８２０は、予め設定された分割粒度情報に従って、面積に対応するサブ領域ブロックの総数を決定するように構成されてもよい。

分割ユニット８３０は、複数のサブ領域ブロックの総数に従って、関心領域を複数のサブ領域ブロックに分割するように構成されてもよい。

関心領域のＡＥＣの調整方法についてなされた上記の説明および記載は、本開示の実施形態における関心領域のＡＥＣの調整装置にも適用可能である。実装の原理は類似しており、ここでは詳しく説明しない。

要約すると、本開示の実施形態における関心領域のＡＥＣの調整装置によれば、関心領域は複数のサブ領域ブロックに分割され、複数のサブ領域ブロックのすべてに関して輝度の統計が実行されて関心領域内の各色チャネルの輝度ヒストグラムが構築され、各色チャネルの輝度ヒストグラムは、輝度の降順に従って分析され、現在のＡＥＣ輝度の要件を満たす各色チャネルの対応する最低輝度は、輝度とサブ領域ブロックの数との間の対応関係に従って決定され、すべての最低輝度から最大値が選択されて、基準輝度および基準輝度に対応する基準色チャネルが決定され、現在のＡＥＣ輝度に対応する目標輝度がさらに取得され、目標輝度に応じて、基準色チャネルに関して輝度収束調整が実行される。本実施形態の上記の技術的解決策を採用することにより、正確な露出制御を実現し、関心領域の露出過度領域および結果として生じるカラースポット現象を除去することができ、画像の品質を効果的に改善することができ、ユーザの満足度を改善することができる。

上述の実施形態を実施するために、本開示の実施形態は端末機器を提供する。図９は、本開示の実施形態による端末機器を示す構造概略図である。図９に示すように、端末機器９０は、ケーシング９００と、ケーシング９００内に配置されたプロセッサ９１００およびコンピュータ可読記憶装置９２００とを含む。プロセッサ９１００は、コンピュータ可読記憶装置９２００に格納された実行可能プログラムコードを読み取り、実行可能プログラムコードに対応するプログラムを実行して、上述の実施形態で説明した関心領域のＡＥＣの調整方法を実行するように構成される。

上述の実施形態を実施するために、本開示の実施形態は、コンピュータプログラムが記憶される非一時的なコンピュータ可読記憶媒体を提供する。コンピュータプログラムは、上述の実施形態における関心領域のＡＥＣの調整方法を実施するためにプロセッサによって実行されてもよい。

本明細書の説明において、用語「実施形態」、「いくつかの実施形態」、「例」、「例示的な例」、「いくつかの例」などに関する説明は、実施形態または例と組み合わせて説明された例示的な特性、構造、材料または特徴が、本開示の少なくとも１つの実施形態または例に含まれることを指す。本明細書では、用語に関する概略表現は、必ずしも同じ実施形態または例に関するものではない。加えて、記載された特性、構造、材料または特徴は、適切な方法で任意の１つまたは複数の実施形態または例で組み合わせることができる。さらに、当業者は、矛盾が生じない場合に、明細書に記載された異なる実施形態または例、ならびに異なる実施形態または例の特性を組み合わせたり統合したりしてもよい。

さらに、「第１」および「第２」という用語は、説明を簡単にするためにのみ採用されており、相対的な重要性の明示もしくは暗示、または特定の技術的特徴の数の暗黙的な表示を意味するものではない。したがって、「第１」または「第２」という用語によって制限される技術的特徴には、技術的特徴のうちの少なくとも１つが明示的または暗黙的に含まれる場合がある。本開示の説明において、「複数の」の意味は、他の明確なまたは特定の制限がない限り、少なくとも２つ、例えば２つ、３つまたは他のより大きな数である。

本明細書のフローチャートまたは他の方法で示されるプロセスまたは方法の説明は、カスタマイズされた論理機能またはプロセスのステップを実装するように構成された実行可能命令の１つまたは複数のコードを含むモジュール、セグメントまたは部分を表すと理解できるさらに、本開示の好ましい実装モードの範囲は、機能が図示または説明された順序に従って実行されない他の実装を含み、例えば、関連する機能は実質的に同時にまたは逆の順序で実行されてもよい。これは、本開示の実施形態の当業者によって理解されるべきである。

フローチャートに示されている、または本明細書の他の方法で説明されているロジックおよび／またはステップは、例えば、ロジック機能を実装するように構成された実行可能命令の固定順序テーブルと見なすことができ、命令実行システム、装置、または機器との組み合わせで使用するまたは使用するための、命令実行システム、装置または機器（例えば、コンピュータベースのシステム、命令実行システム、装置または機器から命令を読み取り、命令を実行できるプロセッサまたはその他のシステムを含むシステム）のためのあらゆるコンピュータ可読記憶媒体に実装されてもよい。本明細書では、「コンピュータ可読媒体」は、命令実行システム、装置または機器との組み合わせで使用するまたは使用するための、命令実行システム、装置または機器用のプログラムを含み、格納し、通信し、伝播し、または送信できる任意の装置とすることができる。コンピュータ可読媒体のより典型的な例（非網羅的リスト）は、１つまたは複数のワイヤを備えた電気接続部（電子装置）、ポータブルコンピュータディスク（磁気装置）、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ）（またはフラッシュメモリ）、光ファイバ装置、およびポータブルコンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）を含む。加えて、プログラムは、紙または他の媒体で光学走査を実行することにより電子的に取得でき、必要に応じて編集や説明を行ったり、他の適切な方法を採用したりして、プログラムをコンピュータ可読記憶装置に保存することができるので、コンピュータ可読媒体は、プログラムを印刷できる紙または他の適切な媒体であってもよい。

本開示の各部分は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせによって実装できることを理解されたい。上述の実装モードでは、複数のステップまたは方法は、コンピュータ可読記憶装置に格納され、適切な命令実行システムによって実行されるソフトウェアまたはファームウェアによって実装されてもよい。例えば、他の実装モードと同様にハードウェアで実装する場合、この技術分野でよく知られている次の、データ信号の論理機能を実現するように構成された論理ゲート回路を備えたディスクリート論理回路、適切な複合論理ゲート回路を備えた特定用途向け集積回路、プログラマブル・ゲート・アレイ（ＰＧＡ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）など技術のいずれか、またはそれらの組み合わせを実装に採用することができる。

当業者は、上述の実施形態における方法のステップのすべてまたは一部が、プログラムによって関連するハードウェアに指示することによって実装され得ることを理解し得る。このプログラムは、コンピュータ可読記憶媒体に格納されてもよい。プログラムが実行されると、方法の実施形態のステップの１つまたは組み合わせが実装される。

さらに、本開示の各実施形態における各機能ユニットは、処理モジュールに統合されてもよく、または各ユニットは物理的にかつ独立して存在してもよく、２つのまたは２つ以上のユニットがモジュールに統合されてもよい。統合モジュールは、ハードウェア形式で実装されるだけでなく、ソフトウェア機能モジュールの形式で実装されてもよい。ソフトウェア機能モジュールの形で実装され、独立した製品として販売または使用される場合、統合モジュールはコンピュータ可読記憶媒体に保存することもできる。

上記記憶媒体は、ＲＯＭ、磁気ディスク、光ディスクなどであってもよい。以上、本開示の実施形態を示して説明したが、実施形態は例示であり、本開示の限定として理解されるべきではないことを理解することができる。当業者は、本開示の範囲内で実施形態に対して変更、修正、置換、および変形を行うことができる。

Claims (15)

1. 関心領域の自動露出制御（ＡＥＣ）の調整方法であって、
   関心領域内の複数のサブ領域ブロックの輝度に関する統計に基づいて、前記関心領域内の各色チャネルの輝度ヒストグラムを取得する（３０２）ことであって、色チャネルの輝度ヒストグラムは、前記色チャネルのサブ領域ブロックの数と輝度との間の対応関係を含むことと、
   前記関心領域内の前記各色チャネルの前記輝度ヒストグラムと、前記輝度と前記サブ領域ブロックの数との間の前記対応関係とに従って、前記各色チャネルの第１の輝度を決定する（３０４）ことであって、前記第１の輝度は現在のＡＥＣ輝度に関連することと、
   前記各色チャネルの前記第１の輝度に基づいて、基準色チャネルに対応する基準輝度を決定する（３０６）ことと、
   前記現在のＡＥＣ輝度に対応する目標輝度を取得する（３０８）ことと、
   前記目標輝度に応じて前記基準色チャネルに関する輝度調整を実行する（３１０）ことと、
   を含む、関心領域の自動露出制御（ＡＥＣ）の調整方法。
2. 前記関心領域の面積を取得することと、
   分割粒度情報に従って、または分割比率情報に従って、前記関心領域の面積に対応する前記複数のサブ領域ブロックの総数を決定することであって、前記分割粒度情報は、サブ領域ブロックの総数と関心領域の面積との間の対応を含み、前記分割比率情報は、関心領域の面積に対するサブ領域ブロックの総数の第１の比を含むことと、
   前記複数のサブ領域ブロックの総数に従って、前記関心領域を前記複数のサブ領域ブロックに分割することと、
   をさらに含む、請求項１に記載の方法。
3. 前記各色チャネルの前記第１の輝度を決定する（３０４）ことは、
   前記関心領域内の前記各色チャネルの前記輝度ヒストグラムと、前記輝度と前記サブ領域ブロックの数との間の前記対応関係とに従って、前記現在のＡＥＣ輝度の要件を満たす前記各色チャネルの最低輝度を決定することを含む、
   請求項１に記載の方法。
4. 前記関心領域内の前記各色チャネルの前記輝度ヒストグラムと、前記輝度と前記サブ領域ブロックの前記数との間の前記対応関係に従って、前記現在のＡＥＣ輝度の前記要件を満たす前記各色チャネルの前記最低輝度を決定することは、
   前記各色チャネルの前記輝度ヒストグラムと、前記輝度と前記サブ領域ブロックの数との間の前記対応関係に基づいて、前記輝度の降順に従って輝度範囲内の前記各色チャネルの合計輝度値を決定することと、
   前記合計輝度値、前記輝度範囲、および前記現在のＡＥＣ輝度に従って、前記現在のＡＥＣ輝度の前記要件を満たす前記各色チャネルの前記最低輝度を決定することと、
   を含む、請求項３に記載の方法。
5. 前記合計輝度値、前記輝度範囲、および前記現在のＡＥＣ輝度に従って、前記現在のＡＥＣ輝度の前記要件を満たす前記各色チャネルの前記最低輝度を決定することは、
   前記合計輝度値が前記現在のＡＥＣ輝度と等しいか、または前記現在のＡＥＣ輝度よりも大きい前記輝度範囲の最小輝度を、初めて、前記現在のＡＥＣ輝度の前記要件を満たす前記各色チャネルの前記最低輝度として決定することを含む、請求項４に記載の方法。
6. 前記各色チャネルの前記第１の輝度に基づいて前記基準輝度を決定する（３０６）ことは、
   前記各色チャネルの前記第１の輝度の最大値を前記基準輝度として決定することを含む、請求項１〜５のいずれか一項に記載の方法。
7. 前記現在のＡＥＣ輝度に対応する前記目標輝度を取得する（３０８）ことは、
   第１のプリセットＡＥＣ情報に基づいて、前記現在のＡＥＣ輝度に対応する第２の輝度を取得することであって、前記第２の輝度は前記目標輝度として機能することを含む、請求項１〜５のいずれか一項に記載の方法。
8. 前記第２の輝度に対応するガンマ曲線を採用することにより、前記第２の輝度に対応する第３の輝度を取得することをさらに含む、請求項７に記載の方法。
9. 前記現在のＡＥＣ輝度に対応する前記目標輝度を取得する（３０６）ことは、
   前記基準輝度と輝度ピークとの間のそれぞれの輝度に対応する前記サブ領域ブロックの数の合計を決定することと、
   前記関心領域内の前記複数のサブ領域ブロックの総数に対する前記合計の第２の比を決定することと、
   第３の予め設定されたＡＥＣ情報に基づいて、前記第２の比に対応する第４の輝度を取得することであって、前記第４の輝度は前記目標輝度として機能することと、を含む、請求項１〜５のいずれか一項に記載の方法。
10. 前記目標輝度に応じて、前記基準色チャネルで前記輝度調整を実行する（３１０）ことは、
    前記目標輝度に応じて、前記基準色チャネルに関する輝度収束調整を実行することを含む、請求項１〜９のいずれか一項に記載の方法。
11. 前記関心領域は、顔領域、空領域または建物領域のうちの少なくとも１つを含む、請求項１〜１０のいずれか一項に記載の方法。
12. 前記方法は、前記関心領域を決定することをさらに含み、前記関心領域を決定することは、
    画像上で被写体識別を実行して、被写体が位置する前記関心領域を識別することと、
    画像上で輪郭抽出を実行して、被写体が位置する前記関心領域を識別することと、
    画像プレビュー領域にプレビュー画像を表示し、前記画像プレビュー領域内において前記関心領域の選択を受け取ることと、のうちの１つを含む、請求項１〜１０のいずれか一項に記載の方法。
13. 前記画像上で輪郭抽出を実行して、前記被写体が位置する前記関心領域を識別することは、
    対応する深度情報に基づいて前記画像に関する深度情報抽出を実行し、前記関心領域と他の領域との異なる深度情報に従って前記関心領域が位置する輪郭を決定して、前記輪郭の位置を前記被写体が位置する前記関心領域として決定することを含む、請求項１２に記載の方法。
14. 少なくとも１つのプロセッサ（９１００）と、
    前記少なくとも１つのプロセッサ（９１００）に結合され、少なくとも１つのコンピュータ実行可能命令を格納するコンピュータ可読記憶装置（９２００）と、を備え、前記少なくとも１つのコンピュータ実行可能命令が前記少なくとも１つのプロセッサ（９１００）によって実行されることにより、前記少なくとも１つのプロセッサ（９１００）が、
    関心領域を複数のサブ領域ブロックに分割し、前記関心領域内の前記複数のサブ領域ブロックの輝度に関する統計に基づいて前記関心領域内の各色チャネルの輝度ヒストグラムを取得することであって、色チャネルの輝度ヒストグラムは、輝度と前記色チャネルのサブ領域ブロックの数との間の対応関係を含むことと、
    前記各色チャネルの前記輝度ヒストグラムと、前記輝度と前記サブ領域ブロックの数との間の前記対応関係とに応じて、現在の自動露出制御（ＡＥＣ）輝度を満たす各色チャネルの最低輝度を決定することと、
    各色チャネルの前記最低輝度から最大値を取得して基準輝度を決定し、前記基準輝度に対応する基準色チャネルを取得することと、
    前記現在のＡＥＣ輝度に対応する目標輝度を取得することと、
    前記目標輝度に応じて、前記基準色チャネルに関して輝度収束調整を実行すること、
    の作業を実行する、端末機器（９０）。
15. コンピュータプログラムが記憶された非一時的なコンピュータ可読記憶媒体であって、前記コンピュータプログラムは、プロセッサ（９１００）によって実行されて、請求項１〜１３のいずれか一項に記載の方法における作業を実行する、非一時的なコンピュータ可読記憶媒体。

Images