JP4118864B2 - 撮像装置 - Google Patents

Description

本発明はＣＣＤイメージセンサ等の固体撮像素子を用いた撮像装置に関しており、より具体的には、画素単位の画像データの算出結果を基にγ補正処理を行う撮像装置に関する。

一般的に、画像の階調特性はどの被写体に対しても一様とせず、被写体毎に階調特性を調整することが画質を向上させる上で望ましいと言える。例えば、曇天の屋外や室内においては、被写体の明部と暗部との輝度差が小さいため、コントラストを強調するためにγ係数を大きくする（増幅率を１に近づける）ことが望ましい。反対に、晴天における被写体については、本来コントラストが強いために、コントラストを低下させるべくγ係数を小さくすることが望ましく、結果としてダイナミックレンジの拡張にも寄与することになる。

例えば、下記特許文献１は、被写体の複数箇所を測光し、最大値と最小値の光量差に応じて階調変換を行うことを提案している。

又、下記特許文献２は、画像を複数領域に分割して、注目エリアの平均輝度を変数として、例えば指数関数や1次関数等の単調減少関数を参照してγ補正後の期待輝度を求めてγ補正を行うことを提案している。

特開平３−１０４４８６号公報（第６頁、図１） 特開２０００−２０９４３７号公報（第６頁、図６）

しかしながら、上記特許文献１の公報では、γ係数を決定する際に測光素子を用いる必要があり、検出精度を向上させるために測光領域数を増やすと、その分だけ測光素子も増加することになり、回路規模が大きくなると言う問題点がある。加えて、測光による輝度値しかみていないため、例えば本来ダイナミックレンジが狭い室内画像において、一部の測光領域にのみ照明光が映る様な被写体の場合に、照明光部を高輝度とみなし、光量差を一定値より大きいと判定することで、γ補正の選択を誤る可能性がある。

又、上記特許文献２の公報については、期待輝度値が、基となる画像の評価輝度値の２次関数となり、γ係数を決定するまでのプロセスにおけるＣＰＵの演算量が増加すると言う問題点がある。しかも、上記特許文献２は中央領域及び周辺領域の平均輝度値のみをパラメータとしているため、ダイナミックレンジの狭い画像の一部に照明等の高輝度部がある場合に上記特許文献１と同様にγ補正の選択を誤る可能性があり、反対に晴天時の被写体において画面の各分割領域中に明部と暗部が同等な割合で分布している場合にも、本来ダイナミックレンジの広い画像ではあっても平均値を算出したときには差異が発生せず、結果としてγ補正の選択を誤る可能性がある。

この発明は、上述した様な問題点に鑑み成されたものであり、その目的とするところは、撮像装置において、γ補正の選択を誤ること無く最適なγ補正を実現してコントラストの改善を図ると共に、γ係数選定に際してＣＰＵの演算処理の負担を軽減して短時間での演算処理を可能とする点にある。

本発明の主題に係る撮像装置は、１画面分のＲ、Ｇ、Ｂ画素単位の画像データに基づき電荷蓄積時間を算出する電荷蓄積時間算出部と、１画面を所定数の領域に分割し、前記Ｒ、Ｇ、Ｂ画素単位の画像データに基づき各領域における平均輝度値を算出する平均輝度値算出部と、前記各領域の平均輝度値に基づき特徴値を算出する特徴値算出部と、前記特徴値算出部の算出結果及び前記電荷蓄積時間に基づきγ係数を選定するγ係数選定手段と、前記γ係数選定手段により決定したγ係数を基に前記画像データに対してγ補正を行うγ補正部と、前記γ係数選定手段により決定したγ係数に応じて露出を制御する露出制御部とを備えることを特徴とする。

以下、この発明の主題の様々な具体化を、添付図面を基に、その効果・利点と共に、詳述する。

本発明の主題によれば、被写体のダイナミックレンジを高精度で検出して最適なγ補正を実施することによりコントラスト改善を図ることが出来ると共に、γ係数選定に当たってはＣＰＵの演算処理の負担を軽減して短時間での演算処理を可能とする撮像装置を提供することが出来る。

（実施の形態１）
図１は、本実施の形態における撮像装置の基本構成を示すブロック図である。同図において、ＣＣＤ等の固体撮像素子２は、レンズ１を通して入射した被写体像を光電変換する。アナログ信号処理部３は、固体撮像素子２の出力信号に対して、相関二重サンプリング処理（ＣＤＳ）及び自動信号増幅処理（ＡＧＣ）を実施する。

Ａ／Ｄ変換部４は、アナログ信号処理部３の出力信号を、Ｒ、Ｇ、Ｂの３色に分離されたデジタルデータに変換し、その後、ダイナミックレンジ変換部５は、γ補正に必要なγ係数の選定を行った上で、画像データに対してγ補正を実行する。特に、ダイナミックレンジ変換部５のＣＰＵ７は、本実施の形態の中核部を成す部分に該当し、γ係数ＬＵＴ部８に記憶（設定）されている複数のγ係数の候補値の内で、γ補正に必要なγ係数の選定を行う算出部である。又、ダイナミックレンジ変換部５の信号処理部６は、ＣＰＵ７によって選定されてγ係数ＬＵＴ部８から読み出された、決定されたγ係数（γカーブ）に基づき、γ補正を行う部分を含む。

図２は、図１のダイナミックレンジ変換部５の詳細な構成例を示すブロック図である。図２において、信号処理部６内におけるＲ、Ｇ、Ｂ画素データ読み出し部９は、Ａ／Ｄ変換された画像データから、１画像分の全ての画素について１０ビット精度の信号レベルを読み出し、読み出された１０ビット精度の画像データを後述する各部１０，１１，１２へ出力する。

この信号を受けて、ＣＰＵ７内における領域別平均輝度値算出部１１は、後述する図５に示される様に、１画像を１６分割した場合の各領域（各分割領域）の平均輝度値を、８ビット精度の信号に変換した上で、算出する。

特徴値算出部１３は、領域別平均輝度値算出部１１が出力する領域毎の平均輝度値に基づいて、（１）最大値及び最小値と、（２）上記最大値と上記最小値との差分値（第二の数値に該当）と、（３）各分割領域の平均輝度値を全分割領域について積算した結果を分割領域数で除算して得られる平均輝度値の平均値（ｍ）を各領域の平均輝度値から減算して絶対値をとったものを全分割領域について積算を行った後、分割領域数で除算した第一の数値（σ）を、算出する。ここで、算出された上記（１）、（２）及び（３）の値は、「特徴値」と称される。

又、読み出された１０ビット精度の画像データを受けて、電荷蓄積時間算出部１２は電荷蓄積時間を算出し、その算出結果をγ係数選定部１４に出力する。

その後、特徴値算出値１３の算出結果及び電荷蓄積時間算出部１２にて算出された電荷蓄積時間の両データに基づいて、γ係数選定部１４は、被写体のコントラスト改善に最適であるγ係数の選定を行う。ここで、γ係数ＬＵＴ部８（ルックアップテーブル（ＬＵＴ）はメモリ等の記憶装置に格納されているテーブルデータに該当する）には、予め所定数のγカーブが用意されている。そこで、γ係数選定部１４は、同部１４において選定したγ係数に相当する設定値をγ係数ＬＵＴ部８より読み込み、読み出した設定値（γカーブのデータ）を信号処理部６内のγ補正部１０に出力することで、γ補正部１０は、Ｒ、Ｇ、Ｂ画素データに対してγ補正を実行する。

尚、γ係数選定部１４とγ係数ＬＵＴ部８とから成る構成部分を「γ係数選定手段」と総称することにする。

また、γ係数が０に近い（小さい）ほど画像全体の輝度は上がり、γ係数が１に近い（大きい）ほど画像全体の輝度は下がるため、露出制御部１５ではγ係数選定部１４で選定したγ係数に応じて動的に露出制御を行い、平均画像輝度レベル（ＡＰＬ：Average Picture Level）をγ係数に応じて図７のごとく変更する。所望のＡＰＬへの変更は、露出制御部１５からタイミング発生部１６に対して出力される電荷排出のための駆動パルス数によって電荷蓄積時間を制御することにより実現する。ＡＰＬを上げるためには電荷蓄積時間を長く、ＡＰＬを下げるためには電荷蓄積時間を短くするよう電荷排出のための駆動パルス数の制御を行う。

ここで、γ係数について述べる。本実施の形態では、図３に示す様に、γ係数として、γ＝０.４５、γ＝０.６０、γ＝０.７５の３種類を用意している。図３について説明すると、ｘ軸方向が入力（１０ビット）であり、ｙ軸方向が出力（８ビット）となっており、入力ｘと出力ｙとの間には、次の式（１）で与えられる関係が成立する。

式（１）に於いて、γ係数が１に近い（大きい）程に画像のコントラストが強くなり、逆に、γ係数が０に近い（小さい）程にコントラストが弱くなる。そのため、被写体が屋内にある等してダイナミックレンジが狭い画像に対しては、γ係数の値を大きく設定してコントラストを強くした方がより好ましい画質となる。反対に、被写体が晴天の屋外にある場合などダイナミックレンジが広い画像に対しては、γ係数の値を小さく設定することで、白飛びや黒潰れを低減してダイナミックレンジの広さを維持した画像となり、より好ましい画質となる。

次に、γ係数を選定するまでのプロセスの詳細について、図４のフローチャートを用いて説明する。

先ず、ステップＳ１は、図２の領域別平均輝度値算出部１１に於ける処理である。ステップＳ１では、同部１１は、１画面を１６個の領域に分割し、領域毎に平均輝度値を算出する。平均輝度値の算出にあたっては、以下の式（２）の様に人間の視感特性に準じた計算式を用いることも出来るが、輝度においてはＧ画素が支配的であることと、ＣＰＵの演算処理の軽減と平均値算出時間の短縮化を図る観点から、本実施の形態では、同部１１は、式（３）の如く、Ｇ画素のみを用いて平均輝度値を算出している。

例えば、図５に示す画像において、領域１３における平均輝度値を算出するためには、同部１１は、領域１３内の全てのＧ画素データを積算した上で、当該積算結果を領域１３内のＧ画素数で除算することにより、分割領域１３の平均輝度値を求める。

同部１１は、同様に、他の領域についても順次平均輝度値を算出する。図５を画像の出力イメージとみなすと、最上位ライン左上のＧ画素から右方向へと画素データを読み出し、１ライン分のＧ画素の読み出しが終了すると一つ下のラインのＧ画素について同様の読み出しを行うという動作を繰り返し、最終的に最下位ラインまでのＧ画素データを読み出す。

この様に、同部１１がＧ画素のみを用いて平均輝度値を算出することで、既述した通り、ＣＰＵの演算処理の軽減化と平均値算出時間の短縮化を図ることが出来る。

各領域の平均輝度値算出のタイミングは、図６に示す通りとなる。任意の垂直同期信号（ＶＤ）期間において、先ず領域１３〜１６のＧ画素データについて平均輝度値を算出すると、次は領域９〜１２におけるＧ画素データについて平均輝度値を算出し、領域５〜８、領域１〜４についても順次Ｇ画素の平均輝度値を算出し、全領域について平均輝度値が算出されると、これらの平均輝度値を基に、ブランキング期間において特徴値を算出する。

図４のステップＳ２では、図２の特徴値算出部１３は、１６個の平均輝度値を基に、これらの平均輝度値の最大値と最小値とを求めた上で、当該最大値と当該最小値との差分値（第二の数値）を算出すると共に、既述した第一の数値を算出して、これらの特徴値データをγ係数選定部１４へ出力する。又、特徴値データの算出と並行して、図２の電荷蓄積時間算出部１２は電荷蓄積時間を算出して、当該結果をγ係数選定部１４へ出力する。

図４のステップＳ３以降の各ステップは、図２のγ係数選定部１４に於ける動作である。先ずステップＳ３では、同部１４は、電荷蓄積時間を第１所定値Ａと比較し、比較結果に応じて以降のフローを切り替える。例えば、第１所定値Ａを１／６０秒として、電荷蓄積時間がこれより短時間である場合には、被写体が晴天時の屋外や日陰にある場合と判断し、同部１４は、ステップＳ４に進み、以降、画像の白飛びや黒潰れを低減する様なγ補正を行う。

これに対して、電荷蓄積時間が１／６０秒より長時間又は同時間である場合には、被写体が屋内もしくは曇天時の日陰にある場合であり、このときはダイナミックレンジが狭いと判断し、同部１４は、以降のフローにおいて、コントラスト感を向上するγ補正を行う。具体的には、同部１４は、ステップＳ２に於いて算出された最大値と最小値との差分値（α）の値に応じて、ステップＳ８に於いて、フローを切換えることによりγ係数を決定する。例えば、条件Ｈ（１００＜α＜１５０の場合）では同部１４はγ＝０.６０を適用し、条件Ｉ（０＜α≦１００の場合）では、条件Ｈよりもダイナミックレンジが狭く、コントラスト感が低い画像であると判断して、同部１４はγ＝０.７５を適用してコントラスト感を上げる様に設定する。

ステップＳ３に於いて電荷蓄積時間が１／６０秒より短い場合には、γ係数選定部１４はステップＳ４に進む。ステップＳ４では、同部１４は、１６箇所の領域に対して、被写体の最高輝度部が周囲の１２箇所の領域に存在するか、あるいは中央４箇所の領域に存在するかを選別する。

例えば、背景に空が写る画像においては、最高輝度部が周囲の１２箇所の領域に存在する場合が多い。そのため、最高輝度値領域が画像中央部にあるか否かにより、同部１４は以降のフローを切り替える。

ステップＳ４に於いてＮＯである場合、すなわち最高輝度値領域が画像中央部ではなくて周囲の領域にある場合は最もダイナミックレンジが広い画像であると判断して、同部１４はステップＳ６に進む。

逆にステップＳ４に於いてＹＥＳである場合、すなわち最高輝度値領域が画像中央部にある場合には、画像の周囲に空が写っていない、または画面全面に渡って空しか写っていない、被写体が日陰にある、空は写っているが反射率の高い被写体が画面中央部に存在する等が考えられる。そこで、ステップＳ４に於いてＹＥＳの場合には、同部１４はステップＳ５に移行する。

ステップＳ５では、γ係数選定部１４は、１６箇所の領域の平均輝度値を基に算出された前述の第一の数値σと、第２所定値Ｂとの比較を行う。ここで、第一の数値σが第２所定値Ｂと等しいか又は第２所定値Ｂよりも小さい場合とは、ダイナミックレンジが狭く平坦な画像の場合であり、例えば被写体が日陰にある場合や晴天の屋外であっても建物の壁を画面一面に撮像した場合などに相当する。これに対して、第一の数値σが第２所定値Ｂよりも大きい場合は、周囲に空などの高輝度の被写体がないが明部と暗部が混在した、ダイナミックレンジの広い画像であると、判断する。

各領域の平均輝度値における最大値と最小値とから算出した差分値（第二の数値）のみだけでなく、第一の数値の如く偏差量を規定する値を用いることで、被写体のダイナミックレンジ特性を高精度で判定することが出来る。

本実施の形態では、偏差量を規定する第一の数値として、平均偏差（ｍｅａｎ ｄｅｖｉａｔｉｏｎ：ｍｄ）を用いる。平均偏差ｍｄの算出式は、次の式（４）の通りである。

平均偏差式を用いる利点としては、標準偏差式（表記せず）と異なり、ｘｉの2乗の項や平方根を含まないため、演算処理の負担が小さいことが、挙げられる。

ステップＳ５の第２所定値Ｂを例えば２０に設定し、算出した第一の数値σ（平均偏差ｍｄと同値）との大小を比較する。第一の数値σが２０より大きい場合にはγ係数選定部１４はステップ６へ移行する。逆に、第一の数値σが２０より小さいか等しい場合には、同部１４はステップ７へ移行する。

ステップＳ６では、例えばステップＳ２に於いて算出した最大値と最小値との差分値（第二の数値α）が条件Ｃ（１５０＜α＜２５５）の場合には、最もダイナミックレンジが広い被写体であると判断して、同部１４はγ＝０.４５（γ１に相当）を適用する。差分値（α）が条件Ｄ（１００＜α≦１５０）の場合には同部１４はγ＝０.６０（γ２に相当）を適用し、差分値（α）が条件Ｅ（０＜α≦１００）の場合には同部１４はγ＝０.７５（γ３に相当）を適用する。

同様に、ステップＳ７では、例えばステップＳ２において算出した最大値と最小値との差分値（α）が条件Ｆ（１００＜α＜１５０）の場合には同部１４はγ＝０.６０を適用し、差分値（α）が条件Ｇ（０＜α≦１００）の場合には同部１４はγ＝０.７５を適用する。

尚、本実施の形態の上記記載例に於いては、γ係数ＬＵＴ部８内に用意したテーブル数はγ＝０.４５、γ＝０.６０、及びγ＝０.７５の３通り分であるが、γカーブはより多く用意しても良い（テーブル数は任意）。

更に、分割領域数についても、本実施の形態の１例では１６箇所としたが、１６箇所に限られるものではなく、分割領域数を任意に設定しても問題なきことは自明である。

以上のように、本実施の形態における撮像装置においては、被写体のダイナミックレンジを高精度で検出して最適なγ補正を実施することが出来、これによりコントラスト改善を図ると共に、γ係数選定にあたってはＣＰＵの演算処理の負担を軽減して短時間での演算処理を可能とする撮像装置を提供することが可能である。

（変形例）
尚、本実施の形態では各領域における平均輝度値を用いているが、ＣＰＵの演算処理の負荷の増加分を許容出来るのであれば、平均値ではなくて、中央値（ｍｅｄｉａｎ）を用いることも可能である。ここで、「中央値」とは、各分割領域のＲ、Ｇ、Ｂ画素単位の画像データを降順あるいは昇順に並び替えたときの中央輝度値である。

この様に、平均輝度値に代えて中央値を用いることで、欠陥画素の持つ異常値の影響を無視することが出来ると言う利点がある。

（付記）
以上、本発明の実施の形態を詳細に開示し記述したが、以上の記述は本発明の適用可能な局面を例示したものであって、本発明はこれに限定されるものではない。即ち、記述した局面に対する様々な修正や変形例を、この発明の範囲から逸脱することの無い範囲内で考えることが可能である。

本発明に係る撮像装置は、例えば、カメラ機能を備えた携帯電話や、デジタルスチルカメラや、デジタルビデオカメラや、携帯情報端末（ＰＤＡ）等の機器に適用可能である。

本実施の形態に係る撮像装置の構成例を示すブロック図である。 本実施の形態に係るダイナミックレンジ変換部の構成例を示すブロック図である。 本実施の形態に係るγカーブの構成例を示す図である。 本実施の形態に係るγ係数選定のプロセスの一例を示すフローチャートである。 本実施の形態に係る領域分割の一例を示す図である。 本実施の形態に係る平均輝度値の算出タイミングを示すタイミングチャートである。 γ係数に対するＡＰＬ相対比を示す図である。

符号の説明

１ レンズ、２ 固体撮像素子（ＣＣＤ）、３ アナログ信号処理部、４ Ａ／Ｄ変換部、５ ダイナミックレンジ変換部、６ 信号処理部、７ ＣＰＵ、８ γ係数ＬＵＴ部、９ ＲＧＢ画素データ読み出し部、１０ γ補正部、１１ 領域別平均輝度値算出部、１２ 電荷蓄積時間算出部、１３ 特徴値算出部、１４ γ係数選定部、１５ 露出制御部、１６ タイミング発生部。

Claims (5)

1. １画面分のＲ、Ｇ、Ｂ画素単位の画像データに基づき電荷蓄積時間を算出する電荷蓄積時間算出部と、
   １画面を所定数の領域に分割し、前記Ｒ、Ｇ、Ｂ画素単位の画像データに基づき各領域における平均輝度値を算出する平均輝度値算出部と、
   前記各領域の平均輝度値に基づき特徴値を算出する特徴値算出部と、
   前記特徴値算出部の算出結果及び前記電荷蓄積時間に基づきγ係数を選定するγ係数選定手段と、
   前記γ係数選定手段により決定したγ係数を基に前記画像データに対してγ補正を行うγ補正部と、
   前記γ係数選定手段により決定したγ係数に応じて露出を制御する露出制御部とを備えることを特徴とする、
   撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記特徴値とは、
   分割領域数を母数とする前記各分割領域の平均輝度値から選出した最大値及び最小値と、
   前記最大値と前記最小値との差分値と、
   前記各分割領域の平均輝度値を全分割領域について積算した結果を前記分割領域数で除算して得られる平均輝度値の平均値を前記各分割領域の平均輝度値から減算して絶対値をとったものを全分割領域について積算を行った後、前記分割領域数で除算して算出した第一の数値とであることを特徴とする、
   撮像装置。
3. 請求項２に記載の撮像装置であって、
   前記γ係数選定手段は、前記γ係数の値として、γ１、γ２、γ３の３種類を有しており、
   前記γ１、γ２及びγ３の間には０＜γ１＜γ２＜γ３＜１の関係が成立しており、
   前記特徴値算出部において算出された前記各分割領域における平均輝度値の最大値と最小値の差分値を第二の数値と定義するとき、
   前記γ係数選定手段は、
   前記電荷蓄積時間を第１所定値と比較し、前記電荷蓄積時間≧前記第１所定値である場合には前記第二の数値に応じて前記γ２と前記γ３の何れかを前記γ補正部に与える前記γ係数として選定し、他方、前記電荷蓄積時間＜前記第１所定値の場合には前記各分割領域の平均輝度値の最大値が画像中央部に位置するか、それとも画像周辺部に位置するかを判定し、前記各分割領域の平均輝度値の最大値が前記画像周辺部に位置する場合には前記第二の数値に応じて前記γ１、γ２及びγ３の内の何れかを前記γ補正部に与える前記γ係数として選定し、前記各分割領域の平均輝度値の最大値が画像中央部に位置する場合には前記第一の数値を第２所定値と比較し、前記第一の数値＞前記第２所定値の場合には前記第二の数値に応じて前記γ１、γ２及びγ３の内の何れかを前記γ補正部に与える前記γ係数として選定し、前記第一の数値≦前記第２所定値の場合には前記第二の数値に応じて前記γ２と前記γ３の何れかを前記γ補正部に与える前記γ係数として選定することを特徴とする、
   撮像装置。
4. 請求項１乃至３の何れかに記載の撮像装置であって、
   前記平均輝度値算出部は、Ｒ、Ｇ、Ｂ３種類の画素全てではなく、Ｇ画素のみを用いて前記各分割領域の平均輝度値を算出することを特徴とする、
   撮像装置。
5. 請求項１乃至３の何れかに記載の撮像装置であって、
   前記平均輝度値算出部は、前記各分割領域の平均輝度値ではなくて、前記各分割領域の前記Ｒ、Ｇ、Ｂ画素単位の画像データを降順あるいは昇順に並び替えたときの中央輝度値を用いることを特徴とする、
   撮像装置。
   

Images