Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4323864B2 - デジタルカメラのための較正データを生成する方法及びシステム - Google Patents
[go: Go Back, main page]

JP4323864B2 - デジタルカメラのための較正データを生成する方法及びシステム - Google Patents

デジタルカメラのための較正データを生成する方法及びシステム Download PDF

Info

Publication number
JP4323864B2
JP4323864B2 JP2003144823A JP2003144823A JP4323864B2 JP 4323864 B2 JP4323864 B2 JP 4323864B2 JP 2003144823 A JP2003144823 A JP 2003144823A JP 2003144823 A JP2003144823 A JP 2003144823A JP 4323864 B2 JP4323864 B2 JP 4323864B2
Authority
JP
Japan
Prior art keywords
block
color
data
array
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003144823A
Other languages
English (en)
Other versions
JP2004023784A (ja
JP2004023784A5 (ja
Inventor
ジェイ. マザーソン ケルヴィン
エイ. ウィットマン クリストファー
イー. ヨースト ジェイソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of JP2004023784A publication Critical patent/JP2004023784A/ja
Publication of JP2004023784A5 publication Critical patent/JP2004023784A5/ja
Application granted granted Critical
Publication of JP4323864B2 publication Critical patent/JP4323864B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/02Diagnosis, testing or measuring for television systems or their details for colour television signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、概してデジタル写真術に関し、特にデジタルカメラで使用する較正データの生成に関する。
【0002】
【従来の技術】
色に依存しない周辺光量低下は、カメラによって撮影された写真が、存在する色に係りなく中心から隅に向かって暗化を示す写真現象である。フィルムカメラで撮られた写真もデジタルカメラで撮られた写真もともに、周辺光量低下を示す可能性がある。ある程度の量の周辺光量低下は許容可能であり、実際には美術的な意味からは望ましい。しかしながら、過度な量の周辺光量低下は、大抵の人にとっては好ましくないものである。
【0003】
フィルムカメラかまたはデジタルカメラのいずれにおいても、かかる周辺光量低下は、画像を小さい平面、すなわちフィルムまたは光電変換イメージャ、たとえばCCD上に画像を取込まなければならないことによってもたらされる。いずれのタイプのカメラにおいても、フィルム/イメージャの隅に当る光線は、フィルム/イメージャの中心に直接入射する光線より長い経路を移動し、中心に入射する光とは異なる入射角で到達する。
【0004】
直接(直角に)入射する光とある角度をもって入射する光とに対するフィルム/イメージャの応答の差により、取込画像に不均一性がもたらされ、そのうちのいくつかが周辺光量低下とみなされる。さらに、レンズ系がまた周辺光量低下をもたらす。その上、カメラがフラッシュ装置を使用する場合、フラッシュ装置の被写体面上での照度変化も周辺光量低下の要因となる。
【0005】
デジタルカメラの画像センサは、色に依存する周辺光量低下も同様にもたらす。デジタルカメラにおける通常のカラー画像センサは、モザイクタイプの画像センサ、たとえばCCDを含み、その上に、赤、緑および青色を含むフィルタアレイが形成される。各ピクセルは、対応する赤、緑または青フィルタ領域を有する。カラーフィルタの通常の実施態様は、2ラインパターンを繰り返す。第1ラインは、赤および緑ピクセルが交互に繰り返されたものを含み、第2ラインは、青および緑ピクセルが交互に繰り返されたものを含む。緑ピクセルの数を多くするのは、人間の眼が緑の光に対して比較的高い感度を有していることに対応するためである。そして、センサによって形成されるデータ画像の各色ごとのカラーアレイが組合されることにより、適当な処理の後にフルカラー画像が生成される。
【0006】
【発明が解決しようとする課題】
色に依存する周辺光量低下は、画像センサによって取込まれた画像に示される画像の中心から隅への感色性変化として理解されなければならない。これは、通常の色に依存しない周辺光量低下に加えて存在する。人間の眼は、色に依存する変化に非常に敏感である。このため、色に依存する周辺光量低下は、わずかな量でも非常に不快である。
【0007】
色に依存する周辺光量低下を、より高品質のレンズ系、画像センサおよび/またはフラッシュ装置を使用することによって最小化することができる。しかしながら、これは、システムコストおよび/またはシステム複雑性の最小化が重要な設計基準である状況では実際的でない解決法である。
【0008】
本発明の目的は、デジタルカメラのための較正データを生成する方法(および対応する装置)を提供することである。
【0009】
【課題を解決するための手段】
本発明は、その1つとして、デジタルカメラのための較正データを生成する方法(および対応する装置)を提供する。かかる方法は、カメラの前に、撮影対象の基準面を配置することと、カメラを介して、カメラが撮影することができる、各色における基準面の画像に対応するデータの特性アレイを取込むこととを含む。
【0010】
かかるテクノロジは、方法のみでなく対応するシステムおよびコンピュータ読取可能媒体(プロセッサによる実行時にプロセッサに対し本方法を実行させるコード部分を有する)もまた含む。
【0011】
本発明のさらなる特徴および利点は、例示的な実施形態の以下の詳細な説明と、併記の特許請求の範囲と、添付図面とからより完全に明らかとなろう。
【0012】
【発明の実施の形態】
本発明の実施形態は、一部には、生(処理前の)デジタル画像をデジタル処理することにより、周辺光量低下、たとえば色に依存する周辺光量低下に関してデジタル画像の品質を向上させることができる、という認識である。
【0013】
同様に、本発明の実施形態は、一部には、デジタル画像のデジタル補正が、所望のシーンの生データを補正するために使用することができる基準データまたは補正データに基づくことができる、という認識である。
【0014】
また、同様に、本発明の実施形態は、一部には、かかる較正データを生成するテクノロジを提供する。
【0015】
本発明の実施形態は同様に、一部には、カメラ動作パラメータ、たとえば口径およびズームの多くのあり得る組合せのうちのいくつかに対応して、赤、青および緑の特性アレイセットを何セットか取込んだ場合に、非常に優れた色依存補正結果を得ることができる、という認識である。
【0016】
本発明の実施形態は同様に、一部には、(特性アレイの)較正セットによって表されるデータの量が、画像を表すデータの量と比較して低減されると、優れた色依存補正結果を取得することができる、という認識である。
【0017】
図1は、本発明の実施形態によるデジタルカメラのハードウェアアーキテクチャの概略ブロック図である。図1のデジタルカメラ100は、A/D変換器104にアナログ信号を供給するCCD102を含み、A/D変換器104は、ASIC106にデジタル化されたCCD102の出力を供給する。ASIC106は、CCD102を動作させるために使用されるクロックドライバ108にクロック信号を供給する。
【0018】
また、カメラ100は、ASIC106によってモータドライバ112を介して作動されるズーム(オプション)、焦点調節、絞りおよびシャッタ機構110と、ASIC106によって制御されるストロボドライブ116を介して作動されるストロボユニット114と含む。メモリデバイスに関し、デジタルカメラ100は、揮発性メモリ、すなわちSDRAMデバイス118と、不揮発性メモリ、すなわち内部フラッシュメモリデバイス120と、さらに、外部コンパクトフラッシュ(登録商標)メモリデバイスに接続するためのコネクタ122を含む。ASIC106はまた、USBコネクタ126を介して、外部ワークステーション124にも接続することができる。
【0019】
また、デジタルカメラ100は、ASIC106が通信することを可能にするマイクロコントローラ128も含む。
【0020】
カメラの他のアーキテクチャが考えられる。かかるアーキテクチャの各々は、1つまたは複数のプロセッサと、1つまたは複数の揮発性メモリデバイスと、1つまたは複数の不揮発性メモリデバイスとを含むことができる。
【0021】
図2は、画像形成されたシーンの各々に対しカメラ100が生成する3つのカラープレーンすなわちカラーアレイ(202R、202Gおよび202B)を象徴的に示す。通常、3つのカラーアレイを以下のように生成することができる。カメラ100は、実際には、第1ラインがRGRGRG…であり第2ラインがGBGBGB…であるモザイク画像(図示せず)を生成する。ラインパターンは、2ライン毎に繰り返す。3つのアレイを得るために、モザイク状の画像は2×2のブロックに分離される。これらのブロックの各々から、2つの緑が平均化され赤ピクセルおよび青ピクセルはそのまま取出される。これにより、画像センサのフル解像度の1/4の解像度を有する3つのカラーアレイが生成される。後で説明するが、各カラーアレイ(202R、202Gおよび202B)を同じサイズのブロック206分割することができる。また、各カラーアレイは中心領域204を有する。
【0022】
CCD102は、複雑および/または高性能でないほど、色に依存する周辺光量低下を受け易くなる。色に依存する周辺光量低下の程度を測定する技法は、一様に照明された白色ターゲットを、デジタルカメラを用いて撮影し、その後各カラーアレイを別々に評価する、というものである。評価は、X軸およびY軸が、画像を形成するピクセルの列の値および行の値に対応する等高線図の形態をとることができる。図3A、図3Bおよび図3Cは、あるカメラパラメータ(たとえば、ズーム、開口、シャッタスピード等)の組合せに対応する、赤アレイ、緑アレイおよび青アレイそれぞれの等高線図例を示す。各図の右側のグレースケールは、−20%から+20%まで変化する、対応する等高線中に見える濃淡の範囲を説明する凡例である。言換えれば、等高線は、2%の間隔で濃淡強度の差を示している。
【0023】
図3A、図3Bおよび図3Cから、ピクセル強度、すなわち各ピクセルにおけるCCD102の赤、緑および青の光に対する感度が、一様に照明された白色ターゲットの画像に対して変化しているため、例示したカメラが色に依存しない周辺光量低下を示す、ということが分かる。色に依存しない周辺光量低下が示されなかった場合、CCD102のすべてのピクセル位置におけるすべてのピクセルの強度が画像の中心の値と等しい筈である。
【0024】
図3A、図3Bおよび図3Cをさらに調べることにより、各々が異なることも分かる。したがって、図3A、図3Bおよび図3Cを見比べることにより、カメラ100が色に依存する周辺光量低下を生じていることもわかる。言換えれば、図3A、図3Bおよび図3Cの各々がみな同じであった場合、カメラ100は、色に依存する周辺光量低下を示さないことになる。
【0025】
図4は、図3A、図3Bおよび図3Cの実施例の各々からのピクセル配列中の同じ任意の行、たとえば第800行の並びに対応して、列番号に対してプロットされた赤ピクセル値、緑ピクセル値および青ピクセル値のグラフを示す。カメラ100が色に依存しない周辺光量低下を有していない場合、図4は、3つの水平線のプロットになる。加えて、カメラ100が色に依存する周辺光量低下を示した場合、3つの線は別々になる。しかしながら、色に依存する周辺光量低下もなかった場合、3つの水平線は重なり合い、図の上には1つの水平線しか見えないことになる。
【0026】
カメラが色に依存しない周辺光量低下を示す状況では、図4の状況のようにプロットは何らかの曲線となる。カメラが色に依存する周辺光量低下を示さない(しかしながら、色に依存しない周辺光量低下は示す)場合、3つの曲線は同一であって重なり合うことにより、実際には図の上に1つの曲線しか見えなくなる。カメラが色に依存しない周辺光量低下とともに色に依存する周辺光量低下の両方を示す場合、結果は、図4プロットされたようになる。
【0027】
図4において、各ピクセル値の大きさは、その中心ピクセルの値に関して規格化されている。すなわち、各ピクセル強度は、規格化された中心ピクセルが1.0すなわち100%の強度を有するように、対応する中心ピクセルの強度によって除算されている。
【0028】
色に依存する周辺光量低下を低減するために使用することができる較正データを作成するために、各カラーアレイが色依存性を示す程度を正確に反映する生データ、すなわち特性データを、取得、たとえば取込まなければならない。まず、図5に示すように、カメラ100を、白色平面の自発光較正源502の前に、非常に近接させて、たとえば1mm未満に配置する。CCD102に到達する較正源502以外からの光を最小化するために、カメラ100を較正源502に非常に近接して配置する。かかる較正源502は、京立電機株式会社から提供されるARROWINブランドの較正源、モデルLB−5000ライトソースが使用可能である。
【0029】
カメラの露出を、CCD102のダイナミックレンジのおよそ1/4を較正源502の画像形成に使用するように設定することができる。このような露出設定としたのは、撮影者の一般的な写真がCCD102のダイナミックレンジの1/4しか使用しないためである。焦点調節距離は、CCD102を有するデジタルカメラで最も一般的に使用される焦点調節距離であることから、無限遠に設定されることが提唱される。画像を取込むために使用される露出の量と焦点調節距離とは、(他のカメラ動作パラメータと同様に)別の例が考えられる。それは、最適値が、較正データを生成することを仕事とする操作者の判断によって異なるためである。
【0030】
露出の量および焦点調節距離に加えて、デジタルカメラ100の他の動作パラメータがある。動作パラメータには、ズーム、絞り、シャッタスピード等が含まれる。理想的には、較正源の画像データは、カメラ100の動作パラメータとして可能性のあるすべての較正に対して取込まれる。しかしながら、実際問題として、それほど多くのデータを格納することにより、不揮発性メモリデバイスのサイズが非常に大きく、かつ/または非常に高価となるため、これは可能ではない。しかしながら、テクノロジが進歩するにしたがい、次第に実現可能になると考えられる。
【0031】
通常、カメラ100のコストを最低限にし、かつ/またはカメラのサイズを縮小するために、不揮発性メモリ、たとえばフラッシュメモリ120のサイズを最小に維持することが望ましい。そうするためには、カメラ100のパラメータのあり得る組合せのすべてに対応するよりも少ない赤、青および緑の特性アレイからなる較正セットを格納するべきである。
【0032】
特に、3つの絞り設定(0、1/2、フルすなわち1.0)と3つのズーム設定(広角、中間および望遠)とを有するカメラ100の実施例では、以下の組合せに対応する赤、青および緑の特性アレイ6つの較正セットが格納される場合、優れた色依存補正を達成することができる。その組み合わせとはすなわち、広角ズームおよび1/2開口と、中間ズームおよび1/2開口と、望遠ズームおよび1/2開口と、広角ズームおよびフル開口と、中間ズームおよびフル開口と、望遠ズームおよびフル開口とである。しかしながら、動作パラメータのあり得る組合せのすべてに対応するよりも少ないアレイを使用するにも関らず、優れた色依存補正結果を達成する、動作パラメータの他の組合せを選択することができる、ということが想像される。
【0033】
色に依存する周辺光量低下補正をする場合、白色較正源に対応する3つの特性カラーアレイ(特性アレイ)のうち、1つの特性カラーアレイにおいて白色較正源に応答して示される周辺光量低下を、所与の画像に対して他のカラーアレイが補正される際の標準として選択すべきである。ここでは、赤および青のアレイが補正される際に、応答分布として緑アレイが選択される。それはたとえば、人間の眼が緑光の波長に対して最も敏感であるためである。しかしながら、規格化のための基礎として赤アレイまたは緑アレイを選択することが可能である。
【0034】
上述したように、生カラーアレイにおける各ピクセルを、その対応する較正係数を使用して色に依存する周辺光量低下について補正することができる。緑による規格化の色依存補正のシナリオにおいて、各色の補正係数、すなわちCR(x,y)、CG(x,y)およびCB(x,y)を確定する式は、
R(x,y)=(Gref(x,y)/Rref(x,y))×(Rref center/Gref center
B=(Gref/Bref)×(Bref center/Gref center
G=1
=(Gref/Gref)×(Gref center/Gref center
である。ここでは、緑による規格化を行う例を想定しているため、生の緑ピクセルデータに対し色依存補正係数はない。かかる緑による規格化は、赤、青各ピクセルに対して2つの緑ピクセルが配列されるモザイクセンサにおいて、計算効率がよくなるので有利である。添字「ref」は、それぞれのピクセル値が特性カラーアレイからのものであることを示す。すなわち、白色較正源を撮像した時に取込まれた生データであることを示す。そして、添字「center」は、それぞれの特性アレイの中心のピクセル値を示す。上記式中、CB(x,y)、CG(x,y)を求める式中で(x,y)の表記は省略してある。以下も同様である。
【0035】
R、CBおよびCGに対する式を使用して生成された較正係数のセットは、色に依存しない周辺光量低下を依然として含むが、各カラーアレイにおいて画像中心から各周辺へ向かうにつれて生じる色の変化を補正する。プロセッサ128および/またはASIC106は、補正係数を計算することができる。代替的に、ワークステーション124が、計算を補うかまたは計算のすべてを行うことができる。
【0036】
緑による規格化を行う例において、ピクセルR(x,y)、G(x,y)またはB(x,y)の色補正のための式は、
corr=CR×Rraw
corr=CB×Braw
corr=Graw
である。ここで、添字「raw」は、生データのピクセルの強度を示し、添字「corr」は、補正されたピクセルの強度を示す。生の緑データアレイの補正係数は、緑による規格化をした場合には1である、ということを想起しなければならない。この場合もまた、色補正計算を、プロセッサ128および/またはASIC106によって実行することができる。代替的に、色補正計算を、ワークステーション124によって部分的にまたは全体的に実行することができる。
【0037】
色に依存しない周辺光量低下を色に依存する周辺光量低下と同様に除去することが望ましい場合、以下の式を使用することができる。
【0038】
r=Rref center/Rref(x,y)
b=Bref center/Bref(x,y)
g=Gref center/Gref(x,y)
corrおよびBcorrに対する上記式は同じままである。Gcorrに対する新たな式は、
corr=Cg×Graw
となる。
【0039】
市場における一般的なカメラは、1メガピクセルと5メガピクセルとの間を有するセンサを備える。2メガピクセルセンサの場合、1,600×1,200=1,920,000ピクセルある。そして、市場においてさらに一般的になってきている3メガピクセルカメラは、2,048×1,536=3,145,728ピクセル有する。本発明は、較正アレイの6つのセット(セットが赤、青および緑アレイを含む)が優れた結果を得るために十分であり得るという認識であるが、これは、18メガバイトを超えるデータに対応する。一般に、この多量のデータは、多量の不揮発性、たとえばフラッシュメモリを消費する。
【0040】
特性アレイを表すデータの量を低減するために、特性アレイをブロック、たとえば64×64または32×32に分割することができる。ブロックの実際のサイズは、各ブロック内でのピクセル間の濃淡変化が1%未満である可能性が高くなるように経験的に予め確定することができる。ブロック内におけるすべての値を代表する値を確定し、その値を縮小特性アレイに入力する。これらの対応する縮小特性アレイは、較正セットアレイとして周知である。このデータ縮小プロセスを、図6に象徴的に示す。理解を容易にするために、図6は、32×32ピクセルしか有していない特性アレイを想定し、8×8ピクセルのブロックが4×4の較正アレイにマッピングされるものとする。
【0041】
各ブロック(図2における206)におけるデータの量を低減する第1の例示的な技法は、ブロック内のより小さい、好ましくは中心に位置するサブブロックを選択するというものである。図6は、視覚的に簡単であるように2×2ピクセルのサブブロックを想定する。サブブロックを平均化することができ、平均値を、較正セットの対応するアレイに対応するエントリとして格納することができる。
【0042】
代替的に、ブロックの値をローパスフィルタリングすることができる。より詳細には、周波数領域において、高周波数データは隣接するピクセル間で大きな変化があることを表す。これは、画像センサにおけるホット(hot)ピクセルまたはコールド(cold)ピクセルを示す。ホットピクセルは、入射光の強度に係り無く常に高出力を出力する。同様に、コールドピクセルは、入射光の強度に係り無く常に低出力を出力する。かかる高周波数データを、ローパスフィルタによって除去する。そして、フィルタリングされたブロックの中央値を、較正アレイにおける代表値として計算し選択することができる。
【0043】
他のデータ量縮小プロセスを使用することができることが予期される。かかる選択は、本発明が適用される環境によって決まる。
【0044】
図7は、本発明の実施形態による動作を示すフローチャートである。フローはブロック702から始まり、ブロック704に進み、カメラ100に対して基準面502が配置される。ブロック706において、カメラ100は、基準面502の画像を表すデータの特性アレイを取込む。ブロック708において、特性アレイが操作されることにより、較正情報が生成される。ブロック708は、ブロック710の形態をとることができ、そこでは、特性アレイのサイズが縮小され、代表アレイがもたらされる。もしくは、ブロック708はブロック712の形態をとることができ、そこでは特性アレイが多項式によってモデル化される。代替的に、ブロック708を、ブロック710および712の組合せとして実行することができる。フローはブロック708からブロック714に進み、そこで較正情報が格納される。ブロック714の後、フローはブロック716で終了する。
【0045】
図8は、ブロック710をより詳細に示すフローチャートである。フローはブロック802から始まり、ブロック804に進み、そこで各特性アレイが複数のブロックに分割される。次のステップブロック806において、各ブロックの代表値が確定される。ブロック808において、特定アレイの代表値が、縮小較正アレイとして配置される。フローはブロック808からブロック810に進み、そこでフローが終了する。
【0046】
縮小特性アレイのセット、すなわち較正セットが確定されると、このセットをフラッシュメモリ120に格納することができる。
【0047】
較正セットを使用して周辺光量低下を補正することは、本願と同一の譲受人に譲渡された係属中の米国特許出願、代理人整理番号第10017634−1号に述べられており、その開示内容はすべて参照により本明細書に援用される。
【0048】
なお、特性データを縮小するプロセス(較正セットをもたらす)は、カメラ内の、たとえばマイクロコントローラ128および/またはASIC106によるか、またはカメラの外部で部分的または全体的にワークステーション124により、実行することができる。
【0049】
較正アレイを使用して画像データを較正する場合、白色較正源502の色補正で使用された白色点の関数として補正値を計算することが望ましい。
【0050】
白色較正源に対して使用する色補正の関数として画像を補正することが望ましい状況では、白色較正源の色補正をうまく考慮に入れないと、画像パイプラインでの光源検出および色補正に悪影響を及ぼす可能性がある。白色点は、すべてのカメラで異なるものであるから、好ましくは、白色較正源502の画像の中心領域204中のピクセル(図2)について平均をとる計算をすることができるものである。
【0051】
代替的に、本発明の実施形態は、カメラパラメータのすべてのあり得る組合せに対し較正係数のセットを格納するのではなく、多項式を較正係数の各セットに適合し、代りに多項式係数の各セットを格納することにより、基準画像を表すデータの量を効果的に低減する。そして、所与のカメラ動作パラメータの組合せに対し、較正係数のセットをそれぞれ計算するために使用することができる多項式のセットを選択することができる。この多項式技法は、本願と同一の譲受人に譲渡された係属中の米国特許出願、代理人整理番号第10017633−1号に述べられており、その開示内容はすべて参照により本明細書に援用される。
【0052】
多項式の係数の組合せは、フラッシュメモリ120に格納することができる。ASIC106および/またはマイクロコントローラ128は、フラッシュメモリ120から適当な係数の組合せを読出し、特定の較正係数を計算し、較正係数を使用して、対応するピクセルの生の強度をスケーリングすることにより補正されたピクセルの強度を取得し、その後補正された値をフラッシュメモリ120に格納することができる。
【0053】
多項式を、最小二乗分析、回帰分析等を使用して経験的に各特性アレイにフィッティングさせることができる。数値分析、マトリックス計算、信号処理および画像処理演算を統合することにより多項式でフィッティングする能力を提供する周知のプログラムの例として、MATLABという商標名でTHE MATHWORKS, INC.から提供されるものがある。特性データを、多項式を用いてフィッティング処理するワークステーション124に転送することができる。そして、多項式の係数を、カメラの不揮発性メモリ、たとえばフラッシュメモリ120に格納することができる。
【0054】
本発明は、以下の利点を含む。
【0055】
本発明の実施形態によるデジタル処理を使用して色に依存する周辺光量低下を除去することにより、カメラのレンズ、センサおよびフラッシュユニットに対する性能要件が緩和される。この結果、カメラのコストが低減する。
【0056】
カメラの個々の構成部品がそれら独自の製造公差を有するため、カメラが組立てられた後、本発明の実施形態による較正アレイを確定する結果、それぞれの構成部品が個々に有する公差が考慮されるため画質が向上する。これにより、レンズ、センサおよびフラッシュユニットの特定の物理特性を調整して色に依存する周辺光量低下を除去する他の方法より、優れた画質がもたらされる。それは、上記の他の方法では、妥当なコストで製造公差に対する補償をすることができないためである。
【0057】
本発明の実施形態によるカメラを、色に依存する周辺光量低下に対して較正することにより、異なる開口設定およびズーム設定で生じる、色に依存する周辺光量低下の変化を低減させ、除去することも可能である。
【0058】
本発明を、その精神および本質的な特性から逸脱することなく他の形態で具体化してよい。説明した実施形態は、本発明の単なる限定しない実施例として考慮されなければならない。本発明の範囲は、併記の特許請求の範囲によって判断されなければならない。特許請求の範囲の意味および等価物内にある変化はすべて、それらの適用範囲内に包含されることになる。
【図面の簡単な説明】
【図1】本発明の実施形態によるデジタルカメラのハードウェアアーキテクチャの概略ブロック図である。
【図2】本発明の実施形態によるデジタルカメラによって生成された3つのカラープレーンすなわちカラーアレイを象徴的に示す。
【図3A】本発明の実施形態により生成された赤のカラーアレイのピクセル感度の例示的な等高線図を示す。
【図3B】本発明の実施形態により生成された緑のカラーアレイのピクセル感度の例示的な等高線図を示す。
【図3C】本発明の実施形態により生成された青のカラーアレイのピクセル感度の例示的な等高線図を示す。
【図4】図3A乃至図3C中の、ある1行のピクセルに対応するピクセル強度(ディジタル値)をプロットしたグラフである。
【図5】本発明の実施形態によるデジタルカメラの特性カラーアレイを取込む構成を示す。
【図6】本発明の実施形態によるデータ縮小技法を象徴的に示す。
【図7】本発明の実施形態による動作を示す。
【図8】図7のブロック710をより詳細に示す。
【符号の説明】
100 … カメラ 102 … CCD 106 … ASIC
120 … 内部フラッシュメモリ 124 … ワークステーション
202B、202G、202R … カラープレーンすなわちカラーアレイ
204 … 中央領域 206 … ブロック
502 … 自発光白色面(自発光較正源;基準面

Claims (6)

  1. デジタルカメラのための較正データを生成する方法であって、
    前記デジタルカメラの前に、前記較正データを生成するために定められた、撮影対象となる基準面を配置することと、
    前記デジタルカメラで撮影して得られる前記基準面の画像に対応する各色のデータの特性アレイを、前記デジタルカメラを介して取り込むことと、
    前記各色のデータの特性アレイに対して、
    当該特性アレイを複数のブロックに分割することと、
    各前記ブロックの代表値を当該ブロック内のデータの関数として決定することと、
    前記代表値を前記較正データの縮小アレイとして配置することと
    を少なくともおこなうこととを含み、
    前記決定することには、少なくとも、
    前記ブロック内でデータのサブブロックを選択することと、
    前記ブロック内のピクセル強度を処理して前記代表値を得ることと、
    が含まれ
    前記ピクセル強度を処理して前記代表値を得ることが、前記サブブロック内の前記ピクセル強度の平均を求めて該平均を前記代表値とすることである、ことを特徴とする方法。
  2. 前記ブロックのサイズが32×32あるいは64×64であることを特徴とする請求項1に記載の方法。
  3. 前記サブブロックが前記ブロックの中心に置かれることを特徴とする請求項1に記載の方法。
  4. デジタルカメラの較正データを生成するシステムであって、
    前記較正データを生成するために定められた、撮影対象となる基準面と、
    前記デジタルカメラで撮影して得られる前記基準面の画像に対応する各色のデータの特性アレイを取込むイメージャと、
    前記デジタルカメラ内と前記デジタルカメラの外部とのうちの少なくとも一方に存在し、前記各色のデータの特性アレイに対して
    当該特性アレイを複数のブロックに分割することと、
    各前記ブロックの代表値を当該ブロック内のデータの関数として決定することと、
    前記代表値を前記較正データの縮小アレイとして配置することと
    を少なくともおこなう処理回路と、
    を具備し、
    前記決定することをおこなうときは、前記処理回路が少なくとも、
    前記ブロック内でデータのサブブロックを選択することと、
    前記ブロック内のピクセル強度を処理して前記代表値を得ることと、
    をおこない、
    前記ピクセル強度を処理して前記代表値を得ることにおいて、前記処理回路が、前記サブブロック内の前記ピクセル強度の平均を求め、該平均を前記代表値とする、ことを特徴とするシステム。
  5. 前記ブロックのサイズが32×32あるいは64×64であることを特徴とする請求項4記載のシステム。
  6. 前記サブブロックが前記ブロックの中心に置かれることを特徴とする請求項4に記載のシステム。
JP2003144823A 2002-06-20 2003-05-22 デジタルカメラのための較正データを生成する方法及びシステム Expired - Fee Related JP4323864B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/174,946 US7151560B2 (en) 2002-06-20 2002-06-20 Method and apparatus for producing calibration data for a digital camera

Publications (3)

Publication Number Publication Date
JP2004023784A JP2004023784A (ja) 2004-01-22
JP2004023784A5 JP2004023784A5 (ja) 2006-07-06
JP4323864B2 true JP4323864B2 (ja) 2009-09-02

Family

ID=29733733

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003144823A Expired - Fee Related JP4323864B2 (ja) 2002-06-20 2003-05-22 デジタルカメラのための較正データを生成する方法及びシステム

Country Status (3)

Country Link
US (1) US7151560B2 (ja)
JP (1) JP4323864B2 (ja)
NL (1) NL1023710C2 (ja)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4147059B2 (ja) * 2002-07-03 2008-09-10 株式会社トプコン キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置
US7388610B2 (en) * 2002-08-16 2008-06-17 Zoran Corporation Techniques of modifying image field data by extrapolation
EP1447977A1 (en) * 2003-02-12 2004-08-18 Dialog Semiconductor GmbH Vignetting compensation
JP4242669B2 (ja) * 2003-03-04 2009-03-25 パナソニック株式会社 シェーディング補正方法および装置、並びにデジタルカメラ
JP4383833B2 (ja) * 2003-11-17 2009-12-16 東芝モバイルディスプレイ株式会社 表示装置
CN101015197B (zh) 2004-06-07 2010-10-27 诺基亚公司 用于提高图像质量的方法和装置
US20050280881A1 (en) * 2004-06-18 2005-12-22 Microsoft Corporation System and method for determination of a white point for calibration of an image capturing device
JP4496354B2 (ja) * 2004-06-18 2010-07-07 独立行政法人 宇宙航空研究開発機構 カメラ校正のための透過型校正器具とその校正法
EP1628123A1 (en) * 2004-08-17 2006-02-22 Dialog Semiconductor GmbH Testing of miniaturized cameras with electronic and/or optical zoom functions
US7961973B2 (en) * 2004-09-02 2011-06-14 Qualcomm Incorporated Lens roll-off correction method and apparatus
EP1648181A1 (en) 2004-10-12 2006-04-19 Dialog Semiconductor GmbH A multiple frame grabber
KR100682975B1 (ko) 2004-11-01 2007-02-15 한국전자통신연구원 디지털 카메라 시스템의 비네팅 현상 제거 방법 및 이를적용한 디지털 카메라
EP1703720A3 (en) * 2005-02-25 2010-01-20 Ricoh Company, Ltd. Correcting light amount in non-centered-area of optically shot image
US7405816B2 (en) * 2005-10-04 2008-07-29 Nokia Corporation Scalable test target and method for measurement of camera image quality
WO2007042853A1 (en) * 2005-10-13 2007-04-19 Nokia Corporation Method and system for vignetting elimination in digital image
DE102005050302B4 (de) * 2005-10-17 2007-07-26 Yara International Asa Verfahren und Vorrichtung zum berührungslosen Ermitteln des aktuellen Ernährungszustandes eines Pflanzenbestandes und zum Verarbeiten dieser Informationen zu Düngeempfehlungen
US20070211154A1 (en) * 2006-03-13 2007-09-13 Hesham Mahmoud Lens vignetting correction algorithm in digital cameras
FR2899696B1 (fr) * 2006-04-06 2008-06-20 Dxo Labs Sa Procede de traitement d'un phenomene d'eclairement relatif sur une image numerique et systeme de traitement associe
KR100801057B1 (ko) * 2006-07-18 2008-02-04 삼성전자주식회사 컬러 보정 블럭을 구비하는 cmos 이미지 센서 및 그이미지 센싱 방법
GB2442050A (en) * 2006-08-29 2008-03-26 Micron Technology Inc Image pixel value correction
US7782380B2 (en) * 2006-09-01 2010-08-24 Aptina Imaging Corporation Positional gain adjustment and surface generation for image processing
KR100845033B1 (ko) * 2006-12-27 2008-07-09 노키아 코포레이션 디지털 이미징 디바이스에서 이미지 품질을 개선하기 위한방법, 장치, 이미징 모듈 및 프로그램
DE602007011192D1 (de) 2007-01-25 2011-01-27 Research In Motion Ltd Elektronisches Handgerät und Kamera mit Blitzausgleich der Bilder und dazugehöriges Verfahren
US7702235B2 (en) 2007-01-25 2010-04-20 Research In Motion Limited Handheld electronic device and camera providing flash compensation of images, and associated method
US20080278613A1 (en) * 2007-05-11 2008-11-13 Micron Technology, Inc. Methods, apparatuses and systems providing pixel value adjustment for images produced with varying focal length lenses
US8078001B2 (en) * 2007-05-11 2011-12-13 Micron Technology, Inc. Methods, apparatuses and systems for piecewise generation of pixel correction values for image processing
CN100583956C (zh) * 2007-06-25 2010-01-20 鸿富锦精密工业(深圳)有限公司 成像设备及其镜头光线强度衰减补偿方法
US7907185B2 (en) * 2007-07-16 2011-03-15 Aptina Imaging Corporation Lens correction logic for image sensors
US8023758B2 (en) * 2007-08-07 2011-09-20 Qualcomm Incorporated Surface mesh matching for lens roll-off correction
US8463068B2 (en) 2007-08-09 2013-06-11 Micron Technology, Inc. Methods, systems and apparatuses for pixel value correction using multiple vertical and/or horizontal correction curves
WO2009067121A1 (en) * 2007-11-23 2009-05-28 Hewlett-Packard Development Company, L.P. Camera sensor system self-calibration
US8331722B2 (en) * 2008-01-08 2012-12-11 Aptina Imaging Corporation Methods, apparatuses and systems providing pixel value adjustment for images produced by a camera having multiple optical states
GB0801443D0 (en) * 2008-01-25 2008-03-05 Micron Technology Inc Methods, systems and apparatuses for pixel signal correction using elliptical hyperbolic cosines
EP2279612B1 (en) * 2008-05-22 2013-03-20 Hewlett-Packard Development Company, L.P. Camera sensor correction
US8149279B2 (en) * 2008-08-18 2012-04-03 Apple Inc. Apparatus and method for compensating for variations in digital cameras
US8194136B1 (en) 2009-01-26 2012-06-05 Amazon Technologies, Inc. Systems and methods for lens characterization
EP2422524A4 (en) * 2009-04-22 2014-05-07 Hewlett Packard Development Co SPACE VARIATION SPECTRAL RESPONSE CALIBRATION DATA
US10005682B1 (en) 2009-10-02 2018-06-26 Tersano Inc. Holding tank-less water ozonating system
KR20110047540A (ko) * 2009-10-30 2011-05-09 삼성전자주식회사 디지털 카메라 및 그 제어방법
JP5898501B2 (ja) 2012-01-13 2016-04-06 キヤノン株式会社 画像処理装置、撮像装置、制御方法、プログラム及び記録媒体
KR20140070120A (ko) * 2012-11-30 2014-06-10 삼성전자주식회사 디스플레이 장치의 색 보정 장치 및 그 보정 방법
EP3182697A1 (en) * 2015-12-15 2017-06-21 Thomson Licensing A method and apparatus for correcting vignetting effect caused on an image captured by lightfield cameras
KR20220152019A (ko) * 2021-05-07 2022-11-15 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그 동작 방법

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59100685A (ja) * 1982-11-30 1984-06-09 Toshiba Corp カラ−テレビジヨンカメラ装置
US5523553A (en) * 1983-10-19 1996-06-04 Nikon Corporation Camera with focus detecting device for removing vignetting effects
JPH0756530B2 (ja) * 1986-03-31 1995-06-14 株式会社ニコン 撮影レンズ鏡筒およびカメラ
FR2657208B1 (fr) * 1990-01-16 1992-04-10 Thomson Consumer Electronics Procede et dispositif de correction automatique de geometrie, de superposition de couleurs et d'uniformite d'image pour camera de television.
US5319443A (en) * 1991-03-07 1994-06-07 Fanuc Ltd Detected position correcting method
JPH04284087A (ja) 1991-03-13 1992-10-08 Canon Inc 電子スチルカメラ
DE4135210A1 (de) * 1991-10-25 1993-04-29 Broadcast Television Syst Verfahren und schaltung zur korrektur von abschattungen
EP0562657B1 (en) * 1992-03-17 1998-09-16 Koninklijke Philips Electronics N.V. Imaging system with means for compensating vignetting and X-ray examination apparatus comprising such an imaging system
IL107835A (en) * 1993-12-02 1996-07-23 Genop Ltd Method and system for testing the performance of a device for use with an electro-optical system
JP3571792B2 (ja) 1995-03-15 2004-09-29 キヤノン株式会社 撮像装置の制御方法、撮像装置の外部制御装置及び外部制御装置の制御方法
US6452629B1 (en) * 1995-03-15 2002-09-17 Canon Kabushiki Kaisha System for installing image sensing program
US6707500B1 (en) * 1995-03-17 2004-03-16 Canon Kabushiki Kaisha Image pickup apparatus with correction of held exposure parameters and lens spherical aberration correction
JP3550440B2 (ja) * 1995-04-13 2004-08-04 イーストマン・コダックジャパン株式会社 オートホワイトバランス調整装置
US5764386A (en) * 1996-01-25 1998-06-09 Medar, Inc. Method and system for automatically monitoring the colors of an object at a vision station
US6016161A (en) * 1996-01-25 2000-01-18 Medar, Inc. Method and system for automatically calibrating a color-based machine vision system
US7023472B1 (en) * 1999-04-23 2006-04-04 Hewlett-Packard Development Company, L.P. Camera calibration using off-axis illumination and vignetting effects
US6437823B1 (en) * 1999-04-30 2002-08-20 Microsoft Corporation Method and system for calibrating digital cameras
US6833862B1 (en) * 1999-06-30 2004-12-21 Logitech, Inc. Image sensor based vignetting correction
US7038712B1 (en) * 2002-04-18 2006-05-02 Hewlett-Packard Development Company, L.P. Geometric and photometric calibration of cameras

Also Published As

Publication number Publication date
NL1023710C2 (nl) 2006-02-21
JP2004023784A (ja) 2004-01-22
US7151560B2 (en) 2006-12-19
NL1023710A1 (nl) 2003-12-23
US20030234864A1 (en) 2003-12-25

Similar Documents

Publication Publication Date Title
JP4323864B2 (ja) デジタルカメラのための較正データを生成する方法及びシステム
US7233352B2 (en) Method and apparatus for color non-uniformity correction in a digital camera
JP4161295B2 (ja) 画像センサのダイナミックレンジを拡大するカラー画像撮像システム
JP4826028B2 (ja) 電子カメラ
KR20040073378A (ko) 비네팅 보상
JP6734647B2 (ja) 撮像装置
JPWO2016143139A1 (ja) 画像処理装置、画像処理方法およびプログラム
US7502057B2 (en) Method and apparatus for color non-uniformity correction in a digital camera
JPWO2016143134A1 (ja) 画像処理装置、画像処理方法およびプログラム
WO2017130281A1 (ja) 画像処理装置、画像処理方法およびプログラム
JP5475393B2 (ja) 撮像システムおよび補正方法
JP3889867B2 (ja) 撮像装置
JP5127628B2 (ja) 画像処理装置および画像処理方法
CN105745923B (zh) 摄像装置及图像处理方法
US7092029B1 (en) Strobe lighting system for digital images
US10937230B2 (en) Image processing
JP5993124B2 (ja) 撮像装置
JP4993670B2 (ja) 撮像装置及びその制御方法
US20220239810A1 (en) Image Sensor and Image Photographing Apparatus and Method
JP7726766B2 (ja) 撮像装置、撮像方法、及びプログラム
CN115134498B (zh) 一种图像传感器、摄像头模组、电子设备及图像处理方法
JP2013172261A (ja) 撮像装置
JP4027643B2 (ja) 撮像処理装置
JP2011055336A (ja) 撮像装置及び信号処理方法
Stump Camera Sensors

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060522

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060522

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080617

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090526

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090605

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120612

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees