JP4323864B2 - デジタルカメラのための較正データを生成する方法及びシステム - Google Patents
デジタルカメラのための較正データを生成する方法及びシステム Download PDFInfo
- Publication number
- JP4323864B2 JP4323864B2 JP2003144823A JP2003144823A JP4323864B2 JP 4323864 B2 JP4323864 B2 JP 4323864B2 JP 2003144823 A JP2003144823 A JP 2003144823A JP 2003144823 A JP2003144823 A JP 2003144823A JP 4323864 B2 JP4323864 B2 JP 4323864B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- color
- data
- array
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 17
- 238000012545 processing Methods 0.000 claims description 12
- 230000002093 peripheral effect Effects 0.000 description 24
- 230000001419 dependent effect Effects 0.000 description 22
- 238000012937 correction Methods 0.000 description 19
- 238000003491 array Methods 0.000 description 18
- 230000009467 reduction Effects 0.000 description 16
- 230000035945 sensitivity Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011038 discontinuous diafiltration by volume reduction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 235000021384 green leafy vegetables Nutrition 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Description
【発明の属する技術分野】
本発明は、概してデジタル写真術に関し、特にデジタルカメラで使用する較正データの生成に関する。
【0002】
【従来の技術】
色に依存しない周辺光量低下は、カメラによって撮影された写真が、存在する色に係りなく中心から隅に向かって暗化を示す写真現象である。フィルムカメラで撮られた写真もデジタルカメラで撮られた写真もともに、周辺光量低下を示す可能性がある。ある程度の量の周辺光量低下は許容可能であり、実際には美術的な意味からは望ましい。しかしながら、過度な量の周辺光量低下は、大抵の人にとっては好ましくないものである。
【0003】
フィルムカメラかまたはデジタルカメラのいずれにおいても、かかる周辺光量低下は、画像を小さい平面、すなわちフィルムまたは光電変換イメージャ、たとえばCCD上に画像を取込まなければならないことによってもたらされる。いずれのタイプのカメラにおいても、フィルム/イメージャの隅に当る光線は、フィルム/イメージャの中心に直接入射する光線より長い経路を移動し、中心に入射する光とは異なる入射角で到達する。
【0004】
直接(直角に)入射する光とある角度をもって入射する光とに対するフィルム/イメージャの応答の差により、取込画像に不均一性がもたらされ、そのうちのいくつかが周辺光量低下とみなされる。さらに、レンズ系がまた周辺光量低下をもたらす。その上、カメラがフラッシュ装置を使用する場合、フラッシュ装置の被写体面上での照度変化も周辺光量低下の要因となる。
【0005】
デジタルカメラの画像センサは、色に依存する周辺光量低下も同様にもたらす。デジタルカメラにおける通常のカラー画像センサは、モザイクタイプの画像センサ、たとえばCCDを含み、その上に、赤、緑および青色を含むフィルタアレイが形成される。各ピクセルは、対応する赤、緑または青フィルタ領域を有する。カラーフィルタの通常の実施態様は、2ラインパターンを繰り返す。第1ラインは、赤および緑ピクセルが交互に繰り返されたものを含み、第2ラインは、青および緑ピクセルが交互に繰り返されたものを含む。緑ピクセルの数を多くするのは、人間の眼が緑の光に対して比較的高い感度を有していることに対応するためである。そして、センサによって形成されるデータ画像の各色ごとのカラーアレイが組合されることにより、適当な処理の後にフルカラー画像が生成される。
【0006】
【発明が解決しようとする課題】
色に依存する周辺光量低下は、画像センサによって取込まれた画像に示される画像の中心から隅への感色性変化として理解されなければならない。これは、通常の色に依存しない周辺光量低下に加えて存在する。人間の眼は、色に依存する変化に非常に敏感である。このため、色に依存する周辺光量低下は、わずかな量でも非常に不快である。
【0007】
色に依存する周辺光量低下を、より高品質のレンズ系、画像センサおよび/またはフラッシュ装置を使用することによって最小化することができる。しかしながら、これは、システムコストおよび/またはシステム複雑性の最小化が重要な設計基準である状況では実際的でない解決法である。
【0008】
本発明の目的は、デジタルカメラのための較正データを生成する方法(および対応する装置)を提供することである。
【0009】
【課題を解決するための手段】
本発明は、その1つとして、デジタルカメラのための較正データを生成する方法(および対応する装置)を提供する。かかる方法は、カメラの前に、撮影対象の基準面を配置することと、カメラを介して、カメラが撮影することができる、各色における基準面の画像に対応するデータの特性アレイを取込むこととを含む。
【0010】
かかるテクノロジは、方法のみでなく対応するシステムおよびコンピュータ読取可能媒体(プロセッサによる実行時にプロセッサに対し本方法を実行させるコード部分を有する)もまた含む。
【0011】
本発明のさらなる特徴および利点は、例示的な実施形態の以下の詳細な説明と、併記の特許請求の範囲と、添付図面とからより完全に明らかとなろう。
【0012】
【発明の実施の形態】
本発明の実施形態は、一部には、生(処理前の)デジタル画像をデジタル処理することにより、周辺光量低下、たとえば色に依存する周辺光量低下に関してデジタル画像の品質を向上させることができる、という認識である。
【0013】
同様に、本発明の実施形態は、一部には、デジタル画像のデジタル補正が、所望のシーンの生データを補正するために使用することができる基準データまたは補正データに基づくことができる、という認識である。
【0014】
また、同様に、本発明の実施形態は、一部には、かかる較正データを生成するテクノロジを提供する。
【0015】
本発明の実施形態は同様に、一部には、カメラ動作パラメータ、たとえば口径およびズームの多くのあり得る組合せのうちのいくつかに対応して、赤、青および緑の特性アレイのセットを何セットか取込んだ場合に、非常に優れた色依存補正結果を得ることができる、という認識である。
【0016】
本発明の実施形態は同様に、一部には、(特性アレイの)較正セットによって表されるデータの量が、画像を表すデータの量と比較して低減されると、優れた色依存補正結果を取得することができる、という認識である。
【0017】
図1は、本発明の実施形態によるデジタルカメラのハードウェアアーキテクチャの概略ブロック図である。図1のデジタルカメラ100は、A/D変換器104にアナログ信号を供給するCCD102を含み、A/D変換器104は、ASIC106にデジタル化されたCCD102の出力を供給する。ASIC106は、CCD102を動作させるために使用されるクロックドライバ108にクロック信号を供給する。
【0018】
また、カメラ100は、ASIC106によってモータドライバ112を介して作動されるズーム(オプション)、焦点調節、絞りおよびシャッタ機構110と、ASIC106によって制御されるストロボドライブ116を介して作動されるストロボユニット114とを含む。メモリデバイスに関し、デジタルカメラ100は、揮発性メモリ、すなわちSDRAMデバイス118と、不揮発性メモリ、すなわち内部フラッシュメモリデバイス120と、さらに、外部コンパクトフラッシュ(登録商標)メモリデバイスに接続するためのコネクタ122を含む。ASIC106はまた、USBコネクタ126を介して、外部ワークステーション124にも接続することができる。
【0019】
また、デジタルカメラ100は、ASIC106が通信することを可能にするマイクロコントローラ128も含む。
【0020】
カメラの他のアーキテクチャが考えられる。かかるアーキテクチャの各々は、1つまたは複数のプロセッサと、1つまたは複数の揮発性メモリデバイスと、1つまたは複数の不揮発性メモリデバイスとを含むことができる。
【0021】
図2は、画像形成されたシーンの各々に対しカメラ100が生成する3つのカラープレーンすなわちカラーアレイ(202R、202Gおよび202B)を象徴的に示す。通常、3つのカラーアレイを以下のように生成することができる。カメラ100は、実際には、第1ラインがRGRGRG…であり第2ラインがGBGBGB…であるモザイク画像(図示せず)を生成する。ラインパターンは、2ライン毎に繰り返す。3つのアレイを得るために、モザイク状の画像は2×2のブロックに分離される。これらのブロックの各々から、2つの緑が平均化され赤ピクセルおよび青ピクセルはそのまま取出される。これにより、画像センサのフル解像度の1/4の解像度を有する3つのカラーアレイが生成される。後で説明するが、各カラーアレイ(202R、202Gおよび202B)を同じサイズのブロック206で分割することができる。また、各カラーアレイは中心領域204を有する。
【0022】
CCD102は、複雑および/または高性能でないほど、色に依存する周辺光量低下を受け易くなる。色に依存する周辺光量低下の程度を測定する技法は、一様に照明された白色ターゲットを、デジタルカメラを用いて撮影し、その後各カラーアレイを別々に評価する、というものである。評価は、X軸およびY軸が、画像を形成するピクセルの列の値および行の値に対応する等高線図の形態をとることができる。図3A、図3Bおよび図3Cは、あるカメラパラメータ(たとえば、ズーム、開口、シャッタスピード等)の組合せに対応する、赤アレイ、緑アレイおよび青アレイそれぞれの等高線図例を示す。各図の右側のグレースケールは、−20%から+20%まで変化する、対応する等高線中に見える濃淡の範囲を説明する凡例である。言換えれば、等高線は、2%の間隔で濃淡強度の差を示している。
【0023】
図3A、図3Bおよび図3Cから、ピクセル強度、すなわち各ピクセルにおけるCCD102の赤、緑および青の光に対する感度が、一様に照明された白色ターゲットの画像に対して変化しているため、例示したカメラが色に依存しない周辺光量低下を示す、ということが分かる。色に依存しない周辺光量低下が示されなかった場合、CCD102のすべてのピクセル位置におけるすべてのピクセルの強度が画像の中心の値と等しい筈である。
【0024】
図3A、図3Bおよび図3Cをさらに調べることにより、各々が異なることも分かる。したがって、図3A、図3Bおよび図3Cを見比べることにより、カメラ100が色に依存する周辺光量低下を生じていることもわかる。言換えれば、図3A、図3Bおよび図3Cの各々がみな同じであった場合、カメラ100は、色に依存する周辺光量低下を示さないことになる。
【0025】
図4は、図3A、図3Bおよび図3Cの実施例の各々からのピクセル配列中の同じ任意の行、たとえば第800行の並びに対応して、列番号に対してプロットされた赤ピクセル値、緑ピクセル値および青ピクセル値のグラフを示す。カメラ100が色に依存しない周辺光量低下を有していない場合、図4は、3つの水平線のプロットになる。加えて、カメラ100が色に依存する周辺光量低下を示した場合、3つの線は別々になる。しかしながら、色に依存する周辺光量低下もなかった場合、3つの水平線は重なり合い、図の上には1つの水平線しか見えないことになる。
【0026】
カメラが色に依存しない周辺光量低下を示す状況では、図4の状況のようにプロットは何らかの曲線となる。カメラが色に依存する周辺光量低下を示さない(しかしながら、色に依存しない周辺光量低下は示す)場合、3つの曲線は同一であって重なり合うことにより、実際には図の上に1つの曲線しか見えなくなる。カメラが色に依存しない周辺光量低下とともに色に依存する周辺光量低下の両方を示す場合、結果は、図4プロットされたようになる。
【0027】
図4において、各ピクセル値の大きさは、その中心ピクセルの値に関して規格化されている。すなわち、各ピクセル強度は、規格化された中心ピクセルが1.0すなわち100%の強度を有するように、対応する中心ピクセルの強度によって除算されている。
【0028】
色に依存する周辺光量低下を低減するために使用することができる較正データを作成するために、各カラーアレイが色依存性を示す程度を正確に反映する生データ、すなわち特性データを、取得、たとえば取込まなければならない。まず、図5に示すように、カメラ100を、白色平面の自発光較正源502の前に、非常に近接させて、たとえば1mm未満に配置する。CCD102に到達する較正源502以外からの光を最小化するために、カメラ100を較正源502に非常に近接して配置する。かかる較正源502は、京立電機株式会社から提供されるARROWINブランドの較正源、モデルLB−5000ライトソースが使用可能である。
【0029】
カメラの露出を、CCD102のダイナミックレンジのおよそ1/4を較正源502の画像形成に使用するように設定することができる。このような露出設定としたのは、撮影者の一般的な写真がCCD102のダイナミックレンジの1/4しか使用しないためである。焦点調節距離は、CCD102を有するデジタルカメラで最も一般的に使用される焦点調節距離であることから、無限遠に設定されることが提唱される。画像を取込むために使用される露出の量と焦点調節距離とは、(他のカメラ動作パラメータと同様に)別の例が考えられる。それは、最適値が、較正データを生成することを仕事とする操作者の判断によって異なるためである。
【0030】
露出の量および焦点調節距離に加えて、デジタルカメラ100の他の動作パラメータがある。動作パラメータには、ズーム、絞り、シャッタスピード等が含まれる。理想的には、較正源の画像データは、カメラ100の動作パラメータとして可能性のあるすべての較正に対して取込まれる。しかしながら、実際問題として、それほど多くのデータを格納することにより、不揮発性メモリデバイスのサイズが非常に大きく、かつ/または非常に高価となるため、これは可能ではない。しかしながら、テクノロジが進歩するにしたがい、次第に実現可能になると考えられる。
【0031】
通常、カメラ100のコストを最低限にし、かつ/またはカメラのサイズを縮小するために、不揮発性メモリ、たとえばフラッシュメモリ120のサイズを最小に維持することが望ましい。そうするためには、カメラ100のパラメータのあり得る組合せのすべてに対応するよりも少ない、赤、青および緑の特性アレイからなる較正セット、を格納するべきである。
【0032】
特に、3つの絞り設定(0、1/2、フルすなわち1.0)と3つのズーム設定(広角、中間および望遠)とを有するカメラ100の実施例では、以下の組合せに対応する赤、青および緑の特性アレイの6つの較正セットが格納される場合、優れた色依存補正を達成することができる。その組み合わせとはすなわち、広角ズームおよび1/2開口と、中間ズームおよび1/2開口と、望遠ズームおよび1/2開口と、広角ズームおよびフル開口と、中間ズームおよびフル開口と、望遠ズームおよびフル開口とである。しかしながら、動作パラメータのあり得る組合せのすべてに対応するよりも少ないアレイを使用するにも関らず、優れた色依存補正結果を達成する、動作パラメータの他の組合せを選択することができる、ということが想像される。
【0033】
色に依存する周辺光量低下補正をする場合、白色較正源に対応する3つの特性カラーアレイ(特性アレイ)のうち、1つの特性カラーアレイにおいて白色較正源に応答して示される周辺光量低下を、所与の画像に対して他のカラーアレイが補正される際の標準として選択すべきである。ここでは、赤および青のアレイが補正される際に、応答分布として緑アレイが選択される。それはたとえば、人間の眼が緑光の波長に対して最も敏感であるためである。しかしながら、規格化のための基礎として赤アレイまたは緑アレイを選択することが可能である。
【0034】
上述したように、生カラーアレイにおける各ピクセルを、その対応する較正係数を使用して色に依存する周辺光量低下について補正することができる。緑による規格化の色依存補正のシナリオにおいて、各色の補正係数、すなわちCR(x,y)、CG(x,y)およびCB(x,y)を確定する式は、
CR(x,y)=(Gref(x,y)/Rref(x,y))×(Rref center/Gref center)
CB=(Gref/Bref)×(Bref center/Gref center)
CG=1
=(Gref/Gref)×(Gref center/Gref center)
である。ここでは、緑による規格化を行う例を想定しているため、生の緑ピクセルデータに対し色依存補正係数はない。かかる緑による規格化は、赤、青各ピクセルに対して2つの緑ピクセルが配列されるモザイクセンサにおいて、計算効率がよくなるので有利である。添字「ref」は、それぞれのピクセル値が特性カラーアレイからのものであることを示す。すなわち、白色較正源を撮像した時に取込まれた生データであることを示す。そして、添字「center」は、それぞれの特性アレイの中心のピクセル値を示す。上記式中、CB(x,y)、CG(x,y)を求める式中で(x,y)の表記は省略してある。以下も同様である。
【0035】
CR、CBおよびCGに対する式を使用して生成された較正係数のセットは、色に依存しない周辺光量低下を依然として含むが、各カラーアレイにおいて画像中心から各周辺へ向かうにつれて生じる色の変化を補正する。プロセッサ128および/またはASIC106は、補正係数を計算することができる。代替的に、ワークステーション124が、計算を補うかまたは計算のすべてを行うことができる。
【0036】
緑による規格化を行う例において、ピクセルR(x,y)、G(x,y)またはB(x,y)の色補正のための式は、
Rcorr=CR×Rraw
Bcorr=CB×Braw
Gcorr=Graw
である。ここで、添字「raw」は、生データのピクセルの強度を示し、添字「corr」は、補正されたピクセルの強度を示す。生の緑データアレイの補正係数は、緑による規格化をした場合には1である、ということを想起しなければならない。この場合もまた、色補正計算を、プロセッサ128および/またはASIC106によって実行することができる。代替的に、色補正計算を、ワークステーション124によって部分的にまたは全体的に実行することができる。
【0037】
色に依存しない周辺光量低下を色に依存する周辺光量低下と同様に除去することが望ましい場合、以下の式を使用することができる。
【0038】
Cr=Rref center/Rref(x,y)
Cb=Bref center/Bref(x,y)
Cg=Gref center/Gref(x,y)
RcorrおよびBcorrに対する上記式は同じままである。Gcorrに対する新たな式は、
Gcorr=Cg×Graw
となる。
【0039】
市場における一般的なカメラは、1メガピクセルと5メガピクセルとの間を有するセンサを備える。2メガピクセルセンサの場合、1,600×1,200=1,920,000ピクセルある。そして、市場においてさらに一般的になってきている3メガピクセルカメラは、2,048×1,536=3,145,728ピクセル有する。本発明は、較正アレイの6つのセット(各セットが赤、青および緑アレイを含む)が優れた結果を得るために十分であり得るという認識であるが、これは、18メガバイトを超えるデータに対応する。一般に、この多量のデータは、多量の不揮発性、たとえばフラッシュメモリを消費する。
【0040】
特性アレイを表すデータの量を低減するために、特性アレイをブロック、たとえば64×64または32×32に分割することができる。ブロックの実際のサイズは、各ブロック内でのピクセル間の濃淡変化が1%未満である可能性が高くなるように経験的に予め確定することができる。ブロック内におけるすべての値を代表する値を確定し、その値を縮小特性アレイに入力する。これらの対応する縮小特性アレイは、較正セットアレイとして周知である。このデータ縮小プロセスを、図6に象徴的に示す。理解を容易にするために、図6は、32×32ピクセルしか有していない特性アレイを想定し、8×8ピクセルのブロックが4×4の較正アレイにマッピングされるものとする。
【0041】
各ブロック(図2における206)におけるデータの量を低減する第1の例示的な技法は、ブロック内のより小さい、好ましくは中心に位置するサブブロックを選択するというものである。図6は、視覚的に簡単であるように2×2ピクセルのサブブロックを想定する。サブブロックを平均化することができ、平均値を、較正セットの対応するアレイに対応するエントリとして格納することができる。
【0042】
代替的に、ブロックの値をローパスフィルタリングすることができる。より詳細には、周波数領域において、高周波数データは隣接するピクセル間で大きな変化があることを表す。これは、画像センサにおけるホット(hot)ピクセルまたはコールド(cold)ピクセルを示す。ホットピクセルは、入射光の強度に係り無く常に高出力を出力する。同様に、コールドピクセルは、入射光の強度に係り無く常に低出力を出力する。かかる高周波数データを、ローパスフィルタによって除去する。そして、フィルタリングされたブロックの中央値を、較正アレイにおける代表値として計算し選択することができる。
【0043】
他のデータ量縮小プロセスを使用することができることが予期される。かかる選択は、本発明が適用される環境によって決まる。
【0044】
図7は、本発明の実施形態による動作を示すフローチャートである。フローはブロック702から始まり、ブロック704に進み、カメラ100に対して基準面502が配置される。ブロック706において、カメラ100は、基準面502の画像を表すデータの特性アレイを取込む。ブロック708において、特性アレイが操作されることにより、較正情報が生成される。ブロック708は、ブロック710の形態をとることができ、そこでは、特性アレイのサイズが縮小され、代表アレイがもたらされる。もしくは、ブロック708はブロック712の形態をとることができ、そこでは特性アレイが多項式によってモデル化される。代替的に、ブロック708を、ブロック710および712の組合せとして実行することができる。フローはブロック708からブロック714に進み、そこで較正情報が格納される。ブロック714の後、フローはブロック716で終了する。
【0045】
図8は、ブロック710をより詳細に示すフローチャートである。フローはブロック802から始まり、ブロック804に進み、そこで各特性アレイが複数のブロックに分割される。次のステップブロック806において、各ブロックの代表値が確定される。ブロック808において、特定アレイの代表値が、縮小較正アレイとして配置される。フローはブロック808からブロック810に進み、そこでフローが終了する。
【0046】
縮小特性アレイのセット、すなわち較正セットが確定されると、このセットをフラッシュメモリ120に格納することができる。
【0047】
較正セットを使用して周辺光量低下を補正することは、本願と同一の譲受人に譲渡された係属中の米国特許出願、代理人整理番号第10017634−1号に述べられており、その開示内容はすべて参照により本明細書に援用される。
【0048】
なお、特性データを縮小するプロセス(較正セットをもたらす)は、カメラ内の、たとえばマイクロコントローラ128および/またはASIC106によるか、またはカメラの外部で部分的または全体的にワークステーション124により、実行することができる。
【0049】
較正アレイを使用して画像データを較正する場合、白色較正源502の色補正で使用された白色点の関数として補正値を計算することが望ましい。
【0050】
白色較正源に対して使用する色補正の関数として画像を補正することが望ましい状況では、白色較正源の色補正をうまく考慮に入れないと、画像パイプラインでの光源検出および色補正に悪影響を及ぼす可能性がある。白色点は、すべてのカメラで異なるものであるから、好ましくは、白色較正源502の画像の中心領域204中のピクセル(図2)について平均をとる計算をすることができるものである。
【0051】
代替的に、本発明の実施形態は、カメラパラメータのすべてのあり得る組合せに対し較正係数のセットを格納するのではなく、多項式を較正係数の各セットに適合し、代りに多項式係数の各セットを格納することにより、基準画像を表すデータの量を効果的に低減する。そして、所与のカメラ動作パラメータの組合せに対し、較正係数のセットをそれぞれ計算するために使用することができる多項式のセットを選択することができる。この多項式技法は、本願と同一の譲受人に譲渡された係属中の米国特許出願、代理人整理番号第10017633−1号に述べられており、その開示内容はすべて参照により本明細書に援用される。
【0052】
多項式の係数の組合せは、フラッシュメモリ120に格納することができる。ASIC106および/またはマイクロコントローラ128は、フラッシュメモリ120から適当な係数の組合せを読出し、特定の較正係数を計算し、較正係数を使用して、対応するピクセルの生の強度をスケーリングすることにより補正されたピクセルの強度を取得し、その後補正された値をフラッシュメモリ120に格納することができる。
【0053】
多項式を、最小二乗分析、回帰分析等を使用して経験的に各特性アレイにフィッティングさせることができる。数値分析、マトリックス計算、信号処理および画像処理演算を統合することにより多項式でフィッティングする能力を提供する周知のプログラムの例として、MATLABという商標名でTHE MATHWORKS, INC.から提供されるものがある。特性データを、多項式を用いてフィッティング処理するワークステーション124に転送することができる。そして、多項式の係数を、カメラの不揮発性メモリ、たとえばフラッシュメモリ120に格納することができる。
【0054】
本発明は、以下の利点を含む。
【0055】
本発明の実施形態によるデジタル処理を使用して色に依存する周辺光量低下を除去することにより、カメラのレンズ、センサおよびフラッシュユニットに対する性能要件が緩和される。この結果、カメラのコストが低減する。
【0056】
カメラの個々の構成部品がそれら独自の製造公差を有するため、カメラが組立てられた後、本発明の実施形態による較正アレイを確定する結果、それぞれの構成部品が個々に有する公差が考慮されるため画質が向上する。これにより、レンズ、センサおよびフラッシュユニットの特定の物理特性を調整して色に依存する周辺光量低下を除去する他の方法より、優れた画質がもたらされる。それは、上記の他の方法では、妥当なコストで製造公差に対する補償をすることができないためである。
【0057】
本発明の実施形態によるカメラを、色に依存する周辺光量低下に対して較正することにより、異なる開口設定およびズーム設定で生じる、色に依存する周辺光量低下の変化を低減させ、除去することも可能である。
【0058】
本発明を、その精神および本質的な特性から逸脱することなく他の形態で具体化してよい。説明した実施形態は、本発明の単なる限定しない実施例として考慮されなければならない。本発明の範囲は、併記の特許請求の範囲によって判断されなければならない。特許請求の範囲の意味および等価物内にある変化はすべて、それらの適用範囲内に包含されることになる。
【図面の簡単な説明】
【図1】本発明の実施形態によるデジタルカメラのハードウェアアーキテクチャの概略ブロック図である。
【図2】本発明の実施形態によるデジタルカメラによって生成された3つのカラープレーンすなわちカラーアレイを象徴的に示す。
【図3A】本発明の実施形態により生成された赤のカラーアレイのピクセル感度の例示的な等高線図を示す。
【図3B】本発明の実施形態により生成された緑のカラーアレイのピクセル感度の例示的な等高線図を示す。
【図3C】本発明の実施形態により生成された青のカラーアレイのピクセル感度の例示的な等高線図を示す。
【図4】図3A乃至図3C中の、ある1行のピクセルに対応するピクセル強度(ディジタル値)をプロットしたグラフである。
【図5】本発明の実施形態によるデジタルカメラの特性カラーアレイを取込む構成を示す。
【図6】本発明の実施形態によるデータ縮小技法を象徴的に示す。
【図7】本発明の実施形態による動作を示す。
【図8】図7のブロック710をより詳細に示す。
【符号の説明】
100 … カメラ 102 … CCD 106 … ASIC
120 … 内部フラッシュメモリ 124 … ワークステーション
202B、202G、202R … カラープレーンすなわちカラーアレイ
204 … 中央領域 206 … ブロック
502 … 自発光白色面(自発光較正源;基準面)
Claims (6)
- デジタルカメラのための較正データを生成する方法であって、
前記デジタルカメラの前に、前記較正データを生成するために定められた、撮影対象となる基準面を配置することと、
前記デジタルカメラで撮影して得られる前記基準面の画像に対応する各色のデータの特性アレイを、前記デジタルカメラを介して取り込むことと、
前記各色のデータの特性アレイに対して、
当該特性アレイを複数のブロックに分割することと、
各前記ブロックの代表値を当該ブロック内のデータの関数として決定することと、
前記代表値を前記較正データの縮小アレイとして配置することと
を少なくともおこなうこととを含み、
前記決定することには、少なくとも、
前記ブロック内でデータのサブブロックを選択することと、
前記ブロック内のピクセル強度を処理して前記代表値を得ることと、
が含まれ、
前記ピクセル強度を処理して前記代表値を得ることが、前記サブブロック内の前記ピクセル強度の平均を求めて該平均を前記代表値とすることである、ことを特徴とする方法。 - 前記ブロックのサイズが32×32あるいは64×64であることを特徴とする請求項1に記載の方法。
- 前記サブブロックが前記ブロックの中心に置かれることを特徴とする請求項1に記載の方法。
- デジタルカメラの較正データを生成するシステムであって、
前記較正データを生成するために定められた、撮影対象となる基準面と、
前記デジタルカメラで撮影して得られる前記基準面の画像に対応する各色のデータの特性アレイを取込むイメージャと、
前記デジタルカメラ内と前記デジタルカメラの外部とのうちの少なくとも一方に存在し、前記各色のデータの特性アレイに対して
当該特性アレイを複数のブロックに分割することと、
各前記ブロックの代表値を当該ブロック内のデータの関数として決定することと、
前記代表値を前記較正データの縮小アレイとして配置することと
を少なくともおこなう処理回路と、
を具備し、
前記決定することをおこなうときは、前記処理回路が少なくとも、
前記ブロック内でデータのサブブロックを選択することと、
前記ブロック内のピクセル強度を処理して前記代表値を得ることと、
をおこない、
前記ピクセル強度を処理して前記代表値を得ることにおいて、前記処理回路が、前記サブブロック内の前記ピクセル強度の平均を求め、該平均を前記代表値とする、ことを特徴とするシステム。 - 前記ブロックのサイズが32×32あるいは64×64であることを特徴とする請求項4記載のシステム。
- 前記サブブロックが前記ブロックの中心に置かれることを特徴とする請求項4に記載のシステム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US10/174,946 US7151560B2 (en) | 2002-06-20 | 2002-06-20 | Method and apparatus for producing calibration data for a digital camera |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004023784A JP2004023784A (ja) | 2004-01-22 |
| JP2004023784A5 JP2004023784A5 (ja) | 2006-07-06 |
| JP4323864B2 true JP4323864B2 (ja) | 2009-09-02 |
Family
ID=29733733
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003144823A Expired - Fee Related JP4323864B2 (ja) | 2002-06-20 | 2003-05-22 | デジタルカメラのための較正データを生成する方法及びシステム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7151560B2 (ja) |
| JP (1) | JP4323864B2 (ja) |
| NL (1) | NL1023710C2 (ja) |
Families Citing this family (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4147059B2 (ja) * | 2002-07-03 | 2008-09-10 | 株式会社トプコン | キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置 |
| US7388610B2 (en) * | 2002-08-16 | 2008-06-17 | Zoran Corporation | Techniques of modifying image field data by extrapolation |
| EP1447977A1 (en) * | 2003-02-12 | 2004-08-18 | Dialog Semiconductor GmbH | Vignetting compensation |
| JP4242669B2 (ja) * | 2003-03-04 | 2009-03-25 | パナソニック株式会社 | シェーディング補正方法および装置、並びにデジタルカメラ |
| JP4383833B2 (ja) * | 2003-11-17 | 2009-12-16 | 東芝モバイルディスプレイ株式会社 | 表示装置 |
| CN101015197B (zh) | 2004-06-07 | 2010-10-27 | 诺基亚公司 | 用于提高图像质量的方法和装置 |
| US20050280881A1 (en) * | 2004-06-18 | 2005-12-22 | Microsoft Corporation | System and method for determination of a white point for calibration of an image capturing device |
| JP4496354B2 (ja) * | 2004-06-18 | 2010-07-07 | 独立行政法人 宇宙航空研究開発機構 | カメラ校正のための透過型校正器具とその校正法 |
| EP1628123A1 (en) * | 2004-08-17 | 2006-02-22 | Dialog Semiconductor GmbH | Testing of miniaturized cameras with electronic and/or optical zoom functions |
| US7961973B2 (en) * | 2004-09-02 | 2011-06-14 | Qualcomm Incorporated | Lens roll-off correction method and apparatus |
| EP1648181A1 (en) | 2004-10-12 | 2006-04-19 | Dialog Semiconductor GmbH | A multiple frame grabber |
| KR100682975B1 (ko) | 2004-11-01 | 2007-02-15 | 한국전자통신연구원 | 디지털 카메라 시스템의 비네팅 현상 제거 방법 및 이를적용한 디지털 카메라 |
| EP1703720A3 (en) * | 2005-02-25 | 2010-01-20 | Ricoh Company, Ltd. | Correcting light amount in non-centered-area of optically shot image |
| US7405816B2 (en) * | 2005-10-04 | 2008-07-29 | Nokia Corporation | Scalable test target and method for measurement of camera image quality |
| WO2007042853A1 (en) * | 2005-10-13 | 2007-04-19 | Nokia Corporation | Method and system for vignetting elimination in digital image |
| DE102005050302B4 (de) * | 2005-10-17 | 2007-07-26 | Yara International Asa | Verfahren und Vorrichtung zum berührungslosen Ermitteln des aktuellen Ernährungszustandes eines Pflanzenbestandes und zum Verarbeiten dieser Informationen zu Düngeempfehlungen |
| US20070211154A1 (en) * | 2006-03-13 | 2007-09-13 | Hesham Mahmoud | Lens vignetting correction algorithm in digital cameras |
| FR2899696B1 (fr) * | 2006-04-06 | 2008-06-20 | Dxo Labs Sa | Procede de traitement d'un phenomene d'eclairement relatif sur une image numerique et systeme de traitement associe |
| KR100801057B1 (ko) * | 2006-07-18 | 2008-02-04 | 삼성전자주식회사 | 컬러 보정 블럭을 구비하는 cmos 이미지 센서 및 그이미지 센싱 방법 |
| GB2442050A (en) * | 2006-08-29 | 2008-03-26 | Micron Technology Inc | Image pixel value correction |
| US7782380B2 (en) * | 2006-09-01 | 2010-08-24 | Aptina Imaging Corporation | Positional gain adjustment and surface generation for image processing |
| KR100845033B1 (ko) * | 2006-12-27 | 2008-07-09 | 노키아 코포레이션 | 디지털 이미징 디바이스에서 이미지 품질을 개선하기 위한방법, 장치, 이미징 모듈 및 프로그램 |
| DE602007011192D1 (de) | 2007-01-25 | 2011-01-27 | Research In Motion Ltd | Elektronisches Handgerät und Kamera mit Blitzausgleich der Bilder und dazugehöriges Verfahren |
| US7702235B2 (en) | 2007-01-25 | 2010-04-20 | Research In Motion Limited | Handheld electronic device and camera providing flash compensation of images, and associated method |
| US20080278613A1 (en) * | 2007-05-11 | 2008-11-13 | Micron Technology, Inc. | Methods, apparatuses and systems providing pixel value adjustment for images produced with varying focal length lenses |
| US8078001B2 (en) * | 2007-05-11 | 2011-12-13 | Micron Technology, Inc. | Methods, apparatuses and systems for piecewise generation of pixel correction values for image processing |
| CN100583956C (zh) * | 2007-06-25 | 2010-01-20 | 鸿富锦精密工业(深圳)有限公司 | 成像设备及其镜头光线强度衰减补偿方法 |
| US7907185B2 (en) * | 2007-07-16 | 2011-03-15 | Aptina Imaging Corporation | Lens correction logic for image sensors |
| US8023758B2 (en) * | 2007-08-07 | 2011-09-20 | Qualcomm Incorporated | Surface mesh matching for lens roll-off correction |
| US8463068B2 (en) | 2007-08-09 | 2013-06-11 | Micron Technology, Inc. | Methods, systems and apparatuses for pixel value correction using multiple vertical and/or horizontal correction curves |
| WO2009067121A1 (en) * | 2007-11-23 | 2009-05-28 | Hewlett-Packard Development Company, L.P. | Camera sensor system self-calibration |
| US8331722B2 (en) * | 2008-01-08 | 2012-12-11 | Aptina Imaging Corporation | Methods, apparatuses and systems providing pixel value adjustment for images produced by a camera having multiple optical states |
| GB0801443D0 (en) * | 2008-01-25 | 2008-03-05 | Micron Technology Inc | Methods, systems and apparatuses for pixel signal correction using elliptical hyperbolic cosines |
| EP2279612B1 (en) * | 2008-05-22 | 2013-03-20 | Hewlett-Packard Development Company, L.P. | Camera sensor correction |
| US8149279B2 (en) * | 2008-08-18 | 2012-04-03 | Apple Inc. | Apparatus and method for compensating for variations in digital cameras |
| US8194136B1 (en) | 2009-01-26 | 2012-06-05 | Amazon Technologies, Inc. | Systems and methods for lens characterization |
| EP2422524A4 (en) * | 2009-04-22 | 2014-05-07 | Hewlett Packard Development Co | SPACE VARIATION SPECTRAL RESPONSE CALIBRATION DATA |
| US10005682B1 (en) | 2009-10-02 | 2018-06-26 | Tersano Inc. | Holding tank-less water ozonating system |
| KR20110047540A (ko) * | 2009-10-30 | 2011-05-09 | 삼성전자주식회사 | 디지털 카메라 및 그 제어방법 |
| JP5898501B2 (ja) | 2012-01-13 | 2016-04-06 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法、プログラム及び記録媒体 |
| KR20140070120A (ko) * | 2012-11-30 | 2014-06-10 | 삼성전자주식회사 | 디스플레이 장치의 색 보정 장치 및 그 보정 방법 |
| EP3182697A1 (en) * | 2015-12-15 | 2017-06-21 | Thomson Licensing | A method and apparatus for correcting vignetting effect caused on an image captured by lightfield cameras |
| KR20220152019A (ko) * | 2021-05-07 | 2022-11-15 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 및 그 동작 방법 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59100685A (ja) * | 1982-11-30 | 1984-06-09 | Toshiba Corp | カラ−テレビジヨンカメラ装置 |
| US5523553A (en) * | 1983-10-19 | 1996-06-04 | Nikon Corporation | Camera with focus detecting device for removing vignetting effects |
| JPH0756530B2 (ja) * | 1986-03-31 | 1995-06-14 | 株式会社ニコン | 撮影レンズ鏡筒およびカメラ |
| FR2657208B1 (fr) * | 1990-01-16 | 1992-04-10 | Thomson Consumer Electronics | Procede et dispositif de correction automatique de geometrie, de superposition de couleurs et d'uniformite d'image pour camera de television. |
| US5319443A (en) * | 1991-03-07 | 1994-06-07 | Fanuc Ltd | Detected position correcting method |
| JPH04284087A (ja) | 1991-03-13 | 1992-10-08 | Canon Inc | 電子スチルカメラ |
| DE4135210A1 (de) * | 1991-10-25 | 1993-04-29 | Broadcast Television Syst | Verfahren und schaltung zur korrektur von abschattungen |
| EP0562657B1 (en) * | 1992-03-17 | 1998-09-16 | Koninklijke Philips Electronics N.V. | Imaging system with means for compensating vignetting and X-ray examination apparatus comprising such an imaging system |
| IL107835A (en) * | 1993-12-02 | 1996-07-23 | Genop Ltd | Method and system for testing the performance of a device for use with an electro-optical system |
| JP3571792B2 (ja) | 1995-03-15 | 2004-09-29 | キヤノン株式会社 | 撮像装置の制御方法、撮像装置の外部制御装置及び外部制御装置の制御方法 |
| US6452629B1 (en) * | 1995-03-15 | 2002-09-17 | Canon Kabushiki Kaisha | System for installing image sensing program |
| US6707500B1 (en) * | 1995-03-17 | 2004-03-16 | Canon Kabushiki Kaisha | Image pickup apparatus with correction of held exposure parameters and lens spherical aberration correction |
| JP3550440B2 (ja) * | 1995-04-13 | 2004-08-04 | イーストマン・コダックジャパン株式会社 | オートホワイトバランス調整装置 |
| US5764386A (en) * | 1996-01-25 | 1998-06-09 | Medar, Inc. | Method and system for automatically monitoring the colors of an object at a vision station |
| US6016161A (en) * | 1996-01-25 | 2000-01-18 | Medar, Inc. | Method and system for automatically calibrating a color-based machine vision system |
| US7023472B1 (en) * | 1999-04-23 | 2006-04-04 | Hewlett-Packard Development Company, L.P. | Camera calibration using off-axis illumination and vignetting effects |
| US6437823B1 (en) * | 1999-04-30 | 2002-08-20 | Microsoft Corporation | Method and system for calibrating digital cameras |
| US6833862B1 (en) * | 1999-06-30 | 2004-12-21 | Logitech, Inc. | Image sensor based vignetting correction |
| US7038712B1 (en) * | 2002-04-18 | 2006-05-02 | Hewlett-Packard Development Company, L.P. | Geometric and photometric calibration of cameras |
-
2002
- 2002-06-20 US US10/174,946 patent/US7151560B2/en not_active Expired - Fee Related
-
2003
- 2003-05-22 JP JP2003144823A patent/JP4323864B2/ja not_active Expired - Fee Related
- 2003-06-20 NL NL1023710A patent/NL1023710C2/nl not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| NL1023710C2 (nl) | 2006-02-21 |
| JP2004023784A (ja) | 2004-01-22 |
| US7151560B2 (en) | 2006-12-19 |
| NL1023710A1 (nl) | 2003-12-23 |
| US20030234864A1 (en) | 2003-12-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4323864B2 (ja) | デジタルカメラのための較正データを生成する方法及びシステム | |
| US7233352B2 (en) | Method and apparatus for color non-uniformity correction in a digital camera | |
| JP4161295B2 (ja) | 画像センサのダイナミックレンジを拡大するカラー画像撮像システム | |
| JP4826028B2 (ja) | 電子カメラ | |
| KR20040073378A (ko) | 비네팅 보상 | |
| JP6734647B2 (ja) | 撮像装置 | |
| JPWO2016143139A1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| US7502057B2 (en) | Method and apparatus for color non-uniformity correction in a digital camera | |
| JPWO2016143134A1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| WO2017130281A1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP5475393B2 (ja) | 撮像システムおよび補正方法 | |
| JP3889867B2 (ja) | 撮像装置 | |
| JP5127628B2 (ja) | 画像処理装置および画像処理方法 | |
| CN105745923B (zh) | 摄像装置及图像处理方法 | |
| US7092029B1 (en) | Strobe lighting system for digital images | |
| US10937230B2 (en) | Image processing | |
| JP5993124B2 (ja) | 撮像装置 | |
| JP4993670B2 (ja) | 撮像装置及びその制御方法 | |
| US20220239810A1 (en) | Image Sensor and Image Photographing Apparatus and Method | |
| JP7726766B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
| CN115134498B (zh) | 一种图像传感器、摄像头模组、电子设备及图像处理方法 | |
| JP2013172261A (ja) | 撮像装置 | |
| JP4027643B2 (ja) | 撮像処理装置 | |
| JP2011055336A (ja) | 撮像装置及び信号処理方法 | |
| Stump | Camera Sensors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060522 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060522 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080501 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080617 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080904 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090407 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090428 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090526 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090605 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |