JP3946492B2

JP3946492B2 - 低解像度イメージの生成方法

Info

Publication number: JP3946492B2
Application number: JP2001342033A
Authority: JP
Inventors: エドワード・ビー・ジンデル; アンドリュー・シー・ギャラガー
Original assignee: イーストマンコダックカンパニー
Priority date: 2000-11-07
Filing date: 2001-11-07
Publication date: 2007-07-18
Anticipated expiration: 2021-11-07
Also published as: DE60104508D1; EP1206130A1; US6873442B1; DE60104508T2; EP1206130B1; JP2002209098A

Description

【０００１】
【発明の属する技術分野】
本発明は、概して、イメージの撮影に関し、より具体的には、拡大されたダイナミックレンジを有する撮影されたイメージから、低解像度イメージを生成する方法に関する。
【０００２】
【従来の技術】
電荷結合素子（ＣＣＤ）のようなイメージ検出装置は、デジタルカメラ、スキャナおよびビデオカメラのような製品で、広く見つけることができる。これらのイメージ検出装置は、従来の写真フィルム製品と比較したとき、ダイナミックレンジが制限されている。典型的な電子イメージ検出装置は、絞りが約７のダイナミックレンジを有する。これは、典型的な風景に対する露出を、かなりの正確さで決定して、結果として得られる信号のもれを回避しなければならないことを意味する。対照的に、自然の風景は、しばしば、絞りが９またはそれより高いダイナミックレンジを示す。これは主に、風景の対象物に光を照らす、強度が広く変化する複数の光源が存在する結果である。もっとも明るい部分の反射はまた、自然の風景のダイナミックレンジに寄与する。
【０００３】
写真フィルムを走査するのに用いられる電子センサはまた、高いダイナミックレンジの信号強度を取り扱わなければならない。Milchに与えられた１９９３年６月２２日発行の米国特許第5,221,848号には、電子イメージセンサのダイナミックレンジを拡大するよう設計された方法および装置が開示されている。主に写真フィルムを走査することを目的として、Milchは、複数の線形アレイを有する電荷結合素子を用いた１パスフィルムスキャナの方法を教示する。複数の線形アレイは、同じスペクトル感度を有する。アレイの１つは、他のアレイよりも光に対してより早く応答する。２つのアレイからの情報は結合され、デジタル化されて、拡大されたダイナミックレンジのデジタルイメージを形成する。
【０００４】
デジタル電子カメラは、カラーフィルタアレイ（Color Filter Array;ＣＦＡ）を有する単一のイメージセンサを利用して、まばらにサンプリングされた（sparsely sampled）イメージを生成する。典型的なカラーフィルタアレイパターンは、Bayerに対して１９７６年７月２０日に発行された、米国特許第3,971,065号に開示されている。補間アルゴリズムが利用されて、まばらにサンプリングされたイメージから、フル解像度カラーイメージを生成する。デジタルカメラはまた、高いダイナミックレンジを有する風景を記録する必要がある。デジタルカメラから、高いダイナミックレンジのイメージを得る１つの方法は、カメラに、高ビットデプス（depth）のアナログ−デジタル変換器を利用することである。他の方法は、Gallagherらにより２０００年７月１３日に提出された、同時係属の米国出願第09/615,398号に開示されている、散らばせた、高速の（ファスト）および低速の（スロー）フォトサイト（photosite）を有するイメージセンサを用いることである。この出願は、この引用により本明細書に組み込まれる。また、デジタルカメラの重要な特徴は、異なる空間解像度をもつデジタルイメージを生成することである。これは主に、デジタルカメラの制限のあるオンボードメモリに依存し、まばらにサンプリングされた拡大されたダイナミックレンジのデジタルイメージを、他の装置に転送する帯域幅の制限に依存する。
【０００５】
【発明が解決しようとする課題】
１９９０年７月３１日に、Cokらに発行された米国特許第4,945,406号は、高解像度イメージから、低解像度イメージを生成する方法を開示している。これに開示されている方法は、フィルムからの写真イメージを走査して得られた、拡大されたダイナミックレンジのデジタルイメージのために用いられる。フィルムは、スキャナが広いダイナミックレンジのイメージを取り戻せるように、本来的に、場面のダイナミックレンジを圧縮する、ワイドダイナミックレンジセンサである。Cokらにより開示された方法は、電子的に撮影されたデジタルイメージに適用可能な汎用的な方法であるが、この方法は、まばらにサンプリングされた拡大されたダイナミックレンジのデジタルイメージには、うまく作用しない。
【０００６】
そのため、まばらにサンプリングされた拡大されたダイナミックレンジのデジタルイメージから、低解像度イメージを生成する改良された方法が必要とされている。
【０００７】
【課題を解決するための手段】
本発明の低解像度イメージ生成方法は、まばらにサンプリングされ、拡大されたダイナミックレンジのデジタルイメージから低解像度イメージを生成する方法であって、光露出に対する所定の応答を有する高速フォトサイトと、その間に散在する、該光露出と同じ光露出に対してより遅い応答を有する低速フォトサイトとを有し、まばらにサンプリングされ、拡大されたダイナミックレンジのイメージの検出装置を提供するステップと、該検出装置を用いて、高速フォトサイトから生成された高速画素値と、低速フォトサイトにより生成された低速画素値とを有する、まばらにサンプリングされた高解像度デジタルイメージを生成するステップと、まばらにサンプリングされた高解像度デジタルイメージから、前記低速画素値、または、前記高速画素値のみを用いて、まばらにサンプリングされた高解像度デジタルイメージから、低解像度デジタルイメージを構築するステップとを含む。これにより上記課題が解決される。
【０００８】
【発明の実施の形態】
デジタルイメージは、１以上のデジタルイメージチャネルを有する。各デジタルイメージチャネルは、画素の２次元アレイを有する。各画素値は、画素の幾何学的な領域に対応するイメージ撮影装置が受け取った光の量に関連する。カラー撮像用途では、デジタルイメージは、典型的には、赤、緑および青のデジタルイメージチャネルから構成される。他の構成もまた、実際に利用されている。例えば、シアン、マゼンタ、および黄色のデジタルイメージチャネルである。動画撮像用途では、デジタルイメージの時間系列と考えることができる。当業者であれば、本発明が、上述の任意の用途に対するデジタルイメージに適用でき、しかしながら制限されないことが、認識できるであろう。
【０００９】
本発明は、行および列により配置された画素値の２次元アレイとして、デジタルイメージチャネルを説明するが、当業者であれば、本発明は、等しい効果を有するモザイク面（非直線）に適用できることが理解される。
【００１０】
電子センサを用いる撮像装置は、周知である。そのため、本明細書は、特に本発明による装置の一部を構成する要素、または、本発明による装置により直接的に協働する要素に向けられている。特に図に示されていない、または、本明細書に記載されていない要素は、従来の技術から選択できる。本明細書で用いられているように、「イメージ」という語は、２次元アレイ値であることに留意されたい。イメージは、他のイメージの２次元集合であってもよい。
【００１１】
本発明は、プログラムされたデジタルコンピュータ、または、カスタム統合されたデジタルイメージ処理回路を用いて実施する。以下に与えられる開示に基づくコンピュータプログラムを生成するのは、プログラムの技術分野の能力で十分である。コンピュータは、パーソナルコンピュータのような汎用デジタルコンピュータであっても、または、デジタルイメージを処理するために特に設計された専用デジタルコンピュータであってもよい。
【００１２】
図１は、本発明の実施に際して使用される必須の要素を示す機能ブロック図である。対象物または風景からの光が、レンズ２に入射し、カラーフィルタアレイ（Color Filter Array;ＣＦＡ）を有する電荷結合素子（ＣＣＤ）のようなイメージ検出装置１０上に、写真イメージを形成する。ＣＭＯＳ素子のような他の素子が、イメージ検出装置１０として利用できる。以下より詳細に説明されるように、イメージ検出装置１０は、まばらにサンプリングされた拡大されたダイナミックレンジのイメージを検出する装置である。光学的ローパスフィルタ６は、レンズ２とイメージ検出装置１０との間に配置され、撮像された光のわずかににじませ、エイリアシングの発生を低減する。Ａ／Ｄ変換器１４は、イメージ検出装置１０から、撮像された光に対応する電圧信号を受け取り、電圧信号に対応するイメージ信号を生成する。デジタルイメージプロセッサ２００は、Ａ／Ｄ変換器１４からイメージ信号を受け取り、そのイメージ信号を修正して、デジタルイメージを生成する。デジタルイメージプロセッサ２００からの出力として、１以上の形態のデジタルイメージが生成できる。デジタル撮像システムのユーザは、ユーザ選択装置６２を利用して、システム解像度モードに関する選択が可能である。例えば、ユーザは、デジタルイメージプロセッサからの出力として、高解像度デジタルイメージ、低解像度デジタルイメージ、または、パクセル化されたデジタルイメージを選択できる。さらに、ユーザは、低解像度およびパクセル化されたデジタルイメージを選択した場合には、計算速度および結果の忠実度に関して、異なる選択肢から選択できる。ユーザはまた、得られる、どの出力デジタルイメージにも実施される拡張処理を選択でき、結果として得られた拡張されたデジタルイメージは、表示装置６４で見られる。本発明は、デジタルカメラ内に実装できる。このデジタル撮像システム用途では、パクセル化されたデジタルイメージから得られた拡張されたデジタルイメージは、デジタルカメラの構成要素としての液晶表示装置（ＬＣＤ）に表示される。
【００１３】
図１に示すＡ／Ｄ変換器１４は、イメージ検出装置１０が生成した電圧信号を、イメージ信号、すなわち、イメージ検出装置１０のフォトサイトが生成した電圧信号に対応するデジタル画素値のストリームに変換する。より具体的には、Ａ／Ｄ変換器１４は、イメージ検出装置１０からの、入射光の強度に関してほぼ線形の電圧信号を、離散デジタルイメージ信号に変換する。離散デジタルイメージ信号は、例えば、線形符号化された値が０〜１０２３までの範囲に入る１０ビット信号である。Ａ／Ｄ変換器１４はまた、従来広く行われているような、線形符号値領域イメージ信号を、非線形符号値領域イメージ信号に変換する処理も行う。例えば、下記の方程式を利用して、１０ビット線形イメージ信号ａ（ｘ，ｙ）を、８ビットの対数イメージ信号ｂ（ｘ，ｙ）に変換する。（ｘ，ｙ）は、イメージ検出装置１０に関する信号位置の行および列の目盛り（index）を特定する。
【数１】

（イメージ検出装置の線形応答領域における）露出の各絞りは、線形イメージ信号ａ（ｘ，ｙ）の倍になり、その結果、対数符号化されたイメージ信号ｂ（ｘ，ｙ）は増加する。増加の値は、５１である。この場合、値が５１というのは、露出の絞り（ｃｖｓ）ごとのコード値の数である。
【００１４】
図２は、図１に示すデジタルイメージプロセッサ２００をより詳細に示す。イメージ信号は、ダイナミックレンジ拡張フィルタアレイ（ＤＲＥＦＡ）プロセッサ２２により受け取られる。ＤＲＥＦＡプロセッサ２２は、イメージのダイナミックレンジを拡大し、サンプル値を補間することにより、イメージ信号を処理する。そしてＤＲＥＦＡプロセッサ２２は、修正されたイメージ信号を、ＣＦＡ補間器２６に送る。ここでは、カラー値は補完され、各画素におけるカラー値を与える。ＣＦＡ補間器２６の出力は、高解像度デジタルイメージである。ＣＦＡパクセル化モジュール２２０もまた、イメージ信号を受け取り、パクセル化された（paxelized）デジタルイメージ、すなわち、低解像度デジタルイメージを生成する。または、拡張プロセッサ２４０もまた高解像度デジタルイメージを受け取る。拡張プロセッサ２４０は、パクセル化デジタルイメージを受け取り、そのパクセル化デジタルイメージに基づいて、画質向上量（enhancement）を計算し、高解像度デジタルイメージの画素に、その画質向上量を適用して、画質が向上したデジタルイメージを生成する。
【００１５】
ＣＦＡ補間器２６を設けた目的は、検出した写真イメージの各位置の色の完全な描写を生成することである。好ましい実施の形態では、イメージ検出装置１０は、フォトサイトと呼ばれる感光素子アレイからなる。同じく譲渡された米国特許第3,971,065号においてBayerにより説明されているように、各フォトサイトは、典型的には、赤、緑、または、青のフィルタで覆われている。米国特許第3,971,065号は、この引用により本明細書に組み込まれる。Bayerのアレイは、カラーフィルタアレイである。カラーフィルタアレイでは、緑のフィルタは、フォトレジストにわたって、チェッカーボードパターンで配置されており、赤および青のフィルタは、ラインごとに切り替わり、チェックボードパターンの隙間を満たす。これにより、緑のフィルタサイトが、赤または青のフィルタサイトよりも２倍多くなる。本明細書で説明される方法は、原色の別の配置を持つカラーフィルタアレイ、原色の数が異なるカラーフィルタアレイ、または、原色の組み合わせが異なるカラーフィルタアレイに容易に拡張できることに留意されたい。したがって、好ましい実施の形態では、各フォトサイトは、赤色、緑色または青色の光のいずれにも感度を有する。しかし、好ましくは、各フォトサイトの位置で、赤、緑および青の各々の露出量で表す露出に対応する画素値を得ることが好ましい。イメージ信号の画素値は、ＣＦＡデジタルイメージ、すなわち、フォトサイトのカラーフィルタアレイにより生成されるデジタルイメージを構成する。そのため、撮影されたイメージは、赤、緑および青でまばらにサンプリングされる。イメージ信号の画素値は、近隣の画素位置における赤、緑および青の画素値を有する、まばらにサンプリングされたイメージで構成されている。ＣＦＡデジタルイメージは、まばらにサンプリングされたデジタルイメージの例である。
【００１６】
本明細書では、「赤」「緑」および「青」は、イメージ処理技術では周知の、イメージ検出装置１０の原色スペクトル感度を表す。ＣＦＡ補間器２６は、Ａ／Ｄ変換器１４から出力されたイメージ信号から、補間されたイメージ信号を生成する。補間されたイメージ信号は、各フォトサイトの原色に対応する画素値から構成される。例えば、特定のフォトサイトが赤のフィルタで覆われている場合、Ａ／Ｄ変換器１４は、そのフォトサイトの赤の画素値を出力する。それは、赤のフィルタは、本質的に、そのフォトサイトを緑および青の光から遮るからである。ＣＦＡ補間器２６は、対応するフォトサイトが緑および青の光に応答しない場合でも、対応するフォトサイトについて、緑の画素値および青の画素値を計算する。同様に、ＣＦＡ補間器２６は、青のフォトサイトに対応する、緑の画素値および赤の画素値を計算し、緑のフォトサイトに対応する赤の画素値および青の画素値を計算する。
【００１７】
一般的に、ＣＦＡ補間器２６は、対応するフォトサイトの画素値および関連する周辺のフォトサイトの画素値を考慮して動作する。周知の任意の補間器が利用できる一方、好ましいＣＦＡ補間器の説明が、Adams, Jr. らに１９９７年７月２９日に発行された米国特許第5,652,621号に含まれている。当該特許の内容は、この引用により本明細書に組み込まれる。Adamsらは、行および列で配列されたカラーフォトサイトを有するイメージセンサから得られた、デジタル化イメージ信号を処理する装置を説明する。カラーフォトサイトは、少なくとも３つの別個のカラー値を生成するが、各フォトサイトの位置に対して、１つのカラー値のみである。また、カラーフォトサイトは、各フォトサイト位置についてカラー値を補間する構造体を生成し、３つの異なるカラー値を保持する。装置は、フォトサイト位置から失われた適切なカラー値を、そのようなフォトサイト位置に対する追加のカラー値の補間により生成する。適切なカラー値は、近くのフォトサイト位置における、失われたカラー値とは異なるカラーのカラー値から生成される。装置はまた、少なくとも２つのイメージ方向(direction)における、同じ行および列の近くのフォトサイトに対応する画素値から、ラプラシアン２次値と、グラディエント値と、カラー差バイアス値とを取得する。装置は、これらの値から改善された分類に基づいて、失われたカラー値の補間に関する好ましい配向（orientation）を選択する。最後に、近くの多数のカラー画素値からの、失われたカラー画素値が選択され、好ましい配向に適合させる。
【００１８】
Ａ／Ｄ変換器１４から出力されたイメージ信号は、ＤＲＥＦＡプロセッサ２２により受け取られる。ＤＲＥＦＡプロセッサ２２は、イメージ信号のダイナミックレンジを拡大する。好ましい実施の形態では、イメージ検出装置１０のダイナミックレンジは、イメージ検出装置１０の、あるフォトサイトを選択することにより拡大され、ゆっくりと応答する。イメージ検出装置１０に関して選択されたフォトサイトの構成は、以下、より詳細に説明する。好ましい実施の形態では、選択されたフォトサイトのゲインを変化させることにより、選択されたフォトサイトの応答は落とされ、または、遅らされる。本明細書では、このようなフォトサイトを低速フォトサイトと言及する。フォトサイトのゲインを変化させることは、デジタルカメラ設計および製造の技術においては広く行われていることである。
【００１９】
図３を参照して、各フォトサイトのトップに樹脂小型レンズ５１を配置することは、イメージセンサの製造における技術において広く行われている。例えば、特にイメージ検出装置１０がインターラインソリッドステートイメージ検出装置の場合に、Ishiharaに１９８７年５月１９日に発行された米国特許第4,667,092号に記載されている。この内容は、この引用により本明細書に組み込まれる。Ishiharaは、ブロック表面を有するイメージ記憶ブロックを含む、ソリッドステートイメージ装置を開示する。複数の記憶素子は、ブロック表面に沿って埋め込まれ、電荷の形でイメージを記憶する。表面にわたる層が堆積されて、記憶素子に対応する光学レンズアレイを形成する。中間層が、ブロック表面と表面にわたる層との間に設けられる。入射光は、レンズおよび中間層を通して記憶素子上で焦点を結ぶ。中間層は、焦点距離を調整する調整層として機能する。
【００２０】
図３は、インターラインソリッドステートイメージ検出装置の断面図を示す。小型レンズ５１を除いて、フォトサイトの各感光領域５５に関連する信号読み出し領域は、半導体基板の全領域を、感光性トランスデューサ領域として利用できないようにする。従来のソリッドステートイメージ装置は、受けた全入射光線を効率的に利用せず、よって低感度である。フォトサイトの上部にさらに樹脂小型レンズ５１を設けることで、入射光線が、フォトサイトの感光領域上に焦点を結ぶことができる。これにより入射光線のより効率的な利用と、フォトサイトの感度の向上が可能になる。よって、小型レンズ５１のサイズおよび／または効率を変化させることにより、フォトサイトの感度（ゲイン）が容易に変更できる。そのため、インターライン装置およびＣＭＯＳセンサに対して、フォトサイトのゲインを変更するには、フォトサイトの上部に配置された小型レンズ５１を変更することによる方法が好ましい。図３に示すように、位置５２には、小型レンズは存在しない。よってほとんどの入射光は、感光領域に入射しない。また、小型レンズは、小型レンズ５１と比較して、位置５２に、異なる半径、形状、サイズ、または材料で製造できる。これにより、入射光が感光領域５５上に焦点を結ぶ効率を、小型レンズ５１よりもより悪く構成できる。当業者であれば、小型レンズ５１は、入射光の８０％を感光領域５５上で焦点を合わせさせ、小型レンズを有しない（または低速小型レンズを有する）位置５２により、入射光の２０％を感光領域５５上に集めることができ、小型レンズ５１で覆われたフォトサイトは、位置５２より早い絞り２（２ stops）であることが理解されるであろう。この場合には、位置５２で示すように、高速な（ファスト）フォトサイトには小型レンズ５１が用いられ、低速フォトサイトには小型レンズは用いられない。
【００２１】
図４を参照して、フルフレームイメージ検出装置１０の断面図を示す。イメージ検出装置１０がフルフレーム装置の場合には、フォトサイトの感光領域５５に入射する光線は、遮光部の開口を通過しなければならない。遮光部は、典型的には金属から形成され、図４の断面図に示されており、遮光マスク部５４、遮光部に散在する大開口５６および小開口５７を備えている。好ましい実施の形態では、フォトサイトのゲインは、遮光マスク部５４を修正することにより変更できる。そして、フォトサイトの感度は、遮光マスク部５４の開口に直接関連する。例えば、あるフォトサイトの開口サイズの５０％の開口を持つフォトサイトは、当該あるフォトサイトと比較して、５０％の応答を示す。例えば、遮光マスク部５４の大開口５６により、そのフォトサイト上へ入射する光線の８０％が通過可能であるが、小開口５７により、入射光線の２０％のみが通過できる。当業者は、大開口５６を有するフォトサイトは、小開口５７を有するフォトサイトよりも、絞り２だけ早いことが理解できるであろう。この場合には、大開口５６は、高速フォトサイトに利用され、小開口５７は、低速フォトサイトに利用される。よって、遮光マスクの開口は、修正され、選択されたフォトサイトの応答を調整できる。The Eastman Kodak Companyは、金属マスク遮光部を有するフルフレームイメージ検出装置を製造する。金属マスク遮光部は、（ディザスキャナ用途に対して）全画素の画素活性領域を、約８０％から約２０％に減少する。ディザスキャナ用途では、センサは、水平および垂直に１／２画素間隔で移動され、４つの画像が撮影される。よって、本発明は、そのようなマスク技術を含むが、別個のサイズの開口を用い、イメージ光に対して異なる応答を有するイメージセンサを提供する。
【００２２】
好ましい実施の形態では、図５にグラフで示すように、選択された低速フォトサイトの応答は、同じ露出の高速フォトサイトの応答のＸ％（Ｘ≦１００）である。この好ましい実施の形態では、選択されたフォトサイトは、高速フォトサイトに対して、絞り２（−ｌｏｇＸ／１００）だけ応答が遅くされている。ここでＸ＝２５である。よって、イメージ検出装置１０は、フォトサイト、高速フォトサイトおよび低速フォトサイトの複数の組から構成される。高速フォトサイトの出力応答を集めたものは、まばらにサンプリングされた高速デジタルイメージ、すなわち、高速フォトサイトで検出された場面をまばらにサンプリングしたバージョン、を構成する。同様に、低速フォトサイトの出力応答を集めたものは、まばらにサンプリングされた低速デジタルイメージ、すなわち、低速フォトサイトで検出された場面をまばらにサンプリングしたバージョン、を構成する。
【００２３】
さらに他には、選択された低速フォトサイトの応答は、フォトサイトを覆う中性フィルタ（neutral filter）を使用することにより、遅くできる。図６は、カラーフィルタアレイ５３を有するイメージ検出装置の断面図である。カラーフィルタアレイ５３ａは赤、５３ｂは緑、５３ｃは赤、５３ｄは緑である。中性フィルタ５８の層は、上述のカラーフィルタアレイ５３を含む。ただし、中性フィルタ５８およびカラーフィルタアレイ５３の層の位置は問題とはならない。中性フィルタ５８の層は、中性フィルタ５９により示されるように、選択されたフォトサイトの位置における中性フィルタのみを含むことに留意されたい。この場合には、中性フィルタ５８の層は、高速フォトサイトに対して透明またはほぼ透明であり、低速フォトサイトに対する中性フィルタ５９を含む。例えば、仮に中性フィルタ５９が光の伝達をＸ％許容する材料からなる場合には、低速フォトサイトの応答は、絞り−ｌｏｇ_２（Ｘ／１００）だけ小さくなるであろう。
【００２４】
以下、図２に示すＤＲＥＦＡプロセッサ２２をより詳しく説明する。ＤＲＥＦＡプロセッサ２２を設けた目的は、入力されたイメージ信号を処理し、また、高速および低速フォトサイトの写真応答における際を考慮して、増加したダイナミックレンジを有するイメージ信号を生成することである。したがって、ＤＲＥＦＡプロセッサ２２の出力は、増加したダイナミックレンジ値を有する、拡張されたイメージ信号である。拡張されたイメージ信号は、既に説明した処理を行うＣＦＡ補間器２６に入力される。
【００２５】
本発明では、Ａ／Ｄ変換器１４とＤＲＥＦＡプロセッサ２２とが直接接続されていることは要件ではない。ＤＲＥＦＡプロセッサ２２は、Ａ／Ｄ変換器１４およびイメージ検出装置１０にきわめて近接して、ハードウェアまたはソフトウェアで存在する。例えば、ＤＲＥＦＡプロセッサ２２は、デジタルカメラ内に直接に設けることができる。しかし、ＤＲＥＦＡプロセッサ２２はまた、イメージ検出装置１０から離れていてもよい。例えば、Ａ／Ｄ変換器１４から出力されたイメージ信号は、（圧縮の後）信号線接続またはワイヤレス接続を介して、個人のコンピュータ装置、プリンタ、またはリモートサーバに伝送され、ＤＲＥＦＡプロセッサ２２の動作に適用できる。イメージ信号の伝送はまた、ファイルトランスファープロトコル（file transfer protocol）または電子メールを含んでもよい。さらに、クレジットカードまたは他の手段による支払いが、ＤＲＥＦＡプロセッサ２２によってユーザから要求される。
【００２６】
好ましい実施の形態では、イメージ検出装置１０のフォトサイトの５０％が遅い応答を有するように選択される。当業者であれば、遅い応答のフォトサイトのパーセンテージを変えても、まだ、本発明の利点をもたらすことが認識できるであろう。すべてのフォトサイトが、ほぼ等しいスペクトル感度を有するイメージ検出装置１０の場合（すなわち、全色性（panchromatic）イメージ検出装置の場合）には、図７の（Ａ）は、低速フォトサイトの配置を示す。低速フォトサイトは、応答が遅いイメージ検出装置１０の全フォトサイトの５０％にいたる。応答の遅いフォトサイト２８は、アスタリスク（＊）でマークされ、高速な高速フォトサイト３０は、ブランクである。まばらにサンプリングされたイメージは、イメージとして前に規定されている。イメージは、カラーフィルタアレイを有するイメージ検出装置で撮影されている。本発明によれば、「まばらにサンプリングされた」という語はまた、図７の（Ａ）に示すようなイメージセンサにより生成されるイメージにあてはまることも意図している。ここでは、高速および低速フォトサイトが散在している。
【００２７】
図７の（Ｂ）は、カラーイメージセンサの配置を示す図である。ここでは、各フォトサイトタイプ（赤、緑、または青の感光性）の５０％が、遅い応答である。例えば、フォトサイト３２、３４、３６は、それぞれ遅い応答をもつ赤、緑、青のフォトサイトである。フォトサイト３８、４０、４２は、それぞれ早い応答をもつ赤、緑、青のフォトサイトである。
【００２８】
図７の（Ａ）および（Ｂ）は、低速フォトサイトの位置を示す標準パターンを意味する。低速フォトサイトは、標準パターンで配置されることが好ましいが、必ずしも必要でない。低速フォトサイトは、ランダムにまたは半ランダムに、イメージ検出装置１０の表面上に配置できる。低速フォトサイトの位置は、ＤＲＥＦＡプロセッサ２２にアクセス可能な位置に用意される。
【００２９】
図５を参照して、図５は、所定の露出に対する高速フォトサイトの応答、および、同じ露出に対する低速フォトサイトの応答を示す。応答にノイズｎのレベルが重ね合わさている場合には、高速フォトサイトは、低速フォトサイトよりも、（露出レベルＥから開始する）露出がより低い有効な信号を生じることが、容易に確認できることに留意されたい（低速フォトサイトは、露出レベル１００Ｅ／Ｘで始まる有効な信号を生じる）。また、低速フォトサイトからのデータは、高速フォトサイトよりも、高い露出レベルで有効である。高い露出レベルとは、信号レベルが１００Ｅ２^Ｓ／Ｘまでのレベルである。Ｓは、単一のフォトサイトの固有のダイナミックレンジであり、典型的にはＳは絞り約５である。高速フォトサイトは、Ｅ２^Ｓの露出までの有効な応答を生成する。高速フォトサイトと低速フォトサイトの両方は、露出の絞り（Ｓ）における同じ応答レンジを有する。しかし、低速フォトサイトの応答は、図５に示すように、好ましくは、高速フォトサイトよりも遅い、絞り−ｌｏｇ_２（Ｘ／１００）である。高速および低速フォトサイトの応答は、露出に関して重なることが好ましい。すなわち、−ｌｏｇ_２（Ｘ／１００）＜Ｓであることが好ましい。イメージ検出装置１０の全ダイナミックレンジは、高速および低速フォトサイトを考慮すると、Ｓ−ｌｏｇ_２（Ｘ／１００）である。Ｓ＝５およびＸ＝２５である好ましい実施の形態の場合は、イメージ検出装置１０の効果的な全ダイナミックレンジは、露出の絞り７である。
【００３０】
ＤＲＥＦＡプロセッサ２２は、低速フォトサイトに対応する画素値を用いることにより、本発明で生成されるデジタルイメージの全ダイナミックレンジを拡大して、非常に高い露出に対応する領域のイメージ信号を再構築するのに利用できる。同様に、ＤＲＥＦＡプロセッサ２２はまた、高速な応答をもつフォトサイトに対応する画素値を用いて、非常に遅い露出に対応するイメージ信号を再構築する。
【００３１】
図８は、ＤＲＥＦＡプロセッサ２２を分解した部分の相互関係を示す図である。Ａ／Ｄ変換器１４から出力される対数関数イメージ信号ｂ（ｘ，ｙ）は、低速画素等化器４４に送られる。低速画素等化器４４を設けた目的は、絞りＸに応じたオフセットを考慮することにより、低速フォトサイトに対応するイメージ信号を補償することである。または、高速画素は、高速画素を逆の方向に調整することにより、低速画素に等化される。好ましい実施の形態では、低速フォトサイトに対応するイメージ信号は、−cvs ｌｏｇ（Ｘ／１００）の量だけインクリメントされる。ここで、cvsは、露出絞りごとのコード値の数である。好ましい実施の形態では、cvsの量は５１である。または、低速画素等化器４４に入力されるイメージ信号が、露出に対して（対数関数的よりはむしろ）線形的に関連がある場合には、低速画素等化器４４は、低速フォトサイトに対応するイメージ信号に、１００／Ｘのファクタで、倍率をかける。低速フォトサイトの位置は、低速画素等化器４４に通知しなければならないとしていることに留意されたい。低速画素等化器４４の出力は、イメージ信号ｉ（ｘ，ｙ）である。イメージ信号ｉ（ｘ，ｙ）は、低速フォトサイトに対応する位置において、高速フォトサイトの応答に関連する低速フォトサイトの応答の間の差を補償される。高速フォトサイトに対応する位置においては、Ａ／Ｄ変換器１４から出力されるイメージ信号ｂ（ｘ，ｙ）の値は、低速画素等化器４４から出力されるイメージ信号ｉ（ｘ，ｙ）の値と同じである。イメージ信号ｉ（ｘ，ｙ）は、８ビット範囲に制限されないことに注意されたい。好ましい実施の形態では、ｉ（ｘ，ｙ）の値は、０〜３５７（すなわち９ビット）である。
【００３２】
次に、低速画素等化器４４から出力されるイメージ信号ｉ（ｘ，ｙ）は、低速画素閾値部４６に入力される。低速画素閾値部４６を設けた目的は、低速画素値を決定するためである。低速画素値は、有効な信号を生成するのに十分な光子を受け取らないフォトサイトに起因して、質が低い。これら（ｘ，ｙ）位置における画素値は、信号拡張部５０が近隣の高速画素値に基づく新たな画素値の計算を行う処理の際に、置換される。所定の閾値よりも小さい低速画素値のすべては、問題のある画素値と考えられる。低速画素値の場合には、この所定の閾値は、低露出応答閾値として言及される。よって、画素値ｉ（ｘ，ｙ）は、低速フォトサイトの場合、および、
【数２】

の場合には問題と考えられる。ここで、Ｔ_１は予め定められている。好ましい実施の形態では、Ｔ_１の値は、下記の方程式で与えれられ、値１０２が設定されている。
【数３】

閾値Ｔ_１は、位置（ｘ，ｙ）におけるフォトサイトのカラー感度に依存する。問題のある低速画素値は、ノイズ画素として言及される。それは、ｉ（ｘ，ｙ）の値は、イメージ検出装置が有用となる雑音レベルに対して十分高くはないからである。
【００３３】
同様に、低速画素等化器４４から出力されるイメージ信号ｉ（ｘ，ｙ）は、高速画素閾値部４８に入力される。高速画素閾値部４８を設けた目的は、質の低い高速画素値を決定するためである。その後、これらの位置における画素値は、信号拡張部５０による処理中の、近隣の低速画素値に基づいて、新たな画素値を計算することにより置き換えられる。信号拡張部５０による処理は、以下、詳細に説明する。所定の閾値よりも大きい高速画素値のすべては、問題のある画素と考えられる。高速画素の場合、高速画素の問題を検出するために用いられる、この所定の閾値は、光露出応答閾値と言及される。したがって高速画素値ｉ（ｘ，ｙ）は、下記方程式の場合には問題であると考えられる。
【数４】

ここで、Ｔ_２は、所定の閾値である。好ましい実施の形態では、Ｔ_２の値は、値２５４に設定される。閾値Ｔ_２は、位置（ｘ，ｙ）におけるフォトサイトのカラーに依存する。問題の位置の高速フォトサイトは、飽和画素（saturated pixels）と言及される。それは、値ｉ（ｘ，ｙ）は、その位置においてできるだけ高い方がよいからである。
【００３４】
低速画素閾値部４６により決定される低速画素の問題の位置（ｘ，ｙ）、および、高速画素閾値部４８により決定される高速画素の問題の位置（ｘ，ｙ）は、信号拡張部５０に入力される。さらに、低速画素等化器４４から出力されるイメージ信号ｉ（ｘ，ｙ）はまた、信号拡張部５０に入力される。信号拡張部５０を設けた目的は、イメージ検出装置１０の各フォトサイト固有のダイナミックレンジがより大きくなっている場合に、問題の位置（ｘ，ｙ）におけるイメージ信号ｉ（ｘ，ｙ）を、置換値と称する信号の評価と置換することである。問題の位置が、低速フォトサイトと一致すると、置換値は、高速フォトサイトと一致する近隣のイメージ信号画素値から計算される。本実施の形態では、「近隣」という語は、ある空間的な距離を示すとする。好ましい実施の形態では、選択された近隣のフォトサイトは、当該選択されたフォトサイトの２つのフォトサイトの距離内に存在するフォトサイトである。同様に、問題の位置がフォトサイトと一致すると、置換値は、低速フォトサイトと一致する近隣のイメージ信号画素値から計算される。好ましい実施の形態では、問題のフォトサイトにおけるフォトサイトの色もまた、考慮している。どの問題の位置についての置換値は、好ましくは、同色の近隣のフォトサイトから発生される信号によってのみ、決定される。信号拡張部５０の出力は、イメージ検出装置１０の各フォトサイトについての、実際の固有のダイナミックレンジＳよりはむしろ、あたかも、下記方程式に示す固有のダイナミックレンジＳを有するフォトサイトを持つイメージ検出装置１０により撮影されたようなダイナミックレンジを有するイメージ信号ｉ’（ｘ，ｙ）である。
【数５】

問題の位置ではない全ての（ｘ，ｙ）位置において、ｉ’（ｘ，ｙ）の値は、ｉ（ｘ，ｙ）と等しいことに留意されたい。
【００３５】
図７の（Ｂ）に示すBayerＣＦＡパターンに対して、信号拡張部５０により行われる処理の例として、位置（ｘ，ｙ）が問題の位置であり、（ｘ，ｙ）が（図７の（Ｂ）に示すフォトサイト３４のような）緑のフォトサイトに対応する位置とすると、イメージ信号ｉ（ｘ，ｙ）に対する置換値ｉ’（ｘ，ｙ）は、以下のように計算される。
【数６】

ｉ’（ｘ，ｙ）の計算に従属する信号値は、ある要件に適合するように予定されていることに留意されたい。例えば、（ｘ，ｙ）が問題の位置であり、（ｘ，ｙ）が遅い応答を有するを有する緑のフォトサイトに対応するとする。そして、近隣のフォトサイトの信号レベルは、置換値ｉ’（ｘ，ｙ）を計算するのに利用される。しかし、これは、近隣のフォトサイトの各々の信号値もまた、Ｔ_３より小さいと仮定する。好ましい実施の形態では、Ｔ_３＝Ｔ_１である。このケースに該当しない近隣のフォトサイトの各々に対しては、その信号値は、置換値ｉ’（ｘ，ｙ）の計算から省略される。例えば、ｉ（ｘ−１，ｙ−１）＞Ｔ_３の場合は、値ｉ’（ｘ，ｙ）は下記の方程式で計算される。
【数７】

一般に、位置（ｘ，ｙ）が、Bayerパターンフィルタアレイを有するイメージ検出装置の、高速フォトサイトでもある緑のフォトサイトに対応する場合に、問題の位置（ｘ，ｙ）における置換値を決定するための補間スキームは、以下の方程式で与えられる。
【数８】

【数９】

【００３６】
問題の位置が、低速フォトサイトでもある緑のフォトサイトに対応する場合にも、同じ等式を適用して置換値を決定することに留意されたい。しかし、以下の方程式も成り立つ。
【数１０】

好ましい実施の形態では、Ｔ_４＝Ｔ_２である。
【００３７】
別の例として、位置ｉ（ｘ，ｙ）が問題のフォトサイトであり、（ｘ，ｙ）が赤または青のフォトサイトの位置に対応するとする。これもまた、図７の（Ｂ）に示すBayerＣＦＡパターンと関連する。このとき、イメージ信号ｉ（ｘ，ｙ）に対する置換値ｉ’（ｘ，ｙ）は、以下のように計算される。
【数１１】

位置（ｘ，ｙ）が赤または青のフォトサイトに対応し、また高速フォトサイトにも対応するとき、置換値ｉ’（ｘ，ｙ）を決定する方程式は、以下のように求められる。
【数１２】

【数１３】

この場合には、ｊまたはｋのいずれかは０でなければならないが、双方が０になることはない。また、問題の位置が、低速フォトサイトでもある赤または青のフォトサイトに対応する場合にも、同じ方程式を適用して置換値を決定することに留意されたい。しかし、以下の式も成り立つ。
【数１４】

好ましい実施の形態では、Ｔ_４＝Ｔ_２である。
【００３８】
１以上のまばらにサンプリングされたイメージ信号から、拡大されたダイナミックレンジを有するイメージ信号を生成するための上述の補間スキームは、当業者であれば修正できるであろう。しかし、上述の補間スキームに対するそのような多くの修正がえられるが、本発明から大きく逸脱するとして考えるべきではない。
【００３９】
当業者であれば、信号拡張部により行われる上述の補間スキームは、この技術において周知のローパスフィルタであることが認識できるであろう。典型的には、イメージ信号に対するローパスフィルタの適用により、イメージ信号の解像度を低減させる類似の効果がある。よって、ＤＲＥＦＡプロセッサ２２により行われる処理方法により、イメージ検出装置１０の空間解像度を、イメージ検出装置１０のダイナミックレンジを得るのに扱うことができる。実際、信号のダイナミックレンジを増加させるために補間スキームを行うイメージの領域は、そのイメージの同じ領域が（低速画素閾値部４６および高速画素閾値部４８により規定される）「問題の位置」が生じないようセンサによって撮影されていた場合に得られたイメージと比較して、顕著にソフトに（鮮明でなく）なる。
【００４０】
図９は、図２に示すＣＦＡパクセル化モジュール２２０をより詳細に示す。ＣＦＡパクセル化モジュール２２０は、Ａ／Ｄ変換器１４からの、そのままのイメージ信号、または、ＤＲＥＦＡプロセッサ２２からの処理されたイメージ信号を受け取る。イメージ信号は、信号抽出モジュール２２２が受け取る。信号抽出モジュール２２２は、低速フォトサイトに対応するイメージ信号の低速画素値を集めて、低速画素から、まばらにサンプリングされた低速デジタルイメージを形成する。留意すべき重要なことは、信号抽出モジュール２２２により行われる動作は、コンピュータメモリ内の、画素データの格納位置を再配列しなくてもよいことである。本発明は、コンピュータメモリ内の、画素データの格納位置に対するポインタアドレッシングスキームとして、信号抽出モジュール２２２を実装する。
【００４１】
ＣＦＡパクセル化モジュール２２０は、２つのイメージ処理経路を利用する。最初ののイメージ処理経路では、ＣＦＡ補間器２６は、まばらにサンプリングされた低速デジタルイメージを受け取る。ＣＦＡ補間器２６は、入力されたまばらにサンプリングされた低速デジタルイメージから、低解像度デジタルイメージを生成する。その結果の低解像度デジタルイメージは、各低速フォトサイトに規定される赤、緑、青の画素値で完全に占められたデジタルイメージである。
【００４２】
ＣＦＡパクセル化モジュール２２０が利用する第２のイメージ処理経路は、低解像度パクセル化モジュール２２４を利用して、低解像度のまばらにサンプリングされた低速デジタルイメージに、数値平均化空間フィルタリング技術を施すことである。その結果、パクセル化デジタルイメージが得られる。パクセル化デジタルイメージもまた、低解像度デジタルイメージである。
【００４３】
信号抽出モジュール２２２は、イメージ信号を受け取り、イメージの低速画素値を集めて、まばらにサンプリングされた低速デジタルイメージにする。図１０の（Ａ）、（Ｂ）および（Ｃ）は、図７の（Ａ）および（Ｂ）に示すＣＦＡフォトサイトパターンで生成されたイメージ信号から得られた、まばらにサンプリングされた低速デジタルイメージの例を示す。
【００４４】
図１０の（Ａ）は、緑のデジタルイメージチャネルの全ての画素位置が、イメージ信号の緑の画素からの値で配置されている様子を示す。しかし、図１０の（Ｂ）および（Ｃ）は、赤および青のデジタルイメージチャネルが、１行および１列ごとに、配置されておらず、補間法で計算を行わなければならない様子を示す。留意すべき重要なことは、まばらにサンプリングされた高解像度デジタルイメージから得られたまばらにサンプリングされた低速デジタルイメージは、まばらにサンプリングされた高解像度デジタルイメージの、半分の数の列と、半分の数の行を有することである。
【００４５】
ＣＦＡ補間器２６は、まばらにサンプリングされた低速デジタルイメージを受け取り、上で参照した米国特許第5,652,621号においてAdams らに開示されたと類似の方法を用いて、低解像度デジタルイメージを計算する。まばらにサンプリングされた低速デジタルイメージの、赤、青のデジタルイメージチャネルに対する配置されていない画素値は、存在しない画素の小さな範囲の局所的な近隣の画素でサンプリングされた画素値を用いて補間される。Adams らによって説明された方法の唯一の変更は、緑のデジタルイメージチャネル画素値の補間を省略することである。それは、このデジタルイメージチャネルは、既に完全に画素で占められているからである。補間処理の適用により得られた完全に配置されたデジタルイメージは、低解像度デジタルイメージとして言及される。低解像度デジタルイメージが、ＣＦＡ補間器２６からの出力としてのソースデジタルイメージから得られた場合に必要とされる計算処理時間よりも少ない計算処理時間が、イメージ検出装置１０からの低解像度デジタルイメージを生成するのに必要とされる。
【００４６】
上述のように、図９に示す低解像度パクセル化モジュール２２４は、まばらにサンプリングされた低速デジタルイメージを受け取る。（空間フィルタリングの形での）ブロック平均化技術を用い、画素値の各ブロックに対して、パクセル化された値を計算する。パクセル化デジタルイメージは、乗算整数値により関連付けられた高解像度デジタルイメージの寸法に関連する寸法を有する。例えば、上述の高解像度デジタルイメージが、１５３６×２３０４画素であるとき、まばらにサンプリングされた低速デジタルイメージは、７６８×１１５２画素である。よって、ブロック平均化技術を用いれば、パクセル化デジタルイメージの得られるサイズは、３８４×５７６、１９２×２８８等である。または、周知のバイリニア補間法を用いて、任意のサイズのパクセル化デジタルイメージを生成できる。または、ＣＦＡパクセル化モジュール２２０は、ＣＦＡ補間器２６により生成される高解像度デジタルイメージから直接に、低解像度デジタルイメージを生成できる。
【００４７】
図１０の（Ａ）を参照して、まばらにサンプリングされた低速デジタルイメージの緑の画素の位置は、画素値で完全に占められている。２×２のブロックサイズに対して、指標０から１で参照される列、および、指標０から１で参照される行の画素値は平均化され、パクセル化デジタルイメージの第１の緑の画素値になるパクセル値を生成する。図１０の（Ｂ）を参照して、まばらにサンプリングされた低速デジタルイメージの赤の画素の位置は、画素値で完全に占められていない。２×２のブロックサイズに対して、画素値ｒ_０１およびｒ_１０は平均化され、パクセル化デジタルイメージの第１の赤の画素値になるパクセル値を生成する青のパクセル値は同様に計算される。図１１は、３２×３２画素のブロックサイズに対するブロック領域の絵図を示す。これは、２４×３６画素のパクセル化されたデジタルイメージになる。
【００４８】
低速画素値のみを用いて低解像度イメージを生成することにより、計算効率よく、そして飽和アーチファクトが最小のイメージが生成される。同様に、まばらにサンプリングされた高解像度デジタルイメージが、高速画素に、有意のアーチファクトを含んでいない場合には、高速画素値を選択して、低解像度デジタルイメージを形成することができる。これもまた、計算効率よく、低解像度イメージにおけるノイズ画素を最小にできる。図９を参照して、信号抽出モジュール２２２は、ＤＲＥＦＡプロセッサ２２と類似の方法により、高速および低速画素値を分析し、まばらにサンプリングされた高解像度デジタルイメージに、より飽和している画素が存在するか、またはよりノイズ画素が存在するかによって、高速画素値または低速画素値の一方を選択する。計算効率をより改善するため、信号抽出モジュール２２２は、高解像度デジタルイメージの画素の集合を利用してもよい。
【００４９】
再び図２を参照して、拡張プロセッサ２４０は、デジタルイメージを受け取り、拡張された高解像度デジタルイメージを生成する。本発明に役立つように利用できる多くのデジタルイメージ拡張方法があるが、本発明の好ましい実施の形態は、プリンタのような出力装置に送信するために前処理される、拡張されたデジタルイメージを生成する。２つの変換が利用され、直接印刷するためのデジタルイメージを生成する。第１の変換は、ソースデジタルイメージのカラー画素に適用される、３×３の色行列変換である。色行列変換は、イメージ検出装置１０のカラーフォトサイトのスペクトル感度の差と、印刷装置のスペクトル特性を考慮する。本発明で利用される上述の方法は、１９９３年２月２３日にParulskiらに発行された米国特許第5,189,511号に教示されている方法と類似する。第２の変換は、ソースデジタルイメージの拡大されたダイナミックレンジの画素値を、典型的な表示装置と互換性のある画素値に位置付ける、トーンスケール関数の応用を含む。本発明は、１９９４年４月５日にBuhrらに発行された米国特許第5,300,381号に記載された方法と類似の方法を利用する。Buhrは、選択的トーンマッピングを有するレンダリングトーンスケール関数を計算する方法を開示する。この方法では、トーンスケール関数のコントラストは、中央トーン画素強度に対して最大であり、影および最も明るい画素強度に対して、落ち着いたより低いコントラストを有する。レンダリングトーンスケール関数は、ガンママッピングトーンスケール関数と組み合わされて、システムトーンスケール関数を計算する。ガンママッピングトーンスケール関数は、典型的な表示装置の固有の強度応答を補償する。システムトーンスケール関数は、レンダリングトーンスケール関数のカスケードされ、（ルックアップテーブルの形で）ソースデジタルイメージの画素に適用され、その結果、拡張デジタルイメージが得られる。
【００５０】
拡張プロセッサ２４０はまた、低解像度デジタルイメージを処理するのにも利用できる。デジタルカメラ用途では、デジタルイメージプロセッサ２００により生成されたデジタルイメージを見るのに、ＬＣＤ表示装置を利用する。具体的には、本発明のある実施の形態によれば、システムは、低解像度デジタルイメージを計算し、図２に示す拡張プロセッサ２４０を用いて、低解像度デジタルイメージを処理して拡張された低解像度デジタルイメージを生成する。この実施の形態の拡張プロセッサ２４０は、ＬＣＤ表示装置に適当な３×３行列を利用する。拡張された低解像度デジタルイメージは、図１に示すＬＣＤ表示装置６４に表示される。
【００５１】
図１に戻って、上述したように、本発明は、低解像度デジタルイメージを生成する種々の異なる方法で実施できる。ユーザは、これらの方法から選択できる。例えば、ユーザに、選択肢（１）「高速・低精度」、選択肢（２）「低速・高精度」から選択させるメッセージを、ＬＣＤ表示装置６４上に表示できる。ユーザは、デジタルカメラのボタンを押下するといった、ユーザ選択装置６２を用いて選択を行う。ユーザが選択肢（１）を選択すると、パクセル化の実施例が利用され、低解像度イメージが生成される。逆に、ユーザが選択肢（２）を選択した場合には、ＣＦＡ補間の実施例が利用され、低解像度イメージが生成される。ユーザはまた、低解像度デジタルイメージの空間解像度の選択もできる。再び、利用可能な空間周波数の選択肢がＬＣＤ表示装置６４上に表示される。ユーザは、上述した選択肢（１）および（２）の選択方法とは独立して、利用可能な選択肢の選択が可能である。
【００５２】
【発明の効果】
本発明の１つの効果は、計算効率のよい方法で、まばらにサンプリングされた拡大されたダイナミックレンジのデジタルイメージから、低解像度イメージを生成できることである。さらに他の効果は、低速画素値のみを用いた場合には、低解像度イメージにおける飽和アーティファクトを最小化でき、高速画素値のみを用いた場合には、低解像度イメージにおける雑音アーティファクトを最小化できる、ということである。
【図面の簡単な説明】
【図１】本発明による、拡張されたレンジのイメージ検出装置と、デジタルイメージプロセッサとを用いるデジタルカメラシステムのブロック図である。
【図２】デジタルイメージプロセッサの機能ブロック図である。
【図３】小型レンズアレイを用いて、選択されたフォトサイトの応答を変化させる、インターラインイメージセンサの断面図である。
【図４】金属マスクを用いて、選択されたフォトサイトの応答を変化させる、フルフレームイメージセンサの断面図である。
【図５】高速フォトサイトおよび低速フォトサイトの応答を示すグラフである。
【図６】中性密度フィルタアレイを用いて、選択されたフォトサイトの応答を変化させる、イメージセンサの断面図である。
【図７】（Ａ）は、全色性のイメージ検出装置上の、低速フォトサイトおよび高速フォトサイトの配置を示す図である。（Ｂ）は、カラーイメージ検出装置上の、低速フォトサイトおよび高速フォトサイトの配置を示す図である。
【図８】ダイナミックレンジ拡張フィルタアレイ（ＤＲＥＦＡ）プロセッサの分解ブロック図である。
【図９】ＣＦＡパクセル化モジュールの機能ブロック図である。
【図１０】（Ａ）は、緑に感度を有する低速フォトサイトに対応する、サンプリングされた画素の低解像度配置を示す図である。（Ｂ）は、赤に感度を有する低速フォトサイトに対応する、サンプリングされた画素の低解像度配置を示す図である。（Ｃ）は、感度を有する低速フォトサイトに対応する、サンプリングされた画素の低解像度配置を示す図である。
【図１１】ブロック平均化のための画素の低解像度配置の例を示す図である。
【符号の説明】
２レンズ
６光学的ローパスフィルタ
１０イメージ検出装置
１４Ａ／Ｄ変換器
２２ＤＲＥＦＡプロセッサ
２６ＣＦＡ補間器
４４低速画素等化器
４６低速画素閾値部
４８高速画素閾値部
５０信号拡張部
６２ユーザ選択装置
６４ＬＣＤ表示装置
２００デジタルイメージプロセッサ
２２０ＣＦＡパクセル化モジュール
２２２信号抽出モジュール
２２４低解像度パクセル化モジュール
２４０拡張プロセッサ

Claims

まばらにサンプリングされ、拡大されたダイナミックレンジのデジタルイメージから低解像度イメージを生成する方法であって、
ａ）光露出に対する所定の応答を有する高速フォトサイトと、その間に散在する、上記光露出と同じ光露出に対してより遅い応答を有する低速フォトサイトとを有し、まばらにサンプリングされ、拡大されたダイナミックレンジのイメージの検出装置を提供するステップと、
ｂ）該検出装置を用いて、高速フォトサイトから生成された高速画素値と、低速フォトサイトにより生成された低速画素値とを有する、まばらにサンプリングされた高解像度デジタルイメージを生成するステップと、
ｃ）まばらにサンプリングされた高解像度デジタルイメージから、前記低速画素値のみ、または、前記高速画素値のみを選択することにより、まばらにサンプリングされた高解像度デジタルイメージから、低解像度デジタルイメージを構築するステップと
を含む、低解像度イメージ生成方法。
上記フォトサイトに小型レンズアレイを備え、
上記高速及び低速フォトサイトは、上記高速又は低速フォトサイトに変化をもたらすためにそれぞれのフォトサイトの感度を別々に変化させる異なる小型レンズパラメータを有する、請求項１記載の低解像度イメージ生成方法。
上記フォトサイト上に重なり開口を有する遮光部を備え、
上記遮光部の大開口が上記高速フォトサイトに重なり、上記遮光部の小開口が上記低速フォトサイトに重なる、請求項１記載の低解像度イメージ生成方法。
上記フォトサイトに重なる層を備え、
上記層は、上記高速フォトサイトに対して透明又はほぼ透明であり、上記低速フォトサイトに対して中性フィルタである、請求項１記載の低解像度イメージ生成方法。