JP5586236B2 - 画像センサのダイナミックレンジ拡大方法及び画像センサ - Google Patents

Description

１．発明の分野
本発明は、一般に、画像センサ（imaging sensors）に関し、特に、高いセンサ性能を維持しながら、ダイナミックレンジを拡大及び制御する撮像システムオンチップの解決法（imaging system-on-chip solution）に関する。

２．関連技術
ＣＭＯＳ画像センサを用いて可視撮像装置（Visible imaging systems）を実現することにより、カメラのコスト及び消費電力を大幅に削減する一方で、分解能を向上させ、雑音を低減する。最新のカメラは、非常に競争力がある画像検出素子を、タイミングコントローラ、クロックドライバ、基準電圧回路、アナログ／デジタル変換器（以下、Ａ／Ｄ変換器という。）及び重要な信号処理回路（key signal processing elements）を含む補助的な部品（ancillary components）と効率的に組み合わせたシステムオンチップＣＭＯＳ撮像素子（CMOS imaging System-on-Chip、以下、ｉＳｏＣという。）を用いている。したがって、高性能のビデオカメラを、レンズ及び電池によってのみサポートされる１つのＣＭＯＳ集積回路を用いて構成することができる。これらの改良によって、カメラのサイズはより小さくなり、電池寿命はより長くなり、静止画の撮影及び高精細動画（high definition video）の撮影を同時にサポートする新たなカメラへの適用が可能になっている。

ＣＭＯＳ可視光撮像素子（CMOS visible imagers）のシステムオンチップによる集積化によって新たなカメラ製品（emerging camera products）にもたらされる利点により、アクティブ画素センサ（active-pixel sensor、以下、ＡＰＳという。）素子を更に改良する研究が盛んになっている。オンチップのアナログ及び／又はデジタル信号処理を有するアクティブ画素センサにより、ＣＣＤセンサを用いた科学技術用途のビデオ装置と同等又はより優れた時間的雑音（temporal noise）を実現することができる。一方、ＣＭＯＳアクティブ画素回路は、複雑であり、通常、固定パターン雑音が大きく（この雑音を抑圧するために更なるｉＳｏＣ又はカメラ回路が必要となる可能性がある）、量子効率が低く、画像センサの解像度を、より小さな画素ピッチを用いて上げることが制限される。

図１は、チェン（Chen）によって（第１０回パターン認識国際会議議事録、１９９０年６月１６〜２１日、vol．２、２８６−２９１頁）に記載された従来の代表的なＣＭＯＳのｉＳｏＣ（CMOS imaging SoC）のブロック図である。チェンは、列毎のＡ／Ｄ変換器と、補助メモリによる信号処理回路とを含むｉＳｏＣの集積化を教示しているが、ダイナミックレンジは、画素からＡ／Ｄ変換器までの信号回路（signal chain）によって制限されている。ホワイト（White）によって（１９７３年、国際固体回路会議、１３４−１３５、２０８−２０９頁）教示された米国特許第６，４５６，３２６号の発明（図２）では、後段の相関二重サンプリングに含まれるリセットｋＴＣ雑音を低減し、瞬時ダイナミックレンジを向上させている。米国特許第６，４５６，３２６号の画素アレー３００は、更に、水平論理回路３２０及び垂直論理回路３１０と共に、タイミングコントローラ３０２によって駆動され、電子的画像を読出ノードで生成する。図３は、当業者には明らかなように、チェン及び米国特許第６，４５６，３２６号を含むこのような画像センサの代表的なタイムチャートであるが、簡単にするために、４つの行を有する画像センサを想定している。

各フレームの画像は、画像センサが所謂「ローリングシャッタ（rolling shutter）」方式なので、ライン毎／行毎に形成される。換言すれば、各行の読出及びリセットはライン毎に行われるので、画像センサの各行の間には、１ライン時間（one line time）の遅延時間（built-in latency）がある。図２に示すフレーム画像の全てを蓄積するための各フレーム時間の経過全体に亘って、最下行のラインがフレームの画像の蓄積を開始する時には、最上行のラインは、画像蓄積を実際には終了している。したがって、画素アレー全体が能動的に蓄積されている時間を最大にするためには、図３に示す標準拡張フレームタイミングが必要となる。遅延時間、及びデータ転送速度を少し高めただけでもセンサ雑音が増加するという一般的な傾向の懸念があるために、実際に性能を高める画像センサの読出のライン毎の特性に影響を与えるような設計はなされていない。

米国特許第７，０４６，２８４号には、最新の高性能低雑音ＣＭＯＳ撮像装置が開示されており、この高性能低雑音ＣＭＯＳ撮像装置は、最終段の高速アナログビデオドライバ（列バッファ、ラインドライバ又はプログラマブルゲイン増幅器）とＡ／Ｄ変換器との間の有効伝送路が、リアクタンスとしてではなく、抵抗として機能するように、高性能列バッファによってサポートされた低雑音画素アレーと、このセンサと同じ位置に配置された高速低電力Ａ／Ｄ変換器とを備える。高性能列バッファの設計、例えば引用により本明細書に援用される米国特許第５，８９２，５４０号に開示されている設計では、各画素からの信号を列毎に適切に処理する間に、列ベースの固定パターン雑音を最小にしている。画素の各列の読出回路（read out circuit）は、高利得広帯域ＣＭＯＳ差動増幅器と、リセットスイッチと、選択可能なフィードバックコンデンサと、選択可能な負荷コンデンサと、相関二重サンプリング及びサンプルアンドホールド回路と、複数の行を同時に処理するオプションのパイプライン回路と、出力バスに接続され、高速Ａ／Ｄ変換器に信号を供給する広帯域増幅器の入力オフセットのばらつきを抑えるオフセットキャンセル回路とを備える。高性能低雑音ＣＭＯＳ撮像装置は、また、アナログ利得増幅器段と、デジタルプログラマブル増幅器段との両方を備える。得られる撮像システムオンチップは、静止画像又は動画を少なくとも１２ビットの分解能で生成するが、写真用フィルムの露出寛容度（exposure latitude）を超えるためには、更に広いダイナミックレンジが要求される。この要求により、カメラの信号処理プロセッサのサポートを必要とすることなく、画像フレーム当たりのビット数をより多くすることができるＣＭＯＳのｉＳｏＣのアーキテクチャの更なる発展が必要である。

従来技術には、特に、画素内のデジタル化（in-pixel digitization）と、雑音フィルタリングと、複数の記憶位置と、自己復帰と、可変静電容量と、ガンマ特性の調整とを組み込んだ他の画素実装技術を用いて、ダイナミックレンジを拡大する幾つかの方式（Several schemes）が存在する。これらの発明は、代表的には、米国特許第５，４６１，４２５号、第６，５０４，１４１号、第６，０７８，０３７号、第６，９６３，３７０号、第７，０９１，５３１号、第７，１４１，８４１号にそれぞれ記載されている。しかしながら、画素の回路をより複雑にすると、多くの場合、固定パターン雑音が増え、これによって、性能の有効な向上を果たすことができない。また、従来技術には、ダイナミックレンジを広げるためにカメラ処理を必要とするシステム的な解決法（systemic solutions）がある。これらの解決法では、一般的に、２回以上の露光（exposure times）によって得られる複数の画像を処理することに基づいており、したがって、これらの解決法では、カメラの部品表（bill of materials、以下、ＢＯＭという。）にメモリ、メモリコントローラ及び高度の信号処理回路を追加することになり、コストがかなり上昇する。

画像センサ（electronic image sensor）のダイナミックレンジ拡大方法及び装置は、一次露光（base exposure）を有し、それに続いて、次の行が読み出される前の信号読出中に、二次露光、すなわちマルチ露光（second or multiple exposures）が行われる。タイミングコントローラは、各行が読み出され、続いて、一次露光に二次露光すなわち後続露光が加算され、ダイナミックレンジが拡大されるように、信号読出を制御する。画像センサは、また、Ａ／Ｄ変換器と、雑音抑圧回路（noise suppression）とを備え、ダイナミックレンジ拡大の効果を高める。また、ダイナミックレンジ拡大装置は、更なる信号処理と、スケーリング機能とを備える。

一実施の形態において、画素の行を有する画像センサのダイナミックレンジを拡大するダイナミックレンジ拡大方法は、タイミングコントローラによって該各画素からの信号の読出しを行毎に制御するダイナミックレンジ拡大方法であり、画素信号を第１の蓄積時間に亘って処理をして、現在の行の各画素の第１の信号サンプルを生成するステップと、現在の行の各画素の第１の信号サンプルを、行毎に第１の信号パスに読み出すステップと、画像センサの現在の行からの第１の信号サンプルをメモリに記憶するステップと、現在の行の各画素の画素信号を、次の行の第１の信号サンプルを読み出す前に、１ライン時間よりも長く、上記第１の蓄積時間よりも短い第２の蓄積時間に亘って処理をして、現在の行の各画素の第２の信号サンプルを生成するステップと、現在の行の各画素の第２の信号サンプルを、第１の信号サンプルと同様に、第１の信号パスに読み出すステップと、第１の行の各画素の第１及び第２の信号サンプルを結合して、画像センサのダイナミックレンジを拡大する拡張信号を生成するステップとを有する。一実施の形態において、第２の蓄積時間は、第１の蓄積時間よりも短い。ダイナミックレンジ拡大方法は、標準読出タイミング信号を、画像センサの各行の２つの読出信号を含むように変更することによって、実行される。動作において、ダイナミックレンジ拡大方法は、好ましくは、画像センサの他の回路ブロックには無関係に実行される。

他の実施の形態において、各画素の３つ以上の信号サンプルが、各行から読み出される。

信号の結合に用いられる幾つかの具体的なアルゴリズムを、ここに説明する。例えば、結合するステップは、第１及び第２の信号サンプルをそれぞれの蓄積時間の比に基づいてスケーリングした後、スケーリングされたサンプルを加算する。第１の信号サンプルと第２の信号サンプルとを結合するステップは、第２の信号サンプルを、蓄積時間の比と測定された補正係数との積によってスケーリングした後、スケーリングされた信号を第１の信号サンプルに加算する。第１の信号サンプルと第２の信号サンプルとを結合するステップは、第２の信号サンプルを蓄積時間の加重比によってスケーリングした後、スケーリングされた信号を第１の信号サンプルに加算する。

更に、第１の信号サンプルと第２の信号サンプルとを結合するステップは、第１及び第２の信号サンプルを、ｓｉｎ（ｘ）／ｘ関数を用いてフィルタリングした後、スケーリングして加算する。第１の信号サンプルと第２の信号サンプルとを結合するステップは、第１及び第２の信号サンプルを、有限インパルス応答関数を用いてフィルタリングした後、スケーリングして加算する。

グローバルシャッタを用いて、第１の信号サンプルが、一次露光の間に画像センサの各画素毎に形成された後に、各行の各画素のダイナミックレンジは、各行の信号読出の間に、第２の信号サンプルを形成することによって、拡大される。

ビデオ処理アプリケーションにおいては、第１の信号サンプルは、ビデオ信号の伝達特性のニーポイント以下である第１の領域による期間中に処理をされ、第２の信号サンプルは、明るく照明された画素の、ニーポイント以上の領域であるポストニー領域により処理をされる。

一実施の形態において、画像センサの信号パス内のＡ／Ｄ変換器は、第２の蓄積時間中に、画素信号のより小さな部分をより細かくデジタル化するように調整され、第２の蓄積時間中により細かくデジタル化された信号サンプルを、第１の信号サンプルに加算する。

本発明は、画像センサ装置を含む。一実施の形態において、画像センサは、複数の行に配列された複数の画素と、各画素からの信号の読出を行毎に制御するタイミングコントローラと、複数の画素からの全ての画素信号を読み出す単一の信号パスと、画素の各行から読み出された信号が供給されるダイナミックレンジ拡大回路と、ダイナミックレンジ拡大回路に接続されたダイナミックレンジ拡大メモリ回路とを備え、タイミングコントローラは、現在の行の各画素からの第１の蓄積期間に亘って処理して生成される第１の信号及び１ライン時間よりも長く、上記第１の蓄積期間よりも短い第２の蓄積期間に亘って処理して生成される第２の信号の読出しを制御し、これらの第１の信号及び第２の信号は、次の行からの信号の読出しの前に、単一の信号パスで各画素から読み出され、ダイナミックレンジ拡大メモリ回路は、第２の信号が、ある行から読み出されているときに、その行の各画素の第１の信号を記憶し、ダイナミックレンジ拡大回路は、第１及び第２の信号を結合する。

第２の信号の期間は、第１の信号の期間よりも短い。また、画像センサは、画像センサの信号パス内にＡ／Ｄ変換器を備え、Ａ／Ｄ変換器は、第２の信号の読出中に、第２の信号のより小さな部分をより細かくデジタル化するように、調整される。

本発明は、グローバルシャッタを用いて、第１の信号が、一次露光の間に画像センサの各画素毎に形成された後に、各行の各画素のダイナミックレンジは、各行の信号読出の間に、第２の信号を形成することによって、拡大される。

ビデオ処理アプリケーションの動作においては、第１の信号は、ビデオ信号の伝達特性のニーポイント以下の領域である第１の領域による期間中に処理をされ、第２の信号は、明るく照明された画素の、ニーポイント以上の領域であるポストニー領域により処理をされる。

本発明は、図面を用いた以下の説明によって、容易に理解される。なお、図面においては、類似した構成要素には、類似した符号を付している。
第１０回パターン認識国際会議議事録（１９７０）において、チェンによって教示された従来の回路のブロック図である。 米国特許第６，４５６，３２６号において、フォサムによって教示された従来の回路のブロック図である。 米国特許第６，４５６，３２６号の従来技術の回路のライン同期タイミングを示す代表的なタイムチャートである。 本発明のブロック図である。 本発明のライン同期タイミングを示すタイムチャートである。 本発明のライン同期及びダイナミックレンジ強化タイミングを示すタイムチャートである。 図７（Ａ）は、Ａ／Ｄ変換器の入力範囲が最大画素信号振幅に一致するような、１２ビットのデータにデジタル化した基本画像データを生成する一次露光期間中の２つの代表的な画素の蓄積の傾斜波形を示す図であり、図７（Ｂ）は、Ａ／Ｄ変換器の入力範囲が最大画素信号振幅に一致するような、ダイナミックレンジ強化を容易にする短時間の二次露光（一次露光の１／１９９９の時間）期間中の２つの代表的な画素の蓄積の傾斜波形を示す図である。 Ａ／Ｄ変換器の範囲が最大画素信号振幅に一致するような、１２ビットのデータにデジタル化した基本画像データを生成する一次露光期間中の２つの代表的な画素の蓄積の傾斜波形を示す図である。 Ａ／Ｄ変換器の範囲が最大画素信号振幅に一致するような、ダイナミックレンジ強化を容易にする短時間の二次露光（一次露光の１／１０２４の時間）期間中の２つの代表的な画素の蓄積の傾斜波形を示す図である。 Ａ／Ｄ変換器の範囲が最大画素信号振幅の半分に一致する、１２ビットデジタル化のための基本画像ビットを生成する一次露光中の代表的な２つの画素の蓄積傾斜を示す図である。 Ａ／Ｄ変換器の範囲が最大画素信号振幅の１／２に一致するような、ダイナミックレンジ強化を容易にする短時間の二次露光（一次露光の１／１０２４の時間）期間中の２つの代表的な画素の蓄積の傾斜波形を示す図である。 信号が大きいときには減衰させ、低照度で信号が小さいときには増幅するような代表的なガンマ特性を示す図である。

以下、当業者が発明を実施及び利用できるように、及び本発明者が、本発明を実施するために最良と考える実施の形態を用いて本発明を説明する。なお、当業者にとっては、様々な変形例が明らかである。これらの変形例、等価物、代替物は、全て、本発明の思想及び範囲内に含まれる。

一般的には、本発明は、ＣＭＯＳ撮像素子内蔵型（self-contained）のシステムオンチップ（以下、ｉＳｏＣともいう。）であり、このｉＳｏＣのダイナミックレンジは、最小合計センサ雑音（minimum aggregate sensor noise、全雑音源の区分求積和（quadrature sum）：画素＋アナログ信号回路＋デジタル化回路）に対する最大瞬時線形信号振幅（maximum instantaneous linear signal swing、エンドツーエンド信号パスによってサポートされる）の比によって設定され、画像センサの典型的な実際の限界を超えて能動的に拡大される。Ａ／Ｄ変換器のビット数をＮとすると、ダイナミックレンジは、露出の設定に応じて、標準値（standard value）から最大の２０×ｌｏｇ（２^Ｎ）ｄＢまで強化される。実際には、本発明では、１２ビットの公称ダイナミックレンジ（nominal nominal dynamic range）が、信号処理能力を効果的に増加させ、雑音を減らすことによって、１６ビットのダイナミックレンジに拡大されるので、ダイナミックレンジ強化の目標は、通常、２４ｄＢである。

本発明は、通常、その一般要求事項（general requirements）が低雑音センサベースの増幅と、オンチップのデジタル化及び信号処理能力とを含むものとして、多くの新たなｉＳｏＣ製品（imaging SoC products）に適用することができる。最大の利点は、低雑音のオンチップのデジタル化によって達成され、センサの合計雑音（aggregate noise）は、画素雑音によって支配され、ビデオレートとは殆ど無関係であり、したがって、競合するＣＣＤ画像センサよりも優れている。本発明は、ＣＭＯＳのｉＳｏＣによって提供される高速処理能力をフルに活用する。列バッファからの多重化信号を、最終段のビデオバッファの直ぐ近くに配置された１つ又は比較的少ない数の高速Ａ／Ｄ変換器でデジタル化することによって、ｉＳｏＣセンサの性能が、ＣＭＯＳ画素の時間暗雑音（temporal noise floor）によってのみ制限されることを保証する。瞬時ダイナミックレンジが、Ａ／Ｄ変換の誤差（inaccuracy）を含む全雑音に対する、Ａ／Ｄ変換器の入力における最大信号振幅（maximum signal swing）の比であるのに対し、ダイナミックレンジ強化後の全ダイナミックレンジは、主に、ダイナミックレンジの追加のビットを抽出するオンチップのミックスドシグナル信号処理回路（mixed-signal processing）の精度によって制限される。

本発明の好ましい実施の形態では、Ａ／Ｄ変換の前のアナログのダイナミックレンジを最大にし、それによって、ダイナミックレンジ強化の効果を最大にする自動パターン雑音抑圧回路（automatic pattern noise suppression）を備える。また、タイミング監視回路（timing supervisor）は、ビデオの各ラインの連続した読出動作及びリセット動作を含む画像操作を最適に制御するために用いられる。タイミング監視回路は、画素の各行を、少なくとも二次露光（second exposure）、及び名目上は期間の１つのラインであるリセット期間（reset interval）を、途切れなくサポートすることによって、ダイナミックレンジ強化を制御する。最後に、このＣＭＯＳ撮像装置は、標準蓄積時間（standard integration epoch）に亘って形成されたＮビットの第１のサンプルを、短時間の二次露光の間に形成された、Ｎビットまでの第２のサンプルとデジタル的に結合するｉＳｏＣに組み込まれた信号処理回路（embedded signal processing）を備える。結合されたデータ（combined data）によって、ダイナミックレンジは、通常利用可能な普通のＮビットレベルを超えて強化される。ダイナミックレンジを更に強化するために、ダイナミックレンジ強化（dynamic range enrichment、以下、ＤＲＥという。）のための露光を追加することによって、更にダイナミックレンジを強化してもよい。

本発明は、瞬時スナップショット（instantaneous snapshot）ではなく、ローリングシャッタを用いて電子画像を形成するＣＭＯＳセンサの固有の性質に影響を与えるが、グローバルシャッタ動作（global shutter operation）をサポートするＣＭＯＳセンサと互換性がある。この場合には、既に述べたように、スナップショットによる一次露光（primary snapshot exposure）が実行されるが、最終画像は、スナップショットによる一次露光とローリングシャッタによる二次露光（exposures）とが結合されたものとなるように、更なる露光情報が行毎に蓄積される。したがって、露光量は、グローバルシャッタ及び行毎の両方で制御される。

このように、本発明は、その動作がカメラの電子回路（camera electronics）に対して事実上無関係（transparent）であり、ｉＳｏＣ画像センサ内で行われる二次露光を用いて、電子的な再生画像の明るい領域（bright regions）における付加情報を生成する強力なダイナミック技術（robust dynamic technique）を提供する。標準動作において、二次露光の期間（second exposure interval）は、好ましくは、一次露光の期間（main exposure's duration）の１／１０００程度であり、画像の明るい部分は、センサ雑音ではなく、光子ショット雑音によって支配されるという事実を利用し、各画像の明るい領域の付加情報を円滑に供給する。二次露光の期間が、一次露光期間の１／１０００程度に設定されるとき、二次露光期間のデータは、第１０ビット、すなわち１０２４ＬＳＢから始まる情報を効果的に加算する。なお、より長い露光時間又は他の信号処理アルゴリズムを用いる場合でも、二次露光によって、より下位ビットの雑音を減らすこともできる。更にまた、好ましい実施の形態では、ｉＳｏＣ内でアナログ／デジタル信号処理がサポートされており、デジタル化の前に、画像センサのダイナミックレンジを、十分大きくするために、アナログ領域で適用されるデジタル補正項（digital correction terms）を用いて、画像センサの雑音を抑圧するので、本発明は、極めて広いダイナミックレンジを真に提供する。最後に、２つのサンプル値のそれぞれは、高い開口率（optical fill factor）と、同一の信号回路と、関係がある部品だけとを有する同一の画素から供給されるので、性能が、妥協なしに、極めて高く維持される。画像センサは、フレーム単位毎の連続したバイトによって、全ダイナミックレンジが可能となるので、カメラでの複雑な処理は、必要とされない。

本発明は、標準的なサリサイド（self-aligned silicide：自己整合型シリサイド）サブミクロンＣＭＯＳプロセスと完全なプロセス互換性を有するとの利点がある。回路の複雑さは、アクティブ画素又は周辺のアナログ回路ではなく、デジタル論理回路に追加され、それによって、ＣＭＯＳに固有のＳｏＣ信号処理能力（SoC signal-processing capability）を利用する。本発明は、近紫外線（４００ｎｍ）から近赤外線（＞９５０ｎｍ）を事実上含む可視帯域でのスペクトル感度を対象としているが、本方式は、ハイブリッド焦点面アレー（hybrid focal plane arrays）を含むＣＭＯＳ読出集積回路（readout integrated circuits、以下、ＲＯＩＣという。）を用いる他の画像センサにおいても有益であることは、当業者にとって明らかである。カメラの複雑さ及び消費電力を増やさないダイナミックレンジの強化は、大部分のカメラにとって有益である。

本発明の低雑音撮像システムオンチップ（low-noise imaging System-on-Chip）では、ＭＯＳＦＥＴを各画素当たり３つだけ（３Ｔ画素、以下、単に３Ｔともいう。）用いることができるので、この場合には、本発明では、安価な０．２５μｍＣＭＯＳプロセス技術を用いて、５μｍの画素ピッチそのままで（as-drawn）、５０％を上回る開口率を実現することができる。画素を変更することによってダイナミックレンジを拡大する他の方法では、多くの場合、開口率が低下し、それによって、信号対雑音比が低下する。また、本発明の開口率は、基本的な画素設計を変えないまま、ダイナミックレンジを更に広げることができるので、０．１８μｍＣＭＯＳ技術のＰＩＮフォトダイオードを有する他の４つトランジスタ画素（４Ｔ画素、以下、単に４Ｔともいう。）を用い、４．２５μｍの画素ピッチの場合、４０％を上回る。また、固定パターン雑音は、画素設計を変更しないことによって、高感度及び開口率が最適化された高性能画素に対して達成されるベースライン値と比較して増加しないことは、当業者にとって明らかである。そして、本発明は、高速低雑音オンチップＡ／Ｄ変換器を採用したｉＳｏＣのアーキテクチャで最適化された画素設計を用いることによって、以下をサポートする。

１）電子的手段による高精細度テレビジョン映像又はスチル写真のいずれかと完全に互換性があるデータ転送速度において、３Ｔ画素又は４Ｔ画素による時間的読出雑音（temporal read noise）≦３ｅ⁻
２）固定パターン雑音は、最大信号の１ＬＳＢを大幅に下回る
３）非線形性＜０．５％
４）３．３Ｖの電源において、信号振幅≧１．５Ｖ
５）同じくらい大きな線形電荷処理能力
６）ホストプロセッサへのデジタルインタフェースを介してフレーム毎に更新される簡単なシリアルインタフェースを用いた可変感度
７）標準的なＡ／Ｄ変換器によって提供される公称範囲を超えて拡大されたダイナミックレンジ

これに代えて、例えば、画像センサ全体に亘るスナップショット画像を生成するためのグローバルシャッタ動作をサポートする５Ｔ画素設計を用いたときは、本発明は、ダイナミックレンジを更に強化し、それによって、従来に比してスナップショット画素ピッチを縮小することができ、同時にダイナミックレンジを強化することができる。米国特許第６，９６５，７０７号によって教示されたｉＳｏＣ装置及び０．１８μｍＣＭＯＳデザインルールを導入することにより、競合する３Ｔ及び４Ｔ画素に匹敵するランダム雑音を維持し、１２ビットのダイナミックレンジを達成しながら、５Ｔ画素ピッチを５μｍに減らす。比較として、本発明の利益を得ていない競合する５Ｔ画像センサは、より大きな画素ピッチを用いて、画素当たり最高８ビットの有効撮像データを生成する。

低雑音ＡＰＳの発明を用いて実現した試作品は、可視撮像素子（visible imager）を形成しており、１９２０（列）×１０８０（行）のアレーからなる可視光検出器（光検出器）を備える。画素の行及び列は、画素の中心間（center-to-center）が５μｍ離れており、放送用カメラ及プロ用カメラ（broadcast and professional cameras）に用いられ、優れた焦点深度で標準又は高精細度映像を生成する標準の２/３インチの光学フォーマットをサポートする。３Ｔ設計は、最低限の仕様を満たすための必要なダイナミックレンジをサポートするが、暗電流の最小化には問題があるので、ＰＩＮダイオードを用いる他の４Ｔ設計が好ましい。一方、４Ｔ画素を用いた従来の設計は、通常、写真フィルムのような露出寛容度に必要とされる広いダイナミックレンジをサポートすることができない。本発明のダイナミックレンジ強化を用いた設計は、従来の４Ｔ設計のダイナミックレンジを、約「２５０％」から「６００％」を十分に超えるまで高める（ここで、１００％は、２０００ｌｘの照度の下で、絞りをｆ８とし、８９．９％の反射率を有するグレーパッチを撮影したときに生成される標準信号に対応する）。換言すれば、本発明は、５μｍピッチの４Ｔ画素設計のダイナミックレンジを、１２ビットを大幅に超えるまで強化する。光電性領域の周辺部にある検出器の幾つかの列及び行は、オフチップの信号処理用の黒レベルを設定するために、金属で覆われている。更に、各行の検出器は、カラー画像を生成するために、カラーフィルタで覆われている。例えば、奇数行の画素は、左から順に、赤フィルタ、緑フィルタ、青フィルタで覆われており、偶数行の画素は、左から順に、青フィルタ、赤フィルタ、緑フィルタで覆われており、これらのパターンが、それぞれの行を埋めるように、繰り返される。

図４は、本発明を適用した撮像装置の構成を示すブロック図である。撮像システムオンチップ（imaging system-on-chip）３００は、画像センサの画素アレー３０２を備え、画像センサの画素アレー３０２の雑音は、ｉＳｏＣ３００において支配的であり、したがって、ｋＴＣ雑音を抑圧するために、テーパードリセット（tapered reset）を３Ｔ及び５Ｔ画素設計に実装して適用することによって、あるいは３Ｔ・５Ｔ画素設計の代わりに４Ｔ画素を用いることによって、最小にされる。テーパードリセットを実装する場合には、必要な補助回路は、引用により本明細書に援用される米国特許第６，４９３，０３０号及び米国特許第６，５３５，２４７号に開示されているように、列バッファ３０４及び水平タイミング制御回路８０２に含まれる。特定の画素設計の実装に関わらず、列バッファ３０４は、列毎に、画素信号を読み出し、固定パターン雑音を除去するために相関二重サンプリングし、雑音を最小にすると同時に、信号振幅を最大にするために、撮像場面の照度（scene illumination）に応じて信号を増幅し、各列バッファ３０４で発生する電気的オフセットを抑圧する。

調整されたアナログデータ（conditioned analog data）は、安定化ブロック７００に供給されるが、安定化ブロック７００は、デジタルフィードバックを介してアナログ領域でオフセットを減算することによって、デジタル化の前にアナログダイナミックレンジを最大にし、アナログデータストリームをデジタル化し、カラム雑音及びライン雑音を抑圧し、黒レベルをクランプすることによって信号を安定化する。安定化ブロック７００内で、プログラマブルゲイン増幅器３０８は、アナログデータストリームからオフセットを画素毎に逐次（incrementally）減算し、必要に応じて最終的な増幅を行い、高速Ａ／Ｄ変換器３１２によって実行されるデジタル化の前に、任意であるが（optionally）、電気的な帯域幅を制限する。アナログダイナミックレンジは、デジタル化の前に、黒レベルをクランプすることによって、また、カラムオフセット及びラインオフセットの両方を画素毎に減算することによって、最大化される。プログラマブルゲイン増幅器３０８の出力の直ぐ近くに配置された高速Ａ／Ｄ変換器３１２は、アナログデータストリームを少なくとも１２ビットの分解能でデジタル化し、画素当たり、少なくとも４０９６ＬＳＢ（least significant bit）の画像情報（image content）をサポートする。高速Ａ／Ｄ変換器３１２は、好ましくは、分解能を設定する段数を選択することによって、プログラマブルにデジタル化の分解能を設定することを可能にする複数のパイプライン段を備えるパイプラインアーキテクチャを採用している。デジタルデータストリームは、オプティカルブラック（optical black、以下、ＯＢという。）画素データ及び光電画素データ（photo-generated pixel data）の両方を含み、したがって、安定化ブロック７００内において、ブラッククランプ回路５００のブラッククランプ動作と、ライン雑音補正器２００のライン雑音補正と、カラム雑音補正器４００のカラム雑音補正（column noise correction）とによって、調整される。安定化ブロック７００は、アナログ回路とデジタル回路の両方を含むミックスドシグナルシステムオンチップソリューション（mixed-signal System-on-Chip solution）であり、ダイナミックレンジ強化の前に、アナログ領域の残留雑音を最小にする。安定化ブロック７００の安定化動作は、好ましい実装とともに、引用により本明細書に援用される米国特許出願番号未定、発明の名称「画像センサの黒レベルを安定化する装置及び方法（APPARATUS AND METHOD FOR STABILIZING IMAGE SENSOR BLACK LEVEL）」に開示されている。

安定化ブロック７００は、デジタル信号ストリームを、本発明のダイナミックレンジ強化（Dynamic Range Enrichment、以下、ＤＲＥという。）ブロック１００に供給し、ＤＲＥブロック１００は、ＤＲＥサブブロック１０２のデジタル論理回路と、ＤＲＥを補助するＤＲＥメモリ１０４とを備え、本発明の水平タイミング制御回路８０２によって取得された２つのサンプルを最適に加算する。ＤＲＥブロック１００は、続いて、この拡張ビデオストリームを、デジタルプログラマブルゲイン増幅器３１４に供給し、デジタルプログラマブルゲイン増幅器３１４は、最終出力の利得を調整する。このデジタルプログラマブルゲイン増幅器３１４は、例えば、２００３年６月１１日に出願された米国特許出願第１０／４６０，０１４号、発明の名称「ＣＭＯＳ画像センサ用の高分解能を有するデジタルプログラマブルゲイン増幅器（DIGITAL PROGRAMMABLE GAIN STAGE WITH HIGH RESOLUTION FOR CMOS IMAGE SENSORS）」に開示されており、引用により本願に援用される。デジタルデータストリームは、画像センサからＩ／Ｏポート６００を介して出力される。

ダイナミックレンジは、ＤＲＥブロック１００において、画素の各行の連続した２つのサンプルを用いて強化され、各行では、典型的な画像センサにおいては、互いに数１０倍から数１００倍又は数１０００倍だけ異なる２つの蓄積時間で生成される。なお、蓄積時間の比は、２の累乗で割り切れることが好ましい。ＣＭＯＳのｉＳｏＣにおけるオンチップ集積化及び行毎の読出しの内部特性を利用することによって、連続した画像処理サイクルにおいて、２つのサンプルを連続して生成するので、ダイナミックレンジ強化は、最終結果を除いて、カメラの電子回路に対して無関係（transparent）である。

図５は、４行のみからなる、すなわちＸ列×４行の画素からなる簡単にした画像センサにおける４行分の映像信号のライン同期パルスを示すタイムチャートである。図５の上側の図は、センサ全体がフォト、すなわち光学的にアクティブであり、少なくとも４ライン時間に隣接した期間（interval）をサポートするための８ライン時間からなる標準拡張フレーム周期（standard extended frame period）を示している。なお、本発明では、そのような期間は、必要とされない。本発明では、より短時間の一次露光をサポートするが、そのような場合、ダイナミックレンジ強化は、電荷処理能力を大幅に拡大（wholesale enhancement）するのではなく、雑音除去処理を実行するのがほとんどである。殆どの画像センサにおいては、ライン時間の数倍（fewer line-time multiples）、及び更には１ライン時間以下の（sub-single line time）より短い蓄積時間を、簡単に準備することができる。

図５の下側の図に、本発明のダイナミックレンジ強化をサポートする他のタイミングを示す。ライン１の蓄積及び読出において、例えば、基準の１２ビット画像（base 12-bit image）は、ライン１のフレームＮ：Ｂａｓｅの第１の立下りエッジから、ライン１のフレームＮ：ＥＤＲの第８の立下りエッジまでのライン時間の間に形成される。ライン１の画素では、ダイナミックレンジが、ライン１の第８の立下りエッジからライン１の次の立下りエッジまでのライン時間中に、引き続いて第２の１２ビット画像データ（second 12-bit image）を蓄積することによって、強化される。図５の上側の図と下側の図とを比較すると、ダイナミックレンジ強化は、第１の蓄積時間を１ライン時間分短縮することによって可能になる。また、最小フレーム時間は、従来の画像センサの２倍になる。したがって、Ｘ列×Ｙ行の従来の画像センサに対して、本発明のダイナミックレンジ強化は、最小フレーム時間を２倍にすることを必要とする。Ｘ列×Ｙ行の画像センサの最小フレーム時間は、一般的にはＹライン時間であるのに対して、ＤＲＥ動作が可能な画像センサ（DRE-enabled sensor）の最小フレーム時間は、２Ｙライン時間である。したがって、本発明の下で公称フレーム時間（nominal frame time）を再設定するには、補償するために、標準ライン時間（standard line time）を１／２にすることが必要である。

図６のタイムチャートは、画像センサを１０００行×Ｙ列まで広げている。再び、図６の上側の図は、全体の蓄積時間が１９９９ライン時間であり、全ての行が同時に蓄積する重複期間が１０００ライン時間である標準拡張フレームのタイミングを示している。図６の下側の図は、ローリングシャッタを採用した画像センサの具体例の対応するＤＲＥタイミングを示している。ライン１の基準の１２ビット画像データ（base 12 bits）は、ライン１の第１の立下りエッジから開始し、第２０００の立下りエッジで終了する蓄積によって生成される。ライン１のＤＲＥビット（additional ＤＲＥ bits）は、フレームＮ：Ｂａｓｅの第２０００の立下りエッジから開始し、次の第１の立下りエッジで終了する蓄積によって生成される。同様に、ライン１０００のフレームＮ：Ｂａｓｅの第１の１２ビット画像データは、第１９９９の立下りエッジから開始し、フレームＮ＋１：Ｂａｓｅの第１９９８の立下りエッジで終了する蓄積（すなわち、１９９９ライン時間の蓄積）によって生成される。ライン１０００のＤＲＥビットは、フレームＮ−１：ＥＤＲの第１９９８の立下りエッジから開始し、フレームＮ：ＥＤＲの第１９９９の立下りエッジで終了する蓄積（すなわち、１ライン時間のＤＲＥ蓄積）によって生成される。

本発明のダイナミックレンジ拡大（dynamic range enhancement）は、ｉＳｏＣ３００において、以下のように行われる。
１）ＤＲＥサブブロック１０２において第１のサンプルを処理し、
２）処理した第１のサンプルの１２ビットデータをＤＲＥメモリ１０４に記憶するとともに、並行して、第２のサンプルをＤＲＥサブブロック１０２で処理し、
３）ＤＲＥメモリ１０４から基準の１２ビット画像データを読出し、ＤＲＥサブブロック１０２において追加ＤＲＥデータ（additional DRE data）と組み合わせる。
追加ＤＲＥデータを生成することによって、複数の追加サンプルがサポートできることは、当業者にとって明らかである。追加露光では、一定のフレーム時間を維持するために、ライン時間の減少を必要とする。更に、Ｎビット画像データの２つ以上のセットを、必要に応じて画像センサから外部に送信して処理することができる。更にまた、Ｎビット画像データに、有限インパルス応答の実行及び他の手段を用いた様々な周知のデジタルフィルタリングを適用することができる。

図７には、画素レベルのダイナミックレンジ強化を示す。ＣＭＯＳセンサでは、典型的には、Ｐ型基板に形成された埋込フォトダイオードを用いており、このフォトダイオードは、蓄積の開始時のその初期電圧に関連して、光発生キャリアを放出する。図７（Ａ）には、強い入射光及びより弱い入射光（画素Ａに対して約２５％の強さ）による２つの画素の蓄積傾斜（integration ramps）を同時に示す。また、図７（Ａ）には、左側に、画素の０信号（すなわち画素の黒レベル）に対する６４ＬＳＢのデジタル値と、飽和に近い４０９６ＬＳＢのデジタル値とを生成するように設定された、１２ビットのＡ／Ｄ変換器の４０９６ＬＳＢ範囲を視覚的に示す。０信号レベルを０ＬＳＢよりも高く設定することにより、ＣＭＯＳセンサ内及びカメラ内において、黒レベルを、環境変化等とは関係なく、映像波形をクリップすることなく、安定化させることができる。図６のタイムチャートに従って１９９９ライン時間の蓄積時間に亘って示すように、画素Ａは、３７８８ＬＳＢに対応する最終信号値を生成し、一方、画素Ｂは、１０２４ＬＳＢに対応する最終信号値を生成する。次に、図７（Ｂ）に示す１ライン時間の最小ＤＲＥ蓄積時間の間に、２つの画素は、蓄積時間を短縮されたことによって、初期の基本値の約１／１９９９の最終値を生成する。したがって、画素Ａは、約６６ＬＳＢ、すなわち６４ＬＳＢの黒レベルを２ＬＳＢだけ上回る最終値を生成する。画素Ｂは、センサ雑音によって、又はＡ／Ｄ変換器の分解能が再スケーリングされた（rescaled）かどうかによって、６４ＬＳＢ又は６５ＬＳＢに変換される６４．５ＬＳＢの最終値を生成する。

なお、ダイナミックレンジ拡大は、上位ＬＳＢ、すなわち第１０ビット以上を対象としているので、短いＤＲＥ蓄積時間は、問題になるよりはむしろ殆ど理想的であり、したがって、蓄積時間が十分に短いことが重要であり、この期間中には、画像センサの最も強く照らされた領域においてさえも画素飽和は起こらない。この露出範囲によって、画像の暗い領域及び明るい領域の両方の情報量（information content）を強化することができる。

続いて、ＤＲＥサブブロック１０２は、画像センサの各ラインからの複数の画像サンプルを、様々な信号処理アルゴリズムを用いて処理する。最も直接的なアルゴリズムは、ＤＲＥ情報を蓄積時間の比によってスケーリングし、再スケーリングされたＤＲＥデータを基準の１２ビット画像データに加算することを含む。上述した例において、画素Ａの信号の内容は、２ＬＳＢの差動信号（differential signal）から、総計（grand total）３９９８ＬＳＢに再スケーリングされて、４０６２ＬＳＢ（３９９８＋黒レベル６４）になる。画素ＢのＤＲＥサンプルは、６４．５ＬＳＢ（複数のサンプルから正確に平均が決定される場合）から１０６３．５ＬＳＢに再スケーリングされる。したがって、２つのサンプルを互いに直接加算した後、画素Ａの最終値は、３７８８＋４０６２＝７８５０ＬＳＢとなり、画素Ｂの最終値は、１０２４＋１０６３＝２０８７ＬＳＢとなる。１２ビットの基本ダイナミックレンジではなく、本発明によって達成できる最大ダイナミックレンジは、以下の通りである。

同様に、少なくとも１０００行からなる画像センサの最大ダイナミックレンジ拡大は、約２０×ｌｏｇ（２^１０）＝６０．２ｄＢである。

当業者にとって明らかであるように、効果的なダイナミックレンジ拡大を達成するための重要な要件は、ダイナミックレンジ強化処理と関連した雑音を最小にすることである。更に、６０．２ｄＢの拡大は、特殊な用途のみにおいて必要とされる。このように、本発明の一実施の形態では、基準の１２ビット画像データのダイナミックレンジをちょうど超えたあたりの画像情報に焦点をあてて、Ａ／Ｄ変換器を再スケーリングすることが必要である。これは、例えば、標準分解能での基本的なデジタル化の間のカバーされる全範囲ではなく、ＤＲＥサンプルのデジタル化の間に、Ａ／Ｄ変換器の基準を調整又は再プログラムして、画素信号の偏り（pixel signal excursion）のより小さな部分を細かくデジタル化することを含む。上述した具体例に対して、画素の蓄積傾斜の最初の１／１６だけを完全なＡ／Ｄ変換器の分解能でデジタル化することによって、予想されるＤＲＥ信号は、それぞれ３２ＬＳＢ及び８ＬＳＢ増加し、予想されるセンサ暗雑音を十分に超える。トレードオフは、結合（信号）ダイナミックレンジが、１８ビットをわずかに超えるまで減らされることである。

Ａ／Ｄ変換器が画素信号振幅の１／１６に及ぶように再調整されて、ＤＲＥ値をより正確に読み出すサンプルケースでは、最大ダイナミックレンジ拡大は、２０×ｌｏｇ（２^６．３）、すなわち３７．９ｄＢまで減らされる。

好ましい実施の形態の目的は、ダイナミックレンジを２４ｄＢ程度まで拡大することであり、すなわち、基準の１２ビットに、４ビット程度を加えることである。少なくとも１０００行の画像センサの場合には、解決法は、ＤＲＥ測定期間中に、最大画素振幅の約１／６４を監視することである。なお、行の数を２０００又は４０００に増やす場合、Ａ／Ｄ変換器を、画素の最大信号振幅の１／３２及び１／１６をそれぞれ処理するように再スケーリングしなければならない。このため、ダイナミックレンジ拡張の好ましい他のアルゴリズムは、以下の方式を含む。

１．より低いダイナミックレンジ強化と引き換えに、ＤＲＥ測定期間中に、Ａ／Ｄ変換器の範囲を再スケーリングして、ＤＲＥ信号の測定の精度を高める。和が合成信号値（composite signal value）になるように、ＤＲＥ信号値を基準の１２ビットのサンプル値に加算する。

ここで、ＡＤＣ_factorは、雑音最小化のレベルであり、また、ＡＤＣ_factorは、短い蓄積時間中のＤＲＥデジタル化範囲に対する基本デジタル化範囲の逆数である。

２．１つの又は複数の短い蓄積時間t_shortに取得された１つの又は複数のＤＲＥ値を、蓄積時間の対応する比によってスケーリングする。サンプルの和が合成信号値になるように、複数の信号値を加算する。

３．ＤＲＥ測定値の信号値を、蓄積時間の比と、短い蓄積時間から生じる全体的な誤差（systemic errors）を補正する測定補正係数（α、β等）との積によってスケーリングする。補正係数は、ＤＲＥサブブロック１０２のセンサ雑音を測定することによって、実験的に決定される。複数の信号値を、サンプル値の和が合成信号値になるように加算する。

４．各画素の合成（信号）値が以下のようになるように、１つ又は複数のＤＲＥサンプルを、蓄積時間の加重比でスケーリングして、サンプル値を加算する。

ここで、重み係数α’、β’等は、雑音をフィルタリングするために、ビデオの１つ以上のラインで動作する画像センサ内の信号処理によって決定される全体的な雑音を補償する。

５．雑音を減らすために、ｓｉｎ（ｘ）／ｘ関数を用いてフィルタリングした後、サンプルを加算して、スケーリングする。

６．有限インパルス応答フィルタを用いてフィルタリングした後、サンプルを加算して、スケーリングする。

グローバルシャッタセンサのＤＲＥは、一次露光の間に、全ての行において基準の１２ビット画像データを同時に形成することによって、機能的にサポートされている。その後、画素の各行のダイナミックレンジは、読出しの間に、行毎に強化され、したがって、画像生成（image formation）は、センサ読出しの間に、ローリングシャッタモードに切り換えられる。

一次露光及びＤＲＥ露光が等しい期間である条件、例えば１ライン時間以下の短い露光期間である限られた条件では、本発明は、事実上雑音フィルタであり、１回のＤＲＥ露光の場合、ダイナミックレンジ拡大は、最小の３ｄＢである。複数回のＤＲＥ露光では、１回の場合の効果を更に高めるが、１回毎の効果は小さい。

浮動小数点計算を行わない、且つ丸め誤差を除外するように設定するためには、整数演算によって乗算アルゴリズム（algorithmic multiplications）を実行できるように、基本蓄積時間に対するＤＲＥ蓄積時間の比は、２で割り切れることが好ましいことは、当業者にとって明らかである。また、この制約により、ＤＲＥ露光から導出される追加のビットを、適切な整数位置に設定する。例えば、ＤＲＥ蓄積時間を、１／２５６（１／２^８）、１／５１２（１／２^９）、又は１／１０２４（１／２^１０）に設定すると、合成（信号）ダイナミックレンジは、ｉＳｏＣ処理によって、より正確に結合される。

本発明によって、プログラム可能な「ニー」特性（programmable "knee" capability）を含むセンサ内ガンマ機能（in-sensor gamma functionality）の円滑な蓄積が可能となることは、ビデオ技術の当業者にとって明らかである。ニー特性は、ビデオ信号特性の折点、すなわちニーポイントを示しており、ビデオ信号の伝達特性が、無損失あるいは低損失な方法で情報を圧縮するような減衰応答特性（低利得）に移行する特性を表わす。例えば、放送用カメラでは、ニーポイントは、通常、１００％信号に設定されており、完全な飽和レベルは、４００％又は６００％に設定されている。ニー特性は、通常、アナログ手段によってカメラ内で実行され、１００％より大きい信号を減衰させて、銀塩フィルムのような「ショルダ」特性（film-like "shoulder" responce）をシミュレートすることもできるが、本発明においては、ニー特性のような動作（knee-like behavior）は、ビデオの伝達特性の第１の領域を、一次露光を用いてデジタル化し、そして、ＤＲＥすなわち二次露光は、明るく照明された画素のポストニー領域をデジタル化することでサポートされる。これにより、更なるＤＲＥビットを、カメラ内で実行（in-camera implementations）するよりも優れた方法で、スケーリングするか、あるいは無損失で圧縮することができる。更に、画素の伝達特性のトウ（toe）部における黒データは、一次露光においてより正確にデジタル化され、黒レベルの情報量の平滑度は高くなっている。利点は、非常に低い雑音を非常に高い電荷処理能力によってサポートする高性能ＣＭＯＳセンサが、利用可能なＡ／Ｄ変換器の分解能が不十分なときでさえ、好ましくない量子化雑音によって制限されるのではなく、完全な性能で動作できることである。更に、ガンマ関数は、センサダイナミックレンジの損失がない圧縮として動作することにより、より高いダイナミックレンジを実際にサポートするが、すなわち、１２ビットを、センサによって実際の１６ビットのダイナミックレンジ用として出力するが、センサから読み出されるビット数を物理的に減少させることができる。

図８は、標準蓄積時間における画素Ａ及び画素Ｂの蓄積傾斜を表している。再び、画素Ａの明るい照度は、最大１２ビットのＡ／Ｄ変換器の限界に近い、３７８８ＬＳＢの信号になる。画素Ｂの信号は、１０２４ＬＳＢの最終値に対応する。ここで、Ａ／Ｄ変換器は、完全な画素ダイナミックレンジに殆ど一致するように設定される。図９は、一次露出の１／１０２４に対応するＤＲＥ露光によって生じる蓄積傾斜を表している。ここで、画素Ａ及び画素Ｂのそれぞれの最終値は、６８ＬＳＢ及び６５ＬＳＢである。画素Ａ及び画素Ｂの最終値は、基本的なＤＲＥアルゴリズムを用いて算出される。
画素Ａ＝（３７８８−６４）＋１０２４×（６８−６４）＝７８１８
画素Ｂ＝（１０２４−６４）＋１０２４×（６５−６４）＝１９８４

図１０において、１２ビットのＡ／Ｄ変換器は、完全な画素振幅の半分をモニタするように変更されており、したがって、画素Ａの一次露光の値は、最大のＡ／Ｄ変換器の範囲にクリップされるので、４０９６になる。一方、画素Ｂは、２０４８より大きな最終値を有する。図１１は、一次露光の１／１０２４に対応するＤＲＥ露光によって生じる蓄積傾斜を表している。ここで、画素Ａと画素Ｂの最終値は、
画素Ａ＝（４０９６−６４）＋１０２４×（７２−６４−４）＝８１２８
画素Ｂ＝（２０４８−６４）＋１０２４×（６８−６４−４）＝１９８４
であり、４の更なる値が、ＤＲＥ露出の計算値から減算されて、ガンマ特性を適用するニーポイントが設定される。なお、この第１の具体例では、ニーポイント以上の減衰はない。なお、ＤＲＥフレームの値は、Ａ／Ｄ変換器の量子化誤差を含む雑音に対して、よりロバストであり、より影響を受けにくい。６ｄＢの減衰がＤＲＥデータに適用された場合、画素Ａ及び画素Ｂの変更値は、以下のようになる。
画素Ａ＝（４０９６−６４）＋１０２４×（７２−６４−４）×１／２＝６０８０
画素Ｂ＝（２０４８−６４）＋１０２４×（６８−６４−４）×１／２＝１９８４
画素Ａの値の、前の値８１２８から変更レベル６０８０への線形補正は、損失がない圧縮である。画素Ｂの値は、ニーポイントの下にあるので、圧縮されない。ＤＲＥフレーム露光を処理するときに用いられる係数１／２は、一定の−６ｄＢの減衰に対応しており、いかなる情報をも失うことなく、２ビット圧縮を達成する。この係数は、本発明においてはプログラム可能であり、オンチップのプログラミング（programming）及び／又は非線形で単調な特性を有するルックアップテーブル（Look-Up Table、以下、ＬＵＴという。）によって、他の値に置換することができる。

図１２は、低レベルの信号を増幅し、１００％以上の高レベルの信号情報を減衰する典型的なガンマ特性曲線のグラフを示し、１００％は、８９％のグレーパッチを、２０００ｌｘの照度及びｆ８の絞りで撮影したときに発生する信号値である。また、ガンマ増幅を最高の可能な忠実度でサポートする小信号の必要な増幅は、本発明によってサポートされる。

発明の範囲及び精神から逸脱することなく、上述した好適な実施形態の様々な適応化及び変更を構成できることは当業者にとって明らかである。本発明は、添付の特許請求の範囲から逸脱することなく、本明細書に特別に開示した形態以外の形態でも実施できることは明らかである。

Claims (25)

1. 画素の行を有する画像センサのダイナミックレンジを拡大するダイナミックレンジ拡大方法であって、タイミングコントローラによって該各画素からの信号の読出しを行毎に制御するダイナミックレンジ拡大方法において、
   画素信号を第１の蓄積時間に亘って処理をして、現在の行の各画素の第１の信号サンプルを生成するステップと、
   上記現在の行の各画素の第１の信号サンプルを、行毎に第１の信号パスに読み出すステップと、
   上記画像センサの現在の行からの上記第１の信号サンプルを、上記画素の外部のメモリに記憶するステップと、
   上記現在の行の各画素の画素信号を、次の行の第１の信号サンプルを読み出す前に、１ライン時間よりも長く、上記第１の蓄積時間よりも短い第２の蓄積時間に亘って処理をして、該現在の行の各画素の第２の信号サンプルを生成するステップと、
   上記現在の行の各画素の第２の信号サンプルを、上記第１の信号サンプルと同様に、上記第１の信号パスに読み出すステップと、
   上記現在の行である第１の行の各画素の第１及び第２の信号サンプルを結合して拡張信号を生成することによって、上記画像センサのダイナミックレンジを拡大するステップとを有するダイナミックレンジ拡大方法。
2. 上記第２の蓄積時間は、該第２の蓄積時間が情報を第１０有効ビット以上で効果的に加算するように、上記第１の蓄積時間の１／１０００であることを特徴とする請求項１記載のダイナミックレンジ拡大方法。
3. 上記メモリは、上記画像センサのチップに組み込まれていることを特徴とする請求項１記載のダイナミックレンジ拡大方法。
4. 当該ダイナミックレンジ拡大方法は、標準読出タイミング信号を、上記画像センサの各行の２つの読出信号を含むように変更することによって、実行されることを特徴とする請求項１記載のダイナミックレンジ拡大方法。
5. 当該ダイナミックレンジ拡大方法の各ステップは、上記画像センサの他の処理ブロックには無関係に実行されることを特徴とする請求項４記載のダイナミックレンジ拡大方法。
6. 画素毎に３つ以上の信号サンプルを処理するステップを更に有する請求項１記載のダイナミックレンジ拡大方法。
7. 上記第１及び第２の信号サンプルは、上記画像センサの外部で結合されることを特徴とする請求項１記載のダイナミックレンジ拡大方法。
8. 上記結合するステップは、上記第１及び第２の信号サンプルをそれぞれ上記第１の蓄積時間及び上記第２の蓄積時間の比によってスケーリングした後、該スケーリングされたサンプルを加算することを特徴とする請求項１記載のダイナミックレンジ拡大方法。
9. 上記画像センサの信号パス内のＡ／Ｄ変換器は、上記第２の蓄積時間中に、上記画素信号のより小さな部分をより細かくデジタル化するように調整され、該第２の蓄積時間中に細かくデジタル化された信号サンプルを、上記第１の信号サンプルに加算することを特徴とする請求項１記載のダイナミックレンジ拡大方法。
10. 上記結合するステップは、上記第２の信号サンプルを、上記第１の蓄積時間及び上記第２の蓄積時間の比と測定された補正係数との積によってスケーリングした後、該スケーリングされた信号を上記第１の信号サンプルに加算することを特徴とする請求項１記載のダイナミックレンジ拡大方法。
11. 上記結合するステップは、上記第２の信号サンプルを上記第１の蓄積時間及び上記第２の蓄積時間の加重比によってスケーリングした後、該スケーリングされた信号を上記第１の信号サンプルに加算することを特徴とする請求項１記載のダイナミックレンジ拡大方法。
12. 上記結合するステップは、上記第１及び第２の信号サンプルを、ｓｉｎ（ｘ）／ｘ関数を用いてフィルタリングした後、スケーリングして加算することを特徴とする請求項１記載のダイナミックレンジ拡大方法。
13. 上記結合するステップは、上記第１及び第２の信号サンプルを、有限インパルス応答関数を用いてフィルタリングした後、スケーリングして加算することを特徴とする請求項１記載のダイナミックレンジ拡大方法。
14. グローバルシャッタを用いて、上記第１の信号サンプルが、一次露光の間に上記画像センサの各画素毎に形成された後に、各行の各画素のダイナミックレンジは、各行の信号読出の間に、上記第２の信号サンプルを形成することによって、拡大されることを特徴とする請求項１記載のダイナミックレンジ拡大方法。
15. ビデオ処理においては、上記第１の信号サンプルは、ビデオ信号の伝達特性のニーポイント以下の領域である第１の領域による期間中に処理をされ、上記第２の信号サンプルは、明るく照明された画素の、ニーポイント以上の領域であるポストニー領域により処理をされることを特徴とする請求項１記載のダイナミックレンジ拡大方法。
16. 複数の行に配列された複数の画素と、
    上記各画素からの信号の読出しを行毎に制御するタイミングコントローラと、
    上記複数の画素からの全ての画素信号を読み出す単一の信号パスと、
    上記画素の各行から読み出された上記画素信号が供給されるダイナミックレンジ拡大回路と、
    上記ダイナミックレンジ拡大回路に接続されたダイナミックレンジ拡大メモリ回路とを備え、
    上記タイミングコントローラは、現在の行の各画素からの第１の蓄積期間に亘って処理して生成される第１の信号及び１ライン時間よりも長く、上記第１の蓄積期間よりも短い第２の蓄積期間に亘って処理して生成される第２の信号の読出しを制御し、該第１の信号及び第２の信号は、次の行からの信号の読出しの前に、上記単一の信号パスで上記各画素から読み出され、
    上記ダイナミックレンジ拡大メモリ回路は、上記第２の信号が、ある行から読み出されているときに、該行の各画素の上記第１の信号を記憶し、
    上記ダイナミックレンジ拡大回路は、上記第１の信号及び第２の信号を結合することを特徴とする画像センサ。
17. 上記第２の信号の蓄積時間は、該第２の信号が情報を第１０有効ビット以上で効果的に加算するように、上記第１の信号の蓄積時間の１／１０００であることを特徴とする請求項１６記載の画像センサ。
18. 上記ダイナミックレンジ拡大回路は、上記第１及び第２の信号をそれぞれ上記第１の信号の蓄積時間及び上記第２の信号の蓄積時間の比に基づいてスケーリングすることによって、該第１及び第２の信号を結合し、該スケーリングされた信号を加算することを特徴とする請求項１６記載の画像センサ。
19. 当該画像センサは、画像センサの信号パス内にＡ／Ｄ変換器を更に備え、
    上記Ａ／Ｄ変換器は、上記第２の信号の読出中に該第２の信号のより小さな部分をより細かくデジタル化するように、調整されることを特徴とする請求項１６記載の画像センサ。
20. 上記ダイナミックレンジ拡大回路は、上記第２の信号を上記第１の信号の蓄積時間及び上記第２の信号の蓄積時間の比と測定された補正係数との積によってスケーリングした後、該スケーリングされた第２の信号を該第１の信号に加算することによって、該第１及び第２の信号を結合することを特徴とする請求項１６記載の画像センサ。
21. 上記ダイナミックレンジ拡大回路は、上記第２の信号を上記第１の信号の蓄積時間及び上記第２の信号の蓄積時間の加重比を用いてスケーリングした後、該スケーリングされた信号を上記第１の信号に加算することによって、該第１及び第２の信号を結合することを特徴とする請求項１６記載の画像センサ。
22. 上記ダイナミックレンジ拡大回路は、上記第１及び第２の信号をｓｉｎ（ｘ）／ｘ関数を用いてフィルタリングした後、該第１及び第２の信号をスケーリングして加算することによって、該第１及び第２の信号を結合することを特徴とする請求項１６記載の画像センサ。
23. 上記ダイナミックレンジ拡大回路は、上記第１及び第２の信号を、有限インパルス応答関数を用いてフィルタリングした後、該第１及び第２の信号をスケーリングして加算することによって、該第１及び第２の信号を結合することを特徴とする請求項１６記載の画像センサ。
24. グローバルシャッタを用いて、上記第１の信号が、一次露光の間に上記画像センサの各画素毎に形成された後に、各行の各画素のダイナミックレンジは、各行の信号読出の間に、上記第２の信号を形成することによって、拡大されることを特徴とする請求項１６記載の画像センサ。
25. ビデオ処理においては、上記第１の信号は、ビデオ信号の伝達特性のニーポイント以下の領域である第１の領域による期間中に処理をされ、上記第２の信号は、明るく照明された画素の、ニーポイント以上の領域であるポストニー領域により処理をされることを特徴とする請求項１６記載の画像センサ。

Images