JP7803571B2 - エンハンスト画像センサのタイミングのための方法及びシステム - Google Patents

Description

関連出願
本願は、２０１８年９月１８日に出願された、“METHOD AND SYSTEM FOR ENHANCED IMAGE SENSOR
TIMING”という表題の米国仮特許出願第６２／７３２，７１８号に対する優先権を主張するものであり、この文献の内容は、その全体が参照により組み込まれる。

本発明の態様は、医療装置のイメージング（imaging：画像化）、より具体的には、通常のイメージングと高度なイメージングとの組合せに関連する。

画像取込み装置が、低侵襲性手術で使用される。様々なイメージングモダリティ（可視シーン、蛍光シーン、赤外線シーン、ハイパースペクトルシーン）が、画像取込み装置を用いて実施される。しかしながら、各イメージングモダリティは、他のイメージングモダリティの対応する１つ又は複数のパラメータとは異なる１つ又は複数のパラメータ、例えば露光時間を利用する。これにより、あるイメージングモダリティ用に構成された画像（image）センサを異なるイメージングモダリティに使用することが困難になる。

立体画像取込みシステムが使用され、画像センサが可視カラーシーンを取り込むように最適化される場合に、異なるイメージングモダリティに単一の画像センサを使用する問題はさらに複雑になる。知られているように、画像センサは、時間の経過とともに光を取り込んで統合（integrate：積分）するピクセルを含む。ピクセルに利用可能なチップの面積を最大化するために、画像センサ上の他の回路は最小限に抑えられている。

例えば、立体視の相補型金属－酸化物－半導体（CMOS）センサ集積回路では、センサ領域は２つの領域に分割され、第１の領域は左のシーンを取り込むピクセルを含み、第２の領域は右のシーンを取り込むピクセルを含む。センサ領域の両方の領域には、行及び列に配置されたピクセルがある。センサ領域の各行に関連付けられたリセットライン及び行選択ライン、及びセンサ領域の各行の各ピクセルに関連付けられた読み取りラインがある。集積回路に必要なロジックを最小限に抑えるために、共通のフレームタイマ論理回路を使用して、両方のセンサ領域のリセットライン及び行選択ラインを駆動する。

図１は、ローリングシャッターを利用してピクセルデータのフレームを取り込むＣＭＯＳセンサ集積回路のタイミング図である。タイミング図は、立体画像取込み装置の両方のチャネルについて同じである。図１では、Ｎ番目のフレーム１０１が取り込まれ、続いてＮ＋１（番目の）フレーム１０２、及びＮ＋２（番目の）フレーム１０３が取り込まれる。Ｎ＋１フレーム１０２は、フレーム１０２と呼ばれることもある。

この例では、Ｎ＋１フレーム１０２のラインゼロの取込みが考慮される。（ピクセルのライン及びピクセルの行は同じものである。）フレーム１０２のピクセルの各ラインの取込みは、ライン０の取込みと同じである。同様に、各フレームは、フレーム１０２と同じ方法で取り込まれる。全てのラインが同時に取り込まれるわけではなく、例えば、画像取込み装置は、所定の時間後に光がピクセルに到達するのを阻止するメカニカルシャッターを有していない。むしろ、各ピクセル行が順次読み取られる。これは、フレーム１０２の対角線１０２＿Ｓで示される。各水平線の右端にある丸い点（ドット）は、行選択ラインがアクティブになり、行の各ピクセルの値をその行の読取りラインで読み取ることができることを示す。

ピクセルが既知の時間間隔に亘って電荷を再び蓄積するのを可能にするために、行０の各ピクセルのリセットライン上の信号がアクティブになり、各ピクセルを既知の状態に設定する。

アクティブなリセット信号に続いて、ピクセルは、行ゼロ選択ライン上の信号がアクティブになるまで、ピクセルに入射する光に対応する電荷を蓄積し、次に、ピクセルに蓄積された電荷は、行に関連する読取りラインで利用可能になる。フレーム内の各行は同じ方法に読み取られる。全ての行が読み取られると、フレームを規定できるように空白（blank: BLNK）の行が読み取られる。空白の行は、電源の負荷が一定に保たれることを保証するので、取り込まれたフレームのノイズを低減する。

装置のビデオ視聴能力は、エンハンスト（enhanced：強化された）フレームタイマを装置に組み込み、可視シーンと代替モダリティシーンとの両方の感度を高めることによって強化される。例えば、立体画像取込み装置は、第１の画像センサ、第２の画像センサ、第１のフレームタイマ、及び第２のフレームタイマを含む。第１及び第２のフレームタイマは異なるフレームタイマである。第１の画像センサは、第１の複数のピクセル行を含む。第２の画像センサは、第２の複数のピクセル行を含む。第１及び第２の画像センサは、別個の装置又は集積回路内のセンサ領域の異なる領域であり得る。第１のフレームタイマは、第１の画像センサに結合され、画像取込みタイミング信号を第１の画像センサに提供する。第２のフレームタイマは、第２の画像センサに結合され、画像取込みタイミング信号を第２の画像センサに提供する。

デュアルフレームタイマは多くの利点を提供する。例えば、画像センサのうちの１つに信号を提供するように一方のフレームタイマを構成し、それによって、この画像センサが通常のビデオレートでフレームを取り込むことができる。他の画像センサに信号を提供するように他方のフレームタイマを構成し、それによって、他の画像センサが通常のビデオレートよりも遅いレートでシーンを取り込むことができる。これにより、他の画像センサが利用可能な光をより長期間に亘って統合できるため、信号対雑音比が向上する。具体的には、一態様では、第１のフレームタイマは、第１の画像センサにおいてＮ個のフレームを順次取り込むための画像取込みタイミング信号を提供するように構成される。第２のフレームタイマは、第１の画像センサにおいて取り込まれるＮ個のフレーム毎に、第２の画像センサにおいて１つのフレームを取り込むための画像取込みタイミング信号を提供するように構成される。こうして、第２の画像センサによって取り込まれた各フレームは、第１の画像センサよりも長い期間に亘って入射光を統合する。これは、第１のフレームタイマが、第１の露光時間に亘って、第１の複数のピクセル行の各行を露光するように構成され、且つ第２のフレームタイマが、第２の露光時間に亘って、第２の複数のアクティブなピクセルの各行を露光するように構成される場合にも達成でき、ここで、第１の露光時間は、第２の露光時間とは異なる。

改善した信号対雑音比は、複数のピクセルビニングでも得ることができる。この態様では、立体画像取込み装置の第１の画像センサは、例えば、第１の複数のピクセル行に亘るベイヤー（Bayer）カラーフィルタアレイを含む。第１の画像センサの第１の複数のピクセル行の各位置には、ベイヤーピクセルのセットが含まれる。第１のフレームタイマ回路は、ベイヤーピクセルの各セットを一行に組み合わせて単一の出力ピクセルを形成するように構成される。

一態様では、複数ピクセルビニングは、画像センサと呼ばれることもある画像取込みセンサのうちの１つのセンサについてより長い露光時間で組み合わされて使用される。例えば、立体画像取込み装置の第１の画像センサは、第１の複数のピクセル行に亘ってベイヤーカラーフィルタアレイを含む。第１の画像センサの第１の複数のピクセル行の各位置には、ベイヤーピクセルのセットが含まれる。第１のフレームタイマ回路は、ベイヤーピクセルの各セットを一行に組み合わせて単一の出力ピクセルを形成するように構成される。第１のフレームタイマは、第１の露光時間に亘って、第１の複数のアクティブなピクセル行の各行を露光するようにも構成される。第２のフレームタイマは、第２の露光時間に亘って、第２の複数のピクセル行の各行を露光するように構成される。第１の露光時間は第２の露光時間とは異なる。これは、例えば、手術部位のモノクロシーンに蛍光シーン等の増強された（augmented）シーンを重ね合わせたい場合に有利である。

一態様では、第１の複数のピクセル行は、複数のピクセル・セルを含む。複数のピクセル・セルのそれぞれが、複数のピクセルを含む。この態様では、第１の画像センサはまた、複数の異なる個別の可視光カラーフィルタを含む可視光カラーフィルタアレイと、複数の個別の代替光フィルタを含む代替光フィルタアレイとを含む。複数の個別の代替光フィルタのうちの１つの個別の代替光フィルタは、複数のピクセル・セルのうちの第１のピクセル・セル内の複数のピクセルのうちの第１のピクセルのセットと、複数のピクセル・セルのうちの第２のピクセル・セル内の複数のピクセルのうちの第２のピクセルのセットとの両方を覆う（cover：カバーする）。第１のピクセル・セルは第２のピクセル・セルに隣接している。複数の異なる個別の可視光カラーフィルタのそれぞれは、第１及び第２のピクセルのセット内の異なるピクセルを覆う。複数の異なる個別のカラーフィルタの個々の可視光カラーフィルタによって覆われるピクセルは、個別の代替光フィルタによって覆われるピクセルとは異なる。

この態様では、第１のフレームタイマは、異なる個別の可視光カラーフィルタのうちの１つによって覆われる第１及び第２のピクセル・セル内のピクセルを同時にリセットするように構成される。フレームタイマはまた、複数の異なる個別の可視光カラーフィルタのうちの１つによって覆われる第１のピクセル・セルの第１のピクセルと、複数の異なる個別の可視光カラーフィルタのうちの１つによって覆われる第２のピクセル・セルの第２のピクセルとを同時に読み取るように構成される。

第１のフレームタイマはまた、複数のピクセル・セルのうちの第１のピクセル・セル内の複数のピクセルのうちの第１のピクセルのセット内の第１のピクセルと、複数のピクセル・セルのうちの第２のピクセル・セル内の複数のピクセルのうちの第２のピクセルのセットの第２のピクセルとを同時に読み取るように構成される。この態様では、画像取込み装置は、読み取った第１のピクセル及び読み取った第２のピクセルをビニングするように構成される。

別の態様では、第１の画像センサは、複数の代替光フィルタ処理ピクセル・セルとインターリーブされた複数の可視光カラーフィルタ処理セルをさらに含む。

さらに別の態様では、画像取込み装置は、画像センサを含む。画像センサは、複数のピクセル行と可視光カラーフィルタアレイとを含む。可視光カラーフィルタアレイは、複数の異なる個別の可視光カラーフィルタを含む。複数のピクセル行は、複数のピクセル・セルを含む。複数のピクセル・セルのそれぞれが、複数のピクセルを含む。ピクセル・セルの複数のピクセルの各ピクセルが、複数の異なる個別の可視光カラーフィルタのうちの異なるカラーフィルタによってカバーされる。フレームタイマは、画像センサに結合され、画像取込みタイミング信号を画像センサに提供する。フレームタイマは、ピクセル・セルの複数のピクセルを組み合わせて単一の出力ピクセルを形成するように構成される。

更なる態様では、画像取込み装置は、複数のピクセル行、可視光カラーフィルタアレイ、及び代替光フィルタアレイを有する画像センサを含む。複数のピクセル行は、複数のピクセル・セルを含む。複数のピクセル・セルのそれぞれが、複数のピクセルを含む。可視光カラーフィルタアレイは、複数の異なる個別の可視光カラーフィルタを含む。代替光フィルタアレイは、複数の個別の代替光フィルタを含む。複数の個別の代替光フィルタのうちの１つの個別の代替光フィルタは、複数のピクセル・セルのうちの第１のピクセル・セル内の複数のピクセルのうちの第１のピクセルのセットと、複数のピクセル・セルの第２のピクセル・セル内の複数のピクセルのうちの第２のピクセルのセットとの両方を覆う。第１のピクセル・セルは第２のピクセル・セルに隣接している。複数の異なる個別の可視光カラーフィルタのそれぞれは、第１及び第２のピクセルのセット内の異なるピクセルを覆う。複数の個別の可視光カラーフィルタの個々の可視光カラーフィルタによって覆われるピクセルは、個々の代替光フィルタによって覆われるピクセルとは異なる。

画像取込み装置は、画像センサに結合され、画像取込みタイミング信号を画像センサに提供するフレームタイマも含む。例えば、フレームタイマは、複数の異なる個別の可視光カラーフィルタのうちの１つによって覆われる第１及び第２のピクセル・セル内のピクセルを同時にリセットするように構成される。フレームタイマはまた、複数の異なる個別の可視光カラーフィルタのうちの１つによって覆われる第１のピクセル・セルの第１のピクセルと、複数の異なる個別の可視光カラーフィルタのうちの１つによって覆われる第２のピクセル・セルの第２のピクセルとを同時に読み取るように構成される。

第１の方法は、第１のフレームタイマからの信号を用いて、第１の露光時間に亘って、立体画像取込み装置の第１の画像センサの第１の複数のピクセル行の各行を露光するステップを含む。この方法はまた、第２のフレームタイマからの信号を用いて、第２の露光時間に亘って、立体画像取込み装置の第２の画像センサの第２の複数のピクセル行の各行を露光するステップを含み、第１の露光時間は第２の露光時間とは異なる。

別の方法は、複数のベイヤーピクセルを含む画像センサ内の位置から単一の出力ピクセルを出力するステップを含む。出力するステップは、フレームタイマによって、信号を用いてその位置で複数のベイヤーピクセルを組み合わせて単一の出力ピクセルを形成するステップである。

ローリングシャッターを用いてシーンを取り込むためのタイミング図である。 代替のローリングシャッター画像取込みシーケンスの実施を可能にするエンハンスト・フレームタイマを含むコンピュータ支援手術システムの図である。 立体画像取込み装置を含むコンピュータ支援手術システムの一部のより詳細な図であり、立体画像取込み装置の各チャネルがそれ自体のフレームタイマを有する。 図３の立体画像取込み装置においてローリングシャッターを用いて、異なる露光時間でシーンを取り込む一態様のタイミング図である。 図３の立体画像取込み装置においてローリングシャッターを用いて、異なる露光時間でシーンを取り込む一態様のより詳細なタイミング図である。 図３の立体画像取込み装置の一方のチャネルでＮ個のフレームが取り込まれる一方、図３の立体画像取込み装置の他方のチャネルで単一のフレームのみが取り込まれることを示す一般化された図である。 単一の画像センサ及び単一のフレームタイマを有する画像取込み装置を含むコンピュータ支援手術システムの一部のより詳細な図である。 フレームタイマと、画像センサのピクセルアレイの一部との図であり、画像センサは、ピクセルアレイの各位置に複数のベイヤーピクセルと呼ばれることもあるベイヤーピクセルのセットを含むベイヤーカラーフィルタアレイを含む。 フレームタイマと、画像センサのピクセルアレイの一部との図であり、画像センサは、可視光カラーフィルタアレイ及び代替光フィルタアレイを含む。 フレームタイマと、画像センサのピクセルアレイの一部との別の例の図であり、画像センサは、可視光カラーフィルタアレイ及び代替光フィルタアレイを含む。 図８Ａのピクセルアレイの位置での複数のピクセルビニングのタイミング図である。 図８Ｂの画像取込み装置のタイミング図である。 図８Ｃの画像取込み装置の行０及び１のビニングされていないピクセルの読み取り及びリセットシーケンスのタイミング図である。 図８Ｃの画像取込み装置の行０及び１の４方向にビニングされたハイパースペクトルピクセルの読み取り及びリセットシーケンスのタイミング図である。 図８Ｃの画像取込み装置の行２及び３のビニングされていないピクセルの読み取り及びリセットシーケンスのタイミング図である。 図８Ｃの画像取込み装置の行２及び３の４方向にビニングされたハイパースペクトルピクセルの読み取り及びリセットシーケンスのタイミング図である。 デュアルフレームタイマ論理回路及び様々なタイミングシーケンスを含む、図３の立体画像取込み装置を用いて得ることができるいくつかの組合せを示す図である。 図７の画像取込み装置を用いて実施することができるフレームタイマのタイミングシーケンスの様々な組合せを示す図である。 図面において、要素の参照符号の最初の桁は、その要素が最初に現れるその１桁の図番の図を示す。要素の参照符号の最初の２桁は、その要素が最初に現れる２桁の図番の図を示す。

本発明の態様は、手術装置、例えば、カリフォルニア州サニーベールのIntuitive Surgical， Inc.によって商品化されるda Vinci（登録商標）手術システム等のコンピュータ支援手術システムのビデオ取込み機能及びビデオ視聴機能を、エンハンスト・フレームタイマを組み込み、手術中に臨床的に関心のある組織又は他の態様を識別するために使用される可視シーンと代替モダリティシーンとの両方の感度を高めることによって、増強する。（da Vinci（登録商標）は、カリフォルニア州サニーベールのIntuitive
Surgical， Inc.の登録商標である。）本明細書では、コンピュータ支援手術システムを例として使用するが、本発明の態様は、代替イメージングモダリティを利用する任意の装置又はシステムで使用できる。

エンハンスト・フレームタイマ１２２（図２）は、新しいタイプのピクセル制御シーケンスを利用し、これは、一態様では、デジタル論理において低オーバーヘッドで実現される。これらの制御シーケンスは、代替イメージングモード（ハイパースペクトル、蛍光、高ダイナミックレンジ等）の感度を強調するように設計される。

画像取込みシステムの典型的な相補型金属－酸化物－半導体（CMOS）センサフレームタイマは、一組のステートマシンを使用して、画像センサピクセルアレイのリセット、転送、及び行選択ラインに対する信号を制御していた。これらのステートマシンは、典型的に、単純な一連のパルスを出力し、シャッター幅の調整及びシーンフリップ等を可能にする。典型的なフレームタイム回路は、使用される特定のピクセル・セル（例えば、４方向（four-way）共有ピクセル・セル）を中心に設計されるが、従来のイメージング用途では、低レベルのタイミング信号へのアクセスは許可されていない。典型的なフレームタイマ回路では、ユーザが、シャッター時間及び行時間又はフレームレートの設定、特定の高ダイナミックレンジ（HDR）モードのタイミングの変更等、限られたパラメーターセットからしか値を選択できない。ここで参照される４方向共有ピクセル・セルでは、多くの代替タイミングシーケンスが可能であるが、典型的な消費者向けに設計された従来のフレームタイマは、これらの共有ピクセル・セルを非共有アレイとして扱い、行毎及び列毎にピクセルをスキャンするだけである。一態様では、画像取込みシステム２２０のエンハンスト・フレームタイマ２２２は、以前のＣＭＯＳセンサフレームタイマで可能であったよりも多くのパルスのシーケンスを、画像センサ２２１のリセット、転送、及び行選択ラインで生成するのを可能にする強化された固定論理を含む。

別の態様では、エンハンスト・フレームタイマ２２２は、ソフトフレームタイマで実現され、パルスシーケンスが、メモリ、例えばＲＡＭブロックにダウンロードされ、エンハンスト・フレームタイマ２２２が、パルスシーケンスを読み取って、画像センサ２２１のリセット、転送、及び行選択ラインに対して信号を生成する。これは、フレームタイマ２２２を含む画像センサ２２１用のシリコンをリリースした後に、新しいシーケンスを追加できるという利点を有する。

このため、本発明の態様は、画像センサ２２１に関連するエンハンスト・フレームタイマ２２２に新しい柔軟性を提供する。この柔軟性により、高度なイメージングモード（ハイパースペクトル、蛍光等）の露光を、画像センサ２２１での可視光イメージングに使用される露光から分離することができる。これにより、高度なイメージングデータのフレームレートを遅くする等、様々なトレードオフを行って感度を向上させることができる。

エンハンスト・フレームタイマ１２２が高度なイメージング性能を改善する別の方法は、単一のフィルタ要素によって覆われるピクセルのオンチップビニング（binning）によるものである。オンチップビニングは、デジタル領域での個別のサンプリング及びビニングと比較してノイズ減少を提供する。典型的な画像センサは、モノクロセンサ又はベイヤーパターンのいずれかのピクセルをビニングする。しかしながら、画像センサ２２１に装着するために利用可能なハイパースペクトルフィルタは、典型的な画像センサのピクセルサイズよりも大きい。その結果、エンハンスト・フレームタイマ２２２により、ピクセル・セルは、画像センサ２２１のピクセルサイズだけでなく、所望のフィルタピクセルサイズに合わせて調整されたビニングを可能にするように選択される。

ステレオ画像センサでは、画像センサ２２１上の２つのアクティブ領域は、通常、同期して読み取られ、これは、表示される３次元ビデオのアーチファクトを最小限に抑える。しかしながら、ステレオ画像センサが白色光イメージングと高度なイメージングとの組合せに使用される場合に、エンハンスト・フレームタイマ２２２は、取り込んだピクセルデータを送信のために単一のストリームに結合しながら、２つのアクティブ領域で異なる露光を可能にする。

エンハンスト・フレームタイマ１２２はまた、画像センサ２２１のアクティブ領域の異なるライン、又はステレオ画像センサのアクティブ領域のうちの１つを異なるフィルタ材料で覆うことによって、より感度の高い高度なイメージングを可能にする。例えば、一方のアクティブ領域は可視イメージング用に設定され、他方のアクティブ領域はフィルタなしで蛍光イメージング用に設定される。

大抵の場合に、可視光シーンとともに高度なイメージングデータを同時に取得することが望ましい。エンハンスト・フレームタイマ２２２は、１つの画像センサの色毎又は行毎に異なる露光設定を従来のビデオ画像とインターレースするための方法を利用する。高度なイメージングモードに使用される代替ピクセルタイミングシーケンスは、例えば、典型的なベイヤーパターンの緑色のピクセルを異なるように露光することによって、高ダイナミックレンジの可視光イメージングにも使用できる。

最後に、高度なイメージングを有効にするために使用される同じフレームタイマの強化は、従来のイメージングにおいてノイズ性能を改善するために、異なる色を異なる量だけ露光する簡単な手段を可能にする４方向共有ピクセル・セルを用いて、標準のベイヤーパターンに適用することができる。

図２は、コンピュータ支援手術システム２００、例えばda Vinci（登録商標）手術システムの高レベルの概略図である。この例では、外科医コンソール２１０を使用する外科医は、ロボットマニピュレータアーム２１３を用いて内視鏡２０１を遠隔操作する。外科医は、他のロボットマニピュレータアームに取り付けられた手術器具を操作することもできる。コンピュータ支援手術システム２００に関連する他の部品、ケーブル等が存在するが、これらは、本開示を損なうことを避けるために、図２には示していない。コンピュータ支援手術システムに関する更なる情報は、例えば、米国特許出願公開第２００８－００６５１０５号（２００７年６月１３日に出願；“Minimally Invasive Surgical System”を開示）、及び米国特許第６，３３１，１８１号（２００１年１２月１８日に出願；“Surgical Robotic Tools， Data Architecture，
and Use”を開示）に見出すことができ、これらの文献は両方とも参照により本明細書に組み込まれる。

照明システム（図示せず）が、内視鏡２０１に結合されるか、代替的に内視鏡２０１内に含まれる。一態様では、照明システムは、白色光照明、又は白色光照明と代替のイメージングモード照明、例えばハイパースペクトル照明との組合せを提供する。一態様では、この光の全部又は一部は、内視鏡２０１内の少なくとも１つの照明経路に結合される。別の態様では、照明源は、内視鏡２０１の先端チップに又はその近くに配置される。一態様では、可視白色光照明と代替イメージングモード照明との両方は、外科的処置の間一定である。別の態様では、可視照明は時間的に一定であるが、代替イメージングモード照明のスペクトルは時間とともに変化する。

この態様では、内視鏡２０１からの光は、患者２１１の組織２０３を照らす。内視鏡２０１は、一態様では、組織２０３からの光を画像センサ２２１に渡す２つの光チャネル、例えば左光チャネル及び右光チャネルを含む立体内視鏡であり、この画像センサ２２１は、一方が左のシーンを取り込み、他方が右のシーンを取り込む２つの感知領域を含む。別の態様では、内視鏡２０１は、組織からの光を画像センサ２２１に渡すための単一の光チャネルを含むモノスコピック内視鏡であり、この場合に、画像センサ２２１は単一の感知領域を含む。

以下により完全に説明するように、両方のタイプの内視鏡について、反射された白色光は、画像取込みシステム２２０によって可視光フレームとして取り込まれる。可視光フレームは、例えば組織のシーンを含む可視シーンを含み、可視光フレームは、可視フレームと呼ばれることもある。組織から反射された非可視光及び／又は放出光は、画像取込みシステム２２０によって光増強（augmented light）フレームとして取り込まれる。光増強フレームには、例えば、組織２０３のハイパースペクトルシーン又は内視鏡２０１の視野内の他の特徴、又は組織２０３からの蛍光が含まれる。別の態様では、光増強フレームは、異なって露光されるピクセルを含み、これは、高ダイナミックレンジシーンを生成する際に使用することができる。光増強フレームは、増強フレームと呼ばれることもある。

一態様では、画像取込みシステム２２０のカメラは、内視鏡２０１の基端部に取り付けられる。別の態様では、カメラは、内視鏡２０１の先端部に取り付けられる。ここで、カメラは、少なくともフレームタイマ及び画像センサを含む。ここで、先端とは手術部位に近いことを意味し、基端とは手術部位から遠いことを意味する。カメラは、一態様では、同じフロントエンド（front end）光学系を介して可視フレーム及び増強フレームを取り込む。これは、例えばハイパースペクトルフレームを取り込むために特別なフロントエンド光学系を利用するシステムとは対照的である。

図３は、図２のコンピュータ支援手術システム２００の一例の態様のより詳細な図である。図３の実施形態では、コンピュータ支援手術システム２００は、組合せ光源３１０である照明器を含む。組合せ光源３１０は、可視光照明器３１１、例えば白色光源と、光増強照明器３１２を含む。組合せ光源３１０が以下でより完全に説明する能力を有する限り、照明器３１１及び３１２の特定の実施態様は重要ではない。

この態様では、組合せ光源３１０は、組織２０３を照明するために、立体視内視鏡２０１内の少なくとも１つの照明経路と併せて使用される。一態様では、組合せ光源３１０は、少なくとも２つの動作モード：通常の観察モード及び増強された観察モードを有する。

通常の観察モードでは、可視光照明器３１１は、組織２０３を白色光で照明する照明を提供する。光増強照明器３１２は、通常の観察モードでは使用されない。

増強された観察モードでは、可視光照明器３１１は、組織２０３を白色光で照明する照明を提供する。一態様では、光増強照明器３１２は、ハイパースペクトル光、例えば近赤外スペクトルの光、或いは蛍光を励起する光で組織２０３を照明する照明を提供する。

ハイパースペクトル照明の例としての近赤外光の使用は、例示に過ぎず、この特定の態様に限定することを意図するものではない。本開示を考慮して、この分野に精通している者は、取り込まれた可視フレームの非顕著な特徴を、取り込まれた増強フレームにおいて顕著にするハイパースペクトル照明を選択することができる。

一態様では、可視光照明器３１１は、異なる可視色照明成分のそれぞれに関する光源を含む。赤－緑－青の実施態様の場合に、一例では、光源は、レーザ：赤レーザ、２つの緑レーザ及び青レーザである。一態様では、可視光照明器３１１からの光は、光が人間の目に紫色の色合いで見えるように形成されたそのスペクトルを有する。国際公開第２０１５／１４２８００号を参照されたい。この文献は、参照により本明細書に組み込まれる。

可視光照明器３１１におけるレーザの使用は、例示に過ぎず、限定することを意図するものではない。可視光照明器３１１は、例えば、レーザの代わりに複数の発光ダイオード（ＬＥＤ）源を用いて実現することもできる。あるいはまた、可視光照明器３１１は、楕円形の後方反射器及びバンドパスフィルタコーティングを含むキセノンランプを使用して、可視シーンのための広帯域白色照明光を形成することができる。キセノンランプの使用も例示に過ぎず、限定することを意図するものではない。例えば、高圧水銀アークランプ、他のアークランプ、又は他の広帯域光源を使用してもよい。

光増強照明器３１２の実施態様は、関心のある光スペクトルに依存する。典型的には、１つ又は複数のレーザモジュール、１つ又は複数の発光ダイオードが、光増強照明器３１２として使用される。

通常の及び増強された観察モードでは、可視光照明器３１１からの光、又は可視光照明器３１１からの光及び光増強照明器３１２からの光は、コネクタ３１６に向けられる。コネクタ３１６は、光を立体内視鏡２０１の照明経路に提供し、次に、この光を組織２０３に向ける。コネクタ３１６及び立体内視鏡２０１の照明経路のそれぞれは、例えば、光ファイバ束、単一の剛性又は可撓性ロッド、又は光ファイバを用いて実現することができる。

手術部位２０３からの光（図３）は、内視鏡２０１内の立体視光チャネル、例えば左光チャネル及び右光チャネル、或いは第１の光チャネル及び第２の光チャネルによって、カメラ３２０Ｌ、３２０Ｒに渡される。２台の分離したカメラ３２０Ｌ及び３２０Ｒの使用は、説明及び議論を容易にするためのものであり、２台の分離したカメラ又は２台の分離した画像取込みユニットが必要であると解釈すべきではない。カメラ３２０Ｌ及び３２０Ｒの構成要素を１つのユニットに組み合わせることができる。

以下により完全に説明するように、左カメラ３２０Ｌは、左画像センサ３２１Ｌを含む。左画像センサ３２１Ｌは、立体内視鏡３０２の左チャネルから受け取った光を左フレーム３２２Ｌとして取り込む。同様に、右カメラ３２０Ｒは、右画像センサ３２１Ｒを含む。右画像センサ３２１Ｒは、立体内視鏡３０２の右チャネルから受け取った光を右フレーム３２２Ｒとして取り込む。左画像センサ３２１Ｌ及び右画像センサ３２１Ｒは、別個のセンサ又は単一のセンサの異なるアクティブ領域であり得る。また、左及び右の使用は、第１のセンサと第２のセンサとの区別を容易にすることを目的としている。

カメラ３２０Ｌは、フレームタイマ３２５Ｌと呼ばれることもある第１のフレームタイマ回路３２５Ｌを含み、このフレームタイマ３２５Ｌは、この態様では、左カメラ制御ユニット３３０Ｌ及び左画像センサ３２１Ｌに結合される。カメラ３２０Ｒは、フレームタイマ３２５Ｒと呼ばれることもある第２のフレームタイマ回路３２５Ｒを含み、このフレームタイマ３２５Ｒは、この態様では、右カメラ制御ユニット３３０Ｒ及び右画像センサ３２１Ｒに結合される。各画像センサに個々のフレームタイマを使用すると、全ての画像センサに共通のフレームタイマを使用した構成と比較して、イメージング能力が強化される。個別のフレームタイマ３２５Ｌ、３２５Ｒを使用すると、一方の画像センサによって取り込まれる高度なイメージングモード（ハイパースペクトル、蛍光等）の露光を、他方の画像センサの可視光イメージングで使用される露光から分離できる。これにより、高度な画像（イメージング）データのフレームレートを遅くする等、様々なトレードオフを行って感度を向上させることができる。個別のフレームタイマを使用して高度なイメージング性能を向上させるもう１つの方法は、単一のフィルタ要素で覆われるピクセルをオンチップでビニングすることである。オンチップビニングは、デジタル領域での個別のサンプリング及びビニングと比較してノイズを減少させる。

カメラ３２０Ｌは、左カメラ制御ユニット３３０Ｌ及び画像処理モジュール３４０によって、外科医コンソール２１０の立体視ディスプレイ３５１に結合される。画像処理モジュール３４０は、画像処理システム１３０の一部である。カメラ３２０Ｒは、右カメラ制御ユニット３３０Ｒ及び画像処理モジュール３４０によって、外科医コンソール２１０の立体視ディスプレイ３５１に結合される。カメラ制御ユニット３３０Ｌ、３３０Ｒは、システム処理制御モジュール３６２から信号を受信する。システム処理制御モジュール３６２は、システム３００内の様々なコントローラを表す。

表示モード選択スイッチ３５２は、ユーザインターフェイス３６１に信号を提供し、ユーザインターフェイス３６１は、次に、選択された表示モードをシステム処理制御モジュール３６２に渡す。システム処理制御モジュール３６２内の様々なコントローラは、照明コントローラ３１５を構成し、左右のカメラ制御ユニット３３０Ｌ及び３３０Ｒを構成して所望のシーンを取得し、取得したシーンを処理するために必要な画像処理モジュール３４０内の他の要素を構成し、それによって、外科医が要求したシーンを立体視ディスプレイ３５１に提示するようにする。画像処理モジュール３４０は、既知の画像処理パイプラインと同等の画像処理パイプラインを実現する。

立体視ディスプレイ３５１上のビデオ出力は、例えば、フットスイッチ、手術器具を制御するために使用されるマスターグリップのダブルクリック、音声制御、及び他のスイッチング方法を使用することによって、通常の観察モードと増強された観察モードとの間でトグルされ（切り替えられ）得る。観察モードを切り替えるためのトグルは、図３において、表示モード選択スイッチ３５２として表される。

中央コントローラ３６０及びシステム処理制御モジュール３６２は、以下により完全に説明する態様を除いて、従来のシステムと同様である。中央コントローラ３６０として説明されるが、中央コントローラ３６０は、実際には、任意の数のモジュールによって実装され得、各モジュールは、構成要素の任意の組合せを含み得ることを理解すべきである。各モジュール及び各構成要素は、ハードウェア、プロセッサ上で実行されるソフトウェア、ファームウェア、又はこれら３つの任意の組合せを含み得る。

また、本明細書で説明するように、中央コントローラ３６０及びシステム処理制御モジュール３６２の機能及び動作は、１つのモジュールによって実行され得るか、又は異なるモジュール間で又はモジュールの異なる構成要素の間でさえ分割され得る。異なるモジュール又は構成要素の間で分割される場合に、モジュール又は構成要素は、１つの位置に集中化されるか、又は分散処理の目的でシステム２００全体に分散され得る。こうして、中央コントローラ３６０及びシステム処理制御モジュール３６２は、いくつかの態様では両方がシステム２００全体に分散されるので、単一の物理的エンティティを必要とするものとして解釈すべきではない。

コンピュータ支援手術システムに関する更なる情報は、例えば、米国特許出願第１１／７６２，１６５号（２００７年６月２３日に出願；“Minimally Invasive Surgical System”を開示）、米国特許第６，８３７，８８３号（２００１年１０月５日に出願；“Arm Cart for Telerobotic Surgical System”を開示）、及び米国特許第６，３３１，１８１号（２００１年１２月２８日に出願；“Surgical Robotic Tools, Data Architecture, and Use”を開示）に見出すことができ、これらの文献は全て参照により本明細書に組み込まれる。

図３では、カメラ３２０Ｌ、３２０Ｒ、及び組合せ光源３１０は、内視鏡２０１の外部にあるものとして示される。しかしながら、一態様では、カメラ３２０Ｌ、３２０Ｒ、及び光源３１０は、内視鏡２０１の先端チップに含まれており、組織２０３に隣接している。また、左画像センサ３２１Ｌ及び右画像センサ３２１Ｒは、左フレームタイマ回路３２５Ｌ及び右フレームタイマ回路３２５Ｒを含む集積回路チップのセンサ領域の異なるアクティブ領域であり得る。

システムコントローラ３２０（図３）は、例示及び理解を容易にするために統一された構造として示される。これは単なる例示であり、限定することを意図するものではない。システムコントローラ３２０の様々な構成要素は、離れて配置しても、依然として説明した機能を実行することができる。

代替フレームタイミングによる立体画像取込み
いくつかの態様では、左画像センサ３２１Ｌによって取り込まれた第１のシーンは、立体視ディスプレイ３５１の左眼ビューアに提示され、右画像センサ３２１Ｒによって取り込まれた第２のシーンは、立体視ディスプレイ３５１の右眼ビューアに提示される。例えば、手術部位の通常のカラーシーンがユーザの左眼に提示され、手術部位の増強されたシーンがユーザの右眼に提示される。

典型的には、一方の画像センサによって取り込まれた増強されたシーンは、他方の画像センサによって取り込まれたカラーシーンの強度よりも著しく強度が低い。以前は、強度の違いは、取り込んだシーンをデジタル処理することによって補償していた。残念ながら、これは、例えば、低い信号レベルを増幅することによって生じるノイズを導入する可能性がある。

この態様では、フレームタイマ３２５Ｌ及び３２５Ｒは、左画像センサ３２１Ｌからのデータ及び右画像センサ３２１Ｒからのデータを異なるレートで読み取るように構成される。例えば、図４に示されるように、可視カラーシーン、すなわち、反射後の白色光シーンは、左画像センサ３２１Ｌによって通常のレート、例えば毎秒６０フレームで取り込まれる。増強されたシーン、例えば蛍光シーン又はハイパースペクトルシーンは、右画像センサ３２１Ｒによって通常のレートよりも遅いレート、例えば毎秒３０フレームで取り込まれる。図４は、左画像センサ３２１Ｌに対するフレームタイマ３２５Ｌによるローリングシャッターの実施態様と、右画像センサ３２１Ｒに対するフレームタイマ３２５Ｒによるローリングシャッターの実施態様とを示している。

この例では、左画像センサ３２１Ｌ及び右画像センサ３２１Ｒのそれぞれは、（ｍ＋２）行のピクセル、つまり（ｍ＋１）アクティブ行及びダミー行を有すると想定される。こうして、アクティブ行には０～ｍまでの番号が付けられる。

フレームタイマ３２５Ｌは、送信、リセット、及び選択ライン上で信号を繰り返し提供し、画像センサ３２１Ｌが、フレーム４０１Ｌ、４０２Ｌ、４０３Ｌ、４０４Ｌ、及び４０５Ｌのそれぞれを同じ方法で同じタイミングで取り込む。この例では、フレーム４０２Ｌ、特にフレーム４０２Ｌの行ゼロ（０）の取込みが考慮される。フレーム４０２Ｌにおける各ピクセル行の取込みは、行ゼロと同じである。

前に指摘したように、ローリングシャッターでは、画像センサ３２１Ｌの全てのアクティブ行が同時に取り込まれるわけではない。例えば、カメラ３２０Ｌは、所定の時間後に光がピクセルに到達するのを阻止する機械的シャッターを有さない。むしろ、各ピクセル行が順次読み取られる。これは、フレーム４０２Ｌの対角線４０２Ｌ－Ｓによって示される。対角線４０２Ｌ－Ｓは、画像センサ３２１Ｌによるフレーム４０２Ｌの取込みのためのローリングシャッターを表す。フレーム４０１Ｌ、４０３Ｌ、４０４Ｌ、及び４０５Ｌには、それぞれ同等のローリングシャッター４０１Ｌ－Ｓ、４０３Ｌ－Ｓ、４０４Ｌ－Ｓ、及び４０５Ｌ－Ｓがある。

行内の各ピクセルが電荷を再び蓄積できるようにするために、行のリセットライン上の信号がアクティブになる。図４の各水平線の左端にある四角は、その行のリセットライン上の信号がアクティブになることを表している。こうして、正方形４０２Ｌ－０－ＲＳＴは、フレーム４０２Ｌ内の行０のリセット信号がアクティブになることを表し、それによって、行０の各ピクセルが既知の状態に設定され、そのピクセルに入射する光に対応する電荷の蓄積を開始する。

図４の各水平線の右端の丸いドット（点）は、その行の行選択ライン上の信号がアクティブになり、その行の各ピクセルの値が読み取られることを示す。行の各ピクセルが読み取られると、その行のシャッターが事実上閉じられる。こうして、ドット４０２Ｌ－０－ＳＬＣＴは、フレーム４０２Ｌ内の行ゼロの行選択信号がアクティブになり、それによって、行ゼロの各ピクセルの値が読み取られることを表す。

フレーム４０２Ｌ内の行０のピクセルが既知の状態に設定されてから、行０の行選択ラインがアクティブになり、行０のピクセル値が読み取られるまでの時間４０２Ｌ－０－ＥＸＰは、その行の露光時間である。こうして、フレームタイマ３２５Ｌは、前のフレーム内の行の行選択信号がアクティブにされてから、現在のフレーム内の行のリセット信号がアクティブになるまでの時間間隔を制御することによって、フレーム内の行の露光時間を制御することができる。

フレーム内の全てのアクティブ行が読み取られると、画像センサ３２１Ｌのダミー行が読み取られる。ダミー行の読み取りに使用される時間間隔は、フレーム４０１Ｌについて時間間隔４０１Ｌ－ＢＬＮＫ、フレーム４０２Ｌについて時間間隔４０２Ｌ－ＢＬＮＫ、フレーム４０３Ｌについて時間間隔４０３Ｌ－ＢＬＮＫ、フレーム４０４Ｌについて時間間隔４０４Ｌ－ＢＬＮＫ、及びフレーム４０５について時間間隔４０５Ｌ－ＢＬＮＫである。ブランキング（blanking）はビデオタイミングの典型的な特徴であるが、ブランキングは処理及び表示に役立ち、ここで説明するピクセルタイミングシーケンスのいずれかを使用するために任意のブランキング及びダミー行の読み出しを行う必要はない。

ピクセルの行をリセットし、ピクセルの行を読み取ることに関するフレームタイマ３２５Ｒの動作は、フレームタイマ３２５Ｌについて今説明したものと同等であるが、様々な信号がより遅いレートでアクティブ化される。フレーム４０１Ｒは、フレーム４０２Ｌ及び４０３Ｌが取り込まれるのと同じ時間間隔で取り込まれる一方、フレーム４０２Ｒは、フレーム４０４Ｌ及び４０５Ｌが取り込まれるのと同じ時間間隔で取り込まれる。

ライン４０１Ｒ－Ｓは、フレーム４０１Ｒのローリングシャッターを表す。正方形４０２Ｒ－０－ＲＳＴは、フレーム４０１Ｒ内の行０のリセット信号がアクティブになることを表し、それによって、行０の各ピクセルが既知の状態に設定され、そのピクセルに入射する光に対応する電荷の蓄積を開始する。ドット４０２Ｒ－０－ＳＬＣＴは、フレーム４０１Ｒ内の行０の行選択信号がアクティブになることを表し、それによって、行０の各ピクセルの値が読み取られる。フレーム４０１Ｒ内の行０のピクセルが既知の状態に設定されてから、行０の行選択ラインがアクティブになり、行０のピクセル値が読み取られるまでの時間４０１Ｒ－０－ＥＸＰが、その行の露光時間である。

フレーム４０１Ｒ内の全てのアクティブ行が読み取られると、画像センサ３２１Ｌのダミー行が読み取られる。ダミー行の読み取りに使用される時間間隔は、フレーム４０１Ｒについて時間間隔４０１Ｒ－ＢＬＮＫである。

こうして、図４は、左画像センサ３２１Ｌのフレームが通常のレートで読み取られる一方で、右画像センサ３２１Ｒのフレームが半分のレートで読み取られることを示している。これにより、右画像センサ３２１Ｒは、より長い期間に亘った入射光を統合することができ、これは、右画像センサ３２１Ｒで通常のレートでフレームを取り込み、次に取り込んだ信号をデジタル増幅する場合と比較して、信号対雑音比を改善する。

図５は、フレームタイマ３２５Ｌ及び３２５Ｒによって生成されたリセット信号及び選択信号のより詳細なタイミング図である。タイミング図は、２つの画像センサの異なる露光時間を示すための関心対象フレーム用であることに注意されたい。図５には、図４のフレームの全ての信号が含まれているわけではない。

図５のパルスの参照符号は、図４の対応する参照符号と同じである。しかしながら、図５には、いくつかの追加の参照符号がある。図４及び図５の参照符号に関するキー（重要なこと）は次のとおりである。
ｘｘｘｙ－ｓ－名前、
ここで、ｘｘｘは図４のフレームの参照符号であり、
ｙは、この例では、そのチャネル（右又は左）を表し、
ｓは、行番号、アクティブ行の場合には０～ｍ、ダミー行の場合にはＤである。
そして、名前、ＲＳＴ＝行のリセット、ＳＬＣＴ＝行の選択、ＥＸＰ＝露光時間である。

フレームタイマ３２５Ｌは、画像センサ３２１Ｌの０～ｍの各行に対して、アクティブ行リセット信号４０１Ｌ－０－ＲＳＴ～４０１Ｌ－ｍ－ＲＳＴを時間的に順次に生成する。各行の露光時間に続いて、フレームタイマ３２５Ｌは、画像センサ３２１Ｌの０～ｍの各行に対して、アクティブ行選択信号４０１Ｌ－０－ＳＬＣＴ～４０１Ｌ－ｍ－ＳＬＣＴを時間的に順次に生成する。

各アクティブ行がリセットされた後に、フレームタイマ３２５Ｌは、画像センサ３２１Ｌのダミー行に対してアクティブダミー行リセット信号４０１Ｌ－Ｄ－ＲＳＴを生成し、露光時間後に、フレームタイマ３２５Ｌは、画像センサ３２１Ｌのダミー行に対してアクティブ行選択信号４０１Ｌ－Ｄ－ＳＬＣＴを生成する。ダミー行信号を生成した後に、フレームタイマ３２５Ｌは、画像センサ３２１Ｌによって取り込まれた後続のフレームのそれぞれについて、行リセット信号及び行選択信号を生成し続ける。

フレームタイマ３２５Ｒの動作は、フレームタイマ３２５Ｌの動作とは異なる。フレームタイマ３２５Ｌは、画像センサ３２１Ｒの０～ｍの各行に対して、アクティブ行リセット信号４０１Ｒ－０－ＲＳＴ～４０１Ｌ－ｍ－ＲＳＴを時間的に順次に生成するが、その後、フレームタイマ３２５Ｒは、アクティブ行リセット信号の生成を停止するか、又は次のフレームの取込みを開始する時間になるまで、ダミー行にアクティブリセット信号を生成する。

画像センサ３２１Ｒにおける先行フレームの取込みが完了した後に、フレームタイマ３２５Ｒは、画像センサ３２１Ｒにおける０番目の行の露光時間４０１Ｒ－０－ＥＸＰが経過するまでダミー行選択信号４０１Ｒ－Ｄ－ＳＬＣＴを生成し、その後フレームタイマ３２５Ｒは、画像センサ３２１Ｒの０～ｍの各行について、アクティブ行選択信号４０１Ｒ－０－ＳＬＣＴ～４０１Ｌ－ｍ－ＳＬＣＴを時間的に順次に生成する。

この例では、画像センサ３２１Ｒによって取り込まれたフレームの露光時間は、画像センサ３２１Ｌによって取り込まれたフレームの露光時間の２倍長い。ただし、２つの画像センサを使用して露光の異なるシーンを取り込むこのアプローチは、図６に示されるように一般化できる。

図６では、フレームタイマ３２５Ｌは、画像センサ３２１ＬにおいてＮ個のフレーム（フレーム０からフレーム（Ｎ－１））を順次に取り込むように構成される一方、フレームタイマ３２５Ｒは、画像センサ３２１Ｒにおいて１つのフレーム（フレーム０）を取り込む。ここで、Ｎは、一態様では、ゼロより大きい正の数である。こうして、画像センサ３２１Ｒに取り込まれたフレームの露光時間は、画像センサに取り込まれたフレームの露光時間のＮ倍である。図５はＮが２の場合である。

ピクセルビニング
以下により完全に説明するピクセルビニングの態様は、図３の立体視コンピュータ支援手術システム２００又は図７の単視（monoscopic）システム７００で実施することができる。図７では、画像センサ３２１、画像３２２、及びカメラ制御ユニット３３０は、画像センサ３２１Ｒ、３２１Ｌ、フレーム３２２Ｒ、３２２Ｌ、及びカメラ制御ユニット３３０Ｒ、３３０Ｌと同等であるため、これらの要素の説明はここでは繰り返さない。同様に、画像処理モジュール７４０、ディスプレイ７５１を含む外科医コンソール７１４、中央コントローラ７６０、及びシステム処理制御モジュール７６２は、図３の左又は右チャネルのいずれかについて、図３の対応する要素と同等である。内視鏡７０１が組織２０３からカメラ７２０に光を伝達する単一の光チャネルのみを有することを除いて、内視鏡３０２と同様である。こうして、単視システム７００は、図３の左右のチャネルの一方が除去された図３のシステムと同等である。そのため、説明は図３の要素の説明の繰返しになるため、さらに詳細には説明しない。

ベイヤーカラーフィルタアレイによる複数ピクセルビニング
図８Ａは、新規のフレームタイマ８２５Ａ及び４方向共有ピクセル・セルを含むＣＭＯＳ画像センサ上のベイヤーカラーフィルタの代表的な部分の図である。こうして、図８Ａは、ベイヤーカラーフィルタアレイ及びフレームタイマ８２５Ａを含む画像センサ８２１Ａを有する画像取込みユニットの一部の例である。画像センサ８２１Ａ及びフレームタイマ８２５Ａは、画像センサ３２１Ｌ及びフレームタイマ３２５Ｌ、画像センサ３２１Ｒ及びフレームタイマ３２５Ｒ、又は画像センサ３２１及びフレームタイマ３２５の例である。

画像センサ内の各位置には、複数のピクセルが含まれる。図８では、４つの位置（０，０）、（０，１）、（１，０）、及び（１，１）のみが示される。各位置には、共有列ラインに接続された４つのピクセルが含まれており、これは４方向共有ピクセル・セルである。図示していない画像センサ８２１Ａの他の位置は、対応する方法で配置される。

この例では、各ピクセルは、ベイヤーカラーフィルタアレイのフィルタによって覆われる。知られているように、ベイヤーカラーフィルタアレイでは、フィルタの５０％が緑色フィルタ、２５％が赤色フィルタＲ、２５％が青色フィルタＢである。この例では、議論を容易にするために、緑色フィルタが、第１の緑色フィルタＧｒ及び第２の緑色フィルタＧｂに分割される。この例では、２つの緑色フィルタは同じフィルタ染料（dye）を使用し、同じ波長範囲を通過させる。ベイヤーカラーフィルタアレイのフィルタと画像センサ８２１Ａのピクセルとの間には１対１の対応関係があり、この態様では、画像センサ８２１Ａの各ピクセルがベイヤーカラーフィルタアレイの異なるフィルタによって覆われることを意味する。ベイヤーカラーフィルタアレイを例として使用するが、カラーフィルタアレイがこの特定の構成である必要はない。異なる色又は異なる色の異なる比率を有するカラーフィルタアレイも、本明細書で説明する用途で使用することができる。

赤色フィルタＲで覆われたピクセルは、赤色ピクセルＲと呼ばれる。第１の緑色フィルタＧｒで覆われたピクセルは、第１の緑色ピクセルＧｒと呼ばれる。第２の緑色フィルタＧｂによって覆われたピクセルは、第２の緑色ピクセルＧｂと呼ばれる。青フィルタＢで覆われたピクセルは、青ピクセルＢと呼ばれる。こうして、図８Ａでは、各位置は、赤ピクセル、第１及び第２の緑ピクセル、及び青ピクセルを含む。また、図８Ａ及び図８Ｂでは、行は垂直方向に延びるものとして示され、列は水平方向に延びるものとして示される。これは、説明を簡単にするためのものであり、画像センサの行及び列を特定の方向に制限するものと解釈すべきではない。以下でより完全に説明する構成は、行及び列の方向に関係なく同じように動作する。

画像センサ８２１Ａの各行ドライバは、異なる複数のピクセル行に接続される。第１の送信ラインＴｘ＿１は、行ドライバを、行ドライバに接続された第２行の各赤いピクセルに接続する。第２の送信ラインＴｘ＿２は、行ドライバを、行ドライバに接続された第２行の各第２の緑色ピクセルに接続する。第３の送信ラインＴｘ＿３は、行ドライバを、行ドライバに接続された第１行の各第１の緑色ピクセルに接続する。第４の送信ラインＴｘ＿４は、行ドライバを、行ドライバに接続された第１行の各青色ピクセルに接続する。

リセットラインＲＥＳＥＴは、行ドライバに関連付けられた２つの行の各位置で、行ドライバを、共有列ドライバＳＨＡＲＥＤに接続する。選択ラインＳＥＬＥＣＴは、行ドライバに関連付けられた２つの行の各位置で、行ドライバを共有列ドライバＳＨＡＲＥＤに接続する。一態様では、各共有列ドライバＳＨＡＲＥＤは、単一のフローティング拡散電荷蓄積ノードである。

フレームタイマ８２５Ａは、複数のラインによって、画像センサ８２１Ａの各行ドライバに接続される。この例では、複数のラインは２１本のラインを含む。

２１本のラインのうちの１０本のラインは、行アドレスラインＲＯＷ＿ＡＤＤＲ＜９，０＞である。行アドレスラインＲＯＷ＿ＡＤＤＲ＜９，０＞は、フレームタイマ８２５Ａによってアクセスされている行のアドレスを伝送する。

２１本のラインのうちの３本のラインは、行選択ラインＲＯＷ＿ＳＥＬＥＣＴ、リセットセットラインＲＳＴ＿ＳＥＴ、及びリセットクリアラインＲＳＴ＿ＣＬＲである。行選択ラインＲＯＷ＿ＳＥＬＥＣＴ上のアクティブ信号により、行アドレスラインＲＯＷ＿ＡＤＤＲ＜９，０＞のアドレスによってアドレス指定された行ドライバに、選択ラインＳＥＬＥＣＴ上でアクティブ信号を駆動させる。リセットセットラインＲＳＴ＿ＳＥＴ上のアクティブ信号により、行アドレスラインＲＯＷ＿ＡＤＤＲ＜９，０＞のアドレスによってアドレス指定された行ドライバに、リセットラインＲＥＳＥＴ上でアクティブ信号を駆動させる。

リセットクリアラインＲＳＴ＿ＣＬＲ上のアクティブ信号により、行アドレスラインＲＯＷ＿ＡＤＤＲ＜９，０＞のアドレスによってアドレス指定された行ドライバに、リセットラインＲＥＳＥＴ上で非アクティブ信号を駆動させる。

２１本のラインのうちの４本のラインは送信セットラインＴＸ＿ＳＥＴ＜４，１＞であり、２１本のラインのうちの別の４本のラインは送信クリアラインＴＸ＿ＣＬＲ＜４，１＞である。送信セットラインＴＸ＿ＳＥＴ＜４，１＞のそれぞれは、行ドライバを介して、第１の送信ラインＴｘ＿１、第２の送信ラインＴｘ＿２、第３の送信ラインＴｘ＿３、及び第４の送信ラインＴｘ＿４の異なる１つに結合される。例えば、送信セットラインＴＸ＿ＳＥＴ（１）は第１の送信ラインＴｘ＿１に結合され、送信セットラインＴＸ＿ＳＥＴ（２）は第２の送信ラインＴｘ＿２に結合される等される。同様に、送信セットラインＴＸ＿ＣＬＲ＜４，１＞のそれぞれは、行ドライバを介して、第１の送信ラインＴｘ＿１、第２の送信ラインＴｘ＿２、第３の送信ラインＴｘ＿３、及び第４の送信ラインＴｘ＿４の異なる１つに結合される。例えば、送信クリアラインＴＸ＿ＣＬＲ（１）は第１の送信ラインＴｘ＿１に結合され、送信クリアラインＴＸ＿ＣＬＲ（２）は第２の送信ラインＴｘ＿２に結合される等される。

送信セットラインＴＸ＿ＳＥＴ（１）上のアクティブ信号により、行アドレスラインＲＯＷ＿ＡＤＤＲ＜９，０＞のアドレスによってアドレス指定された行ドライバに、第１の送信ラインＴｘ＿１上でアクティブ信号を駆動させ、他の送信セットラインについても同様に駆動させる。送信クリアラインＴＸ＿ＣＬＲ（１）上のアクティブ信号により、行アドレスラインＲＯＷ＿ＡＤＤＲ＜９，０＞のアドレスによってアドレス指定された行ドライバに、第１の送信ラインＴｘ＿１上で非アクティブ信号を駆動させ、他の送信ラインでも同様に駆動させる。

リセットセットラインＲＳＴ＿ＳＥＴ、リセットクリアラインＲＳＴ＿ＣＬＲ、送信セットラインＴＸ＿ＳＥＴ＜４，１＞、及び送信クリアラインＴＸ＿ＣＬＲ＜４，１＞を使用すると、単一の行時間中にパルスを異なる行に送信することができ、それらのパルスの長さは、それら（パルス同士）の間の時間より長くなる可能性がある。送信セットラインＴＸ＿ＳＥＴ１がアクティブになると、行アドレスが一致する特定の第１の送信ラインＴｘ＿１ラインがアクティブになり、同じ第１の送信ラインＴｘ＿１が再びアドレス指定され、送信クリアラインＴＸ＿ＣＬＲ１がアクティブになるまでハイ（high：高）のままになる。ラインＴＸ＿ＳＥＴｘとＴＸ＿ＣＬＲｘ、及びＲＳＴ＿ＳＥＴとＲＳＴ＿ＣＬＲは、ラインＴｘ＿１等の長いパルスのエッジのタイミングを制御する短いパルスで駆動される。こうして、これらのラインを使用すると、単一の行時間中にパルスを異なる行に送信でき、それらのパルスの長さは、それら（パルス同士）の間の時間より長くなる可能性がある。

この例では、タイミング（制御）は、特定のタイプの行ドライバ回路を使用し、各行をアドレス指定し、各行信号にラッチを使用してピクセル行制御ラインＴＸｎ、ＳＥＬ、及びＲＥＳＥＴに行くパルスを生成する。このロジックを実現する方法は他にもある。具体的には、ピクセル制御ラインの同じタイミングを他のタイプのロジックで生成でき、同じ概念が適用される。

また、これらの例では、４方向共有ピクセル・セルが使用され、４方向共有ピクセル・セルの出力部分は、ベイヤーグループ内の４つのピクセルの間で共有される。これは、代替フレームタイミングに特に役立つが、ここに示す例は、他のピクセル共有構成にも適用できる。

画像センサ８２１Ａのピクセルアレイ、行ドライバ、行ドライバへの入力ライン、及び行ドライバの出力ラインのレイアウトは既知であり、そのため、本明細書ではより詳細に説明していない。新規の態様は、強化された画像センサタイミングを提供し、結果として強化されたイメージング能力を提供する、フレームタイマ８２５Ａによって画像センサ８２１Ａへの入力ライン上に提供される信号のシーケンスである。

図８Ａは、フレームタイマに結合された画像センサを含む画像取込み装置を表す。画像センサは、複数のピクセル行と可視光カラーフィルタアレイとを含む。可視光カラーフィルタアレイは、複数の異なる可視光カラーフィルタを含み、これらは、図８Ａにおいて、赤、２つの緑、及び青の可視光カラーフィルタによって表される。複数のピクセル行は、複数のピクセル・セルを含み、複数のピクセル・セルのそれぞれが、複数のピクセルを含む。図８Ａの例では、ピクセル・セルは、位置（０，０）、（０，１）、（１，０）、及び（１，１）によって特定される。ピクセル・セルの複数のピクセルの各ピクセルは、複数の異なる可視光カラーフィルタのうちの異なる１つによって覆われる。図８Ａの例では、位置（０，０）の位置にあるピクセル・セルの複数のピクセルのそれぞれは、赤、２つの緑、及び青の可視光カラーフィルタのうちの１つによって覆われる。フレームタイマは、画像センサに結合され、画像取込みタイミング信号を画像センサに提供する。

図９Ａは、ローリングシャッターの一部としての図８Ａの行の位置における４つのピクセルのピクセルビニングのタイミング図を示す。この態様では、フレームタイマ８２５Ａは、各送信セットラインＴＸ＿ＳＥＴ＜４，１＞上のアクティブ信号及びリセットセットラインＲＳＴ＿ＳＥＴ上のアクティブ信号を同時に送信する。これらの信号に応答して、図９Ａに示されるように、アドレス指定された行ドライバは、第１の送信ラインＴｘ＿１、第２の送信ラインＴｘ＿２、第３の送信ラインＴｘ＿３、及び第４の送信ラインＴｘ＿４のそれぞれのアクティブ送信信号と、ラインＲＥＳＥＴ上のアクティブリセット信号とを同時に駆動する。

ピクセルを読み取るために、適切な露光時間の後に、フレームタイマ８２５Ａは、各送信セットラインＴＸ＿ＳＥＴ＜４，１＞上のアクティブ信号と、行選択ラインＲＯＷ＿ＳＥＬＥＣＴ上のアクティブ信号とを同時に送信する。これらの信号に応答して、図９Ａに示されるように、アドレス指定された行ドライバは、第１の送信ラインＴｘ＿１、第２の送信ラインＴｘ＿２、第３の送信ラインＴｘ＿３、及び第４の送信ラインＴｘ＿４のそれぞれのアクティブ送信信号と、行選択ラインＳＥＬＥＣＴ上のアクティブ信号とを同時に駆動する。

ある位置の４つのピクセル全てが共有列ラインに同時に接続され、例えば同時に読み取られるので、これは、アナログ段階で４つのピクセルを統合し、デジタル処理段階中に同じ統合を行うことに比べて信号対雑音レベルを改善する。このようにピクセルを組み合わせると、トレードオフが発生する。ノイズレベルを５０％削減する代わりに、一部の空間解像度と同様に、全ての色情報が失われる。

図７のように単一の画像センサが使用される場合に、このピクセルビニングを使用して、取り込んだシーンの信号対雑音比を改善することができる。図３のように立体画像センサを使用している場合に、一方の画像センサを使用して通常のフレームレートでカラーシーンを取り込み、他方のセンサを使用してピクセルビニングとともに低速のフレームレートでシーンを取り込むことができる。例えば図５に示されるように、フレームレートが低速のセンサのリセット及び選択信号は、より低速のフレームレート及びピクセルビニングが組み合わされるように、図９Ａに関して説明されるように各行に対して生成される。あるいはまた、立体画像センサが使用される場合に、一態様では、両方の画像センサは、同じフレームレート、例えば通常のフレームレートでフレームを取り込むが、画像センサの一方は、ピクセルビニングを使用する。そのため、フレーム時間間隔毎に、完全な空間解像度のカラーフレームが、ノイズレベルの低い単色フレームとともに取り込まれる。両方のフレームには同じシーンが含まれており、２つのフレームの間の空間的な関係が既知である。

可視光カラーフィルタアレイ及び代替光フィルタアレイによる複数ピクセルビニング
他の態様では、新規のフレームタイマ及び４方向共有ピクセル・セルを含むＣＭＯＳ画像センサ上の可視光カラーフィルタ及び代替光（ハイパースペクトル又は他の波長帯域）フィルタのインターリーブアレイが使用される。

本明細書では、代替光フィルタは、可視光以外をフィルタリングするフィルタを指す。代替光フィルタは、複数の個別の代替光フィルタを含み、各代替光フィルタは、１つ又は複数の画像センサピクセルを覆うように構成され、典型的に、複数の画像センサピクセルを覆うように構成される。個々の代替光フィルタは、代替光フィルタのピクセルと呼ばれることもある。同様に、可視光カラーフィルタアレイは、複数の異なる個別の可視光カラーフィルタを含む。

有機染料を使用する可視カラーフィルタアレイ、例えばベイヤーカラーフィルタアレイは、よく知られており、小さい（＜２μｍ）ピクセルに適用することができる。他の波長、波長の狭い帯域、又は光の偏光を選択できる他のフィルタ技術もよく知られているが、これらの代替フィルタに必要な製造プロセスのため、画像センサのピクセルサイズに匹敵するフィルタピクセルサイズを生成できないため、現在、典型的な画像センサに見られる小さなピクセル構造には適用できない。典型的に、代替フィルタのピクセルサイズは、画像センサのピクセルサイズの倍数である。

内視鏡で使用される画像センサのこの問題を克服するために、単一の画像センサを使用して、図９Ｂに示されるようなフィルタ構造を用いて、従来のカラー画像と他の波長帯域の画像との両方を取り込む。代替光フィルタのより大きなピクセルサイズを補償するために、単一ピクセルの赤－緑－青（ＲＧＢ）フィルタは、個々の代替光フィルタのアレイとインターリーブされ、この例では、個々の代替光フィルタは、画像センサの２×２ピクセル・セルを覆う。

４方向共有ピクセル・セルを有する画像センサの特定の構造、フィルタアレイのマッチング構成（配置）、及びセンサのフレームタイマにおける特定のタイミングシーケンスの使用により、画像センサレイのＲＧＢピクセルのノイズ又はフレームレートを犠牲にすることなく、代替フィルタ信号のノイズの利点を得ることができる。この操作では、４方向共有ピクセル接続を利用する。図８Ａに関して上で述べたように、４方向共有ピクセル・セルは、４つのピクセルのグループの間で単一のフローティング拡散電荷蓄積ノードを共有する。

フローティング拡散電荷蓄積ノードＳＨＡＲＥＤは、共有列ドライバＳＨＡＲＥＤと呼ばれることもあり、リセットラインＲＥＳＥＴをパルシング（pulsing）することによってリセットすることができ、選択ラインＳＥＬＥＣＴをパルシングすることによってバッファリングして列出力ラインに接続することができる。フローティング拡散電荷蓄積ノードＳＨＡＲＥＤは、１つ又は複数の対応する送信ラインをパルシングすることにより、周囲の４つのピクセルのいずれか又は全てに接続することもできる。

４方向共有ピクセル・セルが、周囲の４つのピクセルのいずれかをフローティング拡散電荷蓄積ノードＳＨＡＲＥＤに（そのため、リセット及び／又は出力に）接続する柔軟性を有するので、接続は、フレームタイマ８２５Ｂからのパルスを使用する送信ライン上のピクセルで行うことができ、それによって、１つのピクセル行に接続された各送信ラインがパルスされるときに、フローティング拡散電荷蓄積ノードＳＨＡＲＥＤに接続された行のピクセルがパターンで接続されるようにする。
ＴＸ＿１： １ － － １ １ － － １ １ － － … － － １
ＴＸ＿２： － ２ ２ － － ２ ２ － － ２ ２ … ２ ２ －
ここで、ＴＸ＿１は、複数の４方向共有ピクセル・セルの一方の行への送信ラインを指し、ＴＸ＿２は、複数の４方向共有ピクセル・セルの他方の行への送信ラインを指す。こうして、図８Ｂに示されるように、フィルタは、次に、千鳥状パターンで配置され、それによって、ベイヤーアレイ内の４つの色は、２つの異なるピクセル共有セルの間で分割される。各行の２つのカラーピクセルは、異なるフローティング拡散電荷蓄積ノードＳＨＡＲＥＤに接続されるため、適切なタイミングシーケンスを使用して、２つのカラーピクセルを同時に読み取ることができる。

２つの異なるピクセル共有セルの間でのベイヤーアレイの４つのカラーの分割は、代替フィルタピクセルも分割することを強制するが、列に接続された２つのピクセルの電荷は、余分なノイズを追加することなく、読み出し中にフローティング拡散電荷蓄積ノードＳＨＡＲＥＤにおいて組み合わせることができる。単一のフィルタ位置に対応する列のペアは、（信号がデジタル化される前に）列増幅器の出力で電圧として組み合わせることができる。最終的な結果は、アレイ内の他のピクセルの空間的又は時間的解像度を失うことなく、代替フィルタピクセルの読み出しを低ノイズにする。そのため、この例では、ハイパースペクトルフィルタアレイを構成する個々のハイパースペクトルフィルタは、カラーアレイフィルタの個々の部分に対して千鳥状にされる（ずらされる）ため、１つの行が読み取られると、ハイパースペクトルピクセルの２行分の電荷をビニングできるが、カラーピクセルは、個別に読み取ることができず、ビニングされない。

上記の電荷領域の選択的ピクセルビニングに加えて、個々の代替光フィルタを含むピクセルに向かう送信ラインＴＸ＿ｘの特定のリセット及び読み取りシーケンスを省略する、送信ラインＴＸ＿ｘの同様のパルスシーケンスによって、露光時間を選択的に延長することも可能である。

こうして、図８Ｂは、新規のフレームタイマ８２５Ｂ及び４方向共有ピクセル・セルを含むＣＭＯＳ画像センサ上のベイヤーカラーフィルタアレイ及び代替光フィルタアレイ、例えばハイパースペクトルフィルタアレイの代表的な部分の図である。この例では、フレームタイマ８２５Ｂは、図９Ｂに示されるパルスシーケンスを生成するように構成される。

図８Ｂは、ベイヤーカラーフィルタアレイ及び代替光フィルタアレイを含む画像センサ８２１Ｂとフレームタイマ８２５Ｂとを有する画像取込みユニットの一部の例である。画像センサ８２１Ｂ及びフレームタイマ８２５Ｂもまた、画像センサ３２１Ｌ及びフレームタイマ３２５Ｌ、画像センサ３２１Ｒ及びフレームタイマ３２５Ｒ、又は画像センサ３２１及びフレームタイマ３２５の例である。

画像センサ８２１Ｂ内の各位置には、複数のピクセルが含まれる。図８Ｂでは、６つの位置（０，０）、（０，１）、（０，２）、（１，０）、（１，１）、（１，２）のみが示され、ここで、各位置には、共有列ラインに接続された４つのピクセルが含まれており、これは４方向共有ピクセル・セルである。図示していない画像センサ８２１Ｂの他の位置は、対応する方法で配置される。

この例では、４方向共有ピクセル・セル内のいくつかのピクセルは、ベイヤーカラーフィルタアレイのフィルタによって覆われる一方、４方向共有ピクセル・セル内の他のピクセルは、代替光フィルタアレイのフィルタによって覆われる。上述したように、ベイヤーカラーフィルタアレイの赤色フィルタＲによって覆われるピクセルは、赤色ピクセルＲと呼ばれる。ベイヤーカラーフィルタアレイの第１の緑色フィルタＧｒによって覆われるピクセルは、第１の緑色ピクセルＧｒと呼ばれる。ベイヤーカラーフィルタアレイの第２の緑色フィルタＧｂによって覆われるピクセルは、第２の緑色ピクセルＧｂと呼ばれる。ベイヤーカラーフィルタアレイの青色フィルタＢで覆われるピクセルは、青色ピクセルＢと呼ばれる。

代替光フィルタアレイの個別の代替光フィルタによって覆われるピクセルのグループ内のピクセルは、同じ参照符号Ｐｊによって表され、ここで、ｊは整数であり、代替光フィルタ処理ピクセル（alternative light filtered pixels：代替光フィルタによってフィルタ処理されたピクセル）と呼ばれる。上に示したように、この例では、個々の代替光フィルタは、画像センサ８２１Ｂの２×２ピクセル・セルを占めるが、ピクセルＰｊは、隣接する４方向共有ピクセル・セルの間で分割される。こうして、画像センサ８２１Ｂでは、位置（０，０）、（０，１）、（０，２）、（１，０）、（１，１）、（１，２）の各４方向共有ピクセル・セルは、複数の可視光カラーフィルタ処理ピクセル（visible light color filtered pixels）及び複数の代替光フィルタ処理ピクセルを含む。

特に、位置（０，０）の４方向共有ピクセル・セルは、赤色ピクセルＲ、第１の緑色ピクセルＧｒ、及び２つの代替光フィルタ処理ピクセルＰ１、Ｐ１を含む。位置（０，１）の４方向共有ピクセル・セルは、青色ピクセルＢ、第２の緑色ピクセルＧｂ、及び２つの代替光フィルタ処理ピクセルＰ１、Ｐ１を含む。こうして、上述したように、４つのベイヤーフィルタ処理ピクセル、赤ピクセルＲ、第１の緑ピクセルＧｒ、第２の緑ピクセルＧｂ、及び青ピクセルＢは、２つの隣接する４方向共有ピクセル・セルの間で分割される。同様に、単一の代替光フィルタアレイピクセルによって覆われる２つのピクセルＰ１、Ｐ１は、２つの隣接する４方向共有ピクセル・セルのそれぞれにある。

画像センサ８２１Ｂの各行ドライバは、複数のピクセル行に接続される。第１のカラー送信ラインＣＯＬＯＲ＿Ｔｘ０は、行ドライバ０を、画像センサ８２１Ｂの第１行（行０）の各青色ピクセルＢ及び各第１の緑ピクセルＧｒに接続する。第１の代替フィルタ送信ラインＨＹＰ＿Ｔｘ０は、行ドライバ０を第１行の各代替光フィルタ処理ピクセルに接続する。第２のカラー送信ラインＣＯＬＯＲ＿Ｔｘ１は、行ドライバ０を、画像センサ８２１Ｂの第２行（行１）の各赤色ピクセルＲ及び各第２の緑ピクセルＧｂに接続する。第２の代替フィルタ送信ラインＨＹＰ＿Ｔｘ１は、行ドライバ０を第２行の各代替光フィルタ処理ピクセルに接続する。

第３のカラー送信ラインＣＯＬＯＲ＿Ｔｘ２は、行ドライバ１を、画像センサ８２１Ｂの第３行（行２）の各青色ピクセルＢ及び各第１の緑ピクセルＧｒに接続する。第３の代替フィルタ送信ラインＨＹＰ＿Ｔｘ２は、行ドライバ１を第３行の各代替光フィルタ処理ピクセルに接続する。第４のカラー送信ラインＣＯＬＯＲ＿Ｔｘ３は、行ドライバ１を、画像センサ８２１Ｂの第４行（行３）の各赤色ピクセルＲ及び各第２の緑ピクセルＧｂに接続する。第４の代替フィルタ送信ラインＨＹＰ＿Ｔｘ３は、行ドライバ１を第４行の各代替光フィルタ処理ピクセルに接続する。行ドライバ０及び１をピクセル行に接続するライン配置は、画像センサ８２１Ｂの列の下で繰り返される。

こうして、送信ラインは、上述したように、適切なパルスを提供するフレーム時間８２５Ｂによるパターンで、隣接するピクセル行のピクセルに接続される。すなわち、
ＣＯＬＯＲ＿Ｔｘ０ １ － － １ １ － － １ １ － － … － － １
ＨＹＰ＿Ｔｘ０ － ２ ２ － － ２ ２ － － ２ ２ … ２ ２ －
ＣＯＬＯＲ＿Ｔｘ１ １ － － １ １ － － １ １ － － … － － １
ＨＹＰ＿Ｔｘ１ － ２ ２ － － ２ ２ － － ２ ２ … ２ ２ －
ＣＯＬＯＲ＿Ｔｘ２ － ２ ２ － － ２ ２ － － ２ ２ … ２ ２ －
ＨＹＰ＿Ｔｘ２ １ － － １ １ － － １ １ － － … － － １
ＣＯＬＯＲ＿Ｔｘ３ － ２ ２ － － ２ ２ － － ２ ２ … ２ ２ －
ＨＹＰ＿Ｔｘ３ １ － － １ １ － － １ １ － － … － － １である。

第１のリセットラインＲＥＳＥＴ＿０１は、第１及び第２のピクセル行の各位置で、行ドライバ０を共有列ドライバＳＨＡＲＥＤに接続する。第１の選択ラインＳＥＬＥＣＴ＿０１は、第１及び第２のピクセル行の各位置で、行ドライバ０を共有列ドライバＳＨＡＲＥＤに接続する。上で説明したように、一態様では、各共有列ドライバＳＨＡＲＥＤは、単一のフローティング拡散電荷蓄積ノードである。

第２のリセットラインＲＥＳＥＴは、第３及び第４のピクセル行の各位置で、行ドライバ１を共有列ドライバＳＨＡＲＥＤに接続する。第２の選択ラインＳＥＬＥＣＴは、第３及び第４のピクセル行の各位置で、行ドライバ１を共有列ドライバＳＨＡＲＥＤに接続する。

フレームタイマ８２５Ｂは、複数のラインによって画像センサ８２１Ａの各行ドライバに接続される。この例では、複数のラインは２１本のラインを含む。

２１本のラインのうちの１０本のラインは、行アドレスラインＲＯＷ＿ＡＤＤＲ＜９，０＞である。行アドレスラインＲＯＷ＿ＡＤＤＲ＜９，０＞は、フレームタイマ８２５Ｂによってアクセスされている行のアドレスを伝送する。

２１本のラインのうちの３本のラインは、行選択ラインＲＯＷ＿ＳＥＬＥＣＴ、リセットセットラインＲＳＴ＿ＳＥＴ、及びリセットクリアラインＲＳＴ＿ＣＬＲである。行選択ラインＲＯＷ＿ＳＥＬＥＣＴ上のアクティブ信号により、行アドレスラインＲＯＷ＿ＡＤＤＲ＜９，０＞のアドレスによってアドレス指定された行ドライバに、選択ライン上でアクティブ信号を駆動させる。リセットセットラインＲＳＴ＿ＳＥＴ上のアクティブ信号により、行アドレスラインＲＯＷ＿ＡＤＤＲ＜９，０＞のアドレスによってアドレス指定された行ドライバに、リセットライン上でアクティブ信号を駆動させる。

リセットクリアラインＲＳＴ＿ＣＬＲ上のアクティブ信号により、行アドレスラインＲＯＷ＿ＡＤＤＲ＜９，０＞のアドレスによってアドレス指定された行ドライバに、リセットライン上で非アクティブ信号を駆動させる。

２１本のラインのうちの４本のラインは送信セットラインＴＸ＿ＳＥＴ＜４，１＞であり、２１本のラインのうちの別の４本のラインは送信クリアラインＴＸ＿ＣＬＲ＜４，１＞である。送信セットラインＴＸ＿ＳＥＴ＜４，１＞のそれぞれは、行ドライバを介して、アドレス指定された行ドライバに接続された第１の送信ライン、第２の送信ライン、第３の送信ライン、及び第４の送信ラインの異なる１つに結合される。

送信セットラインＴＸ＿ＳＥＴ（１）上のアクティブ信号により、行アドレスラインＲＯＷ＿ＡＤＤＲ＜９，０＞のアドレスによってアドレス指定された行ドライバに、第１の送信ライン上でアクティブ信号を駆動させ、他の送信セットラインについても同様に駆動させる。送信クリアラインＴＸ＿ＣＬＲ（１）上のアクティブ信号により、行アドレスラインＲＯＷ＿ＡＤＤＲ＜９，０＞のアドレスによってアドレス指定された行ドライバに、第１の送信ライン上で非アクティブ信号を駆動させ、他の送信ラインについても同様に駆動させる。

こうして、画像センサ８２１Ｂでは、図８Ａに示されるように、対になった送信ラインの各行のピクセルへの通常の接続が並べ替えられるので、同様のフィルタタイプ（通常の可視光カラーフィルタアレイ又は代替光フィルタアレイ）のピクセルは、各行の個別の列ドライバ及び読み出し回路に接続される。この接続により、通常の光フィルタアレイと代替光フィルタアレイの別々のタイミング制御が得られる。図９Ｂは、画像センサ８２１Ｂの動作を示すタイミング図である。

フレームタイマ８２５Ｂからの図９Ｂに示される例示的なパルスシーケンスは、ピクセル行０及び１上のピクセルのリセットと、それに続くそれらのピクセルの読み出しを示す。ピクセル行０及び１は、行ドライバ０に接続された行である。送信パルスがリセットパルスと一致する場合に、アクティブ送信パルスによって、フローティング拡散電荷蓄積ノードＳＨＡＲＥＤと、フローティング拡散電荷蓄積ノードＳＨＡＲＥＤに接続されたフォトダイオードとの両方がリセットされる。リセットパルスが単独で発生すると、リセットパルスは、フローティング拡散電荷蓄積ノードＳＨＡＲＥＤのみをリセットし、これは、相関ダブルサンプリング（CDS）が読み出しノイズを低減するために必要である。

図９Ｂの例示的なパルスシーケンス：
１. 行０のカラーピクセルをリセットする。
２. 行１のカラーピクセルをリセットする。
３. 行０及び行１の代替フィルタピクセルを一緒にリセットする。
４. 後で、行０のカラーピクセルを読み取る。
５. 行１のカラーピクセルを読み取る。
６. 行０及び行１の代替フィルタピクセルを読み取り、一緒にビニングする。
他の露光は、リセットシーケンスと読取りシーケンスとの間の遅延を調整し、いくつかのピクセルタイプのリセット／読取りシーケンスを選択的に省略することで取得できる。

こうして、図８Ｂ及び図９Ｂは、フレームタイマに結合された画像センサを含む画像取込み装置の例示である。画像センサは、複数のピクセル行、可視光カラーフィルタアレイ、及び代替光フィルタアレイを含む。複数のピクセル行は、複数のピクセル・セルを含む。例えば、図８Ｂの位置（０，０）、（０，１）、（０，２）、（１，０）、（１，１）、及び（１，２）に複数のピクセル・セルがある。複数のピクセル・セルのそれぞれが、複数のピクセル（図８Ｂの例では４つのピクセルである）を含む。

可視光カラーフィルタアレイは、複数の異なる可視光カラーフィルタを含み、これらは、図８Ａにおいて、赤、２つの緑、及び青の可視光カラーフィルタによって表される。代替光フィルタアレイは、複数の個別の代替光フィルタを含む。複数の個別の代替光フィルタのうちの１つの個別の代替光フィルタは、複数のピクセル・セルのうちの第１のピクセル・セル内の複数のピクセルのうちの第１のピクセルのセットと、複数のピクセル・セルのうちの第２のピクセル・セル内の複数のピクセルのうちの第２のピクセルのセットとの両方を覆う。第１のピクセル・セルは第２のピクセル・セルに隣接している。個々の代替光フィルタの例については、位置（０，０）、（０，１）のピクセル・セルを参照されたい。複数の異なる個別の可視光カラーフィルタのそれぞれは、第１及び第２のピクセルのセットの異なるピクセルを覆う。複数の個別の可視光カラーフィルタのうちの個々の可視光カラーフィルタによって覆われるピクセルは、個々の代替光フィルタによって覆われるピクセルとは異なる。

フレームタイマは、画像センサに結合され、画像取込みタイミング信号を画像センサに提供する。例えば、フレームタイマは、複数の異なる個別の可視光カラーフィルタのうちの１つによって覆われる第１及び第２のピクセル・セル内のピクセルを同時にリセットするように構成される。

上に示したように、データのビニング、及び可視光カラーフィルタアレイと代替光フィルタアレイとの組合せの使用も、共有ピクセル・セルを用いて他の方法で実施することができる。例えば、図８Ｃは、新規のフレームタイマ８２５Ｃ及び４方向共有ピクセル・セルを含むＣＭＯＳ画像センサ上のベイヤーカラーフィルタアレイ及び代替光フィルタアレイ、例えばハイパースペクトルフィルタアレイの代表的な部分の図である。前述のように、ベイヤーカラーフィルタアレイは可視光カラーフィルタアレイの一例であり、ベイヤーカラーフィルタアレイの使用は、可視光カラーフィルタアレイを説明したカラーフィルタの特定の組合せに限定することを意図するものではない。また、図８Ｃは、ベイヤーカラーフィルタアレイ及び代替光フィルタアレイを含む画像センサ８２１Ｃとフレームタイマ８２５Ｃとを有する画像取込みユニットの部分の例である。画像センサ８２１Ｃ及びフレームタイマ８２５Ｃもまた、画像センサ３２１Ｌ及びフレームタイマ３２５Ｌ、画像センサ３２１Ｒ及びフレームタイマ３２５Ｒ、又は画像センサ３２１及びフレームタイマ３２５の例である。

画像センサ８２１Ｃ内の各位置には、複数のピクセルが含まれる。図８Ｃでは、６つの位置（０，０）、（０，１）、（０，２）、（１，０）、（１，１）、（１，２）のみが示され、ここで、各位置には、共有列ラインに接続された４つのピクセルが含まれており、これは４方向共有ピクセル・セルである。図示していない画像センサ８２１Ｃの他の位置は、対応する方法で配置される。

この例では、行のペアにおいて、交互の４方向共有ピクセル・セルは、可視光カラーフィルタアレイの一部によって覆われ、交互の４方向共有ピクセル・セルは、代替光フィルタアレイの個別の代替光フィルタによって覆われる。上述したように、可視光カラーフィルタアレイがベイヤーカラーフィルタアレイである場合に、４方向共有ピクセル・セル内のピクセルは、ベイヤーカラーフィルタアレイの一部によって覆われる。具体的には、ベイヤーカラーフィルタアレイの赤色フィルタＲで覆われるピクセルは、赤色ピクセルＲと呼ばれる。ベイヤーカラーフィルタアレイの第１の緑色フィルタＧｒで覆われるピクセルは、第１の緑色ピクセルＧｒと呼ばれる。ベイヤーカラーフィルタアレイの第２の緑色フィルタＧｂによって覆われるピクセルは、第２の緑色ピクセルＧｂと呼ばれる。ベイヤーカラーフィルタアレイの青色フィルタＢで覆われるピクセルは、青色ピクセルＢと呼ばれる。４方向共有ピクセル・セル内の全てのピクセルが可視光カラーフィルタアレイの一部によって覆われる場合に、ピクセルは、可視光カラーフィルタ処理ピクセル・セルと呼ばれる。

代替光フィルタアレイの個別の代替光フィルタセルの一部によって覆われる４方向共有ピクセル・セル内のピクセルは、同じ参照符号Ｐｊによって表され、ここで、ｊは整数であり、代替光フィルタ処理ピクセル・セルと呼ばれる。上に示したように、この例では、個々の代替光フィルタは、画像センサ８２１Ｂの４方向共有ピクセル・セルの全てのピクセルを覆っている。こうして、この例では、位置（０，０）、（１，１）、（０，２）には可視光カラーフィルタ処理ピクセル・セルがある一方、位置（０，１）、（１，０）、及び（１，２）には代替光フィルタ処理ピクセル・セルがある。

画像センサ８２１Ｃの各行ドライバは、複数のピクセル行に接続される。以前の例では、各行ドライバには、ピクセル行に接続される２つの送信ラインがあった。この例では、各行ドライバには、ピクセル行に接続される４本の送信ラインがある。そのため、この例では、以前の例の行ドライバ０及び行ドライバ１が単一の行ドライバ０／１等に結合される。

第１の送信ラインＴＸＡ＿０は、行ドライバ０／１を、画像センサ８２１Ｃの第１行（行０）の各第１の緑色ピクセルＧｒに、例えば第１のピクセルから始まる第１行の４つおきのピクセルに接続する。第２の送信ラインＴＸＢ＿０は、行ドライバ０／１を、画像センサ８２１Ｃの第１行の各青色ピクセルＢに、例えば第２のピクセルから始まる第１行の４つおきのピクセルに接続する。第３の送信ラインＴＸＣ＿０は、行ドライバ０／１を、画像センサ８２１Ｃの第１行の各代替光フィルタ処理ピクセル・セルの各第１の代替光フィルタ処理ピクセルＰｘ－１（ここで、ｘは図８Ｃにおいて１～３に等しい）に、例えば第３のピクセルから始まる第１行の４つおきのピクセルに接続する。第４の送信ラインＴＸＤ＿０は、行ドライバ０／１を、画像センサ８２１Ｃの第１行の各代替光フィルタ処理ピクセル・セルの各第２の代替光フィルタ処理ピクセルＰｘ－２に、例えば第４のピクセルから始まる第１行の４つおきのピクセルに接続する。

第５の送信ラインＴＸＡ＿１は、行ドライバ０／１を、画像センサ８２１Ｃの第２行（行１）の各赤色ピクセルＲに、例えば第１のピクセルから始まる第２行の４つおきのピクセルに接続する。第６の送信ラインＴＸＢ＿１は、行ドライバ０／１を、画像センサ８２１Ｃの第２行の各第２の緑色ピクセルＧｂに、例えば第２のピクセルから始まる第２行の４つおきのピクセルに接続する。第７の送信ラインＴＸＣ＿１は、行ドライバ０／１を、画像センサ８２１Ｃの第２行の各代替光フィルタ処理ピクセル・セルの各第３の代替光フィルタ処理ピクセルＰｘ－３（ここで、ｘは図８Ｃにおいて１～３に等しい）に、例えば第３のピクセルから始まる第２行の４つおきのピクセルに接続する。第８の送信ラインＴＸＤ＿１は、行ドライバ０／１を、画像センサ８２１Ｃの第２行の各代替光フィルタ処理ピクセル・セルの各第４の代替光フィルタ処理ピクセルＰｘ－４に、例えば第４のピクセルから始まる第２行の４つおきのピクセルに接続する。

第１のリセットラインＲＥＳＥＴ＿０１は、第１及び第２のピクセル行の各位置で、行ドライバ０／１を共有列ドライバＳＨＡＲＥＤに接続する。第１の選択ラインＳＥＬＥＣＴ＿０１は、第１及び第２のピクセル行の各位置で、行ドライバ０／１を共有列ドライバＳＨＡＲＥＤに接続する。上で説明したように、一態様では、各共有列ドライバＳＨＡＲＥＤは、単一のフローティング拡散電荷蓄積ノードである。

行ドライバ２／３に関して、第１の送信ラインＴＸＡ＿２は、行ドライバ２／３を、画像センサ８２１Ｃの第３行（行２）の各第１の代替光フィルタ処理ピクセルＰｘ－１（ここで、ｘは図８Ｃにおいて１～３に等しい）に、例えば第１のピクセルから始まる第３行の４つおきのピクセルに接続する。第２の送信ラインＴＸＢ＿２は、行ドライバ２／３を、画像センサ８２１Ｃの第３行の各代替光フィルタ処理ピクセル・セルの各第２の代替光フィルタ処理ピクセルＰｘ－２に、例えば第２のピクセルから始まる第３行の４つおきのピクセルに接続する。第３の送信ラインＴＸＣ＿２は、行ドライバ２／３を、画像センサ８２１Ｃの第３行の各可視光カラーフィルタ処理ピクセル・セルの各第１の緑色ピクセルＧｒに、例えば第３のピクセルから始まる第３行の４つおきのピクセルに接続する。第４の送信ラインＴＸＤ＿２は、行ドライバ２／３を、画像センサ８２１Ｃの第３行の各可視光色フィルタ処理ピクセル・セルの各青色ピクセルＢに、例えば第４のピクセルか始まる第３行の４つおきのピクセルに接続する。

行ドライバ２／３に関して継続して、第５の送信ラインＴＸＡ＿３は、行ドライバ２／３を、画像センサ８２１Ｃの第４行（行３）の各第３の代替光フィルタ処理ピクセルＰｘ－３（ここで、ｘは図８Ｃにおいて１～３に等しい）に、例えば第１のピクセルから始まる第４行の４つおきのピクセルに接続する。第６の送信ラインＴＸＢ＿３は、行ドライバ２／３を、画像センサ８２１Ｃの第４行の各代替光フィルタ処理ピクセル・セルの各第４の代替光フィルタ処理ピクセルＰｘ－４に、例えば第２のピクセルから始まる第４行の４つおきのピクセルに接続する。第７の送信ラインＴＸＣ＿３は、行ドライバ２／３を、画像センサ８２１Ｃの第４行の各可視光色フィルタ処理ピクセル・セルの各赤色ピクセルＲに、例えば第３のピクセルから始まる第４行の４つおきのピクセルに接続する。第８の送信ラインＴＸＤ＿３は、行ドライバ２／３を、画像センサ８２１Ｃの第４行の各可視光カラーフィルタ処理ピクセル・セルの各第２の緑色ピクセルＧｂに、例えば第４のピクセルから始まる第４行の４つおきのピクセルに接続する。

第２のリセットラインＲＥＳＥＴ＿２３は、第３及び第４のピクセル行の各位置で、行ドライバ２／３を共有列ドライバＳＨＡＲＥＤに接続する。第２の選択ラインＳＥＬＥＣＴ＿２３は、第３及び第４のピクセル行の各位置で、行ドライバ２／３を共有列ドライバに接続する。行ドライバ０／１及び２／３の構成は列の下で繰り返されるため、追加の行ドライバは図８Ｃに示していない。

フレームタイマ８２５Ｃは、複数のラインによって画像センサ８２１Ａの各行ドライバに接続される。この例では、複数のラインは２１本のラインを含む。

２１本のラインのうちの１０本のラインは、行アドレスラインＲＯＷ＿ＡＤＤＲ＜９，０＞である。行アドレスラインＲＯＷ＿ＡＤＤＲ＜９，０＞は、フレームタイマ８２５Ｃによってアクセスされている行のアドレスを伝送する。

２１本のラインのうちの３本のラインは、行選択ラインＲＯＷ＿ＳＥＬＥＣＴ、リセットセットラインＲＳＴ＿ＳＥＴ、及びリセットクリアラインＲＳＴ＿ＣＬＲである。行選択ラインＲＯＷ＿ＳＥＬＥＣＴ上のアクティブ信号により、行アドレスラインＲＯＷ＿ＡＤＤＲ＜９，０＞のアドレスによってアドレス指定された行ドライバに、選択ライン上でアクティブ信号を駆動させる。リセットセットラインＲＳＴ＿ＳＥＴ上のアクティブ信号により、行アドレスラインＲＯＷ＿ＡＤＤＲ＜９，０＞のアドレスによってアドレス指定された行ドライバに、リセットライン上でアクティブ信号を駆動させる。

リセットクリアラインＲＳＴ＿ＣＬＲ上のアクティブ信号により、行アドレスラインＲＯＷ＿ＡＤＤＲ＜９，０＞のアドレスによってアドレス指定された行ドライバに、リセットライン上の非アクティブ信号を駆動させる。

２１本のラインのうちの４本のラインは送信セットラインＴＸ＿ＳＥＴ＜４，１＞であり、２１本のラインのうちの別の４本のラインは送信クリアラインＴＸ＿ＣＬＲ＜４，１＞である。送信セットラインＴＸ＿ＳＥＴ＜４，１＞のそれぞれは、行ドライバを介して、アドレス指定された行ドライバに接続された第１の送信ライン、第２の送信ライン、第３の送信ライン、及び第４の送信ラインの異なる１つに結合される。

送信セットラインＴＸ＿ＳＥＴ（１）のアクティブ信号により、行アドレスラインＲＯＷ＿ＡＤＤＲ＜９，０＞のアドレスによってアドレス指定された行ドライバに、第１の送信ライン上でアクティブ信号を駆動させ、他の送信セットラインについても同様に駆動させる。送信クリアラインＴＸ＿ＣＬＲ（１）のアクティブ信号により、行アドレスラインＲＯＷ＿ＡＤＤＲ＜９，０＞のアドレスによってアドレス指定された行ドライバに、第１の送信ライン上で非アクティブ信号を駆動させ、他の送信ラインについても同様に駆動させる。

画像センサ８２１Ｃでは、電荷領域で代替光フィルタ処理ピクセル２×２をビニングし（ノイズを追加することなく信号を４倍提供する）、全ての可視光カラーフィルタ処理ピクセルを完全な解像度（ビニングされていない）にサンプリングするために４つの透過ゲート段階が必要である。図８Ｃに示されるように、これを達成するために、ピクセルアレイを通る各送信ゲートに対して重複した行ラインを実行する必要がある。重複する行ラインを区別しやすくするために、図８Ｃでは、行にＴＸＡ＿＜ｒｏｗ＃＞及びＴＸＢ＿＜ｒｏｗ＃＞のラベルが付けられる。上述したように、段階Ａ（ラベルＴＸＡ＿＜ｒｏｗ＃＞で示される）は、第１のピクセルから始まる行の４つおきのピクセルに進み、段階Ｂ（ラベルＴＸＢ＿＜ｒｏｗ＃＞で示される）は、第２のピクセルから始まる行の４つおきのピクセルに進む等する。図８Ａの４方向共有ピクセル・セルでは、２つの段階のみがあり、各段階の行ラインは代替ピクセルに接続している。

代替光フィルタ処理ピクセル・セルが、図８Ｃに示されるように、カラーピクセルの２列セット、ハイパースペクトルピクセルの２列セット、カラーピクセルの２列セット等として配置される代わりに、可視光カラーフィルタ処理セルの中で対角線上にインターリーブされる場合に、図８Ｂに示されるように、ビニングされた場合のパルスシーケンスは、奇数行のペアと偶数行のペアで異なる。こうして、図９Ｃ～図９Ｆの異なるタイミング図が提示され、１つはビニングされていない場合（図９Ｃ及び図９Ｅ）、及び１つは色情報がフル解像度であるがハイパースペクトルが２×２にビニングされる場合（図９Ｄ及び図９Ｆ）である。図９Ｃ及び図９Ｄは、偶数行ペア（０／１、４／５、８／９、…）のタイミングシーケンスを示しており、図９Ｅ及び図９Ｆは、奇数行ペア（２／３、６／７、１０／１１、…）のタイミングシーケンスを示している。ビニングされていない場合（図９Ｃ及び図９Ｅ）のパルスタイミングは、偶数行のペアと奇数行のペアで同じであるが、ビニングされた場合に（図９Ｄ及び図９Ｆ）、パルスタイミングは偶数行ペアと奇数行のペアで異なる。

ビニングされた場合に、４方向共有セル内の４つの代替光フィルタ処理ピクセル全てが共有列ラインに同時に接続され、カラーピクセルは、図９Ｄ及び図９Ｆのタイミング図に基づいてフル解像度で読み取られる。ビニングされない場合に、各ピクセルは個別に読み取られる。

図１０及び図１１は、デュアルフレームタイマ論理回路を含む図３の立体画像取込み装置及び上述した様々なタイミングシーケンスを使用して得ることができるいくつかの組合せを示している。上述したように、立体画像取込み装置は２つの画像センサを含み、各画像センサがフレームを取り込み、各フレームがシーンを含む。

第１に、通常の立体視シーン１００１は、各フレームタイマが、画像センサの列毎に同じ露光時間でローリングシャッターを実施するときに得られる。あるいはまた、左右のシーン１００２は、異なる露光時間を有してもよい。この態様では、図６に示されるように、一方のフレームタイマが、第１の露光時間でローリングシャッターを実施し、他方のフレームタイマは、第２の異なる露光時間でローリングシャッターを実施する。

複数ピクセルビニングでは、生成される２つのシーンのうちの１つは、モノクロシーン１００３である。ベイヤーカラーフィルタアレイを含む画像センサ用の１つのフレームタイマは、ローリングシャッターを使用し、画像センサの行の各位置に対して単一のピクセルを出力する。各位置は、複数のベイヤーピクセルを含む行である。例えば、図８Ａ及び図９Ａを参照されたい。

異なる露光時間及び複数のピクセルビニングを組み合わせて、異なる露光時間のシーンを生成することができ、シーンのうちの１つはモノクロシーン１１０４である。

図１０の例では、立体画像取込み装置が使用された。しかしながら、図１１に示されるように、上記のフレームタイマタイミングシーケンスの様々な組合せは、単一のフレームタイマ論理回路及び単一の画像センサを有する図７の画像取込み装置を用いて実施することもできる。第１に、フレームタイマが画像センサの行毎に同じ露光時間でローリングシャッターを実施するときに、通常のシーン１１０１が得られる。

複数ピクセルビニングでは、生成されるシーンはモノクロシーン１１０２である。ベイヤーカラーフィルタアレイを含む画像センサのフレームタイマは、ローリングシャッターを使用し、画像センサの行の各位置に対して単一のピクセルを出力する。各位置は、複数のベイヤーピクセルを含む行である。例えば、図８Ａ及び図９Ａを参照されたい。

本明細書において、コンピュータプログラム製品は、本明細書で説明した方法のいずれか１つ又は任意の組合せに必要なコンピュータ可読コードを記憶するように構成された、又は方法のいずれか１つ又は任意の組合せのコンピュータ可読コードを記憶する媒体を含む。コンピュータプログラム製品の例としては、ＣＤ－ＲＯＭディスク、ＤＶＤディスク、フラッシュメモリ、ＲＯＭカード、フロッピーディスク、磁気テープ、コンピュータハードドライブ、ネットワーク上のサーバ、及びコンピュータ可読プログラムコードを表すネットワーク経由で送信される信号がある。有形の非一時的なコンピュータプログラム製品は、本明細書で説明した方法のいずれか１つ又は任意の組合せに対するコンピュータ可読命令を記憶するように構成された媒体、又は方法のいずれか１つ又は任意の組合せに対するコンピュータ可読命令を記憶する媒体を含む。有形の非一時的なコンピュータプログラム製品は、ＣＤ－ＲＯＭディスク、ＤＶＤディスク、フラッシュメモリ、ＲＯＭカード、フロッピーディスク、磁気テープ、コンピュータハードドライブ、及び他の物理記憶媒体である。

本開示を考慮して、本明細書で説明した方法のいずれか１つ又は任意の組合せで使用される命令は、ユーザが関心のあるオペレーティングシステム及びコンピュータプログラミング言語を使用して、多種多様なコンピュータシステム構成で実現することができる。

本明細書で使用される場合に、「第１」、「第２」、「第３」等は、異なる構成要素又は要素を区別するために使用される形容詞である。こうして、「第１」、「第２」、及び「第３」は、構成要素又は要素の順序を意味すること、又は構成要素又は要素の総数を意味することを意図するものではない。

本発明の態様及び実施形態を説明する上記の説明及び添付の図面は、限定として解釈すべきではなく、特許請求の範囲は、保護される発明を規定する。この明細書及び特許請求の範囲の精神及び範囲から逸脱することなく、様々な機械的、組成的、構造的、電気的、及び操作上の変更を行うことができる。場合によっては、本発明を曖昧にすることを回避するために、周知の回路、構造、及び技法について詳細に示していないか、又は説明していない。

さらに、この明細書の用語は、本発明を限定することを意図するものではない。例えば、「の下（beneath）」、「より下（below）」、「下の（lower）」、「より上（above）」、「上の（upper）」、「基端（proximal）」、「先端（distal）」等の空間的に相対的な用語は、図に示されるように、別の要素又は特徴に対する１つの要素又は特徴の関係を説明するために使用できる。これらの空間的に相対的な用語は、図に示される位置及び向きに加えて、使用中又は動作中の装置の異なる位置（すなわち、配置）及び向き（すなわち、回転配置）を包含することを意図している。例えば、図の装置がひっくり返される場合に、他の要素又は特徴「より下」又は「の下」として記述される要素は、他の要素又は特徴「より上」又は「の上」になる。こうして、「より下」という例示的な用語は、上及び下の位置と向きとの両方を包含することができる。装置は、他の方法で向き合わせられ（９０度又は他の向きに回転され）、本明細書で使用される空間的に相対的な記述子がそれに応じて解釈され得る。同様に、様々な軸線に沿った、及びその周りの動きの説明には、装置の様々な特別な位置及び向きが含まれる。

単数形「１つの（a, an）」、及び「その（the）」は、文脈が別段の指示をしない限り、複数形も含むことを意図している。「備える、有する、含む（comprises, comprising）」、「含む、有する（includes）」等の用語は、記載された特徴、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ又は複数の他の特徴、ステップ、動作、要素、構成要素、及び／又はグループの存在又は追加を排除するものではない。結合されると説明した構成要素は、電気的又は機械的に直接結合される場合もあれば、１つ又は複数の中間構成要素を介して間接的に結合される場合もある。

全ての例及び例示的な参照は非限定的であり、特許請求の範囲を本明細書に記載の特定の実施態様及び実施形態並びにそれらの同等物に限定するために使用すべきではない。１つの見出しの下のテキストは相互参照したり、１つ又は複数の見出しの下のテキストに適用されたりする可能性があるため、見出しはフォーマットのみを目的としており、主題を制限するために使用すべきではない。最後に、本開示を考慮して、１つの態様又は実施形態に関連して説明した特定の特徴は、他の開示されたものに適用され得る。

以下に、出願当初の特許請求の範囲の内容を実施例として記載しておく。
［実施例１］
画像取込み装置であって、当該画像取込み装置は、
第１の複数のピクセル行を含む第１の画像センサと、
第２の複数のピクセル行を含む第２の画像センサと、
前記第１の画像センサに結合され、画像取込みタイミング信号を前記第１の画像センサに提供する第１のフレームタイマと、
前記第２の画像センサに結合され、画像取込みタイミング信号を前記第２の画像センサに提供する第２のフレームタイマと、を含み、
前記第１及び第２のフレームタイマは異なるフレームタイマである、
画像取込み装置。
［実施例２］
前記第１のフレームタイマは、前記第１の画像センサにおいてＮ個のフレームを順次取り込むための画像取込みタイミング信号を提供するように構成され、
前記第２のフレームタイマは、前記第１の画像センサにおいて順次取り込まれるＮ個のフレーム毎に、前記第２の画像センサにおいて１つのフレームを取り込むための画像取込みタイミング信号を提供するように構成される、実施例１に記載の画像取込み装置。
［実施例３］
前記第１のフレームタイマは、第１の露光時間に亘って、前記第１の複数のピクセル行の各行を露光するように構成され、
前記第２のフレームタイマは、第２の露光時間に亘って、前記第２の複数のピクセル行の各行を露光するように構成され、
前記第１の露光時間は前記第２の露光時間とは異なる、実施例１に記載の画像取込み装置。
［実施例４］
前記第１の画像センサはベイヤーカラーフィルタアレイを含み、前記第１の画像センサの前記第１の複数のピクセル行の各位置には、ベイヤーピクセルのセットが含まれており、前記第１のフレームタイマは、ベイヤーピクセルの各セットを１行に組み合わせて単一の出力ピクセルを形成するように構成される、実施例１に記載の画像取込み装置。
［実施例５］
前記第１のフレームタイマは、第１の露光時間に亘って、前記第１の複数のピクセル行の各行を露光するように構成され、
前記第２のフレームタイマは、第２の露光時間に亘って、前記第２の複数のピクセル行の各行を露光するように構成され、
前記第１の露光時間は前記第２の露光時間とは異なる、実施例４に記載の画像取込み装置。
［実施例６］
前記第１の複数のピクセル行には複数のピクセル・セルが含まれ、該複数のピクセル・セルのそれぞれが、複数のピクセルを含み、前記第１の画像センサは、
複数の異なる個別の可視光カラーフィルタを含む可視光カラーフィルタアレイと、
複数の個別の代替光フィルタを含む代替光フィルタアレイと、をさらに含み、前記複数の個別の代替光フィルタのうちの１つの個別の代替光フィルタが、前記複数のピクセル・セルのうちの第１のピクセル・セル内の複数のピクセルのうちの第１のピクセルのセットと、前記複数のピクセル・セルのうちの第２のピクセル・セル内の複数のピクセルのうちの第２のピクセルのセットとの両方を覆い、前記第１のピクセル・セルは前記第２のピクセル・セルに隣接しており、
前記複数の異なる個別の可視光カラーフィルタのそれぞれは、前記第１及び第２のピクセルのセット内の異なるピクセルを覆い、前記複数の異なる個別のカラーフィルタの個々の可視光カラーフィルタによって覆われる前記ピクセルは、前記個別の代替光フィルタによって覆われるピクセルとは異なる、実施例１に記載の画像取込み装置。
［実施例７］
前記第１のフレームタイマは、前記異なる個別の可視光カラーフィルタのうちの１つによって覆われる前記第１及び第２のピクセル・セル内のピクセルを同時にリセットするように構成される、実施例６に記載の画像取込み装置。
［実施例８］
前記第１のフレームタイマは、前記複数の異なる個別の可視光カラーフィルタのうちの１つによって覆われる前記第１のピクセル・セルの第１のピクセルと、前記複数の異なる個別の可視光カラーフィルタのうちの１つによって覆われる前記第２のピクセル・セルの第２のピクセルとを同時に読み取るように構成される、実施例６に記載の画像取込み装置。
［実施例９］
前記第１のフレームタイマは、前記複数のピクセル・セルのうちの第１のピクセル・セル内の前記複数のピクセルのうちの第１のピクセルのセット内の第１のピクセルと、前記複数のピクセルのうちの第２のピクセル・セル内の複数のピクセルのうちの第２のピクセルのセット内の第２のピクセルとを同時に読み取るように構成される、実施例６に記載の画像取込み装置。
［実施例１０］
前記画像取込み装置は、前記読み取った第１のピクセル及び前記読み取った第２のピクセルをビニングするように構成される、実施例９に記載の画像取込み装置。
［実施例１１］
前記第１の画像センサは、複数の代替光フィルタ処理ピクセル・セルとインターリーブされた複数の可視光カラーフィルタ処理セルをさらに含む、実施例１に記載の画像取込み装置。
［実施例１２］
画像取込み装置であって、当該画像取込み装置は、
複数のピクセル行と可視光カラーフィルタアレイとを含む画像センサであって、
前記可視光カラーフィルタアレイは複数の異なる個別の可視光カラーフィルタを含み、
前記複数のピクセル行は複数のピクセル・セルを含み、該複数のピクセル・セルのそれぞれが、複数のピクセルを含み、
ピクセル・セルの前記複数のピクセルの各ピクセルが、前記複数の異なる個別の可視光カラーフィルタのうちの異なるカラーフィルタによって覆われる、画像センサと、
該画像センサに結合され、画像取込みタイミング信号を前記画像センサに提供するフレームタイマであって、ピクセル・セルの前記複数のピクセルを組み合わせて単一の出力ピクセルを形成するように構成されるフレームタイマと、を含む、
画像取込み装置。
［実施例１３］
画像取込み装置であって、当該画像取込み装置は、
複数のピクセル行、可視光カラーフィルタアレイ、及び代替光フィルタアレイを含む画像センサを有しており、
前記複数のピクセル行には複数のピクセル・セルが含まれ、該複数のピクセル・セルのそれぞれが、複数のピクセルを含み、
前記可視光カラーフィルタアレイは複数の異なる個別の可視光カラーフィルタを含み、
前記代替光フィルタアレイは複数の個別の代替光フィルタを含み、前記複数の個別の代替光フィルタのうちの１つの個別の代替光フィルタは、前記複数のピクセル・セルのうちの第１のピクセル・セル内の複数のピクセルのうちの第１のピクセルのセットと、前記複数のピクセル・セルのうちの第２のピクセル・セル内の複数のピクセルのうちの第２のピクセルのセットとの両方を覆い、前記第１のピクセル・セルは前記第２のピクセル・セルに隣接しており、
前記複数の異なる個別の可視光カラーフィルタのそれぞれは、前記第１及び第２のピクセルのセット内の異なるピクセルを覆い、前記複数の個別の可視光カラーフィルタの個々の可視光カラーフィルタによって覆われる前記ピクセルは、前記個別の代替光フィルタによって覆われるピクセルとは異なる、
画像取込み装置。
［実施例１４］
前記画像センサに結合され、画像取込みタイミング信号を前記画像センサに提供するフレームタイマをさらに含む、実施例１３に記載の画像取込み装置。
［実施例１５］
前記フレームタイマは、前記複数の異なる個別の可視光カラーフィルタのうちの１つによって覆われる前記第１及び第２のピクセル・セル内のピクセルを同時にリセットするように構成される、実施例１４に記載の画像取込み装置。
［実施例１６］
前記フレームタイマは、前記複数の異なる個別の可視光カラーフィルタのうちの１つによって覆われる前記第１のピクセル・セルの第１のピクセルと、前記複数の異なる個別の可視光カラーフィルタのうちの１つによって覆われる前記第２のピクセル・セルの第２のピクセルとを同時に読み取るように構成される、実施例１４に記載の画像取込み装置。
［実施例１７］
前記フレームタイマは、前記複数のピクセル・セルのうちの第１のピクセル・セル内の前記複数のピクセルのうちの第１のピクセルのセット内の第１のピクセルと、前記複数のピクセル・セルのうちの第２のピクセル・セル内の複数のピクセルのうちの第２のピクセルのセット内の第２のピクセルとを同時に読み取るように構成される、実施例１４に記載の画像取込み装置。
［実施例１８］
前記画像取込み装置は、前記読み取った第１のピクセル及び前記読み取った第２のピクセルをビニングするように構成される、実施例１７に記載の画像取込み装置。
［実施例１９］
方法であって、当該方法は、
第１のフレームタイマからの信号を用いて、第１の露光時間に亘って、立体画像取込み装置の第１の画像センサの第１の複数のピクセル行の各行を露光するステップと、
第２のフレームタイマからの信号を用いて、第２の露光時間に亘って、前記立体画像取込み装置の第２の画像センサの第２の複数のピクセル行の各行を露光するステップと、を含み、
前記第１の露光時間は前記第２の露光時間とは異なる、
方法。
［実施例２０］
方法であって、当該方法は、
複数のピクセルを含む画像センサ内の位置から単一の出力ピクセルを出力するステップを含み、該出力するステップは、フレームタイマにより、信号を用いて複数のピクセルを前記位置で組み合わせて前記単一の出力ピクセルを形成するステップである、
方法。

Claims (15)

1. 画像取込み装置であって、当該画像取込み装置は、
   第１のピクセル・セルと、該第１のピクセル・セルに隣接する第２のピクセル・セルとを含む画像センサと、
   非可視光をフィルタ処理するように構成された複数の個別の代替光フィルタであって、該複数の個別の代替光フィルタのうちの１つの個別の代替光フィルタが、前記第１のピクセル・セルの第１のピクセルのセットと、前記第２のピクセル・セルの第２のピクセルのセットとの両方を覆い、該第２のピクセルのセットは前記第１のピクセルのセットに隣接しており、前記第１及び第２のピクセルのセットは少なくとも２つのピクセルを含む、前記複数の個別の代替光フィルタと、
   前記第１及び第２のピクセル・セルのピクセルを覆う複数の個別の可視光カラーフィルタであって、該個別の可視光カラーフィルタによって覆われる前記第１及び第２のピクセル・セルのピクセルは、前記個別の代替光フィルタによって覆われる前記第１及び第２のピクセルのセットとは異なる、前記複数の個別の可視光カラーフィルタと、を含む、
   画像取込み装置。
2. 前記第１のピクセル・セルは、第１の２×２ピクセルアレイに配置された第１のピクセル、第２のピクセル、第３のピクセル、及び第４のピクセルを含み、前記第１のピクセル・セルの前記第３及び第４のピクセルは、前記第１の２×２ピクセルアレイの最下行にあり、
   前記第２のピクセル・セルは、第２の２×２のピクセルアレイに配置された第１のピクセル、第２のピクセル、第３のピクセル、及び第４のピクセルを含み、前記第２のピクセル・セルの前記第１及び第２のピクセルは、前記第２の２×２のピクセルアレイの最上行にあり、
   前記１つの個別の代替光フィルタによって覆われる前記第１及び第２のピクセルのセットには、前記第１のピクセル・セルの前記第３及び第４のピクセルと、前記第２のピクセル・セルの前記第１及び第２のピクセルのみが含まれ、
   前記個別の可視光カラーフィルタによって覆われるピクセルには、前記第１のピクセル・セルの前記第１及び第２のピクセルと、前記第２のピクセル・セルの前記第３及び第４のピクセルのみが含まれる、請求項１に記載の画像取込み装置。
3. 前記個別の可視光カラーフィルタは、
   前記第１のピクセル・セルの前記第１のピクセルを覆う赤色カラーフィルタと、
   前記第１のピクセル・セルの前記第２のピクセルを覆う第１の緑色カラーフィルタと、
   前記第２のピクセル・セルの前記第３のピクセルを覆う第２の緑色カラーフィルタと、
   前記第２のピクセル・セルの前記第４のピクセルを覆う青色カラーフィルタと、を含む、請求項２に記載の画像取込み装置。
4. 前記画像センサに結合され、画像取込みタイミング信号を前記画像センサに提供して、該画像センサに、第１のフレームレートで第１の複数のフレームのピクセルデータを取り込ませるようにする第１のフレームタイマと、
   追加の画像センサと、
   該追加の画像センサに結合され、追加の画像取込みタイミング信号を前記追加の画像センサに提供して、該追加の画像センサに、前記第１のフレームレートとは異なる第２のフレームレートで第２の複数のフレームのピクセルデータを取り込ませるようにする第２のフレームタイマと、をさらに含む、請求項１に記載の画像取込み装置。
5. 前記第１のフレームタイマによって提供される前記画像取込みタイミング信号は、前記画像センサに、Ｎ個のフレームのピクセルデータを取り込ませるように構成され、Ｎは１より大きく、
   前記第２のフレームタイマによって提供される前記画像取込みタイミング信号は、前記画像センサが前記Ｎ個のフレームを取り込んでいる間に、前記追加の画像センサに、単一のフレームのピクセルデータのみを取り込ませるように構成される、請求項４に記載の画像取込み装置。
6. 前記第１のフレームタイマは、前記画像センサのピクセルを第１の露光時間に亘って露光するように構成され、
   前記第２のフレームタイマは、前記追加の画像センサのピクセルを第２の露光時間に亘って露光するように構成され、
   前記第１の露光時間は前記第２の露光時間とは異なる、請求項４に記載の画像取込み装置。
7. 前記第１のフレームタイマは、前記複数の個別の可視光カラーフィルタのうちの１つの個別の可視光カラーフィルタによって覆われた前記第１及び第２のピクセル・セル内のピクセルを同時にリセットするように構成される、請求項４に記載の画像取込み装置。
8. 前記第１のフレームタイマは、前記第１のピクセルのセット内の第１のピクセルと前記第２のピクセルのセット内の第２のピクセルとを同時に読み取るように構成される、請求項４に記載の画像取込み装置。
9. 当該画像取込み装置は、前記第１のフレームタイマによって読み取られた前記第１のピクセルと、前記第１のフレームタイマによって読み取られた前記第２のピクセルとをビニングするように構成される、請求項８に記載の画像取込み装置。
10. 前記画像センサは、複数の代替光フィルタ処理ピクセル・セルと交互に配置された複数の可視光カラーフィルタ処理ピクセル・セルをさらに含む、請求項１に記載の画像取込み装置。
11. 前記画像センサは、ベイヤーカラーフィルタアレイを含む、請求項１に記載の画像取込み装置。
12. 画像取込み装置のプログラムであって、
    第１のピクセル・セルと、該第１のピクセル・セルに隣接する第２のピクセル・セルとを含む画像センサが提供され、
    当該プログラムが実行されると、
    複数の個別の代替光フィルタに非可視光をフィルタ処理させるステップであって、前記複数の個別の代替光フィルタのうちの１つの個別の代替光フィルタが、前記第１のピクセル・セルの第１のピクセルのセットと前記第２のピクセル・セルの第２のピクセルのセットとの両方を覆い、該第２のピクセルのセットは前記第１のピクセルのセットに隣接しており、前記第１及び第２のピクセルのセットは少なくとも２つのピクセルを含む、ステップと、
    複数の個別の可視光カラーフィルタに可視光をフィルタ処理させるステップであって、前記複数の個別の可視光カラーフィルタは前記第１及び第２のピクセル・セルのピクセルを覆い、前記個別の可視光カラーフィルタによって覆われた前記第１及び第２のピクセル・セルのピクセルは、前記個別の代替光フィルタによって覆われた前記第１及び第２のピクセルのセットとは異なる、ステップと、を行わせる、
    プログラム。
13. 前記第１のピクセル・セルは、第１の２×２ピクセルアレイに配置された第１のピクセル、第２のピクセル、第３のピクセル、及び第４のピクセルを含み、前記第１のピクセル・セルの前記第３及び第４のピクセルは、前記第１の２×２ピクセルアレイの最下行にあり、
    前記第２のピクセル・セルは、第２の２×２ピクセルアレイに配置された第１のピクセル、第２のピクセル、第３のピクセル、及び第４のピクセルを含み、前記第２のピクセル・セルの前記第１及び第２のピクセルは、前記第２の２×２ピクセルアレイの最上行にあり、
    前記１つの個別の代替光フィルタによって覆われる前記第１及び第２のピクセルのセットには、前記第１のピクセル・セルの前記第３及び第４のピクセルと、前記第２のピクセル・セルの前記第１及び第２のピクセルのみが含まれ、
    前記個別の可視光カラーフィルタによって覆われるピクセルには、前記第１のピクセル・セルの前記第１及び第２のピクセルと、前記第２のピクセル・セルの前記第３及び第４のピクセルのみが含まれる、請求項１２に記載のプログラム。
14. 前記個別の可視光カラーフィルタは、
    前記第１のピクセル・セルの前記第１のピクセルを覆う赤色カラーフィルタと、
    前記第１のピクセル・セルの前記第２のピクセルを覆う第１の緑色カラーフィルタと、
    前記第２のピクセル・セルの前記第３のピクセルを覆う第２の緑色カラーフィルタと、
    前記第２のピクセル・セルの前記第４のピクセルを覆う青色カラーフィルタと、を含む、請求項１３に記載のプログラム。
15. 前記画像センサに結合された第１のフレームタイマに、画像取込みタイミング信号を前記画像センサに提供させて、該画像センサに、第１のフレームレートで第１の複数のフレームのピクセルデータを取り込ませるステップと、
    追加の画像センサに結合された第２のフレームタイマに、追加の画像取込みタイミング信号を前記追加の画像センサに提供させて、該追加の画像センサに、前記第１のフレームレートとは異なる第２のフレームレートで第２の複数のフレームのピクセルデータを取り込ませるステップと、をさらに含む、請求項１２に記載のプログラム。