JP5055469B2 - イメージセンサ及びイメージセンサシステム - Google Patents

Description

本発明は、被写体を撮像するためのイメージセンサ及びその関連技術に関する。

特許文献１によれば、ＣＭＯＳイメージセンサの固定パターンノイズは、ＣＤＳ回路により除去できる。このＣＤＳ回路は、画素からの信号電圧（露光時）と信号電圧が乗っていないバックグラウンドノイズのみの状態（非露光時）の２つをサンプリングして、その差を取ることによりノイズを除去するものである。

特開２００２−６４７５１号公報

本発明の目的は、互いに異なる露光時における画素信号の差分を生成して、固定パターンノイズの抑圧だけでなく、その利用の簡便性を向上できる新規なイメージセンサ及びその関連技術を提供することである。

本発明の第１の形態によると、イメージセンサは、格子状に配置された複数の受光素子と、互いに異なる露光時の前記受光素子の出力の差分を生成して、画素信号として出力する差分手段と、を備える。

この構成によれば、互いに異なる露光時における画素信号の差分を生成するので、固定パターンノイズの抑圧だけでなく、イメージセンサの利用の簡便性を向上できる。

例えば、前記差分手段が、発光素子が光を発光しているときの前記イメージセンサの露光時における前記受光素子の出力と、前記発光素子が光を発光していないときの前記イメージセンサの露光時における当該受光素子の出力と、の差分を生成するように構成することもできる。

この場合、イメージセンサは、その露光期間において、発光素子の点灯時の画素信号と消灯時の画素信号との差分を出力するので、外部の情報処理手段（例えばマルチプロセッサ３）によるイメージセンサの複雑な制御が不要になる。つまり、イメージセンサから発光素子の点灯時の画像信号と消灯時の画像信号とを別々に出力させ、情報処理手段がこれらの差分を算出する構成にすると、情報処理手段のプログラミングが、イメージセンサの仕様に大きく拘束されてしまう。この場合、主導権がイメージセンサにあることになる。ところが、本発明のように、イメージセンサに差分信号を生成させることにより、イメージセンサの仕様に拘束されることなく、主導権を情報処理手段に持たせることができる。

また、この場合、露光期間において、発光素子の点灯時の画素信号と消灯時の画素信号との差分を出力するので、外部の情報処理手段（例えばマルチプロセッサ３）での被写体の検出を簡易にすることができる。つまり、情報処理手段により、発光素子の点灯時の画像と消灯時の画像との差分を求める処理が不要となり、その処理負荷を軽減できる。しかも、情報処理手段は、高速に被写体の検出が可能になる。ちなみに、もし、情報処理手段が点灯時の画像と消灯時の画像とを受け取って差分を求めるとした場合、ソフトウェアにより差分が求められるので処理が遅くなる。

上記イメージセンサにおいて、前記差分手段は、コンピュータプログラムに従って動作する外部の情報処理手段が出力する制御信号により制御される。例えば、前記差分手段は、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路である。また、例えば、前記光は赤外光である。前記イメージセンサは、例えば、ＣＭＯＳイメージセンサである。

本発明の第２の形態によると、イメージセンサシステムは、イメージセンサと、発光手段と、コンピュータプログラムに従って動作する情報処理手段と、を備え、前記イメージセンサは、格子状に配置された複数の受光素子と、前記情報処理手段からの制御に従って、前記発光手段が光を発光しているときの前記イメージセンサの露光時の前記受光素子の出力と、前記発光手段が光を発光していないときの前記イメージセンサの露光時の当該受光素子の出力と、の差分を生成して、画素信号として出力する差分手段と、を含み、前記発光手段は、光を発光する発光素子と、前記情報処理手段からの制御に従って、前記発光素子を駆動する駆動手段と、を含む。

この構成によれば、イメージセンサシステムは、第１の観点によるイメージセンサと同様のイメージセンサを有しているため、第１の観点によるイメージセンサと同様の効果を奏する。

上記イメージセンサシステムにおいて、前記情報処理手段は、前記複数の受光素子に対応する複数の前記画素信号を受け取って、前記イメージセンサにより撮像された被写体を検出する検出手段を含む。

この構成によれば、情報処理手段は、被写体を検出することができるので、本システムの様々な応用が可能となる。

また、前記情報処理手段は、前記検出手段による検出結果に基づいた映像信号を生成する映像生成手段をさらに含む。

この構成によれば、検出手段による検出結果に基づいた映像信号を生成できるので、本システムの応用性がより広がる。

さらに、前記情報処理手段は、前記検出手段による検出結果に基づいた音声信号を生成する音声生成手段をさらに含む。

この構成によれば、検出手段による検出結果に基づいた音声信号を生成できるので、本システムの応用性がより広がる。

上記イメージセンサシステムにおいて、前記差分手段は、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路である。

また、前記発光素子が発光する光は赤外光であり、前記イメージセンサシステムは、赤外光のみを透過する赤外光フィルタをさらに備え、前記イメージセンサは、前記赤外光フィルタを介して撮像を行う。前記イメージセンサは、例えば、ＣＭＯＳイメージセンサである。

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、図中、同一または相当部分については同一の参照符号を付してその説明を援用する。

図１は、本発明の実施の形態によるイメージセンサシステムの全体構成を示すブロック図である。図１を参照して、実施の形態によるイメージセンサシステムは、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ１（単に、「イメージセンサ１」と呼ぶこともある。）、マルチプロセッサ３、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）駆動回路５、赤外発光ダイオード（ＬＥＤ）７、及び赤外光フィルタ９を含む。

マルチプロセッサ３は、ＬＥＤ駆動信号ＳＬを生成して、ＬＥＤ駆動回路５を制御する。ＬＥＤ駆動回路５は、ＬＥＤ駆動信号ＳＬに応答して、ＬＥＤ７を間欠的に点灯する。従って、ＬＥＤ７は、被写体である再帰反射シート１１に、間欠的に赤外光を照射する。

再帰反射シート１１は、ＬＥＤ７が照射した赤外光を反射する。この反射赤外光は、赤外光のみを透過する赤外光フィルタ９を介して、ＣＭＯＳイメージセンサ１に入力される。従って、この場合、ＣＭＯＳイメージセンサ１の画像信号のうち、再帰反射シート１１が写り込んでいる画素信号（輝度値）のレベルは高くなる。一方、ＬＥＤ７の消灯時においても、ＣＭＯＳイメージセンサ１は、撮像を行っている。この場合は、ＬＥＤ７は、消灯しているので、再帰反射シート１１は、ＬＥＤ７からの赤外光を反射することができない。従って、この場合、ＣＭＯＳイメージセンサ１の画像信号の各画素信号のレベルは全体的に低くなる。

ＣＭＯＳイメージセンサ１は、露光期間において、ＬＥＤ７の点灯時の画像信号とＬＥＤ７の消灯時の画像信号との差分をとって、差分画像信号をマルチプロセッサ３に出力する。

差分をとる理由を説明する。赤外光フィルタ９を介しているので、ＣＭＯＳイメージセンサ１には、赤外光以外の光は入射しない。このため、ＣＭＯＳイメージセンサ１による差分画像信号には、赤外光を殆ど含まない蛍光灯光源の像が写り込むことはない。しかし、赤外光フィルタ９だけでは、赤外線を含む太陽光や白熱灯の像が写り込むことになるが、差分をとることにより、これらの像を除去できる。従って、ＣＭＯＳイメージセンサ１からの差分画像信号には、高輝度の再帰反射シート１１の像と、赤外光フィルタ９や差分で除去できなかった低輝度の像と、が残ることになる。

ＣＭＯＳイメージセンサ１が出力する差分画像信号は、所定数の差分画素データＤＤを含む。本実施の形態では、ＣＭＯＳイメージセンサ１の解像度を６４画素×６４画素である例を挙げる。従って、ＣＭＯＳイメージセンサ１は、４０９６の差分画素データＤＤをマルチプロセッサ３に与える。

マルチプロセッサ３は、差分画像信号を受け取って、コンピュータプログラムに従って、所定の処理を施し、再帰反射シート１１を検出する。この所定の処理の例を挙げる。例えば、各差分画素データＤＤを閾値と比較して、閾値以下の差分画素データＤＤを０、閾値を超えた差分画素データＤＤを１として、差分画像信号を２値化し、再帰反射シート１１を検出する処理である。この場合、閾値は固定でもよいし、動的に設定してもよい。また、例えば、全ての差分画素データＤＤから、最大値を検出して、その画素を再帰反射シート１１の代表点とする。

マルチプロセッサ３は、再帰反射シート１１の検出結果に基づいて、コンピュータプログラムに従ったグラフィック処理及びサウンド処理を実行し、再帰反射シート１１の検出結果を反映したビデオ信号ＶＤ及びオーディオ信号ＡＵを生成する。これらの信号ＶＤ及びＡＵは、表示装置（例えば、テレビジョン受像機）及びスピーカに与えられ、表示装置に映像が表示され、スピーカから音声が出力される。

また、マルチプロセッサ３は、制御信号Ｓ１〜Ｓ４及びリセット信号ＳＲをＣＭＯＳイメージセンサ１に与えて、ＣＭＯＳイメージセンサ１を制御する。詳細は後述する。

ここで、マルチプロセッサ３の内部構成を簡単に説明する。マルチプロセッサ３は、図示しないが、中央演算処理装置（以下、「ＣＰＵ」と呼ぶ。）、グラフィックスプロセシングユニット（以下、「ＧＰＵ」と呼ぶ。）、サウンドプロセシングユニット（以下、「ＳＰＵ」と呼ぶ。）、ジオメトリエンジン（以下、「ＧＥ」と呼ぶ。）、外部インタフェースブロック、メインＲＡＭ、及びＡ／Ｄコンバータ（以下、「ＡＤＣ」と呼ぶ。）などを具備する。

ＣＰＵは、コンピュータプログラムを実行して、各種演算やシステム全体の制御を行う。グラフィックス処理に関するＣＰＵの処理として、コンピュータプログラムを実行して、各オブジェクト及び各スプライトの拡大・縮小、回転、及び／又は平行移動のパラメータ、視点座標（カメラ座標）、並びに視線ベクトルの算出等を行う。

ＧＰＵは、ポリゴン及びスプライトから構成される三次元イメージをリアルタイムに生成し、アナログのコンポジットビデオ信号ＶＤに変換する。ＳＰＵは、ＰＣＭ（ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）波形データ、アンプリチュードデータ、及びメインボリュームデータを生成し、これらをアナログ乗算して、アナログオーディオ信号ＡＵを生成する。ＧＥは、三次元イメージを表示するための幾何演算を実行する。具体的には、ＧＥは、行列積、ベクトルアフィン変換、ベクトル直交変換、透視投影変換、頂点明度／ポリゴン明度計算（ベクトル内積）、及びポリゴン裏面カリング処理（ベクトル外積）などの演算を実行する。

外部インタフェースブロックは、周辺装置（本実施の形態ではＣＭＯＳイメージセンサ１及びＬＥＤ駆動回路５）とのインタフェースであり、２４チャンネルのプログラマブルなデジタル入出力（Ｉ／Ｏ）ポートを含む。ＡＤＣは、４チャンネルのアナログ入力ポートに接続され、これらを介して、アナログ入力装置（本実施の形態ではＣＭＯＳイメージセンサ１）から入力されたアナログ信号をデジタル信号に変換する。メインＲＡＭは、ＣＰＵのワーク領域、変数格納領域、および仮想記憶機構管理領域等として利用される。

ここで、上記した再帰反射シート１１は、例えば、人間の手に装着される。これにより、マルチプロセッサ３は、再帰反射シート１１を検知することにより、人間の動きを検知できる。もちろん、再帰反射シート１１は、何の動きを検出したいかに応じて、任意の部位に装着できる。また、物に再帰反射シート１１を装着して、この物を人間が操作することにより、マルチプロセッサ３は、その物の動きを検知できる。

図２は、図１のＣＭＯＳイメージセンサ１の内部構成を示す図である。図２を参照して、ＣＭＯＳイメージセンサ１は、格子状に配置された６４×６４個の画素１０、垂直走査回路３０、水平走査回路４０、及び出力回路５０を含む。また、ＣＭＯＳイメージセンサ１は、垂直走査回路３０から水平方向に延びた行選択線ＷＬと、垂直方向に延びた列信号線ＢＬとを含む。複数の行選択線ＷＬは、垂直方向に配置され、複数の列信号線ＢＬは、水平方向に配置される。複数の列信号線ＢＬは、複数の列選択スイッチＢＳの一方接点と接続され、複数の列選択スイッチＢＳの他方接点は出力線６０に接続される。そして、各画素１０は、列信号線ＢＬと行選択線ＷＬとの各交点に対応して配置される。なお、どの行選択線かを示す必要があるときは、符号ＷＬにサフィックスを付する。また、どの列選択スイッチかを示す必要があるときは、符号ＢＳにサフィックスを付する。

各画素１０は、フォトダイオードＰＤ、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路２０（相関二重サンプリング回路２０）、アンプＭＡ、及びスイッチＭＳを含む。ＣＤＳ回路２０は、露光期間において、ＬＥＤ７の点灯時のフォトダイオードＰＤの出力と、ＬＥＤ７の消灯時のフォトダイオードＰＤの出力と、の差分をとって、差分画素信号をアンプＭＡに出力する。アンプＭＡは、入力された差分画素信号を増幅して出力する。垂直走査回路３０は、一本ずつ行選択線ＷＬをアクティブにする（垂直走査）。アクティブにされた行選択線ＷＬに接続された画素１０のスイッチＭＳはオンになる。このため、当該画素１０のアンプＭＡが出力した差分画素信号は、対応する列信号線ＢＬに出力される。水平走査回路４０は、一個ずつ列選択スイッチＢＳをオンにしていく（水平走査）。このため、オンした列選択スイッチＢＳに接続される列信号線ＢＬの差分画素信号は、出力線６０に与えられ、出力回路５０を通じて、差分画素データＤＤとして出力される。以上のようにして、全ての画素１０からの差分画素信号が、差分画素データＤＤとして出力される。なお、列選択スイッチＢＳは、水平走査回路４０からの列選択信号がハイレベルのときオンになり、ローレベルでオフになる。また、列選択信号の符号としてＢＳを付することもある。

図３は、図２のＣＤＳ回路２０の回路図である。図３を参照して、ＣＤＳ回路２０は、ＭＯＳトランジスタＭ１〜Ｍ４，ＭＲ１，ＭＲ２、及びキャパシタＣ１，Ｃ２を含む。トランジスタＭ３及びＭ２の一方電極は、フォトダイオードＰＤのカソードに接続される。フォトダイオードＰＤのアノードは接地される。トランジスタＭ３の他方電極は、トランジスタＭＲ１の一方電極、トランジスタＭＡ（図２のアンプＭＡに相当）のゲート、及びキャパシタＣ２の一方端子に接続される。トランジスタＭＲ１の他方電極は接地される。トランジスタＭ２の他方電極は、トランジスタＭＲ２及びＭ４の一方電極並びにキャパシタＣ１の一方端子に接続される。トランジスタＭＲ２及びＭ４の他方電極は接地される。キャパシタＣ１及びＣ２の他方端子は、トランジスタＭ１の一方電極に接続される。トランジスタＭ１の他方電極は接地される。

トランジスタＭＡの一方電極は電源Ｖｄｄに接続され、他方電極はトランジスタＭＳ（図２のスイッチＭＳに相当）の一方電極に接続される。トランジスタＭＳの他方電極は列信号線ＢＬに接続され、そのゲートは行選択線ＷＬに接続される。

トランジスタＭ１，Ｍ２，Ｍ３及びＭ４のゲートには、それぞれ、マルチプロセッサ３から、制御信号Ｓ１，Ｓ２，Ｓ３及びＳ４が与えられる。また、トランジスタＭＲ１及びＭＲ２のゲートには、マルチプロセッサ３から、リセット信号ＳＲが与えられる。

次に、図３及びタイミングチャートを用いて、ＣＭＯＳイメージセンサ１の動作を説明する。

図４は、図１のＣＭＯＳイメージセンサ１の動作を説明するためのタイムチャートである。図４を参照して、マルチプロセッサ３は、時刻ｔ０にて、リセット信号ＳＲをハイレベルにする。これにより、トランジスタＭＲ１及びＭＲ２がオンし、ノードＮ１及びＮ２の電位が０になる。そして、時刻ｔ１にて、マルチプロセッサ３は、リセット信号ＳＲをローレベルにする。これにより、トランジスタＭＲ１及びＭＲ２がオフする。

そして、時刻ｔ２にて、マルチプロセッサ３は、制御信号Ｓ１をハイレベルにする。これにより、トランジスタＭ１がオンし、ノードＮ３の電位が０になる。次に、時刻ｔ３にて、マルチプロセッサ３は、制御信号Ｓ２をオンにする。これにより、トランジスタＭ２がオンして、フォトダイオードＰＤの画素信号（出力電位）によりキャパシタＣ１が充電される。このとき、ＬＥＤ駆動信号ＳＬがローレベルであるため、ＬＥＤ７は消灯しており、消灯時の画素信号がキャパシタＣ１に充電されることになる。このとき、ノードＮ１の電位は、フォトダイオードの画素信号のレベルに応じたＶＵである。なお、いまだに、トランジスタＭＲ２及びＭ４はオフしたままである。そして、時刻ｔ４にて、マルチプロセッサ３は、制御信号Ｓ２をローレベルにする。これにより、トランジスタＭ２がオフする。

時刻ｔ５にて、マルチプロセッサ３は、ＬＥＤ駆動信号ＳＬをハイレベルにする。これにより、ＬＥＤ７が点灯する。そして、時刻ｔ６にて、マルチプロセッサ３は、制御信号Ｓ３をハイレベルにする。これにより、トランジスタＭ３がオンして、フォトダイオードＰＤの画素信号（出力電位）によりキャパシタＣ２が充電される。このとき、ＬＥＤ駆動信号ＳＬがハイレベルであるため、ＬＥＤ７は点灯しており、点灯時の画素信号がキャパシタＣ２に充電されることになる。このとき、ノードＮ２の電位は、フォトダイオードの画素信号のレベルに応じたＶＦである。なお、いまだに、トランジスタＭＲ１はオフしたままである。そして、時刻ｔ７にて、マルチプロセッサ３は、制御信号Ｓ３をローレベルにする。これにより、トランジスタＭ３がオフする。

時刻ｔ８にて、マルチプロセッサ３は、制御信号Ｓ１及びＬＥＤ駆動信号ＳＬをローレベルにする。これにより、トランジスタＭ１及びＬＥＤ７がオフする。現時点では、ノードＮ１の電位はＶＵであり、ノードＮ２の電位はＶＦである。そして、マルチプロセッサ３は、時刻ｔ９にて、制御信号Ｓ４をハイレベルにする。これにより、トランジスタＭ４がオンする。これに応じて、ノードＮ１の電位がＶＵから０になり、それ故、ノードＮ３の電位が０から−ＶＵになる。さらに、これに応じて、ノードＮ２の電位が、ＶＦからＶＵだけ低くなる。つまり、ノードＮ２の電位が、（ＶＦ−ＶＵ）となる。この電位（ＶＦ−ＶＵ）が、露光期間におけるＬＥＤ７の点灯時と消灯時の画素信号の差分である。

そして、時刻ｔ１０にて、マルチプロセッサ３は、制御信号Ｓ４をローレベルにする。これにより、トランジスタＭ４がオフする。時刻ｔ１１にて、垂直走査回路３０は、行選択線ＷＬ_ｋ−１をハイレベル（アクティブ）にする（ｋは１〜６４の整数）。これにより、トランジスタＭＳがオンし、トランジスタＭＡにより増幅されたノードＮ２の電圧（ＶＦ−ＶＵ）、つまり、差分画素信号が、列信号線ＢＬに出力される。よって、列信号線ＢＬのレベルは、差分画素信号のレベルに応じた大きさとなる。

時刻ｔ１２にて、水平走査回路４０が、列選択スイッチ（列選択信号）ＢＳ_ｊ−１をオン（ハイレベル）にする（ｊは１〜６４の整数）。これにより、列選択スイッチＢＳ_ｊ−１に接続される列信号線ＢＬの差分画素信号は、出力線６０に与えられる。そして、時刻ｔ１３にて、水平走査回路４０が、列選択スイッチ（列選択信号）ＢＳ_ｊ−１をオフ（ローレベル）にする。これと同時に、水平走査回路４０が、列選択スイッチ（列選択信号）ＢＳ_ｊをオン（ハイレベル）にする。これにより、列選択スイッチＢＳ_ｊに接続される列信号線ＢＬの差分画素信号は、出力線６０に与えられる。水平走査回路４０は、ｊ＝６４まで列選択スイッチＢＳを順次オンにして、１行分の画素１０の差分画素信号を読み出していく。そして、その後、時刻ｔ１４にて、垂直走査回路３０は、行選択線ＷＬ_ｋ−１をローレベルにする。

１行分の画素１０の差分画素信号が読み出された後、垂直走査回路３０は、次の行選択線ＷＬ_ｋをハイレベル（アクティブ）にする。そして、水平走査回路４０は、再び、ｊ＝６４まで列選択スイッチＢＳを順次オンにして、１行分の画素１０の差分画素信号を読み出していく。このような処理は、ｋ＝６４まで、すなわち、全画素１０の全差分画素信号の読み出しが完了するまで繰り返される。

そして、全ての画素１０の差分画素信号が読み出された時刻ｔｎ−１の後、時刻ｔｎにて、マルチプロセッサ３は、リセット信号ＳＲをハイレベルにする。これにより、トランジスタＭＲ１及びＭＲ２がオンし、ノードＮ１及びＮ２の電位が０になる。

なお、図４では、時刻ｔ０〜ｔｎ−１の期間がＣＭＯＳイメージセンサ１の露光期間であり、時刻ｔｎ−１〜ｔｎの期間がＣＭＯＳイメージセンサ１の非露光期間となっている。

さて、以上のように、本実施の形態によれば、ＣＭＯＳイメージセンサ１は、その露光期間において、画素１０からの出力信号の差分を生成している。この点、露光期間の画素信号と非露光期間の画素信号との差分を生成する従来技術とは大きく異なる。従って、固定パターンノイズの抑圧だけでなく、ＣＭＯＳイメージセンサ１の利用の簡便性の向上を図ることができる。

例えば、これまで説明してきたように、ＣＭＯＳイメージセンサ１は、露光期間において、ＬＥＤ７の点灯時の画素信号と消灯時の画素信号との差分を出力するので、マルチプロセッサ３によるＣＭＯＳイメージセンサ１の複雑な制御が不要になる。つまり、ＣＭＯＳイメージセンサからＬＥＤ７の点灯時の画像信号と消灯時の画像信号とを別々に出力させ、マルチプロセッサ３がこれらの差分を算出する構成にすると、マルチプロセッサ３のプログラミングが、ＣＭＯＳイメージセンサの仕様に大きく拘束されてしまう。この場合、主導権がＣＭＯＳイメージセンサにあることになる。ところが、本実施の形態のように、ＣＭＯＳイメージセンサ１に露光時の差分信号を生成させることにより、ＣＭＯＳイメージセンサ１の仕様に拘束されることなく、主導権をマルチプロセッサ３に持たせることができる。

また、例えば、ＣＭＯＳイメージセンサ１は、その露光時におけるＬＥＤ７の点灯時の画素信号と消灯時の画素信号との差分を出力するので、マルチプロセッサ３での被写体たる再帰反射シート１１の検出を簡易にすることができる。つまり、マルチプロセッサ３により、ＬＥＤ７の点灯時の画像と消灯時の画像との差分を求める処理が不要となり、その処理負荷を軽減できる。しかも、マルチプロセッサ３は、高速に再帰反射シート１１の検出が可能になる。ちなみに、もし、マルチプロセッサ３が点灯時の画像と消灯時の画像とを受け取って差分を求めるとした場合、ソフトウェアにより差分が求められるので処理が遅くなる。

さらに、本実施の形態によれば、マルチプロセッサ３は、被写体たる再帰反射シート１１を検出して、検出結果に応じたビデオ信号ＶＤ及びオーディオ信号ＡＵを生成する。このため、本システムの応用の幅が広くなる。

なお、本発明は、上記の実施の形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能であり、例えば、以下のような変形も可能である。

（１）上記では、マルチプロセッサ３により、ＣＭＯＳイメージセンサ１の制御とＬＥＤ駆動回路５の制御とを行ったが、別々の情報処理装置により、それらの制御を行うことができる。

（２）上記では、画素１０ごとにＣＤＳ回路２０を設けたが、画素１０にはＣＤＳ回路２０を設けずに、各列信号線ＢＬにＣＤＳ回路を設けて差分を求めてもよい。

（３）上記では、検出の容易のため、再帰反射シート１１を被写体としたが、必ずしも、再帰反射シート１１を被写体とする必要はない。

（４）上記では、ＣＭＯＳイメージセンサを例に挙げたが、異なる露光時における画素の差分を算出して、差分画素信号を出力するのであれば、他の撮像素子（例えばＣＣＤイメージセンサ）にも適用できる。

（５）上記では、露光期間において、ＬＥＤ７の点灯時の画素信号と消灯時の画素信号との差分を出力する構成としたが、これは、あくまでも、ＣＭＯＳイメージセンサ１の利用方法の一例であり、ＣＭＯＳイメージセンサ１の使用用途に応じて、任意に制御することができる。例えば、外部の素子に依存することなく、異なる露光時における画素信号の差分を生成する等である。

（６）上記では、ビデオ信号ＶＤ及びオーディオ信号ＡＵを生成するマルチプロセッサ３により、ＣＭＯＳイメージセンサ１を制御したが、このような機能を持たないＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）によって、ＣＭＯＳイメージセンサ１を制御することもできる。

本発明の実施の形態によるイメージセンサシステムの全体構成を示すブロック図である。 図１のＣＭＯＳイメージセンサ１の内部構成を示す図である。 図２のＣＤＳ回路２０の回路図である。 図１のＣＭＯＳイメージセンサ１の動作を説明するためのタイムチャートである。

符号の説明

１…ＣＭＯＳイメージセンサ、３…マルチプロセッサ、５…ＬＥＤ駆動回路、７…ＬＥＤ、９…赤外光フィルタ、１０…画素、１１…再帰反射シート、２０…ＣＤＳ回路、ＰＤ…フォトダイオード、ＭＡ…アンプ、ＭＳ…スイッチ、ＢＬ…列信号線、ＷＬ…行選択線。

Claims (13)

1. 格子状に配置された複数の受光素子と、
   前記複数の受光素子に対応して設けられる複数の差分手段と、を備え、
   前記差分手段の各々は、
   露光期間の第１区間において、対応する前記受光素子が出力した第１信号を充電する第１キャパシタと、
   前記露光期間の第２区間において、対応する前記受光素子が出力した第２信号を充電する第２キャパシタと、
   前記第１区間及び前記第２区間の後、前記第１キャパシタを、その充電時とは逆に、前記第２キャパシタと直列に接続する逆接続手段と、を含み、
   前記逆接続手段による逆接続の後、前記第１キャパシタ及び前記第２キャパシタの両端の電位差が、前記第１信号と前記第２信号との差分である、メージセンサ。
2. 前記第１キャパシタの一方端子が接続される第１ノードには、前記第１区間において、前記第１信号が与えられ、他方端子が接続される第２ノードは、前記第１区間において、第１所定レベルの電位に設定され、
   前記第２キャパシタの一方端子が接続される第３ノードには、前記第２区間において、前記第２信号が与えられ、他方端子が接続される第４ノードは、前記第２区間において、前記第１所定レベルの電位に設定される、請求項１記載のイメージセンサ。
3. 前記逆接続手段は、前記第１区間及び前記第２区間の後、前記第１キャパシタの前記一方端子が接続される前記第１ノードを、第２所定レベルの電位に設定することにより、前記逆接続を行う、請求項２記載のイメージセンサ。
4. 前記差分手段の各々は、
   前記第２キャパシタの前記一方端子が接続される前記第３ノードに接続されて、前記逆接続手段による前記逆接続の後、前記第３ノードの電位を、前記差分を表す信号として、信号線に出力する出力手段をさらに含む請求項３記載のイメージセンサ。
5. 前記第１区間は、発光素子が発光していない時の期間であり、
   前記第２区間は、前記発光素子が発光している時の期間である、請求項１から４のいずれかに記載のイメージセンサ。
6. 前記差分手段は、コンピュータプログラムに従って動作する外部の情報処理手段が出力する制御信号により制御される、請求項１から５のいずれかに記載のイメージセンサ。
7. 前記イメージセンサは、ＣＭＯＳイメージセンサである、請求項１から６のいずれかに記載のイメージセンサ。
8. イメージセンサと、
   発光手段と、を備え、
   前記イメージセンサは、
   格子状に配置された複数の受光素子と、
   前記複数の受光素子に対応して設けられる複数の差分手段と、を含み、
   前記差分手段の各々は、
   露光期間の第１区間において、対応する前記受光素子が出力した第１信号を充電する第１キャパシタと、
   前記露光期間の第２区間において、対応する前記受光素子が出力した第２信号を充電する第２キャパシタと、
   前記第１区間及び前記第２区間の後、前記第１キャパシタを、その充電時とは逆に、前記第２キャパシタと直列に接続する逆接続手段と、を含み、
   前記逆接続手段による逆接続の後、前記第１キャパシタ及び前記第２キャパシタの両端の電位差が、前記第１信号と前記第２信号との差分であり、
   前記発光手段は、前記第１区間において、発光を行わず、前記第２区間において、発光を行う、イメージセンサシステム。
9. 前記差分手段の各々から、前記差分を表す信号を受け取って、前記イメージセンサにより撮像された被写体を検出する情報処理手段をさらに備える請求項８記載のイメージセンサシステム。
10. 前記情報処理手段は、前記被写体の検出結果に基づいた映像信号を生成する映像生成手段を含む請求項９記載のイメージセンサシステム。
11. 前記情報処理手段は、前記被写体の検出結果に基づいた音声信号を生成する音声生成手段を含む請求項９又は１０記載のイメージセンサシステム。
12. 前記発光手段が発光する光は赤外光であり、
    前記イメージセンサシステムは、赤外光のみを透過する赤外光フィルタをさらに備え、
    前記イメージセンサは、前記赤外光フィルタを介して撮像を行う、請求項８から１１のいずれかに記載のイメージセンサシステム。
13. 前記イメージセンサは、ＣＭＯＳイメージセンサである、請求項８から１２のいずれかに記載のイメージセンサシステム。
    

Images