JP5229224B2 - 撮像装置、撮像制御方法および撮像制御プログラム - Google Patents

Description

この発明は、撮像素子を用いて長時間露光で撮像を行う際に用いて好適な撮像装置、撮像制御方法および撮像制御プログラムに関する。

撮像装置においてフィルムや撮像素子に照射される単位時間当たりの光量が少ない状態で撮像を行う場合、露光時間を数十秒乃至数分またはそれ以上といったように長く設定し、より多くの光が撮像素子やフィルムに照射されるようにする必要がある。このような撮像が行われる例としては、例えば暗い場所での撮像や天体写真など暗い被写体の撮像を行う場合、絞りを絞り込み被写体深度を深くして精密な撮像を行う場合などが考えられる。
ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージャなどの、照射された光を光電変換によって電気信号に変換して出力するような撮像素子の場合、フレーム周期など所定周期で出力される撮像信号を画素毎に加算してダイナミックレンジを広げることが行われる。特許文献１には、撮像素子からフレーム毎に得られる画像信号を累積加算してダイナミックレンジを広げるようにした構成が特許文献１（特開平５−２３６４２２号公報）に記載されている。
このような長時間露光などの撮像条件下においては、撮像素子の固定パターンに基づく暗時白点の数の増加や信号レベルの拡大が生じ、撮像で得られた画像データがノイズの非常に多い、見苦しいものになってしまうおそれがある。すなわち、撮像素子の画素部で発生するリーク電流による白点（以下、白点）は、撮像素子に固有の固定パターンに起因するものであり、白点の信号レベルは露光時間に比例して高くなる。そのため、短時間の露光においては黒信号レベル付近である白点が、長時間露光では視認できる信号レベルとなってしまい、視認可能な暗時白点の数が指数的に増加することになるからである。
ところで、リーク電流による白点信号レベルが加算によりメモリの語長をオーバーフローするような信号レベルとなってしまう場合、白点が発生した画素の情報は、ダイナミックレンジ上限でクリップされ欠損することになる。１画面中の白点の数が十分少ない場合は、隣接する画素の信号を用いて補間を行うことで問題を解決することができる。
一方、長時間露光時においては、上述したように、白点が多数発生することにより白点に隣接する画素も白点となる可能性が高く、隣接画素を用いて補間を行っても画質が改善されないおそれがある。そのため、撮像信号の加算によりダイナミックレンジを拡大すると共に、白点をキャンセルする必要が生じる。
従来から、この問題を解決するために、撮像素子を遮光した状態で撮像を行い、それにより得られた画像信号を用いて白点をキャンセルすることが行われている。例えば、撮像素子に対して被写体からの光を照射した状態で撮像を行った後、露光時間を等しくして撮像素子を遮光した状態で撮像を行い、光を照射した状態で得られた画像信号（以下、非遮光画像信号と呼ぶ）から遮光した状態で得られた画像信号（以下、遮光画像信号と呼ぶ）を、画素毎に減算する。遮光画像信号においては、白点が発生する画素では、露光時間に応じて白点信号レベルが高くなる一方で、白点以外の画素は理想的には黒信号レベルとなるので、この方法により白点をキャンセルすることが可能である。
特許文献２（特開２００３−２１９２８２号公報）および特許文献３（特開平８−５１５７１号公報）には、このように、非遮光画像信号から遮光画像信号を画素毎に減算することで撮像素子の固定パターンノイズを除去するようにした技術が記載されている。特許文献３においては、さらに、遮光画像信号を１／Ｎとし、非遮光画像信号からの遮光画像信号の減算処理をＮ回繰り返して行うことで、白点除去をより適切に行うようにしている。

ところで、非遮光画像信号から遮光画像信号を減算して白点をキャンセルする場合に、非常に長時間の露光を行うと、長時間の露光により蓄積された電荷に基づく非遮光画像信号や遮光画像信号が飽和レベルに達してしまい、非遮光画像信号や、遮光画像信号における白点信号レベルの信号のダイナミックレンジが著しく減少してしまうという問題点があった。
また、極めて長時間の露光を行う場合には、暗電流の蓄積も無視できないものとなる。すなわち、露光が長時間に亘った場合、蓄積された暗電流分の電荷のみで、撮像素子の出力信号が飽和信号レベルに達してしまうおそれがあるという問題点があった。
したがって、この発明の目的は、被写体信号のダイナミックレンジを保ちつつ、白点を効果的に除去可能な撮像装置、撮像制御方法および撮像制御プログラムを提供することにある。

上述した課題を解決するために、この発明は、複数の画素を有し、各画素毎に光電変換によって生成された電荷を蓄積し、各画素で蓄積された電荷からなる画素データで構成される撮像信号を出力する撮像素子と、
撮像信号を記憶する第１および第２の記憶部と、
撮像信号を各画素データ毎に加算する加算部と、
非遮光状態において、露光時間を複数の分割回数に分割してなる分割露光時間毎に撮像素子から撮像信号を出力させ、分割露光時間毎の撮像信号を画素データ毎に累積的に加算した上で第１の記憶部に記憶させ、
遮光状態において、露光時間を複数の分割回数に分割してなる分割露光時間毎に撮像素子から撮像信号を出力させ、分割露光時間毎の撮像信号を画素データ毎に累積的に加算した上で第２の記憶部に記憶させる制御部と、
第１の記憶部に記憶された複数の分割回数分累積的に加算された各画素データから、第２の記憶部に記憶された複数の分割回数分累積的に加算された各画素データを減算する減算部とを
備える撮像装置である。
この発明は、複数の画素を有し、各画素毎に光電変換によって生成された電荷を蓄積し、各画素で蓄積された電荷からなる画素データで構成される撮像信号を出力する撮像素子を用いて撮像を行う撮像方法において、
撮像信号を撮像素子から出力する撮像ステップと、
非遮光状態において、露光時間を複数の分割回数に分割してなる分割露光時間毎に撮像素子から非遮光画像信号として撮像信号を出力させるステップと、
分割露光時間毎の非遮光画像信号を画素データ毎に累積的に加算するステップと、
遮光状態において、露光時間を複数の分割回数に分割してなる分割露光時間毎に撮像素子から遮光画像信号として撮像信号を出力させるステップと、
分割露光時間毎の遮光画像信号を画素データ毎に累積的に加算するステップと、
遮光状態で複数の分割回数分累積的に加算された各画素データから、非遮光状態で複数の分割回数分累積的に加算された各画素データを減算する減算ステップとを
備える撮像制御方法である。
この発明は、複数の画素を有し、各画素毎に光電変換によって生成された電荷を蓄積し、各画素で蓄積された電荷からなる画素データで構成される撮像信号を出力する撮像素子を用いて撮像を行う撮像方法をコンピュータに実行させるプログラムにおいて、
撮像方法は、
撮像信号を撮像素子から出力する撮像ステップと、
非遮光状態において、露光時間を複数の分割回数に分割してなる分割露光時間毎に撮像素子から非遮光画像信号として撮像信号を出力させるステップと、
分割露光時間毎の非遮光画像信号を画素データ毎に累積的に加算するステップと、
遮光状態において、露光時間を複数の分割回数に分割してなる分割露光時間毎に撮像素子から遮光画像信号として撮像信号を出力させるステップと、
分割露光時間毎の遮光画像信号を画素データ毎に累積的に加算するステップと、
遮光状態で複数の分割回数分累積的に加算された各画素データから、非遮光状態で複数の分割回数分累積的に加算された各画素データを減算する減算ステップとを
備える撮像制御プログラムである。

この発明は、上述したように、非遮光状態の撮像素子から、露光時間を分割したそれぞれのタイミングで電荷を読み出し、この読み出された電荷に基づく撮像信号を暗電流成分に対応する成分を除去し、この暗電流成分が除去されたディジタル撮像信号を第１の記憶部に対して、読み出し毎に順次累積的に加算して記憶させ、露光時間の終了後、第１の記憶部に記憶されたディジタル撮像信号から、遮光状態の撮像素子に露光時間に対応する時間で蓄積された電荷に対応するデータを減じて出力するようにしているため、第１の記憶部に対するディジタル撮像信号の累積加算におけるデータのクリッピングが抑制され、ダイナミックレンジが確保される利点がある。

第１図は、この発明の実施の一形態を概念的に説明するための略線図である。
第２図は、この発明の実施の一形態による撮像装置の一例の構成を示すブロック図である。
第３図は、メモリの一例の構成を示す略線図である。
第４図は、加減算部の一例の構成を示すブロック図である。
第５図は、撮像装置における一例の撮像動作を示すタイミングチャートである。
第６図は、この発明の実施の一形態による処理を示すフローチャートである。
第７図は、この発明の実施の一形態における分割数および１枚露光時間のそれぞれを決定する処理を示すフローチャートである。
第８図は、この発明の実施の一形態における分割数および１枚露光時間を決定する処理を示すフローチャートである。
第９図は、この発明の実施の一形態の処理の他の例を示すフローチャートである。
第１０図は、この発明の実施の一形態による制御の利点の例を説明するための略線図である。
第１１図は、この発明の実施の一形態による制御の利点の例を説明するための略線図である。
第１２図は、この発明の実施の一形態による制御の利点の例を説明するための略線図である。

符号の説明

１ 撮像装置
１２ 撮像素子
１３ Ａ／Ｄ変換器
１４ ディジタルクランプ回路
１５ 加減算部
１６ メモリ
１９ 制御部

以下、この発明の実施の一形態を、図面を参照しながら説明する。第１図は、この発明による露光処理を概念的に示す。この発明の実施の一形態では、先ず撮像素子に被写体からの光が照射された状態で、撮像素子において露光を時間的に分割して行い、分割露光で得られた非遮光画像信号を累積する（第１図Ａ参照）。次に、撮像素子を遮光した状態で、同様にして撮像素子において露光を分割して行い、遮光された状態で分割露光され得られた遮光画像信号を累積する（第１図Ｂ参照）。そして、累積された非遮光画像信号から累積された遮光画像信号を減ずることで、撮像信号を得るようにする（第１図Ｃ参照）。
また、この発明の実施の一形態では、第１図Ａおよび第１図Ｂにそれぞれ示されるように、１回の露光毎に、ディジタルクランプによって、露光で得られた非遮光画像信号や遮光画像信号から撮像素子の暗電流による信号成分ｄａｒｋを減じ、この暗電流による信号成分ｄａｒｋ（以下、暗電流成分ｄａｒｋと呼ぶ）が減じられた非遮光画像信号や遮光画像信号をそれぞれ累積するようにしている。
すなわち、撮像素子に被写体からの光が照射される非遮光状態においては、第１図Ａに例示されるように、１回目の露光で得られた非遮光画像信号ＩＭＧ_１、２回目の露光で得られた非遮光画像信号ＩＭＧ_２、・・・、非遮光状態最後の露光であるｎ回目の露光で得られた非遮光画像信号ＩＭＧ_ｎのそれぞれから、暗電流成分ｄａｒｋが減ぜられ、この暗電流成分ｄａｒｋが減ぜられた非遮光画像信号同士を画素毎に加算して、加算非遮光画像信号ＩＭＧ_ａｄｄを得る。これは、下記の数式（１）のように表現できる。なお、数式（１）において、値ＩＭＧ_ｉは、露光時間ｔで露光された非遮光画像信号を表す。また、ここでは、暗電流成分ｄａｒｋは、クランプ動作によりキャンセルされる成分となり、温度変化により変化した成分も含まれる。

同様に、撮像素子が遮光された遮光状態においても、第１図Ｂに例示されるように、１回目の露光で得られた遮光画像信号ＩＭＧｄｋ_１、２回目の露光で得られた遮光画像信号ＩＭＧｄｋ_２、・・・、非遮光状態最後の露光であるｎ回目の露光で得られた遮光画像信号ＩＭＧｄｋ_ｎのそれぞれから、ディジタルクランプによって、暗電流成分ｄａｒｋが減ぜられ、この暗電流成分ｄａｒｋが減ぜられた遮光画像信号同士を画素毎に加算して、加算遮光画像信号ＩＭＧｄｋ_ａｄｄを得る。これは、下記の数式（２）のように表現できる。なお、数式（２）において、値ＩＭＧｄｋ_ｉは、露光時間ｔで露光された遮光画像信号を表す。

遮光状態の期間が終了したら、下記の数式（３）のように、加算非遮光画像信号ＩＭＧ_ａｄｄから加算遮光画像信号ＩＭＧｄｋ_ａｄｄを画素毎に減ずる。これにより、最終的な撮像信号ＩＭＧｎｒ_ａｄｄが得られる（第１図Ｃ参照）。この撮像信号ＩＭＧｎｒ_ａｄｄは、非遮光画像信号から固定パターンによる白点が除去され、さらに、暗電流による影響が取り除かれているため、ダイナミックレンジを広く取ることができる。
ＩＭＧｎｒ＝ＩＭＧａｄｄ−ＩＭＧｄｋａｄｄ ・・・（３）
ここで、非遮光画像信号や遮光画像信号がディジタルデータからなる場合、これら非遮光画像信号や遮光画像信号を累積するために、メモリが用いられる。すなわち、例えば非遮光画像信号の場合、最初の露光で得られた非遮光画像信号をメモリに書き込み、次の露光で非遮光画像信号が得られると、メモリから前回書き込んだ非遮光画像信号を読み出し、読み出された非遮光画像信号と、当該次の露光で得られた非遮光画像信号とを加算し、加算結果をメモリに上書きする。
この実施の一形態では、このメモリにおいて１画素に割り当てるビット数と、非遮光画像信号や遮光画像信号の加算を行う加算器における１画素分の演算に対応するビット数とを、撮像素子の出力をＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換するＡ／Ｄ変換器において１画素のデータをＡ／Ｄ変換する際の量子化ビット数よりも大きくする。これにより、非遮光画像信号や遮光画像信号の加算時におけるクリップや、丸め誤差を抑制することができ、画質の向上が図られる。
第２図は、この発明の実施の一形態による撮像装置１の一例の構成を示す。この撮像装置１は、光学系１０およびメカニカルシャッタ１１を介して入射された光を撮像素子１２により受光し、受光された光が光電変換により電気信号に変換された撮像信号を信号処理してＡ／Ｄ変換器１３によりディジタル信号に変換しディジタル撮像信号とする。液晶によるシャッタ等メカニカルシャッタ以外のシャッタを使用しても良い。このディジタル撮像信号を、ディジタルクランプ回路１４、加減算部１５およびメモリ１６で後述するように処理し、画像信号処理部１７により所定に画像処理を行い保存処理部１８にて記録媒体に記録する。記録媒体は、例えば不揮発性で書き換え可能なタイプのメモリ２１が用いられる。また、画像処理部１７は、撮像画像の確認のためなどのためにビューファインダ２０に表示する画像データも出力する。
制御部１９は、この撮像装置１の全体を制御する。例えば、制御部１９は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を有すると共に、撮像素子の駆動制御やフレーム単位、画素単位などのタイミング制御を行う同期信号を生成する同期信号生成部を有する。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い、ＲＡＭをワークメモリとして、撮像装置１の各部の制御を行う。ＵＩ部２５は、撮像を開始するためのレリーズボタンや、シャッタ速度、絞り、ズーム、フォーカスなど撮像装置１の機能に関する設定を行うための複数の操作子が設けられ、これら操作子に対する操作に応じた制御信号を制御部１９に対して出力する。
光学系１０は、レンズ系、絞り機構、フォーカス機構、ズーム機構などを有し、制御部１９の制御やマニュアル操作に基づき絞りやフォーカス、ズームなどが制御されるようにされている。メカニカルシャッタ１１は、レンズ系１０と撮像素子１２との間の光路を遮断可能なようにされ、撮像素子１２に入射する光を物理的に遮断する。例えば、ユーザにより図示されないレリーズボタンが押下されると、制御部１９の制御によりメカニカルシャッタ１１が開状態とされ、光学系１０を介して光が撮像素子１１に入射される。メカニカルシャッタ１１は、例えば予め設定されたシャッタ速度に応じて、開状態から所定時間後に自動的に閉状態になるように制御される。
撮像素子１２は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を用いたイメージセンサ（以下、ＣＭＯＳと略称する）を適用することができる。これに限らず、撮像素子１２としてＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を適用することもできる。以下では、撮像素子１２がＣＭＯＳであるものとして説明する。ＣＭＯＳは、周知のように、画素毎に読み出しを制御することが可能とされ、例えば、ライン毎に画素信号を読み出すように制御することができる。ＣＭＯＳにおいては、抽出された電荷が読み出され、抽出された電荷がリセットされる。撮像素子１２は、ローリングシャッタとグローバルシャッタの両者が可能とされている。
ローリングシャッタは、ライン毎にリセット後に露光が開始され、露光期間が終了すると、１ライン分の画素信号が出力される。したがって、各ラインの露光期間が１ラインずつずれたものとなる。グローバルシャッタは、全ラインでリセットを一斉に行い、全ラインで同時に露光が開始される。そして、フォトダイオードから電荷検出部への信号電荷の読み出しを撮像領域で全体で同時に行うようになされる。
撮像素子１２から、画素毎の信号として撮像信号が出力される。この撮像素子１２から出力された撮像信号は、図示されない信号処理部でノイズ抑圧処理、利得制御処理など信号処理を施されてＡ／Ｄ変換器１３に入力される。Ａ／Ｄ変換器１３は、アナログ信号として入力された撮像信号を、画素毎に量子化ビット数Ｘのディジタル信号に変換する。
Ａ／Ｄ変換器１３から出力されたディジタル撮像信号は、ディジタルクランプ回路１４に供給される。ディジタルクランプ回路１４は、供給されたディジタル撮像信号をディジタル的にクランプし、黒信号レベルを所定の値に固定する。ディジタルクランプ回路１４は、一例として、撮像素子１２の出力がＡ／Ｄ変換されたディジタル撮像信号に対し、オプティカルブラックとして用いる複数の画素に対応する信号の平均値を、各画素に対応する信号から減算する。
ディジタルクランプ回路１４で黒信号レベルが固定されたディジタル撮像信号は、加減算部１５に供給される。加減算部１５は、加算処理部１５Ａおよび減算処理部１５Ｂを有し、メモリ１６を用いて、供給されたディジタル撮像信号の累積加算処理や、累積加算処理されたデータ同士の減算処理を行う。
メモリ１６は、例えば第３図に例示されるように、メモリエリア１６Ａおよびメモリエリア１６Ｂ（第３図においてはそれぞれエリア＃１、エリア＃２と表記）の２の領域からなり、それぞれ少なくとも１フレーム分のディジタル撮像信号を格納可能な容量を有する。また、メモリエリア１６Ａおよび１６Ｂのそれぞれは、画素単位でのアクセスが可能なようにされ、さらに１画素に対してＡ／Ｄ変換器１３の画素毎の量子化ビット数を超えるビット数が割り当てられる。例えば、Ａ／Ｄ変換器１３が１画素のデータを量子化ビット数が１４ビットでＡ／Ｄ変換して出力するとした場合、メモリエリア１６Ａおよび１６Ｂにおいて、１画素分の領域として少なくとも１５ビットが割り当てられる。１画素に対して割り当てられるビット数がさらに多ければ、より好ましい。
第４図は、加減算部１５の一例の構成を示す。加減算部１５において、加算処理部１５Ａは、加算器３０、スイッチ３１および３２からなる。また、減算処理部１５Ｂは、減算器３３からなる。加算器３０は、例えば、語長が少なくともＡ／Ｄ変換器１３の画素毎の量子化ビット数を超えるビット数とされる。スイッチ３１および３２は、メモリエリア１６Ａおよび１６Ｂの選択を行う。
一例として、メモリエリア１６Ａを用いてデータの累積的な加算を行う場合には、スイッチ３１および３２において出力端３１Ａおよび３２Ａがそれぞれ選択される。加減算部１５に供給されたディジタル撮像信号が加算器３０の一方の入力端に供給される。それと共に、メモリエリア１６Ａからデータが読み出され、スイッチ３２を介して加算器３０の他方の入力端に供給される。加算器３０において、一方の入力端に入力されたディジタル撮像信号と、他方の入力端に入力されたデータとが加算される。加算器３０による加算結果は、スイッチ３１を介してメモリエリア１６Ａに上書きされる。なお、加算器３０におけるデータの加算は、互いに対応する画素毎に行われる。
ここで、上述したように、メモリ１６は、Ａ／Ｄ変換器１３の画素毎の量子化ビット数を超えるビット数が１画素に対して割り当てられている。これにより、ディジタル撮像信号の累積的な加算を行った場合に発生する、桁上がりなどに基づくデータのクリッピングや、データ丸め処理などによる誤差を抑制することができる。
減算処理部１５Ｂによる減算処理は、メモリエリア１６Ａから画素毎に読み出されたデータが減算器３３の一方の入力端に供給される。また、メモリエリア１６Ｂから画素毎に読み出されたデータが減算器３３の他方の入力端に供給される。減算器３３は、一方の入力端に入力されたデータから他方の入力端に入力されたデータを減じて出力する。この減算器３３における減算処理は、例えば互いに対応する画素毎に行われる。
加減算部１５から出力されたディジタル撮像信号は、画像信号処理部１７に供給される。画像信号処理部１７は、例えば、供給されたディジタル撮像信号を所定の形式の画像データに変換し、この画像データに対して画質補正など画像処理を施す。画像信号処理部１７から出力された画像データは、保存処理部１８に供給される。保存処理部１８は、供給された画像データを、例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式といった所定の圧縮符号化方式で圧縮符号化して、例えばメモリ２１といった記録媒体に記録する。
上述のような構成の撮像装置１における一例の撮像動作について、第５図のタイミングチャートを用いて説明する。なお、ここでは、シャッタ速度を１分とし、レリーズが押下されメカニカルシャッタが開いている１分間を、２０秒ずつ３つの期間に分割して露光を行うものとする。
レリーズボタンが押下され、時点ｔ_１でＯＮ状態とされる（第５図Ａ参照）。レリーズボタンは、例えば、ＯＮ状態とされてからシャッタ速度に応じた時間を経過した時点で自動的にＯＦＦ状態とされる。時点ｔ_１からメカニカルシャッタ１１が開状態とされ（第５図Ｂ参照）、被写体からの光が光学系１０を介して撮像素子１２に照射され、撮像素子１２において非遮光状態での露光が行われる。
例えばレリーズボタンが押下された時点ｔ_１において、制御部１９で垂直同期信号ＶＤが生成され（第５図Ｃ参照）、撮像素子１２に供給される。撮像素子１２は、この垂直同期信号ＶＤに応じて、グローバルシャッタ機能（ＧＳＨ）により全画素に蓄えられた電荷を同時に出力させ、全画素の電荷をリセットする。
時点ｔ_１におけるグローバルシャッタ機能により全画素の電荷がリセットされた直後から、各画素において電荷の蓄積が開始される。時点ｔ_１から所定時間（この例では２０秒）が経過した時点ｔ_２において、制御部１９で垂直同期信号ＶＤが生成され、撮像素子１２に供給される。
この時点ｔ_２における垂直同期信号ＶＤは、レリーズボタンが押下されてから最初の画素読み出しなので、メモリ１６の記憶内容がメモリエリア１６Ａおよび１６Ｂのそれぞれにおいてクリアされる。メモリクリアを行うタイミングは、メモリ１６に対してデータの累積が開始される前であればよく、最初の画素読み出しの時点に限らず、例えばレリーズボタンが押された時点で行っておくようにしてもよい。
撮像素子１２は、この垂直同期信号ＶＤに応じて、ローリングシャッタ機能（ＲＳＨ）により各画素に蓄積された電荷がライン単位で順次、読み出され（第５図Ｄ参照）、撮像信号として出力される。電荷が読み出された画素は、その直後から電荷の蓄積が開始される。
撮像素子１２からライン単位で順次、出力された撮像信号は、Ａ／Ｄ変換器１３でＡ／Ｄ変換され１画素の量子化ビット数がＸビットのディジタル撮像信号とされる。そして、ディジタルクランプ回路１４でクランプされて黒信号レベルが固定される。このディジタルクランプ回路１４におけるクランプ処理により、第１図を用いて説明した、撮像信号から撮像素子の暗電流成分ｄａｒｋを減算する処理が実現される。
ディジタルクランプ回路１４でクランプされたディジタル撮像信号は、加減算部１５に供給され、累積的にメモリ１６に書き込まれる（第５図Ｅ参照）。現時点ｔ_２では、メカニカルシャッタ１１が開状態とされており、撮像素子１２が被写体からの光により露光されているので、ディジタル撮像信号は、上述した非遮光画像信号に対応する。
例えば、第４図を参照し、加減算部１５において、スイッチ３１および３２それぞれで端子３１Ａおよび３２Ａが選択される。ディジタル撮像信号が加算器３０の一方の入力端に供給されると共に、メモリ１６のメモリエリア１６Ａから読み出されたデータが加算器３０の他方の入力端に供給される。この時点では、先の時点ｔ_１においてメモリ１６の記憶内容がクリアされており、加算器３０の他方の入力端には、画素毎に値０が供給される。加算器３０において、一方および他方の入力端に供給されたデータが画素毎に加算され、スイッチ３１を介してメモリエリア１６Ａに上書きされる。
時点ｔ_２から所定期間後の時点ｔ_３および時点ｔ_４でも、この時点ｔ_２と同様に、撮像素子１２におけるローリングシャッタ機能による画素毎の電荷のライン単位での読み出し処理、この読み出し処理に応じて撮像素子１２から出力されたディジタル撮像信号のクランプ処理、クランプされたディジタル撮像信号のメモリエリア１６Ａに対する書き込み処理がなされる。メモリエリア１６Ａに対するディジタル撮像信号の書き込みは、上述と同様に、メモリエリア１６Ａから読み出されたデータと、クランプ処理されて加減算部１５に供給されたディジタル撮像信号とが、加算器３０により画素毎に加算され、メモリエリア１６Ａに上書きされて行われる。
なお、第５図の例では、メカニカルシャッタ１１が開状態で露光された最後の分割露光で画素に蓄積された電荷の読み出しが、時点ｔ_４において行われる。時点ｔ_４は、例えばメカニカルシャッタ１１が開状態から閉状態に移行した時点である。
このように、メカニカルシャッタ１１が開状態とされ、被写体からの光が撮像素子１２に照射されている期間の分割露光により、第１図Ａおよび式（１）を用いて説明した、非遮光画像信号から暗電流ｄａｒｋを減算した結果に対する加算処理が行われる。
メカニカルシャッタ１１が開状態から閉状態に移行すると、次は、メカ状態が閉状態のままで、すなわち、撮像素子１２を遮光状態として撮像素子１２の露光処理が行われる。この第５図の例では、メカニカルシャッタ１１が開状態とされ撮像素子１２に対して被写体からの光が照射された状態で露光が行われた時間と略等しい時間（この例では１分間）だけ、遮光状態での撮像素子１２に対する露光処理が行われる。すなわち、この遮光状態での露光処理において、第１図Ｂおよび式（２）を用いて説明した、遮光画像信号から暗電流成分ｄａｒｋを減算した結果に対する加算処理が行われる。
このメカニカルシャッタ１１が閉状態での露光処理は、上述した、被写体からの光が撮像素子１２に照射される状態での露光処理と略同様にして行われる。撮像素子１２が非遮光状態で露光された最後の分割露光で画素に蓄積された電荷の読み出しが行われた時点ｔ_４の所定時間後の時点ｔ_５に制御部１９で垂直同期信号ＶＤが生成され（第５図Ｃ参照）、撮像素子１２に供給される。撮像素子１２では、この垂直同期信号ＶＤに応じてグローバルシャッタ機能により全画素に蓄積された電荷が同時に出力され、直後から各画素において電荷の蓄積が開始される（第５図Ｄ参照）。
時点ｔ_５から、非遮光画像信号の露光における分割露光時間と対応する所定時間（この例では２０秒）が経過した時点ｔ_６において、制御部１９で垂直同期信号ＶＤが生成され、撮像素子１２に供給される。撮像素子１２は、この垂直同期信号ＶＤに応じてローリングシャッタ機能により各画素に蓄積された電荷がライン単位で順次、読み出され、撮像信号として出力される（第５図Ｄ）。また、電荷が読み出された画素は、読み出しがなされた直後から電荷の蓄積が開始される。
撮像素子１２から出力された撮像信号は、Ａ／Ｄ変換器１３で１画素の量子化ビット数がＸビットのディジタル撮像信号に変換され、ディジタルクランプ回路１４でクランプされ黒信号レベルが固定される。この黒信号レベルが固定されたディジタル撮像信号は、加減算部１５に供給され、上述と同様にして画素毎の値が累積的にメモリ１６に書き込まれる。撮像素子１２が遮光状態で露光されたディジタル撮像信号は、メモリ１６のメモリエリア１６Ｂに書き込まれる。
例えば、加減算部１５において、スイッチ３１および３２それぞれで端子３１Ｂおよび３２Ｂが選択される。ディジタル撮像信号が加算器３０の一方の入力端に供給されると共に、メモリ１６のメモリエリア１６Ｂから読み出されたデータが加算器３０の他方の入力端に供給される。この時点では、先の時点ｔ_１においてメモリ１６の記憶内容がクリアされており、加算器３０の他方の入力端には、画素毎に値０が供給される。加算器３０において、一方および他方の入力端に供給されたデータが画素毎に加算され、スイッチ３１を介してメモリエリア１６Ｂに上書きされる。
時点ｔ_６から所定時間後の時点ｔ_７および時点ｔ_８でも、この時点ｔ_６と同様に、撮像素子１２からの画素の読み出し処理、Ａ／Ｄ変換器１３による画素毎の量子化ビット数がＸビットでのＡ／Ｄ変換処理、ディジタルクランプ回路１４によるクランプ処理、メモリエリア１６Ｂに対するディジタル撮像信号の累積的な書き込み処理が行われる。
撮像素子１２が遮光状態で露光された最後の分割露光で画素に蓄積された電荷の読み出しが時点ｔ_８で行われると、上述した式（３）に基づき、累積された非遮光画像信号と累積された遮光画像信号との間の減算処理が行われる。
例えば、メモリエリア１６Ａおよびメモリエリア１６Ｂから対応する画素のデータが読み出され、それぞれ減算器３３の一方および他方の入力端に供給される。減算器３３は、一方の入力端に供給されたデータから他方の入力端に供給されたデータを減じて出力する。この処理を、メモリエリア１６Ａおよびメモリエリア１６Ｂにそれぞれ書き込まれる１フレーム分の画素データ全てに対して行う。これにより、撮像素子１２の固定パターンによる白点が効果的に除去されると共に、暗電流成分の累積によるダイナミックレンジの劣化が抑えられた撮像画像データを得ることができる。
第６図は、この発明の実施の一形態による一例の露光処理を示すフローチャートである。このフローチャートにおける各判断などは、例えば制御部１９において所定のプログラムに基づきなされる。
このフローチャートの処理に先立って、シャッタ速度が設定されると共に、シャッタ速度により定められる露光時間において分割露光を行う際の分割数が決められる。第７図ＡにおいてステップＳ２１においては、工場出荷時に１枚露光時間として３分、５分等が設定される。ユーザが撮像時にシャッター速度（メカニカルシャッター速度）を例えば６０分に設定する（ステップＳ２２）。分割数は、ステップＳ２３に示すように、（シャッター速度／１枚露光時間＝６０分／３分＝２０）と決定される。他の方法として、第７図Ｂに示すように、ステップＳ３１おいて、工場出荷時に分割数が例えば２０に設定される。ステップＳ３２において、ユーザが撮像時にシャッター速度を例えば６０分に設定する。ステップＳ３３において、１枚露光時間が（シャッター速度／分割数＝６０分／２０＝３分）と決定される。長時間露光撮像時に、シャッター速度を予め設定しなくても良い。この場合は、第８図のステップＳ４１に示すように、１回の分割露光による露光時間を予め決めておき、レリーズが離された時点で露光を終了するようになされる。
第６図のフローチャートに戻って説明すると、ステップＳ１０で、撮像素子１２から電荷を読み出すタイミングが待機される。読み出しタイミングであると判断されれば、例えば制御部１９において垂直同期信号ＶＤが生成され、撮像素子１２に供給される。次のステップＳ１１で、このタイミングにより撮像素子１２から読み出される電荷が、レリーズボタンが押下されてから最初の露光により蓄積されたものであるか否かが判断される。例えば、第５図における時点ｔ_２は、レリーズボタンが押下されてから最初の露光によるものであると判断される。
ステップＳ１１で、若し、最初の露光によるものではないと判断されれば、処理はステップＳ１３に移行される。一方、最初の露光によるものであると判断されれば、処理はステップＳ１２に移行され、メモリ１６の記憶内容がクリアされ、処理がステップＳ１３に移行される。ステップＳ１３は、撮像素子１２に被写体からの光を照射した非遮光状態で行った露光なのか、撮像素子１２を遮光状態で行った露光なのかが判断される。撮像素子１２に被写体からの光を照射した非遮光状態で行った露光であると判断されれば、処理はステップＳ１４に移行される。一方、撮像素子１２を遮光状態で行った露光であると判断されれば、処理はステップＳ１５に移行される。
ステップＳ１４では、撮像素子１２に非遮光状態で行われた露光により得られたディジタル撮像信号である非遮光画像信号が加減算部１５に供給され、上述したようにしてメモリ１６のメモリエリア１６Ａに累積的に書き込まれる。一方、ステップＳ１５では、撮像素子が遮光状態で行われた露光により得られたディジタル撮像信号である遮光画像信号が加減算部１５に供給され、上述したようにしてメモリ１６のメモリエリア１６Ｂに累積的に書き込まれる。
ディジタル撮像信号のメモリエリア１６Ａまたは１６Ｂへの累積的な書き込みがなされたら、処理はステップＳ１６に移行され、決められた分割数に応じた所定回数の露光が終了したかどうかが判断される。若し、未だ当該所定回数の露光が終了していないと判断されたら、処理はステップＳ１０に戻され、次の露光タイミングが待機される。
一方、ステップＳ１６で、当該所定回数の露光が終了したと判断されれば、処理はステップＳ１７に移行される。ステップＳ１７では、加減算部１５において、上述した式（３）に基づき、メモリエリア１６Ａに累積的に書き込まれた非遮光画像信号から、メモリエリア１６Ｂに累積的に書き込まれた遮光画像信号を減算する処理が、画素毎に行われる。この画素毎の減算処理を、メモリエリア１６Ａおよびメモリエリア１６Ｂにそれぞれ書き込まれる１フレーム分の画素データ全てに対して行う。
第８図を参照して説明したように、工場出荷時に１回の露光時間が設定され、レリーズが離された時点で露光を終了するようにした場合の処理について、第９図Ａおよび第９図Ｂのフローチャートを参照して声明する。
最初に、第９図Ａのフローチャートで示すように、非遮光状態の処理がなされる。第６図中のステップＳ１０、Ｓ１１、Ｓ１２、Ｓ１４に対応する処理をステップＳ１１０、Ｓ１１１、Ｓ１１２、Ｓ１１４として表記する。
最初のステップＳ１０１において、分割露光回数を示すカウント値ＣＮＴ１が０に初期化される。その後、第６図のフローチャートに示される処理と同様に、非遮光状態の露光がなされる。ステップＳ１０２において、カウント値ＣＮＴ１が分割露光の度にインクリメントされ、カウント値ＣＮＴ１が記憶される。そして、ステップＳ１０３において、レリーズが離されたと判定されると、ステップＳ１０４において、メモリエリア＃１にて非遮光画像信号の加算がなされる。
次に、第９図Ｂに示される遮光状態の処理に移る。第９図Ｂでは、第６図中のステップＳ１０、Ｓ１１、Ｓ１２、Ｓ１５に対応する処理をステップＳ２１０、Ｓ２１１、Ｓ２１２、Ｓ２１５として表記する。最初のステップＳ２０１において、分割露光回数を示すカウント値ＣＮＴ２が０に初期化される。ステップＳ２０２において、カウント値ＣＮＴ２が分割露光の度にインクリメントされ、カウント値ＣＮＴ２が記憶される。そして、ステップＳ２０３において、（ＣＮＴ１＝ＣＮＴ２）と判定されると、ステップＳ２１７において、メモリエリア＃１に保持されている非遮光画像信号の加算出力からメモリエリア＃２に保持されている遮光画像信号の加算出力が減算される。
上述した、この発明の実施の一形態による制御の利点の例について、第１０図〜第１２図を用いて説明する。第１０図を用いて、分割露光毎に暗電流成分ｄａｒｋを差し引いた上で、ディジタル撮像信号を累積加算することの一例の利点について説明する。なお、以下の説明において、被写体信号成分は、撮像素子１２からの出力に基づく撮像画像信号から撮像素子１２の固定パターンによるノイズ成分や暗電流成分ｄａｒｋを除いた信号成分であるものとする。
長時間露光を行うと、露光時間に伴い被写体信号成分が増加すると共に暗電流成分も累積され増加する。その結果、第１０図Ａに例示されるように、露光時間ｅｔで被写体信号成分と暗電流成分とを加算した非遮光画像信号成分がＡ／Ｄ変換器における最大出力信号レベルであるＸビットに達してしまい、露光時間ｅｔ以降において、非遮光画像信号成分レベルが飽和しクリップされてしまう。したがって、露光時間ｅｔ以降において、被写体信号のダイナミックレンジが著しく減少してしまう。
この実施の一形態では、長時間露光において露光時間を分割して分割露光を行い、且つ、分割露光毎に被写体信号成分から暗電流成分ｄａｒｋを差し引いている。そのため、非遮光画像信号成分がＡ／Ｄ変換器の最大出力信号レベルに達する前に暗電流成分ｄａｒｋが差し引かれ、非遮光画像信号として被写体信号成分のみを累積加算することができ、第１０図Ｂに例示されるように、ダイナミックレンジを確保することができる。
第１１図を用いて、撮像素子１２が非遮光状態で露光を行い得られた非遮光画像信号から、撮像素子１２が遮光状態で露光を行い得られた遮光画像信号を差し引くことの一例の利点について説明する。非遮光画像信号は、被写体からの光に基づく被写体信号成分と、撮像素子１２の固定パターンに基づくノイズ成分とが合成された信号である。長時間露光を行うと、露光時間に伴い被写体信号成分が増加すると共に固定パターンに基づくノイズ成分も累積されて増加する。その結果、第１１図Ａに例示されるように、累積されたノイズ成分により被写体信号成分のダイナミックレンジが圧迫されてしまうことになる。
この実施の一形態では、メカニカルシャッタ１１を開状態として露光を行い非遮光画像信号を得た後、メカニカルシャッタ１１を閉状態として、非遮光画像信号の露光時間と略同一の時間だけ露光を行い遮光画像信号を得るようにしている。遮光画像信号は、撮像素子１２の固定パターンに基づくノイズのみが累積される。したがって、遮光画像信号の露光後に、非遮光画像信号成分から遮光画像信号成分を差し引くことで、第１１図Ｂに例示されるように、非遮光画像信号に被写体信号成分のみを得ることができ、被写体信号成分のダイナミックレンジを確保することができる。
第１２図を用いて、ディジタル撮像信号の累積加算を行う際に用いるメモリ１６において、Ａ／Ｄ変換器１３における１画素の量子化ビット数を超えるビット数を、１画素に対して割り当てることの一例の利点について説明する。なお、第１２図Ａおよび第１２図Ｂにおいて、非遮光画像信号成分を示す直線は、メモリエリア１６Ａにおける値を示し、欠陥成分を示す直線は、メモリエリア１６Ｂにおける値を示すものとする。メモリエリア１６Ａの非遮光画像信号成分とメモリエリア１６Ｂの欠陥成分との差分が、被写体からの光に基づく被写体信号成分となる。
先ず、メモリ１６において、１画素に対してＡ／Ｄ変換器１３の１画素の量子化ビット数（Ｘビット）と等しいビット数を割り当てた場合について考える。この場合、第１２図Ａに例示されるように、露光時間に伴い非遮光画像信号成分が累積的に増加し、メモリエリア１６Ａでは、非遮光画像信号成分の累積結果が例えば露光時間ｅｔにおいてＸビットのデータ長で飽和し、露光時間ｅｔ以降、Ｘビット以上の累積成分がクリップされてしまうことが考えられる。この場合、露光時間ｅｔ以降で、非遮光画像信号成分の累積結果から欠陥成分の累積結果を差し引いた結果である被写体信号成分において、ダイナミックレンジが大幅に減少してしまうことになる。
そこで、この発明の実施の一形態では、メモリ１６において、１画素に対してＡ／Ｄ変換器１３の１画素の量子化ビット数を超えるビット数（Ｙビットとする）を割り当てるようにしている。これにより、第１２図Ｂに例示されるように、長時間の露光を行っても、非遮光画像信号成分の累積結果がメモリエリア１６Ａにおいて飽和するのが抑制され、被写体信号成分のダイナミックレンジが確保される（第１２図Ｃ参照）。

Claims (5)

1. 複数の画素を有し、各画素毎に光電変換によって生成された電荷を蓄積し、各画素で蓄積された電荷からなる画素データで構成される撮像信号を出力する撮像素子と、
   上記撮像信号を記憶する第１および第２の記憶部と、
   上記撮像信号を各画素データ毎に加算する加算部と、
   非遮光状態において、露光時間を複数の分割回数に分割してなる分割露光時間毎に上記撮像素子から上記撮像信号を出力させ、上記分割露光時間毎の撮像信号を画素データ毎に累積的に加算した上で上記第１の記憶部に記憶させ、
   遮光状態において、上記露光時間を複数の分割回数に分割してなる上記分割露光時間毎に上記撮像素子から上記撮像信号を出力させ、上記分割露光時間毎の撮像信号を画素データ毎に累積的に加算した上で上記第２の記憶部に記憶させる制御部と、
   上記第１の記憶部に記憶された上記複数の分割回数分累積的に加算された各画素データから、上記第２の記憶部に記憶された上記複数の分割回数分累積的に加算された各画素データを減算する減算部とを
   備える撮像装置。
2. 請求項１において、
   上記撮像信号をＡ／Ｄ変換してディジタル撮像信号を出力するＡ／Ｄ変換部と、
   上記ディジタル撮像信号から上記撮像素子の暗電流成分に対応する成分を除去するディジタルクランプ部とをさらに備える撮像装置。
3. 請求項２において、
   上記ディジタル撮像信号の１画素に割り当てられる第１の語長に比して、上記第１の記憶部および上記第２の記憶部にそれぞれ記憶される１画素に対して上記第１の語長より長い語長が割り当てられる撮像装置。
4. 複数の画素を有し、各画素毎に光電変換によって生成された電荷を蓄積し、各画素で蓄積された電荷からなる画素データで構成される撮像信号を出力する撮像素子を用いて撮像を行う撮像方法において、
   上記撮像信号を上記撮像素子から出力する撮像ステップと、
   非遮光状態において、露光時間を複数の分割回数に分割してなる分割露光時間毎に上記撮像素子から非遮光画像信号として上記撮像信号を出力させるステップと、
   上記分割露光時間毎の上記非遮光画像信号を画素データ毎に累積的に加算するステップと、
   遮光状態において、露光時間を複数の分割回数に分割してなる上記分割露光時間毎に上記撮像素子から遮光画像信号として上記撮像信号を出力させるステップと、
   上記分割露光時間毎の上記遮光画像信号を画素データ毎に累積的に加算するステップと、
   上記遮光状態で上記複数の分割回数分累積的に加算された各画素データから、上記非遮光状態で上記複数の分割回数分累積的に加算された各画素データを減算する減算ステップとを
   備える撮像制御方法。
5. 複数の画素を有し、各画素毎に光電変換によって生成された電荷を蓄積し、各画素で蓄積された電荷からなる画素データで構成される撮像信号を出力する撮像素子を用いて撮像を行う撮像方法をコンピュータに実行させるプログラムにおいて、
   上記撮像方法は、
   上記撮像信号を上記撮像素子から出力する撮像ステップと、
   非遮光状態において、露光時間を複数の分割回数に分割してなる分割露光時間毎に上記撮像素子から非遮光画像信号として上記撮像信号を出力させるステップと、
   上記分割露光時間毎の上記非遮光画像信号を画素データ毎に累積的に加算するステップと、
   遮光状態において、露光時間を複数の分割回数に分割してなる上記分割露光時間毎に上記撮像素子から遮光画像信号として上記撮像信号を出力させるステップと、
   上記分割露光時間毎の上記遮光画像信号を画素データ毎に累積的に加算するステップと、
   上記遮光状態で上記複数の分割回数分累積的に加算された各画素データから、上記非遮光状態で上記複数の分割回数分累積的に加算された各画素データを減算する減算ステップとを
   備える撮像制御プログラム。

Images