以下、図面に従って本発明に係る撮像装置をカメラに適用した好ましい実施形態について説明する。本発明の好ましい実施形態に係るカメラは、撮影された光像を映像信号に変換し、この映像信号に基づいて画像データを得るデジタルカメラである。デジタルカメラは撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面等に配置した表示部にライブビュー表示する。撮影者は、撮影を指示するためのレリーズ操作の前は、表示部に表示されたライブビュー画像を観察することにより、構図やシャッタチャンスを決定する。撮影者がレリーズ操作を行うと、撮像部から得られた画像データが記録媒体に記録される。また、記録媒体に記録された画像データは、撮影者がカメラの操作部を操作し再生モードを選択すると、記録媒体から画像データが読み出され、表示部に再生表示することができる。
また、このカメラは、露光開始と露光終了のタイミングを撮影者の意思に基づいて撮影する、所謂バルブ撮影が可能である。バルブ撮影時には、撮影者が撮影経過表示モード(ライブバルブモードともいう)を選択設定すると、カメラは、バルブ撮影中に、撮像部から予め設定された時間毎に、またはカメラが被写体や撮影感度等に応じて算出した間隔で画像データを読出し、この読出した画像データの加算画像を生成し、この加算画像を表示部に表示する。
図1は、本発明の第1実施形態におけるカメラ100の主として電気的構成を示すブロック図である。このカメラ100は撮像部として、レンズ1、絞り2、メカシャッタ3、イメージセンサ4を有する。レンズ1は被写体の光学像(被写体像)を形成するための複数の光学レンズによって構成され、単焦点レンズまたはズームレンズである。図示しないレンズ駆動機構によってレンズ1を構成するフォーカスレンズが光軸方向に沿って移動することによりピント合わせが行われる。
絞り2は、レンズ1の後方、もしくはレンズ1を構成するレンズ群の内部に配置され、開口径を可変にすることにより、レンズ1を透過した被写体光量を減少させる。メカシャッタ3は、絞り5の後方に配置され、レンズ1を透過した被写体光の開閉動作を行い、この開閉動作によりイメージセンサ4への露出や遮光を行い、また、シャッタ速度の制御を行う。
レンズ1の光軸上であって、被写体像が形成される付近にイメージセンサ4が配置されている。イメージセンサ4は、レンズ1によって形成された被写体像を画像信号に変換し出力する。このイメージセンサ4は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。
このイメージセンサ4は、二次元的に配置された画素に電荷蓄積された電気信号を順次、所定の周期で繰り返し読み出し動作を行い、被写体像をアナログ出力の画像信号に変換する。また、イメージセンサ4は、各画素に入射する光に対して、それぞれR、G、Bの光の三原色で透過するカラーフィルタが配置されており、被写体像の画像信号への変換にあたって、R、G、Bの色成分のアナログ画像信号が出力される。このような作用によって取得されたアナログ画像信号をA/D変換部5に出力する。
また、イメージセンサ4のセンサ面は、後述するように(図4参照)、有効画素領域とOB画素領域から構成され、有効画素領域は被写体像を光電変換した画像信号を出力する領域であり、OB画素領域は完全に遮光されたOB画素出力を出力する領域である。イメージセンサ4としては、各画素の蓄積電荷量を、順次転送して画像信号を得るCCDイメージセンサや、画素毎に蓄積電荷を電圧に変換するチャージアンプ回路を有し、電圧信号を順次転送するMOSイメージセンサ等の固体撮像素子である。また、イメージセンサ4は、上述したような各画素に対してR,G,Bのカラーフィルタを用いたタイプに限らず、イメージセンサ中の光の透過特性の違いを利用してR,G,B等の信号を得る積層型のイメージセンサ等を用いてもよい。
A/D変換部5は、イメージセンサ4から出力されたアナログ出力の画像信号を入力し、デジタルの画像データに変換する。このデジタルの画像データは、それぞれ、R、G、Bの色成分のデジタル化された輝度データにより構成される。このA/D変換部5で変換されたデジタル画像データは、画像処理部10内の画像合成部11および現像処理部15に出力される。
画像処理部10内には、画像合成部11、出力検出部12、および現像処理部15が設けられている。これらの各部は、システム制御部20とバスライン7を介して接続されている。これにより、各部は、画像データ等の各種データの入出力や、またシステム制御部20との制御命令等の入出力を行う。なお、これらの各部間のデータ入出力や制御命令を伝達させるバスライン7は、電気信号の伝送線路に限らず、光伝送路であってもよい。
画像合成部11はイメージセンサ5から所定時間間隔で読み出され、AD変換されたデジタル画像信号(この画像信号はRAW信号)を入力し、累積加算演算を行い、加算画像を生成する。この累積加算演算の詳細については、図4を用いて後述する。
画像合成部11の出力は、出力検出部12に接続されている。出力検出部12は、画像合成部11によって合成された加算画像の画像データの輝度レベルや、輝度レベルの時間的変換や、撮像領域の輝度分布(ヒストグラム)等を検出する。この輝度レベルは、イメージセンサ4から取得される各画像出力のR、G、Bの三原色の輝度値から、白黒成分を演算して取得される。
後述のシステム制御部20によるAE動作では、被写体像全体の平均輝度値、もしくは撮影者が表示部において指定した特定のエリアにおける輝度値(例えば、最大輝度値、または特定エリアの平均輝度値)を得る。出力検出部12は、画像合成部により加算された中間合成画像データ(加算画像の画像データに対応)又はこの中間画像データを構成する各々の画素データレベルを検出する出力検出部として機能する。
出力検出部12の出力とA/D変換部5の出力は現像処理部15に接続されている。現像処理部15は、画像合成部11により合成された画像データ、またはA/D変換部5でデジタル化された画像データに対して現像処理を行う。このA/D変換部5から出力される画像データおよび出力検出部12から出力される画像データは、いずれも現像処理が施される前のRAW画像データである。現像処理部15における現像処理として、同時化処理(デモザイキング)、ホワイトバランス調整、ガンマ補正、画像圧縮等の処理を行う。
内部メモリ6は、フラッシュメモリ等の不揮発性メモリによって構成され、カメラ動作に必要な各種設定情報や、画像処理時に途中経過の画像を一時的に記憶する。なお、前述の加算画像の画像データも一時記憶される。一時記憶用のメモリは、揮発性メモリでもかまわない。
外部メモリ21は、カメラ100に内蔵または装填可能な不揮発性のメモリであり、現像処理部15において現像処理された画像データを記録する。
表示部22は、TFTや有機EL等の電子ビューファインダ(EVF)によって構成され、カメラ100の本体背面等に配置される。この表示部22は、撮影時のライブビュー表示、撮影済みの画像データの再生表示、撮影条件等の設定のためのメニュー画面等の表示を行う。撮影経過表示モードが設定されている際には、表示部22に露光中の加算画像も表示される。表示部22で表示する際には、画像データをリサイズした後に行う。
指示部23は、レリーズ釦、OK釦、十字釦、パワースイッチ、再生釦等(不図示)、各種の操作部材を含み、撮影者が操作する。レリーズ釦は、押し込み状態が半押しと全押しの2段階で検知可能であり、半押し状態で第1スイッチがオンとなり撮影準備を行い、全押しで第2スイッチがオンとなり撮影を行う。十字釦は、上下左右の4つの釦から構成され、表示部22に表示されるカメラ制御画面またはメニュー画面において、撮影者が操作入力時に領域を指定する際にカーソル位置の変更に使用される。OK釦は、撮影者の押し操作に基づいて、表示部22に表示されるカメラ制御画面またはメニュー画面上の項目等に対して、十字釦によって選択された項目等を確定する。
システム制御部20は、内部メモリ6に記憶されたプログラムに従って、カメラ100の全体制御を行う。すなわち、システム制御部20は、指示部23を介して撮影者から指示を受けると、イメージセンサ4の撮像を開始させ、画像信号の読み出し等のタイミング制御、メカシャッタ3の開閉タイミング制御、レンズ1のオートフォーカス制御や絞り2の絞り制御等を行う。また、画像処理部10によって処理された画像データに基づいてライブビュー画像やバルブ撮影時の撮影経過画像等を表示部22に表示させ、また外部メモリ21に画像データの記録を行わせる。
次に、本実施形態におけるバルブ撮影の動作を図2に示すフローチャートを用いて説明する。このフローチャートおよび後述する図3、図8、図12、図16、図19に示すフローチャートは、内部メモリ6に記憶されたプログラムに従って、システム制御部20が実行する。
本実施形態においては、メニュー画面等において、撮影経過表示(バルブ撮影の途中で撮影中の画像表示を行うこと)を行なわない通常のバルブ撮影モードと、画像データを累積加算し加算画像の表示を行なう撮影経過表示モードに基づくライブバルブ撮影モードを選択できるようにする。バルブ撮影に慣れており、イメージセンサ9から画像読出しと加算処理を繰り返すことにより発生する画質劣化を嫌う撮影者は撮影経過表示を行なわない従来のバルブ撮影を選択できる。一方、バルブ撮影中の撮影経過表示を観察しながら、撮影停止のタイミングを決めたり、また撮影者の意図する画像となるように被写体画像の一部または全部に対して、露出補正等の画像処理を行いたい場合には、撮影経過表示モードによるライブバルブ撮影を選択できる。
バルブ撮影に先だって、撮影者は、カメラ100の表示部22に表示されているライブビュー表示、または光学ファインダ(不図示)を観察して、被写体の状況に合わせてカメラ100の向きやレンズの焦点距離(ズーム)を調整することにより撮影構図を決める。また、必要に応じて、撮影者は指示部23等によって撮影経過表示モードの選択や、絞り2の絞り値の設定や、イメージセンサ4のISO感度等の撮影情報の設定を行う。
撮影者の操作に基づいて、図2に示すバルブモード選択のフローに入ると、まず、1stレリーズがオンされたか否かの判定を行う(S1)。ここでは、システム制御部20が、指示部23の1つであるレリーズ釦が半押しされ、1stレリーズスイッチがオンされたか否かを検出して判定する。この判定の結果、オンでない場合には、待機状態となる(ステップS1の判定に戻る)。
ステップS1における判定の結果、1stレリーズがオンになると、AF動作を行う(S3)。ここでは、システム制御部31は、オートフォーカス(AF)動作を行う。このAF動作では、システム制御部20は、イメージセンサ4から繰り返し読み出される画像信号に基づく画像データの輝度の明暗差の評価値であるコントラストが、最大値となるように、レンズ1のフォーカスレンズを駆動制御して合焦点を合わせる。なお、AF動作としては、コントラストAFに限らず、位相差センサを用いた位相差AFでもよい。
ステップS3においてAF動作を行うと、次に、撮影者の操作によって、2ndレリーズがオンされたか否かを判定する(S5)。ここでは、システム制御部20が、撮影者の操作に基づいて、指示部23の1つであるレリーズ釦が半押しから更に全押しさたか否かを、2ndレリーズスイッチがオンになったか否かを検出することによって判定する。この判定の結果、オンでない場合には、2ndレリーズ検出に基づく撮影開始の待機状態となる(ステップS5の判定ステップを繰り返す)。
ステップS5における判定の結果、2ndレリーズがオンとなると、次に、撮影経過表示モードか否かを判定する(S7)。前述したように、撮影経過表示モードは、メニュー画面等において設定するので、このステップでは撮影経過表示モードが設定されたか否かを判定する。この判定の結果、撮影経過表示モードが設定されていた場合(ステップS7の判定:Yes)には、ステップS9以下において撮影経過表示モードにおけるライブバルブ撮影を実行する。一方、撮影経過表示モードが設定されていない場合(ステップS7の判定:No)には、ステップS31以下において通常のバルブ撮影を実行する。通常のバルブ撮影においては、バルブ撮影中にイメージセンサ4から画像信号の読み出しを行うことがなく、したがって加算画像による経過表示はなされない。
ステップS7における判定の結果、撮影経過表示モードが設定されていなかった場合には、露出を開始する(S31)。このステップでは、システム制御部20は、イメージセンサ4に対して電荷蓄積の開始を指示し、露出を開始する。
露出を開始すると、次に、撮影者の操作に基づいて、2ndレリーズがオフされたか否かを判定する(S33)。撮影者は、レリーズ釦を全押してバルブ撮影を開始すると、バルブ撮影の続行中はレリーズ釦の全押しを継続している。バルブ撮影を終了する場合には、レリーズ釦の全押しを解除する(すなわち、レリーズ釦から指を離す)。このステップでは、2ndレリーズスイッチがオフか否かを判定する。この判定の結果、2ndレリーズがオンの場合(ステップS33の判定:No)には、バルブ撮影を続行する。バルブ撮影中には、イメージセンサ4から画像信号の読み出しを行うことがなく、このため、バルブ撮影中の経過画像は表示されない。
ステップS33における判定の結果、2ndレリーズがオフとなると(ステップS33の判定:Yes)、画像信号の読み出しを行う(S35)。ここでは、システム制御部20はイメージセンサ4から画像信号の読み出しことを指示し、画像信号が読み出される。
ステップS35においてイメージセンサ4からアナログ画像信号の読み出しを行うと、次に、A/D変換を行う(S37)。ここでは、読み出された画像信号をA/D変換部5に出力し、A/D変換部5がデジタルの画像データに変換する。
ステップS37においてA/D変換がなされると、次に、ステップS37においてAD変換されたデジタルの画像データが内部メモリ6に記憶される(S39)。続いて、現像処理がなされる(S41)。ここでは、現像処理部15によって、RAWデータ形式の画像データの現像処理を行う。
現像処理を行うと、次に、外部メモリ21に記憶する(S43)。ここでは、ステップS41において現像処理された画像データを外部メモリ21に記憶する。続いて、画像表示を行う(S45)。ここでは、現像処理された画像データに基づいて表示部23に表示する。ステップS31〜S45における通常のバルブ撮影では、バルブ撮影開始から終了までの間、バルブ撮影によって取得した撮影画像は表示されることがなく、このステップS45において初めて撮影画像の表示がなされる。
次に、ステップS7に戻り、このステップにおける判定の結果、撮影経過表示モードが設定されていた場合(ステップS7の判定:Yes)には、露出を開始する(S9)。ここでは、システム制御部31は、イメージセンサ9に対して電荷蓄積の開始を指示し、露出を開始する。なお、露出の開始にあたっては、表示部22においてバルブ撮影の途中経過を表示する時間周期に対応する露出時間Tの設定も併せて行う。露出時間Tは、カメラ100に予め設定されている初期設定値、または撮影者が指示部23を介して設定した時間、または被写体輝度等に応じて自動的に設定される時間である。
露出を開始すると、次に、露出時間Tが経過したか否か、または2ndレリーズオフか否かを判定する(S11)。この判定の結果、露出時間Tが経過していない場合、または2ndレリーズがオフでない場合(ステップS11の判定:No)には、露出時間Tが経過するまで、または2ndレリーズスイッチがオフになるまで露光継続状態となる。
ステップS11における判定の結果、露出時間Tが経過すると(ステップS11の判定:Yes)、画像信号の読み出しを行う(S13)。ここでは、システム制御部20はイメージセンサ4から画像信号の読み出しを指示し、アナログの画像信号が読み出される。
画像信号の読み出しを行うと、次に、A/D変換を行う(S15)。ここでは、イメージセンサ4から読み出された画像信号がA/D変換部5に出力され、A/D変換部5がデジタルの画像データに変換する。ステップS15においてA/D変換がなされると、次に、デジタルの画像データを内部メモリ6に記憶する。
内部メモリにデジタルの画像データを記憶すると、次に、再度、露出を開始する(S19)。ここでは、ステップS9と同様に、システム制御部20は、イメージセンサ4に対して電荷蓄積の開始を指示し、露出を開始する。また、露出時間Tがリセットされ、露出時間Tの計時動作が再スタートする。イメージセンサ4から読み出された1フレーム分の画像データが内部メモリ6に記憶された直後に、次のフレームの撮像を開始することにより、フレーム間の時間間隔を最小限にして連続的に撮像することができる。
ステップS19において露出を開始すると、次に、画像処理を行う(S21)。ここでは、画像合成部11によって加算画像の合成がなされる。すなわち、イメージセンサ4からの画像信号が出力される毎に、内部メモリ6に記憶されている加算画像の画像データに、読み出されたばかりの画像信号に基づく画像データの加算演算処理を施し、この加算された加算画像を、再度、内部メモリ6に記憶する。加算画像の画像データは、撮影経過表示モードにおいて、表示部22への表示用の合成画像データとして使用される。また、加算演算の際には、図20を用いて説明したように、有効画素領域からの各R,G,B信号からOB画素出力を減算する。この加算画像の合成処理の詳細については、図3ないし図7を用いて後述する。
画像処理を行うと、次に、現像処理を行う(S23)。ここでは、画像合成部11によって合成された加算画像のRAW形式のデジタル画像データに対して、現像処理部15が現像処理を行う。
現像処理を行うと、次に、画像表示を行う(S25)。ここでは、ステップS23において現像処理された画像データに基づいて、バルブ撮影時における撮影経過画像が表示される。撮影者はこの経過画像を見ることにより、バルブ撮影の進行状況を確認でき、バルブ撮影の終了タイミングの判断等を行うことができる。
画像表示を行うと、次に、ステップS33と同様に、システム制御部20は、撮影者の操作に基づいて、2ndレリーズがオフされたか否かを判定する(S27)。前述したように、表示部22にはバルブ撮影における露出時間T毎に経過表示がなされており、撮影者がこの経過表示を観察してバルブ撮影を終了すると判断した場合には、レリーズ釦から手を離す。この判定の結果、2ndレリーズがオンであった場合(ステップS27に判定:No)には、ステップS11に戻り、撮影経過表示モードにおけるバルブ撮影を続行する。一方、ステップS27における判定の結果、2ndレリーズがオフであった場合には、外部メモリ21に画像データを記憶する(S29)。
ステップS29において画像データを外部メモリ21に記憶すると、またはステップS45においてバルブ撮影の撮影画像を表示すると、このバルブ撮影のフローを終了する。
なお、図2に示すフローチャートおいては、イメージセンサ4の全画素に対して電子的に同時に露光を開始させるグローバルシャッタ動作を前提とするものであった。これに対して、画素の電荷を行毎に順次に画素毎に設けられた遮光された蓄積部に転送してから読み出すローリングシャッタ動作を適用してもよい。ローリングシャッタ動作を適用した場合は、ステップS11において、画素の電荷を行毎に蓄積部に転送すると同時に、この蓄積部への電荷の転送が行われた行の画素について次の露光を開始することから、ステップS19における露出開始の動作は不要になる。
次に、ステップS21における加算画像を生成するための画像処理について、図3ないし図7を用いて説明する。図3は、ライブバルブ撮影モードにおける加算画像の生成動作の概略を示すフローチャートである。バルブ撮影を開始すると、画像の読み込みを行う(S51)。ここでは、電子シャッタ速度をt(露光時間Tに相当)として、1フレーム分の画像の露光と読み込みを行う。このステップでの動作は、前述の図2におけるステップS11〜S19の動作に相当することから、詳しい説明は省略する。
画像読み込みを行うと、次に、画像加算を行う(S53)。ここでは、露光時間Tが経過する毎に読み出された画像の画像データにそれまでの累積加算演算された画像データを加算して、新たな加算画像の画像データを生成する。そして、この生成した画像データに現像処理を施す。このステップでの動作は、前述の図2におけるステップS21およびS23の動作に相当することから、詳しい説明は省略する。
画像加算を行うと、次に、経過表示を行う(S55)。ここでは、ステップS53において取得した加算画像を表示部22に表示する。このステップでの動作は、前述の図2におけるステップS25の動作に相当することから、詳しい説明は省略する。
経過表示を行うと、次に、撮影か否かの判定を行う(S57)。ここでは、撮影者がバルブ撮影を終了するか、続行するか否かについて、2ndレリーズがオフされたか否かに基づいて判定する。この判定の結果、撮影を終了しない場合(ステップS57の判定:No)には、ステップS51に戻り、バルブ撮影を続行する。このステップでの動作は、前述の図2におけるステップS27の動作に相当することから、詳しい説明は省略する。
ステップS57における判定の結果、バルブ撮影を終了場合(ステップS57の判定:Yes)には、最終画像記録を行う(S59)。ここでは、ステップS53において生成された加算画像の画像データを外部メモリ21に記憶する。このステップでの動作は、前述の図2におけるステップS29の動作に相当することから、詳しい説明は省略する。
次に、図4を用いて、加算画像を生成するための画像処理について説明する。イメージセンサ4は、前述したように、被写体像を光電変換し画像信号を出力する有効画素領域4aと、完全に遮光されOB画素出力を出力するOB画素領域4bを有する。
画像合成部11は、加算器11aと、減算器11b、メモリ11c、およびメモリ11dを有する。加算器11aは、有効画素領域4aからの画像データと加算画像メモリ6aからの加算画像の画像データを加算する。ここで、有効画素領域4aからの画像データ、および加算画像メモリ6aからの画像データもAビットであり、OB減算部分のみのデジタルデータである。減算器11bは、加算器11aから出力される加算画像データから、メモリ11dから出力されるOB値のOB減算部分を減算する。
画像合成部11内のメモリ11cはOB画素領域4bの出力に基づくOB画素出力平均値を記憶する。このOB画素出力平均値は、OB画素領域4bから出力される複数のOB画素出力のデジタルデータの平均値である。メモリ11cに格納される平均値の小数点以下のビット数は、最大加算枚数Nの2を底とする対数以上とする。すなわち、下記(1)式の関係を有する。
小数点以下のビット数≧Log2(最大加算枚数N) (1)
ここで、最大加算枚数Nは、バルブ撮影モードにおいて撮影経過表示モードが選択されている場合に、加算画像を生成するにあたって、予め設定されている加算枚数の上限値である。加算演算を繰り返すと、ノイズ等により画像が劣化するために、予め加算枚数の上限値を設定しておく。したがって、本実施形態においては、撮影経過表示モードが設定されていても、最大加算枚数Nを超えると、加算演算は行われず、加算画像の更新も行われなくなる。
メモリ11dは、メモリ11cに格納されたOB値のデジタルデータの内、整数Aビットを減算器11bに出力し、小数点以下のBビットをメモリ11cに出力する。メモリ11cは、小数点以下のBビットを入力すると、OB画素領域4bから出力されたOB画素出力平均値に加算する。このため、メモリ11cはメモリ機能に加えて加算機能を有する。
内部メモリ6は、加算画像メモリ6aを有する。加算画像メモリ6aは、減算器11bから出力されるN枚の画像を加算したN加算画像の画像データを入力し、これを一時記憶する。そして、イメージセンサ4の有効画素領域4aから画像データが出力されると、加算画像メモリ6aに一時記憶したN加算画像の画像データを出力する。したがって、加算画像メモリ6aには、イメージセンサ4の有効画素領域4aから画像データが出力されると、最新の加算画像の画像データが格納される。
図4に示すOB補正処理と加算画像処理を行うためのブロック図の動作について、図5を用いて説明する。図5において、RAWデータ1(#51)は、イメージセンサ4の有効画素領域4aから出力された画像データ(RAWデータ形式)に対応し、RAWデータ2(#52)は、内部メモリ6内の加算画像メモリ6aから出力されるN−1加算画像の画像データ(RAWデータ形式)に対応する。また、加算(#56)は、画像合成部11内の加算器11aにおける加算演算に対応し、OB値1減算(#57)は、画像合成部11内の減算器11bにおける減算演算に対応する。
したがって、イメージセンサ4からのRAWデータ1(#51)と、内部メモリ6からのRAWデータ2(#52)は、加算演算がなされる(#56)。この加算演算がなされると、次に、加算値からOB値1の減算演算がなされ(#57)、この結果が合成後RAWデータとして出力される(#59)。
図4および図5の構成の対応関係を説明すると、まずイメージセンサ4から画像データ(RAWデータ1)が出力される(図4の加算器11aに入力するN枚目画像に対応)。次に内部メモリ6から直近の加算画像の画像データ(RAWデータ2)が出力され(図4の加算器11aに入力するN−1加算画像に対応)、両画像データは加算演算され(図4の加算器11aにおける加算演算)、加算画像の画像データが生成される。N枚目画像データに相当するRAWデータ1には、図20を用いて説明したように、OB値1が重畳している。そのため、加算画像の画像データには、RGB画素のそれぞれの出力にも、OB値1が重畳された状態である。そこで、加算画像からOB値1を減算している(#57参照)。OB値1を減算すると、合成後RAWデータが得られる(#59参照)。
なお、#57におけるOB値1減算にあたっては、RAWデータの最大値よりも余裕のある値に設定しておくことが望ましい。この点について、図6を用いて説明する。図6において、(a)は、イメージセンサ4の有効画素領域4aから出力されるRAWデータの最大値を示している。ここで、符号61aは有効画像のOB値に相当し、符号61bは実質的な画像データに相当する。
図6の(b)において、画像データ63は累積加算画像に相当し(図5のRAWデータ1に相当)、画像データ64はイメージセンサ4から今回読み出された画像に相当する(図5のRAWデータ2に相当)。画像データ63、64は、共に有効画素のOB値63a、64aを含んでいることから、両者を加算した画像データ65は、図6の(c)に示すように、RAWデータの最大値(Max)を超えてしまう場合がある。すなわち、有効画素のOB値65aは、加算によりOB値が2倍となっており、このため、加算値をRAW最大値でクリップすると、実際の加算値よりも小さくなってしまう(符号65b参照)。そこで、加算演算にあたって、少なくとも、RAWデータの最大値よりもOB値1つ分の値に対応できるように、例えば、画像データを格納するメモリのビット数、及び伝達するバスラインのバス幅を、1ビット程度余裕を持たせておけばよい(符号65c参照)。
加算演算時のメモリのビット数に余裕を持たせておけば、加算値が正しく算出され、この加算値からOB画素出力平均値を減算すれば(図5の#57参照)、図6の(d)に示すように、RAWデータの最大値以内となる。このように、合成画像の生成時における画像メモリのビット精度として、2フレーム分のOBレベルを考慮したビット精度にしておくことにより、例えば、花火や月のように輝度値が高く、RAWデータが最大値となるような被写体に対しても、正しく加算演算処理とOB補正処理を行うことができる。
図7に、小数点以下のビット精度と、合成処理のOBのずれとの関係を示す。図7において横軸は、加算画像を生成するための合成枚数であり、縦軸は合成後のOBずれを示し、小数点以下0ビット〜8ビットについて、プロットしてある。通常、人間の目では、有効画素のビット数(整数部分のビット数)が12bitの場合にOBずれが5LSB(最下位ビット:Least Significant Bit)以上になると色ずれを認識することができ、1LSB以下であれば、色ずれを確実に認識することができない。そこで、例えば、最大加算枚数Nを100としたときに、確実に色ずれを認識しないようにするには、小数点以下7ビットの精度とすればよい。また、一部の特殊画像処理によっては、数倍から数十倍のゲインをかけることがあるため、1または2LSBの僅かなズレでも画像処理によって強調され、色ずれの原因となる。したがって、特殊画像処理を行う場合には、さらに小数点以下のビット精度を高くするとよい。
以上説明したように、本発明の第1実施形態においては、加算画像に対してOB画素出力平均値を減算するOB補正にあたって、加算画像の画像データは整数部分のみのデータであり、一方、OB画素平均値は小数点以下の小数部分を含むデータである。そこで、OB補正にあたっては、整数部分(OB減算部分)のデータを用いて減算演算を行い(メモリ11dから整数Aビットを減算器11bに出力)、OB画素出力平均値の小数点以下のデータはOB画素出力平均値に加算し(メモリ11dから小数Bビットをメモリ11cに出力し、OB画素出力平均値に加算)、小数点以下の僅かなOB補正値を繰り越し、次のOB補正の際に使用している。このため、OB補正の僅かな補正ずれが累積することがなく、図20(b)(c)において説明したような色ずれの発生を防止することができる。
次に、本発明の第2実施形態について、図8ないし図11を用いて説明する。本発明の第1実施形態においては、OB画素出力平均値の小数点以下のビットを繰り越すことにより、色ずれの発生を防止するようにしていた。第2実施形態においては、第1実施形態におけるOB画素出力平均値の小数点以下のビットの処理に加えて、さらに、有効画素の遮光時出力と、OB画素平均値との出力との差(以下、OB段差と略す)を検出して加算画素から補正する。これにより、遮光時有効画素とOB画素の出力レベルの相違に起因するOB補正の際の色ずれの発生も防止するようにしている。
一般に、イメージセンサのR,G,B画素出力は、入射光がない状態であっても、イメージセンサ自体が持つオフセットノイズ等が重畳されている。このため、白色光が入射している場合であっても、オフセットノイズを除去しないと、色バランスが崩れた画像となり、色ずれが発生する。オフセットノイズ等に起因するオフセットレベルは、遮光時に取得可能であるが、このタイミングでオフセットレベルを取得すると、撮影処理時間がかかり、またレリーズタイムラグが増加してしまう。そのため、オフセットレベルは、イメージセンサ内のOB画素出力平均値を代用することが一般的である。
OB画素の出力と、被写体撮影用の有効画素領域の画素の遮光時のオフセットレベルは一致しない場合がある。この場合、OB画素と有効画素とのオフセットレベルの相違によって、オフセットレベル補正を行うと画像に色ずれが生ずる。この現象は、一般にOB段差と言われている。本実施形態は、このOB段差による色ずれの発生を防止する。
本実施形態における構成は、第1実施形態に係る図1に示した概略ブロック図と同様である。また、バルブ撮影の動作は、図3に示したフローチャートを図8に示すフローチャートに置き換え、図5に示したRAWデータの合成処理を図10に置き換えればよく、他の図2等は、本実施形態においても同様である。第2実施形態におけるブロック図を図9に示す。図4に示したブロック図では、加算器11aにおける加算処理後に減算器11bにおいてOB画像出力平均値を減算していたが、本実施形態においては、図9に示すように、加算処理前にOB画像出力平均値を減算できるように、加算器11aと有効画素領域4aとの間に第1の減算器を設け、また加算器11aと加算画像メモリ6aとの間に第2の減算器を設ける。
まず、図8を用いてバルブ撮影の動作について説明する。撮影を開始すると、遮光画像の読み込みを行う(S61)。ここでは、メカシャッタ3を閉じたままで、すなわち遮光状態で、イメージセンサ4の電荷蓄積を行い、シャッタ速度tに相当する時間経過後に、有効画素領域4aとOB画素領域4bの画素(図4参照)から遮光画像信号を読み出す。
遮光画像の読み込みを行うと、次に、OB段差を算出する(S63)。ここでは、ステップS61において読み出した有効画素領域4aからの遮光画像信号の平均値と、OB画素領域4bからのOB画素平均出力値の差分(OB段差)を算出する。
OB段差を算出すると、次に、シャッタ速度tで画像の読み込みを行う(S65)。ここでは、前述したステップS55(図3参照)と同様に、電子シャッタ速度をt(露光時間Tに相当)として、1フレーム分の画像の露光と読み込みを行う。
1フレーム分の画像読み込みを行うと、次に、画像加算を行う(S67)。ここでは、イメージセンサ4の有効画素領域4aから読み出された画像データに、内部メモリ6に一時記憶されている累積加算画像の画像データを加算する。第1実施形態においては、OB補正は加算後に行っていたが、第2実施形態においては、加算前に各RAWデータに対してOB画素平均出力値の減算を行う。このOB補正処理の詳細については、図10を用いて後述する。
画像加算を行うと、次に、加算画像からOB段差を減算する(S69)。ここでは、ステップS67において算出した加算画像に対して、ステップS63において算出したOB段差を減算する。このオフセット補正処理の詳細についても、図10を用いて後述する。
加算画像からOB段差を減算すると、次に、経過表示を行う(S71)。ここでは、ステップS55と同様に、ステップS69において生成した加算画像を表示部22に表示する。
経過表示を行うと、次に、撮影か否かの判定を行う(S73)。ここでは、ステップS57と同様に、撮影者がバルブ撮影を終了するか、続行するか否かについて、2ndレリーズがオフされたか否かに基づいて判定する。この判定の結果、撮影を終了しない場合(ステップS73の判定:No)には、ステップS65に戻り、バルブ撮影を続行する。
ステップS73における判定の結果、バルブ撮影を終了場合(ステップS73の判定:Yes)には、最終画像記録を行う(S75)。ここでは、ステップS67、S69において生成された加算画像の画像データを外部メモリ21に記憶する。
図9は、OB補正処理と加算画像処理を生成するための画像処理を説明するブロック図である。この図9は、第1実施形態に係る図4と略同様であるが、減算器11eをイメージセンサ4の出力と加算器11aの間に配置し、また、加算画像メモリ6aと加算器11aの間に減算器11hを設け、さらに、加算画像メモリ6a内に有効画素遮光時平均データ6aaを記憶すると共にメモリ11dとの間に減算器11iを設け、メモリ11dは減算器11eにも接続されている点で相違している。
次に、加算画像処理、OB補正処理、オフセット補正処理について、図10を用いて説明する。図10において、図5と同様に、RAWデータ1(#51)は、イメージセンサ4の有効画素領域4aから出力された画像データ(RAWデータ形式)に対応し、RAWデータ2(#52)は、内部メモリ6内の加算画像メモリ6aから出力される加算画像の画像データ(RAWデータ形式)に対応する。
RAWデータ1からOB値1が減算される(#54)。第1実施形態と同様に、メモリ11c(図9参照)に記憶されたOB画素平均出力値は、小数点以下のビットが繰り越されている。このため、僅かなOB画素平均出力値のずれに基づく色ずれを防止することができる。
また、RAWデータ2から、OB段差に対応するOB値2が減算される(#55)。2回目以後の加算画像の合成にあたっては、合成後のRAWデータをRAWデータ2とみなして行う。
OB値1減算と、OB値2減算を行うと、これらの減算結果の加算を行う(#56)。ここでは、画像合成部11内の加算器によって加算演算を行う。
オフセット(OB)加算を行った画像データを合成後RAWデータとする(#59)。
図11に、本実施形態におけるOB段差と合成処理のOBのずれとの関係の一例を示す。図11において、横軸は加算画像を生成するための合成枚数であり、縦軸は合成後のOBずれを示し、OB段差が0LSB〜1LSBについてプロットしてある。なお、図11では、小数点以下のビット精度を7bitとしている。前述したように、OBずれが5LSB以下であれば、色ずれが目立たないことから、1枚の画像に含まれるOB段差に応じて加算枚数の上限値を決めるようにしてもよい。
OB段差は、FPN補正処理(暗時画像減算)によって改善されるが、本発明の第2実施形態においては、下記の理由によりOBずれ補正に適している。
・露光経過画像に対して最適にOBを補正することができる。
・OB段差の原因である暗電流が、露光時間に比例しない場合や、撮影中に温度が変化してFPNが変化した場合でもOBずれ補正が可能である。
以上、説明したように、本発明の第2実施形態においては、遮光画像データからOB段差、すなわち、有効画素平均とOB画素平均の差分を求め(図8のS63)、このOB段差を用いてオフセット補正を行うようにしている(図8のS69および図10の#55)。すなわち、本実施形態においては、バルブ撮影にあたって、遮光状態で露光を行い(図8のS61)、露光後に、有効画素領域から読み出した画像データとOB画素領域から読み出したOB画素出力平均値の差分を求め(図8のS63)、画像合成部11によって生成された加算画像に対して上記差分を用いて補正演算を行っている(図8のS9、図10の#55)。このため、有効画素とOB画素出力の遮光時の出力オフセットレベルのばらつきに基づいて色ずれが発生することを防止できる。
次に、本発明の第3実施形態を図12ないし図15を用いて説明する。図12は撮影動作のフローチャート(図8に対応する)を、図13は加算画素の演算ブロック図を、図14は画像合成のフローチャートでの作用を示す。
本発明の第1および第2実施形態においては、RAWデータ1に相当するN回目露光時に取得される画像データに対して、OB画素平均値をOB値1として減算していた。これに対して、第3実施形態においては、OB値1を、OB画素平均値の代わりに、遮光時の有効画素出力の平均値として出力補正する。以下、このOB値1を補正する処理をNR(Noise Reduction)処理と称する。さらに、撮像素子(イメージセンサ4)の有効画素数は、OB画素領域と比べて大きく、配置される面積も広いため、遮光時画像出力であるOB値を領域内でのばらつきも大きくなるため、補正値として遮光時の有効画素の平均値のほか、ばらつきを考慮して、加算回数に応じてオフセット(OB)値を変更して補正する。
まず、図12を用いて、バブル撮影の動作について説明する。撮影を開始すると、遮光画像の読み込みを行う(S61)。ここでは、メカシャッタ3を閉じたままで、すなわち遮光状態で、イメージセンサ4の電荷蓄積を行い、シャッタ速度tに相当する時間経過後に、有効画素領域4a(図4参照)から遮光画像信号を読み出す。
遮光画像の読み込みを行うと、次に有効画素領域でのOB値を算出する(S62)。ここでは、ステップS61において読み出した有効画素領域4aからの遮光画像信号の平均値を算出する。
有効画素のOB値(平均値)を算出すると、次に、シャッタ速度tで画像の読み込みを行う(S65)。ここでは、前述したステップS55(図3参照)と同様に、電子シャッタ速度をt(露光時間Tに相当)として、1フレーム分の画像の露光と読み込みを行う。続いて、有効画素OB値補正を行う(S66)。ここで、ステップS66の処理は、前述の1フレーム分の画像データから、ステップS62の処理において算出された有効画素のOB値(平均値)を減算させる処理である。
有効画素OB値の補正を行うと、次に、画像加算を行い(S67)、加算画像にOB浮きオフセット補正量を加算する(S68)。このステップS68では、前述に示すように有効画素の暗時出力のばらつき量を考慮したOB浮きオフセット補正量を加算回数に応じて設定し、加算画像に対し出力加算する処理を行う。この処理は、ステップS66の有効画素OB値補正量の減算処理で、黒レベル以下に過補正されないようにするものである。ここでは、イメージセンサ4の有効画素領域4aから読み出された画像データに、内部メモリ6に一時記憶されている累積加算画像の画像データを加算する。第1実施形態においては、OB補正は加算後に行っていたが、第3実施形態においては、第2実施形態と同様に、加算前に各RAWデータに対してOB画素平均出力値の減算を行う。このOB補正処理の詳細については、図14を用いて後述する。
加算画像にOBオフセット加算値を加算すると、次に、経過表示を行う(S71)。ここでは、ステップS55と同様に、ステップS69において生成した加算画像を表示部22に表示する。
経過表示を行うと、次に、撮影か否かの判定を行う(S73)。ここでは、ステップS57と同様に、撮影者がバルブ撮影を終了するか、続行するか否かについて、2ndレリーズがオフされたか否かに基づいて判定する。この判定の結果、撮影を終了しない場合(ステップS73の判定:No)には、ステップS65に戻り、バルブ撮影を続行する。
ステップS73における判定の結果、バルブ撮影を終了場合(ステップS73の判定:Yes)には、最終画像記録を行う(S75)。ここでは、ステップS67、S69において生成された加算画像の画像データを外部メモリ21に記憶する。
図13は、OB補正処理と加算画像処理を生成するための画像処理を説明するブロック図である。この図13は、第2実施形態に係る図9と略同様であるが、減算器11h,11iを省略し、加算器11aと出力の間に加算器11fを設け、メモリ11dの出力のOB浮き補正値11gを加算器11fに出力するようにしている点で相違している。
次に、加算処理、OB補正処理、およびオフセット補正処理について、図14を用いて説明する。図14において、図5と同様に、RAWデータ1(#51)は、イメージセンサ4の有効画素領域4aから出力された画像データ(RAWデータ形式)に対応し、RAWデータ2(#52)は、内部メモリ6内の加算画像メモリ6aから出力される加算画像の画像データ(RAWデータ形式)に対応する。
RAWデータ1からOB値1が減算される(#54)。OB値1は、有効画素の遮光時の平均値であり、第1実施形態と同様に、メモリ11c(図13参照)に記憶され、メモリ11cにおいて、有効画素出力の平均値(OB値)は、小数点以下のビットは繰り越されている。このため、僅かなOB出力のずれに基づいて発生してしまう色ずれを防止することができる。
また、2回目以後の加算画像の合成にあたっては、合成後のRAWデータ(#59)をRAWデータ2(#52)とみなし、次の露光時に取得されたRAWデータ1(#51)からOB値1減算(#54)した結果のデータと、このRAWデータ2(#52)とを加算する(#56)。
加算演算を行うと、次に、オフセット(OB)加算を行う(#58)。ここでは、#56(ステップS67)において算出した加算画像に、ステップS63において算出したOB段差に基づくオフセットを加算する。このOB値に変更の詳細については、図15を用いて後述する。
オフセット(OB)加算を行った画像データを合成後RAWデータとする(#59)。
ここで、図15を用いて、オフセット(OB)値の変更について説明する。図15(a)は、イメージセンサ4を遮光して撮影をした場合のRAWデータのノイズ分布を示す。遮光撮影すると、回路や撮像の特性に応じた統計的な特性で、黒付近にノイズが、図15(a)に示すように分布する。RAWデータは一般に符号なしデータとして扱い、OB値が無い場合、図中に示す「黒」より左側のマイナス成分のノイズが無くなるため、NR(Noise Reduction)処理で、OB画素平均値や遮光時の有効画素出力平均値から一律の値としてノイズ成分を除去すると画像の黒成分が浮いてしまう。なお、ここで、黒成分が浮いてしまうとは、黒が黒らしく黒くなく、グレーを帯びた黒となってしまうことをいう。
一方、OB値を大きくすると、RAWデータにおける画像データとしての有効領域が少なくなるため、階調再現や飽和部の画質に影響を及ぼす。そこで、図15(a)に示すようなノイズ特性の場合には、図中矢印Aで示した程度のOB値を持たせることが望ましい。
図15(b)は、遮光撮影した2つの画像を合成した場合のノイズ分布を示す。図15(a)に示すような特性のノイズを持つ2つの異なる遮光撮影で取得した画像を加算すると、全体的にノイズ分布は広がる(図15(b)参照)。そのため、図15(a)に示すような単露光の場合と同様のOB値(図中矢印A)を採用すると、図15(c)に示すように、左側のノイズの一部がクリップされてしまい、NR処理を行うと、黒成分が浮いてしまう。そこで、図15(b)の場合においては、OB値として矢印Bを採用する。
ただし、常にOB値として矢印Bを用いると、図15(a)に示すような単露光の場合にはOB値が大きすぎ、また合成のための加算回数が増えるにつれてOB値が小さくなってしまう。そこで、本実施形態においては、予め遮光時の有効画素出力から測定した単露光でのノイズ分布を用いて、加算回数に応じてOB値を変更するようにしている。すなわち、ステップS63において算出したOB段差(単露光でのノイズ分布に相当する)を用い、加算回数が増えると、OB段差を増加させて、OB値を求めている。この求めたOB値を図8のS69(図14の#58)において、加算画像に加算している。
図15(c)は、黒成分が浮く現象の概略を説明する図である。前述したように、RAWデータは符号なしデータとして扱うため、OB値が十分にない場合(言い換えると小さい場合)には、0未満の値は0にクリップされる。このため、図15(c)の左側の斜線部分は全て0になる。図15(a)に示すようなノイズ分布を持っている場合には、十分なNRを行うと、ヒストグラムの中央の輝度となる。一方、図15(c)のように斜線部分が全て0となる場合には、OB減算してNRを行うと、ヒストグラムの中央が右に偏ってしまい(中央が矢印Cだけ移動する)、その結果、黒成分が浮く現象が生ずる。
このように、本実施形態においては、遮光撮影した場合のOB値に対して、加算回数に応じて補正を行い、この補正されたOB値を用いてオフセット補正を行っている。このため、加算回数に応じて適切なオフセット補正が可能であり、黒成分が浮く現象を抑えることができる。
また、本実施形態においては、オフセット(OB)値を加算回数に応じて変更している。すなわち、本実施形態においては、画像合成部11における加算画像の合成枚数に基づいて決まるオフセット値を求め(図15参照)、画像合成部11によって生成された加算画像に対してオフセット値を用いて補正演算を行っている(図14の#58参照)。このため、黒成分が浮く現象を防止することができる。
次に、本発明の第4実施形態について、図16ないし図18を用いて説明する。本発明の第1実施形態においては、OB画素平均出力値の小数点以下のビットを繰り越すことにより、色ずれの発生を防止するようにしていた。また、第2実施形態においては、オフセット補正にあたって、OB段差オフセット値を補正していた。第3実施形態においては、有効画素の遮光時の平均値を用いてOBオフセット補正を行い、さらに有効画素ノイズのばらつき分布を考慮し、加算回数に応じて、ノイズばらつき度合いを考慮したOBオフセット量を加算して、補正処理を行ってきた。第4実施形態においては、これらの補正に加えて、画面内シェーディング、すなわち、画像面内の暗時出力むらに基づくオフセット補正を行うようにしている。
オフセットレベルは、有効画素領域の各画素の位置によってばらつきやむらが存在するので、一律にOB画素平均出力値で補正すると、オフセットレベルの補正ずれが生ずる。この補正ずれが発生している状態で、ホワイトバランスゲインの重み付け演算を行うと、前述した図20(b)または(c)に示すように、量子化されたR,G,B出力は1:1:1にならない。
そこで、本実施形態においては、遮光撮影の際のOB段差算出時に、イメージセンサ4内の画素信号のばらつき・むらを検出し、この検出されたばらつき・むらによる補正を行い(後述する図17の#53、#54参照)、色ずれの発生を防止するようにしている。
本実施形態における構成は、第1実施形態に係る図1に示した概略ブロック図と同様である。また、バルブ撮影の動作は、第2実施形態に係る図8に示すフローチャートと同様である。ただし、図8のS63におけるOB段差算出の際に、面内シェーディング、すなわち、画像面内の暗時出力のむらを検出する。具体的には、有効画素領域における画素を複数領域に分割してブロック化し、各ブロック毎の暗時出力平均値と、OB画素平均値の差となるブロック毎のOB段差を算出する(図16のS64、S70参照)。
図18は、撮像素子の製造ばらつきに基づくOB値のばらつきの検出、すなわち面内シェーディングの検出を説明する図である。イメージセンサ4の撮像面は、図18(a)に示すように、有効画素領域4aとOB画素領域4bを有している。イメージングセンサ4の製造ばらつき等により、図18(b)に示すように、センサの座標に応じてOB成分にばらつき(OBのシェーディング)が生ずる。そのため、遮光撮影時におけるOB値算出範囲(OB画素領域4b)の画素出力と、画像出力処理範囲(有効画素領域4a)の画素出力が異なる場合がある。
そこで、ライブバルブ撮影開始直前に、短時間の遮光露光を行い(図16のS61)、そのとき得られたRAWデータとOB値を用いて、各座標に応じたOB補正量を算出するようにしている(図16のS64、図17の#53、#54)。このブロック分割は、例えば、幅16分割、高さ16分割した256ブロック領域とし、それぞれのブロックのOB段差補正値を取得する。補正量としては、例えば、各ブロック内座標のRAWデータの値−OB値、または、各ブロック座標内のRAWデータの値÷OB値のようにする。OB減算(図17の#54、#55a)をする場合には、各座標のRAWデータに対して、補正量+OB値、または補正量×OB値を減算する。これにより、OBシェーディングによる画質劣化を防止することができる。
次に、本実施形態における合成処理について、図17を用いて説明する。図17は、加算画像処理、OB補正処理、オフセット補正処理の動作を示す。
#53において、遮光RAWデータを取得する。この遮光RAWデータは、図16のS61において、遮光画像読み込みを行う際に取得する。OB値1減算は、図10の#54において説明したように、RAWデータ1からOB値1を減算するが、前述したように、各ブロック座標のRAWデータ値に応じて補正する。
以上説明したように、本発明の第4実施形態においては、画像面内の暗時出力のむら・ばらつきに基づくOB値の補正を行っている。すなわち、本実施形態においては、バルブ撮影にあたって、遮光状態で露光を行い(図16のS61)、露光後に、有効画素領域から読み出した画像データに基づいて、面内シェーディングを求め(図18参照)、画像合成部11によって生成された加算画像に対して面内シェーディングを用いて補正演算を行っている(図17の#53)。このため、色ずれを防止することができる。
次に、本発明の第4実施形態の変形例について、図19を用いて説明する。第2及び第3実施形態においては、バルブ撮影の開始前に遮光画像取り込みを行い(図8のS61参照)、このとき取得したOB段差やシェーディングを用いて、加算画像の合成時にオフセット補正を行っていた(図8のS69、図14)。これに対して、本変形例においては、バルブ撮影後、遮光画像の取り込みを行い、オフセット補正を行うようにしている。
図19に示すバルブ撮影を開始すると、ステップS81において画像読み込みを行い、ステップS83において画像加算を行い、ステップS85において経過表示を行い、ステップS87において撮影か否かの判断を行う。これらのステップは、図3に示したステップS51からS57における処理と同様であることから、詳しい説明を省略する。
ステップS87における判定の結果、撮影を終了する場合には、次に、ステップS61(図8参照)と同様に、遮光画像の読み込みを行う(S89)。続いて、ステップS63と同様に、OB段差を算出する(S91)。このOB段差の算出にあたっては、第2実施形態におけるOB段差または第3実施形態における面内シェーディングの少なくとも1つを算出する。
OB段差を算出すると、N枚加算画像−N×OB段差の演算を行う(S93)。ここでは、バルブ撮影時の最後に得られた加算画像(N枚加算画像)から、N×OB段差を減算する。なお、OB段差は加算枚数に応じて適宜補正してもよい。このオフセット補正を行うと、最終画像記録を行う(S95)。ここでは、ステップS93において生成された加算画像の画像データを外部メモリ21に記録する。
同様に、本発明の第2及び第3実施形態の変形例においては、バルブ撮影後遮光画像を読み込み、OB段差補正およびOB浮き補正を行っている。このため、レリーズ釦の操作時からバルブ撮影開始までのタイムラグを短時間することができる。また、オフセット補正は、バルブ撮影終了後に行っていることから、バルブ撮影中の演算処理を短時間で行うことができ、経過表示を迅速に行うことができる。
以上説明したように、本発明の各実施形態や変形例における撮像装置は、オプティカルブラック画素領域(OB画素領域4b)と有効画素領域(有効画素領域4a)を有し、所定時間間隔で繰り返し画像データを読み出すイメージセンサ4と、オプティカルブラック画素領域から読み出されたOB画像平均出力値の内、OB減算部分と繰越部分を格納するメモリ11dと、イメージセンサ4の有効画素領域から読み出された画像データを順次累積加し、加算画像を生成する画像合成部11を備えており、画像合成部11は、生成した加算画像、もしくは有効画像領域から読み出された画像から、メモリ11dに格納されたOB画像平均出力値のOB減算部分を減算し(図4の減算器11b、図5の#57、図10の#54、#55等参照)、メモリ11dは、OB減算部分の減算の処理後に、OB画像平均出力値の繰越部分を、OB画像平均出力値に加算している(図4のメモリ11c、11d参照)。オプティカルブラックの補正の際に僅かな誤差が、次回の補正の際に反映することができので、バルブ撮影等の長時間露光において、撮影途中経過を表示させる際に、加算画像に色ずれが生ずることを防止することができる。
なお、本発明の各実施形態や変形例においては、OB画素平均出力値のOB減算部分と繰越部分とに分けて、OB減算部分のみを加算画像の画像データから減算していたが、加算画像に対するOB補正を行う範囲は、適宜、変更してもかまわない。例えば、加算画像の画像データが小数点以下1桁まで持つようにし、この範囲でOB補正を行ってもよい。この場合には、メモリ11dは小数点以下2桁以下をメモリ11cに出力するようにすればよい。
また、本発明の各実施形態や変形例においては、常に、OB画素平均出力値の小数点以下の精度を保つようにしていたが、必要に応じて、適宜省略してもよく、また、OB段差に基づくOB補正等も適宜省略してもかまわない。
また、本発明の各実施形態や変形例においては、バルブ撮影にあたって、撮影者がレリーズ釦を全押しすると撮影を開始し、レリーズ釦から手を離すと、撮影を終了していた。しかし、バルブ撮影の撮影開始と終了はこの方式に限らず、例えば、撮影者がレリーズ釦を全押しすると撮影を開始し、その後レリーズ釦から手を離してもバルブ撮影を続行し、再度、レリーズ釦を全押しするとバルブ撮影を終了するようにしても勿論かまわない。
また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォーンや携帯情報端末(PDA:Personal Digital Assist)、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、OB補正を行う撮像装置であれば、本発明を適用することができる。
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。