JP5634901B2 - 撮像装置、外部閃光補正方法、プログラム、および、集積回路 - Google Patents

Description

本発明は、スチルカメラ等のフラッシュ光（外部閃光）がビデオ用の動画の撮影時に及ぼす白帯状の妨害を緩和できる撮像装置に関する。

近年、小型、低消費電力、高速撮像等の特徴をもつＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを用いた撮像装置が、民生用ビデオカメラ及び業務用ビデオカメラの分野で躍進してきている。

ＣＭＯＳイメージセンサは、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサに比べて種々の特徴を有しており、フォトダイオード（Ｐｈｏｔｏ Ｄｉｏｄｅ：以降ＰＤと記載）に蓄積される電荷の読み出し方式も異なる。

ＣＣＤイメージセンサでは、ＰＤの電荷読み出しを全画素に対して同一タイミングで行う、所謂グローバルシャッター方式により行う。一方、ＣＭＯＳイメージセンサでは、ライン（画素）単位で読出しタイミングがずれていく所謂ローリングシャッター方式によりＰＤの電荷読み出しを行う。このため、ＣＭＯＳイメージセンサでは、蓄積電荷の読出しタイミングがずれ、各画素の蓄積期間のタイミングがずれることに起因して、ＣＣＤイメージセンサにない弊害が発生する。

その問題の一つに、スチルカメラ等のフラッシュ光が焚かれている被写体をＣＭＯＳイメージセンサのビデオカメラで撮像すると、白帯状の妨害が発生するという現象が挙げられる。「白帯状の妨害」とは、ここでは撮像した画像のあるフレームの一部だけがフラッシュ光の影響を受け、途中のラインから上（画面上部）、または下（画面下部）だけが明るくなる現象を指す。

以下その現象について、図９および図１０を用いて説明する。

図９は、ビデオカメラとスチルカメラが混在する撮影風景、例えば記者会見等の撮影風景を示す図である。

図９は、ビデオカメラ１０と、その撮像信号を映すモニター１１、スチルカメラ１２、１３、および被写体１４より構成される撮影風景を示している。なお、ビデオカメラ１０はＣＭＯＳイメージセンサを用いている。

このような撮影風景において、スチルカメラ１２、１３でフラッシュが焚かれると、ビデオカメラ１０の撮像信号を映すモニター１１の画面に白帯状の妨害が発生する。以下、その原理を説明する。

図１０は、ビデオカメラ１０の電荷蓄積期間（露光期間）と、読み出しタイミングと、走査期間とを模式化した図である。図１０は、画面を構成する各走査ラインの電荷蓄積期間およびその電荷を読み出すための走査期間を、時間軸を横軸に取って表している。走査ラインの総数は、ＨＤカメラを想定して１１２５ラインとする。

ここで、撮像フレームレートは２４フレーム／秒とする。

また、「モニター画面０期間」とは、フレーム０の撮像信号をモニター画面等に出力する期間であり、ここでは１／６０秒とする。「モニター画面１期間」等も同様である。

例えば、画面の一番上のラインであるライン１（ライン１を形成する映像信号を取得するためのＣＭＯＳイメージセンサの撮像素子面上の１ライン分の画素（それぞれの画素にＰＤが設置されている。））は、ちょうどモニター画面０期間の開始タイミングと共にフレーム１のＰＤ蓄積（ＰＤでの電荷蓄積）を開始し、１蓄積フレーム期間、すなわちモニター画面１期間の開始タイミングと共にＰＤ蓄積を終了する。

蓄積されたライン１のＰＤ信号は、この直後に（ＰＤ蓄積が終了した直後に）、蓄積電荷の読み出し（なお、「蓄積電荷の読み出し」を、単に「読み出し」ということがある。）の走査が開始され、これと同時に、次のフレーム２のＰＤ蓄積が開始される。ＰＤ信号の読み出し走査の期間は、１出力フレーム期間（１／６０秒）に１１２５本のラインを走査することから、１／６０／１１２５≒１４．８マイクロ秒となる。

次に、ライン２は、ライン１のフレーム０に対するＰＤ読み出し走査の期間終了タイミングにあわせてＰＤ蓄積を開始する。すなわち、ライン２は、ライン１に対してＰＤ読み出し走査期間分遅れてＰＤ蓄積および読み出しの動作を行うことになる。ライン３以降についても上記と同様の動作が行われる。

このようにローリングシャッター方式においては、１フレームを構成する各ラインの電荷蓄積期間が図１０に示すように上から下へと少しずつずれている。これに伴い、各ラインの走査期間、すなわちＰＤ信号の読み出しタイミングも図１０のように各ラインの電荷蓄積期間の直後となる。つまり、ＣＭＯＳイメージセンサを用いたビデオカメラ１０では、ライン１のＰＤ信号を読み出したら、次に、ライン２のＰＤ信号を読み出すというように、ライン順に、順次、ＰＤ信号の読み出し処理が行われる。

ここで、図１０に示すように、モニター画面１期間の中央付近（図１０に「フラッシュ発光期間」で示した期間）でフラッシュが焚かれると、フレーム１後半のラインの電荷蓄積期間とフレーム２前半のラインの電荷蓄積期間にフラッシュの明るい光が影響する。モニター画面１の期間に光ったフラッシュ光は、図１０に示すように、ラインＸおよびラインＹでフレーム１とフレーム２との電荷蓄積、電荷読み出しタイミングを跨ぐ。

つまり、図１０に示した場合におけるフラッシュの明るい光の影響は、以下のようになる。
（フレーム１のラインａ１（図１０に「ａ１」で示した部分に属するライン））：
フレーム１では、ラインＸより前のラインａ１の部分は、フラッシュ光の影響は受けない（電荷蓄積期間はすでに終わっている）。
（フレーム１のラインＸ〜ラインＹ（図１０に「ａ２」で示した部分に属するライン））：
ラインＸとラインＹの間の期間のラインａ２部分は、フレーム１ではフラッシュ光の影響を受け、徐々に蓄積光量が増える。
（フレーム１のラインＹ以降（図１０に「ａ３」で示した部分に属するライン））：
そして、ラインＹ以降のラインａ３の部分では、フラッシュ光の全光量の影響を受ける。
（フレーム２のラインｂ１（図１０に「ｂ１」で示した部分に属するライン））：
フレーム２では、逆に、ラインＸより前のラインｂ１の部分では、フラッシュ光の全光量の影響を受ける。
（フレーム２のラインＸ〜ラインＹ（図１０に「ｂ２」で示した部分に属するライン））：
ラインＸとラインＹの間の期間のラインｂ２の部分は徐々にフラッシュ光の影響が小さくなる。
（フレーム２のラインＹ以降（図１０に「ｂ３」で示した部分に属するライン））：
そして、ラインＹ以降のラインｂ３の部分ではまだ蓄積期間が始まっていないので、フラッシュ光の影響は受けない。

したがって、フラッシュ光の発光期間が一瞬であり、図１０のａ２、ｂ２部分のトランジェント期間が無視できる程小さいとすると、モニター画面は、概略として図１０の下部に示すようにモニター画面１（フレーム１の撮像信号により形成される画面（画像））の下半分が明るく、そしてモニター画面２（フレーム２の撮像信号により形成される画面（画像））の上半分が明るくなり、これが白帯状の妨害として映像表示装置に映し出される。ＣＣＤイメージセンサを用いる撮像装置の場合は、ＣＭＯＳイメージセンサとは異なり１フレームを構成する全ラインの電荷蓄積タイミングが同じであるために、このような問題は発生せず、フラッシュ発光時には全体が明るくなった自然な画像が映し出される。

以上のように、ＣＭＯＳイメージセンサを用いた撮像装置では、フラッシュ光等の外部の閃光が入ると、撮像信号に白帯状の妨害が発生するという課題がある。

この課題を解決する従来の撮像装置として、特許文献１に記載された撮像装置がある。

図１１は、従来の撮像装置９０００の構成例を示すブロック図である。この撮像装置９０００は、いわゆる静止画像を主に記録するデジタルスチルカメラである。

図１１に示すように、撮像装置９０００は、撮像部７０１と、画像処理部７０２と、記録表示処理部７０５と、バッファ７０６と、評価部７０３と、記憶部７０７と、制御部７０４とを備えている。

従来の撮像装置９０００では、例えば、ユーザの操作に応じて撮像部７０１により静止画像または動画像が撮像された場合、撮像された画像は、画像処理部７０２にて所定の画像処理が施された後、記録表示処理部７０５および評価部７０３に供給される。

記録表示処理部７０５では、画像処理部７０２にて所定の画像処理が施された後の画像をバッファ７０６にバッファリングし、評価部７０３では、検波回路により、この画像に対する評価値を生成して制御部７０４に供給する。そして、制御部７０４は、この評価値を記憶部７０７に一時的に記憶させる。

制御部７０４の演算回路では、この評価値と記憶部７０７に既に記憶されていた評価値、即ち、１フレーム前の画像から生成された評価値との差分値を算出する。そして、この差分値が予め設定されている基準値以上であれば、外部閃光による悪影響を受けた画像と判断し、基準値未満であれば、外部閃光による影響がない画像と判断する。その結果に応じて制御部７０４は、撮像装置９０００の各部を制御し、外部の閃光による悪影響を受けた画像と判断した場合、その画像を排除し、外部の閃光による悪影響を受けていない画像であると判断した場合、その画像を出力させる。

これにより、従来の撮像装置９０００では、外部の閃光による白帯状の妨害の課題を解決している。

上記課題を解決するために、撮像装置で用いられる他の方法として、例えば、外部閃光の影響を受けたフレーム画像同士を加算し、そのフレーム画像同士を加算して生成したフレーム画像を、外部閃光の影響を受けたフレーム画像と置き換えることにより、外部の閃光による発生する白帯状の画像を取り除く方法がある。

特開２００７−３０６２２５号公報

しかしながら、上記従来技術では、閃光の影響を受けた２枚の画像を加算して新しい画像を生成して、外部の閃光による影響を補正しているので、撮像装置の機能である電子シャッター機能を使用している場合には、適切に、外部の閃光による影響を補正することができないことがある。

図１２は、ビデオカメラの電子シャッター機能を用いた場合における、ビデオカメラの電荷蓄積期間（露光期間）と、読み出しタイミングと、走査期間とを模式化した図である。ビデオカメラにおいて、電子シャッター機能を使用しない場合、電荷蓄積期間は１／２４秒となるが、図１２では、電子シャッター機能を使用して電荷蓄積期間を１／４８秒とした場合を図示している。すなわち、図１２の場合、ビデオカメラでは、電子シャッターを使用しない通常時における電荷蓄積期間のちょうど半分の期間において蓄積された電荷が捨てられる。図１２の場合、ビデオカメラでは、フレームＮ（Ｎは整数）のＰＤ信号読出タイミングからフレームＮ＋１のＰＤ蓄積開始タイミングまでの１／４８秒の期間（図１２の点線の四角で示された期間）に蓄積された電荷は、捨てられる。

ここで、図１２に示すように、モニター画面１期間の中央付近（図１２に「フラッシュ発光期間」で示した期間）でフラッシュが焚かれると、フレーム１後半のラインの電荷蓄積期間にフラッシュの明るい光が影響する。そこで、図１０と同様に、図１２の下部に示すようにモニター画面１（フレーム１の撮像信号により形成される画面）の下半分が明るくなり、これが白帯状の妨害としてモニターに映し出される。

ところが、図１２の場合、画面（モニター画面２）の上半分には、フラッシュの影響による白帯状の妨害が発生しない。この理由は、ビデオカメラにおいて、電子シャッター動作により、フレーム１のＰＤ信号読出タイミングからフレーム２のＰＤ蓄積開始タイミングまでの１／４８秒の期間に蓄積された電荷は、捨てられ、画像信号として利用されることがないためである。

このような理由により、図１２の場合、フレーム２の画像（モニター画面２（フレーム２の撮像信号により形成される画面））には、フラッシュの影響が白帯状の妨害として現れない。すなわち、図１２の場合、ビデオカメラにより撮像された映像（画像）において、下半分が白く明るくなった画面はあるが、上半分が明るくなった画面が存在しない。

このため、図１２の場合、上述した従来技術による処理を行っても、フラッシュの影響を受けた二つの画面（フレーム画像）を加算することができないので、フラッシュ光の影響を適切に補正することができない。

本発明は、上記問題点を解決するもので、電子シャッター機能を用いて撮像する場合であっても閃光の影響を適切に抑制した画像（映像）を得ることができる撮像装置、外部閃光補正方法、プログラム、および、集積回路を提供することを目的とする。

第１の発明は、撮像部と、閃光検出部と、閃光補正部と、を備える撮像装置である。

撮像部は、被写体像を第１の露光時間で撮像して取得した１単位画像分の主要映像信号と、被写体像を第２の露光時間で撮像して取得した１単位画像分の副次映像信号とを交互に出力する。例えば、時間軸上で連続する１単位画像分の主要映像信号を、Ａｎ−１、Ａｎ、Ａｎ＋１、・・・とし、時間軸上で連続する１単位画像分の副次映像信号を、Ｂｎ−１、Ｂｎ、Ｂｎ＋１、・・・とすると、撮像部は、Ｂｎ−１、Ａｎ−１、Ｂｎ、Ａｎ、Ｂｎ＋１、Ａｎ＋１、・・・という順番で、１単位画像分の主要映像信号および１単位画像分の副次映像信号を交互に出力する。

そして、撮像部は、１単位画像分の主要映像信号および１単位画像分の副次映像信号を、第１の露光時間および第２の露光時間のいずれより長いフレーム周期で出力する。例えば、上記主要映像信号による単位画像（例えば、フレーム画像）Ａｎが出力されてから、次の上記主要映像信号による単位画像（例えば、フレーム画像）Ａｎ＋１が出力されるまでの周期（フレーム周期）が、第１の露光時間および第２の露光時間のいずれより長い。

閃光検出部は、主要映像信号および副次映像信号の少なくとも一方に外部閃光の影響があるか否かを判定する。

閃光補正部は、
（１）閃光検出部により外部閃光の影響があると判定された場合、主要映像信号に、当該主要映像信号が取得された第１の露光時間の時間的に前又は後に存在する第２の露光時間で取得された副次映像信号を加算することで取得した閃光補正映像信号を出力し、
（２）閃光検出部により外部閃光の影響がないと判定された場合、主要映像信号を出力することで、
外部閃光の影響を補正する。

この撮像装置では、上記の構成により、電子シャッター動作時の撮影において、通常の映像信号（主要映像信号）と併せて、本来不要な映像信号（副次映像信号）を撮像部より出力させる。そして、この撮像装置では、通常の映像信号（主要映像信号）により形成される１単位画像（例えば、１フレーム画像）の画面の上部または下部が外部閃光の影響により明るくなった場合に、当該主要映像信号により形成される１単位画像Ａｎ（例えば、フレーム画像Ａｎ）の時間的にその前または後に取得される本来不要な映像信号（副次映像信号）により形成される１単位画像ＢｎまたはＢｎ＋１（例えば、フレーム画像ＢｎまたはＢｎ＋１）と、上記１単位画像Ａｎとを加算することで、外部閃光の影響を抑制した単位画像（例えば、フレーム画像）を取得する。つまり、この撮像装置では、主要映像信号が外部閃光の影響を受けている場合、上記処理により、画面全体が明るい画面となる映像信号を出力することができる。

これにより、この撮像装置では、電子シャッター動作時においても、外部の閃光による白帯状の妨害が撮像した映像（画像）に発生することを適切に抑制することができる。

なお、「１単位画像分」の映像信号とは、１つの画面（１枚の画像）を形成することができる分量の映像信号のことをいい、例えば、１フレーム画像を形成することができる分量の映像信号がこれに該当する。

第２の発明は、第１の発明であって、閃光補正部は、閃光検出部が主要映像信号により形成される画像の上部に外部閃光の影響があると判定した場合、当該主要映像信号が取得された第１の露光時間の時間的に前に存在する第２の露光時間で取得された副次映像信号を主要映像信号に加算することで閃光補正映像信号を取得する。

この撮像装置では、例えば、主要映像信号により形成されるｎ番目のフレーム画像Ａｎの上部に外部閃光の影響があると判定された場合、フレーム画像Ａｎが取得された第１の露光時間の時間的に前に存在する第２の露光時間で取得された副次映像信号により形成されるフレーム画像Ｂｎとフレーム画像Ａｎとを加算することで生成された画像（閃光補正映像信号より形成される画像）を出力することができる。そして、この閃光補正映像信号より形成される画像は、その画面全体が明るい画面となる画像となる。

したがって、この撮像装置では、電子シャッター動作時においても、外部の閃光による白帯状の妨害が撮像した映像（画像）に発生することを適切に抑制することができる。

第３の発明は、第１の発明であって、閃光補正部は、閃光検出部が主要映像信号により形成される画像の下部に外部閃光の影響があると判定した場合、当該主要映像信号が取得された第１の露光時間の時間的に後に存在する第２の露光時間で取得された副次映像信号を主要映像信号に加算することで閃光補正映像信号を取得する。

この撮像装置では、例えば、主要映像信号により形成されるｎ番目のフレーム画像Ａｎの下部に外部閃光の影響があると判定された場合、フレーム画像Ａｎが取得された第１の露光時間の時間的に後に存在する第２の露光時間で取得された副次映像信号により形成されるフレーム画像Ｂｎ＋１とフレーム画像Ａｎとを加算することで生成された画像（閃光補正映像信号より形成される画像）を出力することができる。そして、この閃光補正映像信号より形成される画像は、その画面全体が明るい画面となる画像となる。

したがって、この撮像装置では、電子シャッター動作時においても、外部の閃光による白帯状の妨害が撮像した映像（画像）に発生することを適切に抑制することができる。

第４の発明は、第１の発明であって、閃光補正部は、閃光検出部により外部閃光の影響があると判定された場合、主要映像信号により形成される画像上において外部閃光の影響を受けている画像領域の場所に応じて、主要映像信号に加算する副次映像信号を決定する。

第５の発明は、第１の発明であって、閃光補正部は、閃光検出部が副次映像信号により形成される画像の下部に外部閃光の影響があると判定した場合、当該副次映像信号が取得された第２の露光時間の時間的に後に存在する第１の露光時間で取得された主要映像信号と、副次映像信号とを加算することで閃光補正映像信号を取得する。

この撮像装置では、例えば、副次映像信号により形成されるｎ番目のフレーム画像Ｂｎの下部に外部閃光の影響があると判定された場合、フレーム画像Ｂｎが取得された第１の露光時間の時間的に後に存在する第１の露光時間で取得された主要映像信号により形成されるフレーム画像Ａｎとフレーム画像Ｂｎとを加算することで生成された画像（閃光補正映像信号より形成される画像）を出力することができる。そして、この閃光補正映像信号より形成される画像は、その画面全体が明るい画面となる画像となる。

したがって、この撮像装置では、電子シャッター動作時においても、外部の閃光による白帯状の妨害が撮像した映像（画像）に発生することを適切に抑制することができる。

第６の発明は、第１から第５のいずれかの発明であって、第１の露光時間と第２の露光時間との和は、フレーム周期に等しい。

第７の発明は、第１から第５のいずれかの発明であって、第１の露光時間と第２の露光時間との和は、フレーム周期より小さい。

第８の発明は、撮像部と、閃光検出部と、閃光補正部と、を備える撮像装置である。

撮像部は、被写体像を第１の露光時間で撮像して取得した１単位画像分の主要映像信号と、被写体像を第２の露光時間で撮像して取得した１単位画像分の第１副次映像信号と、被写体像を第３の露光時間で撮像して取得した１単位画像分の第２副次映像信号とを、第１の露光時間、第２の露光時間および第３の露光時間のいずれより長いフレーム周期で交互に出力する。

閃光検出部は、主要映像信号、第１副次映像信号および第２副次映像信号の少なくとも一つに外部閃光の影響があるか否かを判定する。

閃光補正部は、
（１）閃光検出部により外部閃光の影響があると判定された場合、主要映像信号に、当該主要映像信号が取得された第１の露光時間の時間的に前に存在する第２の露光時間で取得された第１副次映像信号と、当該主要映像信号が取得された第１の露光時間の時間的に後に存在する第３の露光時間で取得された第２副次映像信号との少なくともいずれか１つの映像信号を加算することで取得した閃光補正映像信号を出力し、
（２）閃光検出部により外部閃光の影響がないと判定された場合、主要映像信号を出力することで、
外部閃光の影響を補正する。

この撮像装置では、上記の構成により、電子シャッター動作時の撮影において、通常の映像信号（主要映像信号）と併せて、本来不要な映像信号（副次映像信号）を２つに分けた第１副次映像信号および第２副次映像信号を撮像部より出力させる。そして、この撮像装置では、通常の映像信号（主要映像信号）により形成される１単位画像（例えば、１フレーム画像）の画面の上部または下部が外部閃光の影響により明るくなった場合に、当該主要映像信号により形成される１単位画像Ａｎ（例えば、フレーム画像Ａｎ）の時間的にその前または後に取得される本来不要な映像信号（第１副次映像信号および第２副次映像信号）により形成される１単位画像ＢｎまたはＣｎ（例えば、フレーム画像ＢｎまたはＣｎ）のいずれか１つと、上記１単位画像Ａｎとを加算することで、外部閃光の影響を抑制した単位画像（例えば、フレーム画像）を取得する。つまり、この撮像装置では、主要映像信号が外部閃光の影響を受けている場合、上記処理により、画面全体が明るい画面となる映像信号を出力することができる。

これにより、この撮像装置では、電子シャッター動作時においても、外部の閃光による白帯状の妨害が撮像した映像（画像）に発生することを適切に抑制することができる。

第９の発明は、第８の発明であって、閃光補正部は、閃光検出部が主要映像信号により形成される画像の上部に外部閃光の影響があると判定した場合、当該主要映像信号が取得された第１の露光時間の時間的に前に存在する第２の露光時間で取得された第１副次映像信号を主要映像信号に加算することで閃光補正映像信号を取得する。

この撮像装置では、例えば、主要映像信号により形成されるｎ番目のフレーム画像Ａｎの上部に外部閃光の影響があると判定された場合、フレーム画像Ａｎが取得された第１の露光時間の時間的に前に存在する第２の露光時間で取得された第１副次映像信号により形成されるフレーム画像Ｂｎとフレーム画像Ａｎとを加算することで生成された画像（閃光補正映像信号より形成される画像）を出力することができる。そして、この閃光補正映像信号より形成される画像は、その画面全体が明るい画面となる画像となる。

したがって、この撮像装置では、電子シャッター動作時においても、外部の閃光による白帯状の妨害が撮像した映像（画像）に発生することを適切に抑制することができる。

第１０の発明は、第８の発明であって、閃光補正部は、閃光検出部が主要映像信号により形成される画像の下部に外部閃光の影響があると判定した場合、当該主要映像信号が取得された第１の露光時間の時間的に後に存在する第３の露光時間で取得された第２副次映像信号を主要映像信号に加算することで閃光補正映像信号を取得する。

この撮像装置では、例えば、主要映像信号により形成されるｎ番目のフレーム画像Ａｎの下部に外部閃光の影響があると判定された場合、フレーム画像Ａｎが取得された第１の露光時間の時間的に後に存在する第３の露光時間で取得された第２副次映像信号により形成されるフレーム画像Ｃｎとフレーム画像Ａｎとを加算することで生成された画像（閃光補正映像信号より形成される画像）を出力することができる。そして、この閃光補正映像信号より形成される画像は、その画面全体が明るい画面となる画像となる。

したがって、この撮像装置では、電子シャッター動作時においても、外部の閃光による白帯状の妨害が撮像した映像（画像）に発生することを適切に抑制することができる。

第１１の発明は、被写体像を第１の露光時間で撮像して取得した１単位画像分の主要映像信号と、被写体像を第２の露光時間で撮像して取得した１単位画像分の副次映像信号とを、第１の露光時間および第２の露光時間のいずれより長いフレーム周期で交互に出力する撮像部を備える撮像装置で用いられる外部閃光補正方法であって、閃光検出ステップと、閃光補正ステップと、を備える外部閃光補正方法である。

閃光検出ステップでは、主要映像信号および副次映像信号の少なくとも一方に外部閃光の影響があるか否かを判定する。

閃光補正ステップでは、
（１）閃光検出部により外部閃光の影響があると判定された場合、主要映像信号に、当該主要映像信号が取得された第１の露光時間の時間的に前又は後に存在する第２の露光時間で取得された副次映像信号を加算することで取得した閃光補正映像信号を出力し、
（２）閃光検出部により外部閃光の影響がないと判定された場合、主要映像信号を出力することで、
外部閃光の影響を補正する。

これにより、第１の発明と同様の効果を奏する外部閃光補正方法を実現することができる。

第１２の発明は、被写体像を第１の露光時間で撮像して取得した１単位画像分の主要映像信号と、被写体像を第２の露光時間で撮像して取得した１単位画像分の副次映像信号とを、第１の露光時間および第２の露光時間のいずれより長いフレーム周期で交互に出力する撮像部を備える撮像装置で用いられる外部閃光補正方法を実行するプログラムであって、閃光検出ステップと、閃光補正ステップと、を備える外部閃光補正方法をコンピュータに実行させるプログラムである。

閃光検出ステップでは、主要映像信号および副次映像信号の少なくとも一方に外部閃光の影響があるか否かを判定する。

閃光補正ステップでは、
（１）閃光検出部により外部閃光の影響があると判定された場合、主要映像信号に、当該主要映像信号が取得された第１の露光時間の時間的に前又は後に存在する第２の露光時間で取得された副次映像信号を加算することで取得した閃光補正映像信号を出力し、
（２）閃光検出部により外部閃光の影響がないと判定された場合、主要映像信号を出力することで、
外部閃光の影響を補正する。

これにより、第１の発明と同様の効果を奏する外部閃光補正方法をコンピュータに実行させるためのプログラムを実現することができる。

第１３の発明は、被写体像を第１の露光時間で撮像して取得した１単位画像分の主要映像信号と、被写体像を第２の露光時間で撮像して取得した１単位画像分の副次映像信号とを、第１の露光時間および第２の露光時間のいずれより長いフレーム周期で交互に出力する撮像部を備える撮像装置に用いられる集積回路であって、閃光検出部と、閃光補正部と、を備える。

閃光検出部は、主要映像信号および副次映像信号の少なくとも一方に外部閃光の影響があるか否かを判定する。

閃光補正部は、
（１）閃光検出部により外部閃光の影響があると判定された場合、主要映像信号に、当該主要映像信号が取得された第１の露光時間の時間的に前又は後に存在する第２の露光時間で取得された副次映像信号を加算することで取得した閃光補正映像信号を出力し、
（２）閃光検出部により外部閃光の影響がないと判定された場合、主要映像信号を出力することで、
外部閃光の影響を補正する。

これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。

本発明によれば、電子シャッター機能を用いて撮像する場合であっても、閃光の影響を適切に抑制した画像（映像）を得ることができる撮像装置、外部閃光補正方法、プログラムおよび集積回路を実現することができる。

第１実施形態に係る撮像装置の構成を示すブロック図 第１実施形態に係る撮像装置の各部の映像の様子を示す図 第１実施形態に係る撮像装置の各部の映像の様子を示す図 第１実施形態に係る撮像装置の各部の映像の様子を示す図 第２実施形態に係る撮像装置の構成を示すブロック図 第２実施形態に係る撮像装置の各部の映像の様子を示す図 第２実施形態に係る撮像装置の各部の映像の様子を示す図 第２実施形態に係る撮像装置の各部の映像の様子を示す図 外部閃光により撮像信号に妨害が発生し得る撮影シーンを説明するための図 ＣＭＯＳ撮像素子を用いた撮像装置における外部閃光による白帯状の妨害発生原理の説明図 従来の撮像装置の概略構成を説明するための図 ＣＭＯＳ撮像素子を用いた撮像装置における外部閃光による白帯状の妨害発生原理の説明図

以下、実施形態について、図面を用いて説明する。

［第１実施形態］
第１実施形態では、撮像装置が電子シャッター機能を用いて処理を実行する場合について説明する。そして、本実施形態では、１フレームあたりの露光時間（信号電荷の蓄積時間）は、撮像フレームレートで決まる信号読み出し周期（１フレーム期間）の１／２と略等しいものとして説明する。例えば、撮像フレームレートが２４フレーム／秒であり、１フレーム期間および信号読み出し周期が、ともに、１／２４秒である場合、露光時間は１／４８秒となる。また、信号電荷の読み出し期間は１／６０秒とする。

＜１．１：撮像装置の構成＞
図１は、本実施形態の撮像装置１の概略構成を示す図である。

図１に示すように、撮像装置１は、撮像部１０１と、閃光検出部１０２と、閃光補正部１０３とを備える。閃光補正部１０３は、遅延部２０１と、遅延部２０２と、加算部２０３と、出力選択部２０４とを備える。

撮像部１０１は、ＣＭＯＳイメージセンサを備えており、撮像部１０１に含まれるレンズ（光学系）を通して、ＣＭＯＳイメージセンサに入った光によりＣＭＯＳイメージセンサの撮像素子面に結像した光学像（被写体からの光）を、光電変換により、電気信号に変換する。撮像部１０１は、ライン単位で電荷蓄積、電荷の読み出し、さらにＡ／Ｄ変換を行い、撮像信号を生成する。撮像部１０１は、生成した撮像信号に対して、さらに、ホワイトバランスなどの処理を行う。そして、撮像部１０１は、上記処理を行った信号を、映像信号ＶＩとして、閃光検出部１０２および閃光補正部１０３に出力する。

なお、撮像部１０１は、電子シャッター機能動作時において、通常の映像信号（例えば、図１２の蓄積時間で示す期間において、ＣＭＯＳイメージセンサの各画素に蓄積された電荷を読み出すことで取得される映像信号）を閃光検出部１０２および閃光補正部１０３に出力する。さらに、撮像部１０１は、電子シャッター機能動作時において、従来、不要であり、捨てられていた電荷により形成される映像信号（例えば、図１２のフレームＮ（Ｎ：整数）のＰＤ信号読出タイミングからフレームＮ＋１のＰＤ蓄積開始タイミングまでの期間（図１２で点線の四角で示した期間）において、ＣＭＯＳイメージセンサの各画素に蓄積された電荷を読み出すことで取得される映像信号）も閃光検出部１０２および閃光補正部１０３に出力する。

なお、撮像部１０１は、電子シャッター機能動作時において、従来、不要であり、捨てられていた電荷により形成される映像信号（副次映像信号）を読み出すために、例えば、次のように処理を行えばよい。すなわち、撮像部１０１は、従来の撮像装置において、電子シャッター機能動作時に、不要な電荷を廃棄するために行っていたリセット処理（ＣＭＯＳイメージセンサの各画素の蓄積電荷をリセットする動作）の代わりに、ＣＭＯＳイメージセンサの各画素の蓄積電荷を読み出すことで、上記副次映像信号を読み出す。

閃光検出部１０２は、撮像部１０１から出力される映像信号ＶＩを入力とする。閃光検出部１０２は、撮像部１０１から出力された映像信号ＶＩから、映像信号ＶＩにより形成される画像に外部閃光の影響があるか否かを判定する。そして、閃光検出部１０２は、上記判定結果の情報を示す信号である閃光検出信号ＦＤを閃光補正部１０３へ出力する。

なお、閃光検出部１０２での外部閃光の検出は、例えば、以下の（１）〜（３）により行う。
（１）入力される映像信号ＶＩにより形成される画像（例えば、フレーム画像）について、１ライン毎にその平均値（ライン平均値）を算出する、あるいは、画像内の所定のブロック毎に画素値（例えば、輝度値）の平均値（ブロック平均値）を算出する。
（２）処理（１）の算出結果に基づいて、映像信号ＶＩにより形成される画像（例えば、フレーム画像）の画面内での変化（１フレーム内での変化）やフレーム間の変化を検出する。
（３）処理（２）で検出した変化量が所定の値より大きい場合、映像信号ＶＩにより形成される画像（例えば、フレーム画像）に、外部閃光の影響が「ある」と判定する。一方、処理（２）で検出した変化量が所定の値以下の場合、映像信号ＶＩにより形成される画像（例えば、フレーム画像）には、外部閃光の影響は「ない」と判定する。

閃光補正部１０３は、撮像部１０１から出力される映像信号ＶＩおよび閃光検出部１０２から出力される閃光検出信号ＦＤを入力とする。閃光補正部１０３は、閃光検出部１０２による外部閃光の影響の有無を示す閃光検出信号に従い、撮像部１０１からの映像信号ＶＩに対して、画像補正処理や画像加工処理を行い、処理後の映像信号を映像信号ＶＯとして出力する。

＜１．２：撮像装置の動作＞
以上のように構成された撮像装置１について、図２〜図４を併用して、その動作を説明する。

本実施形態の撮像装置１の有する特徴の一つは、電子シャッター機能を用いる場合に、撮像部１０１から出力される通常の映像信号（例えば、図１２の蓄積時間で示す期間において、ＣＭＯＳイメージセンサの各画素に蓄積された電荷を読み出すことで取得される映像信号）と共に、電子シャッター機能を用いる場合には、不要であり捨てられていた電荷により形成される映像信号（例えば、図１２のフレームＮ（Ｎ：整数）のＰＤ信号読出タイミングからフレームＮ＋１のＰＤ蓄積開始タイミングまでの期間（図１２で点線の四角で示した期間）において、ＣＭＯＳイメージセンサの各画素に蓄積された電荷を読み出すことで取得される映像信号）も撮像部１０１から出力し利用することにある。

ここで、電子シャッター機能を用いる場合に、撮像部１０１から出力される通常の映像信号（電子シャッター機能を用いる場合に元々使うべき信号）を「主要映像信号」と呼ぶことにする。また、電子シャッター機能を用いる場合には、不要であり捨てられていた電荷により形成される映像信号（電子シャッターにおいて本来排出すべき信号）を「副次映像信号」と呼ぶことする。

撮像装置１では、１フレーム期間の１／２４秒間において、主要映像信号および副次映像信号の両方の信号が、撮像部１０１から出力される。ここで、画面全体の信号（１フレーム画像を形成することができる分量の映像信号）を出力するのに必要な時間は、１／６０秒であり、これは１／４８秒より短いので、主要映像信号および副次映像信号の両方の映像信号を、撮像部１０１から取り出す（出力する）ことが可能である。
（信号電荷の読み出し期間１／６０秒＜１／４８秒であるので、図１２に示した時刻Ｔ１は、時刻Ｔ２よりも前の時刻となる。このため、撮像部１０１のＣＭＯＳイメージセンサの各画素からの蓄積電荷を読み出す出力系統が１系統であっても、主要映像信号および副次映像信号の両方の映像信号を、撮像部１０１から取り出すことが可能となる。）
（１．２．１：閃光が発生していない場合（図２の場合））
まず、閃光が発生していない場合における撮像装置１の動作について、説明する。

図２は、本実施形態の撮像装置１において扱われる撮像信号および映像信号（画像信号）（映像信号（画像信号）により形成される表示画像）を示す図であり、閃光が発生していない場合における撮像装置１の撮像信号および映像信号（画像信号）を模式的に示している。すなわち、図２は、映像信号ＶＩ、ＶＷＡ、ＶＷＢ、ＶＲＡ、ＶＯ、および、閃光検出信号ＦＤの関係を、時間軸を合わせて示す図である。

図２（ａ）は、従来技術における図１２と同様に、撮像部１０１における電荷蓄積期間（露光期間）と、読み出しタイミングと、走査期間とを模式化した図であり、画面を構成する各走査ラインの電荷蓄積期間およびその電荷を読み出すための走査期間を、時間軸を横軸に取って表している。

また、図２（ｂ）は、撮像部１０１から出力される撮像信号ＶＩを各フレームの画面（各フレームにおけるフレーム画像）として示した図である。図２（ｂ）に示すように、撮像信号ＶＩとして、主要映像信号と副次映像信号とが交互に、撮像部１０１から出力されている。ここで、ｎ番目（ｎは整数）のフレームの主要映像信号をＡｎ、副次映像信号をＢｎと表現する。

このとき、撮像部１０１から出力された映像信号ＶＩは、図２（ｂ）に示すように、Ｂｎ−１、Ａｎ−１、Ｂｎ、Ａｎ、Ｂｎ＋１、Ａｎ＋１、Ｂｎ＋２、Ａｎ＋２という順番に出力される。

撮像部１０１から出力された映像信号ＶＩは、閃光補正部１０３において、二つの遅延部２０１、２０２へと入力される。ここで、遅延部２０１は主要映像信号用の遅延部（例えば、遅延回路）であり、遅延部２０２は副次映像信号用の遅延部（例えば、遅延回路）である。

すなわち、遅延部２０１へ入力される映像信号ＶＷＡは、図２（ｃ）に示すように主要映像信号Ａｎ−１、Ａｎ、Ａｎ＋１、Ａｎ＋２であり、遅延部２０２へ入力される映像信号ＶＷＢは、図２（ｄ）に示すように副次映像信号Ｂｎ−１、Ｂｎ、Ｂｎ＋１、Ｂｎ＋２である。

遅延部２０１では、主要映像信号に対して、１フレーム期間の遅延処理がなされる。したがって、遅延部２０１の出力である映像信号ＶＲＡ（図２（ｆ）に示す映像信号）は、入力映像信号ＶＷＡに対して１フレーム期間だけ遅延した信号となる。そして、遅延部２０１から出力される映像信号ＶＲＡは、加算部２０３および出力選択部２０４に出力される。なお、遅延部２０１は、例えば、フレームメモリを用いて構成される。そして、遅延部２０１をフレームメモリを用いて構成した場合、撮像部１０１から主要映像信号が出力されている期間（不図示の同期信号等でこの期間を特定する）のみ、当該フレームメモリに、主要映像信号が書き込まれ、１フレーム期間経過後に、当該フレームメモリから、書き込まれた主要映像信号が読み出される。そして、読み出された主要映像信号は、加算部２０３および出力選択部２０４に出力される。

一方、遅延部２０２では、図２（ｄ）に示す閃光検出信号ＦＤに基づいて、副次映像信号に対して、以下の処理（１）〜（３）が実行される。
（１）閃光検出信号ＦＤが外部閃光の影響「なし」との判定結果を示している場合、すなわち、閃光検出信号ＦＤが「０」の場合、遅延部２０２は、映像信号を出力しない。
（２）閃光検出信号ＦＤが外部閃光の影響「画面下部にあり」との判定結果を示している場合、すなわち、閃光検出信号ＦＤが「１」の場合、遅延部２０２は、副次映像信号に対して、１／２フレーム期間の遅延処理を実行し、副次映像信号を１／２フレーム期間だけ遅延させた信号を、映像信号ＶＲＢとして出力する。
（３）閃光検出信号ＦＤが外部閃光の影響「画面上部にあり」との判定結果を示している場合、すなわち、閃光検出信号ＦＤが「２」の場合、遅延部２０２は、副次映像信号に対して、３／２フレーム期間の遅延処理を実行し、副次映像信号を３／２フレーム期間だけ遅延させた信号を、映像信号ＶＲＢとして出力する。

なお、遅延部２０２は、例えば、フレームメモリを用いて構成される。そして、遅延部２０２をフレームメモリを用いて構成した場合、撮像部１０１から副次映像信号が出力されている期間（不図示の同期信号等でこの期間を特定する）のみ、当該フレームメモリに、副次映像信号が書き込まれ、所定の期間経過後に、当該フレームメモリから、書き込まれた副次映像信号が読み出される。そして、読み出された副次映像信号は、加算部２０３に出力される。

図２の場合、閃光検出信号ＦＤが「０」であるので、遅延部２０２から映像信号は、出力されない。

加算部２０３は、遅延部２０１から出力される映像信号ＶＲＡおよび遅延部２０２から出力される映像信号ＶＲＢを入力とする。加算部２０３は、遅延部２０１から出力される映像信号ＶＲＡおよび遅延部２０２から出力される映像信号ＶＲＢを加算し、加算した映像信号ＶＭを生成する。そして、加算部２０３は、生成した映像信号ＶＭを出力選択部２０４に出力する。

出力選択部２０４は、閃光検出部１０２から出力される閃光検出信号ＦＤと、加算部２０３から出力される映像信号ＶＭと、遅延部２０１から出力される映像信号ＶＲＡと、を入力とする。出力選択部２０４は、閃光検出信号ＦＤに基づいて、映像信号ＶＭおよび映像信号ＶＲＡのいずれか一方を選択し、映像信号ＶＯとして出力する。

具体的には、出力選択部２０４は、以下のように、処理を行う。
（１）閃光検出信号ＦＤが外部閃光の影響「なし」との判定結果を示している場合、すなわち、閃光検出信号ＦＤが「０」の場合、出力選択部２０４は、映像信号ＶＲＡを選択し、映像信号ＶＲＡを映像信号ＶＯとして出力する。
（２）閃光検出信号ＦＤが外部閃光の影響「あり」（外部閃光の影響「画面下部にあり」または外部閃光の影響「画面上部にあり」）との判定結果を示している場合、すなわち、閃光検出信号ＦＤが「１」または「２」の場合、出力選択部２０４は、映像信号ＶＭを選択し、映像信号ＶＲＡを映像信号ＶＯとして出力する。

図２の場合、閃光検出信号ＦＤが「０」であるので、出力選択部２０４では、常に、映像信号ＶＲＡが選択される。したがって、図２の場合、図２（ｇ）に示すように、常に、映像信号ＶＲＡが映像信号ＶＯとして出力される。

（１．２．２：閃光が発生している場合（図３の場合））
次に、閃光が発生している場合（図３の場合）における撮像装置１の動作について、説明する。

図３は、図１２で示すタイミングと同様のタイミングで外部閃光が発光した場合の撮像装置１の動作を説明するための図である。

図３は、映像信号ＶＷＡ、ＶＷＢ、ＶＲＡ、ＶＲＢ、ＶＯにより形成される画像（映像）における閃光の影響の様子と、閃光検出信号ＦＤの関係を、時間軸を合わせて模式的に示す図である。

ここで、撮像部１０１が撮像素子（ＣＭＯＳイメージセンサ）からｎ番目のフレームの撮像信号を読み出している途中で、フラッシュのような外部閃光が発光された場合には、撮像部１０１から出力される撮像信号は、図３（ｂ）に示す映像信号ＶＷＡのように、ｎ番目のフレームの画像Ａｎの下部（ラインαより下の部分）が閃光の影響を受けて明るくなっている。この映像信号ＶＷＡは、主要映像信号であり、遅延部２０１に入力される。

一方、副次映像信号は、ｎ＋１番目のフレームの画像Ｂｎ＋１の上部（ラインαより上の部分）にて外部閃光の影響を受けて明るくなっている。この副次映像信号は、映像信号ＶＷＢとして、撮像部１０１から遅延部２０２に入力される。

ここで、閃光検出部１０２は、映像信号ＶＷＡにおける外部閃光の画像への影響を監視しており、画像Ａｎの下部に白帯状の妨害があることを検出する。この場合、図３に示すように、閃光検出部１０２は、図３（ｄ）に示す閃光検出信号ＦＤの信号値を、外部閃光の影響「画面下部にあり」を示す信号値「１」にして、次のフレームＡｎ＋１の検出結果が出るまでの間、出力する。なお、閃光検出信号ＦＤは、信号値「１」であることを示す信号レベルの信号であればよい。

例えば、
（１）閃光検出部１０２が信号値「０」の閃光検出信号ＦＤを出力するとき、閃光検出部１０２は、閃光検出信号ＦＤの信号レベルを電圧Ｖ０＿Ｌ〜電圧Ｖ０＿Ｈの範囲内の信号レベルにして、閃光検出信号ＦＤを出力し、
（２）閃光検出部１０２が信号値「１」の閃光検出信号ＦＤを出力するとき、閃光検出部１０２は、閃光検出信号ＦＤの信号レベルを電圧Ｖ１＿Ｌ〜電圧Ｖ１＿Ｈの範囲内の信号レベルにして、閃光検出信号ＦＤを出力し、
（３）閃光検出部１０２が信号値「２」の閃光検出信号ＦＤを出力するとき、閃光検出部１０２は、閃光検出信号ＦＤの信号レベルを電圧Ｖ２＿Ｌ〜電圧Ｖ２＿Ｈの範囲内の信号レベルにして、閃光検出信号ＦＤを出力すればよい。
（４）閃光検出部１０２が信号値「３」の閃光検出信号ＦＤを出力するとき、閃光検出部１０２は、閃光検出信号ＦＤの信号レベルを電圧Ｖ３＿Ｌ〜電圧Ｖ３＿Ｈの範囲内の信号レベルにして、閃光検出信号ＦＤを出力すればよい。

なお、信号値「０」〜「３」を適切に区別するために、電圧範囲Ｖ０＿Ｌ〜Ｖ０＿Ｈ、Ｖ１＿Ｌ〜Ｖ１＿Ｈ、Ｖ２＿Ｌ〜Ｖ２＿Ｈ、および、Ｖ３＿Ｌ〜Ｖ３＿Ｈは、それぞれ、独立な範囲（互いに重複する範囲がない範囲）であることが好ましい。

また、閃光検出信号ＦＤを２ビット以上のデジタル信号としてもよい。例えば、閃光検出信号ＦＤを２ビットのデジタル信号とし、当該２ビットのデジタル信号により、信号値「０」〜「３」（０ｘ００〜０ｘ０３）が送信されるようにしてもよい。

遅延部２０１は、図３（ｅ）に示す映像信号ＶＲＡを出力する。

また、遅延部２０２は、閃光検出信号ＦＤが「１」であるときに、遅延部２０１が有効映像信号Ａｎを出力するタイミングに合わせて、図３（ｆ）に示すように、フレーム画像Ｂｎ＋１を形成する映像信号ＶＲＢを出力する。

そして、加算部２０３では、画像Ａｎを形成する映像信号ＶＲＡと画像Ｂｎ＋１を形成する映像信号ＶＲＢとが加算される（２次元画像上の同一座標位置の画素に対応する映像信号ＶＲＡの信号値と映像信号ＶＲＢの信号値とが加算される）。そして、加算部２０３で加算された映像信号は、加算信号ＶＭとして、出力選択部２０４へ出力される。

出力選択部２０４は、
（１）閃光検出信号ＦＤが「０」（閃光の影響なし）の場合、映像信号ＶＲＡを選択し、選択した映像信号ＶＲＡを映像信号ＶＯとして出力し、
（２）閃光検出信号ＦＤが「１」（画面下部に閃光の影響あり）の場合、加算部２０３の出力信号ＶＭを選択し、選択した映像信号ＶＭを出力信号ＶＯとして出力する。

その結果、撮像装置１では、図３（ｇ）に示す映像信号ＶＯのように、フレーム画像Ａｎに代わって、フレーム画像Ａｎ（Ａｎに対応する映像信号ＶＲＡ）とフレーム画像Ｂｎ＋１（Ｂｎ＋１に対応する映像信号ＶＲＢ）とを加算することで生成されたフレーム画像（映像信号）が出力される。

（１．２．３：閃光が発生している場合（図４の場合））
次に、閃光が発生している場合（図４の場合）における撮像装置１の動作について、説明する。

図４は、図３とは異なるタイミングにて外部閃光が発光された場合の撮像装置１の動作を説明するための図である。図４は、図３と同様、映像信号ＶＷＡ、ＶＷＢ、ＶＲＡ、ＶＲＢ、ＶＯにより形成される画像（映像）における閃光の影響の様子と、閃光検出信号ＦＤの関係を、時間軸を合わせて模式的に示す図である。

図４の場合、フレームＡｎの電荷信号蓄積開始走査期間（フレームＡｎの最初ラインのＰＤ（フォトダイオード）蓄積開始タイミングからフレームＡｎの最後ラインのＰＤ（フォトダイオード）蓄積開始タイミングまでの期間）に外部閃光が発光されている。このとき、撮像部１０１から出力される撮像信号は、図４（ｂ）に示す映像信号ＶＷＡのように、ｎ番目のフレームの画像Ａｎの上部（ラインαより上の部分）が閃光により明るくなっている。その前後のフレーム画像Ａｎ−１、Ａｎ＋１には白帯妨害は発生していない。この映像信号ＶＷＡは、元々電子シャッター機能が動作しているときに必要な主要映像信号であり、この映像信号ＶＷＡは、遅延部２０１に入力される。

一方、電子シャッター機能が動作しているときには、用いられることなく排出されていた蓄積電荷による映像信号である副次映像信号は、ｎ番目のフレームの画像Ｂｎの下部（ラインαより下の部分）が閃光の影響により明るくなっている。この副次映像信号は、映像信号ＶＷＢとして、遅延部２０２に入力される。

ここで、閃光検出部１０２は、映像信号ＶＷＡにおける外部閃光の画像への影響を監視しており、画像Ａｎの上部に妨害があることを検出する。この場合、図４に示すように、閃光検出部１０２は、図４（ｄ）に示す閃光検出信号ＦＤの信号値を、外部閃光の影響「画面上部にあり」を示す信号値「２」にして、次のフレームＡｎ＋１の検出結果が出るまでの間、出力する。

遅延部２０１は、図４（ｅ）に示す映像信号ＶＲＡを出力する。

また、遅延部２０２は、閃光検出信号ＦＤが「２」であるときに、遅延部２０１が有効映像信号Ａｎを出力するタイミングに合わせて、図４（ｆ）に示すように、フレーム画像Ｂｎを形成する映像信号ＶＲＢを出力する。

そして、加算部２０３では、画像Ａｎを形成する映像信号ＶＲＡと画像Ｂｎを形成する映像信号ＶＲＢとが加算される（２次元画像上の同一座標位置の画素に対応する映像信号ＶＲＡの信号値と映像信号ＶＲＢの信号値とが加算される）。そして、加算部２０３で加算された映像信号は、加算信号ＶＭとして、出力選択部２０４へ出力される。

出力選択部２０４は、
（１）閃光検出信号ＦＤが「０」の場合（閃光の影響なし）、映像信号ＶＲＡを選択し、選択した映像信号ＶＲＡを映像信号ＶＯとして出力し、
（２）閃光検出信号ＦＤが「２」の場合（画面上部に閃光の影響あり（閃光の影響あり判定される開始位置（ラインの位置）は、副次映像信号の電荷蓄積期間内））、加算部２０３の出力信号ＶＭを選択し、選択した映像信号ＶＭを出力信号ＶＯとして出力する。

その結果、撮像装置１では、図４（ｇ）に示す映像信号ＶＯのように、フレーム画像Ａｎに代わって、フレーム画像Ａｎ（Ａｎに対応する映像信号ＶＲＡ）とフレーム画像Ｂｎ（Ｂｎに対応する映像信号ＶＲＢ）とを加算することで生成されたフレーム画像（映像信号）が出力される。

以上のように、本実施形態の撮像装置１では、電子シャッター機能が動作している場合において、本来排出する映像信号（副次映像信号）を撮像部１０１から取り出して（出力させ）、通常の映像信号（主要映像信号）とともに、閃光補正処理に用いる。つまり、撮像装置１では、閃光により画面上部が明るくなったフレーム画像に対応する映像信号と、閃光により画面下部が明るくなったフレーム画像に対応する映像信号とを加算することで、閃光の影響を適切に抑制した映像信号を生成する。これにより、撮像装置１により取得される映像（画像）は、電子シャッター動作時においても、外部の閃光による白帯状の妨害を適切に抑制した映像（画像）となる。

［第２実施形態］
第２実施形態では、第１実施形態と同じく、１フレームあたりの露光時間（信号電荷の蓄積時間）は、撮像フレームレートで決まる信号読み出し周期（１フレーム期間）の１／２と略等しいものとして説明する。例えば、撮像フレームレートが２４フレーム／秒であり、１フレーム期間および信号読み出し周期が、ともに、１／２４秒である場合、露光時間は１／４８秒となる。なお、信号電荷の読み出し期間は、第１実施形態とは異なり、１／１２０秒とする。

また、本実施形態において、第１実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。

＜２．１：撮像装置の構成＞
図５は、本実施形態の撮像装置２の概略構成を示す図である。

図５に示すように、撮像装置２は、撮像部１０１と、閃光検出部１０２と、閃光補正部１０３Ａを備える。閃光補正部１０３Ａは、図５に示すように、遅延部２０１と、遅延部２０２と、遅延部２０５と、加算部２０３Ａと、出力選択部２０４とを備える。

＜２．２：撮像装置の動作＞
以上のように構成された撮像装置２について、図６〜図７を併用して、その動作を説明する。

本実施形態の撮像装置２の有する特徴の一つは、第１実施形態と同様に、電子シャッター機能を用いる場合に、撮像部１０１から出力される通常の映像信号である主要映像信号に加えて、電子シャッター機能を用いる場合には、不要であり捨てられていた電荷により形成される映像信号である副次映像信号も撮像部１０１から出力し利用することにある。ただし、第１実施形態とは異なり、本実施形態の撮像装置２では、複数の副次映像信号を利用する。

すなわち、１フレーム期間の１／２４秒間において、主要映像信号の露光時間は１／４８秒であるが、残りの１／４８秒の期間をさらに二つの１／９６秒の期間に分ける。そして、この二つに分けた１／９６秒の期間のそれぞれの期間において蓄積された電荷により形成される副次映像信号を、第１副次映像信号および第２副次映像信号として、撮像装置２で利用する。

本実施形態の撮像装置２では、１つのフレーム画像の画面全体を形成する信号を出力するのに必要な時間は、１／１２０秒であり、これは前記の１／９６秒より短いので、１／９６秒の時間間隔をおいて二つの副次映像信号を、撮像部１０１から取り出す（出力する）ことが可能である。
（信号電荷の読み出し期間１／１２０秒＜１／９６秒であるので（図６において、時刻ｔ１から時刻ｔ２までの期間が１／１２０秒であり、時刻ｔ１から時刻ｔ３までの期間が１／９６秒である）、図６に示した時刻ｔ２は、時刻ｔ３よりも前の時刻となる。このため、撮像部１０１のＣＭＯＳイメージセンサの各画素からの蓄積電荷を読み出す出力系統が１系統であっても、主要映像信号、第１副次映像信号および第２副次映像信号の３つの映像信号を、撮像部１０１から取り出すことが可能となる。）
つまり、撮像部１０１は、主要映像信号と第１副次映像信号と第２副次映像信号の３つの映像信号を出力することができる。

（２．２．１：閃光が発生していない場合（図６の場合））
図６は、本実施形態の撮像装置２において扱われる撮像信号および映像信号（画像信号）（映像信号（画像信号）により形成される表示画像）を示す図であり、閃光が発生していない場合を模式的に示している。すなわち、図６は、映像信号ＶＩ、ＶＷＡ、ＶＷＢ、ＶＷＣ、ＶＲＡ、ＶＯ、および、閃光検出信号ＦＤの関係を、時間軸を合わせて示す図である。

図６（ａ）は、第１実施形態における図２と同様に、撮像部１０１における電荷蓄積期間（露光期間）と、読み出しタイミングと、走査期間とを模式化した図である。また、図６（ｂ）は、撮像部１０１から出力される撮像信号ＶＩを各フレームの画面（各フレームにおけるフレーム画像）として示した図である。図６（ｂ）に示すように、撮像信号ＶＩとして、主要映像信号と第１副次映像信号と第２副次映像信号とが交互に、撮像部１０１から出力されている。ここで、ｎ番目（ｎは整数）のフレームの主要映像信号をＡｎと、第１副次映像信号をＢｎと、第２副次映像信号をＣｎと、それぞれ、表現する。なお、図６に示すように、時間軸上の順序関係として、主要映像信号Ａｎの前が第１副次映像信号Ｂｎ、主要映像信号Ａｎの後が第２副次映像信号Ｃｎとする。

このとき、撮像部１０１から映像信号ＶＩは、図６（ｂ）に示すようにＢｎ−１、Ａｎ−１、Ｃｎ−１、Ｂｎ、Ａｎ、Ｃｎ、Ｂｎ＋１、Ａｎ＋１、Ｃｎ＋１、Ｂｎ＋２、Ａｎ＋２、Ｃｎ＋２という順番に出力される。

撮像部１０１から出力された映像信号ＶＩは、閃光補正部１０３Ａにおいて、三つの遅延部２０１、２０２、２０５へと入力される。ここで、遅延部２０１は主要映像信号用の遅延部（例えば、遅延回路）であり、遅延部２０２は第１副次映像信号用の遅延部（例えば、遅延回路）であり、遅延部２０５は第２副次映像信号用の遅延部（例えば、遅延回路）である。

すなわち、遅延部２０１へ入力される映像信号ＶＷＡは、図６（ｃ）に示すように、主要映像信号Ａｎ−１、Ａｎ、Ａｎ＋１、Ａｎ＋２であり、遅延部２０２へ入力される映像信号ＶＷＢは、図６（ｄ）に示すように、第１副次映像信号Ｂｎ−１、Ｂｎ、Ｂｎ＋１、Ｂｎ＋２であり、遅延部２０５へ入力される映像信号ＶＷＣは、図６（ｅ）に示すように、第２副次映像信号Ｃｎ−１、Ｃｎ、Ｃｎ＋１、Ｃｎ＋２である。

遅延部２０１では、主要映像信号に対して、１フレーム期間の遅延処理がなされる。したがって、遅延部２０１の出力である映像信号ＶＲＡ（図６（ｇ）に示す映像信号）は、入力映像信号ＶＷＡに対して１フレーム期間だけ遅延した信号となる。そして、遅延部２０１から出力される映像信号ＶＲＡは、加算部２０３Ａおよび出力選択部２０４に出力される。

遅延部２０２では、図６（ｆ）に示す閃光検出信号ＦＤに基づいて、第１副次映像信号に対して、以下の処理（１）、（２）が実行される。
（１）閃光検出信号ＦＤが外部閃光の影響「なし」との判定結果を示している場合、すなわち、閃光検出信号ＦＤが「０」の場合、遅延部２０２は、映像信号を出力しない。
（２）閃光検出信号ＦＤが外部閃光の影響「画面上部にあり」との判定結果を示している場合、すなわち、閃光検出信号ＦＤが「２」の場合、遅延部２０２は、第１副次映像信号に対して、３／２フレーム期間の遅延処理を実行し、第１副次映像信号を３／２フレーム期間だけ遅延させた信号を、映像信号ＶＲＢとして出力する。

遅延部２０５では、図６（ｆ）に示す閃光検出信号ＦＤに基づいて、第２副次映像信号に対して、以下の処理（１）、（２）が実行される。
（１）閃光検出信号ＦＤが外部閃光の影響「なし」との判定結果を示している場合、すなわち、閃光検出信号ＦＤが「０」の場合、遅延部２０５は、映像信号を出力しない。
（２）閃光検出信号ＦＤが外部閃光の影響「画面下部にあり」との判定結果を示している場合、すなわち、閃光検出信号ＦＤが「１」の場合、遅延部２０５は、第２副次映像信号に対して、３／４フレーム期間の遅延処理を実行し、第２副次映像信号を３／４フレーム期間だけ遅延させた信号を、映像信号ＶＲＣとして出力する。

図６の場合、閃光検出信号ＦＤが「０」であるので、出力選択部２０４では、常に、映像信号ＶＲＡが選択される。したがって、図６の場合、図６（ｈ）に示すように、常に、映像信号ＶＲＡが映像信号ＶＯとして出力される。

（２．２．２：閃光が発生している場合（図７の場合））
次に、閃光が発生している場合（図７の場合）における撮像装置２の動作について、説明する。

図７は、外部閃光が発光した場合の撮像装置２の動作を説明するための図である。

図７は、映像信号ＶＷＡ、ＶＷＢ、ＶＷＣ、ＶＲＡ、ＶＲＢ、ＶＲＣ、ＶＯにより形成される画像（映像）における閃光の影響の様子と、閃光検出信号ＦＤの関係を、時間軸を合わせて模式的に示す図である。なお、外部閃光は、図７に示すように、２回発光しているとする（外部閃光は、異なる２つのタイミング（時刻ｔｆ１および時刻ｔｆ２）で、発生している）。

≪１番目の外部閃光≫
まず、一番目の外部閃光（時刻ｔｆ１で発生した外部閃光）に対する撮像装置２の処理について、説明する。

撮像部１０１が撮像素子（ＣＭＯＳイメージセンサ）からｎ番目のフレームの撮像信号を読み出している途中で、フラッシュのような外部閃光が発光された場合には、撮像部１０１から出力される撮像信号は、図７（ｂ）に示す映像信号ＶＷＡのように、ｎ番目のフレームの画像Ａｎの下部（ラインαより下の部分）が閃光の影響により明るくなっている。この映像信号ＶＷＡは、主要映像信号であり、遅延部２０１に入力される。

一方、第２副次映像信号は、ｎ番目のフレームの画像Ｃｎの上部（ラインαより上の部分）にて外部閃光の影響により明るくなっている。この第２副次映像信号は、映像信号ＶＷＣとして、撮像部１０１から遅延部２０５に入力される。

ここで、閃光検出部１０２は、映像信号ＶＷＡにおける外部閃光の画像への影響を監視しており、画像Ａｎの下部に白帯状の妨害があることを検出する。この場合、図７に示すように、閃光検出部１０２は、図７（ｅ）に示す閃光検出信号ＦＤの信号値を、外部閃光の影響「画面下部にあり」を示す信号値「１」にして（主要映像信号の電荷読み出し期間内において、外部閃光の影響が開始されていることを示す信号値「１」にして）、次のフレームＡｎ＋１の検出結果が出るまでの間、出力する。

遅延部２０１は、図７（ｆ）に示す映像信号ＶＲＡを出力する。

また、遅延部２０５は、閃光検出信号ＦＤが「１」であるときに、遅延部２０１が有効映像信号Ａｎを出力するタイミングに合わせて、図７（ｈ）に示すように、フレーム画像Ｃｎを形成する映像信号ＶＲＣを出力する。

そして、加算部２０３Ａでは、画像Ａｎを形成する映像信号ＶＲＡと画像Ｃｎを形成する映像信号ＶＲＣとが加算される（２次元画像上の同一座標位置の画素に対応する映像信号ＶＲＡの信号値と映像信号ＶＲＣの信号値とが加算される）。そして、加算部２０３Ａで加算された映像信号は、加算信号ＶＭとして、出力選択部２０４へ出力される。

出力選択部２０４は、
（１）閃光検出信号ＦＤが「０」（閃光の影響なし）の場合、映像信号ＶＲＡを選択し、選択した映像信号ＶＲＡを映像信号ＶＯとして出力し、
（２）閃光検出信号ＦＤが「１」（画面下部に閃光の影響「あり」）の場合、加算部２０３Ａから出力される映像信号ＶＭを選択し、選択した映像信号ＶＭを映像信号ＶＯとして出力する。

その結果、撮像装置２では、図７（ｉ）に示す映像信号ＶＯのように、フレーム画像Ａｎに代わって、フレーム画像Ａｎ（Ａｎに対応する映像信号ＶＲＡ）とフレーム画像Ｃｎ（Ｃｎに対応する映像信号ＶＲＣ）とを加算することで生成されたフレーム画像（映像信号）、すなわち画面全体が明るいフレーム画像（映像信号）が出力される。

≪２番目の外部閃光≫
次に、二番目の外部閃光（時刻ｔｆ２で発生した外部閃光）に対する撮像装置２の処理について、説明する。

二番目の外部閃光は、フレームＡｎ＋１の電荷信号蓄積開始走査期間（フレームＡｎ＋１の最初ラインのＰＤ（フォトダイオード）蓄積開始タイミングからフレームＡｎ＋１の最後ラインのＰＤ（フォトダイオード）蓄積開始タイミングまでの期間）に発光されている。このとき、撮像部１０１から出力される撮像信号は、図７（ｂ）に示す映像信号ＶＷＡのように、ｎ＋１番目のフレームの画像Ａｎ＋１の上部（ラインβより上の部分）が閃光により明るくなっている。この映像信号ＶＷＡは、遅延部２０１に入力される。

一方、電子シャッター機能が動作しているときには、用いられることなく排出されていた第１副次映像信号は、ｎ＋１番目のフレームの画像Ｂｎ＋１の下部（ラインβより下の部分）が閃光の影響により明るくなっている。この第１副次映像信号は、映像信号ＶＷＢとして、遅延部２０２に入力される。

ここで、閃光検出部１０２は、映像信号ＶＷＡにおける外部閃光の画像への影響を監視しており、画像Ａｎ＋１の上部に妨害があることを検出する。この場合、図７に示すように、閃光検出部１０２は、図７（ｅ）に示す閃光検出信号ＦＤの信号値を、外部閃光の影響「画面上部にあり」を示す信号値「２」にして、次のフレームＡｎ＋２の検出結果が出るまでの間、出力する。

遅延部２０１は、図７（ｆ）に示す映像信号ＶＲＡを出力する。

また、遅延部２０２は、閃光検出信号ＦＤが「２」であるときに、遅延部２０１が有効映像信号Ａｎ＋１を出力するタイミングに合わせて、図７（ｇ）に示すように、フレーム画像Ｂｎ＋１を形成する映像信号ＶＲＢを出力する。

そして、加算部２０３Ａでは、画像Ａｎ＋１を形成する映像信号ＶＲＡと画像Ｂｎ＋１を形成する映像信号ＶＲＢとが加算される（２次元画像上の同一座標位置の画素に対応する映像信号ＶＲＡの信号値と映像信号ＶＲＢの信号値とが加算される）。そして、加算部２０３Ａで加算された映像信号は、加算信号ＶＭとして、出力選択部２０４へ出力される。

出力選択部２０４は、
（１）閃光検出信号ＦＤが「０」の場合（閃光の影響なし）、映像信号ＶＲＡを選択し、選択した映像信号ＶＲＡを映像信号ＶＯとして出力し、
（２）閃光検出信号ＦＤが「２」の場合（画面上部に閃光の影響あり（閃光の影響あり判定される開始位置（ラインの位置）は、副次映像信号の電荷蓄積期間内））、加算部２０３Ａの出力信号ＶＭを選択し、選択した映像信号ＶＭを出力信号ＶＯとして出力する。

その結果、撮像装置２では、図７（ｉ）に示す映像信号ＶＯのように、フレーム画像Ａｎ＋１に代わって、フレーム画像Ａｎ＋１（Ａｎ＋１に対応する映像信号ＶＲＡ）とフレーム画像Ｂｎ＋１（Ｂｎ＋１に対応する映像信号ＶＲＢ）とを加算することで生成されたフレーム画像、すなわち画面全体が明るいフレーム画像（映像信号）が出力される。

ここで、もし、本実施形態の撮像装置２が第１実施形態と同様の構成であれば、フレームＣｎとフレームＢｎ＋１の二つの映像信号が混ざってしまい、適切な閃光補正処理を実行することが困難となるが、本実施形態の撮像装置２では、二回の外部閃光の影響が互いに影響しあうことはなく、上記のように処理を実行することで、図７のような場合であっても、適切に閃光補正処理を行うことができる。

以上のように、本実施形態の撮像装置２では、電子シャッター機能が動作している場合において、本来排出する映像信号（副次映像信号（第１副次映像信号および第２副次映像信号））を撮像部１０１から取り出して（出力させ）、通常の映像信号（主要映像信号）とともに、閃光補正処理に用いる。つまり、撮像装置２では、閃光により画面上部が明るくなったフレーム画像に対応する映像信号と、閃光により画面下部が明るくなったフレーム画像に対応する映像信号とを加算することで、閃光の影響を適切に抑制した映像信号を生成する。これにより、撮像装置２により取得される映像（画像）は、電子シャッター動作時においても、外部の閃光による白帯状の妨害を適切に抑制した映像（画像）となる。

さらに、撮像装置２では、本来排出する映像信号（副次映像信号（第１副次映像信号および第２副次映像信号））を複数に分けて閃光補正処理を実行するので、外部閃光が短い間隔で発光した場合でも、映像信号に発生する白帯状の妨害を適切に抑制することができる。

なお、本実施形態では、画像Ａｎに対して、画像Ｂｎおよび画像Ｃｎのいずれかを加算する形態について説明したが、画像Ａｎに対して画像Ｂｎおよび画像Ｃｎの両方を加算する形態であってもよい。例えば、図８に示すように、画像Ａｎの画面の上部および下部のいずれにも外部閃光の影響がある場合、閃光検出部１０２は、図８（ｅ）に示す閃光検出信号ＦＤの信号値を、外部閃光の影響「画面上部および画面下部にあり」を示す信号値「３」にして、出力する。加算部２０３Ａは、画像Ａｎに画像Ｂｎおよび画像Ｃｎの両方を加算した信号を作成し、出力選択部２０４は、加算部２０３Ａで加算した信号を選択し、出力する。

［他の実施形態］
なお、上記実施形態では、撮像装置の撮像部の出力系統が１系統である場合について説明しているが、これに限定されることはなく、例えば、撮像装置の撮像部の出力系統は、２系統以上であってもよい。例えば、撮像装置の撮像部の出力系統が２系統以上あれば、１フレーム分の主要映像信号用の信号電荷をＣＭＯＳイメージセンサから読み出す処理が終了する前に、副次映像信号用の信号電荷をＣＭＯＳイメージセンサから読み出す処理を開始することができる。つまり、撮像装置の撮像部の出力系統が２系統以上あれば、図６の時刻ｔ３が時刻ｔ２より前にすることができる。

これにより、撮像装置の撮像部の出力系統が２系統以上あれば、さらに多くの副次映像信号を用いて（第２実施形態では、副次映像信号の数は「２」であったが、さらに多くの数の副次映像信号を用いて）、上述の閃光補正処理を行うことができる。その結果、撮像装置において、さらに精度の良い閃光補正処理を行うことができる。

また、上記実施形態で説明した撮像装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。

また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る撮像装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。

また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。

前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕｅ−ｒａｙ Ｄｉｓｃ）、半導体メモリを挙げることができる。

上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。

なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

本発明にかかる撮像装置、外部閃光補正方法、プログラム、および、集積回路は、近年ビデオカメラでも使われるようになってきたＣＭＯＳイメージセンサを用いた撮像装置に特有の、フラッシュ等が焚かれた被写体を撮影することにより発生する白帯状の妨害を検出して補正することができる。したがって、本発明は、映像機器関連産業分野において、有用であり、本発明は、当該分野において実施することができる。

１、２ 撮像装置
１０ ビデオカメラ
１１ モニター
１２、１３ スチルカメラ
１４ 被写体
１０１、７０１ 撮像部
１０２ 閃光検出部
１０３、１０３Ａ 閃光補正部
２０１、２０２、２０５ 遅延部
２０３、２０３Ａ 加算部
２０４ 出力選択部
７０２ 画像処理部
７０３ 評価部
７０４ 制御部
７０５ 記録表示処理部
７０６ バッファ
７０７ 記憶部

Claims (13)

1. 被写体像を第１の露光時間で撮像して取得した１単位画像分の主要映像信号と、前記被写体像を第２の露光時間で撮像して取得した１単位画像分の副次映像信号とを、前記第１の露光時間および前記第２の露光時間のいずれより長いフレーム周期で交互に出力する撮像部と、
   前記主要映像信号および前記副次映像信号の少なくとも一方に外部閃光の影響があるか否かを判定する閃光検出部と、
   （１）前記閃光検出部により外部閃光の影響があると判定された場合、前記主要映像信号に、当該主要映像信号が取得された前記第１の露光時間の時間的に前又は後に存在する前記第２の露光時間で取得された前記副次映像信号を加算することで取得した閃光補正映像信号を出力し、（２）前記閃光検出部により外部閃光の影響がないと判定された場合、前記主要映像信号を出力することで、外部閃光の影響を補正する閃光補正部と、
   を備える撮像装置。
2. 前記閃光補正部は、
   前記閃光検出部が前記主要映像信号により形成される画像の上部に外部閃光の影響があると判定した場合、当該主要映像信号が取得された前記第１の露光時間の時間的に前に存在する前記第２の露光時間で取得された前記副次映像信号を前記主要映像信号に加算することで前記閃光補正映像信号を取得する、
   請求項１に記載の撮像装置。
3. 前記閃光補正部は、
   前記閃光検出部が前記主要映像信号により形成される画像の下部に外部閃光の影響があると判定した場合、当該主要映像信号が取得された前記第１の露光時間の時間的に後に存在する前記第２の露光時間で取得された前記副次映像信号を前記主要映像信号に加算することで前記閃光補正映像信号を取得する、
   請求項１に記載の撮像装置。
4. 前記閃光補正部は、
   前記閃光検出部により外部閃光の影響があると判定された場合、前記主要映像信号により形成される画像上において外部閃光の影響を受けている画像領域の場所に応じて、前記主要映像信号に加算する前記副次映像信号を決定する、
   請求項１に記載の撮像装置。
5. 前記閃光補正部は、
   前記閃光検出部が前記副次映像信号により形成される画像の下部に外部閃光の影響があると判定した場合、当該副次映像信号が取得された前記第２の露光時間の時間的に後に存在する前記第１の露光時間で取得された前記主要映像信号と、前記副次映像信号とを加算することで前記閃光補正映像信号を取得する、
   請求項１に記載の撮像装置。
6. 前記第１の露光時間と前記第２の露光時間との和は、前記フレーム周期に等しい、
   請求項１から５のいずれかに記載の撮像装置。
7. 前記第１の露光時間と前記第２の露光時間との和は、前記フレーム周期より小さい、
   請求項１から５のいずれかに記載の撮像装置。
8. 被写体像を第１の露光時間で撮像して取得した１単位画像分の主要映像信号と、前記被写体像を第２の露光時間で撮像して取得した１単位画像分の第１副次映像信号と、前記被写体像を第３の露光時間で撮像して取得した１単位画像分の第２副次映像信号とを、前記第１の露光時間、前記第２の露光時間および前記第３の露光時間のいずれより長いフレーム周期で交互に出力する撮像部と、
   前記主要映像信号、前記第１副次映像信号および前記第２副次映像信号の少なくとも一つに外部閃光の影響があるか否かを判定する閃光検出部と、
   （１）前記閃光検出部により外部閃光の影響があると判定された場合、前記主要映像信号に、当該主要映像信号が取得された前記第１の露光時間の時間的に前に存在する前記第２の露光時間で取得された前記第１副次映像信号と、当該主要映像信号が取得された前記第１の露光時間の時間的に後に存在する前記第３の露光時間で取得された前記第２副次映像信号との少なくともいずれか１つの映像信号を加算することで取得した閃光補正映像信号を出力し、（２）前記閃光検出部により外部閃光の影響がないと判定された場合、前記主要映像信号を出力することで、外部閃光の影響を補正する閃光補正部と、
   を備える撮像装置。
9. 前記閃光補正部は、
   前記閃光検出部が前記主要映像信号により形成される画像の上部に外部閃光の影響があると判定した場合、当該主要映像信号が取得された前記第１の露光時間の時間的に前に存在する前記第２の露光時間で取得された前記第１副次映像信号を前記主要映像信号に加算することで前記閃光補正映像信号を取得する、
   請求項８に記載の撮像装置。
10. 前記閃光補正部は、
    前記閃光検出部が前記主要映像信号により形成される画像の下部に外部閃光の影響があると判定した場合、当該主要映像信号が取得された前記第１の露光時間の時間的に後に存在する前記第３の露光時間で取得された前記第２副次映像信号を前記主要映像信号に加算することで前記閃光補正映像信号を取得する、
    請求項８に記載の撮像装置。
11. 被写体像を第１の露光時間で撮像して取得した１単位画像分の主要映像信号と、前記被写体像を第２の露光時間で撮像して取得した１単位画像分の副次映像信号とを、前記第１の露光時間および前記第２の露光時間のいずれより長いフレーム周期で交互に出力する撮像部を備える撮像装置で用いられる外部閃光補正方法であって、
    前記主要映像信号および前記副次映像信号の少なくとも一方に外部閃光の影響があるか否かを判定する閃光検出ステップと、
    （１）前記閃光検出部により外部閃光の影響があると判定された場合、前記主要映像信号に、当該主要映像信号が取得された前記第１の露光時間の時間的に前又は後に存在する前記第２の露光時間で取得された前記副次映像信号を加算することで取得した閃光補正映像信号を出力し、（２）前記閃光検出部により外部閃光の影響がないと判定された場合、前記主要映像信号を出力することで、外部閃光の影響を補正する閃光補正ステップと、
    を備える外部閃光補正方法。
12. 被写体像を第１の露光時間で撮像して取得した１単位画像分の主要映像信号と、前記被写体像を第２の露光時間で撮像して取得した１単位画像分の副次映像信号とを、前記第１の露光時間および前記第２の露光時間のいずれより長いフレーム周期で交互に出力する撮像部を備える撮像装置で用いられる外部閃光補正方法を実行するプログラムであって、
    前記主要映像信号および前記副次映像信号の少なくとも一方に外部閃光の影響があるか否かを判定する閃光検出ステップと、
    （１）前記閃光検出部により外部閃光の影響があると判定された場合、前記主要映像信号に、当該主要映像信号が取得された前記第１の露光時間の時間的に前又は後に存在する前記第２の露光時間で取得された前記副次映像信号を加算することで取得した閃光補正映像信号を出力し、（２）前記閃光検出部により外部閃光の影響がないと判定された場合、前記主要映像信号を出力することで、外部閃光の影響を補正する閃光補正ステップと、
    を備える外部閃光補正方法をコンピュータに実行させるためのプログラム。
13. 被写体像を第１の露光時間で撮像して取得した１単位画像分の主要映像信号と、前記被写体像を第２の露光時間で撮像して取得した１単位画像分の副次映像信号とを、前記第１の露光時間および前記第２の露光時間のいずれより長いフレーム周期で交互に出力する撮像部を備える撮像装置に用いられる集積回路であって、
    前記主要映像信号および前記副次映像信号の少なくとも一方に外部閃光の影響があるか否かを判定する閃光検出部と、
    （１）前記閃光検出部により外部閃光の影響があると判定された場合、前記主要映像信号に、当該主要映像信号が取得された前記第１の露光時間の時間的に前又は後に存在する前記第２の露光時間で取得された前記副次映像信号を加算することで取得した閃光補正映像信号を出力し、（２）前記閃光検出部により外部閃光の影響がないと判定された場合、前記主要映像信号を出力することで、外部閃光の影響を補正する閃光補正部と、
    を備える集積回路。