JP7034792B2 - 撮像装置とその制御方法及びプログラム - Google Patents

Description

本発明は、ローリングシャッタ方式の撮像素子を備える撮像装置とその制御方法及びプログラムに関する。

デジタルカメラやデジタルカムコーダ等の撮像装置の撮像素子には、ＣＭＯＳセンサ等のローリングシャッタ方式のものが広く用いられている。ローリングシャッタ方式の撮像素子では、撮像素子の撮像領域上の画素ラインから、順次、電荷（画像信号）を読み出すことによって撮像を行う。そのため、撮像装置の外部から閃光（例えば、ストロボ光等のように発光時間が短く且つ強い光）が照射されたときに、閃光が撮像領域の全ラインに照射されないことがある。その場合、閃光が照射された撮像領域上のラインのみが高輝度に撮像される現象が発生し、こうして撮像画像に発生する高輝度ラインは一般的にフラッシュバンドと呼ばれている。フラッシュバンドは、記者会見や結婚式等のイベントでの動画撮影等のように、短期間に複数回の閃光が連続して照射される環境下で発生しやすい。

フラッシュバンドが発生したフレームを含む映像は鑑賞の際に不自然なものと受け止められることが多いため、フラッシュバンドが発生した撮像画像は、動画生成時に自動的に削除され或いは画像処理等で補正されることが多い。例えば、撮像装置内での画像処理により、撮影時にフラッシュバンドを補正する手法が特許文献１，２に記載されている。

特許文献１は、高速フレームレートで撮像素子から画像信号を読み出し、読み出した複数の撮像画像を合成することによってフラッシュバンドの補正されたフレームを生成する方法を提案している。この方法では、撮像素子から高速フレームレートで撮像画像を読み出すことによってフラッシュバンドの発生確率を低下させている。そして、フラッシュバンドが発生した場合、隣り合う撮像画像を合成することで、撮像領域の全ラインに閃光が照射された状態と同等となるフレームを生成している。

特許文献２は、高速フレームレートで画像信号を読み出し、読み出した撮像画像毎にフラッシュバンドが発生しているか否かを判定し、フラッシュバンドが発生している撮像画像をフラッシュバンドの発生していない撮像画像に置換する方法を提案している。この方法では、フラッシュバンドが発生していない撮像画像に対して置換処理前に、閃光が照射された場合の露出と同等になるようにゲイン等で露出補正が行われる。

特開２０１３－１６５４３９号公報 特開２０１５－１７７３０３号公報

しかしながら、上記特許文献１に記載された技術では、フラッシュバンドを補正するためには、隣り合う撮像画像の撮像領域上でのフラッシュバンドの境界のラインを一致させる必要がある。つまり、前の撮像画像の読み出し期間と次の撮像画像に対する蓄積開始期間とを一致させ、且つ、各ラインの読み出しタイミングと蓄積開始タイミングとを一致させることが必要となる。この制約により、シャッタスピードを自由に設定することができないという問題がある。

また、上記特許文献２に記載された技術では、フラッシュバンドが発生していない撮像画像が存在することを前提としてフラッシュバンドを補正する。しかし、例えば、ストロボ光等の閃光が連続して照射される撮影環境下では、フラッシュバンドが発生する撮像画像が連続する可能性がある。この場合、連続する撮像画像をフラッシュバンドの発生していない同じ撮像画像に置き換えることになるため、同じ撮像画像が連続した部分では静止した映像となってしまう。

本発明は、シャッタスピードを自由に設定することができ、また、同じ撮像画像を連続させることなくフラッシュバンドを補正した動画を生成することが可能な撮像装置を提供することを目的とする。

本発明に係る撮像装置は、蓄積タイミングの異なる第１の撮像と第２の撮像を並行して実行可能な撮像素子と、前記第２の撮像での前記撮像素子の全ラインの蓄積期間が前記第１の撮像での前記撮像素子の全ラインの蓄積開始期間と読み出し期間と重なるようにして、前記第１の撮像と前記第２の撮像を実行する制御手段と、前記第１の撮像と前記第２の撮像により得られた撮像画像を記憶する記憶手段と、前記記憶手段に記憶された撮像画像におけるフラッシュバンドの発生を検出する検出手段と、前記検出手段による検出結果に基づいてフラッシュバンドの発生していない撮像画像を選択する選択手段と、前記選択手段により選択された撮像画像を用いて動画を生成する動画生成手段と、を備えることを特徴とする。

本発明によれば、シャッタスピードを自由に設定することができ、また、同じ撮像画像を連続させることなくフラッシュバンドが補正された動画を生成することができる。

第１実施形態に係る撮像装置の概略構成を示すブロック図である。 第１の撮像と第２の撮像の第１の例を説明する模式図である。 図１の撮像装置による動画撮影時の処理のフローチャートである。 第１の撮像と第２の撮像の第２の例を説明する模式図である。 第１の撮像と第２の撮像の第３の例を説明する模式図である。 本発明の第２実施形態に係る撮像装置の概略構成を示すブロック図である。 第１の撮像と第２の撮像の第４の例を説明する模式図である。 図６の撮像装置による動画撮影時の処理のフローチャートである。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。図１は、本発明の第１の実施形態に係る撮像装置１００の概略構成を示すブロック図である。撮像装置１００の具体例としては、デジタルカメラやデジタルカムコーダを挙げることができるが、これらに限定されるものではない。撮像装置１００は、レンズ１、減光部２、撮像処理部３、画像処理部９、ＭＰＵ１０、記憶部１１、表示部１２及び操作部１３を備える。撮像処理部３は、撮像ユニット４、第１のメモリ５、第２のメモリ６、閃光検出部７及び画像選択部８を備える。

入射光である被写体からの反射光はレンズ１と減光部２を透過して、撮像処理部３の撮像ユニット４が有する撮像素子（ＣＭＯＳ撮像素子）に結像する。便宜的に、図１には１枚のレンズ１を示しているが、レンズ１は複数のレンズから構成されていてもよい。減光部２は、絞り羽根やＮＤフィルタ等の入射光量を調整可能な部材から構成されている。撮像処理部３の構成の詳細については後述するが、概略、撮像処理部３は、撮像ユニット４から読み出された撮像画像を解析し、画像処理部９へ出力する撮像画像を選択し、選択した撮像画像を画像処理部９へ出力する。画像処理部９は、撮像処理部３から取得した撮像画像の色や輝度等の調整（ホワイトバランス処理やガンマ処理等の種々の信号処理）を行い、コーディックにより所定の形式の動画ファイルを生成する。

画像処理部９が生成した動画ファイルは記憶部１１に記憶され、また、表示部１２による表示に用いられる。記憶部１１は、例えば、メモリカード等の半導体記憶装置やハードディスクドライブ等であるが、これらに限定されず、デジタル信号からなる動画ファイルを記憶することができるものであればよい。表示部１２は、液晶ディスプレイや有機ＥＬディスプレイ等であるが、これらに限定されるものではない。操作部１３は、撮像装置１００の各種設定や各種動作の実行を指示するためのインタフェースを提供する。操作部１３は、図３を参照して後述するフラッシュバンド補正処理を行う動画撮影を実行するか否かをユーザに選択させるための選択手段（不図示）を含む。

ＭＰＵ１０は、撮像装置１００の全体制御を行うマイクロコンピュータであり、ＣＰＵやＲＯＭ、ＲＡＭ等を備えている。ＲＯＭには、撮像装置１００の動作を制御するための各種のプログラム等が格納されており、ＣＰＵは、ＲＯＭに格納されている所定のプログラムをＲＡＭに展開することにより、撮像装置１００の各部の動作を統括的に制御する。

続いて、撮像処理部３の構成について説明する。撮像処理部３が有する撮像ユニット４は、ローリングシャッタ方式のＣＭＯＳ撮像素子、ＣＭＯＳ撮像素子を駆動するためのドライバ、タイミング生成回路、ＣＤＳ／ＡＧＣ回路、Ａ／Ｄ変換器等を含むものとし、これらの各部の動作はＭＰＵ１０により制御される。ＣＭＯＳ撮像素子は、撮像面に結像した被写体光学像を光電変換する。ＣＤＳ／ＡＧＣ回路は、ＣＭＯＳ撮像素子の各画素に蓄積された電荷（画像信号）を相関二重サンプリング（ＣＤＳ）により読み出し、自動利得調整（ＡＧＣ）により所定のゲインに増幅する。ＣＤＳ／ＡＧＣ回路から出力されるアナログ電気信号は、Ａ／Ｄ変換器によりデジタル信号からなる撮像画像に変換され、撮像画像は第１のメモリ５と第２のメモリ６に記憶される。

本実施形態では、撮像ユニット４として、蓄積タイミングの異なる第１の撮像と第２の撮像を並行して実行可能なものが用いられる。具体的には、ＣＭＯＳ撮像素子を構成する複数の画素のそれぞれに第１のＡ／Ｄ変換部と第２のＡ／Ｄ変換部が設けられた構造を有するものを用いることができる。このような撮像ユニット４の構成は公知であるため、詳細な説明は省略するが、例えば、特開２０１３－２０７４３３号公報に開示がある。撮像ユニット４からは、第１のＡ／Ｄ変換部から出力される撮像画像と第２のＡ／Ｄ変換部から出力される撮像画像を同時に得ることができる。

以下の説明では、第１の撮像は第１のＡ／Ｄ変換部を通じて撮像画像を得るための撮像を指し、第２の撮像は第２のＡ／Ｄ変換部を通じて撮像画像を得るための撮像を指すものとする。なお、撮像ユニット４としては、ＣＭＯＳ撮像素子を構成する複数の画素に対して２つのＡ／Ｄ変換部を交互に接続する構成を有するものを用いることもできる。このような撮像ユニット４の構成は公知であるため、詳細な説明は省略するが、例えば、特開２０１５－２６９３８号公報に開示がある。

本実施形態では、動画撮影の際に第１の撮像と第２の撮像とでＣＭＯＳ撮像素子での電荷（画像信号）の蓄積タイミングが異なるように撮像条件が設定される。そして、第１の撮像により得られる撮像画像は第１のメモリ５に記憶され、第２の撮像により得られる撮像画像は第２のメモリ６に記憶される。なお、「蓄積タイミングが異なる第１の撮像と第２の撮像」の具体例については、図２、図４、図５及び図７を参照して後述する。

閃光検出部７は、第１のメモリ５と第２のメモリ６のそれぞれに記憶された複数の撮像画像のそれぞれについて、フラッシュバンド発生の有無を検出する。例えば、閃光検出部７は、撮像画像の水平ラインを上から下へ１ラインずつ走査し、上下に隣接する２ラインの輝度差が所定値より大きいことを検出した場合に、その撮像画像にはフラッシュバンドが発生していると判定する。閃光検出部７は、フラッシュバンド検出結果を画像選択部８へ通知する。

画像選択部８は、閃光検出部７から取得したフラッシュバンド検出結果に基づいてフラッシュバンドの発生していない撮像画像を第１のメモリ５と第２のメモリ６から選択して読み出す。そして、画像選択部８は、第１のメモリ５と第２のメモリ６から読み出した撮像画像を撮像装置１００の制御フレームレートに同期させて画像処理部９に送信する。

なお、閃光発光量が小さい場合には上下に隣接するライン間の輝度差が小さくなるため、閃光検出部７がフラッシュバンドの発生している撮像画像をフラッシュバンドが発生していない撮像画像であると誤認する可能性がある。この問題に対処するため、画像選択部８は、第１のメモリ５及び第２のメモリ６に記憶された撮像画像からフラッシュバンドが発生していない可能性が最も高いと推測される撮像画像を選択することで、閃光検出部７の誤検出による影響を低減させる制御を行う。ここで、フラッシュバンドが発生していない可能性が高いと推測される撮像画像とは、フラッシュバンドが発生していないと判定された撮像画像のうち、撮像画像毎に求められている上下に隣接する２ラインの輝度差の最大値が相対的に小さい撮像画像である。閃光検出部７は、撮像画像にフラッシュバンドが発生しているか否かを検査する際に上下に隣接する２ラインの輝度を求めている。そこで、閃光検出部７から画像選択部８へ通知されるフラッシュバンド検出結果に各撮像画像において上下に隣接する２ラインの輝度差の最大値に関する情報を含めるようにすれば、画像選択部８による撮像画像の選択を簡潔に行うことができる。

撮像装置１００による動画撮影では、ユーザ設定により、ＣＭＯＳ撮像素子での電荷（画像信号）の蓄積タイミングの異なる第１の撮像と第２の撮像を行って得られた撮像画像から選択された撮像画像をフレームとして用いた１つの動画を生成することができる。図２は、異なる蓄積タイミングで撮像された第１の撮像と第２の撮像の第１の例を説明する図である。図２（ａ）は、第１の撮像と第２の撮像のそれぞれでのＣＭＯＳ撮像素子の制御を説明する図である。第１の例では、第２の撮像での撮像領域の全ラインの蓄積期間は、第１の撮像での撮像領域の全ラインの蓄積開始期間及び読み出し期間と重なる。換言すれば、第１の撮像で１撮像画像を取得するために撮像領域のライン毎に順次蓄積が開始されている期間と読み出しが行われている期間に、第２の撮像では撮像領域の全ラインで電荷（画像信号）の蓄積が行われているようにする。第１の撮像による撮像画像が第１のメモリ５に記憶され、第２の撮像による撮像画像が第２のメモリ６に記憶される。

図２（ｂ）は、第１の撮像での撮像画像にフラッシュバンドが発生したときに、第２の撮像での撮像画像にはフラッシュバンドが発生しないことを説明する図である。第１の撮像の蓄積１での読み出し期間に閃光照射がなされて、蓄積１の撮像画像にフラッシュバンドが発生したとする。なお、不図示であるが、蓄積１の撮像画像の次の撮像画像にもフラッシュバンドが発生する。このとき、閃光照射タイミングは、第２の撮像での蓄積２ａの次の蓄積２ｂの全ラインの蓄積期間内となっているため、蓄積２ｂでは撮像領域の全ラインに閃光が照射される。よって、蓄積２ａの撮像画像は閃光が照射されていない明るさとなり、蓄積２ｂの撮像画像は閃光が照射された明るさとなり、いずれの撮像画像にもフラッシュバンドは発生しない。このように、第１の撮像での撮像領域の全ラインの蓄積開始期間及び読み出し期間が第２の撮像での撮像領域の全ラインの蓄積期間でカバーされるようにすることで、１回の閃光に対して必ずフラッシュバンドの発生していない撮像画像を得ることができる。

本実施形態では、第１の撮像と第２の撮像を並行して行うが、第１の撮像で得られた撮像画像をベースとして１つの動画ファイルを生成する。よって、所定のタイミングで第１の撮像と第２の撮像により得られた撮像画像の双方にフラッシュバンドが発生していない場合には、画像選択部８は第１の撮像によるフラッシュバンドの発生していない撮像画像を選択する。そして、所定のタイミングで第１の撮像により得られた撮像画像にフラッシュバンドが発生していることが検出された場合に、画像選択部８は第２の撮像によるフラッシュバンドの発生していない撮像画像を選択する。図４（ｂ）の例では、画像選択部８は、蓄積１の撮像画像にフラッシュバンドが発生していることが検出されている場合、蓄積１の撮像画像に代えて動画の生成に用いる第２の撮像での蓄積２ａ，２ｂによる撮像画像を選択する。このようにして、第１の撮像による撮像画像にフラッシュバンドが発生した場合に、その撮像画像を第２の撮像によるフラッシュバンドの発生していない撮像画像で置換する。

次に、異なる蓄積タイミングに設定された第１の撮像と第２の撮像を並行して行い、第１の撮像による撮像画像をベースとして１つの動画ファイルを生成する処理の流れについて説明する。図３は、撮像装置１００による動画撮影時にＭＰＵ１０及び撮像処理部３で実行される処理を説明するフローチャートである。図３にＳ番号で示す各処理（ステップ）は、ＭＰＵ１０が所定のプログラムを実行して撮像処理部３を構成する各部の動作を統括的に制御することにより実現される。なお、第１の撮像の条件は予め定められているものとする。

Ｓ１０１ではＭＰＵ１０は、第１の撮像による撮像画像を第１のメモリ５に記憶する。Ｓ１０２ではＭＰＵ１０は、第１の撮像において、撮像画像を取得するための電荷（画像信号）の蓄積期間（以下単に「蓄積期間」という）が全ラインの蓄積開始期間の２倍以上であるか否かを判定する。なお、第１の撮像での蓄積期間は、１ラインについての蓄積開始から読み出し開始までの期間（図２の場合、蓄積１の上辺の長さに相当する期間）を指す。また、第１の撮像では、全ラインの蓄積開始期間と読み出し期間は、時間的に同じ長さであるとする。よってＳ１０２は、第１の撮像において蓄積期間が全ラインの読み出し期間の２倍以上であるか否かを判定することによって行ってもよい。ＭＰＵ１０は、第１の撮像での蓄積期間が全ラインの蓄積開始期間の２倍以上であると判定した場合（Ｓ１０２でＹＥＳ）、処理をＳ１０３へ進める。一方、ＭＰＵ１０は、第１の撮像での蓄積期間が全ラインの蓄積開始期間の２倍未満であると判定した場合（Ｓ１０２でＮＯ）、処理をＳ１０８へ進める。

Ｓ１０３ではＭＰＵ１０は、第１の撮像での蓄積期間が撮像装置１００の制御フレームレートの蓄積期間以下であるか否かを判定する。ここで、第１の撮像の蓄積期間が制御フレームレートの蓄積期間より長い場合とは、具体的には、長秒露光が行われている場合である。例えば、制御フレームレートが６０ｆｐｓである場合の蓄積期間は１６．７ｍｓｅｃとなり、これより長い蓄積期間となっている場合には、長秒露光が行われているものと判定される。ＭＰＵ１０は、第１の撮像での蓄積期間が制御フレームレートの蓄積期間以下であると判定した場合（Ｓ１０３でＹＥＳ）、処理をＳ１０４へ進める。一方、ＭＰＵ１０は、第１の撮像での蓄積期間が制御フレームレートの蓄積期間より長いと判定した場合（Ｓ１０３でＮＯ）、処理をＳ１０６へ進める。

Ｓ１０３の判定がＹＥＳとなった場合、第１の撮像での全ラインの蓄積開始期間及び読み出し期間のそれぞれを、第１の撮像でのフレームレートと同じフレームレートに設定された第２の撮像の全ラインの蓄積期間でカバーすることが可能な条件が整っている。よって、Ｓ１０４ではＭＰＵ１０は、図２を参照して説明したように、第１の撮像の全ラインの蓄積開始期間及び読み出し期間をカバーするように全ラインの蓄積期間が設定された第２の撮像を実行する。これにより、閃光照射により第１の撮像による撮像画像にフラッシュバンドが発生しても、閃光が撮像領域の全ラインに照射されてフラッシュバンドの発生していない撮像画像を第２の撮像により得ることができる。Ｓ１０５ではＭＰＵ１０は、第２の撮像による撮像画像を第２のメモリ６に記憶する（通常記憶）。ＭＰＵ１０は、Ｓ１０５の後、処理をＳ１１０へ進める。

なお、Ｓ１０４では、第１の撮像での全ラインの蓄積開始期間及び読み出し期間のそれぞれが第２の撮像の全ラインの蓄積期間でカバーされていればよい。そのため、第２の撮像のフレームレートを第１の撮像のフレームレートよりも高速に設定することも可能である。但し、その場合には、第２の撮像による撮像画像の露出を第１の撮像による撮像画像の露出に合わせるようにＣＭＯＳ撮像素子からの出力を調整する必要が生じる。

Ｓ１０３の判定がＮＯとなった後のＳ１０６ではＭＰＵ１０は、第１の撮像（長秒露光）での全ラインの蓄積開始期間及び読み出し期間を第２の撮像の全ラインの蓄積期間でカバーすることができるように第２の撮像の蓄積期間を設定し、第２の撮像を実行する。ここで、Ｓ１０６で設定される第２の撮像について図４を参照して説明する。

図４は、異なる蓄積タイミングで撮像された第１の撮像と第２の撮像の第２の例を説明する図である。図４（ａ）は、第１の撮像と第２の撮像のそれぞれでのＣＭＯＳ撮像素子の制御を説明する図である。第１の撮像では、長秒露光が行われており、蓄積１１で示される撮像画像が撮像ユニット４から出力されるものとする。この場合に、第２の撮像では、第１の撮像の全ラインの蓄積開始期間を覆うタイミングで蓄積１２ａ（第１の蓄積）を行い、且つ、第１の撮像の全ラインの読み出し期間を覆うタイミングで蓄積１２ｃ（第２の蓄積）を行う。第２の撮像では更に、蓄積１２ａと蓄積１２ｃの間で蓄積１２ｂ（第３の蓄積）を行う。蓄積１２ｂを行うのは、第２の撮像による撮像画像での蓄積期間（露出）を、第１の撮像による撮像画像での蓄積期間（露出）と一致させるためである。換言すれば、第２の撮像の条件は、蓄積１２ａと蓄積１２ｂを加算したときの各ラインの蓄積期間及び蓄積１２ｂと蓄積１２ｃを加算したときの各ラインの蓄積期間が共に、蓄積１１での各ラインの蓄積期間と同じになるように設定される。

Ｓ１０７ではＭＰＵ１０は、第２の撮像で得られた撮像画像を第２のメモリ６に記憶する（加算記憶）。図４（ｂ）は、Ｓ１０７において第２のメモリ６に記憶される撮像画像を説明する図である。第２の撮像では、蓄積１２ａによる撮像画像と蓄積１２ｂによる撮像画像を加算した撮像画像を作成して第２のメモリ６に記憶し、また、蓄積１２ｂによる撮像画像と蓄積１２ｃによる撮像画像を加算した撮像画像を作成して第２のメモリ６に記憶する。これにより、第２の撮像による撮像画像の蓄積期間を第１の撮像による撮像画像の蓄積期間と一致させることができる。ＭＰＵ１０は、Ｓ１０７の後、処理をＳ１１０へ進める。

第１の撮像において蓄積期間が全ラインの蓄積開始期間の２倍未満である場合、第１の撮像での全ラインの蓄積開始期間及び読み出し期間のそれぞれを、図２に示した蓄積２ａ，２ｂのような別々の蓄積で覆うことができない。そこで、Ｓ１０２の判定がＮＯとなった後のＳ１０８ではＭＰＵ１０は、第１の撮像における全ラインの蓄積開始から読み出し終了までの期間が第２の撮像での全ラインの蓄積期間で覆われるように、第２の撮像を実行する。

ここで、Ｓ１０８で設定される第２の撮像について図５を参照して説明する。図５は、異なる蓄積タイミングで撮像された第１の撮像と第２の撮像の第３の例を説明する図である。図５は、第２の撮像での全ラインの蓄積期間を、第１の撮像の全ラインの蓄積開始から読み出し終了までの期間と同じにした例を示している。但し、これに限られず、第２の撮像での全ラインの蓄積期間が、第１の撮像の全ラインの蓄積開始から読み出し終了までの期間を覆っていればよい。

Ｓ１０９ではＭＰＵ１０は、第２の撮像による撮像画像を第２のメモリ６に記憶する。このとき、第２の撮像による撮像画像は、第１の撮像による撮像画像よりも蓄積期間が長いため、第１の撮像による撮像画像よりも全体的に明るい画像となる。そこで、ＭＰＵ１０は、第２の撮像では、ＣＭＯＳ撮像素子からの電荷（画像信号）の読み出しの際にマイナスゲイン処理（出力調整）を行い、第２の撮像による撮像画像の明るさ（露出）を第１の撮像による撮像画像の明るさに一致させる（ゲイン調整記憶）。ＭＰＵ１０は、Ｓ１０９の後、処理をＳ１１０へ進める。

Ｓ１１０では閃光検出部７が、第１のメモリ５と第２のメモリ６にそれぞれ記憶された撮像画像にフラッシュバンドが発生しているか否かを検出し、フラッシュバンド検出結果を画像選択部８へ通知する。なお、前述の通り、動画は、第１の撮像により得られた撮像画像をベースとして生成される。そのため、第１のメモリ５に記憶された撮像画像にフラッシュバンドが発生していることが検出されたときにのみ、それらに代えて動画の生成に用いる第２の撮像による撮像画像を特定するために第２のメモリ６に記憶された撮像画像を検査するようにしてもよい。Ｓ１１１では画像選択部８が、画像処理部９へ送信する撮像画像をＳ１１０で取得した情報に基づいて選択する。

Ｓ１１２では画像選択部８が、Ｓ１１１で選択した撮像画像を撮像装置１００の制御フレームレートに合わせて画像処理部９へ送信する。その際、第２の撮像による撮像画像を画像処理部９へ送信する場合には、撮像領域の全ラインに閃光が照射されている撮像画像を含めるようにする。また、画像処理部９に送信された撮像画像と動画生成に用いられないことが確定している撮像画像は、第１のメモリ５と第２のメモリ６から逐次消去される。これにより、撮像処理部３での処理は終了となり、画像処理部９は取得した撮像画像から動画ファイルを生成する。

上記処理により、動画を構成する主な撮像画像を取得するための第１の撮像での蓄積期間、つまり、シャッタスピードを自由に設定することができる。また、同じ撮像画像が連続するということが生じることなく、フラッシュバンドが補正された撮像画像を含む動画を遅滞なく生成することができる。

ところで、Ｓ１０２の判定がＮＯとなった場合（処理がＳ１０８へ進む場合）には、上述したフローに代えて、以下の通りに処理を進めることができる。すなわち、上述したＳ１０８と同じ処理を実行する。その後、上記Ｓ１０９ではマイナスゲイン処理を行って第２のメモリ６に撮像画像を記憶したが、マイナスゲイン処理を行わずに第２のメモリ６に撮像画像を記憶する。そして、上述したＳ１１０と同じ処理を実行し、第１の撮像による撮像画像にフラッシュバンドが発生していることが検出された場合には、これに代えて用いる第２の撮像によるフラッシュバンドのない撮像画像を特定する。そして、特定された撮像画像の露出（明るさ）を第１の撮像による撮像画像の明るさ（露出）に合わせるように、特定された撮像画像のマイナスゲイン処理を行う。第２のメモリ６に記憶された撮像画像のマイナスゲイン処理を実行するために、撮像処理部３は、第２のメモリ６に記憶された撮像画像のゲイン調整部を備える必要がある。その後の処理は、上述したＳ１１１以降の通りに行うことができる。なお、撮像処理部３にゲイン調整部を設ける代わりに、画像処理部９へ第２の撮像による撮像画像と共にマイナスゲイン処理の実行情報を送信し、画像処理部９がマイナスゲイン処理を実行する構成することも可能である。

＜第２実施形態＞
図６は、本発明の第２実施形態に係る撮像装置２００の概略構成を示すブロック図である。第１実施形態で説明した撮像装置１００の撮像処理部３が閃光検出部７と画像選択部８を有することに対して、撮像装置２００は閃光検出部２７と画像加算部２８を有する撮像処理部２３を備えている点で、撮像装置１００と異なる。撮像装置２００のその他の構成は撮像装置１００と同じであるので、撮像装置２００の構成要素であって撮像装置１００の構成要素と同じものについては、同じ符号を付して重複する説明を省略する。

撮像装置２００では、動画の生成に用いられる主たる撮像画像である第１の撮像による撮像画像が第１のメモリ５に記憶される。第２の撮像のフレームレートは第１の撮像のフレームレートよりも高速に設定され、第２の撮像による撮像画像は第２のメモリ６に記憶される。

図７は、第１の撮像と第２の撮像の第４の例を説明する図である。図７（ａ）は、第１の撮像と第２の撮像のそれぞれでのＣＭＯＳ撮像素子の制御を説明する図である。本実施形態では、第１の撮像での全ラインの蓄積開始期間を第２の撮像での全ラインの読み出し期間に一致させると共に、第１の撮像での全ラインの読み出し期間を第２の撮像での全ラインの蓄積開始期間と一致させる。また、第１の撮像での蓄積期間に対して、第２の撮像での蓄積期間は短く設定される。つまり、第２の撮像でのフレームレートは、第１の撮像でのフレームレートよりも高速に設定される。更に、第２の撮像は、第１の撮像での全ラインの蓄積開始期間及び読み出し期間のそれぞれを、連続する複数の蓄積期間でカバーするように設定される。図７（ａ）は、５つの撮像画像が連続して出力されるように蓄積３２ａ～３２ｅが行われる例を示している。

図７（ｂ）は、第１の撮像による撮像画像と第２の撮像による撮像画像の加算処理を説明する図である。第１の撮像での蓄積３１で得られる撮像画像にフラッシュバンドが発生する場合には、上段図に示すように、必ず、同じ閃光に起因するフラッシュバンドが第２の撮像での蓄積３２ａ，３２ｂで得られる撮像画像にも発生する。そこで、第１の撮像での蓄積３１で得られるフラッシュバンドの発生した撮像画像に第２の撮像の蓄積３２ａ，３２ｂで得られるフラッシュバンドの発生した２つの撮像画像を加算することにより、撮像領域の全ラインに閃光が照射されている撮像画像を生成する。つまり、第１の撮像での全ラインの蓄積開始期間及び読み出し期間に第２の撮像での連続する短時間の蓄積期間を必要数だけ加算して、閃光が撮像領域の全ラインに照射された場合と同様の状態を生成して、第１の撮像による撮像画像のフラッシュバンドを補正する。

なお、図７の例では、第１の撮像による撮像画像にフラッシュバンドが発生した場合には、第２の撮像による撮像画像の１つ又は２つにフラッシュバンドが発生する例を示している。但し、第２の撮像の条件は、これに限定されず、３つ以上の撮像画像にフラッシュバンドが発生する場合があるようにフレームレートが設定されていてもよい。

閃光検出部２７は、第２のメモリ６に記憶された撮像画像におけるフラッシュバンドの有無を検査し、フラッシュバンド検出結果を画像加算部２８へ通知する。フラッシュバンドの検出方法は、第１実施形態で説明した閃光検出部７による検出方法に準ずるため、ここでの説明を省略する。図７に示した蓄積３２ａ～３２ｅのような短時間の（露光量の小さい）撮像は閃光以外の外光の影響を受け難いため、第２の撮像による撮像画像でフラッシュバンドの有無を判定することにより、フラッシュバンドの検出精度を高めることができる。

画像加算部２８へは、第１のメモリ５に記憶された撮像画像が送信される。そして、画像加算部２８は、図７（ｂ）を参照して説明したように、閃光検出部２７からの通知に基づいて、フラッシュバンドが発生していると判定された第２の撮像による撮像画像を第１の撮像によるフラッシュバンドの発生した撮像画像に加算する。こうして、フラッシュバンドが補正され、撮像領域の全ラインが閃光照射により露光された明るい撮像画像を得ることができる。なお、図７を参照して説明したように、第２の撮像による撮像画像にフラッシュバンドが発生した場合には、必ず、同じ閃光に起因するフラッシュバンドが第１の撮像による撮像画像に発生している。そのため、加算処理の対象となる第１の撮像によるフラッシュバンドのある撮像画像の特定は容易である。画像加算部２８は、撮像装置２００の制御フレームレートに同期させて、第１の撮像による撮像画像をそのまま又はフラッシュバンドを補正して画像処理部９へ送信する。

図８は、撮像装置２００による動画撮影時に撮像処理部２３で実行される処理を説明するフローチャートである。図８にＳ番号で示す各処理（ステップ）は、ＭＰＵ１０が所定のプログラムを実行して撮像処理部２３を構成する各部の動作を統括的に制御することにより実現される。なお、第１の撮像の条件は予め定められているものとする。

Ｓ２０１ではＭＰＵ１０は、第１の撮像を実行し、第１の撮像による撮像画像を第１のメモリ５に記憶する。Ｓ２０２ではＭＰＵ１０は、第２の撮像を実行し、第２の撮像による撮像画像を第２のメモリ６に記憶する。

第２の撮像の条件は、図７を参照して説明した例に準じて設定される。すなわち、第２の撮像は、第１の撮像の各ラインの蓄積開始のタイミングに第２の撮像の同ラインの読み出しのタイミングが一致するように設定される。また、第２の撮像では、第１の撮像の全ラインの蓄積開始期間を全ラインの蓄積期間でカバーしているものとみなすことが可能な高速フレームレートでの連続した所定数の撮像画像を撮像する。これにより、第１の撮像の蓄積開始期間でフラッシュバンドが発生しても、フラッシュバンドが発生しているその撮像画像を第２の撮像による撮像画像を用いて補正して、撮像領域の全ラインが閃光照射により露光された明るい撮像画像を得ることができる。

更に、第２の撮像は、第１の撮像の各ラインの読み出しのタイミングに第２の撮像の同ラインの蓄積開始のタイミングが一致するように設定される。また、第２の撮像では、第１の撮像の全ラインの読み出し期間を全ラインの蓄積期間でカバーしているものとみなすことが可能な高速フレームレートでの連続した所定数の撮像画像を撮像する。これにより、第１の撮像の読み出し期間でフラッシュバンドが発生しても、フラッシュバンドが発生しているその撮像画像を第２の撮像による撮像画像を用いて補正して、撮像領域の全ラインが閃光照射により露光された明るい撮像画像を得ることができる。

Ｓ２０３では閃光検出部７が、第２のメモリ６に記憶した第２の撮像による撮像画像に対するフラッシュバンドの検出処理を行い、フラッシュバンド検出結果を画像加算部２８へ通知する。Ｓ２０４では画像加算部２８が、Ｓ２０３でのフラッシュバンド検出結果に基づき、フラッシュバンドの発生した撮像画像が検出されたか否かを判定する。画像加算部２８は、フラッシュバンドが発生した撮像画像が検出されたと判定した場合（Ｓ２０４でＹＥＳ）、処理をＳ２０５へ進め、フラッシュバンドが発生している撮像画像は検出されなかったと判定した場合（Ｓ２０４でＮＯ）、処理をＳ２０６へ進める。

Ｓ２０５では画像加算部２８が、共通の閃光に起因してフラッシュバンドが発生した第１の撮像及び第２の撮像による各撮像画像を、図７（ｂ）を参照して説明した例の通りに加算して、撮像領域の全ラインに閃光が照射された撮像画像を生成する。Ｓ２０６では画像加算部２８が、撮像装置２００の制御フレームレートに合わせて、動画の生成に用いる撮像画像を画像処理部９へ送信する。これにより、撮像処理部２３での処理は終了となり、画像処理部９は取得した撮像画像から動画ファイルを生成する。

上記処理により、第１実施形態と同様に、動画を構成する主な撮像画像を取得するための第１の撮像での蓄積期間、つまり、シャッタスピードを自由に設定することができる。また、フラッシュバンドが補正された撮像画像を含む動画を遅滞なく生成することができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。例えば、上記実施形態では、撮像装置１００の内部で実行される各種の処理が複数の回路（処理部）で実行される構成としたが、複数の回路の全部又は一部がＭＰＵ１０に包含された構成としてもよい。つまり、図３及び図８を参照して説明した処理が可能な限りにおいて、回路構成は問われない。

また、図４を参照して説明した第１の撮像と第２の撮像の第２の例では、蓄積１２ａと蓄積１２ｃの間で蓄積１２ｂを行う構成について説明した。これに対して、蓄積１２ｂを行わずに、蓄積１１で得られる撮像画像の露出と同じとなるように蓄積１２ａ，１２ｃで得られる撮像画像のゲイン調整を行うようにしてもよい。更に、上記実施形態では、撮像装置１００を記憶部１１と表示部１２を内蔵している構成としているが、記憶部１１と表示部１２は、ＭＰＵ１０と通信可能に接続された外部装置であっても構わない。上記実施形態では、本発明に係る撮像装置１００は、デジタルカメラ又はデジタルカムコーダであるとした。しかし、ローリングシャッタ方式による撮像機能を有する各種の電子機器（例えば、スマートフォン、携帯電話、ゲーム機、タブレットＰＣ等）にも、上記実施形態で説明した撮像装置の制御方法を適用することができる。

本発明は、上述した実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３，２３ 撮像処理部
４ 撮像ユニット
５ 第１のメモリ
６ 第２のメモリ
７，２７ 閃光検出部
８ 画像選択部
９ 画像処理部
２８ 画像加算部
１００，２００ 撮像装置

Claims (14)

1. 蓄積タイミングの異なる第１の撮像と第２の撮像を並行して実行可能な撮像素子と、
   前記第２の撮像での前記撮像素子の全ラインの蓄積期間が前記第１の撮像での前記撮像素子の全ラインの蓄積開始期間と読み出し期間と重なるようにして、前記第１の撮像と前記第２の撮像を実行する制御手段と、
   前記第１の撮像と前記第２の撮像により得られた撮像画像を記憶する記憶手段と、
   前記記憶手段に記憶された撮像画像におけるフラッシュバンドの発生を検出する検出手段と、
   前記検出手段による検出結果に基づいてフラッシュバンドの発生していない撮像画像を選択する選択手段と、
   前記選択手段により選択された撮像画像を用いて動画を生成する動画生成手段と、を備えることを特徴とする撮像装置。
2. 前記第１の撮像での全ラインの蓄積期間と前記第２の撮像での全ラインの蓄積期間とは、時間的に同じ長さであることを特徴とする請求項１に記載の撮像装置。
3. 前記第２の撮像での全ラインの蓄積期間の長さが前記第１の撮像での全ラインの蓄積期間の長さと異なる場合に、前記第２の撮像による撮像画像の露出を前記第１の撮像による撮像画像の露出に合わせるように前記第２の撮像により得られる撮像画像のゲインを補正する補正手段を備えることを特徴とする請求項１に記載の撮像装置。
4. 前記選択手段は、所定のタイミングで前記第１の撮像と前記第２の撮像により得られた撮像画像の双方にフラッシュバンドが発生していない場合には、前記第１の撮像によるフラッシュバンドの発生していない撮像画像を選択することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記制御手段は、前記第１の撮像での蓄積期間が前記撮像装置の制御フレームレートの蓄積期間よりも長い場合に、前記第２の撮像では、前記第１の撮像での全ラインの蓄積開始期間を覆う蓄積期間の第１の蓄積と、前記第１の撮像での全ラインの読み出し期間を覆う蓄積期間の第２の蓄積と、前記第１の蓄積と前記第２の蓄積に挟まれる期間を蓄積期間とする第３の蓄積とを行い、
   前記記憶手段は、前記第１の蓄積と前記第３の蓄積を加算した撮像画像および前記第２の蓄積と前記第３の蓄積を加算した撮像画像を記憶することを特徴とする請求項１に記載の撮像装置。
6. 前記制御手段は、前記第１の撮像での各ラインの蓄積期間が全ラインの蓄積開始期間の２倍未満である場合に、前記第２の撮像での全ラインの蓄積期間が前記第１の撮像での全ラインの蓄積開始から読み出し終了までの期間と重なるようにして、前記第２の撮像を実行することを特徴とする請求項１に記載の撮像装置。
7. 前記第２の撮像により得られる撮像画像の露出を前記第１の撮像により得られる撮像画像の露出に合わせるように、前記第２の撮像での前記撮像素子からの出力を調整する調整手段を備えることを特徴とする請求項６に記載の撮像装置。
8. 前記第２の撮像により得られた撮像画像の露出を前記第１の撮像により得られる撮像画像の露出に合わせるように、前記第２の撮像により得られた撮像画像のゲインを補正する補正手段を備えることを特徴とする請求項６に記載の撮像装置。
9. 蓄積タイミングの異なる第１の撮像と第２の撮像を並行して実行可能な撮像素子と、
   前記第２の撮像を前記第１の撮像よりも高速なフレームレートに設定して、前記第１の撮像と前記第２の撮像を実行する制御手段と、
   前記第１の撮像と前記第２の撮像により得られた撮像画像を記憶する記憶手段と、
   前記第２の撮像により得られて前記記憶手段に記憶された撮像画像におけるフラッシュバンドの発生を検出する検出手段と、
   前記検出手段による検出結果に基づき、前記第１の撮像により得られたフラッシュバンドの発生した撮像画像と前記第２の撮像により得られたフラッシュバンドの発生した画像とを加算した撮像画像を生成する画像加算手段と、
   前記第１の撮像により得られたフラッシュバンドの発生していない撮像画像と前記画像加算手段により生成された撮像画像を用いて動画を生成する動画生成手段と、を備えることを特徴とする撮像装置。
10. 前記制御手段は、前記第１の撮像での各ラインの蓄積開始期間と前記第２の撮像での同ラインの読み出し期間とを一致させ、且つ、前記第１の撮像での各ラインの読み出し期間と前記第２の撮像での同ラインの蓄積開始期間とを一致させることを特徴とする請求項９に記載の撮像装置。
11. 前記制御手段は、前記第２の撮像では、前記第１の撮像の全ラインの蓄積開始期間および読み出し期間を全ラインの蓄積期間でカバーしているものとみなすことが可能な連続した所定数の蓄積を行って撮像画像を取得することを特徴とする請求項９又は１０に記載の撮像装置。
12. 蓄積タイミングの異なる第１の撮像と第２の撮像を並行して実行可能な撮像素子を備える撮像装置の制御方法であって、
    前記第２の撮像での前記撮像素子の全ラインの蓄積期間が前記第１の撮像での前記撮像素子の全ラインの蓄積開始期間と読み出し期間と重なるようにして、前記第１の撮像と前記第２の撮像を実行するステップと、
    前記第１の撮像と前記第２の撮像により得られた撮像画像を記憶手段に記憶するステップと、
    前記記憶手段に記憶された撮像画像におけるフラッシュバンドの発生を検出するステップと、
    前記フラッシュバンドの発生を検出した結果に基づいてフラッシュバンドの発生していない撮像画像を選択するステップと、
    選択された撮像画像を用いて動画を生成するステップと、を有することを特徴とする撮像装置の制御方法。
13. 蓄積タイミングの異なる第１の撮像と第２の撮像を並行して実行可能な撮像素子を備える撮像装置の制御方法であって、
    前記第２の撮像を前記第１の撮像よりも高速なフレームレートに設定して、前記第１の撮像と前記第２の撮像を実行するステップと、
    前記第１の撮像と前記第２の撮像により得られた撮像画像を記憶手段に記憶するステップと、
    前記第２の撮像により得られて前記記憶手段に記憶された撮像画像におけるフラッシュバンドの発生を検出するステップと、
    前記フラッシュバンドの発生を検出した結果に基づいて前記第１の撮像により得られたフラッシュバンドの発生した撮像画像と前記第２の撮像により得られたフラッシュバンドの発生した画像とを加算した撮像画像を生成するステップと、
    前記第１の撮像により得られたフラッシュバンドの発生していない撮像画像と前記加算により生成された撮像画像を用いて動画を生成するステップと、を有することを特徴とする撮像装置の制御方法。
14. 請求項１２又は１３に記載の撮像装置の制御方法をコンピュータに実行させることを特徴とするプログラム。
    

Images