JP7528504B2 - 撮像装置、画像処理装置、および画像処理プログラム - Google Patents

Description

本発明は、撮像装置、画像処理装置、および画像処理プログラムに関する。

被写体に対する撮影画像の輝度が結果的に不足する場合に、少なくとも撮像された画像信号を増幅する増幅回路の利得を増大変更するスチルカメラがある（たとえば、下記特許文献１を参照。）。しかしながら、上述した特許文献１では、連続するフレームの画像信号を用いて補正する点は考慮されていない。

特開平１１－４１５１５号公報

第１開示技術の撮像装置は、被写体を撮像して、第１フレームと、前記第１フレームの後の第２フレームと、を出力する撮像部と、前記撮像部からの前記第２フレームの出力時における露出値が所定の露出値を下回る場合に、前記第１フレームを用いて、前記第２フレームを補正するゲインを決定する決定部と、前記第２フレームの輝度値と、前記決定部によって決定された前記第２フレームを補正するゲインと、に基づいて、前記第２フレームの輝度値を補正する補正部と、前記補正部による補正後の第２フレームを出力する出力部と、を有する。

第２開示技術の画像処理装置は、第１フレームと、前記第１フレームの後の第２フレームと、を取得する取得部と、前記取得部からの前記第２フレームの出力時における露出値が所定の露出値を下回る場合に、前記第１フレームを用いて、前記第２フレームを補正するゲインを決定する決定部と、前記第２フレームの輝度値と、前記決定部によって決定された前記第２フレームを補正するゲインと、に基づいて、前記第２フレームの輝度値を補正する補正部と、前記補正部による補正後の第２フレームを出力する出力部と、を有する。

第３開示技術の画像処理プログラムは、第１フレームと、前記第１フレームの後の第２フレームと、を取得する取得処理と、前記取得処理によって取得された前記第２フレームの出力時における露出値が所定の露出値を下回る場合に、前記第１フレームを用いて、前記第２フレームを補正するゲインを決定する決定処理と、前記第２フレームの輝度値と、前記決定処理によって決定された前記第２フレームを補正するゲインと、に基づいて、前記第２フレームの輝度値を補正する補正処理と、前記補正処理による補正後の第２フレームを出力する出力処理と、プロセッサに実行させる。

図１は、実施例１にかかる撮像装置のハードウェア構成例を示すブロック図である。 図２は、実施例１にかかる撮像装置および画像処理装置の機能的構成例を示すブロック図である。 図３は、撮像装置および画像処理装置による補正処理手順例を示すフローチャートである。 図４は、ΔＥＶと移動平均の関係を示すグラフである。 図５は、移動平均を用いた第一の補正例を示す説明図である。 図６は、移動平均を用いた第二の補正例を示す説明図である。 図７は、移動平均を用いていない補正と移動平均を用いた補正との表示フレーム更新の比較例を示す説明図である。 図８は、図７に示した各補正後のフレームの表示例を示す説明図である。 図９は、αブレンドを用いた補正例を示す説明図である。 図１０は、階調カーブを示すグラフである。

たとえば、デジタルカメラにおいては、撮像部から連続的に出力される画像フレームを表示部に表示し、ユーザが表示部の画像を確認しながら撮影することを可能とするライブビュー動画表示機能がある。ライブビュー動画表示機能を用いることで、ユーザはリアルタイムで被写体の位置や写真全体の構図を確認しながら撮影することが可能となる。

ところで、被写体の輝度が低くなると、ライブビュー動画の表示が暗くなり、ユーザが被写体の位置や構図を確認することが難しい場合があった。そこで従来のライブビュー動画では、たとえば、被写体の輝度が暗くなるに従い撮像素子のＩＳＯ感度を上げて撮像し、ライブビュー動画の表示フレームの明るさを確保する必要があった。また、ＩＳＯ感度が上限値に達した状態で更に被写体の輝度が暗くなると、露出時間を長く（たとえば、最長１［ｓｅｃ］）して、ライブビュー動画の表示フレームの明るさを確保する必要があった。しかしながら、露出時間が長く（たとえば１秒以上）なると、ライブビュー動画の表示フレームの更新頻度（フレームレート）も露出時間に伴って遅くなり、ユーザの操作性が低下する可能性があった。

以下に示す実施例１～３では、ライブビュー動画の制御露出限界（以下、「制御露出限界」と称す。）を下回る暗さの被写体を撮影する際にも、人が認識できる程度の明るさでライブビュー動画の表示を可能にする撮像装置、画像処理装置、および画像処理プログラムを提供する。以下、添付図面を用いて説明する。

＜撮像装置のハードウェア構成例＞
図１は、実施例１にかかる撮像装置のハードウェア構成例を示すブロック図である。撮像装置１００は、動画撮影可能な装置であり、具体的には、たとえば、デジタルカメラ、デジタルビデオカメラ、スマートフォン、タブレット、パーソナルコンピュータ、ゲーム機である。図１では、撮像装置の一例としてデジタルカメラを例に挙げて説明する。

撮像装置１００は、プロセッサ１０１と、記憶デバイス１０２と、駆動部１０３と、光学系１０４と、撮像素子１０５と、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）１０６と、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）１０７と、操作デバイス１０８と、センサ１０９と、表示デバイス１１０と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）１１１と、バス１１２と、を有する。プロセッサ１０１、記憶デバイス１０２、駆動部１０３、ＬＳＩ１０７、操作デバイス１０８、センサ１０９、表示デバイス１１０、および通信ＩＦ１１１は、バス１１２に接続される。駆動部１０３および光学系１０４のうち少なくとも光学系１０４により構成されるレンズ鏡筒は、撮像装置１００と一体でもよく、着脱可能でもよい。

プロセッサ１０１は、撮像装置１００を制御する。記憶デバイス１０２は、プロセッサ１０１の作業エリアとなる。また、記憶デバイス１０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス１０２としては、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリがある。記憶デバイス１０２は、撮像装置１００に複数実装されてもよく、そのうちの少なくとも１つは、撮像装置１００に対し着脱自在でもよい。

駆動部１０３は、光学系１０４を駆動制御する。駆動部１０３は、駆動回路１０３ａと駆動源１０３ｂとを有する。駆動回路１０３ａは、プロセッサ１０１からの指示により駆動源１０３ｂを制御する。駆動源１０３ｂは、たとえば、モータであり、駆動回路１０３ａの制御により、光学系１０４内のズーミングレンズ１４１ｂおよびフォーカシングレンズ１４１ｃを光軸方向に移動させたり、絞り１４２を開閉制御する。

光学系１０４は、光軸方向に配列された複数のレンズ（レンズ１４１ａ、ズーミングレンズ１４１ｂ、およびフォーカシングレンズ１４１ｃ）と、絞り１４２と、を含む。光学系１０４は、被写体光を集光し、撮像素子１０５に出射する。

撮像素子１０５は、光学系１０４からの被写体光を受光して電気信号に変換する。撮像素子１０５は、たとえば、ＸＹアドレス方式の固体撮像素子（たとえば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ‐Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ）であってもよく、順次走査方式の固体撮像素子（たとえば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ））であってもよい。

撮像素子１０５の受光面には、複数の受光素子（画素）がマトリクス状に配列されている。そして、撮像素子１０５の画素には、それぞれが異なる色成分の光を透過させる複数種類のカラーフィルタが所定の色配列（たとえば、ベイヤ配列）に従って配置される。そのため、撮像素子１０５の各画素は、カラーフィルタでの色分解によって各色成分に対応するアナログの電気信号を出力する。

ＡＦＥ１０６は、撮像素子１０５からのアナログの電気信号に対して信号処理を施すアナログフロントエンド回路である。ＡＦＥ１０６は、電気信号のゲイン調整、アナログ信号処理（相関二重サンプリング、黒レベル補正など）、Ａ／Ｄ変換処理、デジタル信号処理（欠陥画素補正など）を順次実行してＲＡＷ画像データを生成し、ＬＳＩに出力する。上述した駆動部１０３、光学系１０４、撮像素子１０５、およびＡＦＥ１０６は、撮像部１２０を構成する。

ＬＳＩ１０７は、ＡＦＥ１０６からのＲＡＷ画像データについて、色補間、ホワイトバランス調整、輪郭強調、ガンマ補正、階調変換などの画像処理や符号化処理、復号処理、圧縮伸張処理など、特定の処理を実行する集積回路である。ＬＳＩ１０７は、具体的には、たとえば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）によって実現してもよい。

操作デバイス１０８は、コマンドやデータを入力する。操作デバイス１０８としては、たとえば、レリーズボタンを含む各種ボタン、スイッチ、ダイヤル、タッチパネルがある。センサは、情報を検出するデバイスであり、たとえば、ＡＦ（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓ）センサ、ＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）センサ、ジャイロセンサ、加速度センサ、温度センサなどがある。表示デバイス１１０は、画像データや設定画面を表示する。表示デバイス１１０には、撮像装置１００の背面にある背面モニタと、電子ビューファインダと、がある。通信ＩＦ１１１は、外部機器と接続し、あるいは、ネットワークと接続し、データを送受信する。

＜撮像装置の機能的構成例＞
図２は、実施例１にかかる撮像装置および画像処理装置の機能的構成例を示すブロック図である。図３は、撮像装置および画像処理装置による補正処理手順例を示すフローチャートである。

図２（Ａ）において、撮像装置１００は、撮像部１２０と、決定部２０２と、補正部２０３と、出力部２０４と、を有する。図２（Ｂ）において、画像処理装置２００は、取得部２０１と、決定部２０２と、補正部２０３と、出力部２０４と、を有する。取得部２０１、決定部２０２、補正部２０３、および出力部２０４は、具体的には、たとえば、図１に示した記憶デバイス１０２に記憶されたプログラムをプロセッサ１０１に実行させることにより実現される。画像処理装置２００は、図２（Ａ）の撮像装置１００から撮像部１２０を除外した装置である。画像処理装置２００に撮像部１２０が取り付けられると、撮像装置１００となる。撮像部１２０が取得部２０１に置き換えられている点を除いて、画像処理装置２００は撮像装置１００と同様の構成であるため、以下、撮像装置１００を例に挙げて説明する。

撮像部１２０は、被写体を撮像して、時間的に連続する一連のフレームを出力する。一連のフレームの中のあるフレームを第１フレームとした場合、第１フレームよりも時間的に後のフレームを第２フレームと称す。第２フレームは、第１フレームの直後のフレームでもよく、後続の２フレーム目以降のフレームでもよい。

また、フレームには、撮像部１２０または記憶デバイス１０２からから出力されて取得したフレーム（以下、「取得フレーム」と称す。）と、表示デバイス１１０に表示されたフレーム（以下、「表示フレーム」と称す。）とがある。後述する移動平均を用いた補正では、第１フレームおよび第２フレームは取得フレームである。

取得部２０１は、一連のフレームを取得する（ステップＳ３０１）。画像処理装置は、撮像部１２０を備えていないため、その代わりに、外部から取得した一連のフレームが記憶デバイス１０２に格納されている。したがって、取得部２０１は、記憶デバイス１０２に格納されている一連のフレームを読み込む（ステップＳ３０１）。

決定部２０２は、第２フレームの輝度値に基づいて、第１フレームを用いた第２フレームの補正条件を決定する（ステップＳ３０２）。具体的には、たとえば、決定部２０２は、第２フレームの出力時における撮像装置１００の露出値に基づいて、補正条件を決定する。具体的には、たとえば、決定部２０２は、第２フレームの出力時における撮像装置１００の露出値が所定の露出値を下回る場合に、補正条件を決定する。

まず、ライブビュー動画の所定の露出値について説明する。所定の露出値とは、たとえば、制御露出限界値である。制御露出限界値は、露出制御のパラメータであるシャッター速度、絞り、およびＩＳＯ感度により決定される。各パラメータは、撮像装置１００の性能または仕様により、取り得る値が制限されている。

撮像装置１００のシャッター速度の範囲が、たとえば、３０～１／８０００［ｓｅｃ］であるとすると、当該範囲の上限値（最高速）が１／８０００［ｓｅｃ］、下限値（最低速）が３０［ｓｅｃ］である。また、撮像装置１００の絞りの範囲が、たとえば、ｆ１～ｆ３２であるとすると、当該範囲の上限値は（開放）がｆ１、下限値（小絞り）がｆ３２である。また、また、撮像装置１００のＩＳＯ感度の範囲が、たとえば、１００～２５６００であるとすると、当該範囲の上限値（最高感度）が２５６００、下限値（最低感度）が１００である。

ライブビュー動画の制御露出限界値は、たとえば、シャッター速度が最低速、絞り値が開放、ＩＳＯ感度が最高感度である場合の露出値である。ただし、制御露出限界値は、この露出値に限定されない。

たとえば、制御露出限界のシャッター速度は、撮像装置１００で制御可能な範囲、たとえば、３０～１／８０００［ｓｅｃ］において、３０［ｓｅｃ］（最低速）ではなく、１［ｓｅｃ］でも、１／２［ｓｅｃ］でも良い。ライブビュー動画では、静止画撮影のように最低速までは使用されず、一般的に静止画の制御範囲よりは高速側に限界が設定される。

また、たとえば、制御露出限界の絞りも、撮像装置１００で制御可能な範囲、たとえば、ｆ１～ｆ３２において、ｆ１（開放）でも、ｆ１．４でもよい。また、たとえば、制御露出限界のＩＳＯ感度も、撮像装置１００で制御可能な範囲、たとえば、１００～２５６００において、２５６００（最高感度）でも、１２８００でもよい。このようにして、所定の制御露出限界値が決定される。

また、補正条件とは、補正部２０３が第１フレームを用いて第２フレームを補正するための条件である。補正条件は、補正の種類により異なる。補正条件の詳細は後述する。

補正部２０３は、第２フレームの輝度値と、決定部２０２によって決定された第１フレームを用いた第２フレームの補正条件と、に基づいて、移動平均を用いて第２フレームを補正する（ステップＳ３０３）。移動平均を用いた補正とは、１枚以上の第１取得フレームと第２取得フレームとの移動平均により第２取得フレームを補正する補正処理である（図４～図８で後述）。

出力部２０４は、補正部２０３による補正後の第２フレームを出力する（ステップＳ３０４）。出力部２０４の出力先は、たとえば、表示デバイス１１０でもよく、通信ＩＦ１１１を介して通信可能に接続されたコンピュータでもよい。表示デバイス１１０に出力されると、順次生成された第２フレームは、ライブビュー動画として表示される。

＜移動平均を用いた補正＞
図４は、ΔＥＶと移動平均の関係を示すグラフ４００である。グラフの縦軸は目標ＥＶであり、横軸は制御ＥＶである。ΔＥＶと移動平均の特性は、たとえば、ΔＥＶがΔＥＶ≧０となる領域４０１、ΔＥＶが０＞ΔＥＶとなる領域４０２に分けられる。本実施例では、ΔＥＶの各領域を分ける境界値（たとえば、ΔＥＶ＝０、ΔＥＶ＝－１、ΔＥＶ＝－１．５８５、ΔＥＶ＝－２など）はΔＥＶの上領域に含めた場合とする。但し、各境界値はこれに限定しない。ΔＥＶは、目標ＥＶから制御ＥＶを引いた差分値であり、下記式（１）により算出される。

ΔＥＶ＝目標ＥＶ－制御ＥＶ・・・（１）

式（１）の右辺の制御ＥＶは下記式（２）により算出され、目標ＥＶは下記式（３）により算出される。

制御ＥＶ＝ＡＶ＋ＴＶ・・・（２）
目標ＥＶ＝目標ＢＶ＋ＳＶ・・・（３）

式（２）のＡＶは、たとえば、上述した制御露出限界値を決める絞りの上限値までの範囲内の値であり、ＴＶは、たとえば、上述した制御露出限界値を決めるシャッター速度の下限値までの範囲内の値である。目標ＢＶは、被写体の測光値または、撮影者が定めた静止画の露出量であり、ＳＶは、たとえば、上述した制御露出限界値を決めるＩＳＯ感度の上限値までの範囲内の値である。

ΔＥＶがΔＥＶ≧０となる領域４０１では、適正露出で撮像されたフレームが得られるため、撮像装置１００は、移動平均による補正とデジタルゲインによる補正を行わずに撮像した取得フレームを出力する。

ΔＥＶが０＞ΔＥＶとなる領域４０２では、取得フレームは制御露出限界の暗さを下回った状態で撮影されているため、明るさが十分ではない。補正部２０３は、ΔＥＶに応じた移動平均値Ｍ（ｎ）とデジタルゲインＧにより取得フレームの輝度を増幅する。

なお、Ｇは、ΔＥＶが０＞ΔＥＶとなる領域４０２での表示フレーム輝度をΔＥＶ≧０となる輝度に限らず、任意に定めたΔＥＶの下限値（たとえば、ΔＥＶ＝－０．５など）となる輝度にするための増幅量であってもよい。すなわち、Ｇの大きさは、暗くて見えにくい被写体を見える状態にすることができる増幅量であればよい。

補正部２０３は、補正条件４０３にしたがって第２取得フレームを補正する。補正条件は、第１取得フレームと第２取得フレーム（１枚）との合計枚数ｎであり、ΔＥＶに応じて第１取得フレームの枚数が変化する。なお、ｎから第２取得フレームの枚数（１枚）を引いた（ｎ－１）枚が、移動平均に用いられる第１取得フレームの枚数である。

ΔＥＶがΔＥＶ≧０となる領域４０１のようにΔＥＶが制御露出限界以上である場合、移動平均をとる取得フレーム枚数ｎはｎ＝１である。したがって、決定部２０２は、補正条件として第１取得フレームの枚数を０枚に決定し、補正部２０３は、第１取得フレームの枚数が０枚であるため、第２取得フレームを補正せず、出力部２０４は取得フレームを表示フレームとして出力する。

ΔＥＶが０＞ΔＥＶとなる領域４０２でのΔＥＶは制御露出限界を下回るため、移動平均をとる取得フレーム枚数ｎは、ΔＥＶが小さくなるほど多くする。

ΔＥＶが０＞ΔＥＶ≧－１となる領域４０２ａである場合、決定部２０２は、補正条件として第１取得フレームの枚数を１枚に決定し、補正部２０３は、第１取得フレームの枚数が１枚であるため、移動平均をとる取得フレーム枚数ｎ＝２として、移動平均を用いた補正を実行する。このときの移動平均値ＭをＭ（２）とすると、第２取得フレームの補正後の表示フレームの輝度Ｍ×Ｇは、Ｍ（２）×Ｇ（ΔＥＶ）となる。

ΔＥＶが－１＞ΔＥＶ≧－１．５８５となる領域４０２ｂである場合、決定部２０２は、補正条件として第１取得フレームの枚数を２枚に決定し、補正部２０３は、第１取得フレームの枚数が２枚であるため、移動平均をとる取得フレーム枚数ｎ＝３として、移動平均を用いた補正を実行する。このときの移動平均値ＭをＭ（３）とすると、第２取得フレームの補正後の表示フレームの輝度Ｍ×Ｇは、Ｍ（３）×Ｇ（ΔＥＶ）となる。

ΔＥＶが－１．５８５＞ΔＥＶ≧－２となる領域４０２ｃである場合、決定部２０２は、補正条件として第１取得フレームの枚数を３枚に決定し、補正部２０３は、第１取得フレームの枚数が３枚であるため、移動平均をとる取得フレーム枚数ｎをｎ＝４として、移動平均を用いた補正を実行する。このときの移動平均値ＭをＭ（４）とすると、第２取得フレームの補正後の表示フレームの輝度Ｍ×Ｇは、Ｍ（４）×Ｇ（ΔＥＶ）となる。

なお、移動平均値Ｍ（２）～Ｍ（４）は、平均値であるため、補正後のフレームの明るさは、取得フレーム１枚分と同じ程度である。

図５は、移動平均を用いた第一の補正例を示す説明図である。図５の（Ａ）は、時間経過によるΔＥＶの変化を表している。図５の（Ｂ）は、時間経過による取得フレームと表示フレームの移動平均を表している。図５の（Ｃ）は、時間経過によるデジタルゲインＧの設定値を表している。図５の（Ｄ）は、時間経過による表示フレームの輝度の変化を表している。例として、時刻ｔ０を、ΔＥＶが制御露出限界を下回った時刻とする。時刻ｔ０よりも前を、ΔＥＶがΔＥＶ＝０であった時間帯とし、時刻ｔ０よりも後を、ΔＥＶが制御露出限界を下回りΔＥＶ＝－２となった時間帯とする。

なお、図５（以降の図も同様）において、｛（Ｆｘ～Ｆｙ）／ｎ｝（ｘ、ｙはフレーム番号）は、フレームＦｘからＦｙまでのｎ枚のフレームの同一位置の画素の合計値をそれぞれｎで割った移動平均後のフレームを示す。

図５の（Ａ）において、時刻ｔ０よりも前のΔＥＶはΔＥＶ≧０である。この場合、取得フレームＦ１、Ｆ２は適正な露出で撮像されるので、時刻ｔ０よりも前の表示フレームＦ１、Ｆ２は、取得フレームＦ１、Ｆ２が表示フレームＦ１、Ｆ２としてそのまま表示される（図５の（Ｂ））。図５の（Ｃ）に示したたように、時刻ｔ０よりも前では、デジタルゲインの増幅補正は無く、図５の（Ｄ）に示したたように、表示フレームＦ１、Ｆ２は適正輝度で表示される。

図５の（Ａ）において、時刻ｔ０直後のΔＥＶはΔＥＶ＝－２であるが、時刻ｔ０直前の取得フレームＦ３は適正な露出で撮影されるので、取得フレームＦ３が時刻ｔ０直後の表示フレームＦ３としてそのまま表示される（図５の（Ｂ））。このため、図５の（Ｃ）に示したたように、デジタルゲインの増幅補正は無く、図５の（Ｄ）に示したたように、表示フレームＦ３は適正輝度で表示される。

図５の（Ａ）において、時刻ｔ０直後の取得フレームＦ４のΔＥＶは、ΔＥＶ＝－２である。補正部２０３は、図４の補正条件４０３に従って取得フレームＦ４を補正して表示フレーム｛（Ｆ１～Ｆ４）／４｝を出力する。この例ではΔＥＶ＝－２であるため、補正条件４０３より移動平均をとるフレーム枚数ｎはｎ＝４である。これに従い、表示フレーム｛（Ｆ１～Ｆ４）／４｝は、最新の４枚の取得フレームＦ１～Ｆ４の移動平均である（図５の（Ｂ））。

補正部２０３は、表示フレーム｛（Ｆ１～Ｆ４）／４｝生成前の取得フレームＦ４を取得した時のΔＥＶによりデジタルゲインＧ（ΔＥＶ）を決定する（図５の（Ｃ））。実施例１では、移動平均をとる取得フレーム枚数ｎをｎ＝４としたため、デジタルゲインＧ（ΔＥＶ）を決定するΔＥＶを決める取得フレームは、たとえば、表示フレーム｛（Ｆ１～Ｆ４）／４｝生成前の最新の取得フレームＦ１～Ｆ４のいずれかの取得フレームである。取得フレームの取得時と表示フレーム｛（Ｆ１～Ｆ４）／４｝の表示時とのタイムラグは小さい方が好ましいため、最新の取得フレームはＦ４が好ましい。このようにΔＥＶによりデジタルゲインＧ（ΔＥＶ）を決定したことにより、表示フレーム｛（Ｆ１～Ｆ４）／４｝の輝度は一旦明るくなった後、徐々に適正輝度となる（図５の（Ｄ））。後続の表示フレーム｛（Ｆ２～Ｆ５）／４｝、｛（Ｆ３～Ｆ６）／４｝、…についても同様である。

図６は、移動平均を用いた第二の補正例を示す説明図である。図６の（Ａ）～（Ｄ）は図５の（Ａ）～（Ｄ）と同様な時間経過による変化を表している。

図６の（Ａ）において、時刻ｔ０よりも前のΔＥＶはΔＥＶ≧０である。この場合、取得フレームＦ１、Ｆ２は適正な露出で撮像されるので、時刻ｔ０よりも前の表示フレームＦ１、Ｆ２は取得フレームＦ１、Ｆ２が表示フレームＦ１、Ｆ２としてそのまま表示される（図６の（Ｂ））。図６の（Ｃ）に示したたように、時刻ｔ０よりも前では、デジタルゲインの増幅補正は無く、図６の（Ｄ）に示したたように、表示フレームＦ１、Ｆ２は適正輝度で表示される。

図６の（Ａ）において、時刻ｔ０直後のΔＥＶはΔＥＶ＝－２であるが、時刻ｔ０直前の取得フレームＦ３は適正な露出で撮影されるので、取得フレームＦ３が時刻ｔ０直後の表示フレームＦ３としてそのまま表示される（図６の（Ｂ））。このため、図６の（Ｃ）に示したたように、デジタルゲインの増幅補正は無く、図６の（Ｄ）に示したたように、表示フレームＦ３は適正輝度で表示される。

図６の（Ａ）において、時刻ｔ０直後の取得フレームＦ４のΔＥＶは、ΔＥＶ＝－２である。補正部２０３は、図４の補正条件４０３に従って取得フレームＦ４を補正して表示フレーム｛（Ｆ１～Ｆ４）／４｝を出力する。この例ではΔＥＶ＝－２であるため、補正条件４０３より移動平均をとるフレーム枚数ｎはｎ＝４である。これに従い、表示フレーム｛（Ｆ１～Ｆ４）／４｝は、直前の４枚の取得フレームＦ１～Ｆ４の移動平均である（図６の（Ｂ））。

補正部２０３は、移動平均する直前の４枚の取得フレームＦ１～Ｆ４の取得時における各ΔＥＶの統計値（たとえば、平均値。中央値（ｎが偶数であればさらに平均化または大きい方を選択）、最小値、最大値など他の統計値でもよい。）によりデジタルゲインを決定する。これにより、徐々に増幅率が上昇する（図６の（Ｃ））。したがって、表示フレーム｛（Ｆ１～Ｆ４）／４｝の輝度は常に適正輝度に維持される（図６の（Ｄ））。後続の表示フレーム｛（Ｆ２～Ｆ５）／４｝、｛（Ｆ３～Ｆ６）／４｝、…についても同様である。

図７は、移動平均を用いていない補正と移動平均を用いた補正との表示フレーム更新の比較例を示す説明図である。図８は、図７に示した各補正後のフレームの表示例を示す説明図である。図８では、振り子が向かって左から右に揺動する様子を示す。図７（Ａ）の表示フレームＦ１～Ｆ６の具体的な表示画像例が、図８（Ａ）であり、図７（Ｂ）の表示フレームｆ１～ｆ３の具体的な表示画像例が図８（Ｂ）であり、図７（Ｃ）の表示フレーム（Ｆ１＋Ｆ２）／２～（Ｆ５＋Ｆ６）／２の具体的な表示画像例が図８（Ｃ）である。

図７（Ａ）は、フレームレートをＮ［ｆｐｓ］とした場合の表示フレーム更新例を示す。図７（Ａ）では、露光時間１／Ｎ［ｓｅｃ］での露光ごとに、フレームＦ１、Ｆ２、…が順次取得され、次の露光のタイミングでフレームＦ２、Ｆ３、…が取得されたとき、図８（Ａ）に示したように、フレームＦ１、Ｆ２、…が順次表示される。

図７（Ｂ）は、フレームレートを０．５Ｎ［ｆｐｓ］とした場合の表示フレーム更新例を示す。露光時間２／Ｎ［ｓｅｃ］での露光ごとに、フレームｆ１、ｆ２、…が順次取得され、次の露光のタイミングでフレームｆ２、ｆ３、…が取得されたとき、図８（Ｂ）に示したように、フレームｆ１、ｆ２、…が順次表示される。このように、図７（Ａ）よりもフレームレートが低下しているため、シャッター速度が遅くなり（露光時間が長くなり)、表示画面を明るくできるが、表示画面の更新頻度が図７（Ａ）に比べて低下する。

図７（Ｃ）は、フレームレートをＮ［ｆｐｓ］とし、かつ、移動平均をとる取得フレーム枚数ｎをｎ＝２として、移動平均を用いた補正を実行した場合の表示フレーム更新例を示す。図７（Ａ）と同様、露光時間１／Ｎ［ｓｅｃ］での露光ごとに、フレームＦ１、Ｆ２、…が順次取得される。連続する２フレーム取得後、次の露光のタイミングでフレームＦ３、Ｆ４、…が取得されたとき、図８（Ｃ）に示したように、移動平均を用いた補正後のフレーム｛（Ｆ１＋Ｆ２）／２｝、｛（Ｆ２＋Ｆ３）／２｝、…が順次表示される。

図７（Ｃ）では、図７（Ａ）と同じ更新頻度を保ったまま、補正部２０３が移動平均後のフレーム｛（Ｆ１＋Ｆ２）／２｝、｛（Ｆ２＋Ｆ３）／２｝、…にデジタルゲインを実行するため、図７（Ｂ）の露光時間（２／Ｎ）相当の表示画面の明るさが確保される。

このように、実施例１によれば、制御露出限界を下回る暗さであっても表示画像の明るさを確保することができる。具体的には、たとえば、撮像装置１００は、表示画面の更新頻度（すなわち、露出時間）を、ユーザの操作性が低下することを防止するため、ある程度、たとえば、最長でも１／４［ｓｅｃ］までにとどめる。その代わり、制御露出限界を下回る暗さの場合には、撮像装置１００は、取得フレームの移動平均値にデジタルゲインをかけることにより、明るさを確保する。また、単に取得フレーム一枚一枚にデジタルゲインをかけるだけではノイズまで増幅されるが、取得フレームの移動平均値にデジタルゲインをかけることにより、ノイズを低減する効果が得られる。このように、移動平均後のフレームにデジタルゲインをかけることで不足分の明るさが増加し、かつ、デジタルゲインをかけることによるノイズが抑制される。

これにより、制御露出限界を下回る暗さの被写体を撮影する際にも、撮像装置１００は、人が認識できる程度の明るさでライブビュー動画を表示することができる。これにより、たとえば、星空撮影や、真っ暗闇のジャングルでの動物撮影などにおいても、ライブビュー動画の表示フレームの明るさを確保することができ、操作性が低下するのを防止することができる。

つぎに、実施例２について説明する。実施例１では、補正部２０３は移動平均を用いた補正を実行したが、実施例２では、補正部２０３は、移動平均を用いた補正に替え、αブレンドを用いた補正を実行する。また、補正部２０３のデジタルゲインＧを用いた増幅補正は実施例１と同様であるため、実施例２では詳細な説明を省略する。実施例２では、補正部２０３の補正内容が異なるだけであるため、図１～図３の構成は、実施例２でも同一である。また、αブレンドを用いた補正では、第１フレームは表示フレームであり、第２フレームは取得フレームである。なお、実施例２では、αブレンドを用いた補正を中心に説明するため、実施例１と同一構成には同一符号を付し、その説明を省略する。

＜αブレンドを用いた補正＞
図９は、αブレンドを用いた補正例を示す説明図である。図９では、最新の取得フレームＮのＹＵＶ画素（Ｙは輝度信号、Ｕは青色成分から輝度成分Ｙを引いた色差信号、Ｖは赤色成分から輝度成分Ｙを引いた色差信号）をＮｙ，Ｎｕ，Ｎｖとし、取得フレームを補正した中間フレームＳのＹＵＶ画素を、Ｓｙ、Ｓｕ、Ｓｖとし、中間フレームＳにデジタルゲインＧをかけて表示する表示フレームのＹＵＶ画素を、Ｄｙ、Ｄｕ、Ｄｖとする。αブレンドとは、２つの画像データを重ね合わせ、フレームごとに設定された透過度α（０≦α≦１）に基づいて合成する処理である。

ここでいう２つの画像データとは、取得フレーム（第２フレーム）と、取得フレームの１つ前の取得フレームに基づいて出力された表示フレーム（第１フレーム）と、である。図９では、露光時間を１／４［ｓｅｃ］とする。

例として、時刻ｔ０を、ΔＥＶが制御露出限界となった時刻とする。時刻ｔ０よりも前を、ΔＥＶが制御露出限界より明るかった時間帯とし、時刻ｔ０よりも後を、ΔＥＶが制御露出限界を下回った時間帯とする。

時刻ｔ０の取得フレームをフレームＮ０とする。フレームＮ０の取得時刻ｔ０ではΔＥＶが制御露出限界を下回っておらず、かつ、取得時刻ｔ０よりも前は、ΔＥＶが制御露出限界より明るかった時間帯であるため、補正に用いる表示フレームＳは存在しない。したがって、出力部２０４は、取得フレームＮ０をそのまま中間フレームＳ０として出力する。すなわち、表９００の式（４）に示したように、（Ｎｙ（０），Ｎｕ（０），Ｎｖ（０））＝（Ｓｙ（０），Ｓｕ（０），Ｓｖ（０））となる。

そして、補正部２０３は、中間フレームＳ０をデジタルゲインＧ（ΔＥＶ）を用いて増幅し、出力部２０４は、増幅された表示フレームＤ０を出力する。これにより、表示フレームＤ０は、表示デバイス１１０に表示される。

時刻ｔ０から露光時間経過後の時刻ｔ１の取得フレームをフレームＮ１とする。フレームＮ１の取得時刻ｔ１でのΔＥＶは、制御露出限界を下回っている。したがって、決定部２０２は、補正に用いる第１フレームを、１つ前の時刻ｔ０の中間フレームＳ０に決定する。そして、補正部２０３は、中間フレームＳ０と取得フレームＮ１とのαブレンドにより中間フレームＳ１を生成する。具体的には、たとえば、補正部２０３は、表９００の式（５）（ｋ＝１とする）を用いて、中間フレームＳ１を生成する。

そして、補正部２０３は、中間フレームＳ１をデジタルゲインＧ（ΔＥＶ）を用いて増幅して表示フレームＤ１を生成し、出力部２０４は、増幅された表示フレームＤ１を出力する。これにより、表示フレームＤ１は、表示デバイス１１０に表示される。

時刻ｔ１から露光時間経過後の時刻ｔ２の取得フレームをフレームＮ２とする。フレームＮ２の取得時刻ｔ２でのΔＥＶは、制御露出限界を下回っている。したがって、決定部２０２は、補正に用いる第１フレームを、１つ前の時刻ｔ１の中間フレームＳ１に決定する。そして、補正部２０３は、中間フレームＳ１と取得フレームＮ２とのαブレンドにより中間フレームＳ２を生成する。具体的には、たとえば、補正部２０３は、表９００の式（５）（ｋ＝２とする）を用いて、中間フレームＳ２を生成する。

そして、補正部２０３は、中間フレームＳ２をデジタルゲインＧ（ΔＥＶ）を用いて増幅して表示フレームＤ２を生成し、出力部２０４は、増幅された表示フレームＤ２を出力する。これにより、表示フレームＤ２は、表示デバイス１１０に表示される。

時刻ｔ２から露光時間経過後の時刻ｔ３の取得フレームをフレームＮ３とする。フレームＮ３の取得時刻ｔ３でのΔＥＶは、制御露出限界を下回っている。したがって、決定部２０２は、補正に用いる第１フレームを、１つ前の時刻ｔ２の中間フレームＳ２に決定する。そして、補正部２０３は、中間フレームＳ２と取得フレームＮ３とのαブレンドにより中間フレームＳ３を生成する。具体的には、たとえば、補正部２０３は、表９００の式（５）（ｋ＝３とする）を用いて、中間フレームＳ３を生成する。

そして、補正部２０３は、中間フレームＳ３をデジタルゲインＧ（ΔＥＶ）を用いて増幅して表示フレームＤ３を生成し、出力部２０４は、増幅された表示フレームＤ３を出力する。これにより、表示フレームＤ３は、表示デバイス１１０に表示される。

なお、αの値は、第２フレームである取得フレームＮｋの取得時刻ｔｋでのΔＥＶに比例するように設定されている。すなわち、ΔＥＶが大きくなるにつれαの値も大きくなり、ΔＥＶの値が小さくなるにつれαの値も小さくなる。

移動平均を用いた補正では、移動平均をとる取得フレーム枚数ｎで補正されたが、αブレンドを用いた補正は、αの値を変更するだけで、フレーム枚数ｎのような離散的ではなく、「何枚分の移動平均相当か」を無段階に調整することができる。また、補正に必要な第１フレームが１つ前に加算された表示フレームだけで済むため、移動平均を用いた補正と比べて計算が簡単で、処理負荷の低減を図ることができる。

実施例３について説明する。実施例３は、実施例１および実施例２において、補正部２０３が、移動平均を用いた補正およびαブレンドを用いた補正に加えて、階調カーブにしたがって補正する例である。具体的には、たとえば、後述する２種類の階調カーブを用いて、ΔＥＶに基づいて、表示フレームの出力に際し２種類のカーブを切り替える。なお、実施例３では、階調カーブに基づく補正を中心に説明するため、実施例１および実施例２と同一構成には同一符号を付し、その説明を省略する。

図１０は、階調カーブを示すグラフである。グラフ１０００の横軸は、撮像素子からの画像入力信号から得られる輝度である。縦軸は、表示デバイス１１０（たとえば、ｓＲＧＢモニタなどの標準表示デバイス）に出力される輝度である。点線が、通常の階調カーブ１００１であり、実線が実施例３の階調カーブ１００２である。階調カーブ１００１，１００２はいずれも表示の階調の特性を示す。階調カーブ１００１，１００２は記憶デバイス１０２に記憶されている。

実施例３の撮像装置１００は、暗部の見えを改善するため中間調以下の被写体の暗部を明るく表示するため、撮像部１２０からの中間調以下のセンサ入力値に対応する表示用出力値の輝度が階調カーブ１００１よりも明るくなるように、階調カーブ１００２が設定される。

具体的には、たとえば、ΔＥＶが制御露出限界よりも明るいあらかじめ設定されたある明るさを下回っていない場合は、撮像装置１００は、移動平均またはαブレンドによる補正をせずに、階調カーブ１００１を用いて表示用出力として表示フレームを出力する。一方、ΔＥＶが当該ある明るさを下回っている場合は、補正部２０３による移動平均またはαブレンドによる補正の実行にかかわらず、撮像装置１００は、階調カーブ１００２を用いて表示用出力として表示フレームを出力する。

このように、実施例３によれば、撮像部１２０からの中間調以下のセンサ入力値であれば、ΔＥＶが当該ある明るさを下回っている場合、ΔＥＶが当該ある明るさを下回っていない場合に比べて、表示用出力を明るくすることができる。

なお、本発明は上記の内容に限定されるものではなく、これらを任意に組み合わせたものであってもよい。また、本発明の技術的思想の範囲で考えられるその他の態様も本発明の範囲に含まれる。

１００ 撮像装置、１０１ プロセッサ、１０２ 記憶デバイス、１１０ 表示デバイス、１２０ 撮像部、２０１ 取得部、２０２ 決定部、２０３ 補正部、２０４ 出力部

Claims (18)

1. 被写体を撮像して、第１フレームと、前記第１フレームの後の第２フレームと、を出力する撮像部と、
   前記撮像部からの前記第２フレームの出力時における露出値が所定の露出値を下回る場合に、前記第１フレームを用いて、前記第２フレームを補正するゲインを決定する決定部と、
   前記第２フレームの輝度値と、前記決定部によって決定された前記第２フレームを補正するゲインと、に基づいて、前記第２フレームの輝度値を補正する補正部と、
   前記補正部による補正後の第２フレームを出力する出力部と、
   を有する撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記決定部は、前記第２フレームの補正に用いる前記第１フレームの枚数を決定する、
   撮像装置。
3. 請求項２に記載の撮像装置であって、
   前記決定部は、前記撮像部からの前記第２フレームの出力時における露出値が低いほど前記第１フレームの枚数を増加させる、
   撮像装置。
4. 被写体を撮像して、第１フレームと、前記第１フレームの後の第２フレームと、を出力する撮像部と、
   前記第２フレームの輝度値に基づいて、前記第１フレームを用いた前記第２フレームの補正条件を決定する決定部と、
   前記決定部によって決定された前記第１フレームを用いた前記第２フレームの補正条件と、前記第１フレームの輝度値と前記第２フレームの輝度値との移動平均値と、に基づいて、前記第２フレームの輝度値を補正する補正部と、
   前記補正部による補正後の第２フレームを出力する出力部と、
   を有する撮像装置。
5. 請求項４に記載の撮像装置であって、
   前記補正部は、前記撮像部からの前記第２フレームの出力時における露出値に基づいて、前記移動平均値を増幅補正する、
   撮像装置。
6. 請求項４に記載の撮像装置であって、
   前記補正部は、前記撮像部からの前記第１フレームと前記第２フレームの出力時における各露出値の統計値に基づいて、前記移動平均値を増幅補正する、
   撮像装置。
7. 被写体を撮像して、第１フレームと、前記第１フレームの後の第２フレームと、前記第２フレームの後の第３フレームと、を出力する撮像部と、
   前記第２フレームの輝度値に基づいて、前記第１フレームを用いた前記第２フレームの補正条件を決定し、前記第１フレームの輝度値に与える第１重み値と、前記第２フレームに与える第２重み値と、を決定する決定部と、
   前記決定部によって決定された補正条件を充足した場合、前記第１フレームの輝度値と前記第１重み値と前記第２重み値とに基づいて、前記第２フレームの輝度値を補正し、前記補正条件を充足した場合、補正された前記第２フレームの輝度値と前記第１重み値と前記第２重み値とに基づいて、前記第３フレームの輝度値を補正する補正部と、
   前記補正部による補正後の第２フレームを出力し、前記補正部による補正後の第３フレームと、を出力する出力部と、
   を有する撮像装置。
8. 請求項７に記載の撮像装置であって、
   前記第２重み値は、前記第１重み値が大きいほど小さくなる、
   撮像装置。
9. 請求項７または８に記載の撮像装置であって、
   前記決定部は、前記第２フレームの輝度値が低いほど、前記第２重み値を低下させる、
   撮像装置。
10. 請求項７に記載の撮像装置であって、
    前記補正部は、前記撮像部からの前記第２フレームの出力時における露出値に基づいて、前記補正後の第２フレームの輝度値を増幅補正し、前記撮像部からの前記第３フレームの出力時における露出値に基づいて、前記第３フレームの輝度値を増幅補正する、
    撮像装置。
11. 請求項７に記載の撮像装置であって、
    前記補正部は、前記第１フレームの露出値と、前記第２フレームの出力時の露出値と、の統計値に基づいて、前記補正後の第２フレームの輝度値を増幅補正し、前記補正後の第２フレームの露出値と、前記第３フレームの出力時の露出値と、の統計値に基づいて、前記補正後の第３フレームの輝度値を増幅補正する、
    撮像装置。
12. 被写体を撮像して、第１フレームと、前記第１フレームの後の第２フレームと、を出力する撮像部と、
    前記撮像部からの前記第２フレームの出力時における露出値に基づいて、前記第１フレームを用いた前記第２フレームの補正条件を決定する決定部と、
    前記第２フレームの輝度値と、前記決定部によって決定された前記第１フレームを用いた前記第２フレームの補正条件と、に基づいて、前記第２フレームの輝度値を補正する補正部と、
    前記補正部による補正後の第２フレームを出力する出力部と、を有し、
    前記補正部は、前記露出値に基づいて、前記撮像部からの入力に応じて前記出力部からの出力を規定する第１階調情報と、前記撮像部からの所定値までの入力に応じた前記出力部からの出力が前記第１階調情報よりも大きい第２階調情報と、のうちいずれかを選択して、前記第２フレームを補正する、
    撮像装置。
13. 請求項１から１２のいずれか一項に記載の撮像装置であって、
    前記出力部は、前記補正後の第２フレームを表示画面に表示する、
    撮像装置。
14. 第１フレームと、前記第１フレームの後の第２フレームと、を取得する取得部と、
    前記取得部からの前記第２フレームの出力時における露出値が所定の露出値を下回る場合に、前記第１フレームを用いて、前記第２フレームを補正するゲインを決定する決定部と、
    前記第２フレームの輝度値と、前記決定部によって決定された前記第２フレームを補正するゲインと、に基づいて、前記第２フレームの輝度値を補正する補正部と、
    前記補正部による補正後の第２フレームを出力する出力部と、
    を有する画像処理装置。
15. 第１フレームと、前記第１フレームの後の第２フレームと、前記第２フレームの後の第３フレームと、を取得する取得部と、
    前記第２フレームの輝度値に基づいて、前記第１フレームを用いた前記第２フレームの補正条件を決定し、前記第１フレームの輝度値に与える第１重み値と、前記第２フレームに与える第２重み値と、を決定する決定部と、
    前記決定部によって決定された補正条件を充足した場合、前記第１フレームの輝度値と前記第１重み値と前記第２重み値とに基づいて、前記第２フレームの輝度値を補正し、前記補正条件を充足した場合、補正された前記第２フレームの輝度値と前記第１重み値と前記第２重み値とに基づいて、前記第３フレームの輝度値を補正する補正部と、
    前記補正部による補正後の第２フレームを出力し、前記補正部による補正後の第３フレームと、を出力する出力部と、
    を有する画像処理装置。
16. 第１フレームと、前記第１フレームの後の第２フレームと、を取得する取得部と、
    前記取得部によって取得された第２フレームの取得時における露出値に基づいて、前記第１フレームを用いた前記第２フレームの補正条件を決定する決定部と、
    前記第２フレームの輝度値と、前記決定部によって決定された前記第１フレームを用いた前記第２フレームの補正条件と、に基づいて、前記第２フレームの輝度値を補正する補正部と、
    前記補正部による補正後の第２フレームを出力する出力部と、を有し、
    前記補正部は、前記露出値に基づいて、外部からの入力に応じて前記出力部からの出力を規定する第１階調情報と、外部からの所定値までの入力に応じた前記出力部からの出力が前記第１階調情報よりも大きい第２階調情報と、のうちいずれかを選択して、前記第２フレームの輝度値を補正する、
    を有する画像処理装置。
17. 第１フレームと、前記第１フレームの後の第２フレームと、を取得する取得処理と、
    前記取得処理によって取得された前記第２フレームの出力時における露出値が所定の露出値を下回る場合に、前記第１フレームを用いて、前記第２フレームを補正するゲインを決定する決定処理と、
    前記第２フレームの輝度値と、前記決定処理によって決定された前記第２フレームを補正するゲインと、に基づいて、前記第２フレームの輝度値を補正する補正処理と、
    前記補正処理による補正後の第２フレームを出力する出力処理と、
    プロセッサに実行させる画像処理プログラム。
18. 第１フレームと、前記第１フレームの後の第２フレームと、前記第２フレームの後の第３フレームと、を取得する取得処理と、
    前記第２フレームの輝度値に基づいて、前記第１フレームを用いた前記第２フレームの補正条件を決定し、前記第１フレームの輝度値に与える第１重み値と、前記第２フレームに与える第２重み値と、を決定する決定処理と、
    前記決定処理によって決定された補正条件を充足した場合、前記第１フレームの輝度値と前記第１重み値と前記第２重み値とに基づいて、前記第２フレームの輝度値を補正し、前記補正条件を充足した場合、補正された前記第２フレームの輝度値と前記第１重み値と前記第２重み値とに基づいて、前記第３フレームの輝度値を補正する補正処理と、
    前記補正処理による補正後の第２フレームを出力し、前記補正処理による補正後の第３フレームと、を出力する出力処理と、
    プロセッサに実行させる画像処理プログラム。

Images