JP6778602B2 - 撮像装置、画像データ生成方法および画像データ生成プログラム - Google Patents

Description

本発明は、撮像装置、画像データ生成方法および画像データ生成プログラムに関する。

環境光では光量が足りないシーンでは、露光不足を解消するために、フラッシュを発光して撮影を行うことがある。フラッシュを発光して取得した画像に対しては、例えばフラッシュ光が到達した主被写体とフラッシュ光が到達しなかった背景との間にカラーバランスの差異が生じ、適切なホワイトバランス補正を施せない場合があった。例えば、フラッシュを発光させて取得した画像に、フラッシュを発光させないで取得した画像に対する自動ホワイトバランス補正処理を施すと、主被写体のホワイトバランスが崩れることがあった。このような課題を解決するための技術として、例えばフラッシュ光のカラーバランスを予め計測してＲＯＭなどに記憶しておき、撮影のたびに記憶されたカラーバランスを読み出してホワイトバランス補正処理に利用する技術が知られるようになってきた（例えば、特許文献１、２）。

特開２００８−７９１４３号公報 特開２０１１−１３５３７８号公報

フラッシュ光のカラーバランスを予め記憶しておく方式によると、フラッシュの個体差や経年劣化に対応することが難しい。特にスマートフォンなどに搭載される閃光発光部にはＬＥＤが用いられることが多く、ＬＥＤは、キセノンフラッシュよりもカラーバランスの個体差が大きい。工場出荷前の全数調整は現実的には困難であり、また、出荷前に全数調整をしたとしても、経年劣化にまで対応することは事実上不可能であった。

本発明は、このような問題を解決するためになされたものであり、撮影時におけるフラッシュ光のカラーバランスを算出して、撮影画像ごとに最適なホワイトバランス補正処理を施す技術を提供することを目的とする。

本発明の第１の態様における撮像装置は、事前に撮像されたプリ画像を用いて露出制御値を決定する露出制御部と、露出制御値に基づいて、同一被写体に対して、フラッシュを発光せずに撮像した非発光画像と、フラッシュを発光して撮像した発光画像とを取得する画像取得部と、露出制御値と非発光画像を用いて算出した非発光時輝度値と、露出制御値と発光画像を用いて算出した発光時輝度値とから、フラッシュが発光したフラッシュ光が輝度に与える影響度合を算出する影響度算出部と、非発光画像から算出された非発光時ホワイトバランスゲインと、発光画像から算出された発光時ホワイトバランスゲインと、影響度合とから、フラッシュ光のカラーバランスを算出するカラーバランス算出部と、当該カラーバランスを加味して算出した補正ホワイトバランスゲインを用いて、発光画像を処理して画像データを生成する画像データ生成部とを備える。

本発明の第２の態様における画像データ生成方法は、同一被写体に対して、フラッシュを発光せずに撮像した非発光画像と、フラッシュを発光して撮像した発光画像とを取得する画像取得ステップと、非発光画像を撮像したときの露出制御値と非発光画像を用いて算出した非発光時輝度値と、発光画像を撮像したときの露出制御値と発光画像を用いて算出した発光時輝度値とから、フラッシュが発光したフラッシュ光が輝度に与える影響度合を算出する影響度算出ステップと、非発光画像から算出された非発光時ホワイトバランスゲインと、発光画像から算出された発光時ホワイトバランスゲインと、影響度合とから、フラッシュ光のカラーバランスを算出するカラーバランス算出ステップと、当該カラーバランスを加味して算出した補正ホワイトバランスゲインを用いて、発光画像を処理して画像データを生成する画像データ生成ステップとを含む。

本発明の第２の態様における画像データ生成プログラムは、同一被写体に対して、フラッシュを発光せずに撮像した非発光画像と、フラッシュを発光して撮像した発光画像とを取得する画像取得ステップと、非発光画像を撮像したときの露出制御値と非発光画像を用いて算出した非発光時輝度値と、発光画像を撮像したときの露出制御値と発光画像を用いて算出した発光時輝度値とから、フラッシュが発光したフラッシュ光が輝度に与える影響度合を算出する影響度算出ステップと、非発光画像から算出された非発光時ホワイトバランスゲインと、発光画像から算出された発光時ホワイトバランスゲインと、影響度合とから、フラッシュ光のカラーバランスを算出するカラーバランス算出ステップと、当該カラーバランスを加味して算出した補正ホワイトバランスゲインを用いて、発光画像を処理して画像データを生成する画像データ生成ステップとをコンピュータに実行させる。

本発明により、撮影時におけるフラッシュ光のカラーバランスを算出して、撮影画像ごとに最適なホワイトバランス補正処理を施す技術を提供することができる。

本実施形態にかかる撮像装置のシステム構成図である。 フラッシュ光のカラーバランスを算出する処理の概念を説明する図である。 撮像から記録へ至る処理の流れを表すフロー図である。

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。

図１は、本実施形態にかかる撮像装置１００の主要な機能ブロックを示すシステム構成図である。撮像装置１００は、被写体光束を取り込んで光電変換するための撮像部１１０を備え、撮像部１１０は、主に、レンズ１０２、絞り１０４、シャッター１０６、撮像素子１０８によって構成される。

レンズ１０２は、例えばモールド成形される樹脂レンズであり、入射する被写体光束を撮像素子１０８の結像面に結像させる。レンズ１０２は、複数のレンズによって構成されていても良く、また、手振れを補正する補正レンズを含んでいても良い。絞り１０４は、被写体光束を制限して被写界深度を調整する機能を担い、シャッター１０６は、被写体光束の通過時間を調整する機能を担う。なお、絞り１０４とシャッター１０６は、それぞれ別個のユニットで構成されなくても良く、両機能を担う絞りシャッターユニットを用いても良い。また、絞り１０４は、固定絞りでも良い。また、シャッター１０６が担う機能は、撮像素子１０８の機能として実行し得る電子シャッターで代替しても良く、この場合は、メカニカルなシャッターユニットを省くことができる。

撮像素子１０８は、ＣＣＤイメージセンサーやＣＭＯＳイメージセンサーなどの、光電変換素子である。撮像素子１０８を構成する各ピクセル上にはＲＧＢのカラーフィルタが例えばベイヤー配列により設けられている。撮像素子１０８は、結像面に結像された被写体光束を画像信号に変換して、アナログフロントエンド（ＡＦＥ）１１２へ引き渡す。

ＡＦＥ１１２は、撮像素子１０８から受け取った画像信号に、色分離処理、Ａ／Ｄ変換、欠陥画素補正、黒レベル補正、シェーディング補正等を施し、ＲＧＢ画像信号を生成する。生成されたＲＧＢ画像信号は、統計処理部１１４と画像処理部１２０へ引き渡される。統計処理部１１４は、ＲＧＢ画像信号をＲＧＢのレイヤーごとに、例えば８画素×８画素の画像ブロックに分割して各種統計処理演算を行うＬＳＩである。統計処理部１１４は、例えば、Ｇ信号の平均値を演算したり、ホワイトバランスゲインを演算したりする。演算結果は、システム制御部１３０へ引き渡される。

画像処理部１２０は、システム制御部１３０の制御信号に従って画像処理に関する様々な演算を実行するＡＳＩＣである。例えば、ベイヤー色補間処理、エッジ強調処理、ガンマ補正処理、ノイズ低減処理を実行したり、ＲＧＢ信号をＹＣＣ信号に変換したり、ＪＰＥＧ等のファイル形式に従って圧縮処理を施したりする。すなわち、画像処理部１２０は、画像データを生成する画像データ生成部としての機能を担う。画像処理部１２０は、画像処理に関する機能演算部の一つとして、ホワイトバランス補正処理を実行するＷＢ補正部１２２を包含する。

画像処理部１２０は、様々な画像処理を実行するにあたり、演算前および演算中の画像信号を一時的に記憶させるメモリ１２４を利用する。メモリ１２４は、例えばＲＡＭで構成され、少なくとも数画像分の画像信号を記憶させる容量を有する。

画像処理部１２０は、生成した画像データを記録部１４２へ記録する。記録部１４２は、例えば、不揮発性のフラッシュメモリで構成される。記録部１４２は、着脱可能なメモリカードであっても良い。また、画像処理部１２０は、生成した画像データを表示信号に変換して表示部１４４に表示することができる。表示部１４４は、例えば、液晶パネルで構成される。また、画像処理部１２０は、生成した画像データを、外部ＩＦ１４６を介して外部機器へ送信することができる。外部ＩＦ１４６は、例えば無線ＬＡＮユニットで構成される。

システム制御部１３０は、例えばＣＰＵであり、撮像装置１００を構成する各要素を直接的または間接的に制御する。システム制御部１３０による制御は、システムメモリや外部機器から与えられた制御プログラム、ルックアップテーブル、パラメータ等によって実現される。

システム制御部１３０は、演算処理に関する機能演算部の一つとして、ドライバー１１６に制御信号を送信する露出制御部１３２を包含する。露出制御部１３２は、統計処理部１１４の処理結果を取得して撮像のための露出値を演算し、当該露出値に従った撮像が実行されるように制御信号を生成する。

システム制御部１３０は、演算処理に関する機能演算部の一つとして、フラッシュ光が撮影画像から演算される輝度に与える影響度合を算出する影響度算出部１３４と、フラッシュ光のカラーバランスを算出するＣＢ算出部１３６とを包含する。これらの機能については、後に詳述する。

ドライバー１１６は、撮像部１１０およびフラッシュ１５０を制御する。例えば、ドライバー１１６は、レンズ１０２の焦点調整を実行したり、絞り１０４の絞り機構を駆動したり、シャッター１０６の開閉を実行したり、撮像素子１０８のリセットや電荷転送を制御したり、フラッシュ１５０の発光光量を調整したりする。フラッシュ１５０は、例えば高輝度ＬＥＤによって構成され、撮像素子１０８の電荷蓄積期間に同期して発光される。撮像装置１００において、撮像部１１０、フラッシュ１５０、ドライバー１１６は、システム制御部１３０と協働して、被写体画像を取得する画像取得部として機能する。

このようなシステム構成を有する撮像装置１００において実行される、フラッシュ光のカラーバランスを算出するまでの処理について説明する。図２は、フラッシュ光のカラーバランスを算出する処理の概念を説明する図である。

露出制御部１３２は、例えばＥＶＦ画像など、事前に撮像されたプリ画像を用いて本撮影のための露出制御値を決定する。ここで、露出制御部１３２が決定する露出制御値は、絞り値、シャッター速度、センサー感度（ＩＳＯ感度）である。

システム制御部１３０は、当該露出制御値に従って、フラッシュ１５０を発光せずに撮像した非発光画像と、フラッシュ１５０を発光して撮像した発光画像とを連続して取得する。露出制御部１３２は、非発光画像を取得する場合の露出制御値と、発光画像を取得する場合の露出制御値を、それぞれが適正露出になるように互いに異ならせても良いが、共通する露出制御値を用いると、例えば図２の左上の２枚のような画像が得られる。

左側の非発光画像は、環境光のみで撮像された画像であり、全体的にアンダーな画像になっている。右側の発光画像は、環境光にフラッシュ光が足されて撮像された画像であり、撮像装置１００から近い人物は明るく、少し離れた位置に存在する木々は非発光画像のそれよりは若干明るく、背景は非発光画像と同様に写っている。

これら２つの画像を取得すると、影響度算出部１３４は、撮像時の露出制御値と非発光画像を用いて非発光時輝度値を算出し、同様に、撮像時の露出制御値と発光画像を用いて発光時輝度値を算出する。そして、図２の右上に発光画像と非発光画像の差分として概念を示すように、フラッシュ光単独では非発光画像の全体にどれだけの変化をもたらしたかを表す数値として、非発光時輝度値と発光時輝度値からフラッシュ光が輝度に与えた影響度合Ｐ_ｆを算出する。

一方で、ＣＢ算出部１３６は、非発光画像から非発光時ホワイトバランスゲインＷ_ｅを算出し、発光画像から発光時ホワイトバランスゲインＷ_ｅｆを算出する。そして、これら２つのホワイトバランスゲインと、影響度算出部１３４が算出した影響度合Ｐ_ｆとから、フラッシュ光のカラーバランスＣ_ｆを算出する。つまり、発光画像を取得するにあたり現に発光させたフラッシュ光そのものから、フラッシュ光のカラーバランスを算出する。これは、フラッシュ１５０の、生のカラーバランスであると言え、予めＲＯＭ等に記録されたカラーバランスではなく、経年変化によるずれも、ユニット個体差によるずれも、発光量の違いによるずれもないカラーバランスである。

このように算出されたカラーバランスはＷＢ補正部１２２へ送られ、ＷＢ補正部１２２は、当該カラーバランスを加味して算出した補正ホワイトバランスゲインを用いて、発光画像に対してホワイトバランス補正処理を施す。そして、画像処理部１２０は、ホワイトバランス補正が施された画像に圧縮処理等を施して画像データに仕上げる。できあがった画像データは、記録部１４２に記録される。

それぞれの処理について、更に詳細に説明する。ここでは、非発光画像を取得する場合の露出制御値と、発光画像を取得する場合の露出制御値とが異なっていても良いように、それぞれをＡＰＥＸ値で、非発光画像の露出制御値を、絞り値Ａｖ_ｅ、シャッター速度Ｔｖ_ｅ、センサー感度Ｓｖ_ｅとし、発光画像の露出制御値を、絞り値Ａｖ_ｅｆ、シャッター速度Ｔｖ_ｅｆ、センサー感度Ｓｖ_ｅｆと表す。このとき、非発光画像の被写体輝度値Ｂｖ_ｅは、

と表され、発光画像の被写体輝度値Ｂｖ_ｅｆは、

と表される。

露出制御部１３２が露出制御値を決定するにあたり用いた目標輝度とする信号レベルをＡＥＴとする。また、非発光画像が統計処理部１１４に処理されて算出された画像全体におけるＧ信号の平均値をＲＧ_ｅとし、発光画像が統計処理部１１４に処理されて算出された画像全体におけるＧ信号の平均値をＲＧ_ｅｆとする。このとき、非発光画像の輝度差分ΔＢｖ_ｅは、

と表され、発光画像の輝度差分ΔＢｖ_ｅｆは、

と表される。

すると、非発光画像が捉えたシーンの輝度ＢＶ_ｅは、（１）式と（３）式を用いて、

と表され、発光画像が捉えたシーンの輝度ＢＶ_ｅｆは、（２）式と（４）式を用いて、

と表される。

そして、影響度算出部１３４は、（５）式と（６）式を用いて、フラッシュ光が輝度に与えた影響度合Ｐ_ｆを

と算出する。

ＣＢ算出部１３６は、統計処理部１１４によるブロック演算結果と一般的な算出手法を利用して、非発光画像から非発光時ホワイトバランスゲインＷ_ｅ（Ｗ_ｅｒ，Ｗ_ｅｇ，Ｗ_ｅｂ）を算出する。同様に、発光画像から発光時ホワイトバランスゲインＷ_ｅｆ（Ｗ_ｅｆｒ，Ｗ_ｅｆｇ，Ｗ_ｅｆｂ）を算出する。なお、Ｗ_ｅｒ，Ｗ_ｅｆｒはＲ信号について、Ｗ_ｅｇ，Ｗ_ｅｆｇはＧ信号について、Ｗ_ｅｂ，Ｗ_ｅｆｂはＢ信号について算出されたホワイトバランスゲインであることを表す。以下の計算式においても、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれに対して算出するものとする。

さらに、ＣＢ算出部１３６は、環境光に対するカラーバランスＣ_ｅ（Ｃ_ｅｒ，Ｃ_ｅｇ，Ｃ_ｅｂ）を、非発光時ホワイトバランスゲインＷ_ｅの逆数として、

と算出する。同様に、環境光＋フラッシュ光に対するカラーバランスＣ_ｅｆ（Ｃ_ｅｆｒ，Ｃ_ｅｆｇ，Ｃ_ｅｆｂ）を、発光時ホワイトバランスゲインＷ_ｅｆの逆数として、

と算出する。

そして、ＣＢ算出部１３６は、フラッシュ光のカラーバランスＣ_ｆ（Ｃ_ｆｒ，Ｃ_ｆｇ，Ｃ_ｆｂ）を、環境光に対するカラーバランスＣ_ｅ、環境光＋フラッシュ光に対するカラーバランスＣ_ｅｆ、およびフラッシュ光が輝度に与えた影響度合Ｐ_ｆを用いて、

と算出する。

このように、具体的にフラッシュ光のカラーバランスＣ_ｆが算出されると、ＷＢ補正部１２２は、カラーバランスＣ_ｆに基づいてホワイトバランスゲインを補正し、この補正された補正ホワイトバランスゲインを用いて、発光画像にホワイトバランス処理を施すことができる。つまり、従来技術において予めＲＯＭに記録されていたフラッシュ光のカラーバランスを用いてホワイトバランスゲインを補正したのと同様に、上記の演算によって算出したフラッシュ光のカラーバランスを用いてホワイトバランスゲインを補正することができる。補正されたホワイトバランスゲインを用いてホワイトバランス補正処理を施し、圧縮処理等を行って画像データを生成する処理は、様々な従来技術を適用することができる。補正ホワイトバランスゲインの算出方法の一例を簡単に紹介する。

統計処理部１１４および影響度算出部１３４は、非発光画像をｗ×ｈのブロックに分割し、式（１）（３）（５）を用いてそれぞれのブロックにおけるＢＶ_ｅ値を、Ｓ_ｅ［ｘ］［ｙ］として算出する。同様に、発光画像をｗ×ｈのブロックに分割し、式（２）（４）（６）を用いてそれぞれのブロックにおけるＢＶ_ｅ値を、Ｓ_ｅ［ｘ］［ｙ］として算出する。そして、対応する対応するブロック間の差分Ｄ_ｆ［ｘ］［ｙ］を、

として算出する。

そして、画像全体に対する差分Ｄ_ｆ［ｘ］［ｙ］のばらつきを以下の分散値ｖによって表す。

この分散値ｖを引数とする評価関数Ｐｍ（ｖ）を予め設定しておく。Ｐｍ（ｖ）は、フラッシュ光のカラーバランスを加味する割合（０≦Ｐｍ（ｖ）≦１）を表し、分散値ｖが大きいほどＰｍ（ｖ）は大きくなるように設定する。このように算出された評価関数Ｐｍ（ｖ）を用いると、補正ホワイトバランスゲインＷ_ｆは、

と算出することができる。なお、Ｗ_ｆも、Ｃ_ｆと同様にＲ信号、Ｇ信号、Ｂ信号のそれぞれに対して算出する。

このように、算出された補正ホワイトバランスゲインＷ_ｆを用いて発光画像に対してホワイトバランス補正処理を施せば、実際にフラッシュ１５０が発光したフラッシュ光のカラーバランスで、かつ与えた光量に応じてホワイトバランス調整を行うことができるので、より自然な色味の画像を得ることができる。なお、式（１１）から（１３）のようにして補正ホワイトバランス係数Ｗ_ｆを算出する手法は一例であって、カラーバランスＣ_ｆを用いたホワイトバランス調整は、他の手法を採用することもできる。

次に、撮像から記録へ至る処理の流れを説明する。図３は、撮像から記録へ至る処理の流れを表すフロー図である。フローは、撮像装置１００の電源がオンにされた時点で開始される。

システム制御部１３０は、ステップＳ１０１で、プリ画像を取得する。露出制御部１３２は、ステップＳ１０２で、当該プリ画像を受け取り、本撮影のための露出制御値（絞り値、シャッター速度、センサー感度）を決定する。そして、ドライバー１１６へ制御信号を送信することにより本撮影のための撮像処理を実行し、非発光画像と発光画像を取得する（ステップＳ１０３）。なお、非発光画像と発光画像の撮像順は、いずれが先であっても構わない。

影響度算出部１３４は、ステップＳ１０４で、非発光画像が捉えたシーンの輝度ＢＶ_ｅと、発光画像が捉えたシーンの輝度ＢＶ_ｅｆを演算する。続いて、ステップＳ１０５で、非発光時ホワイトバランスゲインＷ_ｅと、発光時ホワイトバランスゲインＷ_ｅｆを演算する。さらに、影響度算出部１３４は、ステップＳ１０６で、輝度ＢＶ_ｅとＢＶ_ｅｆを用いて影響度合Ｐ_ｆを算出する。なお、ステップＳ１０５とＳ１０６は、逆順であっても構わない。

そして、ステップＳ１０７で、ＣＢ算出部１３６は、カラーバランスＣ_ｅ、Ｃ_ｅｆ、および影響度合Ｐ_ｆを用いてフラッシュ光のカラーバランスＣ_ｆ（Ｃ_ｆｒ，Ｃ_ｆｇ，Ｃ_ｆｂ）を算出する。ＣＢ算出部１３６は、算出したカラーバランスＣ_ｆをＷＢ補正部１２２へ引き渡す。

ＷＢ補正部１２２は、ステップＳ１０８で、補正ホワイトバランスゲインＷ_ｆを算出し、これを用いてステップＳ１０３で取得した発光画像のホワイトバランスを調整する。ホワイトバランス調整が完了したら、画像処理部１２０は、ステップＳ１０９で、圧縮処理等を施して画像データを生成し、ステップＳ１１０で、記録部１４２へ記録する。また、表示部１４４に生成した画像を表示しても良い。また、外部ＩＦを介して、画像データを外部機器へ送信しても良い。そして、電源がオフにされると一連の処理を終了する。

以上説明した本実施形態にかかる撮像装置１００によれば、一般的にカラーバランス個体差が大きいＬＥＤをフラッシュ１５０として用いても、工場出荷前の全数調整などを必要とすることなく、撮影ごとに適切な色味の画像を得ることができる。また、ＬＥＤを採用する場合に限らず、キセノン管のフラッシュを採用する場合であっても、経年劣化によってフラッシュ光のカラーバランスは変化するが、本実施形態にかかる撮像装置１００においては、経年劣化の影響を受けることがない。すなわち、フラッシュ光のカラーバランスを予め記憶しておく方式においては、記憶しておいたカラーバランスと実際のカラーバランスとの間に乖離が生じるが、本実施形態にかかる撮像装置１００では、そのようなことが生じることはない。

以上説明した本実施形態においては、撮像装置１００を説明した。しかし、フラッシュ光のカラーバランスを算出して、ホワイトバランス処理に加味する画像データ取得方法は、例えばＰＣ上のソフトウェアによっても実行することができる。例えば、同一被写体に対して、フラッシュを発光せずに撮像した非発光画像と、フラッシュを発光して撮像した発光画像とを、付帯情報として露出制御値を有するＲＡＷデータとしてそれぞれＰＣに取り込めば、後の処理を上述の処理と同様に施すことができる。この場合、ＰＣにインストールしてソフトウェアとして実行可能にさせるプログラムは、例えばＣＤＲＯＭによって供給されても良いし、ネットワークを介して供給されても良い。

１００ 撮像装置、１０２ レンズ、１０４ 絞り、１０６ シャッター、１０８ 撮像素子、１１０ 撮像部、１１２ アナログフロントエンド（ＡＦＥ）、１１４ 統計処理部、１１６ ドライバー、１２０ 画像処理部、１２２ ＷＢ補正部、１２４ メモリ、１３０ システム制御部、１３２ 露出制御部、１３４ 影響度演算部、１３６ ＣＢ算出部、１４２ 記録部、１４４ 表示部、１４６ 外部ＩＦ、１５０ フラッシュ

Claims (5)

1. 事前に撮像されたプリ画像を用いて露出制御値を決定する露出制御部と、
   前記露出制御値に基づいて、同一被写体に対して、フラッシュを発光せずに撮像した非発光画像と、前記フラッシュを発光して撮像した発光画像とを取得する画像取得部と、
   前記露出制御値と前記非発光画像を用いて算出した非発光時輝度値と、前記露出制御値と前記発光画像を用いて算出した発光時輝度値とから、前記フラッシュが発光したフラッシュ光が輝度に与える影響度合を算出する影響度算出部と、
   前記非発光画像から算出された非発光時ホワイトバランスゲインと、前記発光画像から算出された発光時ホワイトバランスゲインと、前記影響度合とから、前記フラッシュ光のカラーバランスを算出するカラーバランス算出部と、
   前記カラーバランスを加味して算出した補正ホワイトバランスゲインを用いて、前記発光画像を処理して画像データを生成する画像データ生成部と
   を備え、
   前記影響度算出部は、前記影響度合を、
   

   

   （Ｐ _ｆ は影響度合、ＢＶ _ｅｆ は発光画像を用いて算出したシーン輝度のＡＰＥＸ値、ＢＶ _ｅ は非発光画像を用いて算出したシーン輝度のＡＰＥＸ値）
   として算出する撮像装置。
2. 前記カラーバランス算出部は、前記カラーバランスを、ＲＧＢの各色に対して、
   

   

   （Ｃ_ｆはカラーバランス、Ｃ_ｅｆは発光画像を用いて算出した発光時ホワイトバランスゲインの逆数、Ｃ_ｅは非発光画像を用いて算出した非発光時ホワイトバランスゲインの逆数）
   として算出する請求項１に記載の撮像装置。
3. 前記影響度算出部は、ＢＶ_ｅｆとＢＶ_ｅを、
   

   

   

   

   

   （ＲＧ_ｅｆは発光画像から算出された画像全体におけるＧ信号の平均値、ＲＧ_ｅは非発光画像から算出された画像全体におけるＧ信号の平均値、ＡＥＴは前記露出制御部が露出制御値を決定するにあたり用いた目標輝度とする信号レベル、Ｂｖ_ｅｆは、発光画像の被写体輝度のＡＰＥＸ値、Ｂｖ_ｅは、非発光画像の被写体輝度のＡＰＥＸ値）
   として算出する請求項１または２に記載の撮像装置。
4. 同一被写体に対して、フラッシュを発光せずに撮像した非発光画像と、前記フラッシュを発光して撮像した発光画像とを取得する画像取得ステップと、
   前記非発光画像を撮像したときの露出制御値と前記非発光画像を用いて算出した非発光時輝度値と、前記発光画像を撮像したときの露出制御値と前記発光画像を用いて算出した発光時輝度値とから、前記フラッシュが発光したフラッシュ光が輝度に与える影響度合を算出する影響度算出ステップと、
   前記非発光画像から算出された非発光時ホワイトバランスゲインと、前記発光画像から算出された発光時ホワイトバランスゲインと、前記影響度合とから、前記フラッシュ光のカラーバランスを算出するカラーバランス算出ステップと、
   前記カラーバランスを加味して算出した補正ホワイトバランスゲインを用いて、前記発光画像を処理して画像データを生成する画像データ生成ステップと
   を含み、
   前記影響度算出ステップは、前記影響度合を、
   

   

   （Ｐ _ｆ は影響度合、ＢＶ _ｅｆ は発光画像を用いて算出したシーン輝度のＡＰＥＸ値、ＢＶ _ｅ は非発光画像を用いて算出したシーン輝度のＡＰＥＸ値）
   として算出する画像データ生成方法。
5. 同一被写体に対して、フラッシュを発光せずに撮像した非発光画像と、前記フラッシュを発光して撮像した発光画像とを取得する画像取得ステップと、
   前記非発光画像を撮像したときの露出制御値と前記非発光画像を用いて算出した非発光時輝度値と、前記発光画像を撮像したときの露出制御値と前記発光画像を用いて算出した発光時輝度値とから、前記フラッシュが発光したフラッシュ光が輝度に与える影響度合を算出する影響度算出ステップと、
   前記非発光画像から算出された非発光時ホワイトバランスゲインと、前記発光画像から算出された発光時ホワイトバランスゲインと、前記影響度合とから、前記フラッシュ光のカラーバランスを算出するカラーバランス算出ステップと、
   前記カラーバランスを加味して算出した補正ホワイトバランスゲインを用いて、前記発光画像を処理して画像データを生成する画像データ生成ステップと
   をコンピュータに実行させ、
   前記影響度算出ステップは、前記影響度合を、
   

   

   （Ｐ _ｆ は影響度合、ＢＶ _ｅｆ は発光画像を用いて算出したシーン輝度のＡＰＥＸ値、ＢＶ _ｅ は非発光画像を用いて算出したシーン輝度のＡＰＥＸ値）
   として算出する画像データ生成プログラム。

Images