JP6280377B2 - 撮像装置及びその制御方法、プログラム、並びに記憶媒体 - Google Patents

Description

本発明は、複数の画像を合成して適切な明るさの画像を生成する技術に関する。

デジタルカメラなどの撮像装置において、夜景や星空を撮影するためにはマニュアルでシャッター速度を遅くして長秒撮影を行う方法や夜景モードを用いて撮像素子の感度を上げずに低ノイズで撮影する方法などが存在する。また、スローシンクロ撮影のように、主被写体はフラッシュを発光させて適切な明るさで撮影を行い、背景は長秒撮影により明るく撮影する方法もある。さらに、特許文献１のように、フラッシュ発光撮影と長秒撮影の多重露光を行う撮影方法もある。

特開平４−２１５６３３号公報

しかしながら、上記従来の撮影方法では主被写体と背景とを共に適切な明るさで撮影することができない。

本発明は、上記課題に鑑みてなされ、その目的は、被写体領域ごとに撮影された複数の画像を合成する際に、主被写体が存在しない画像が生成されることを抑制する技術を実現することである。

上記課題を解決するために、本発明の撮像装置は、閃光手段が発光されている状態で撮影される第１の画像と、前記閃光手段が発光されていない状態で撮影される第２の画像と、前記閃光手段が発光されていない状態で前記第２の画像の撮影よりも短秒で撮影される第３の画像とを撮影可能な撮影手段と、前記第１の画像と前記第２の画像を合成する合成手段と、前記第１の画像と前記第３の画像の明るさを比較することにより、前記第１の画像への光照射状態を判定する判定手段と、前記判定手段により前記光照射状態が所定の判定基準を満たすと判定された場合に、前記合成手段により合成された画像を出力し、前記判定手段により前記光照射状態が所定の判定基準を満たさないと判定された場合に、前記第１の画像を出力するように制御する制御手段と、を有する。

本発明によれば、被写体領域ごとに撮影された複数の画像を合成する際に、主被写体が存在しない画像が生成されることを抑制することができる。

本実施形態の撮像装置の構成を示すブロック図。 本実施形態の画像処理部の機能および構成を説明する図。 本実施形態の画像合成処理を説明する図。 本実施形態の撮像装置によるフラッシュ発光撮影から合成画像の生成までの処理を示すフローチャート。 本実施形態の光照射状態マップの作成処理を説明する図。 本実施形態の光照射状態処理を示すフローチャート。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

以下、本発明を、例えば、動画や静止画を撮影可能なデジタルカメラなどの撮像装置に適用した実施形態について説明する。

＜装置構成＞図１を参照して、本発明に係る実施形態の撮像装置の構成及び機能の概略について説明する。

図１に示す撮像装置１００において、１０は撮影レンズ、１２は絞り機能を備える機械式シャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。１８は撮像素子１４、Ａ／Ｄ変換器１６にクロック信号や制御信号を供給するタイミング発生部であり、メモリ制御部２２及びシステム制御部５０により制御される。なお、上記機械式シャッター１２以外にも、撮像素子１４のリセットタイミングを制御することによって、電子シャッターとして、蓄積時間を制御することが可能であり、動画撮影などに使用可能である。

２０は画像処理部であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御部２２からのデータに対して所定の画素補間処理や色変換処理を行う。また画像処理部２０によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。また、画像処理部２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０が露光制御部４０及び測距制御部４２に対して制御を行う、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行う。さらに画像処理部２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＡＷＢ（オートホワイトバランス）処理も行っている。

２２はメモリ制御部であり、Ａ／Ｄ変換器１６、タイミング発生部１８、画像処理部２０、メモリ３０、圧縮・伸長部３２を制御する。Ａ／Ｄ変換器１６のデータが画像処理部２０、メモリ制御部２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御部２２を介して、メモリ３０に書き込まれる。

２８はＴＦＴ ＬＣＤ等からなる表示部であり、メモリ３０に書き込まれた表示用の画像データはメモリ制御部２２を介して表示部２８により表示される。表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。また、表示部２８は、システム制御部５０の制御により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には装置の電力消費を大幅に低減することができる。画像処理部２０は、上記のように逐次撮像されて表示される画像データから人物の顔などの所定の被写体の特徴情報を検出することが可能である。

３０は撮影した静止画や動画を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。

不揮発性メモリ３１は、電気的に消去・記録可能な、例えばＥＥＰＲＯＭなどである。不揮発性メモリ３１には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部５０は、装置全体を統括して制御する演算処理装置であって、不揮発性メモリ３１に格納されたプログラムを実行することで、後述するフローチャートの各処理を実現する。システムメモリ３３はＲＡＭなどであり、システム制御部５０の動作用の定数、変数、不揮発性メモリ３１から読み出したプログラムなどを展開するワークメモリとしても使用される。また、システム制御部５０は、メモリ３０や表示部２８などを制御することにより表示制御も行う。

３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長部であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

４０は機械式シャッター１２を制御する露光制御部であり、閃光手段としてのフラッシュ４８と連動することによりフラッシュ調光機能も有するものである。

４２は撮影レンズ１０のフォーカシングを制御する測距制御部、４４は撮影レンズ１０のズーミングを制御するズーム制御部である。

４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。

露光制御部４０、測距制御部４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理部２０によって演算した演算結果に基づき、システム制御部５０が露光制御部４０、測距制御部４２に対して制御を行う。

５０は撮像装置１００全体を制御するシステム制御部である。

６０、６２、６４、６６、７０及び７２は、システム制御部５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。

６０はモードダイアルスイッチで、電源オフ、自動撮影モード、静止画撮影モード、フラッシュ発光撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、外部接続モードなどの各機能モードを切り替え設定することができる。

６２はシャッタースイッチＳＷ１で、シャッターボタンの操作途中でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理等の動作開始を指示する。

６４はシャッタースイッチＳＷ２で、シャッターボタンの操作完了でＯＮとなる。フラッシュ発光撮影の場合、ＥＦ処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させ、この露光期間中に発光させて、露光期間終了と同時に露光制御部４０により遮光することで、撮像素子１４への露光を終了させる。撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介してメモリ３０に画像データを書き込む読み出し処理、画像処理部２０やメモリ制御部２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長部３２で圧縮を行う処理、記録媒体２００に画像データを書き込む処理という一連の処理の動作開始を指示する。

６６は表示切替スイッチで、表示部２８の表示を切替えることができる。この機能により、光学ファインダ１０４を用いて撮影を行う際に、表示部２８への電流供給を遮断することにより、省電力を図ることが可能となる。

７０は各種ボタン、タッチパネルや回転式ダイアル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等がある。またメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。

７２はユーザが撮像画像の倍率変更指示を行うズーム操作手段としてのズームスイッチである。ズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ７２を用いることにより、ズーム制御部４４に撮影レンズ１０の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理部２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。

８６はアルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプタ等からなる電源部である。

９０はメモリカードやハードディスク等の記録媒体とのインタフェース、９２はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。

１０４は光学ファインダであり、表示部２８による電子ファインダ機能を使用することなしに、光学ファインダのみを用いて撮影を行うことが可能である。

１１０は、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信、等の各種通信機能を有する通信部である。

１１２は、通信部１１０により撮像装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、撮像装置１００とのインタフェース２０４、撮像装置１００と接続を行うコネクタ２０６を備えている。

ここで、本実施形態の特徴部分に係る、主被写体と背景とを別々に撮影し、主被写体を切り出して背景画像と合成することにより適切な明るさの画像を生成する処理について説明する。本実施形態では、例えばフラッシュを発光させて撮影したときの画像の照明光量（輝度）を算出し、閃光（フラッシュ光）が十分に届いているか否かを判定するための光照射状態マップを作成し、この光照射状態マップに基づき画像を合成する。

ところが、フラッシュ光が主被写体に届かず照明光量が十分でない場合、主被写体の明るさが足りず主被写体を検出できない場合がある。例えば被写体距離が遠いため主被写体にフラッシュ光が届かない場合、光照射状態マップ作成時に主被写体が検出されないため、主被写体を抽出することができず、主被写体が存在しない背景画像が生成されることになる。

そこで、本実施形態では、上記のように閃光手段が発光した状態で撮影される画像における主被写体への照明光量に応じて、出力画像を決定する。

＜画像処理部で処理されるデータフロー＞図２を参照して、本実施形態に特徴的なフラッシュ発光撮影と非発光撮影を伴う、夜景と主被写体をどちらも適切な明るさで写す画像を生成するための撮影で得られた画像に対する画像処理部のデータフローについて説明する。

図２において、本実施形態の画像処理部２０は、撮像素子１４で生成された撮像信号がＡ／Ｄ変換器１６でデジタル信号に変換されてベイヤ配列のＲＡＷ画像データを得る。

また、画像処理部２０は、フラッシュ４８を発光させて短秒撮影を行って得られた発光短秒画像データ２２１と、フラッシュ非発光で短秒撮影を行って得られた非発光短秒画像データ２２２と、フラッシュ非発光で長秒撮影を行って得られた長秒画像データ２２３を取得する。これら取得された画像について現像処理回路２２４によって輝度信号と色差信号に変換し、エッジ強調、ホワイトバランス、ガンマ変換などの画像処理を施したＹＵＶ画像データをそれぞれ生成する。

本実施形態では説明の便宜上、第１の現像処理回路２２５により第１の画像としての発光短秒画像データ２２１から第１のＹＵＶ画像データ２２８が得られ、第２の現像処理回路２２６により第３の画像としての非発光短秒画像データ２２２から第２のＹＵＶ画像データ２２９が得られ、第３の現像処理回路２２７により第２の画像データとしての長秒画像データ２２３から第３のＹＵＶ画像データ２３０が得られるものとして説明しているが、このような構成に限られるものではない。例えば、現像処理後の画像データとしてＹＣｂＣｒ（ＹＰｂＰｒ）、Ｌ*ａ*ｂ*などの形式が利用されても良い。

次に、差分検出回路２３１にて第１のＹＵＶ画像データ２２８と第２のＹＵＶ画像データ２２９の輝度値の差分を検出することにより光照射状態マップ２３２が作成される。ここで、各画像データがＬ*ａ*ｂ*の色空間で表されている場合、Ｌ信号の値（明度値）を輝度値の代わりに用いるなど、画像データの明るさの差分を検出することができれば良く、輝度値に限らない。

次に、合成回路２３３にて、光照射状態マップ２３２に基づいて、主被写体領域として、フラッシュ発光撮影された第１のＹＵＶ画像データ２２８の主被写体領域と、背景領域として、長秒撮影された第３のＹＵＶ画像データ２３０の背景領域とが主として合成されたＹＵＶ合成画像データ２３４が最終画像として出力される。また、合成回路２３３から出力された最終画像データは、メモリ３０に書き込まれた後、ＬＣＤなどの表示媒体からなる表示部２８に表示され、あるいは、圧縮・伸長部３２にて圧縮処理がなされて記録媒体２００に記録される。なお、本実施形態では、ＹＵＶ画像データを合成しているが、光照射状態マップ２３２を用いて現像処理前のＲＡＷ画像データを合成しても良い。

ここで、図３を参照して、本実施形態の画像合成処理として、フラッシュ発光短秒撮影で主被写体である人物にフラッシュ光が届かず、人物が退避した後に長秒撮影を行った場合について説明する。

図３において、発光短秒画像３０１には、フラッシュ光が届かない人物３０１１と建物３０１２と背景３０１３が存在する。非発光短秒画像３０２には、フラッシュ光が照射されない人物３０２１と建物３０２２と背景３０２３が存在する。発光短秒画像３０１と非発光短秒画像３０２はいずれもフラッシュ光が照射されないため、人物３０１１と人物３０２１は同等の輝度レベルとなり、建物３０１２と建物３０２２も同等の輝度レベルとなる。また、フラッシュ非発光長秒画像３０３には、人物は退避したため存在せず、建物３０３１と背景３０３２のみが存在し、長秒画像３０３は非発光短秒画像３０２より露光時間が長いため、建物３０３１と背景３０３２はそれぞれ短秒画像３０２より明るくなる。

光照射状態マップ３０４は、発光短秒画像３０１と非発光短秒画像３０２の輝度値の差分から生成されるが、本例では発光短秒画像３０１と非発光短秒画像３０２の輝度値に差分が存在しないため全領域が黒色３０４１となる。そして、合成回路２３３にて全領域が黒色の光照射状態マップ３０４を用いて合成処理が行われると、フラッシュ光が照射された領域が全くないため発光短秒画像３０１から主被写体が検出されず長秒画像３０３がそのまま最終画像３０５として出力される。この最終画像３０５には、人物は存在せず、建物３０５１と背景３０５２のみが存在する。

本実施形態では、このような人物が存在しない最終画像が生成されることを抑制するため、光照射状態マップ３０４を解析し、発光短秒画像についてフラッシュ光が届かないため光照射量が十分でないと判定される場合には、合成回路２３３にて長秒画像３０３に代えて発光短秒画像３０１を最終画像３０６として出力するように構成している。この最終画像３０６には、人物３０６１と建物３０６２と背景３０６３が存在する。

なお、本実施形態では説明の便宜上、露光時間（シャッター速度）を短秒と長秒として露出を少なくしたり、多くするように制御したが、これに限られるものではない。また、光照射状態マップ３０４は、フラッシュ光が到達した領域を白、到達しない領域を黒としたが、これに限られるものではなく、より多値に分類されても良い。

＜撮影処理＞次に、図４を参照して、本実施形態の撮像装置によるフラッシュ発光撮影から合成画像の生成までの処理について説明する。

なお、図４の処理は、システム制御部５０が、不揮発性メモリ３１に格納された制御プログラムを、システムメモリ３３に展開し、実行することで実現される。

図４（ａ）はメインルーチンの動作を示している。システム制御部５０は、ユーザによりシャッターボタンが操作され、シャッタースイッチＳＷ２がＯＮされると、画像処理部２０を制御して、発光短秒画像、非発光短秒画像、長秒画像の撮影を行う（Ｓ４０１）。そして、画像処理部２０は、それぞれの画像を現像し（Ｓ４０２）、現像後のＹＵＶ画像データから光照射状態マップを作成し（Ｓ４０３）、画像の合成処理を行う（Ｓ４０４）。

図４（ｂ）は、図４（ａ）の撮影処理（Ｓ４０１）におけるサブルーチンの動作を示している。システム制御部５０は、最初にフラッシュ４８を発光させて発光短秒画像を撮影し（Ｓ４１１）、次にフラッシュ４８を発光させないで非発光短秒画像を撮影する（Ｓ４１２）。その後、タイマー設定された状態ならば、人物などの主被写体が退避できる時間だけ撮影間隔を空けるために、予め設定された待機時間の経過をタイマーによりカウントした後（Ｓ４１３）、最後にフラッシュ４８を発光させないで長秒画像を撮影する（Ｓ４１４）。

図４（ｃ）は、図４（ａ）の現像処理（Ｓ４０２）におけるサブルーチンの動作を示している。画像処理部２０は、Ｓ４１１で撮影された発光短秒画像を現像し（Ｓ４２１）、第１のＹＵＶ画像データを生成する。次に、画像処理部２０は、Ｓ４１２で撮影された非発光短秒画像を現像し（Ｓ４１２）、第２のＹＵＶ画像データを生成する。最後に、画像処理部２０は、Ｓ４１４で撮影された長秒画像を現像し（Ｓ４２３）、第３のＹＵＶ画像データを生成する。

図４（ｄ）は、図４（ａ）の光照射状態マップ作成処理（Ｓ４０３）におけるサブルーチンの動作を示している。画像処理部２０は、Ｓ４２１で生成された第１のＹＵＶ画像データと、Ｓ４２２で生成された第２のＹＵＶ画像データの輝度値の差分を検出し（Ｓ４３１）、図５で後述する光照射状態マップを作成する際の輝度差分閾値を設定する（Ｓ４３２）。次に、画像処理部２０は、Ｓ４３１で検出された輝度値の差分とＳ４３２で設定された輝度差分閾値との比較に応じて光照射状態マップを作成する（Ｓ４３３）。

図４（ｅ）は、図４（ａ）の合成処理（Ｓ４０４）におけるサブルーチンの動作を示している。画像処理部２０は、Ｓ４３３で作成された光照射状態マップについて図６で後述する所定の判定基準を満たしているかを解析し、発光短秒画像について主被写体にフラッシュ光が照射されているか否かを判定する（Ｓ４４１）。そして、判定の結果、フラッシュ光が照射されていると判定された場合には、合成回路２３３にて発光短秒画像と長秒画像が合成された合成画像が最終画像として出力される（Ｓ４４２）。一方、フラッシュ光が照射されていないと判定された場合には、合成画像に代えて発光短秒画像が最終画像として出力される（Ｓ４４３）。そして、Ｓ４４２またはＳ４４３で出力される合成画像データまたは発光短秒画像データが表示部２８に表示され、あるいは、圧縮されて記録媒体２００に記録される。

なお、本実施形態では発光短秒画像、非発光短秒画像、長秒画像の順序に撮影を行っているが、撮影時の順序や枚数は本例に限られるものではなく、現像処理の順序も同様に本例に限定されない。また、本実施形態では全ての画像の撮影後に現像処理を行っているが、各画像の撮影ごとに現像処理を行っても良い。さらに、本実施形態ではＳ４４１において光照射状態マップのみに基づいてフラッシュ光照射状態の判定処理を行っているが、顔検出処理やＡＦ処理により得られた情報などを併用して判定しても良い。この場合、逐次表示される画像データから主被写体の顔が検出された状態および被写体距離情報が至近ではない状態の少なくともいずれかであって、フラッシュ光が照射されたと判定されたときに合成を実施せず発光短秒画像を最終画像として出力する。さらにまた、Ｓ４４１でのフラッシュ光照射状態結果を用いて、警告表示や撮影の無駄を省くために背景画像の撮影を行わないように制御を行っても良い。

＜光照射状態マップの作成処理＞次に、図５を参照して、図４（ｄ）の光照射状態マップの作成処理（Ｓ４３３）について説明する。

図５（ａ）は多値画像である発光短秒画像データと非発光短秒画像データの輝度値の差分を入力して多値の光照射状態マップとして出力する例を示しており、横軸は入力である輝度差分値、縦軸は出力であるマップである。輝度差分値の変化点をｘ１、ｘ２に設定し、輝度差分閾値ｘ１未満の輝度差分値は差分なしとして「０」（フラッシュ光未達）を出力し、輝度差分閾値ｘ２以上の輝度差分値は「１」（フラッシュ光到達）を出力する。輝度差分閾値ｘ１以上ｘ２未満の中間領域はフラッシュ光照射状態の判定結果を急峻にしないために中間値が付与される。

図５（ｂ）は多値画像である発光短秒画像データと非発光短秒画像データの輝度値の差分を入力して二値の光照射状態マップとして出力する例を示しており、横軸と縦軸は図５（ａ）と同様である。輝度差分値の変化点をｘ１＝ｘ２に設定し、輝度差分閾値ｘ１未満の輝度差分値は差分なしとして「０」（フラッシュ光未達）出力し、輝度差分閾値ｘ１（＝ｘ２）以上の輝度差分値は「１」（フラッシュ光到達）を出力する。

＜フラッシュ光照射状態判定処理＞次に、図６を参照して、図４（ｅ）のフラッシュ光照射状態の判定処理（Ｓ４４１）について説明する。

図６（ａ）において、Ｓ６０１では、画像処理部２０は、マップＭ、全画素数ｎｕｍ、光照射状態マップの輝度差分閾値Ｙｔｈ、照射判定画素数閾値Ｎｔｈなどの判定条件を設定する。

Ｓ６０２では、画像処理部２０は、Ｓ６０３から６０７でのループに用いる画素数カウンタｘと照射判定画素数カウンタｎを初期化する（ｘ＝０、ｎ＝０）。

Ｓ６０３では、画像処理部２０は、画素数ｘの順にスキャンした光照射状態マップの輝度値Ｍ［ｘ］が輝度差分閾値Ｙｔｈ以上であるか判定し、閾値以上の場合はＳ６０４に進み、閾値未満の場合はＳ６０５に進む。

Ｓ６０４では、画像処理部２０は、照射判定画素数カウンタをインクリメントする（ｎ＝ｎ＋１）。

Ｓ６０５では、画像処理部２０は、画素数カウンタをインクリメントする（ｘ＝ｘ＋１）。

Ｓ６０６では、画像処理部２０は、画素数カウンタｘが全画素数ｎｕｍ未満であるか判定し、全画素数未満の場合は、未だ判定が行われていない画素が存在するため、Ｓ６０３にリターンし、全画素数以上の場合はＳ６０７に進む。

Ｓ６０７では、画像処理部２０は、照射判定画素数カウンタｎが照射判定画素数閾値Ｎｔｈ以上であるか判定し、閾値以上の場合はＳ６０８に進み、閾値未満の場合はＳ６０９に進む。

Ｓ６０８では、画像処理部２０は、光照射状態マップの輝度差分閾値Ｙｔｈ以上の画素が照射判定画素数閾値Ｎｔｈ以上存在するのでフラッシュ光が照射されたと判定する（フラッシュ光到達）。

Ｓ６０９では、画像処理部２０は、光照射状態マップの輝度差分閾値Ｙｔｈ以上の画素が照射判定画素数閾値Ｎｔｈ未満しか存在しないのでフラッシュ光が照射されていない判定する（フラッシュ光未達）。

なお、図６（ｂ）に示すように、演算量の削減や誤判定によるノイズ低減を目的として、光照射状態マップを複数のブロックに分割しても良い。また、図示のように、例えば周辺のブロックより中心のブロックの比率や面積が大きくなるように重みづけを行って判定しても良い。さらにまた、所定の画素やブロックごとに輝度差分値の平均値やヒストグラムを求めて判定しても良い。

以上のように、本実施形態によれば、主被写体が存在する発光短秒画像と主被写体が存在しない長秒画像を合成する際に、発光短秒画像について主被写体にフラッシュ光が照射されているか否かを判定する。そして、判定の結果、フラッシュ光が照射されていると判定された場合には、発光短秒画像と長秒画像が合成された合成画像を出力する一方、フラッシュ光が照射されていないと判定された場合には、長秒画像に代えて発光短秒画像を出力する。このようにして、主被写体が存在しない画像が生成されることを抑制することができる。

［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (13)

1. 閃光手段が発光されている状態で撮影される第１の画像と、前記閃光手段が発光されていない状態で撮影される第２の画像と、前記閃光手段が発光されていない状態で前記第２の画像の撮影よりも短秒で撮影される第３の画像とを撮影可能な撮影手段と、
   前記第１の画像と前記第２の画像を合成する合成手段と、
   前記第１の画像と前記第３の画像の明るさを比較することにより、前記第１の画像への光照射状態を判定する判定手段と、
   前記判定手段により前記光照射状態が所定の判定基準を満たすと判定された場合に、前記合成手段により合成された画像を出力し、前記判定手段により前記光照射状態が所定の判定基準を満たさないと判定された場合に、前記第１の画像を出力するように制御する制御手段と、を有することを特徴とする撮像装置。
2. 前記判定手段は、前記第１の画像と前記第３の画像の明るさの差分を検出し、当該差分からなるマップを作成し、当該マップに基づいて前記光照射状態の判定を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記判定手段は、前記マップにおいて所定の閾値以上の値を持つ画素が所定の画素数以上ある場合に前記光照射状態が前記所定の判定基準を満たすと判定することを特徴とする請求項２に記載の撮像装置。
4. 前記第１の画像から所定の被写体を検出する手段をさらに有し、
   前記判定手段は、前記所定の被写体が検出された場合で、かつ、前記マップにおいて所定の閾値以上の値を持つ画素が所定の画素数以上ある場合に前記光照射状態が前記所定の判定基準を満たすと判定することを特徴とする請求項２または３に記載の撮像装置。
5. 前記所定の被写体までの距離を検出する手段をさらに有し、
   前記判定手段は、前記所定の被写体までの距離が至近ではない場合で、かつ、前記マップにおいて所定の閾値以上の値を持つ画素が所定の画素数以上ある場合に前記光照射状態が前記所定の判定基準を満たすと判定することを特徴とする請求項４に記載の撮像装置。
6. 前記判定手段は、前記マップを複数のブロックに分割し、当該ブロックごとに重みづけした差分値に基づいて、前記光照射状態の判定を行うことを特徴とする請求項２ないし５のいずれか１項に記載の撮像装置。
7. 前記判定手段は、前記マップを複数のブロックに分割し、当該ブロックごとの差分値の平均値またはヒストグラムに基づいて、前記光照射状態の判定を行うことを特徴とする請求項２ないし５のいずれか１項に撮像装置。
8. 前記制御手段は、前記判定手段により前記光照射状態が前記所定の判定基準を満たさないと判定された場合に警告を行うことを特徴とする請求項１ないし７のいずれか１項に記載の撮像装置。
9. 閃光手段が発光されている状態で撮影される第１の画像と、前記閃光手段が発光されていない状態で撮影される第２の画像と、前記閃光手段が発光されていない状態で前記第２の画像の撮影よりも短秒で撮影される第３の画像とを撮影可能な撮影手段と、
   前記第１の画像と前記第２の画像を合成する合成手段と、
   前記第１の画像と前記第３の画像の明るさを比較することにより、前記第１の画像への光照射状態を判定する判定手段と、
   前記判定手段により前記光照射状態が所定の判定基準を満たすと判定された場合に、前記合成手段により合成された画像を出力するように制御する制御手段と、を有することを特徴とする撮像装置。
10. 撮影手段が、閃光手段が発光されている状態で第１の画像を撮影し、前記閃光手段が発光されていない状態で第２の画像を撮影し、前記閃光手段が発光されていない状態で前記第２の画像の撮影よりも短秒で第３の画像を撮影する撮影ステップと、
    合成手段が、前記第１の画像と前記第２の画像を合成する合成ステップと、
    判定手段が、前記第１の画像と前記第３の画像の明るさを比較することにより、前記第１の画像への光照射状態を判定する判定ステップと、
    表示手段が、画像を表示媒体に表示する表示ステップと、
    記録手段が、画像を記録媒体に記録する記録ステップと、
    制御手段が、前記判定ステップにて前記光照射状態が所定の判定基準を満たすと判定された場合に、前記合成ステップにて生成された画像を出力し、前記判定ステップにて前記光照射状態が所定の判定基準を満たさないと判定された場合に、前記第１の画像を出力するように制御する制御ステップと、を有することを特徴とする撮像装置の制御方法。
11. 撮影手段が、閃光手段が発光されている状態で第１の画像を撮影し、前記閃光手段が発光されていない状態で第２の画像を撮影し、前記閃光手段が発光されていない状態で前記第２の画像の撮影よりも短秒で第３の画像を撮影する撮影ステップと、
    合成手段が、前記第１の画像と前記第２の画像を合成する合成ステップと、
    判定手段が、前記第１の画像と前記第３の画像の明るさを比較することにより、前記第１の画像への光照射状態を判定する判定ステップと、
    制御手段が、前記判定ステップにて前記光照射状態が所定の判定基準を満たすと判定された場合に、前記合成ステップにて合成された画像を出力するように制御する制御ステップと、を有することを特徴とする撮像装置の制御方法。
12. コンピュータを、請求項１ないし９のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラム。
13. コンピュータを、請求項１ないし９のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラムを格納したコンピュータにより読み取り可能な記憶媒体。

Images