JP7770863B2 - 画像処理装置およびその制御方法、撮像装置 - Google Patents

Description

本発明は、画像処理装置およびその制御方法、撮像装置に関する。

従来、撮像装置等の画像処理装置において、露光条件を変えて白飛びが少ない画像と黒潰れが少ない画像とを含む複数枚の画像を撮影し、これらの画像を合成することで幅広いダイナミックレンジを実現する技術が知られている。この技術はハイダイナミックレンジ（ＨＤＲ）合成と呼ばれている。このＨＤＲ合成では、複数枚の画像間に撮影タイミングのズレが生じ、移動被写体の位置に応じて輝度が異なっている違和感のある合成画像が生成されてしまうことから、移動被写体を撮影するには不向きとされる。

一方、単位画素からの出力信号に対して列回路を２つ持ち、列回路内にある増幅部のゲインを別に持ち、ゲインの異なる画像を出力することが可能な撮像素子（Ｄｕａｌ Ｇａｉｎ Ｏｕｔｐｕｔ ＤＧＯ）が知られている。この撮像素子は、一度の露光で異なるゲインがかかった複数枚の画像（例えば、ＨｉｇｈゲインとＬｏｗゲインの画像）を出力することができる。ＤＧＯによる２枚の画像の合成と、時分割露光によって得た２枚の画像の合成とを比較すると、ＤＧＯには位置合わせ処理が不要で移動体の存在に強いというメリットがある。そのためＤＧＯはダイナミックレンジを拡大する画像を得るためのＨＤＲ合成と相性が良い。

ところで、撮像素子は、電荷を蓄積するコンデンサの役割を担うＦＤ（Ｆｌｏａｔｉｎｇ Ｄｉｆｆｕｓｉｏｎ）を有する。このＦＤでは、設定に応じて蓄積可能な電荷容量の大きさが変化する。容量を大きくすると、より多くの光を扱えるため、低感度においては容量を大きくして使用されている。しかし、容量を大きくするとノイズが増えるという弊害がある。

特許文献１は、自然な画像を生成するために、露出を変えて時分割露光で撮像した複数の画像間での移動体領域に対応した領域を、重み付けを行った複数画像によって置き換える技術を開示する。しかし、この技術では、置き換えた移動体領域が残像になって合成されるため、違和感を十分に取り除くことができない。

特許文献２は、異なる露光時間で撮像された画像信号を異なるゲインで増幅した複数の画像を合成することで、広いダイナミックレンジを有するＨＤＲ画像を生成する技術を開示する。この技術によれば、撮影タイミングのズレから発生する移動体の違和感は発生しない。

特開２０１３-２４００３１号公報 特開２０１８－５６９４０号公報

しかしながら、時分割露光によって得られるダイナミックレンジと同等のレンジを得るようにする場合、コンデンサの電荷容量を大きくして使用する必要がある。コンデンサの電荷容量を大きくすると、時分割露光で撮影・合成したＨＤＲ画像と比べてノイズが多くなる。従って、広いダイナミックレンジを実現する上で、移動体による違和感を抑制することは容易でないという問題があった。

本発明は、移動体による違和感を抑制しつつ広いダイナミックレンジを確保することを目的とする。

上記目的を達成するために本発明は、異なる露光量での露光ごとに異なるゲインで増幅した複数の画像を取得する取得手段と、異なる露光量での露光ごとに取得された画像間における移動体の有無を判定する判定手段と、前記判定手段による判定結果に基づいて、取得された前記複数の画像のうち画像合成に用いる画像を選択する選択手段と、を有し、前記取得手段は、第１の露光量での露光によって、第１のゲインで増幅した第１の画像と第２のゲインで増幅した第２の画像とを取得し、前記第１の露光量とは異なる第２の露光量での露光によって、前記第１のゲインで増幅した第３の画像と前記第２のゲインで増幅した第４の画像とを取得し、前記選択手段は、前記第１の画像と前記第３の画像との間で前記移動体が有ると判定された場合は、前記第１の画像および前記第２の画像、または、前記第３の画像および前記第４の画像、のいずれかを選択し、前記第１の画像と前記第３の画像との間で前記移動体が無いと判定された場合は、前記第１の画像および前記第２の画像のうち少なくとも１つと、前記第３の画像および前記第４の画像のうち少なくとも１つとを選択し、前記第２の露光量より前記第１の露光量の方が多く、且つ、前記第１のゲインより前記第２のゲインの方が大きく、且つ、前記第１の画像と前記第３の画像との間で前記移動体が無いと判定された場合は、前記第１の画像、前記第２の画像および前記第３の画像を選択することを特徴とする。

本発明によれば、移動体による違和感を抑制しつつ広いダイナミックレンジを確保することができる。

画像処理装置のブロック図である。 撮像素子のブロック図である。 列ＡＭＰ部のある列を１つ抜き出して示した図である。 画像合成処理を示すフローチャートである。 異なる露光量での露光ごとに、異なるゲインで増幅した複数の画像の例を示す図である。 移動体検出における画像および検出結果を示す図である。 合成比率テーブルを示す図である。 異なる３つの露光量での露光ごとに、異なるゲインで増幅した複数の画像の例を示す図である。 画像間の移動体の検出結果を示す図である。

以下、図面を参照して本発明の実施の形態を説明する。

図１は、本発明の一実施の形態に係る画像処理装置のブロック図である。この画像処理装置は、一例としてデジタル一眼レフカメラ、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置１００である。

光学レンズ１０１は、被写体の光を取り込み、撮像素子１０２に光を結像させる光学素子である。撮像素子１０２は光学レンズ１０１から入射光を受け、それを電気信号へ変換して出力する。撮像素子１０２には、ＣＣＤイメージセンサ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳイメージセンサなどが採用される。

一般に、撮像素子には、アナログ信号を直接出力するものと、内部でＡＤ（アナログデジタル）変換処理を行い、ＬＶＤＳ（Ｌｏｗ ｖｏｌｔａｇｅ ｄｉｆｆｅｒｅｎｔｉａｌ ｓｉｇｎａｌｉｎｇ）等によってデジタルデータで出力するものとがある。撮像素子１０２には後者のタイプが採用される。なお、内部でＡＤ変換を行わない撮像素子を採用した場合は、撮像素子１０２には、アナログデジタル変換を行うアナログフロントエンドも含まれる。

画像取得部１０３は、撮像素子１０２から出力された映像信号をキャプチャし、各処理を行うブロックを有する。画像取得部１０３は、撮像素子１０２の固定パターンノイズの除去や黒レベルクランプ処理などを行う。画像取得部１０３は、映像信号を、記録に使用する画像信号と、撮像素子１０２を制御するための評価用信号とに分離する役割も備える。

画像処理部１０４は、画像取得部１０３から取得された映像信号に対して、ホワイトバランス調整、色補間、フィルタリング、合成処理など、様々な画像処理を行う。また、画像処理部１０４は、画像取得部１０３から取得した映像信号に対して、ＪＰＥＧなどの規格による圧縮処理を行う。信号記録部１０５は、画像処理部１０４から受けた映像信号を記憶装置もしくは記憶媒体（いずれも図示せず）へ記録する。露出制御部１０６は、画像取得部１０３から受けた映像信号から最適露光量を算出し、撮像素子制御部１０７の動作を決定して制御を撮像素子制御部１０７に伝達する。

撮像装置１００は、ＣＰＵ、ＲＯＭ、ＲＡＭを有する（いずれも図示せず）。画像取得部１０３、画像処理部１０４、信号記録部１０５、露出制御部１０６および撮像素子制御部１０７の機能は、これらＣＰＵ、ＲＯＭおよびＲＡＭ等の協働により実現される。

図２は、撮像素子１０２のブロック図である。タイミングパルス制御部２０１は撮像素子１０２の各ブロックに対する動作ＣＬＫ（クロック）を供給したり、各ブロックにタイミング信号を供給したりすることで、撮像素子１０２の動作を制御する。垂直走査回路２０２は、２次元に配置された画素部２０３が生成した画素信号電圧を、１フレーム中に順次読み出すためのタイミング制御を行う。一般的に、映像信号は１フレーム中に上の行から下の行にかけて行単位で順次読み出される。

画素部２０３は、入射光量に応じて光電変換し、電圧として出力する光電変換素子である。画素部２０３は、取り込まれた光を電荷に変換し、ＦＤ（Ｆｌｏａｔｉｎｇ Ｄｉｆｆｕｓｉｏｎ）に電荷を蓄積する。ＦＤの容量の大きさは可変であり、例えば、「大」と「小」とに変更可能である。ＩＳＯ感度に応じて容量を変更することでＳＮを改善することができる。基本的に低ＩＳＯ感度では容量が大に設定され、高ＩＳＯ感度においては容量が小に設定される。

なお、後述する２つのゲインの異なる画像の出力時には、これら２つのゲインで、電荷の蓄積する容量は共通となる。なお、容量の大きさは大小の２段階に限定されるものではなく、３段階以上の設定が可能であってもよい。

列ＡＭＰ２０４は、画素部２０３から読み出された信号を電気的に増幅するために用いられる。列ＡＭＰ２０４で画素信号の信号レベルを増幅することにより、それ以降の列ＡＤＣ２０５から出るノイズに対する画素信号レベルを相対的に大きくし、等価的にＳＮを改善する。

また、タイミングパルス制御部２０１は、列ＡＭＰ２０４のゲインを変更することができる。撮像素子１０２は、ＨＤＲ画像生成用として、列ＡＭＰ２０４に入力メモリを２つ持ち、列ＡＭＰ２０４のゲイン（列ＡＭＰゲイン）を変更して２種類のゲインを出力することが可能である。入力メモリを２つ持つことで、ＦＤから読み出されたある時刻の信号に対して２つのゲインをかけて出力できる。そのため、データ量は増えるものの、同時性を持ち且つゲインの異なる２つの画像を得ることができる。このように、撮像素子１０２は、１度の露光により異なるゲインで増幅した複数の画像を出力するセンサの一例である。なお、本実施の形態では、異なるゲインの数を２つとし、２つの画像が出力されるとしたが、ゲインの数、すなわち１度の露光での画像の同時出力数は２つに限定されるものではない。

列ＡＤＣ２０５は、列ＡＭＰ２０４から出力された信号をアナログデジタル変換する。デジタル化された信号は水平転送回路２０６により順次読み出される。水平転送回路２０６の出力は信号処理回路２０７に入力される。信号処理回路２０７はデジタル的に信号処理を行う回路である。信号処理回路２０７は、デジタル処理で一定量のオフセット値を加えるほかに、シフト演算や乗算を行うことで、ゲイン演算を簡易に行うことができる。なお、信号処理回路２０７は、画素部２０３に、意図的に遮光した画素領域を持つことで、これを利用したデジタルの黒レベルクランプ動作を行ってもよい。

信号処理回路２０７の出力は、外部出力回路２０８に渡される。外部出力回路２０８はシリアライザ機能を有し、信号処理回路２０７からの多ビットの入力パラレル信号をシリアル信号に変換する。また、外部出力回路２０８はこのシリアル信号を、例えばＬＶＤＳ信号等に変換し、外部デバイスとの画像情報の受け渡しのために出力する。

次に、ＨＤＲ画像生成時の撮像素子１０２の動作について説明する。前述したように、撮像素子１０２は、ＨＤＲ画像を生成するために列ＡＭＰゲインを変更して出力することができる。

図３は、列ＡＭＰ２０４のある列を１つ抜き出して示した図である。列ＡＭＰ２０４は、スイッチ素子３０１、３０２、３０７、入力容量３０３、３０４、オペアンプ３０５、帰還容量３０６、３０８を有する。

オペアンプ３０５には、入力容量と帰還容量が接続されている。すなわち、オペアンプ３０５の＋端子には、基準電圧が印加され、マイナス（－）端子には、帰還容量３０６、３０８が接続されている。入力容量３０３、３０４には、画素部２０３から読み出された信号が、スイッチ素子３０１、３０２を介して入力される。スイッチ素子３０７によって帰還容量３０８の接続が制御される。

列ＡＭＰ２０４は容量を用いているため、アンプの増幅率は入力容量／帰還容量となる。列ＡＭＰ２０４は入力容量を２つ持っているため、異なったゲインをかけた画像を２枚出力することができる。例えば、スイッチ素子３０１を接続し、スイッチ素子３０２、３０７を切り離して、入力容量３０３と帰還容量３０６とのゲインをかけて列ＡＤＣ２０５へ出力することができる。また、スイッチ素子３０１を切り離し、スイッチ素子３０２、３０７を接続して、入力容量３０４と帰還容量３０６と帰還容量３０８とのゲインをかけて出力することができる。

図４は、画像合成処理を示すフローチャートである。この処理は、ＨＤＲ合成の対象となる画像を選択してＨＤＲ合成する処理である。この処理は、撮像装置１００が有する上述したＣＰＵが、ＲＯＭに格納されたプログラムをＲＡＭに展開して実行することにより実現される。この処理は、ＨＤＲ合成の開始が指示されると開始される。ＨＤＲ合成の開始は、不図示の操作部をユーザが操作することにより指示される。

図５は、異なる露光量（露光時間）での露光ごとに、互いに異なるゲインで増幅した複数の画像の例を示す図である。画像５０１（第１の画像）は、露出制御部１０６によって適露光となるように算出された露光量（第１の露光量）で撮像された適正画像である。画像５０２（第２の画像）は、画像５０１を読み出した（増幅した）際のゲイン（第１のゲイン）に対して高いゲイン（第２のゲイン）によって読み出されたオーバー画像である。画像５０１と画像５０２とで露光量は同じである。なお、異なる露光量によって撮像する回数は３回以上であってもよい。

画像５０３（第３の画像）は、画像５０１を取得した際の露光量よりも少ない（露光時間が短い）露光量（第２の露光量）によって撮像されたアンダー露光画像である。画像５０４（第４の画像）は、画像５０３に対して画像５０１の輝度レベルと同等になるように高いゲインによって読み出された画像である。画像５０３、５０４の読み出しのゲインは、画像５０１、５０２と同じで、それぞれ第１、第２のゲインである。その結果、画像５０４の輝度レベルは適正画像である画像５０１と同等となる。

ステップＳ４０１では、撮像素子制御部１０７は、露出制御部１０６によって算出された第１の露光量で１度の露光により撮像する。これにより、取得手段としての画像取得部１０３は、撮像素子１０２から異なるゲインのかかった２つの画像である画像５０１、５０２（図５）を取得する。

ステップＳ４０２では、撮像素子制御部１０７は、露出制御部１０６によってステップＳ４０１で用いた露光量より少ない第２の露光量で１度の露光により撮像する。これにより、取得手段としての画像取得部１０３は、撮像素子１０２から異なるゲインのかかった２つの画像である画像５０３、５０４（図５）を取得する。

ステップＳ４０３では、画像処理部１０４は、ステップＳ４０１、Ｓ４０２で取得された画像を現像する。ステップＳ４０４では、画像処理部１０４は、露光量を異ならせて撮像・現像処理を行った画像間での位置ずれ量を算出する。位置ずれ量の算出方法の一例を以下に述べる。

まず、画像処理部１０４は、基準画像（例えば、画像５０１）に、複数のブロックを設定する。画像処理部１０４は、各々のブロックのサイズが同じになるように設定することが好ましい。次に、画像処理部１０４は、位置ずれを補正する対象画像（例えば、画像５０３）に、基準画像のそれぞれのブロックと同じ位置に探索範囲を設定する。

次に、画像処理部１０４は、対象画像のそれぞれの探索範囲に、基準画像のブロックとの輝度の差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、以下、ＳＡＤという）が最小となる対応点を算出する。

画像処理部１０４は、基準画像のブロックの中心と前述した対応点から、位置ずれをベクトルとして算出する。画像処理部１０４は、前述する対応点の算出において、ＳＡＤのほかに、差分二乗和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＳＤをいう）などを用いてもよい。あるいは、画像処理部１０４は、正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ、以下ＮＣＣをいう）などを用いてもよい。

全てのブロックで動きベクトルを算出した後、画像処理部１０４は、式（１）によりアフィン係数を算出する。アフィン係数は、線形変換と並行移動を組み合わせたアフィン変換に用いる行列である。

式（１）において、（ｘ，ｙ）は補正前画像の座標を示し、（ｘ’，ｙ’）は補正後画像の座標を示す。行列Ａはアフィン係数を示し、各ブロックから求めた動きベクトルを用いて算出される。なお、行列Ａのａ，ｂ，ｄ，ｅは回転移動パラメータを示し、ｃは水平方向の移動量、ｆは垂直方向の移動量を示す。

ステップＳ４０５では、画像処理部１０４は、ステップＳ４０４で算出したアフィン係数に基づいてアフィン変換を行い、位置ずれ量分だけ対象画像の画像位置を補正する。

ステップＳ４０６では、画像処理部１０４は、基準画像と、画像位置を補正した後の比較対象画像との間における移動体検出を行う。その際、一例として、第１の露光量・第１のゲインで取得した画像を画像とし、第２の露光量・第２のゲインで取得像した画像を位置補正したものを比較対象画像としてもよい。

図６（ａ）～（ｅ）は、移動体検出における画像および検出結果を示す図である。図６（ａ）に示す基準画像６０１は、ステップＳ４０１で取得した適正画像（例えば、画像５０１）である。図６（ｂ）に示す補正済み画像６０２は、基準画像６０１に対して移動体が存在する画像に対して画像位置を補正した比較対象画像である。補正済み画像６０２では、基準画像６０１に対して少しだけ右側に移動した物体が存在している。図６（ｃ）に示す検出結果６０３は、基準画像６０１と補正済み画像６０２との間で移動体検出を行った結果を示す図である。

図６（ｄ）に示す補正済み画像６０４は、基準画像６０１に対して移動体が存在しない画像に対して画像位置を補正した比較対象画像である。図６（ｅ）に示す検出結果６０５は、基準画像６０１と補正済み画像６０４との間で移動体検出を行った結果を示す図である。

画像処理部１０４は、基準画像と比較対象画像とから動体領域を検出する。この動体領域を検出する方法は問わないが、例えば、次のような２つの画像間の差分を取る方法が考えられる。すなわち、画像処理部１０４は、基準画像の画像信号と比較対象画像の画像信号との差分に基づいて移動体の有無を判定する。差分Ｄｉｆｆは色および輝度信号を用いて式２で算出される。

ここで、Ｙは輝度信号、Ｕ、Ｖは色信号を表わす。従って差分Ｄｉｆｆは色差を意味する。この方法によって検出結果６０３、６０５が得られる。

ステップＳ４０７では、判定手段としての画像処理部１０４は、ステップＳ４０６で実行された移動体の検出結果から、基準画像と比較対象画像との間における移動体の有無を判定する。例えば、基準画像６０１と補正済み画像６０２との間では、検出結果６０３から、移動体が有ると判定される。一方、基準画像６０１と補正済み画像６０４との間では、検出結果６０５から、移動体が無いと判定される。画像処理部１０４は、基準画像と比較対象画像との間で移動体が有ると判定した場合は、ステップＳ４０８に進み、移動体が無いと判定した場合は、ステップＳ４０９に進む。

なお、移動体が存在しているかは移動体検出結果によって決められるが、その判定に閾値を用いてもよい。すなわち、画像処理部１０４は、基準画像の色信号と比較対象画像の色信号との差分Ｄｉｆｆが閾値を超える場合に、移動体が有ると判定してもよい。

ステップＳ４０８では、選択手段としての画像処理部１０４は、１度の露光で異なるゲインで読み出した２つの画像を、ＨＤＲ合成に用いる画像として選択する。ここでいう２つの画像は、例えば、ステップＳ４０１で取得された画像５０１、５０２であるが、ステップＳ４０２で取得された画像５０３、５０４であってもよい。つまり、画像処理部１０４は、適露光で取得した画像５０１および画像５０２、または、アンダー露光で取得した画像５０３および画像５０４、のいずれかを選択する。いずれを選択するかは、次に説明するように合成比率（合成割合）によって決定してもよい。

図７は、合成比率テーブルを示す図である。図７の横軸は基準輝度を示し、縦軸は合成比率を示している。本実施の形態では、基準画像上の輝度分布から合成領域の適用割合を決定する手法を採用する。画像処理部１０４は、合成比率テーブルに基づいて、基準画像の輝度値から各画像の合成比率を設定する。例えば、画像５０１を基準画像とし、その輝度値がＹ０であるとする。輝度値Ｙ０において、合成比率が多いのは適画像であるので、画像処理部１０４は、画像５０１および画像５０２を選択する。なお、画像５０１～５０４のいずれを基準画像としてもよい。

このように、移動体が有ると判定された場合は、基準画像の輝度レベルに基づいて決定される合成比率に応じて、どの露光量で取得した画像をＨＤＲ合成に用いる画像として選択するかが決定される。これにより、シーンによってＨＤＲ合成される割合の多い画像が選択される。なお、輝度分布の取得方法は基準画像から得られたものに限定されず、撮影前に取得したヒストグラムから取得されてもよい。

ステップＳ４０９では、選択手段としての画像処理部１０４は、異なる露光量で撮像した画像を、ＨＤＲ合成に用いる画像として選択する。画像処理部１０４は、適露光で取得した画像５０１、５０２の少なくとも１つとアンダー露光で取得した画像５０３、５０４の少なく１つを選択する。なお、画像５０１と画像５０４とは、輝度レベルが同等であるので、これらのいずれか一方を選択から除いてもよい。例えば、画像処理部１０４は、ステップＳ４０１で取得した画像５０１、５０２およびステップＳ４０２で取得した画像５０３を選択してもよい。なお、輝度レベルが同等の画像の一方を選択から除外する際には、露光および読み出し時のゲイン配分によって、ノイズが少ない方など、合成対象として好適となる方を選択する画像に含めてもよい。

このように、移動体の有無の判定結果に基づいて、撮像素子１０２から出力された複数の画像のうち画像合成に用いる画像が選択される。

ステップＳ４１０では、合成手段としての画像処理部１０４は、ステップＳ４０８またはステップＳ４０９で選択された画像によってＨＤＲ画像合成を行い、図４に示す処理を終了する。このように、ＨＤＲ合成の対象とする画像の選択を、移動体による不自然な描写が起きない画像に切り替えることで、移動体による不自然な描写が生じないようにすることができる。

次に、図８、図９を用いて、露光量の種類が３以上の場合を考える。

図８は、異なる３つの露光量での露光ごとに、異なるゲインで増幅した複数の画像の例を示す図である。図８では、適露光（第１の露光量）、アンダー露光（第２の露光量）、オーバー露光（第３の露光量）の３種類の露光量で撮影し、それぞれの露光において、Ｌｏｗゲイン（第１のゲイン）とＨｉｇｈゲイン（第２のゲイン）で２枚の画像を読みだした例を示している。

画像７０１（第１の画像）は、適露光の露光量で撮像し、Ｌｏｗゲインで読み出した適正画像である。画像７０２（第２の画像）は、適露光の露光量で撮像し、Ｈｉｇｈゲインで読み出した画像である。画像７０３（第３の画像）は、アンダー露光で撮像し、Ｌｏｗゲインで読み出した画像である。画像７０４（第４の画像）は、アンダー露光で撮像し、Ｈｉｇｈゲインで読み出した画像である。

画像７０５（第５の画像）は、オーバー露光で撮像し、Ｌｏｗゲインで読み出した画像である。画像７０６（第６の画像）は、オーバー露光で撮像し、Ｈｉｇｈゲインで読み出した画像である。画像７０１と画像７０４とでは輝度レベルが同等となる。画像７０２と画像７０５とでは輝度レベルが同等となる。

異なるゲインによって読み出された２枚の画像において、高いゲインによって読み出された画像にはアンプ増幅によってノイズが増加する可能性がある。従って、移動体による描写の不自然さが起きないシーンにおいては、Ｈｉｇｈゲインによって読み出された画像ではなく、秒時を伸ばすことによって露光量を増やしたオーバー露光画像を選択することが望ましい。

ＨＤＲ合成によってダイナミックレンジの広い画像を生成する場合、適正露出で撮影された画像の黒潰れ領域を表現するためにオーバー画像を使用し、白飛び領域を表現するためにアンダー画像を使用する方法がある。しかし、異なるゲインによって読み出された２枚の画像によるＨＤＲ合成では、階調を補間できない領域が出てきてしまう。例えば画像７０１と画像７０２とのＨＤＲ合成では、合成対象となる画像にアンダー画像が含まれないことから、白飛び領域を適切に表現できない。一方、画像７０３と画像７０４とのＨＤＲ合成では、合成対象となる画像にオーバー画像が含まれないことから、黒潰れ領域を適切に表現できない。従って、これらを総合的に考慮して合成に用いる画像を選択するのが望ましい。

図９（ａ）～（ｃ）は、画像間の移動体の検出結果を示す図である。図９で、移動体の検出結果と、ＨＤＲ合成に使用する画像の選択との関係を説明する。図８で例示した画像７０１～７０６相当の複数の画像が取得された場合を例にとる。

なお、図９（ａ）～（ｃ）では、画像７０１～７０６のうちＬｏｗゲインで読み出した画像７０１、７０３、７０５に相当する画像だけが示されている。また、適露光画像（７０１）とアンダー露光画像（７０３Ａ、７０３Ｂ）との間、および、アンダー露光画像とオーバー露光画像（７０５Ａ、７０５Ｂ）との間における移動体の検出結果（９１～９６）が示されている。検出結果９１～９６は、図６に示した検出結果６０３、６０５と同様の態様で示されている。

画像７０３に相当する画像のうち画像７０３Ａと画像７０３Ｂとでは、露光量およびゲインの条件は同じであるが物体の位置が異なっている。画像７０５に相当する画像のうち画像７０５Ａと画像７０５Ｂとでは、露光量およびゲインの条件は同じであるが物体の位置が異なっている。

図９（ａ）に示す例では、適露光の画像７０１とアンダー露光の画像７０３Ａとの間に移動体が無いと判定され（検出結果９１）、アンダー露光の画像７０３Ａとオーバー露光の画像７０５Ａとの間に移動体が有ると判定されている（検出結果９２）。

画像７０３Ａ、７０５Ａ間で移動体が有ると判定されたので、仮にアンダー露光の画像（７０３Ａ、７０４）とオーバー露光の画像（７０５Ａ、７０６）とをＨＤＲ合成用に選択すると、移動体による不自然な描写になるおそれがある。一方、画像７０１、７０３Ａ間では移動体が無いと判定されたので、仮に、適露光の画像（７０１、７０２）とアンダー露光の画像（７０３Ａ、７０４）とを選択しても不自然な描写とはならない。そこで、画像処理部１０４は、ＨＤＲ合成用に画像７０１、７０２、７０３Ａを選択する。なお、画像処理部１０４は、画像７０１、７０２、７０３Ａ、７０４を選択してもよい。

図９（ｂ）に示す例では、適露光の画像７０１とアンダー露光の画像７０３Ｂとの間に移動体が有ると判定され（検出結果９３）、アンダー露光の画像７０３Ｂとオーバー露光の画像７０５Ａとの間に移動体が無いと判定されている（検出結果９４）。

画像７０１、７０３Ｂ間で移動体が有ると判定されたので、仮に適露光の画像（７０１、７０２）とアンダー露光の画像（７０３Ｂ、７０４）とをＨＤＲ合成用に選択すると、移動体による不自然な描写になるおそれがある。一方、画像７０３Ｂ、７０５Ａ間では移動体が無いと判定されたので、仮に、アンダー露光の画像（７０３Ｂ、７０４）とオーバー露光の画像（７０５Ａ、７０６）とを選択しても不自然な描写とはならない。

そこで、画像処理部１０４は、ＨＤＲ合成用に画像７０３Ｂ、７０４、７０５Ａを選択する。ここで、画像７０６まで加えると、アンダー側とオーバー側とでレンジ拡大が不均衡になるので、選択から除かれている。ただし、画像７０６を選択に加えてもよい。なお、図９（ｂ）の例において、アンダー露光を第１の露光量とみなし、オーバー露光を第２の露光量とみなした場合、画像７０３Ｂが第１の画像、画像７０４が第２の画像、画像７０５Ａが第３の画像、画像７０６が第４の画像となる。

図９（ｃ）に示す例では、適露光の画像７０１とアンダー露光の画像７０３Ａとの間に移動体が無いと判定され（検出結果９５）、アンダー露光の画像７０３Ａとオーバー露光の画像７０５Ｂとの間に移動体が無いと判定されている（検出結果９６）。

この場合、仮に適露光の画像（７０１、７０２）とアンダー露光の画像（７０３Ａ、７０４）とオーバー露光の画像（７０５Ｂ、７０６）とを選択しても不自然な描写とはならない。ところが、アンプ増幅によるノイズ増加はなるべく避けたい。そこで画像処理部１０４は、画像７０２、７０４、７０６を選択せず、画像７０１、７０３Ａ、７０５Ｂを選択する。これによりノイズ低減が図られる。なお、画像７０１～７０６のすべてを選択してもよい。

このように、露光を異ならせて適正画像、アンダー画像、オーバー画像を取得してダイナミックレンジの広い合成を行う場合においても移動体の検出結果から合成に使用する画像を適切に選択することができる。

本実施の形態によれば、異なる露光量での露光ごとに取得された画像間における移動体の有無の判定結果に基づいて、画像合成に用いる画像が選択される。まず、第１の露光量での露光によって、第１のゲインで増幅した第１の画像と第２のゲインで増幅した第２の画像とが取得され、第２の露光量での露光によって、第１のゲインで増幅した第３の画像と第２のゲインで増幅した第４の画像とが取得される。そして、第１、第３の画像間で移動体が有ると判定された場合は、第１、第２の画像、または、第３、第４の画像、のいずれかが選択される。従って、移動体による違和感が抑制される。一方、第１、第３の画像間で移動体が無いと判定された場合は、第１、第２の画像のうち少なくとも１つと、第３、第４の画像のうち少なくとも１つとが選択される。従って、広いダイナミックレンジが実現される。よって、移動体による違和感を抑制しつつ広いダイナミックレンジを確保することができる。

特に、同じ露光量で異なるゲインで取得した画像を選択するか、異なる露光量で取得した画像を選択するかを、自動的に切り替えるので、ユーザに意識させることなく、違和感が少なくダイナミックレンジの広い画像を提供することができる。

また、３つ以上の露光量で画像を取得した場合に、移動体が有ると判定されても、アンダー側とオーバー側とでレンジ拡大が均衡するように画像を選択することが可能である（図９（ｂ））。

また、３つ以上の露光量で画像を取得した場合でも、移動体が無いと判定されれば、ノイズが低くなる画像を選択することが可能である（図９（ｃ））。

なお、本発明は撮像素子を内蔵した携帯機器や、画像を撮像することができるネットワークカメラなどにも適用可能である。なお、本発明が適用される撮像装置は、画像処理装置と呼称されてもよい。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

（他の実施形態）
本発明は、上記した実施形態の１以上の機能を実現するプログラムをネットワークや非一過性の記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。以上のプログラムおよび以上のプログラムを記憶する記憶媒体は、本発明を構成する。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１０２ 撮像素子
１０３ 画像取得部
１０４ 画像処理部
１０７ 撮像素子制御部

Claims (12)

1. 異なる露光量での露光ごとに異なるゲインで増幅した複数の画像を取得する取得手段と、
   異なる露光量での露光ごとに取得された画像間における移動体の有無を判定する判定手段と、
   前記判定手段による判定結果に基づいて、取得された前記複数の画像のうち画像合成に用いる画像を選択する選択手段と、を有し、
   前記取得手段は、第１の露光量での露光によって、第１のゲインで増幅した第１の画像と第２のゲインで増幅した第２の画像とを取得し、前記第１の露光量とは異なる第２の露光量での露光によって、前記第１のゲインで増幅した第３の画像と前記第２のゲインで増幅した第４の画像とを取得し、
   前記選択手段は、
   前記第１の画像と前記第３の画像との間で前記移動体が有ると判定された場合は、前記第１の画像および前記第２の画像、または、前記第３の画像および前記第４の画像、のいずれかを選択し、前記第１の画像と前記第３の画像との間で前記移動体が無いと判定された場合は、前記第１の画像および前記第２の画像のうち少なくとも１つと、前記第３の画像および前記第４の画像のうち少なくとも１つとを選択し、
   前記第２の露光量より前記第１の露光量の方が多く、且つ、前記第１のゲインより前記第２のゲインの方が大きく、且つ、前記第１の画像と前記第３の画像との間で前記移動体が無いと判定された場合は、前記第１の画像、前記第２の画像および前記第３の画像を選択することを特徴とする画像処理装置。
2. 異なる露光量での露光ごとに異なるゲインで増幅した複数の画像を取得する取得手段と、
   異なる露光量での露光ごとに取得された画像間における移動体の有無を判定する判定手段と、
   前記判定手段による判定結果に基づいて、取得された前記複数の画像のうち画像合成に用いる画像を選択する選択手段と、を有し、
   前記取得手段は、第１の露光量での露光によって、第１のゲインで増幅した第１の画像と第２のゲインで増幅した第２の画像とを取得し、前記第１の露光量とは異なる第２の露光量での露光によって、前記第１のゲインで増幅した第３の画像と前記第２のゲインで増幅した第４の画像とを取得し、
   前記選択手段は、
   前記第１の画像と前記第３の画像との間で前記移動体が有ると判定された場合は、前記第１の画像および前記第２の画像、または、前記第３の画像および前記第４の画像、のいずれかを選択し、前記第１の画像と前記第３の画像との間で前記移動体が無いと判定された場合は、前記第１の画像および前記第２の画像のうち少なくとも１つと、前記第３の画像および前記第４の画像のうち少なくとも１つとを選択し、
   前記第１の露光量より前記第２の露光量の方が多く、且つ、前記第１のゲインより前記第２のゲインの方が大きく、且つ、前記第１の画像と前記第３の画像との間で前記移動体が無いと判定された場合は、前記第１の画像、前記第２の画像および前記第３の画像を選択することを特徴とする画像処理装置。
3. 異なる露光量での露光ごとに異なるゲインで増幅した複数の画像を取得する取得手段と、
   異なる露光量での露光ごとに取得された画像間における移動体の有無を判定する判定手段と、
   前記判定手段による判定結果に基づいて、取得された前記複数の画像のうち画像合成に用いる画像を選択する選択手段と、を有し、
   前記取得手段は、第１の露光量での露光によって、第１のゲインで増幅した第１の画像と第２のゲインで増幅した第２の画像とを取得し、前記第１の露光量とは異なる第２の露光量での露光によって、前記第１のゲインで増幅した第３の画像と前記第２のゲインで増幅した第４の画像とを取得し、前記第１、第２の露光量とは異なる第３の露光量での露光によって、前記第１のゲインで増幅した第５の画像と前記第２のゲインで増幅した第６の画像とを取得し、
   前記選択手段は、
   前記第１の画像と前記第３の画像との間で前記移動体が有ると判定された場合は、前記第１の画像および前記第２の画像、または、前記第３の画像および前記第４の画像、のいずれかを選択し、前記第１の画像と前記第３の画像との間で前記移動体が無いと判定された場合は、前記第１の画像および前記第２の画像のうち少なくとも１つと、前記第３の画像および前記第４の画像のうち少なくとも１つとを選択し、
   前記第２の露光量より前記第１の露光量の方が多く、且つ、前記第１の露光量より前記第３の露光量の方が多く、且つ、前記第１のゲインより前記第２のゲインの方が大きく、且つ、前記第１の画像と前記第２の画像との間で前記移動体が無いと判定され、且つ、前記第２の画像と前記第３の画像との間で前記移動体が無いと判定された場合は、前記第１の画像、前記第３の画像および前記第５の画像を選択することを特徴とする画像処理装置。
4. 前記選択手段は、前記第１の画像と前記第３の画像との間で前記移動体が有ると判定された場合は、前記第１、第２、第３、第４の画像のうち１つの画像の輝度レベルに基づいて決定される合成比率に応じて、前記第１の画像および前記第２の画像、または、前記第３の画像および前記第４の画像、のいずれを選択するかを決定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記判定手段は、取得された前記複数の画像のうち基準画像の画像信号と比較対象画像の画像信号との差分に基づいて、前記基準画像と前記比較対象画像との間における前記移動体の有無を判定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記判定手段は、前記基準画像の色信号と前記比較対象画像の色信号との差分が閾値を超える場合に、前記基準画像と前記比較対象画像との間で前記移動体が有ると判定することを特徴とする請求項５に記載の画像処理装置。
7. 前記取得手段は、１度の露光により異なるゲインで増幅した画像を出力するセンサから、前記複数の画像を取得することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記選択手段により選択された画像を合成する合成手段を有することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 異なる露光量での露光ごとに異なるゲインで増幅した複数の画像を取得する取得ステップと、
   異なる露光量での露光ごとに取得された画像間における移動体の有無を判定する判定ステップと、
   前記判定ステップによる判定結果に基づいて、取得された前記複数の画像のうち画像合成に用いる画像を選択する選択ステップと、を有し、
   前記取得ステップは、第１の露光量での露光によって、第１のゲインで増幅した第１の画像と第２のゲインで増幅した第２の画像とを取得し、前記第１の露光量とは異なる第２の露光量での露光によって、前記第１のゲインで増幅した第３の画像と前記第２のゲインで増幅した第４の画像とを取得し、
   前記選択ステップは、
   前記第１の画像と前記第３の画像との間で前記移動体が有ると判定された場合は、前記第１の画像および前記第２の画像、または、前記第３の画像および前記第４の画像、のいずれかを選択し、前記第１の画像と前記第３の画像との間で前記移動体が無いと判定された場合は、前記第１の画像および前記第２の画像のうち少なくとも１つと、前記第３の画像および前記第４の画像のうち少なくとも１つとを選択し、
   前記第２の露光量より前記第１の露光量の方が多く、且つ、前記第１のゲインより前記第２のゲインの方が大きく、且つ、前記第１の画像と前記第３の画像との間で前記移動体が無いと判定された場合は、前記第１の画像、前記第２の画像および前記第３の画像を選択することを特徴とする画像処理装置の制御方法。
10. 異なる露光量での露光ごとに異なるゲインで増幅した複数の画像を取得する取得ステップと、
    異なる露光量での露光ごとに取得された画像間における移動体の有無を判定する判定ステップと、
    前記判定ステップによる判定結果に基づいて、取得された前記複数の画像のうち画像合成に用いる画像を選択する選択ステップと、を有し、
    前記取得ステップは、第１の露光量での露光によって、第１のゲインで増幅した第１の画像と第２のゲインで増幅した第２の画像とを取得し、前記第１の露光量とは異なる第２の露光量での露光によって、前記第１のゲインで増幅した第３の画像と前記第２のゲインで増幅した第４の画像とを取得し、
    前記選択ステップは、
    前記第１の画像と前記第３の画像との間で前記移動体が有ると判定された場合は、前記第１の画像および前記第２の画像、または、前記第３の画像および前記第４の画像、のいずれかを選択し、前記第１の画像と前記第３の画像との間で前記移動体が無いと判定された場合は、前記第１の画像および前記第２の画像のうち少なくとも１つと、前記第３の画像および前記第４の画像のうち少なくとも１つとを選択し、
    前記第１の露光量より前記第２の露光量の方が多く、且つ、前記第１のゲインより前記第２のゲインの方が大きく、且つ、前記第１の画像と前記第３の画像との間で前記移動体が無いと判定された場合は、前記第１の画像、前記第２の画像および前記第３の画像を選択することを特徴とする画像処理装置の制御方法。
11. 異なる露光量での露光ごとに異なるゲインで増幅した複数の画像を取得する取得ステップと、
    異なる露光量での露光ごとに取得された画像間における移動体の有無を判定する判定ステップと、
    前記判定ステップによる判定結果に基づいて、取得された前記複数の画像のうち画像合成に用いる画像を選択する選択ステップと、を有し、
    前記取得ステップは、第１の露光量での露光によって、第１のゲインで増幅した第１の画像と第２のゲインで増幅した第２の画像とを取得し、前記第１の露光量とは異なる第２の露光量での露光によって、前記第１のゲインで増幅した第３の画像と前記第２のゲインで増幅した第４の画像とを取得し、前記第１、第２の露光量とは異なる第３の露光量での露光によって、前記第１のゲインで増幅した第５の画像と前記第２のゲインで増幅した第６の画像とを取得し、
    前記選択ステップは、
    前記第１の画像と前記第３の画像との間で前記移動体が有ると判定された場合は、前記第１の画像および前記第２の画像、または、前記第３の画像および前記第４の画像、のいずれかを選択し、前記第１の画像と前記第３の画像との間で前記移動体が無いと判定された場合は、前記第１の画像および前記第２の画像のうち少なくとも１つと、前記第３の画像および前記第４の画像のうち少なくとも１つとを選択し、
    前記第２の露光量より前記第１の露光量の方が多く、且つ、前記第１の露光量より前記第３の露光量の方が多く、且つ、前記第１のゲインより前記第２のゲインの方が大きく、且つ、前記第１の画像と前記第２の画像との間で前記移動体が無いと判定され、且つ、前記第２の画像と前記第３の画像との間で前記移動体が無いと判定された場合は、前記第１の画像、前記第３の画像および前記第５の画像を選択することを特徴とする画像処理装置の制御方法。
12. 請求項１乃至８のいずれか１項に記載の画像処理装置と、
    １度の露光により異なるゲインで増幅した画像を出力するセンサと、を有することを特徴とする撮像装置。