JP6563646B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置および画像処理方法に関する。

センサが撮影可能なダイナミックレンジを従来よりも拡張して、人間の目に近い、あるいは人間の目以上のダイナミックレンジを表現できるＷＤＲ（ワイドダイナミックレンジ）もしくはＨＤＲ（ハイダイナミックレンジ）という撮影機能が利用される機会が増えてきている。かかる撮影機能は、逆光の構図など明暗比が非常に大きいシーンでは特に大きな効果を奏し得る。

近年においては、合成可能なダイナミックレンジがますます増大してきており、より多くのシーンにおいて視認性が向上するようになってきたことは喜ばしいことである。しかし一方で、合成後の信号のスケールが飛躍的に拡大するため、信号のビット数が増加することによる回路規模の増大、それに伴うコスト増や消費電力の増加などが問題になっている。ＷＤＲ合成処理の回路規模を合理化する手法として、次のような技術が開示されている。

例えば、各撮影画像の明るさに応じてゲイン（Ｇａｉｎ）を変えて合成することによって合成信号のビット数を小さく抑えることを可能とする技術が開示されている（例えば、特許文献１参照）。かかる技術においては、画素値が大きくなるに従って徐々に小さいゲインが適用されるため、画面全体に一律に露光比をかける従来例と比べて、画像の境界部分も滑らかに合成しつつ合成後の画素値の最大値を大幅に抑制することが可能である。また、かかる技術においては、ベイヤー信号に対しても、２×２画素中のＲＧＢの代表値を抽出してゲインを決定し、代表値を抽出した領域にゲインを適用することで、色バランスを維持しながら処理を行うことが可能である。

また、多ビット信号を仮数と指数で表現することで、少ないビット数で広いレンジのデータを保持することを可能とする技術が開示されている（例えば、特許文献２参照）。一旦露光比を用いて信号の合成を行った後に、かかる技術を使えば、信号のビット数を減らすことができ、合成後の処理の負荷が軽くなる。

また、異なる露光の画像群から１つの画像を参照して、その画素値によっていずれの画像の画素値を選択して合成するかを決定する技術も開示されている（例えば、特許文献３参照）。

特開２００４−２６６３４７号公報 特開２００８−２３６７２６公報 特開２０１２−１５１７３２公報

しかしながら、特許文献１に記載された技術においては、ベイヤー信号にノイズが含まれている場合、２×２画素の領域単位でノイズが強調されてしまう点が問題となる。また、２×２画素単位での処理がなされるため、ハードウェアで実現する場合はゲイン算出の際に１ラインのメモリが必要となる。それは露光の異なる信号の数に応じた分が必要となり、例えば、３種類の信号を合成するなら３ラインが必要である。さらに、前述したノイズ強調問題を低減しようとすれば、２×２よりも広い範囲を参照する場合があり、メモリ量がますます増加する。これらのことは、回路規模に対する制約が厳しい場合には、問題となる。

また、特許文献２に記載された技術においては、画素値が仮数の範囲を超えるとデータが粗くなり画像の滑らかさが損なわれる点が問題である。例えば、仮数を８ビット、１０を基数として指数を４ビットした場合、画素値が２５６以上になると１０刻みに変化し、画素値は２５６０以上になると１００刻みに変化し、画素値が２５６００以上では１０００刻みに変化するため、精度が粗くなってしまう。

さらに、特許文献３に記載された技術においては、ダイナミックレンジが非常に大きい場合、１つの撮影画像から全ての画像の露光状態を判定することは困難であるため、合成画像の品質が低下する可能性が高いことが難点である。

そこで、本発明は、合成画像の滑らかさの低下を抑制するとともに回路規模増加を抑制しながら合成画像を生成することが可能な技術を提供する。

本発明のある実施形態によれば、複数の画像のうち長露光画像以外の画像である１以上の短露光画像それぞれを各ゲイン値に基づいて増幅する増幅部と、前記長露光画像と増幅された前記短露光画像とを合成する合成部と、前記短露光画像に対する前記長露光画像の露光比よりも小さい所定の値を前記ゲイン値として設定するゲイン設定部と、を備える、画像処理装置が提供される。かかる構成によれば、合成画像のビット数を抑えることによって回路規模増加を抑制しながら合成画像を生成することが可能となる。

前記ゲイン設定部は、前記１以上の短露光画像の中に前記露光比が閾値を下回る短露光画像が存在する場合、当該短露光画像のゲイン値として前記露光比を設定し、前記１以上の短露光画像の中に前記露光比が閾値を上回る短露光画像が存在する場合、当該短露光画像のゲイン値を前記閾値にクリップしてもよい。かかる構成によれば、合成画像がシステムのビット上限に達しない場合にゲイン値をクリップしないことによって、合成画像の滑らかさの低下を抑制することが可能となる。

前記画像処理装置は、前記長露光画像および前記１以上の短露光画像のいずれかを使用画像として画素ごとに選択する使用画像選択部を備え、前記合成部は、前記使用画像を画素ごとに合成してもよい。かかる構成によれば、使用画像選択部によって使用画像が選択される。

前記画像処理装置は、動き領域を検出する動き検出部を備え、前記ゲイン設定部は、前記使用画像における前記動き領域として前記１以上の短露光画像のいずれかを選択する処理が実行されている場合、前記使用画像のゲイン値として前記使用画像に対する前記長露光画像の露光比を設定してもよい。かかる構成によれば、動き領域の短露光画像のゲイン値として短露光画像に対する長露光画像の露光比よりも小さいゲイン値が設定されないため、オブジェクトが動いた瞬間にオブジェクトが暗くなってしまうことが防止され得る。

前記動き検出部は、前記使用画像における前記動き領域として前記１以上の短露光画像のいずれかを選択する処理が実行されていない場合、前記使用画像に対する前記長露光画像の露光比が前記閾値を下回る場合には、前記使用画像のゲイン値として前記露光比を設定し、前記使用画像に対する前記長露光画像の露光比が前記閾値を上回る場合には、前記使用画像のゲイン値を前記閾値にクリップしてもよい。かかる構成によれば、回路規模増加を抑制しながら合成画像を生成することが可能となる。

前記ゲイン設定部は、前記複数の画像が所定枚数未満である場合には、前記使用画像のゲイン値として前記使用画像に対する前記長露光画像の露光比を設定してもよい。かかる構成によれば、合成画像のビット数がある程度よりも小さく抑えられる場合に、合成画像の滑らかさの低下を抑制することが可能となる。

前記ゲイン設定部は、前記複数の画像が前記所定枚数以上である場合には、前記使用画像に対する前記長露光画像の露光比が前記閾値を下回る場合、前記使用画像のゲイン値として前記露光比を設定し、前記使用画像に対する前記長露光画像の露光比が前記閾値を上回る場合、前記使用画像のゲイン値を前記閾値にクリップしてもよい。かかる構成によれば、合成画像のビット数がある程度よりも大きくなる場合に、回路規模増加を抑制しながら合成画像を生成することが可能となる。

本発明のある実施形態によれば、複数の画像のうち長露光画像以外の画像である１以上の短露光画像それぞれを各ゲイン値に基づいて増幅することと、前記長露光画像と増幅された前記短露光画像とを合成することと、前記短露光画像に対する前記長露光画像の露光比よりも小さい所定の値を前記ゲイン値として設定することと、を含む、画像処理方法が提供される。かかる方法によれば、合成画像のビット数を抑えることによって回路規模増加を抑制しながら合成画像を生成することが可能となる。

以上説明したように、本発明によれば、合成画像の滑らかさの低下を抑制するとともに回路規模増加を抑制しながら合成画像を生成することが可能となる。

一般的なＷＤＲ合成技術を説明するための図である。 露光比よりも小さい所定の値をゲイン値として設定した場合について説明するための図である。 本発明の実施形態に係る画像処理装置の機能構成を示す図である。 露光比が小さい場合について説明するための図である。 本発明の実施形態に係るゲイン値の制御特性を示す図である。 ２フレームを合成する例を説明するための図である。 ゲイン値として露光比を設定した場合およびゲイン値として露光比の１／２を設定した場合それぞれにおける合成画像の例を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

（一般的なＷＤＲ合成技術）
本発明の実施形態は、露光を変えて撮影した複数の画像信号を合成してワイドダイナミックレンジ信号（ＷＤＲ信号）を得る技術に関する。一般的なＷＤＲ合成処理について、図１を用いて説明する。図１は、露光時間の長い方からＬｏｎｇ（長露光画像）、Ｓｈｏｒｔ２（短露光画像）、Ｓｈｏｒｔ１（超短露光画像）の３つの画像信号（３フレーム）を、Ｓｈｏｒｔ２に対するＬｏｎｇの露光比、Ｓｈｏｒｔ１に対するＳｈｏｒｔ２の露光比それぞれが、露光比Ｅｘｐとなるように露光を変えて撮影し、これらの画像信号を合成する例を示している。ＷＤＲ信号は０〜４０９５の値を持つ１２ｂｉｔ信号とする。

複数の画像信号を合成する際には、長露光画像と明るさを揃えるために、短露光画像に対して短露光画像に対する長露光画像の露光比Ｅｘｐを乗じることによってＳｈｏｒｔ２’を取得し、Ｓｈｏｒｔ２’を使って合成する。同様に、超短露光画像に対しては超短露光画像に対する長露光画像の露光比Ｅｘｐの２乗を乗じることによってＳｈｏｒｔ１’を取得し、Ｓｈｏｒｔ１’を使って合成する。この例を参照すると、合成後のＷＤＲ信号の最大値は露光比の２乗に比例するということが分かる。

より広いダイナミックレンジを合成可能にするためには、画像信号の合成枚数を増やしたり、露光比を大きくしたり、両者を採用したりしてもよい。いずれにしても、画像信号の合成後の画素値の最大値は指数的に上昇していく。すなわち、より広いダイナミックレンジを合成可能にしようとすれば、合成に必要な回路のビット数が増加していき、回路規模が大きな問題になってくる。

そこで、本発明の実施形態においては、合成画像の滑らかさの低下を抑制するとともに回路規模増加を抑制しながら合成画像を生成することが可能な技術を提案する。より具体的には、ダイナミックレンジが非常に広いシーンは発生頻度が低いことに注目し、一定のダイナミックレンジまでは、図１に示した例のように、リニアな合成を行う。一方、一定以上のダイナミックレンジを持つシーンに対しては、図２に示した例のように、露光比よりも小さいゲイン値を長露光画像以外の画像に適用する。

（実施形態）
まず、本発明の実施形態に係る画像処理装置１の機能構成について説明する。図３は、本発明の実施形態に係る画像処理装置１の機能構成を示す図である。図３に示すように、画像処理装置１は、センサ１０、フレームメモリ２０、ゲイン設定部３０、クリップ３１、クリップ３２、使用画像選択部４０、動き検出部５０、増幅部６１、増幅部６２、合成部７０および階調圧縮部８０を備える。以下、画像処理装置１が備える各機能ブロックの機能について順次詳細に説明する。

画像処理装置１は、センサ１０の露光設定を変えて３枚の画像を連続撮影するが、ここでは超短露光撮影を先に行い、その次に短露光撮影を行い、その次に長露光撮影を行うものとする。しかし、長露光撮影を先に行い、その次に短露光撮影を行い、その次に超短露光撮影を行ってもよい。このようにして撮影された超短露光画像、短露光画像および長露光画像は、一つの組み合わせとしてフレームメモリ２０に書き込まれる。超短露光画像、短露光画像および長露光画像の撮影と、撮影された超短露光画像、短露光画像および長露光画像のフレームメモリ２０への書き込みとは、連続的に行われる。

なお、図３に示した例では、画像処理装置１は、超短露光画像、短露光画像および長露光画像を出力するための共通の系統を１つ有し、センサ１０が超短露光画像と短露光画像と長露光画像とを時分割で出力することとしたが、超短露光画像と短露光画像と長露光画像とが同時に出力されてもよい。かかる場合、画像処理装置１は、センサ１０から超短露光画像を出力するための系統と短露光画像を出力するための系統と長露光画像を出力するための系統とを有すればよい。それぞれのシャッタータイムは、例えば、撮影対象のダイナミックレンジやセンサ仕様などによって決まる。

なお、本発明の実施形態においては、長露光画像以外の画像として露光時間の異なる２種類の短露光画像がセンサ１０によって撮影される例を主に説明する。しかし、センサ１０によって撮影される長露光画像以外の画像は、露光時間の異なる２種類の短露光画像に限定されない。例えば、以下に説明するように、センサ１０によって撮影される長露光画像以外の画像は、１種類の短露光画像のみであってもよい。あるいは、長露光画像以外の画像は、互いに露光時間の異なる３種以上の短露光画像であってもよい。

また、本発明の実施形態においては、超短露光画像、短露光画像および長露光画像という用語を使用するが、これらの用語は、撮影された３つの画像それぞれの絶対的な露光時間を限定するものではない。したがって、露光時間の異なる３つの画像が撮影された場合に、当該３つの画像のうち、露光時間が最も短い画像が超短露光画像に相当し、露光時間が次に短い画像が短露光画像に相当し、露光時間が最も長い画像が長露光画像に相当する。

センサ１０は、外部からの光を撮像素子の受光平面に結像させ、結像された光を電荷量に光電変換し、当該電荷量を電気信号に変換するイメージセンサにより構成される。イメージセンサの種類は特に限定されず、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）であってもよいし、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）であってもよい。例えば、センサ１０は、所定の倍率（例えば、数倍から数十倍）の露光比Ｅｘｐをとって超短露光画像、短露光画像および長露光画像を検出（撮影）する。

使用画像選択部４０は、フレームメモリ２０から読み出した超短露光画像と短露光画像と長露光画像とを参照し、長露光画像、短露光画像および超短露光画像それぞれの飽和状態や動きなどを検出して、超短露光画像と短露光画像と長露光画像とのいずれかを画素ごとに使用画像として選択するための使用画像選択情報を生成する。超短露光画像と短露光画像と長露光画像とのいずれかを選択するアルゴリズムとしては様々なアルゴリズムが想定される。

例えば、使用画像選択部４０は、超短露光画像、短露光画像および長露光画像の何れかを、超短露光画像、長露光画像または短露光画像の画素値と規定値との関係に基づいて画素ごとに選択することにより使用画像選択情報を生成する。例えば、使用画像選択部４０は、長露光画像において上限値を上回る画素値を有する画素の使用画像として短露光画像を選択してもよい。あるいは、例えば、使用画像選択部４０は、短露光画像において下限値を下回る画素値を有する画素の使用画像として長露光画像を選択してもよい。

動き検出部５０は、動きを検出する。動きの検出手法は限定されない。例えば、動き検出部５０は、短露光画像と長露光画像とにおいて、対応する領域の画素値または勾配の差分を検出し、差分が所定の動き量より大きい領域を動き領域として検出してよい。一方、動き検出部５０は、差分が所定の動き量より小さい領域を非動き領域として検出してよい。差分が所定の動き量と同一の領域はいずれの領域として検出されてもよい。動き検出部５０は、このような動き領域および非動き領域を、動き検出結果として得てよい。

また、動き検出部５０は、超短露光画像と短露光画像とにおいて、対応する領域の画素値または勾配の差分を検出し、差分が所定の動き量より大きい領域を動き領域として検出してもよい。一方、動き検出部５０は、差分が所定の動き量より小さい領域を非動き領域として検出してよい。差分が所定の動き量と同一の領域はいずれの領域として検出されてもよい。動き検出部５０は、このような動き領域および非動き領域を、動き検出結果として得てもよい。あるいは、動き検出部５０は、２つの動き検出結果を統合してもよい。

増幅部６１は、超短露光画像をゲイン値に基づいて増幅する。具体的には、増幅部６１は、超短露光画像にゲイン値を乗じることによって超短露光画像を増幅する。一般的には、超短露光画像に対する長露光画像の露光比をゲイン値として超短露光画像に対して乗じることによって超短露光画像を増幅するが、本発明の実施形態においては、ゲイン設定部３０がこのゲイン値を適切に制御することが可能である。

同様に、増幅部６２は、短露光画像をゲイン値に基づいて増幅する。具体的には、増幅部６２は、短露光画像にゲイン値を乗じることによって短露光画像を増幅する。一般的には、短露光画像に対する長露光画像の露光比をゲイン値として短露光画像に対して乗じることによって短露光画像を増幅するが、本発明の実施形態においては、ゲイン設定部３０がこのゲイン値を適切に制御することが可能である。

合成部７０は、使用画像選択部４０によって生成された使用画像選択情報に基づいて、超短露光画像と短露光画像と長露光画像とを画素ごとに合成することによりＷＤＲ合成画像を生成する。具体的には、合成部７０は、使用画像選択情報を参照して、超短露光画像使用領域には超短露光画像を使用し、短露光画像使用領域には短露光画像を使用し、長露光画像使用領域には長露光画像を使用して合成画像を生成する。合成に際しては、いずれかの画像に対して露光比に応じたゲインを乗じて正規化した上で合成されるのがよい。

このとき、合成部７０は、使用画像選択部４０によって生成された使用画像選択情報に従って、超短露光画像、短露光画像および長露光画像を合成してよいが、このような処理だけでは、動き領域において輪郭が二重になるなどといったアーティファクトが発生し得る。そのため、合成部７０は、動き領域において輪郭が二重になる現象を低減する処理を行ってもよい。具体的には、合成部７０は、動き領域の使用画像として超短露光画像または短露光画像を選択するとよい。なお、センサ１０の分解能を１２ビットとしたとき、ＷＤＲ合成画像の各画素は１６ビット程度に拡張されてよい。

階調圧縮部８０は、ダイナミックレンジの広い画像信号のビットレンジを所定のビットレンジに収めるための圧縮処理を、合成部７０により生成されたＷＤＲ合成画像に対して行う。かかる圧縮処理としては、ルックアップテーブル（ＬＵＴ）に従ったトーンマッピングが用いられてよいが、特にどのような手法が用いられてもよい。

階調圧縮部８０の後段は、例えば、ベイヤーデータからＲＧＢプレーンを生成するデモザイク部、輪郭強調部、カラーマネージメントなどを含む画像処理エンジンに接続される。そのため、階調圧縮部８０からの出力信号のデータ量は、例えば、画像処理エンジンへの入力データのサイズに適合するように（例えば、１２ｂｉｔ程度に）調整されるのが好ましい。単純にデータサイズを低下させるだけでは暗い画像に変換されてしまうため、人間の視覚特性に近づくように高輝度側が強く圧縮されるとよい。

図２を参照しながら、ゲイン値の制御の具体例を説明する。図２に示すように、ゲイン設定部３０は、Ｓｈｏｒｔ２（短露光画像）に対して乗じるゲイン値を、本来のゲイン値（露光比Ｅｘｐ）ではなく、例としてその１／２の値に設定してよい。このようにゲイン値を設定すると、Ｓｈｏｒｔ２’（ゲイン値が乗じられた短露光画像）とＬｏｎｇ（長露光画像）との境界に段差ができるが、この段差は合成画像中の合成境界が滑らかに再現されないということを意味する。したがって、明るい物体の周囲が多少暗く見えたり、グラデーションに縞模様が見えたりする。

しかし、この段差が大きすぎなければ（例えば、図２に示したように、Ｓｈｏｒｔ２（短露光画像）に対して乗じるゲイン値を本来のゲイン値（露光比Ｅｘｐ）の１／２程度とした場合）、最終画像において違和感は少なく、大きな問題にはならないことが分かっている。ゲイン値を露光比Ｅｘｐに設定した場合とゲイン値を露光比Ｅｘｐの１／２に設定した場合とのそれぞれにおける合成画像の例を図７に示したので確認されたい。なお、ゲイン値は、露光比Ｅｘｐの１／２に限定されず、露光比Ｅｘｐよりも小さい所定の値であればよい。

また、ゲイン設定部３０は、Ｓｈｏｒｔ１（超短露光画像）に対して乗じるゲイン値を、本来のゲイン値（露光比Ｅｘｐの２乗）ではなく、例としてその１／８の値に設定してよい。このようにゲイン値を設定すると、Ｓｈｏｒｔ１’（ゲイン値が乗じられた超短露光画像）とＳｈｏｒｔ２’（ゲイン値が乗じられた短露光画像）との境界に段差ができるが、後段の階調圧縮部８０によって合成画像は高輝度ほど強く圧縮がかかることから、段差は縮小され、見えにくくなる。

そのため、Ｓｈｏｒｔ１’とＳｈｏｒｔ２’との間の段差をＳｈｏｒｔ２’とＬｏｎｇとの間の段差よりも大きくしても（例えば、図２に示した例のように、Ｓｈｏｒｔ１（超短露光画像）に対して乗じるゲイン値を本来のゲイン値（露光比Ｅｘｐの２乗）の１／８程度とした場合）、最終画像において違和感は目立ちにくい。また、Ｓｈｏｒｔ１でなければ適正露光にならない超高輝度物体を撮影するシーンは少ないため、弊害が発生する頻度も低い。なお、ゲイン値は、露光比Ｅｘｐの２乗の１／８に限定されず、露光比Ｅｘｐよりも小さい所定の値であればよい。

このようにして、本来の露光比よりも小さいゲイン値を適用して合成することによって、図２に示した例では、合成画像の最大値を本来の１／８に抑えることができる。つまり、図２に示した例では、合成回路のサイズを３ビット分節約できたことになる。しかも、適用するゲイン値を制御しさえすればよいため、複雑な演算やラインメモリを使用するような演算は一切要しない。また、異なる画像の境界部にできる段差が目立たない程度にゲイン値を設定して、合成画像の滑らかさの低下を抑制することが可能である。

図４を参照しながら説明を続ける。図４は、「露光比＝Ｅｘｐの場合」および「露光比＝Ｅｘｐ’の場合」それぞれにおける横軸（被写体輝度）と縦軸（合成画素値）との関係を示す図である。図４に示すように、Ｅｘｐ’はＥｘｐよりも小さく、「露光比＝Ｅｘｐ’の場合」には「露光比＝Ｅｘｐの場合」よりも被写体輝度が小さい。図４に示した例では、露光比＝Ｅｘｐ’の場合、一般的な手法通りに露光比Ｅｘｐ’をゲイン値として使用しても、合成画像の最大値は「露光比＝Ｅｘｐの場合」と同じになっている。したがって、わざわざＥｘｐ’よりも小さいゲイン値を使用する必要がなく、そうすれば異なる画像の境界部に段差を生じることもない。

「露光比＝Ｅｘｐの場合」および「露光比＝Ｅｘｐ’の場合」から、ゲイン設定部３０は、露光比が閾値を下回る場合には（または露光比が閾値と等しい場合には）、ゲイン値として露光比を設定すればよく、露光比が閾値を上回った場合には、ゲイン値を閾値にクリップすればよいことが分かる。すなわち、露光比に対するゲイン値の制御特性は、図５に示すようになる。

例えば、ゲイン設定部３０は、露光比を４倍から１６倍の間で変化させ得る場合には、閾値（ＴＨ）を「８倍」に設定する。このとき、ゲイン設定部３０は、露光比が４倍から８倍までの場合には、露光比と同じゲイン値を使用するが、露光比が８倍から１６倍までの場合には、ゲイン値を露光比の８倍でクリップして使用すればよい。そうすると、露光比が１６倍のときにゲイン値が露光比の８倍となり、露光比に対するゲイン値の比率は１／２となる。

なお、上記したように、動き領域において輪郭が二重になるなどといったアーティファクトを低減するために、動き領域に対して短露光画像を適用する処理（以下、「動き適応合成処理」とも言う。）を行う場合がある。ここで、本発明の実施形態においては、動き適応合成処理が実行される場合、動き領域の短露光画像に対して、図５に示された制御は適用しないほうがよい

すなわち、ゲイン設定部３０は、動き適応合成処理が実行される場合、動き領域の短露光画像のゲイン値として短露光画像に対する長露光画像の露光比を設定するのがよい。動き領域の短露光画像のゲイン値として短露光画像に対する長露光画像の露光比よりも小さいゲイン値が設定されてしまうと、オブジェクトが動いた瞬間にオブジェクトが暗くなってしまうからである。したがって、ゲイン設定部３０は、動き適応合成処理を実行するか否かによって、図５に示した制御を無効にするか否かを切り替えるとよい。一方、動き適応合成処理が実行されない場合、動き領域の短露光画像に対して、図５に示された制御は有効にしてよい。

なお、動き適応合成処理を実行するか否かは、どのようにして決められてもよい。例えば、動き適応合成処理を実行するか否かは、あらかじめ決められており、切り替え不可能としてもよい。あるいは、動き適応合成処理を実行するか否かは、切り替え可能としてもよい。動き適応合成処理を実行するか否かを切り替え可能とする場合、ユーザによる操作に連動して切り替えを行うようにしてもよい。

さらに、同じ露光比で撮影する場合であっても、合成枚数が異なればゲイン値の制御を異ならせてもよい。図２と図６を比較して説明する。図２および図６どちらも同じ露光比Ｅｘｐで撮影した複数の画像を合成する例であるが、図２は、３フレーム（長露光画像、短露光画像および超短露光画像）の合成の例を示しており、図６は、２フレーム（長露光画像、および短露光画像）の合成の例を示している。

ここで、図２に示したように、３フレーム合成の場合に、短露光画像および超短露光画像に対して、露光比よりも小さいゲイン値を適用して、システムのビット上限を超えないようにしている。一方、図６に示したように、２フレーム合成の場合に、短露光画像に露光比と同じゲイン値を適用してもシステムのビット上限に届かないので、露光比よりも小さいゲイン値を適用する必要がない。これは同じ露光比であっても、合成枚数に応じて図５に示した制御を無効にするか否かを切り替えるとよいことを意味している。

合成される画像は２フレームおよび３フレームに限定されない。したがって、ゲイン設定部３０は、合成枚数が所定枚数未満である場合には、使用画像のゲイン値として使用画像に対する長露光画像の露光比を設定すればよい。一方、ゲイン設定部３０は、合成枚数が所定枚数以上である場合には、使用画像に対する長露光画像の露光比が閾値を下回る場合、使用画像のゲイン値として使用画像に対する長露光画像の露光比を設定し、使用画像に対する長露光画像の露光比が閾値を上回る場合、使用画像のゲイン値を閾値にクリップすればよい。

以上に説明したように、本発明の実施形態によれば、発生頻度が高いまたは典型的なシーンとして想定しているようなダイナミックレンジに対しては、リニアな特性で滑らかな合成画像を得ることができ、発生頻度が低いまたは重要度が低いダイナミックレンジが非常に大きなシーンに対しては、多少の画質劣化と引き換えに回路規模増加を抑えて合成に対応することが可能である。

（まとめ）
本発明の実施形態においては、複数の画像のうち長露光画像以外の画像である１以上の短露光画像それぞれを各ゲイン値に基づいて増幅する増幅部６１、６２と、長露光画像と増幅された短露光画像とを合成する合成部７０と、短露光画像に対する長露光画像の露光比よりも小さい所定の値をゲイン値として設定するゲイン設定部３０と、を備える、画像処理装置１が提供される。かかる構成によれば、合成画像の滑らかさの低下を抑制するとともに回路規模増加を抑制しながら合成画像を生成することが可能となる。

ＷＤＲ（ワイドダイナミックレンジ）技術は重要視されている。従来技術では、合成可能なダイナミックレンジの拡大に伴って回路規模が増加してしまうことが大きな問題となっていた。本発明の実施形態は、ダイナミックレンジが非常に広いシーンは発生頻度が低いことに注目し、リニアに合成するのは一定のダイナミックレンジまでに留め、一定以上のダイナミックレンジを持つシーンに対しては多少の画質劣化と引き換えにして小さいゲイン値を適用することによってシステム規模の増加を抑制し得る。

本発明の実施形態によれば、性能向上と回路規模増加という、相反する２つの問題を、合理的にかつ簡易な構成で解決することが可能である。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１ 画像処理装置
１０ センサ
２０ フレームメモリ
３０ ゲイン設定部
３１ クリップ
３２ クリップ
４０ 使用画像選択部
５０ 動き検出部
６１ 増幅部
６２ 増幅部
７０ 合成部
８０ 階調圧縮部

Claims (7)

1. 複数の画像のうち長露光画像以外の画像である１以上の短露光画像それぞれを各ゲイン値に基づいて増幅する増幅部と、
   前記長露光画像と増幅された前記短露光画像とを合成する合成部と、
   前記短露光画像に対する前記長露光画像の露光比よりも小さい所定の値を前記ゲイン値として設定するゲイン設定部と、
   を備え、
   前記ゲイン設定部は、前記１以上の短露光画像の中に前記露光比が閾値を下回る短露光画像が存在する場合、当該短露光画像のゲイン値として前記露光比を設定し、前記１以上の短露光画像の中に前記露光比が閾値を上回る短露光画像が存在する場合、当該短露光画像のゲイン値を前記閾値にクリップする、
   画像処理装置。
2. 前記画像処理装置は、
   前記長露光画像および前記１以上の短露光画像のいずれかを使用画像として画素ごとに選択する使用画像選択部を備え、
   前記合成部は、前記使用画像を画素ごとに合成する、
   請求項１に記載の画像処理装置。
3. 前記画像処理装置は、
   動き領域を検出する動き検出部を備え、
   前記ゲイン設定部は、前記使用画像における前記動き領域として前記１以上の短露光画像のいずれかを選択する処理が実行されている場合、前記使用画像のゲイン値として前記使用画像に対する前記長露光画像の露光比を設定する、
   請求項２に記載の画像処理装置。
4. 前記ゲイン設定部は、前記使用画像における前記動き領域として前記１以上の短露光画像のいずれかを選択する処理が実行されていない場合、前記使用画像に対する前記長露光画像の露光比が前記閾値を下回る場合には、前記使用画像のゲイン値として前記露光比を設定し、前記使用画像に対する前記長露光画像の露光比が前記閾値を上回る場合には、前記使用画像のゲイン値を前記閾値にクリップする、
   請求項３に記載の画像処理装置。
5. 前記ゲイン設定部は、前記複数の画像が所定枚数未満である場合には、前記使用画像のゲイン値として前記使用画像に対する前記長露光画像の露光比を設定する、
   請求項２に記載の画像処理装置。
6. 前記ゲイン設定部は、前記複数の画像が前記所定枚数以上である場合には、前記使用画像に対する前記長露光画像の露光比が前記閾値を下回る場合、前記使用画像のゲイン値として前記露光比を設定し、前記使用画像に対する前記長露光画像の露光比が前記閾値を上回る場合、前記使用画像のゲイン値を前記閾値にクリップする、
   請求項５に記載の画像処理装置。
7. 複数の画像のうち長露光画像以外の画像である１以上の短露光画像それぞれを各ゲイン値に基づいて増幅することと、
   前記長露光画像と増幅された前記短露光画像とを合成することと、
   前記短露光画像に対する前記長露光画像の露光比よりも小さい所定の値を前記ゲイン値として設定することと、
   を含み、
   前記１以上の短露光画像の中に前記露光比が閾値を下回る短露光画像が存在する場合、当該短露光画像のゲイン値として前記露光比を設定し、前記１以上の短露光画像の中に前記露光比が閾値を上回る短露光画像が存在する場合、当該短露光画像のゲイン値を前記閾値にクリップすることを含む、
   画像処理方法。