JP3974634B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、撮像画像を合成することによりノイズを低減可能な撮像装置および撮像方法に関するものである。

近年、撮像装置としてカメラの小型化が進み、手振れ補正技術が注目をされてきている。
カメラの小型化により、写真撮影においてホールド性の低下や、携帯電話搭載のカメラなど撮影方法として、片手での撮影など従来の撮影形態とくらべ自由度が広がっている。

このように、撮影する際に、種々の方法や安定性の無い状態で撮影する場合、シャッターボタンを押した際にカメラがブレて手振れが発生してしまう。
たとえば、露出時間の長い暗条件での撮影となるとシャッター速度が遅くなりブレてしまうケースが多々ある。
また露出条件で感度を上げて露出時間を短くし撮影した場合は、ノイズがのってしまい粗い画像となってしまう。

この問題を解消すべく、手振れ補正する装置が、一眼レフや最近ではコンパクトカメラにも搭載されている。
たとえば、ブレに合わせてレンズを傾斜させ補正する、光学式手振れ補正装置が製品化されているが、近年の小型化や携帯電話カメラへの搭載を考慮するとスペース的にも非常に困難である。

また、他の方法として、画像処理により複数枚の画像からブレの無い画像を得ることができる撮像装置などが種々提案されている（たとえば特許文献１参照）。
特開平１０−１０８０７９号公報

しかし、従来提案されている撮像装置においては、複数枚分の画像を保持しておくメモリが必要となり高価なものとなってしまうという不利益がある。
また、撮影枚数が増えるに従い、撮影間に生じる画像間の位置ズレを補正するため処理時間が長くなってしまうという不利益がある。

本発明の目的は、異なる露出条件の少ない画像枚数でブレのない画像を得ることができ、処理時間を短縮することが可能な撮像装置および撮像方法を提供することにある。

本発明の第１の観点は、異なる露出条件で撮影した複数枚の撮像画像を合成する機能を有する撮像装置であって、前記複数枚の画像間の位置ズレとブレ量を検出する検出手段と、前記検出手段の検出結果を基に位置ズレを補正した第１の画像と第２の画像より画素の差分をとり、当該差分値があらかじめ設定した閾値を越える場合は当該画素を画像のエッジと判断して第１の画像の合成比率を高くし、当該差分値が閾値以下の場合は第１の画像の合成比率を低くして画像を合成する合成手段とを有する。

好適には、合成対象の複数枚の画像のうち、少なくとも１枚はノイズがある解像度が高い画像を含む。

好適には、合成対象の複数枚の画像のうち、少なくとも１枚は解像度は低いがノイズの少ない画像を含む。

好適には、前記合成手段に設定する閾値は、画像を撮影する際の露出条件から決まる画像信号に対するゲイン倍率によって変更可能である。

好適には、前記合成手段は、画像の合成を撮像素子の出力であるデータのうち、少なくともＧ成分に基づいて行う。

好適には、前記合成手段は、画像の合成を輝度信号Ｙ、色差信号Ｕ，Ｖのうち、少なくとも輝度信号に基づいて行う。

好適には、前記検出手段は、画像間の位置ズレとブレ量を複数枚の画像の差分画像から抽出する。

好適には、前記合成手段は、エッジからの距離が大きくなるに従い、長時間露出のノイズの少ない画像の比率を大きくし、エッジ部分は短時間露出の解像感が高い画像の比率が大きくなるように設定する。

好適には、前記合成手段は、エッジからの距離があらかじめ設定した距離より近い場合、短時間露出画像の比率を大きくして画像を合成する。

好適には、前記合成手段は、エッジからの距離があらかじめ設定した距離より遠い場合、長時間露出画像の比率を大きくして画像を合成する。

本発明の第２の観点は、異なる露出条件で撮影した複数枚の撮像画像を合成する撮像方法であって、前記複数枚の画像間の位置ズレとブレ量を検出する第１ステップと、検出結果を基に位置ズレを補正した第１の画像と第２の画像より画素の差分をとる第２ステップと、前記差分値とあらかじめ設定した閾値とを比較し、前記差分値が閾値を越える場合は当該画素を画像のエッジと判断して第１の画像の合成比率を高くし、当該差分値が閾値以下の場合は第１の画像の合成比率を低く設定する第３ステップと、前記第３ステップで設定した比率をもって画像を合成する第４ステップとを有する。

本発明によれば、異なる露出条件の少ない画像枚数でブレのない画像を得ることができ、処理時間を短縮することができる。

以下、本発明の実施形態を図面に関連付けて説明する。

図１は、本発明に係る撮像装置の一実施形態を示すブロック図である。

本撮像装置１０は、光学系１１、撮像素子１２、信号処理部１３、制御および演算処理ユニットしてのＣＰＵ１４、およびメモリ１５を有している。

本実施形態の撮像装置１０は、露出時間は短く解像度は高いがノイズの多い画像と露出時間は長いがノイズの少ない解像度の低い画像を含む複数枚の画像を撮影する機能を有している。
そして、撮像装置１０は、撮影画像間の位置ズレとブレ量を検出し、この検出結果を基に位置ズレを補正した露出時間が短時間第１の画像と長時間の第２の画像より画素の差分をとり、この差分値があらかじめ設定した閾値を越える場合はこの画素を画像のエッジと判断して第１の画像の合成比率を高くし、差分値が閾値以下の場合は第１の画像の合成比率を低くして（第２の画像の合成比率を高くして）、画像を合成することによりブレのないノイズ低減を図った画像を形成する機能を有している。

本実施形態の合成処理はセンサからのＲＧＢベイヤー配列の出力（ＲＡＷデータ）に対して行うことができるが、撮影画像の信号処理後のＹＵＶ（Ｙは輝度信号、Ｕ，Ｖは色差信号）形式における輝度信号Ｙを画像合成に用いる場合にも適用できる。

撮像素子１２は、ＣＣＤまたはＣＭＯＳセンサ等により形成され、光学系１１を通った被写体の光学像を受けて光電変換して信号処理部１３に供給する。以下の説明では、撮像素子１２はＣＣＤにより形成されているものとして説明する。

本実施形態の光学系１１と撮像素子１２は、たとえばＣＰＵ１４の制御の下、ＣＣＤ感度の低い状態、すなわちノイズが少ないがシャッター速度の遅い長時間露出撮影と、ＣＣＤ感度を変えてノイズは多いが露出時間の短い撮影と、を行うことが可能である。

信号処理部１３は、カラー補間、ホワイトバランス、ＹＵＶ変換処理、圧縮、フィルタリング等の処理を行い、メモリ１５への格納等を行う。
本実施形態の信号処理部１３は、光学系１１と撮像素子１２における各撮影データから輝度信号部分を抽出する機能と、輝度信号Ｙのノイズ成分を除去するフィルタリング処理機能を有する。フィルタリング処理は解像度を低下させないでノイズ成分を減らすためのフィルタ係数で処理を行う。一般的なものにはメディアンフィルタやエッジ保存フィルタなどが適用可能である。
信号処理部１３は、各撮影データに応じたフィルタリング処理後の画像をメモリ１５に格納する。

ＣＰＵ１４は、露出制御を行うとともに、図示しない操作部などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、光学系１１、撮像素子１２、信号処理部１３等を制御し、システム全体の調停制御を司るものである。

また、ＣＰＵ１４は、メモリ１３に格納された信号処理部１３の信号処理後のデータに基づいて、撮影画像間の位置ズレとブレ量を検出し、第１の画像と第２の画像との差分と閾値との比較結果に応じて画像の比率を変化させて合成することによりブレのないノイズ低減を図った画像を形成する機能を有している。
より具体的には、露出条件の異なる複数枚の画像間の位置ズレとブレ量を検出する検出機能と、検出機能の検出結果を基に位置ズレを補正した露出時間が短時間第１の画像と長時間の第２の画像より画素の差分をとり、この差分値があらかじめ設定した閾値を越える場合はこの画素を画像のエッジと判断して第１の画像の合成比率を高くし、差分値が閾値以下の場合は第２の画像の合成比率を高くして画像を合成する合成機能とを有している。

ＣＰＵ１４は、撮影した複数枚の画像のＲＡＷ画素データよりＧｒ成分を抽出して差分をとり、この差分画像からエッジ、ブレ成分とノイズ成分を閾値により切り分ける。
ＣＰＵ１４は、たとえば補正機能において、位置ズレを補正処理した各画像の差分画像（短時間露出画像Ｓ１―長時間画像露出Ｓ２）の絶対値を算出する。
この画像は短時間露出の画像から長時間露出のブレのある画像を減算するため、ノイズとブレを含んだエッジの画像が生成されることになる。
ＣＰＵ１４は、エッジからの距離が大きくなるに従い、長時間露光のノイズの少ない画像の比率を大きくし、エッジ部分は短時間露光の解像感が高い画像の比率が大きくなるように設定する。
たとえば、エッジ部分は短時間露光の画像の比率を１００％とし、エッジから離れるに従い長時間露光の画像の比率を段階的に上げ、ノイズ部分で５０％ずつの比率とすればよい。
そして、ＣＰＵ１４は、エッジからの距離があらかじめ設定した距離より近い場合、短時間露出画像の比率を大きくして画像を合成し、エッジからの距離があらかじめ設定した距離より遠い場合、長時間露出画像の比率を大きくして画像を合成する。
ＣＰＵ１４は、処理後の画像データをメモリ１５に格納する。

以下、異なる露出条件で撮影した複数枚の画像例、撮像素子の出力であるＲＡＷデータのうち少なくもとＧ（ｒ）成分を画像の合成に用いる理由等についてさらに詳細に説明する。

図２（ａ）〜（ｃ）は、異なる露出条件で撮影した２枚の画像とその合成の画像例を示す図である。
図２（ａ）は、露光時間は短くブレがないが、感度が高いためにノイズの多い画像を示している。たとえばシャッター速度は短く感度の高い状態で撮影を行ったもので、解像度は高いが感度を上げたため画像全体にノイズがのったものである。
図２（ｂ）は、露光時間は長くブレがあるが、感度が低いためにノイズの少ない画像を示している。たとえばシャッター速度が長く感度の低い状態で撮影を行ったもので、解像度は低く手振れが生じている可能性があるがノイズの少ない画像である。図２(ｃ)は図２(ａ），（ｂ）を合成した画像である。
複数枚の画像は連続して撮影しても図２（ａ）〜（ｃ）に示すように、撮影間で位置ズレを生じる。

図３(ａ）〜（ｃ）は、図２のように撮影した複数画像のＲＡＷ画像信号より、Ｇｒ成分を抽出して差分をとった画像を示している。ＲＡＷ画像信号は、アナログ段階で既にホワイトバランスのゲインがＲ・Ｂに対してかけられているため、Ｇ成分に比べてＲ・Ｂ成分はノイズが多い。そのため、本実施形態では、Ｇｒ成分を抽出している。
なお、その他のＲ、Ｂ、Ｇｂで行うことも可能である。本実施形態においては、複数枚の画像撮影間の位置ズレを補正した後で差分をとっており、短時間露光のエッジとノイズ、長時間露光のブレを含んだ画像となる。この差分画像からエッジ・ブレ成分とノイズ成分を閾値Ｔｈにより切り分ける。
本実施形態においては、この差分画像から解像度が高いがノイズの多い画像を基準としてエッジからの距離による比率で複数枚画像の合成を行う。

図４（ａ）〜（ｃ）は、差分画像と合成における比率との関係を示す図であって、図４（ａ）はノイズ低減処理前の画像を、図４（ｂ）は被写体部分を拡大した画像を、図４（ｃ）は出力画像をそれぞれ示している。

差分画像のエッジ部分は図に示すようになる。画像の近隣の画素は大きく変化しないことから、エッジから所定距離以上離れると比較的変化の少ない画像となる。
このことからエッジ近傍では図３（ｂ）のように、差分画像は短時間露光のエッジとノイズ、長時間露光のブレを抽出した画像となる。
これをあらかじめ設定した閾値Ｔｈにより切り分け、信号が閾値Ｖｔｈよりも大きい場合はエッジ・ブレと判断し、短時間露光の合成比率を大きくする。
信号が閾値Ｔｈよりも小さい場合はノイズと判断し、長時間露光の合成比率を大きく設定する。そして、たとえば個々の画素で合成比率を設定して２枚の画像の合成を行う。
たとえば、被写体後方の壁や一様な面など、ノイズののった画像はノイズが目立ちムラのある画像であったものが、この処理を行うことによりノイズ低減が図れる。

本実施形態においては、露出時間は短く解像度は高いがノイズの多い画像と露出時間は長いがノイズの少ない解像度の低い画像を含む複数枚の画像を撮影する。撮影間の位置ズレとブレを検出し合成するに際して、合成する２枚の画像の差分画像を生成する。この画像には２枚の画像のエッジ成分とブレ成分、およびノイズ成分が抽出される。差分画像から閾値Ｔｈを用いて、エッジ・ブレ成分とノイズ成分を切り分け、エッジもしくはブレと判断した部分はブレのない短時間露光の画像の比率を高くし、それ以外の部分はノイズの少ない長時間露光の画像の比率を高くして合成することにより、ブレのないノイズ低減を図る。
たとえば、エッジ部分は短時間露光の画像の比率を１００％とし、エッジから離れるに従い長時間露光の画像の比率を段階的に上げ、ノイズ部分で５０％ずつの比率とすればよい。

次に、上記構成による動作を、図５のフローチャートに関連付けて説明する。

まず、ＣＰＵ１４の制御の下、光学系１１および撮像素子１２を撮影するために駆動し、ステップＳＴ１において、ＣＣＤ感度の高い状態、すなわちノイズが多いがシャッター速度の速い短時間露光撮影を行う。
次に、ステップＳＴ２において、ＣＣＤ感度を変えてノイズは少ないが露光時間の長い撮影を行う。
ステップＳＴ３において、撮影データからＧｒ成分を抽出し、ステップＳＴ４において、信号のノイズ成分を除去するフィルタ処理を行う。フィルタ処理は解像度を低下させないでノイズ成分を減らすためのフィルタ係数で処理を行う。一般的なものにはメディアンフィルタやエッジ保存フィルタなどがある。
次に、ステップＳＴ５において、処理された各画像の位置ズレを検出し、補正する。ここではズレを検出・補正する方法は問わない。
ステップＳＴ６において、位置ズレを補正処理した各画像の差分画像（短時間露光画像Ｓ１―長時間画像露光Ｓ２）を算出する。この画像は短時間露光の画像から長時間露光のブレのある画像を減算するため、ノイズとブレを含んだエッジの画像が生成されることになる。
ステップＳＴ７において、差分画像の各画素の値ΔＳと設定した閾値Ｔｈを比較し、ステップＳＴ８において、ΔＳがＴｈより大きければ短時間露光の合成比率を高く設定する。反対にΔＳがＴｈより小さければ、ステップＳＴ９において、長時間露光の合成比率を高く設定する。
ステップＳＴ１０において、この比率設定を全画素に対して行い、ステップＳＴ１１において、この比率を基に２枚の画像の合成を行う。

なお、閾値Ｔｈは、画像を撮影する際の露出条件から決まる画像信号に対するゲイン倍率によって変更可能である。
これは、撮影時に設定されたセンサの信号に対するゲイン倍率によって、閾値Ｔｈの値を変えるというものである。
暗い被写体などでは、撮影時のＩＳＯ感度が高く設定され、センサの出力に対するゲイン倍率が高くなる。ゲインが高くなればノイズが多くなるため、ゲイン倍率に対応して差分画像によるエッジとノイズの切り分け閾値を変えるようにする。

なお、本実施形態では、２枚の画像を合成した場合について説明したが、３枚以上の画像を合成するようにしてもよい。たとえば３枚合成の場合、それぞれの露出条件に応じてエッジからの距離により合成における比率を設定すればよい。

以上の説明のように、本実施形態によれば、異なる露出条件で撮影した複数の画像から、差分画像によるエッジ・ブレとノイズを閾値により切り分けて合成比率を変えることにより、ノイズ低減効果がはかれ、撮影画像間の位置ズレやブレにも対応した撮影が行える。従来技術に対して、メモリ容量の低減、処理時間の短縮、部品実装スペースの確保、コストの削減と大きな効果が得られる。

なお、以上の説明において、合成処理は撮像素子（センサ）からのＲＧＢベイヤー配列の出力（ＲＡＷデータ）に対して行うが、撮影画像の信号処理後のＹＵＶ形式における輝度信号Ｙを画像合成に用いる場合にも適用できる。

この場合、ＣＰＵ１４は、たとえば補正機能において、信号処理部１３で処理された露出条件の異なる各撮影の輝度信号Ｙの差（短時間露出画像ＹＳ―長時間画像露出ＹＬ）を算出し、位置ズレとブレ量を検出するように構成される。この画像は短時間露出の画像から長時間露出のブレのある画像を減算するため、ブレを含んだエッジの画像が生成されることになる。

撮影画像のＹＵＶ形式について説明する。
この形式で扱われる信号は、輝度信号Ｙ、色差信号Ｕ、および色差信号Ｖである。これらの信号ＹＵＶのうち、解像度を決める要素としてＹ信号成分が大きく影響する。
画像圧縮の原理としてＪＰＥＧなど、色差信号を減らして圧縮するなど人間の目は比較的色情報に関しては鈍感であるため、輝度信号Ｙの画像合成を行うことによりノイズの大きな低減効果が図ることができる。
この場合、ＹＵＶのＹ成分のみでノイズ除去を行うことで処理時間の短縮を図っている。

また位置ズレやブレに関して、本実施形態では複数画像の差分画像から抽出しているが、パターンマッチングなどにより正確なズレ量を検出して合成比率を変化させたりすることも可能である。

本発明に係る撮像装置の一実施形態を示すブロック図である。 異なる露出条件で撮影した複数枚の画像例を示す図である。 短時間露出で撮影したＹ信号成分の画像、長時間露出で撮影したＹ信号成分の画像、および複数画像のＹ信号成分の差分画像を示す図である。 差分画像と合成における比率との関係を示す図である。 本実施形態の動作を説明するためのフローチャートである。

符号の説明

１０・・・撮像装置、１１・・・光学系、１２・・・撮像素子、１３・・・信号処理部、１４・・・ＣＰＵ、１５・・・メモリ。

Claims (11)

1. 異なる露出条件で撮影した複数枚の撮像画像を合成する機能を有する撮像装置であって、
   前記複数枚の画像間の位置ズレとブレ量を検出する検出手段と、
   前記検出手段の検出結果を基に位置ズレを補正した第１の画像と第２の画像より画素の差分をとり、当該差分値があらかじめ設定した閾値を越える場合は当該画素を画像のエッジと判断して第１の画像の合成比率を高くし、当該差分値が閾値以下の場合は第１の画像の合成比率を低くして画像を合成する合成手段と
   を有する撮像装置。
2. 合成対象の複数枚の画像のうち、少なくとも１枚はノイズはあるが解像度が高い画像を含む
   請求項１記載の撮像装置。
3. 合成対象の複数枚の画像のうち、少なくとも１枚は解像度は低いがノイズの少ない画像を含む
   請求項１または２記載の撮像装置。
4. 前記合成手段に設定する閾値は、画像を撮影する際の露出条件から決まる画像信号に対するゲイン倍率によって変更可能である
   請求項１から３のいずれか一に記載の撮像装置。
5. 前記合成手段は、画像の合成を撮像素子の出力であるデータのうち、少なくともＧ成分に基づいて行う
   請求項１から４のいずれか一に記載の撮像装置。
6. 前記合成手段は、画像の合成を輝度信号Ｙ、色差信号Ｕ，Ｖのうち、少なくとも輝度信号に基づいて行う
   請求項１から４のいずれか一に記載の撮像装置。
7. 前記検出手段は、画像間の位置ズレとブレ量を複数枚の画像の差分画像から抽出する
   請求項１から６のいずれかに記載の撮像装置。
8. 前記合成手段は、エッジからの距離が大きくなるに従い、長時間露出のノイズの少ない画像の比率を大きくし、エッジ部分は短時間露出の解像感が高い画像の比率が大きくなるように設定する
   請求項１から７のいずれかに記載の撮像装置。
9. 前記合成手段は、エッジからの距離があらかじめ設定した距離より近い場合、短時間露出画像の比率を大きくして画像を合成する
   請求項８記載の撮像装置。
10. 前記合成手段は、エッジからの距離があらかじめ設定した距離より遠い場合、長時間露出画像の比率を大きくして画像を合成する
    請求項８または９記載の撮像装置。
11. 異なる露出条件で撮影した複数枚の撮像画像を合成する撮像方法であって、
    前記複数枚の画像間の位置ズレとブレ量を検出する第１ステップと、
    検出結果を基に位置ズレを補正した第１の画像と第２の画像より画素の差分をとる第２ステップと、
    前記差分値とあらかじめ設定した閾値とを比較し、前記差分値が閾値を越える場合は当該画素を画像のエッジと判断して第１の画像の合成比率を高くし、当該差分値が閾値以下の場合は第１の画像の合成比率を低く設定する第３ステップと、
    前記第３ステップで設定した比率をもって画像を合成する第４ステップと
    を有する撮像方法。
    

Images