JP4597073B2

JP4597073B2 - 手ブレ補正方法、手ブレ補正装置、および撮像装置

Info

Publication number: JP4597073B2
Application number: JP2006059944A
Authority: JP
Inventors: 浩志岩淵
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2006-03-06
Filing date: 2006-03-06
Publication date: 2010-12-15
Anticipated expiration: 2026-03-06
Also published as: JP2007243333A

Description

本発明は、所定のフレームレートで撮像素子から順次得られる画像データに発生している手ブレを補正する手振れ補正方法、手振れ補正装置および撮像装置に関する。

例えば、動画撮影機能を有するデジタルスチルカメラやビデオカメラ等を手に持ち動画を撮影する場合、カメラを持つ手が振れると、あるフレームの画像中に映っている静止物画像の位置が次フレームの画面では移動してしまい、見づらい動画になってしまう。そこで、あるフレームの画像に対して次フレームの画像の移動ベクトルを検出し、画像が揺れない様に手ブレ補正を行うことが行われている。

図４は、手ブレ補正を行うときの移動ベクトルを検出する原理を示す説明図である。
デジタルカメラでは、動画撮影時、撮像素子から得られた最大解像度の画像データ（以下、最大画像データという）が所定のフレームレートで順次手ブレ補正装置に入力される。手ブレ補正装置では、図４（ａ）に示すように、撮像素子から得られたｎフレーム目の最大画像データ６１において、実際に動画の１フレームとして記録するために切り出す所定サイズの画像データ（以下、記録用画像データという）の切り出し位置を決定し、この切り出し位置にある画像データ６６を切り出して、記録媒体等に記録する。この場合、図４（ａ）に示すｎフレーム目の全体画像データ６１中の所定アドレスで示されるブロック６２内の画像データを基準画像データとすると、図６（ｂ）に示すｎ＋１フレーム目の全体画像データ６３中のブロック６２と同一所定アドレスで示されるブロック６４によって切り出された比較画像データが基準画像データと同一であれば、全体画像データ６１に対して全体画像データ６３は振れていないことになる。

しかし、手ブレが発生していれば、ブロック６２内の基準画像データとブロック６４で切り出された比較画像データは一致しない。そこで、手ブレ補正装置では、全体画像データ６３中のブロック６４を、全体画像データ６３内においてブロック６４ａ，６４ｂ，６４ｃ，・・・のように、Ｘ方向（水平方向）、Ｙ方向（垂直方向）に１画素づつずらしながら、各ブロック６４ａ，６４ｂ，６４ｃ，・・・内の夫々の比較画像データを基準画像データと比較し、基準画像データと最も相関性が高い比較画像データを切り出したブロック位置を求める。

図４（ｂ）に示す例で、ブロック６２の基準画像データに対し最も相関性の高い比較画像データがブロック６４ｃで切り出されたとすると、全体画像データ６１に対する全体画像データ６３の差は「ｋ」となり、このｋが全体画像データ６１と全体画像データ６３との間の移動ベクトルとなる。従って、手ブレ補正装置では、図４（ｃ）に示すように、全体画像データ６３に設定する記録用画像データの切り出し位置を、画像データ６６を切り出した位置から移動ベクトルｋだけ移動させた位置とし、この切り出し位置から画像データ６７を切り出して記録媒体等に記録すれば、手振れの補正された画像データを得ることができる。最初のフレームの画像データから切り出される記録用画像データの端部と全体画像データの端部との間の範囲内で、切り出し位置をずらすことが可能であるため、この範囲が手ブレ補正を行うことができる手ブレ補正範囲となる。

しかしながら、画像データ６７の切り出し位置が全体画像データ６３の中心から大きくずれていき、画像データ６７の切り出し位置が全体画像データ６３の隅まできてしまうと、それ以上切り出し位置を動かすことができず手振れ補正ができなくなる。また、全体画像データ６３の隅はレンズの周辺による像であり、レンズが小さいときは周辺の像が歪むため、全体画像データ６３の隅の部分を切り出すことは好ましくない。

従来、補正角度に応じて手振れ補正装置の応答特性を変化させ手振れ補正の働きを制限し、手ブレ補正範囲が有限であることに起因して発生する画像データの不連続な動きを低減する技術が知られている（例えば、特許文献１参照）。

特開２００１−４２３７６号公報

しかしながら、上記従来の装置にあっては、手ブレ補正手段を構成するレンズ群を光軸に直交する方向に移動させ、光軸を偏心して画像データの動きを補正するため、コンパクト・デジタルカメラに低価格で搭載することが難しいという事情がある。

本発明は、上記事情に鑑みてなされたものであって、手ブレ補正範囲が有限であることに起因して発生する画像データの不連続な動きを簡易な構成で低減することができる手振れ補正方法、手振れ補正装置および撮像装置を提供することを目的としている。

本発明の手ブレ補正方法は、所定のフレームレートで撮像素子から順次得られる画像データから切り出す記録用画像データの第１の切り出し位置を制御することで、前記画像データに発生した手ブレを補正する手ブレ補正方法であって、ｎ（ｎは自然数）フレーム目の前記画像データとｎ＋１フレーム目の前記画像データとの間の移動ベクトルを求める移動ベクトル算出ステップと、前記移動ベクトルに基づく動きを相殺するためにｎ＋１フレーム目の前記画像データから切り出すべき記録用画像データの第２の切り出し位置を求める第２の切り出し位置算出ステップと、１フレーム目の画像データから切り出す記録用画像データの第３の切り出し位置と、前記第２の切り出し位置とのずれ量を求めるずれ量算出ステップと、前記ずれ量に応じて前記第２の切り出し位置を補正して、ｎ＋１フレーム目の前記画像データから切り出す記録用画像データの前記第１の切り出し位置を設定する第１の切り出し位置設定ステップとを含む。

本発明の手ブレ補正方法は、前記第１の切り出し位置設定ステップでは、前記ずれ量と前記ずれ量に対する前記第２の切り出し位置の補正値との関数にしたがって、前記第２の切り出し位置の補正を行う。

本発明の手ブレ補正方法は、前記関数が、前記ずれ量が閾値よりも小さいときに前記補正値が零となる不感帯を有する。

本発明の手ブレ補正装置は、所定のフレームレートで撮像素子から順次得られる画像データから切り出す記録用画像データの第１の切り出し位置を制御することで、前記画像データに発生した手ブレを補正する手ブレ補正装置であって、ｎ（ｎは自然数）フレーム目の画像データと、ｎ＋１フレーム目の前記画像データとの間の移動ベクトルを求める移動ベクトル算出手段と、前記移動ベクトルに基づく動きを相殺するためにｎ＋１フレーム目の前記画像データから切り出すべき記録用画像データの第２の切り出し位置を求める第２の切り出し位置算出手段と、１フレーム目の前記画像データから切り出す記録用画像データの第３の切り出し位置と、前記第２の切り出し位置とのずれ量を求めるずれ量算出手段と、前記ずれ量に応じて前記第２の切り出し位置を補正して、ｎ＋１フレーム目の前記画像データから切り出す記録用画像データの前記第１の切り出し位置を設定する第１の切り出し位置設定手段とを含む。

本発明の手ブレ補正装置は、前記第１の切り出し位置設定手段が、前記ずれ量と前記ずれ量に対する前記第２の切り出し位置の補正値との関数にしたがって、前記第２の切り出し位置の補正を行う。

本発明の手ブレ補正装置は、前記関数が、前記ずれ量が閾値よりも小さいときに前記補正値が零となる不感帯を有する。

本発明の撮像装置は、動画撮影機能を有する撮像装置であって、前記手ブレ補正装置を備える。

本発明によれば、手ブレ補正範囲が有限であることに起因して発生する画像データの不連続な動きを簡易な構成で低減することができる手振れ補正方法、手振れ補正装置および撮像装置を提供することができる。

図１は、本発明の実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示すブロック図である。
同図に示すデジタルカメラ１００は、撮影レンズ１ａおよび撮像素子１ｂを含む撮像部１と、アナログ信号処理部２と、Ａ／Ｄ変換部３と、駆動部４と、デジタル信号処理部６と、圧縮／伸張処理部７と、表示部８と、システム制御部（ＣＰＵ）９と、内部メモリ１０と、メディアインタフェース１１と、記録メディア１２と、操作部１３と、手振れ補正装置１５とを備える。デジタル信号処理部６、圧縮／伸張処理部７、表示部８、システム制御部９、内部メモリ１０、メディアインタフェース１１、及び手振れ補正装置１５は、システムバス１４に接続されている。

撮像部１は、撮影レンズ１ａを含む光学系と、ＣＣＤ型やＣＭＯＳ型の固体撮像素子等の撮像素子１ｂとによって被写体を撮像するものであり、アナログの撮像信号を出力する。アナログ信号処理部２は、撮像部１で得られた撮像信号に所定のアナログ信号処理を施す。Ａ／Ｄ変換部３は、アナログ信号処理部２で処理後のアナログ信号をデジタル信号に変換する。

駆動部４は、デジタルカメラ１００が撮影モード（被写体を撮影して撮影画像データの記録が可能なモード）に設定されると、システム制御部９から供給される駆動パルスによって、固体撮像素子１ｂ、アナログ信号処理部２、及びＡ／Ｄ変換部３を駆動する。デジタルカメラ１００は動画撮影モードと静止画撮影モードが設定可能である。

デジタル信号処理部６は、Ａ／Ｄ変換部３からのデジタル信号に対して、操作部１３によって設定された動作モードに応じたデジタル信号処理を行って撮影画像データを生成する。デジタル信号処理部６が行う処理には、黒レベル補正処理（ＯＢ処理）、リニアマトリクス補正処理、ホワイトバランス調整処理、ガンマ補正処理、同時化処理等が含まれる。デジタル信号処理部６は、例えばＤＳＰで構成される。動画撮影モードに設定された場合、デジタル信号処理部６からは、所定のフレームレートで例えば最大解像度の画像データが順次出力されて、これらが内部メモリ１０に記憶される。

圧縮／伸張処理部７は、デジタル信号処理部６で生成された撮影画像データに対して圧縮処理を施すとともに、記録メディア１２から得られた圧縮画像データに対して伸張処理を施す。

表示部８は、例えばＬＣＤ表示装置を含んで構成され、撮影されてデジタル信号処理を経た撮影画像データに基づく画像を表示する。記録メディア１２に記録された圧縮画像データを伸張処理して得た画像データに基づく画像の表示も行う。また、撮影モード時のスルー画像、デジタルカメラの各種状態、操作に関する情報の表示等も可能である。

システム制御部９は、所定のプログラムによって動作するプロセッサを主体に構成され、撮影動作を含むデジタルカメラ１００全体の統括制御を行う。

内部メモリ１０は、例えばＤＲＡＭであり、手ブレ補正装置１５、デジタル信号処理部６、及びシステム制御部９のワークメモリとして利用される他、記録メディア１２に記録される撮影画像データを一時的に記憶するバッファメモリや表示部８への表示用画像データのバッファメモリとしても利用される。メディアインタフェース１１は、メモリカード等の記録メディア１２との間のデータの入出力を行うものである。

操作部１３は、デジタルカメラ使用時の各種操作を行うものであり、撮影指示を行うためのレリーズボタン（図示せず）を含む。

図２は、図１に示す手振れ補正装置１５の概略構成を示すブロック図である。
手振れ補正装置１５は、時刻ｔ_ｎ＋１（ｎは自然数）において、時刻ｔ_ｎで撮像素子１ｂから得られる最大画像データと、時刻ｔ_ｎ＋１で撮像素子１ｂから得られる最大画像データとの間の移動ベクトルＢ_ｎ＋１を求める移動ベクトル算出部２１と、移動ベクトルＢ_ｎ＋１に基づく動きを相殺するために時刻ｔ_ｎ＋１で撮像素子１ｂから得られる最大画像データから切り出すべき記録用画像データの切り出し位置Ｋ_ｎ＋１を求める切り出し位置算出部２２と、時刻ｔ_１で撮像素子１ｂから得られる最大画像データから切り出す記録用画像データの切り出し位置Ｋ１と切り出し位置Ｋ_ｎ＋１とのずれ量Ｌを求めるずれ量算出部２３と、ずれ量算出部２２で求められたずれ量に応じて切り出し位置Ｋ_ｎ＋１を補正して、時刻ｔ_ｎ＋１で撮像素子１ｂから得られる最大画像データから実際に切り出す記録用画像データの切り出し位置Ｋ’_ｎ＋１を設定して、記録用画像データの切出位置信号を内部メモリ１０に出力する切り出し位置設定部２４とを備える。

切り出し位置Ｋ１は、特許請求の第３の切り出し位置に相当し、切り出し位置Ｋ_ｎ＋１は、特許請求の第２の切り出し位置に相当し、切り出し位置Ｋ’_ｎ＋１は、特許請求の第１の切り出し位置に相当する。

移動ベクトル算出部２１は、公知の手法によって移動ベクトルＢ_ｎ＋１を算出する。

切り出し位置算出部２２は、移動ベクトルＢ_ｎ＋１と、切り出し位置Ｋ又は切り出し位置Ｋ’_ｎ＋１とに基づいて、切り出し位置Ｋ_ｎ＋１を求める。

ずれ量算出部２３は、切り出し位置Ｋ１の中心と切り出し位置Ｋ_ｎ＋１の中心とを比較してずれ量Ｌを求める。ずれ量Ｌは、水平方向に何画素、垂直方向に何画素ずれているかを示す数値で表される。

切り出し位置設定部２４は、ずれ量Ｌと、ずれ量Ｌに対する切り出し位置Ｋ_ｎ＋１の補正値との関数にしたがって、切り出し位置Ｋ_ｎ＋１の補正を行い、補正後の切り出し位置Ｋ’_ｎ＋１を、時刻ｔ_ｎ＋１で撮像素子１ｂから得られる最大画像データから実際に切り出す記録用画像データの切り出し位置として設定する。ここで設定された切り出し位置により、時刻ｔ_ｎ＋１で撮像素子１ｂから得られる最大画像データから記録用画像データが切り出され、これが記録メディア１２に記録される。尚、記録用画像データの切り出し及び記録は、切り出し位置設定部２４やシステム制御部９等が行えば良い。

この関数は、ずれ量Ｌが閾値以下のときに補正値が零となる不感帯を有するものであり、例えば、図３に示すような関数を用いる。図３は、ずれ量の水平方向成分Ｌｘと補正値との関数を示す図である。図３において横軸は、ずれ量の水平方向成分であり、縦軸は切り出し位置Ｋ_ｎ＋１の補正値である。ずれ量の水平方向成分Ｌｘの正負の符号は、切り出し位置Ｋ１を基準としたときに、切り出し位置Ｋ_ｎ＋１が水平方向の右と左のどちらにずれているかを区別するために付けられている。つまり、切り出し位置Ｋ１を基準としたときに、切り出し位置Ｋ_ｎ＋１が水平方向右にずれていれば、ずれ量Ｌｘはプラスとなり、切り出し位置Ｋ_ｎ＋１が水平方向左にずれていれば、ずれ量Ｌｘはマイナスとなる。切り出し位置設定部２４は、切り出し位置Ｋ_ｎ＋１に、ずれ量Ｌに対応する補正値を加算して切り出し位置Ｋ_ｎ＋１をずらすことで、切り出し位置Ｋ_ｎ＋１の補正を行う。

図３（ａ）に示す関数では、ずれ量Ｌｘの絶対値が２よりも小さいときの補正値が０（不感帯）であり、ずれ量Ｌｘが２以上のときの補正値が−１であり、ずれ量Ｌｘが−２以下のときの補正値が＋１となっている。図３（ｂ）に示す関数では、ずれ量Ｌｘの絶対値が２よりも小さいときの補正値が０（不感帯）であり、ずれ量Ｌｘが２以上のときの補正値が０から単調に減少し、ずれ量Ｌｘが−２以下のときの補正値が単調に増加するものとなっている。尚、切り出し位置設定部２４は、切り出し位置Ｋ_ｎ＋１の垂直方向についても、図３に示すような関数を用いることで、その補正を行う。

尚、切り出し位置設定部２４は、時刻ｔ_１で撮像素子１ｂから得られた最大画像データについては、上記処理とは関係なく、予め定められた切り出し位置Ｋ１を設定する。この切り出し位置Ｋ１は、通常、時刻ｔ_１で撮像素子１ｂから得られた最大画像データの中心部分に設定される。

次に、手ブレ補正装置１５の動作を説明する。以下では、切り出し位置設定部２４が、図３（ａ）に示す関数を用いて切り出し位置の補正を行う場合を例にして説明する。

時刻ｔ_１で撮像素子１ｂから得られた第１の最大画像データが入力されると、まず、切り出し位置設定部２４が切り出し位置Ｋ１を設定する。これにより、第１の最大画像データに設定された切り出し位置Ｋ１から記録用画像データが切り出され、切り出された記録用画像データが記録メディア１２に記録される。

次に、時刻ｔ_２で撮像素子１ｂから得られた第２の最大画像データが入力されると、移動ベクトル算出部２１が、第１の最大画像データと第２の最大画像データとの間の移動ベクトルＢ_２を求める。

次に、切り出し位置算出部２２が、移動ベクトルＢ_２と切り出し位置Ｋ１とに基づいて、移動ベクトルＢ_２に基づく動きを相殺するために第２の最大画像データから切り出すべき記録用画像データの切り出し位置Ｋ_２を算出する。

次に、ずれ量算出部２３が、切り出し位置Ｋ１の中心と切り出し位置Ｋ_２の中心とのずれ量Ｌ１を求める。

次に、切り出し位置設定部２４が、ずれ量Ｌ１に応じて切り出し位置Ｋ_２を補正して、時刻ｔ_２で撮像素子１ｂから得られる最大画像データから実際に切り出す記録用画像データの切り出し位置Ｋ’_２を設定する。
例えば、ずれ量Ｌ１の水平方向成分及び垂直方向成分がそれぞれ３であった場合は、切り出し位置Ｋ_２の水平方向及び垂直方向に補正値−１を加算した位置を補正後の切り出し位置Ｋ’_２とし、ずれ量Ｌ１の水平方向成分及び垂直方向成分がそれぞれ１であった場合は、切り出し位置Ｋ_２の水平方向及び垂直方向に補正値０を加算した値を補正後の切り出し位置Ｋ’_２とする。これにより、第２の最大画像データに設定された切り出し位置Ｋ’_２から記録用画像データが切り出され、切り出された記録用画像データが記録メディア１２に記録される。

次に、時刻ｔ_３で撮像素子１ｂから得られた第３の最大画像データが入力されると、移動ベクトル算出部２１が、第２の最大画像データと第３の最大画像データとの間の移動ベクトルＢ_３を求める。

次に、切り出し位置算出部２２が、移動ベクトルＢ_３と切り出し位置Ｋ’_２とに基づいて、移動ベクトルＢ_３に基づく動きを相殺するために第３の最大画像データから切り出すべき記録用画像データの切り出し位置Ｋ_３を算出する。

次に、ずれ量算出部２３が、切り出し位置Ｋ１の中心と切り出し位置Ｋ_３の中心とのずれ量Ｌ２を求める。

次に、切り出し位置設定部２４が、ずれ量Ｌ２に応じて切り出し位置Ｋ_３を補正して、時刻ｔ_３で撮像素子１ｂから得られる最大画像データから実際に切り出す記録用画像データの切り出し位置Ｋ’_３を設定する。これにより、第３の最大画像データに設定された切り出し位置Ｋ’_３から記録用画像データが切り出され、切り出された記録用画像データが記録メディア１２に記録される。

時刻ｔ_４以降に最大画像データが入力されたときも、このような処理を繰り返す。

このように、第１の最大画像データに設定する切り出し位置Ｋ１が決まると、その後、切り出し位置Ｋ_ｎ＋１は順次移動する。この切り出し位置Ｋ_ｎ＋１が、切り出し位置Ｋ１からどれだけ離れているかを示す値が、上記ずれ量Ｌであり、ずれ量Ｌが０のときは、切り出し位置Ｋ_ｎ＋１が切り出し位置Ｋ１と一致することを意味する。

このずれ量Ｌが例えば水平方向に１０、垂直方向に１０であった場合には、切り出し位置Ｋ_ｎ＋１が全体画像データの周辺にあることを意味する。従来は、この切り出し位置Ｋ_ｎ＋１から記録用画像データを切り出しているため、切り出し位置Ｋ_ｎ＋１が全体画像データの端部に張り付く可能性が高い。一方、本実施形態によれば、切り出し位置Ｋ_ｎ＋１が中心から離れている場合は、これを補正して中心に近づくようにしているため、記録用画像データの切り出し位置が全体画像データの端部に向かうのを従来に比べて抑制することができる。したがって、補正範囲が有限であることに起因して発生する画像の不連続な動きを簡易な構成で低減することができる。

本発明の実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示すブロック図図１に示す手ブレ補正装置の概略構成を示すブロック図切り出し位置を補正するための関数を示す図手ブレ補正を行うときの移動ベクトルを検出する原理を示す説明図

符号の説明

１撮像部
１ａ撮影レンズ
１ｂ撮像素子
２アナログ信号処理部
３Ａ／Ｄ変換部
４駆動部
６デジタル信号処理部
７圧縮／伸張処理部
８表示部
９システム制御部
１０内部メモリ
１１メディアインタフェース
１２記録メディア
１３操作部
１４システムバス
１５手ブレ補正装置
２１移動ベクトル算出部
２２切り出し位置算出部
２３ずれ量算出部
２４切り出し位置設定部

Claims

所定のフレームレートで撮像素子から順次得られる画像データから切り出す記録用画像データの第１の切り出し位置を制御することで、前記画像データに発生した手ブレを補正する手ブレ補正方法であって、
ｎ（ｎは自然数）フレーム目の前記画像データとｎ＋１フレーム目の前記画像データとの間の移動ベクトルを求める移動ベクトル算出ステップと、
前記移動ベクトルに基づく動きを相殺するためにｎ＋１フレーム目の前記画像データから切り出すべき記録用画像データの第２の切り出し位置を求める第２の切り出し位置算出ステップと、
１フレーム目の画像データから切り出す記録用画像データの第３の切り出し位置と、前記第２の切り出し位置とのずれ量を求めるずれ量算出ステップと、
前記ずれ量に応じて前記第２の切り出し位置を補正して、ｎ＋１フレーム目の前記画像データから切り出す記録用画像データの前記第１の切り出し位置を設定する第１の切り出し位置設定ステップとを含む手ブレ補正方法。
請求項１記載の手ブレ補正方法であって、
前記第１の切り出し位置設定ステップでは、前記ずれ量と前記ずれ量に対する前記第２の切り出し位置の補正値との関数にしたがって、前記第２の切り出し位置の補正を行う手ブレ補正方法。
請求項２記載の手ブレ補正方法であって、
前記関数が、前記ずれ量が閾値よりも小さいときに前記補正値が零となる不感帯を有する手ブレ補正方法。
所定のフレームレートで撮像素子から順次得られる画像データから切り出す記録用画像データの第１の切り出し位置を制御することで、前記画像データに発生した手ブレを補正する手ブレ補正装置であって、
ｎ（ｎは自然数）フレーム目の画像データと、ｎ＋１フレーム目の前記画像データとの間の移動ベクトルを求める移動ベクトル算出手段と、
前記移動ベクトルに基づく動きを相殺するためにｎ＋１フレーム目の前記画像データから切り出すべき記録用画像データの第２の切り出し位置を求める第２の切り出し位置算出手段と、
１フレーム目の前記画像データから切り出す記録用画像データの第３の切り出し位置と、前記第２の切り出し位置とのずれ量を求めるずれ量算出手段と、
前記ずれ量に応じて前記第２の切り出し位置を補正して、ｎ＋１フレーム目の前記画像データから切り出す記録用画像データの前記第１の切り出し位置を設定する第１の切り出し位置設定手段とを含む手ブレ補正装置。
請求項４記載の手ブレ補正装置であって、
前記第１の切り出し位置設定手段が、前記ずれ量と前記ずれ量に対する前記第２の切り出し位置の補正値との関数にしたがって、前記第２の切り出し位置の補正を行う手ブレ補正装置。
請求項５記載の手ブレ補正装置であって、
前記関数が、前記ずれ量が閾値よりも小さいときに前記補正値が零となる不感帯を有する手ブレ補正装置。
動画撮影機能を有する撮像装置であって、
請求項４〜６のいずれか記載の手ブレ補正装置を備える撮像装置。