JP7660386B2 - 防振制御装置及び方法、及び撮像装置 - Google Patents

Description

本発明は、防振制御装置及び方法、及び撮像装置に関し、特に平行振れ補正を行う防振制御装置及び方法、及び撮像装置に関する。

近年、防振制御装置を搭載しているカメラが市場で増えている。露光中に手振れが起きてもブレの無い画像の撮影を可能にするには、手振れによるカメラの角度振れと平行振れを検出し、検出値に応じて振れ補正部を動かして、振れを相殺する必要がある。

近年では角速度センサの性能向上によって、従来よりも広い帯域、特に低周波数帯域の角度振れを検出できるようになってきた。そのため、手振れによるカメラの角度振れの補正性能が向上している。一方、角度振れの補正性能の向上により、平行振れが目立つようになってきた。平行振れを補正する方法として、特許文献１には、加速度計の出力と角速度計の出力との比を回転半径として求め、回転半径と角速度計の出力から平行振れを求め、振れ補正部を駆動して平行振れを補正する技術が開示されている。

特許第４７８９６１４号公報

しかしながら、手振れ補正の性能向上により、露光時間が長くても手持ちで撮影できるようになってきた為、更に低い周波数帯域の手振れの補正を行う必要が生じてきた。より低い周波数帯域の手振れの補正を行うために、加速度計の信号に加えて画像信号も利用するが、画像信号の活用方法が課題となる。

本発明は上記問題点を鑑みてなされたものであり、被写体や撮像装置の状態に応じてより的確に平行振れを補正することを目的とする。

上記目的を達成するために、本発明の防振制御装置は、撮像素子から繰り返し出力される画像から、動きベクトルを検出する動きベクトル検出手段と、前記動きベクトルに基づいて、平行振れ量を算出するための第１の補正係数を演算する第１の演算手段と、撮像装置の振れの加速度に基づいて、前記平行振れ量を算出するための第２の補正係数を演算する第２の演算手段と、前記動きベクトル検出手段における前記動きベクトルの検出の精度に関する情報に基づいて、前記第１の補正係数と前記第２の補正係数のいずれかを選択する判断手段と、前記判断手段により選択された前記第１の補正係数または前記第２の補正係数を用いて、前記平行振れ量を求める算出手段と、を有し、前記判断手段は、前記撮像装置の振れの角速度に基づいて算出される前記撮像素子の像面上の角度振れ像面速度に対する、過去に前記第１の補正係数を求めるために前記動きベクトルに基づいて算出した前記撮像素子の像面上の平行振れ像面速度の割合が、予め決められた割合よりも低い場合に、前記第２の補正係数を選択し、それ以外の場合に前記第１の補正係数を選択する。

本発明によれば、被写体や撮像装置の状態に応じてより的確に平行振れを補正することが可能になる。

本発明の第１の実施形態における撮像装置の中央断面図及び機能構成の概略を示すブロック図。 第１の実施形態における平行振れ量を演算するための構成を示すブロック図。 第１の実施形態における平行振れ抽出部で行われる演算を説明するための図。 第１の実施形態における平行振れ量の演算処理を示すフローチャート。 第２の実施形態におけるゲイン値を決定するためのテーブルの一例を示す図。 第２の実施形態における平行振れ量の演算処理を示すフローチャート。 第３の実施形態における平行振れ量を演算するための構成を示すブロック図。 第３の実施形態における第１の補正係数の演算処理を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜第１の実施形態＞
図１は、第１の実施形態における防振制御装置を具備した撮像装置１０００を示す図であり、図１（ａ）は撮像装置１０００の中央断面図、図１（ｂ）は撮像装置１０００の機能構成を示すブロック図である。

図１（ａ）に示すように、本実施形態の撮像装置１０００は、主に、カメラ本体１と、カメラ本体１に着脱可能なレンズユニット２とからなる。カメラ本体１とレンズユニット２は、電気接点１１を介して電気的に接続される。なお、本発明の撮像装置はこの構成に限られるものでは無く、カメラ本体とレンズユニットが一体的に構成された撮像装置であってもよい。

レンズユニット２は、光軸４上に配された、フォーカスレンズ、ズームレンズ、防振レンズ９等を含む複数のレンズ及び絞りからなる撮影光学系３と、レンズシステム制御部１２とを含む。また、カメラ本体１は、撮像素子６、背面表示装置１０ａ、ＥＶＦ１０ｂ、振れ補正部１４、角速度検出部１５、加速度検出部１６、シャッタ機構１７を含む。

なお、図１（ａ）において、ｚ軸は光軸４と平行とする。ｘ軸とｙ軸はｚ軸と直交しており、撮像素子６の各辺と平行である。なお、図を見易くするために、図１（ａ）では、原点を撮像装置１０００の外に書いているが、実際は撮像装置１０００の中心に原点がある。

また、図１（ｂ）に示すように、レンズユニット２は更に、撮影光学系３に含まれるフォーカスレンズ、ズームレンズ、防振レンズ９、絞り等を駆動するレンズ駆動部１３を備える。また、カメラ本体１は、更に、カメラシステム制御部５、レリーズ検出部７、操作検出部８、表示部１０、シャッタ駆動部１８を含む。なお、表示部１０は、図１（ａ）に示すカメラ本体１の背面に設けられた背面表示装置１０ａ及びカメラ本体１のファインダ内に設けられたＥＶＦ（エレクトロニックビューファインダー）１０ｂを含む。

レリーズ検出部７は、不図示のレリーズボタンを押下することにより開閉する不図示のレリーズスイッチの開閉信号を検出し、検出した開閉信号をカメラシステム制御部５に送る。レリーズ検出部７が検出する開閉信号は通常２種類あり、レリーズボタンを半押しするとＯＮとなるスイッチ（以下、「ＳＷ１」と記す。）と、全押しするとＯＮとなるスイッチ（以下、「ＳＷ２」と記す。）の二段階スイッチの開閉信号を検出する。
操作検出部８は、シャッタ速度やＦ値、モードの設定などの撮影者の操作を検出する。

レンズユニット２の撮影光学系３を介して入射した被写体からの光は、シャッタ機構１７が開いている間、撮像素子６の撮像面に結像される。レンズ駆動部１３は、レンズシステム制御部１２からの制御信号を受けて、撮像素子６に良好な像を結像できるように撮影光学系３を駆動する。また、シャッタ機構１７は、撮影者が設定した、あるいはカメラシステム制御部５が判断した撮影秒時の露光が行われるように、シャッタ駆動部１８により駆動制御される。撮像素子６は、入射した光を光電変換し、光量に応じた電気信号（画像信号）を出力する。

カメラシステム制御部５は、レリーズ検出部７、操作検出部８、角速度検出部１５、加速度検出部１６から出力された信号に基づいて、振れの影響を低減するための振れ補正量を演算し、振れ補正量を振れ補正部１４とレンズシステム制御部１２に出力する。

レンズシステム制御部１２は、カメラシステム制御部５から受け取った振れ補正量に基づく指令をレンズ駆動部１３に出力する。レンズ駆動部１３は、防振レンズ９を図１（ａ）のｘ方向とｙ方向に駆動し、角度振れと平行振れ両方を加味した振れ補正を行う。

一方、振れ補正部１４は、カメラシステム制御部５から受け取った振れ補正量に基づいて撮像素子６を駆動する。振れ補正部１４は、撮像素子６を図１（ａ）のｘ方向とｙ方向に駆動し、角度振れと平行振れ両方を加味した振れ補正を行う。また、振れ補正部１４は、撮像素子６をｚ軸周りにも回転駆動させることで、ｚ軸周りの回転運動によって起こる角度振れと平行振れ両方を加味した振れ補正を行う。

なお、カメラシステム制御部５から受け取った振れ補正量に基づく補正方法についてはこの方法に限らず、他の形態でも構わない。例えば、撮像素子６から出力される画像の切り出し位置をシフトすることにより振れを補正する、所謂電子防振を用いても良いし、電子防振と、上述した撮像素子６を駆動する防振とを適宜組み合わせてもよい。

撮像装置１０００に振れが加わることにより、撮像素子６に像面振れが発生するが、以下、平行振れに起因する撮像素子６の像面振れを「像面平行振れ」、角度振れに起因する撮像素子６の像面振れを「像面角度振れ」と呼ぶ。

図２は、カメラシステム制御部５において平行振れを演算するための構成及び角速度検出部１５と加速度検出部１６を示すブロック図である。

動きベクトル検出部２０１は、フレーム間の画像の特徴点の移動量から特徴点の移動速度を検出することにより、撮像素子６の像面振れの図１のｘ軸方向、ｙ軸方向、及びｚ軸方向における像面振れの速度を検出する。被写体が止まっている場合、特徴点の移動速度は、撮像装置の振れによって発生する像面振れの速度を示す。被写体が動いている場合、特徴点の移動速度は、撮像装置の振れによって発生する像面振れの速度と被写体の移動速度との合計を示す。

また、動きベクトル検出部２０１が検出する像面振れの速度には、角度振れ像面速度と平行振れ像面速度とが混在している。角度振れ像面速度は、像面角度振れによって像面に発生する振れの速度のことであり、平行振れ像面速度は、像面平行振れによって像面に発生する振れの速度のことである。

振れ補正量検出部２０８は、レンズ駆動部１３や振れ補正部１４によって補正している、補正済みの角度振れ像面速度を検出して出力する。

角速度検出部１５は、図１（ａ）に示す座標軸のｘ軸回り、ｙ軸回り、ｚ軸回りの角速度を検出し、角速度信号を出力する。角度振れ演算器２０４は、角速度検出部１５から出力された角速度信号に焦点距離を掛けることにより角度振れ像面速度を演算して出力する。

平行振れ抽出器２０７は、動きベクトル検出部２０１の出力と、振れ補正量検出部２０８の出力と、角度振れ演算器２０４の出力とを用いて、平行振れ像面速度と未補正分の角度振れ像面速度とを算出する。ここで、図３を参照して、平行振れ像面速度と未補正分の角度振れ像面速度の算出方法について説明する。

図３は、平行振れ抽出器２０７で行われる演算の概念図である。図３に示す角度振れ像面速度（補正済）３０１と角度振れ像面速度（未補正）３０２と平行振れ像面速度（未補正）３０３とを加算したものが、防振を何も行わなかったときに撮像素子６の像面に表れる像面振れの速度となる。

角度振れ像面速度（補正済）３０１は、振れ補正量検出部２０８の出力である。また、角度振れ演算器２０４の出力は、角度振れ像面速度（補正済）３０１と角度振れ像面速度（未補正）３０２とを加算したものに相当する。従って、角度振れ像面速度（未補正）３０２は、角度振れ演算器２０４の出力から、振れ補正量検出部２０８の出力を差し引くことで求めることができる。

また、動きベクトル検出部２０１の出力は、角度振れ像面速度（未補正）３０２と平行振れ像面速度（未補正）３０３とを加算したものに相当する。従って、平行振れ像面速度（未補正）３０３は、動きベクトル検出部２０１の出力から、角度振れ像面速度（未補正）３０２を差し引くことで求めることができる。

ＬＰＦ２１１は、平行振れ抽出器２０７から平行振れ像面速度（未補正）３０３を入力として受け取り、ローパスフィルタをかけ、特定の帯域を抽出して出力する。抽出する帯域は手振れの含まれる１０Ｈｚ以下の帯域とするが、長秒時露光の撮影をするときには支配的となる帯域が低周波数寄りになるため、１Ｈｚ以下の帯域を抜き出す等、フィルタの帯域を条件に応じて変更する。

ＬＰＦ２１２は、角速度検出部１５から出力される角速度信号にローパスフィルタをかけて特定の帯域を抽出して出力する。ＬＰＦ２１２が抽出する帯域は、基本的にはＬＰＦ２１１と同じ帯域にする。

比較器２１６は、ＬＰＦ２１１とＬＰＦ２１２の出力信号の比から第１の補正係数を演算して出力する。

一方、加速度検出部１６は、図１（ａ）のｘ軸方向、ｙ軸方向、及びｚ軸方向における加速度を検出し、加速度信号を出力する。ＢＰＦ２１３は、加速度検出部１６から出力された加速度信号にバンドパスフィルタをかけて特定の帯域の信号を抽出して出力する。積分器２０５は、ＢＰＦ２１３の出力信号を積分して速度信号を算出して出力する。平行振れ演算器４０１は、積分器２０５から出力される速度信号に像倍率（焦点距離／撮影距離）を乗じることで平行振れ像面速度を演算して出力する。

ＢＰＦ２０９は、角速度検出部１５から出力される角速度信号にバンドパスフィルタをかけて特定の帯域を抽出して出力する。ＢＰＦ２０９のフィルタの帯域は、基本的にはＢＰＦ２１３と同じ帯域にする。ＨＰＦ２１０はＢＰＦ２０９の出力信号にハイパスフィルタをかけることにより積分器２０５の出力信号との位相を合わせて出力する。ただし、積分器２０５で完全積分を行う場合には、ＨＰＦ２１０の処理は不要となる。

比較器２１７は、平行振れ演算器４０１とＨＰＦ２１０の出力信号の比から第２の補正係数を演算して出力する。

被写体情報検出部２１４は、撮像装置１０００で撮影しようとしている被写体や撮像装置１０００の状態を検出して出力する。被写体の情報には、被写体の輝度、被写体の移動速度、被写体のコントラスト、被写体の模様、被写体の背景の動き、被写体の背景以外の動き等がある。

振れ情報検出部２１５は、平行振れ抽出器２０７から角度振れ像面速度（未補正）３０２と平行振れ像面速度（未補正）３０３とを入力として受け取り、そのまま出力する。

判断部２１８は、被写体情報検出部２１４から被写体や撮像装置１０００の状態を示す出力信号、振れ情報検出部２１５から角度振れ像面速度（未補正）３０２及び平行振れ像面速度（未補正）３０３、比較器２１６から第１の補正係数、比較器２１７から第２の補正係数を入力する。そして、判断部２１８は、第１の補正係数と第２の補正係数のどちらを使用するのかを判断する。以下、判断部２１８による判断方法について説明する。

基本的には、判断部２１８は、動きベクトル検出部２０１からの像面振れの速度に基づいて算出した第１の補正係数を使用することを前提として判断を行う。これは加速度検出部１６が検出する加速度信号よりも動きベクトル検出部２０１が検出する信号の方が測定可能な帯域が広いためである。ここでいう帯域とは、手振れ帯域のことを指しており、おおむね１０Ｈｚ以下の帯域である。

しかしながら、動きベクトル検出部２０１の検出精度が落ちてしまうような状況が存在する。動きベクトル検出部２０１は、画像信号から特徴点を探してその移動速度を検出するため、画像信号に含まれる被写体が繰り返し模様や低コントラスト、低輝度である場合には特徴点を正確に捉えることができず、正確な検出ができなくなることがある。また、フレーム間の画像に全く異なる被写体が写っている場合にも特徴点の移動量が算出できないため、正確な検出ができなくなる。そのため、そのような場合には加速度検出部１６からの加速度信号を基に算出した第２の補正係数を使用する。

判断部２１８は、被写体情報検出部２１４の出力信号に基づいて、被写体の輝度が低い、被写体のコントラストが低い、被写体の柄が繰り返し模様、被写体の移動速度が速い、背景以外の動きが早い等の場合に、動きベクトル検出部２０１の検出精度が落ちてしまう状況と判断する。判断部２１８で、動きベクトル検出部２０１の検出精度が落ちてしまう状況であると判断した場合には、第１の補正係数を使用せず、第２の補正係数を出力する。

また、判断部２１８は角度振れ像面速度(未補正)と平行振れ像面速度(未補正)の割合に応じても判断を行う。平行振れ像面速度（未補正）３０３は、図３に示す通り、動きベクトル検出部２０１の出力から角度振れ像面速度（未補正）３０２を減算したものである。そのため、平行振れ像面速度（未補正）３０３が小さい場合には、動きベクトル検出部２０１と角速度検出部１５と振れ補正量検出部２０８の検出誤差に埋もれてしまう可能性がある。そのため、判断部２１８では、平行振れ像面速度(未補正)３０３が角度振れ像面速度(未補正) ３０２と比較して検出誤差に埋もれる可能性がある場合には、第１の補正係数を使用せず、第２の補正係数を出力する。

なお、角度振れ像面速度（未補正）３０２と平行振れ像面速度（未補正）３０３の比較をする際には、検出した値ではなく、平行振れ像面速度（未補正）３０３の推定値を用いて比較することもできる。例えば、まず、角度振れ像面速度（補正済）３０１と角度振れ像面速度（未補正）３０２との合計と、平行振れ像面速度（未補正）３０３の平均的な割合を取得する。そして、取得した割合を使用して、得られた角度振れ像面速度（補正済）３０１と角度振れ像面速度（未補正）３０２との合計から、平行振れ像面速度（未補正）３０３を推定する。そして、推定した平行振れ像面速度（未補正）３０３と角度振れ像面速度（未補正）３０２とを比較し、検出誤差に埋もれる可能性があるかどうかを判断する。なお、角度振れ像面速度（補正済）３０１と角度振れ像面速度（未補正）３０２との合計と、平行振れ像面速度（未補正）３０３との平均的な割合は撮影秒時によって異なるため、撮影秒時毎に割合を保持しておく。

また、角度振れ像面速度（補正済）３０１と角度振れ像面速度（未補正）３０２との合計から平行振れ像面速度（未補正）３０３を推定することにより、被写体が動いているかどうかを推定することができる。角度振れ像面速度（補正済）３０１と角度振れ像面速度（未補正）３０２との合計と、推定した平行振れ像面速度（未補正）３０３とを加算した値よりも動きベクトル検出部２０１の出力が大きい場合、被写体が動いている可能性がある。被写体が動いているかどうかの推定は、動いている被写体の像が撮像素子６の出力する各フレームの画像中で支配的である時に有効である。被写体が動いている場合には、判断部２１８は第１の補正係数を使用せず、第２の補正係数を使用する。加速度検出部１６からの加速度信号に基づいて算出した第２の補正係数は、連写時等シャッター駆動による振動が大きい状況以外では、第１の補正係数の値が大きく外れていないかどうかの確認にも使用できる。

判断部２１８で判断した結果、選択された第１の補正係数または第２の補正係数は積分器２１９において積分され、平行振れ量演算部２２０において角速度検出部１５からの角速度信号と乗算することにより、撮像面での平行振れ量に換算される。

次に、図４のフローチャートを参照して、上述した平行振れ量の演算処理の流れを説明する。
なお、図４に示す平行振れ演算処理は、エーミング信号が入力されると開始する。エーミング信号は、不図示のファインダーの信号、角速度検出部１５の信号、スイッチＳＷ１の信号によって判断し入力される。なお、この処理の開始とともに、振れ補正部１４とレンズ駆動部１３は、それぞれ撮像素子６と防振レンズ９の駆動を開始する。

Ｓ４０１において、動きベクトル検出部２０１による動きベクトル検出、角速度検出部１５による角速度検出、加速度検出部１６による加速度検出を行うと共に、振れ補正量検出部２０８から振れ補正情報である補正済みの角度振れ像面速度を取得する。

次に、Ｓ４０２において、Ｓ４０１で取得した情報に基づいて、上述したようにして第１の補正係数及び第２の補正係数を演算する。
Ｓ４０３では、被写体情報検出部２１４から被写体の情報を検出する。
Ｓ４０４では、判断部２１８において、Ｓ４０３で得られた被写体の情報及び撮像装置１０００の振れに関する状態等に基づいて、上述したようにして第１の補正係数または第２の補正係数を選択する判断を行う。

Ｓ４０５では、スイッチＳＷ２がＯＮとなっているどうかの判断を行う。スイッチＳＷ２がＯＦＦの場合には、Ｓ４０１の処理に戻る。スイッチＳＷ２がＯＮの場合には、Ｓ４０６に進み、Ｓ４０４で選択された補正係数を用いて、平行振れ量演算部２２０により像面平行振れ量を演算する。Ｓ４０６の開始とともに、振れ補正部１４とレンズ駆動部１３は、平行振れ量も含んだ補正量で撮像素子６と防振レンズ９の駆動を行う。露光が終了すると処理を終了する。

上記の通り本第１の実施形態によれば、複数の方法で平行振れを検出し、被写体や撮像装置の状態に応じて選択された方法により検出された平行振れを選択することで、より的確に平行振れを補正することが可能になる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第２の実施形態における撮像装置の構成は、図１及び図２を参照して説明した撮像装置１０００と同様であるため、ここでは説明を省略する。

平行振れ補正の精度があまり高くない場合、平行振れ量が小さい時に平行振れ補正を行ってしまうと平行振れを補正し過ぎてしまい、却って画質がが悪化してしまうことがある。そこで、第２の実施形態では、撮影距離と撮影秒時に応じて平行振れ補正量のゲインを変化させることで、画質の悪化を防ぐ方法について説明する。なお、ここでいう撮影距離は、撮影距離を焦点距離で除して無次元化したものとし、カメラシステム制御部５により検出される。

焦点距離に依らず撮影範囲を一定にしたい場合、この無次元化した撮影距離が同じ値になるようにすることで実現できる。また、平行振れにおいて、撮像装置の振れ量を撮像装置の撮像面上の値に変換する際には、この無次元化した撮影距離で除することで変換できる。これらの利点から、無次元化した撮影距離を使用する。

撮影秒時は、撮影者の操作、もしくは撮像装置の測光機能によって計算され、シャッタ駆動部１８に入力され、シャッタ機構１７が駆動される。なお、撮像素子６が電子シャッタ機能を有する場合には、撮像秒時に応じて撮像素子６の電荷リセットや電荷読み出しタイミングを制御してもよい。

角度振れ量は撮影距離に依らないのに対し、平行振れ量は撮影距離によって異なる。また、平行振れ量は、撮影距離が近いほど大きく、撮影距離が遠いほど小さくなる。また、角度振れ量、平行振れ量は、共に撮影秒時が長いほど大きくなり、撮影秒時が短いほど小さくなる。このように、角度振れ量は、撮影距離によって量が変わらないため、撮影秒時によってのみ補正量を変化させれば良い。

一方で、平行振れ量は撮影距離と撮影秒時によって量が変わるため、撮影距離と撮影秒時を考慮して補正量を変化させる必要がある。しかしながら、平行振れ量は撮影距離によって補正量が異なるため、複数の被写体が存在し、それぞれ撮影距離が大きく異なる場合には、補正するべき平行振れ量が定まらないため、平行振れ補正を行わない。その場合、撮影後に領域ごとに補正を行う等の方法で平行振れを補正する。

また、複数の被写体の撮影距離が互いに大きく異なる場合においても、撮像装置のＡＦの状態が中央１点等になっている場合には、撮影者は１点を撮影したい意図を持っていると推測されるため、平行振れ補正を行う。

実際に露光中に発生している平行振れをもとに平行振れ補正量を算出してゲインを求めることが望ましいが、露光中の総ぶれ量は露光が終わるまで未知であるため為、実現は難しい。そこで、予め平均的な平行振れ量を基にして撮影距離と撮影秒時に応じたゲインを計算しておき、テーブル（以下、「ゲインテーブル」と呼ぶ。）として保持しておく。平行振れ補正を行う際には、撮影距離と撮影秒時を決めたら、このゲインテーブルを参照して平行振れ補正のゲインを決定する。撮影者により平行振れ量は異なるため、撮影者の特性に合わせてゲインテーブルを書き換えてもよい。また、撮影者の姿勢によっても平行振れ量は異なるため、いくつかの平行振れ量に応じたゲインテーブルを予め保持しておき、切り替えても良い。撮影者の設定したモードに応じて、ゲインテーブルを切り替えてもよい。モードは、例えば平行振れ補正の強弱や、マクロ撮影モード等が考えられる。

また、露光前の平行振れ量を基に露光中の平行振れ量を推定し、参照するゲインテーブルを切り替えても良い。露光前の平行振れ量の傾向から平行振れ量の多い少ない等を判断し、基本的に参照するテーブルを書き換えてもよい。

露光前の平行振れ量をもとに、撮影秒時と撮影距離を加味した露光中の平行振れ量を推定し、予め定めた振れ基準と比較することによりゲイン値を求め、使用してもよい。

ここで、撮影秒時と撮影距離から作られるテーブルの特徴について図５を用いて説明する。
図５において、横軸は撮影距離、縦軸は撮影秒時を示している。ハッチングされた領域５０１は、予め決められた振れの基準よりも振れ量が大きかったところ、つまり平行振れを補正するべき領域である。領域５０１の中でも、平行振れ量は異なり、撮影距離が短く、撮影秒時が長い領域ほど平行振れ量は大きくなるため、領域５０１の中でも、平行振れ量が多いところはゲインを大きくする。

一方、白の領域５０２は、平行振れの量が予め決められた振れの基準以下の領域である。この領域５０２は、平行振れの補正が必ずしも必要であるとは言えない領域である。ただし、特に領域５０１との境界付近は平行振れ量がある程度含まれているので、補正するようにしてもよく、平行振れの精度に応じて、ゲインを決定する。例えば、領域５０１に近い領域５０２の領域はゲインを高めに、そうでない領域はゲインを低めに設定する。

このように、平行振れの検出精度が高い場合には、平行振れ補正が必須ではない領域においても大きいゲイン値を入れておくことで、平行振れ補正の効果を最大限発揮できる。

ゲイン値はどのように設定しても良いが、例えば平行振れ補正が必須な領域には１を入れておき、平行振れ補正が必須ではない領域には０に近い値を入れておく。平行振れ補正を実行する際には、検出した平行振れ補正量に対してゲイン値を乗算する。

次に、図６のフローチャートを参照して、第２の実施形態における平行振れ量の演算処理の流れを説明する。図６に示す処理は、撮像装置の電源ＯＮやスイッチＳＷ１がＯＮとなると開始する。

Ｓ５０１で撮影距離を検出し、Ｓ５０２で撮影秒時の設定値を確認する。Ｓ５０３では、撮影者の特性や撮影モード等に応じて、ゲインテーブルを参照し、Ｓ５０４において、撮影距離及び撮影秒時に応じてゲイン値を決定する。その後、図４のＳ４０１からＳ４０４の処理を行って、補正係数を選択するが、ここでは詳細説明を省略する。

Ｓ４０５でスイッチＳＷ２がＯＮとなったかどうかを判断し、ＯＮであれば、Ｓ５０６において、Ｓ５０４で定めたゲイン値とＳ４０４で選択された補正係数とを使用して平行振れ補正を行う。Ｓ４０５でＯＦＦと判断した場合には、再度Ｓ５０１に戻り、新たなゲイン値を決定する。

上記の通り第２の実施形態によれば、第１の実施形態の効果に加えて、更に画質の劣化を抑えることができる。

なお、第２の実施形態においても、図２に示す構成により動きベクトル検出部２０１により検出された動きベクトルに基づく第１の補正係数と、加速度検出部１６により検出された加速度に基づく第２の補正係数とを求め、いずれかを選択してゲインをかけるものとした。しかしながら、本発明はこれに限れられるものでは無く、平行振れ量の取得方法は特に問わない。例えば、第１の実施形態で説明をした第１の補正係数と第２の補正係数のうち、いずれか一方のみの補正係数を求めることが可能な構成を有する撮像装置に適用することも可能である。また、その他、加速度センサにより検出した加速度を二階積分する方法、慣性航法などを用いることもできる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。
上述した第１の実施形態では、動きベクトル検出部２０１と角速度検出部１５を用いて第１の補正係数を演算する方法について説明した。しかしながら、動きベクトル検出部２０１が動きベクトルを検出できない場合や、撮影者が構えていない場合、撮影者がパンニング動作をしている場合には、誤差がのってしまい、平行振れの演算が安定しないことがある。

第３の実施形態では、動きベクトル検出部２０１が動きベクトルを検出できない場合や、撮影者が構えていない場合、撮影者がパンニング動作をしている時等の第１の補正係数の演算方法について説明する。

比較器２１６では、ＬＰＦ２１１の出力とＬＰＦ２１２の出力を比較する。第１の実施形態では、ＬＰＦ２１１の出力とＬＰＦ２１２の出力をすべて使用して演算する方法について説明した。これに対し、第３の実施形態では、上記で挙げたようにデータが取得不可であるタイミングが含まれる場合の演算方法について図７を用いて説明する。なお、図２と同様の構成については同じ参照番号を付して説明を省略する。

第３の実施形態では、ＬＰＦ２１１とＬＰＦ２１２の出力はデータ判定部７０３に入力される。データ判定部７０３では、動きベクトル検出部２０１の動きベクトルの検出精度が落ちている、検出できない、撮影者が構えていない、もしくは撮影者がパンニング動作をしている場合の少なくともいずれかに当てはまるかどうかを判定する。いずれかに当てはまる場合には、データ判定部７０３は、ＬＰＦ２１１とＬＰＦ２１２の信号と一緒にフラグを出力し、その他の場合にはＬＰＦ２１１とＬＰＦ２１２の信号を出力する。

データ保存部７０４は、データ判定部７０３の出力をフラグも含めて時系列のデータとして保存する。比較器２１６はデータ保存部７０４から出力されたＬＰＦ２１１とＬＰＦ２１２の出力信号の比から第１の補正係数を演算する。この際に、比較器２１６は、撮影秒時と同じ長さの時間内に得られる、フラグが立っているデータと立っていないデータとを合わせたデータ数のＬＰＦ２１１とＬＰＦ２１２の出力信号を入力する。そして、その内のフラグが立っていないデータのみを使用して第１の補正係数を演算する。これは、撮影秒時と同じ長さの時間内に得られるデータを使用して第１の補正係数を演算した方が補正効果が高いためである。しかし、データのサンプリング周期によっては、撮影秒時が短い時にはデータ数が少なくなってしまうことがある。そのような場合には、撮影秒時よりも長い時間に得られるデータを使用して第１の補正係数を演算する。

信頼度演算部７０７には、データ保存部７０４の出力信号が入力され、比較器２１６で演算される第１の補正係数の信頼度を演算する。信頼度は、第１の補正係数の演算に使用可能である最大のデータ数と、現在の第１の補正係数の演算に使用可能であるデータ数との比較によって求める。例えば、第１の補正係数に使用可能なデータ数が半分以下になった場合には、第１の補正係数の信頼度がかなり低くなるため、最終的な第１の補正係数の計算に、過去に計算した第１の補正係数も使用する。また例えば、信頼度は、安定して第１の補正係数が求められるデータ数に対して、現在使用可能なデータ数から求めても良い。すなわち、信頼度は、現在の補正係数の演算に使用可能なデータ数が、信頼できるものなのかどうかを計算することができれば良く、計算方法は問わない。

補正係数保存部７０５には、データ保存部７０４の出力信号と、比較器２１６により演算された第１の補正係数と、信頼度演算部７０７により演算された信頼度とが入力される。そして、最新のデータから一つ前のデータのフラグが立っていて、最新のデータのフラグが立っておらず、さらに信頼度演算部７０７で演算した信頼度が一定の値以上である場合に、第１の補正係数を保存する。

保存補正係数信頼度演算部７０６では、補正係数保存部７０５に保存された第１の補正係数の信頼度を更新する。これは、補正係数保存部７０５に保存された第１の補正係数は、時間経過とともに信頼度が下がっていくと考えるためである。そこで保存補正係数信頼度演算部７０６は、補正係数保存部７０５に保存した時刻からの経過時刻を計算しておき、経過時刻に応じて信頼度を下げる計算を行う。この時の信頼度係数の演算は、線形で計算してもよいし、非線形な計算をしてもよい。

補正係数演算部７０８では、信頼度演算部７０７、比較器２１６、補正係数保存部７０５、保存補正係数信頼度演算部７０６の出力から、最終的な第１の補正係数を演算する。具体的には、補正係数演算部７０８では、信頼度演算部７０７の出力する信頼度がある閾値以上の場合には、比較器２１６から出力される第１の補正係数を最終的な第１の補正係数として出力する。一方、信頼度演算部７０７の出力する信頼度がある閾値よりも低く、保存補正係数信頼度演算部７０６の出力する信頼度がある閾値以上の場合には、比較器２１６から出力された第１の補正係数と、補正係数保存部７０５に保存された第１の補正係数をそれぞれの信頼度に応じた重みづけ平均を行い、最終的な第１の補正係数として出力する。また、信頼度演算部７０７の出力する信頼度がある閾値よりも低く、保存補正係数信頼度演算部７０６の出力する信頼度もある閾値よりも低い場合には、第１の補正係数として０を出力する。

その後、判断部２１８では、第１の実施形態で記載したようにして、第１の補正係数と第２の補正係数のいずれを用いるかを判断する。

次に、図８のフローチャートを参照して、第３の実施形態において補正係数演算部７０８で行われる処理の流れを説明する。なお、この処理は、図４のＳ４０２で行われる第１の補正係数の演算処理として実施される。

Ｓ６０１では、データ判定部７０３が、動きベクトル検出部２０１の動きベクトルの検出精度が落ちているか検出できない、撮影者が構えていない、もしくは撮影者がパンニング動作をしているか、の少なくともいずれかの条件に当てはまるかどうかを判定する。

そして、Ｓ６０２において、Ｓ６０１の判定結果に応じて、いずれかの条件に当てはまる場合には、データ保存部７０４はＬＰＦ２１１とＬＰＦ２１２の出力信号と一緒に出力されたフラグを保存する。いずれの条件にも当てはまらない場合には、ＬＰＦ２１１とＬＰＦ２１２の出力信号を保存する。

Ｓ６０３では、比較器２１６において、フラグが立っていないＬＰＦ２１１とＬＰＦ２１２の出力信号から、第１の補正係数を演算する。
Ｓ６０４では、信頼度演算部７０７において、比較器２１６で演算される第１の補正係数の信頼度を求める。

次に、Ｓ６０５において、補正係数保存部７０５は、最新のデータから一つ前のデータにフラグが立っていて、最新のデータにフラグが立っておらず、且つ、信頼度演算部７０７で求めた信頼度が一定の値以上であるかどうかを判断する。上述した条件に当てはまる場合にはＳ６０８に進み、当てはまらない場合にはＳ６０６へ進む。

Ｓ６０８では、補正係数保存部７０５は第１の補正係数を保存して、Ｓ６０９に進む。Ｓ６０９では、保存補正係数信頼度演算部７０６において、時間経過に応じて信頼度を調整する。

Ｓ６０６において、補正係数演算部７０８は、信頼度が閾値以上かどうかを判断する。閾値以上の場合、Ｓ６０７に進み、Ｓ６０３で求めた第１の補正係数を、最終的な第１の補正係数として使用する。

一方、閾値未満の場合、Ｓ６１０へ進み、補正係数演算部７０８は、Ｓ６０９で調整された信頼度が閾値以上かどうかを判断する。閾値以上の場合にはＳ６１１へ進み、Ｓ６０３で求めた第１の補正係数と、Ｓ６０８で補正係数保存部７０５に保存された第１の補正係数とを、それぞれの信頼度に基づいて重みづけ平均したものを、最終的な第１の補正係数とする。

Ｓ６１０で、調整された信頼度が閾値未満であった場合にはＳ６１２へと進み、最終的な第１の補正係数を０とする。ここでは０として補正を行わないようにしてもよいし、この方法では補正を行えないことを表す信号を出力してもよい。
第１の補正係数が決まると、処理を終了する。

上記の通り第３の実施形態によれば、第１の実施形態の効果に加えて、更に動きベクトルに基づく平行振れの検出誤差を抑制することができる。

＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、スキャナ、ビデオカメラなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１：カメラ本体、２：レンズユニット、５：カメラシステム制御部、６：撮像素子、９：防振レンズ、１３：レンズ駆動部、１４：振れ補正部、１５：角速度検出部、１６：加速度検出部、２０１：動きベクトル検出部、２０４：角度振れ演算器、２０７:平行振れ抽出器、２１４：被写体情報検出部、２１５：振れ情報検出部、２１６，２１７：比較器、２１８：判断部、２２０：平行振れ量演算部、４０１：平行振れ演算器、７０４：データ保存部、７０５：補正係数保存部、７０６：保存補正係数信頼度演算部、７０７：信頼度演算部、７０８：補正係数演算部

Claims (19)

1. 撮像素子から繰り返し出力される画像から、動きベクトルを検出する動きベクトル検出手段と、
   前記動きベクトルに基づいて、平行振れ量を算出するための第１の補正係数を演算する第１の演算手段と、
   撮像装置の振れの加速度に基づいて、前記平行振れ量を算出するための第２の補正係数を演算する第２の演算手段と、
   前記動きベクトル検出手段における前記動きベクトルの検出の精度に関する情報に基づいて、前記第１の補正係数と前記第２の補正係数のいずれかを選択する判断手段と、
   前記判断手段により選択された前記第１の補正係数または前記第２の補正係数を用いて、前記平行振れ量を求める算出手段と、を有し、
   前記判断手段は、前記撮像装置の振れの角速度に基づいて算出される前記撮像素子の像面上の角度振れ像面速度に対する、過去に前記第１の補正係数を求めるために前記動きベクトルに基づいて算出した前記撮像素子の像面上の平行振れ像面速度の割合が、予め決められた割合よりも低い場合に、前記第２の補正係数を選択し、それ以外の場合に前記第１の補正係数を選択することを特徴とする防振制御装置。
2. 撮像素子から繰り返し出力される画像から、動きベクトルを検出する動きベクトル検出手段と、
   前記動きベクトルに基づいて、平行振れ量を算出するための第１の補正係数を演算する第１の演算手段と、
   撮像装置の振れの加速度に基づいて、前記平行振れ量を算出するための第２の補正係数を演算する第２の演算手段と、
   前記動きベクトル検出手段における前記動きベクトルの検出の精度に関する情報に基づいて、前記第１の補正係数と前記第２の補正係数のいずれかを選択する判断手段と、
   前記判断手段により選択された前記第１の補正係数または前記第２の補正係数を用いて、前記平行振れ量を求める算出手段と、を有し、
   前記判断手段は、前記撮像装置の振れの角速度に基づいて過去に算出した前記撮像素子の像面上の角度振れ像面速度と、過去に前記第１の補正係数を求めるために前記動きベクトルに基づいて算出した前記撮像素子の像面上の平行振れ像面速度との割合に基づいて、新たに検出した前記角速度に基づいて算出した角度振れ像面速度から前記平行振れ像面速度を推定し、前記推定に用いた角度振れ像面速度に対する前記推定された平行振れ像面速度の割合が、予め決められた割合よりも低い場合に、前記第２の補正係数を選択し、それ以外の場合に前記第１の補正係数を選択することを特徴とする防振制御装置。
3. 前記情報は、前記画像が繰り返し模様を含むか否か、前記画像のコントラスト、前記画像の輝度、前記画像に含まれる被写体の動き、前記画像の背景の状態を含み、前記判断手段は、前記情報が、前記繰り返し模様を含む状態、前記コントラストが予め決められたコントラストよりも低い状態、前記輝度が予め決められた輝度よりも低い状態、前記被写体の予め決められた動きよりも大きい状態、前記背景の動きが予め決められた動きよりも大きい状態、の少なくともいずれかを示す場合に、前記精度が低いと判断することを特徴とする請求項１または２に記載の防振制御装置。
4. 前記画像を撮影する際の撮影秒時および撮影距離に基づいてゲインを決定して、前記判断手段により選択された前記第１の補正係数または前記第２の補正係数にかけるゲイン手段を更に有し、
   前記算出手段は、前記ゲインがかけられた前記第１の補正係数または前記第２の補正係数を用いて、前記平行振れ量を求めることを特徴とする請求項１乃至３のいずれか１項に記載の防振制御装置。
5. 前記ゲイン手段は、前記撮影秒時が第１の撮影秒時の場合に、前記第１の撮影秒時よりも短い第２の撮影秒時の場合よりもゲインを大きくすることを特徴とする請求項４に記載の防振制御装置。
6. 前記ゲイン手段は、前記撮影距離が第１の撮影距離の場合に、前記第１の撮影距離よりも長い第２の撮影距離の場合よりもゲインを大きくすることを特徴とする請求項４または５に記載の防振制御装置。
7. 複数の異なる撮影秒時と、複数の異なる撮影距離に応じたゲインを保持したゲインテーブルを有し、
   前記ゲイン手段は、前記ゲインテーブルを参照して前記ゲインを決定することを特徴とする請求項４乃至６のいずれか１項に記載の防振制御装置。
8. 前記撮像装置のモードおよび撮影者の特性に応じた複数の前記ゲインテーブルを有し、
   前記ゲイン手段は、前記複数のゲインテーブルの内、前記撮像装置のモードおよび撮影者の特性に応じたゲインテーブルを参照することを特徴とする請求項７に記載の防振制御装置。
9. 撮像素子から繰り返し出力される画像から、動きベクトルを検出する動きベクトル検出手段と、
   前記動きベクトルに基づいて、平行振れ量を算出するための第１の補正係数を演算する第１の演算手段と、
   撮像装置の振れの加速度に基づいて、前記平行振れ量を算出するための第２の補正係数を演算する第２の演算手段と、
   前記動きベクトル検出手段における前記動きベクトルの検出の精度に関する情報に基づいて、前記第１の補正係数と前記第２の補正係数のいずれかを選択する判断手段と、
   前記判断手段により選択された前記第１の補正係数または前記第２の補正係数を用いて、前記平行振れ量を求める算出手段と、
   前記第１の補正係数の信頼度を演算する信頼度演算手段と、
   前記第１の補正係数と、当該第１の補正係数の前記信頼度とを保持する保持手段と、
   前記保持手段に保持された前記信頼度を、保持されてからの時間経過に応じて調整する調整手段と、
   前記第１の演算手段により新たに演算された前記第１の補正係数の信頼度および前記調整手段により調整された前記信頼度に基づいて、前記新たに演算された第１の補正係数と、前記保持手段に保持された前記第１の補正係数とから、前記判断手段に入力する前記第１の補正係数を求める第３の演算手段と
   を有することを特徴とする防振制御装置。
10. 前記第３の演算手段は、
    前記新たに演算された第１の補正係数の信頼度が第１の閾値以上の場合に、前記新たに演算された第１の補正係数を選択し、
    前記新たに演算された第１の補正係数の信頼度が閾値未満であって、且つ、前記調整された信頼度が第２の閾値以上の場合に、前記新たに演算された第１の補正係数の信頼度と前記調整された信頼度とに基づいて、前記新たに演算された第１の補正係数と前記保持された第１の補正係数とを重みづけ平均し、
    前記新たに演算された第１の補正係数の信頼度が閾値未満であって、且つ、前記調整された信頼度が第２の閾値未満の場合に、第１の補正係数を出力しない
    ことを特徴とする請求項９に記載の防振制御装置。
11. 前記調整手段は、前記保持手段に前記信頼度が保持されてからの時間経過に応じて、当該信頼度を下げることを特徴とする請求項９または１０に記載の防振制御装置。
12. 前記第１の演算手段は、前記情報が前記精度が低いことを示す前記動きベクトルを除く、撮影秒時と同じ長さの時間の間に出力される複数の前記動きベクトルに基づいて前記第１の補正係数を演算することを特徴とする請求項９乃至１１のいずれか１項に記載の防振制御装置。
13. 撮影秒時が予め決められた撮影秒時よりも短い場合に、前記第１の演算手段は、前記情報が前記精度が低いことを示す前記動きベクトルを除く、前記撮影秒時よりも長い時間の間に出力される複数の前記動きベクトルに基づいて前記第１の補正係数を演算することを特徴とする請求項９乃至１２のいずれか１項に記載の防振制御装置。
14. 請求項１乃至１３のいずれか１項に記載の防振制御装置と、
    前記撮像素子と
    を有することを特徴とする撮像装置。
15. 動きベクトル検出手段が、撮像素子から繰り返し出力される画像から、動きベクトルを検出する動きベクトル検出工程と、
    第１の演算手段が、前記動きベクトルに基づいて、平行振れ量を算出するための第１の補正係数を演算する第１の演算工程と、
    第２の演算手段が、撮像装置の振れの加速度に基づいて、前記平行振れ量を算出するための第２の補正係数を演算する第２の演算工程と、
    判断手段が、前記動きベクトル検出工程における前記動きベクトルの検出の精度に関する情報に基づいて、前記第１の補正係数と前記第２の補正係数のいずれかを選択する判断工程と、
    算出手段が、前記判断工程で選択された前記第１の補正係数または前記第２の補正係数を用いて、前記平行振れ量を求める算出工程と、を有し、
    前記判断工程では、前記撮像装置の振れの角速度に基づいて算出される前記撮像素子の像面上の角度振れ像面速度に対する、過去に前記第１の補正係数を求めるために前記動きベクトルに基づいて算出した前記撮像素子の像面上の平行振れ像面速度の割合が、予め決められた割合よりも低い場合に、前記第２の補正係数を選択し、それ以外の場合に前記第１の補正係数を選択することを特徴とする防振制御方法。
16. 動きベクトル検出手段が、撮像素子から繰り返し出力される画像から、動きベクトルを検出する動きベクトル検出工程と、
    第１の演算手段が、前記動きベクトルに基づいて、平行振れ量を算出するための第１の補正係数を演算する第１の演算工程と、
    第２の演算手段が、撮像装置の振れの加速度に基づいて、前記平行振れ量を算出するための第２の補正係数を演算する第２の演算工程と、
    判断手段が、前記動きベクトル検出工程における前記動きベクトルの検出の精度に関する情報に基づいて、前記第１の補正係数と前記第２の補正係数のいずれかを選択する判断工程と、
    算出手段が、前記判断工程で選択された前記第１の補正係数または前記第２の補正係数を用いて、前記平行振れ量を求める算出工程と、を有し、
    前記判断工程では、前記撮像装置の振れの角速度に基づいて過去に算出した前記撮像素子の像面上の角度振れ像面速度と、過去に前記第１の補正係数を求めるために前記動きベクトルに基づいて算出した前記撮像素子の像面上の平行振れ像面速度との割合に基づいて、新たに検出した前記角速度に基づいて算出した角度振れ像面速度から前記平行振れ像面速度を推定し、前記推定に用いた角度振れ像面速度に対する前記推定された平行振れ像面速度の割合が、予め決められた割合よりも低い場合に、前記第２の補正係数を選択し、それ以外の場合に前記第１の補正係数を選択することを特徴とする防振制御方法。
17. 動きベクトル検出手段が、撮像素子から繰り返し出力される画像から、動きベクトルを検出する動きベクトル検出工程と、
    第１の演算手段が、前記動きベクトルに基づいて、平行振れ量を算出するための第１の補正係数を演算する第１の演算工程と、
    第２の演算手段が、撮像装置の振れの加速度に基づいて、前記平行振れ量を算出するための第２の補正係数を演算する第２の演算工程と、
    信頼度演算手段が、前記第１の補正係数の信頼度を演算する信頼度演算工程と、
    保持手段に、前記第１の補正係数と、当該第１の補正係数の前記信頼度とを保持する保持工程と、
    調整手段が、前記保持手段に保持された前記信頼度を、保持されてからの時間経過に応じて調整する調整工程と、
    第３演算手段が、前記第１の演算工程で新たに演算された前記第１の補正係数の信頼度および前記調整工程で調整された前記信頼度に基づいて、前記新たに演算された第１の補正係数と、前記保持工程で保持された前記第１の補正係数とから、第３の補正係数を求める第３の演算工程と、
    判断手段が、前記動きベクトル検出工程における前記動きベクトルの検出の精度に関する情報に基づいて、前記第３の補正係数と前記第２の補正係数のいずれかを選択する判断工程と、
    算出手段が、前記判断工程で選択された前記第３の補正係数または前記第２の補正係数を用いて、前記平行振れ量を求める算出工程と、
    を有することを特徴とする防振制御方法。
18. コンピュータを、請求項１乃至１３のいずれか１項に記載の防振制御装置の各手段として機能させるためのプログラム。
19. 請求項１８に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images