JP7630282B2 - 撮像装置およびその制御方法、および画像処理装置および方法 - Google Patents

Description

本発明は、撮像装置およびその制御方法、および画像処理装置および方法に関し、特に、撮像装置における防振技術に関する。

近年、撮像装置の高性能化により、多くの撮像装置に、撮像素子を移動させることで手ブレを補正する技術（像面防振）が搭載されている。この像面防振技術では、光軸に垂直な平面内での並進移動に加えて、光軸方向を中心とした回転移動が可能な像面防振機構が多く提案されている。

また手ブレ補正には、撮影した画像を、基準となる画像に重なるよう電子的に位置合わせすることで補正する技術（電子防振）がある。さらに、複数の画像を位置合わせして合成することで、長秒露光と等しい画像を得る技術（以下、「画像合成防振」と呼ぶ。）がある。電子防振は画像を合成する必要がなく、リアルタイム性の求められる動画で利用されることが多い。一方、画像合成防振は合成処理が必要なことや、長秒露光を想定していることから、一般的に静止画で利用される。

また、特許文献１では、撮像センサを回転して回転ブレを補正する像面防振と、電子防振とを協調させて、手ブレ補正を行う技術が開示されている。

特開２０１２－２４２５６３号公報

一般に、静止画の防振では、各画像の画質が重視され、動画の防振では画像の時系列的な安定性が重視される。そのため、静止画向けの画像合成防振と、動画向けの電子防振とでは求められるものが異なるため、同じ方法により像面防振と電子防振とを行った場合、静止画と動画のいずれかの画像で所望の画質が得られない場合がある。

本発明は上記問題点を鑑みてなされたものであり、動画と静止画のそれぞれに適した像面防振制御を行うことを目的とする。

また、複数の画像を合成する場合に、合成された画像の画質を向上することを第２の目的とする。

上記目的を達成するために、本発明の撮像装置は、撮影光学系を介して入射した光を光電変換して画像を出力する撮像手段と、
撮像装置のブレを検知するブレ検知手段と、前記撮像手段を、前記撮影光学系の光軸に対して垂直な面において、並進駆動および回転駆動する駆動手段と、前記ブレ検知手段により検知されたブレを補正するように、前記並進駆動の並進量および前記回転駆動の回転量を生成する生成手段と、を有し、前記撮像手段から出力された複数の画像が合成される場合に、当該複数の画像を前記撮像手段により撮影するときに、前記生成手段は、前記撮像手段を前記回転駆動するための回転量を生成し、前記回転駆動後に前記撮像手段を前記並進駆動できる範囲で前記並進量を生成することを特徴とする。

本発明によれば、動画と静止画のそれぞれに適した像面防振制御を行うことができる。また、複数の画像を合成する場合に、合成された画像の画質を向上することができる。

本発明の第１の実施形態における撮像システムの中央断面図および概略構成を示すブロック図。 第１の実施形態における防振機構の分解斜視図。 第１の実施形態における処理を説明するフローチャート。 第１の実施形態における防振機構の回転と並進の関係を説明する図。 第２の実施形態に係るあおりブレを説明する図。 第２の実施形態における処理を説明するフローチャート。 第２の実施形態に係る回転ブレおよびあおりブレのブレ量と、焦点距離との関係を説明する図。 第３の実施形態における撮像システムの概略構成を示すブロック図。 第３の実施形態における撮像素子の構造を説明する図。 第３の実施形態における像ずれ演算器および信頼性検知器が行う処理を説明する図。 第４の実施形態における撮像装置の概略外観図および画像処理部の構成を示すブロック図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜第１の実施形態＞
図１は、本発明の実施形態における撮像装置である。図１（ａ）は、本発明の実施形態における撮像装置としての撮像システムの中央断面図、図１（ｂ）は、撮像システムの概略構成を示すブロック図である。

図１（ａ）に示すように、本実施形態の撮像システムは、主に、カメラ本体１と、カメラ本体１に着脱可能なレンズユニット２とからなる。カメラ本体１とレンズユニット２は、電気接点１１を介して電気的に接続される。なお、本発明の撮像装置はこの構成に限られるものでは無く、カメラ本体とレンズユニットが一体的に構成された撮像装置であってもよい。

レンズユニット２は、光軸４上に配された、フォーカスレンズ、ズームレンズ、防振レンズ等といったレンズを含む複数のレンズおよび絞りからなる撮影光学系３と、レンズシステム制御回路１２と、レンズメモリ１７とを含む。また、カメラ本体１は、撮像素子６、背面表示装置９ａ、ＥＶＦ９ｂ、防振機構１４、ブレ検知部１５、シャッタ機構１６を含む。

図１（ｂ）は、撮像システムの電気的構成を示す図であり、レンズユニット２は更に、撮影光学系３に含まれるフォーカスレンズ、ズームレンズ、防振レンズ、絞りなどを駆動するレンズ駆動機構１３を備える。また、カメラ本体１は、更に、カメラシステム制御回路５、画像処理部７、メモリ８、表示部９、操作検出部１０を含む。なお、表示部は、背面表示装置９ａおよびＥＶＦ９ｂを含む。

上記構成を有する撮像システムにおいて、撮影光学系３を介して入射した被写体からの光は、撮像素子６の撮像面に結像される。撮像素子６は、入射した光を光電変換し、光量に応じた電気信号（画像信号）を出力する。撮像素子６はいわゆる静止画、動画など様々なフォーマットの画像の画像信号を出力可能であり、複数のフォーマットの動画を、アスペクト比や記録画像の解像度等を変更して出力することができる。また、本実施形態の撮像システムは、静止画において時間的に連続した画像群を取得して合成するモード（ダイナミックレンジ拡張、ノイズリダクション等）を備えており、静止画、動画によらず、画像群を時間的に連続して取得する場合がある。

画像処理部７は、内部にＡ／Ｄ変換器、ホワイトバランス調整回路、ガンマ補正回路、補間演算回路等を有し、撮像素子６から出力された画像信号を処理することで、記録用の画像データを生成する。

また、画像処理部７はカメラシステム制御回路５に接続されている。カメラシステム制御回路５は、画像処理部７により処理された撮像素子６からの画像信号に基づいて、焦点評価値や露光量を求め、これらの値に基づいて合焦位置および露出条件（Ｆナンバーやシャッタ速度等）を求めることができる。そして、カメラシステム制御回路５は、求めた合焦位置および露出条件に基づいて電気接点１１を介してレンズシステム制御回路１２に指令を出し、レンズシステム制御回路１２は当該指令に基づいてレンズ駆動機構１３を制御する。シャッタ機構１６は、シャッタ幕を走行させることで撮像素子６への被写体像の入射／遮光を制御する。上記制御により、適切な光量で撮像素子６を露光するとともに、撮像素子６近傍で被写体像が結像する。

また、本実施形態における画像処理部７は、複数の画像間の位置をシフトして合わせることで防振する電子防振を行う位置合わせ部７１と、複数の画像を合成する画像合成部７２を備える。なお、位置合わせ部７１および画像合成部７２の具体的な動作については後述する。また、画像処理部７は、予め定められた方法を用いて、画像、動画、音声などのデータの圧縮を行う。

メモリ８は、画像の記憶部を備え、カメラシステム制御回路５は、メモリ８の記録部へ出力を行う。
表示部９は、カメラシステム制御回路５による制御により、ユーザがＥＶＦ９ｂを覗き込んでいる場合は、背面表示装置９ａを消灯してＥＶＦ９ｂに画像や情報の提示を行い、覗き込んでいない場合は背面表示装置９ａに画像や情報の情報提示を行う。なお、背面表示装置９ａはタッチパネルになっており、操作検出部１０に接続されている。

ブレ検知部１５は、光軸４に垂直な面での並進方向の並進ぶれおよび光軸４を中心とした回転方向の装置の回転ブレを検知可能であり、振動ジャイロや加速度センサなどを用いることができる。また、撮像素子６から出力される画像信号に基づき、各フレーム間の画像を比較することでぶれを検知してもよい。防振機構１４は、撮像素子６を光軸４に直交する平面内で並進駆動するとともに光軸４を中心として回転駆動する機構であり、この具体的な構造については、図２を参照して後述する。

カメラシステム制御回路５は、撮像の際のタイミング信号などを生成して出力する。また、操作検出部１０によって検出された外部操作に応動して、撮像処理、画像処理、記録再生処理をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出部１０が検出すると、これに応じて、カメラシステム制御回路５は、撮像素子６の駆動、画像処理部７の動作、圧縮処理の動作などを制御する。また、カメラシステム制御回路５は、画像処理部７に含まれる位置合わせ部７１および画像合成部７２のそれぞれの動作をオン／オフするための位置合わせオンオフ部５１および画像合成オンオフ部５２、更に、防振制御部５３を備えている。防振制御部５３は、後述するように位置合わせのオン／オフ、画像合成のオン／オフに基づいて、ブレ検知部１５の信号から防振機構１４による撮像素子６の駆動量の目標値を生成し、防振駆動（像面防振）制御を行う。

また、通常の手ブレ補正を行うモードにおいては、カメラシステム制御回路５は、撮像素子６から得られた信号に基づいて、レンズ駆動機構１３を介して撮影光学系３に含まれる防振レンズを制御することで、公知の光学防振を行うこともできる。

ここで、上記構成を有する撮像システムにおける像面防振制御の流れについて簡単に説明する。

本実施形態における像面防振制御は、ブレを検知するブレ検知部１５、像面防振を行う防振機構１４、および、カメラシステム制御回路５に備わる防振制御系を用いて行われる。そして、不図示のシャッターレリーズ釦を半分押し下げて撮影予備動作に入る操作（ＳＷ１）を操作検出部１０で検出する、いわゆる構図を定める動作中に、構図決めを容易にするために、防振機構１４を使って像面防振を行う。すなわち、ブレ検知部１５からの信号に基づいて防振機構１４を制御することで像面防振を実施する。その後、シャッターレリーズ釦を完全に押し下げて撮影動作に入る操作（ＳＷ２）を操作検出部１０で検出すると、露光して取得される被写体像のブレを抑制するために、防振機構１４を使って像面防振を行う。露光後一定時間が経過すると、像面防振動作を停止する。

次に、図２を用いて本実施形態の防振機構１４について説明する。図２は、防振機構１４のうち、ブレ補正を行う機構の分解斜視図である。なお、別途、制御を行う電気的な仕組みがあるが、図２に示す図にはそれは含まれていない。図２において縦の線は光軸と平行な方向である。図２において、移動しない部材（固定部）には１００番台の番号を付した。移動する部材（可動部）には２００番台の番号を付している。さらに、固定部と可動部で挟持されるボールは３００番台の番号を付している。

図２において、１０１は上部ヨーク、１０２ａ，１０２ｂ，１０２ｃはビス、１０３ａ，１０３ｂ，１０３ｃ，１０３ｄ，１０３ｅ，１０３ｆは上部磁石、１０４ａ，１０４ｂは補助スペーサ、１０５ａ，１０５ｂ，１０５ｃはメインスペーサである。また、１０６ａ，１０６ｂ，１０６ｃは固定部転動板、１０７ａ，１０７ｂ，１０７ｃ，１０７ｄ，１０７ｅ，１０７ｆは下部磁石、１０８は下部ヨーク、１０９ａ，１０９ｂ，１０９ｃはビス、１１０はベース板である。

２０１はＦＰＣ、２０２ａ，２０２ｂ，２０２ｃは位置検出素子取り付け位置、２０３は可動ＰＣＢ、２０４ａ，２０４ｂ，２０４ｃは可動部転動板、２０５ａ，２０５ｂ，２０５ｃはコイル、２０６は可動枠、３０１ａ，３０１ｂ，３０１ｃはボールである。

上部ヨーク１０１、上部磁石１０３ａ，１０３ｂ，１０３ｃ，１０３ｄ，１０３ｅ，１０３ｆ、下部磁石１０７ａ，１０７ｂ，１０７ｃ，１０７ｄ，１０７ｅ，１０７ｆ、下部ヨーク１０８が磁気回路を形成しており、いわゆる閉磁路を為している。上部磁石１０３ａ，１０３ｂ，１０３ｃ，１０３ｄ，１０３ｅ，１０３ｆは上部ヨーク１０１に吸着した状態で接着固定されている。同様に、下部磁石１０７ａ，１０７ｂ，１０７ｃ，１０７ｄ，１０７ｅ，１０７ｆは下部ヨーク１０８に吸着した状態で接着固定されている。上部磁石１０３ａ，１０３ｂ，１０３ｃ，１０３ｄ，１０３ｅ，１０３ｆおよび下部磁石１０７ａ，１０７ｂ，１０７ｃ，１０７ｄ，１０７ｅ，１０７ｆはそれぞれ光軸方向（図２の上下方向）に着磁されている。更に、隣接する磁石（磁石１０３ａと１０３ｂの位置関係にあるもの）は互いに異なる向きに着磁されている。また、対抗する磁石（磁石１０３ａと１０７ａの位置関係にあるもの）は互いに同じ向きに着磁されている。このようにすることで、上部ヨーク１０１と下部ヨーク１０８の間に光軸方向に強い磁束密度が生じる。

上部ヨーク１０１と下部ヨーク１０８の間には強い吸引力が生じるのでメインスペーサ１０５ａ，１０５ｂ，１０５ｃおよび補助スペーサ１０４ａ，１０４ｂで適当な間隔を保つように構成されている。ここでいう適当な間隔とは、上部磁石１０３ａ，１０３ｂ，１０３ｃ，１０３ｄ，１０３ｅ，１０３ｆと下部磁石１０７ａ，１０７ｂ，１０７ｃ，１０７ｄ，１０７ｅ，１０７ｆの間にコイル２０５ａ，２０５ｂ，２０５ｃおよびＦＰＣ２０１を配置するとともに、適当な空隙を確保できるような間隔である。メインスペーサ１０５ａ，１０５ｂ，１０５ｃにはネジ穴が設けられており、ビス１０２ａ，１０２ｂ，１０２ｃによって上部ヨーク１０１がメインスペーサ１０５ａ，１０５ｂ，１０５ｃに固定される。

メインスペーサ１０５ａ，１０５ｂ，１０５ｃの胴部にはゴムが設置されており、可動部の機械的端部（いわゆるストッパー）を形成している。

ベース板１１０には下部磁石１０７ａ，１０７ｂ，１０７ｃ，１０７ｄ，１０７ｅ，１０７ｆをよけるように穴が設けられており、この穴から磁石の面が突出するように構成される。すなわち、ビス１０９ａ，１０９ｂ，１０９ｃによってベース板１１０と下部ヨーク１０８が固定され、ベース板１１０よりも厚み方向の寸法が大きい下部磁石１０７ａ，１０７ｂ，１０７ｃ，１０７ｄ，１０７ｅ，１０７ｆがベース板１１０から突出するように固定される。

可動ＰＣＢ２０３は、マグネシウムダイキャスト若しくはアルミダイキャストで形成されており、軽量で剛性が高い。可動ＰＣＢ２０３に対して可動部の各要素が固定されて可動部を為している。ＦＰＣ２０１には、位置検出素子取り付け位置２０２ａ，２０２ｂ，２０２ｃで示した位置で図２から見えない側の面に位置検出素子が取り付けられている。前述した磁気回路を利用して位置を検出できるように、例えばホール素子などを用いることができる。ホール素子は小型なので、コイル２０５ａ，２０５ｂ，２０５ｃの巻き線の内側に入れ子になるように配置される。

可動ＰＣＢ２０３には、不図示の撮像素子６、コイル２０５ａ，２０５ｂ，２０５ｃおよびホール素子が接続されている。可動ＰＣＢ２０３上のコネクタを介して外部との電気的なやり取りを行う。

ベース板１１０には固定部転動板１０６ａ，１０６ｂ，１０６ｃが、可動ＰＣＢ２０３には可動部転動板２０４ａ，２０４ｂ，２０４ｃが接着固定されており、ボール３０１ａ，３０１ｂ，３０１ｃの転動面を形成する。転動板を別途設けることで表面粗さや硬さなどを好ましい状態に設計することが容易となる。

上述した構成でコイル２０５ａ，２０５ｂ，２０５ｃに電流を流すことで、フレミング左手の法則に従った力が発生し可動枠２０６を動かすことができる。また、前述した位置検出素子であるホール素子の信号を用いることでフィードバック制御を行うことができる。ホール素子信号の値を適切に制御することで光軸に直交する平面内で並進運動するとともに光軸周りに回転することができる。

位置検出素子取り付け位置２０２ａにあるホール素子の信号を一定に保ったまま、位置検出素子取り付け位置２０２ｂ，２０２ｃのホール素子信号を逆位相で駆動することで、おおよそ光軸４周りの回転運動を生み出すことができる。

位置検出素子取り付け位置２０２ａ，２０２ｂ，２０２ｃで検出されるのは、光軸方向の磁束密度である。上部磁石１０３ａ，１０３ｂ，１０３ｃ，１０３ｄ，１０３ｅ，１０３ｆと下部磁石１０７ａ，１０７ｂ，１０７ｃ，１０７ｄ，１０７ｅ，１０７ｆなどからなる磁気回路の特性は一般的に非線形である。そのため、位置検出素子取り付け位置２０２ａ，２０２ｂ，２０２ｃで検出される磁束密度は、必ずしも駆動範囲のすべてで一定の分解能を持っていないため、検出分解能が変化する。これは磁束密度の変化が急峻な位置となだらかな位置があり、急峻な位置ほど検出分解能が高い、すなわち、移動量に対する磁束密度変化が大きい。図２に示した磁気回路では、磁石の境界位置（例えば、上部磁石１０３ａと１０３ｂとの境界位置）でもっとも磁束密度の変化が大きく、検出分解能が高い。

なお、防振機構１４の制御方法に関しては多くの提案がなされているので、ここでは詳細説明は省略する。

次に、上記構成を有するカメラ本体１における処理について、図３に示すフローチャートを用いて説明する。

Ｓ３０１では、カメラシステム制御回路５内の画像合成オンオフ部５２が、画像合成を行うか否かを制御する。なお、画像合成を行うか否かはユーザが直接指示できるようにしても良く、撮影モードなどのカメラの設定や、シャッタスピードなどの撮影条件に応じて自動で切り替えるようにしても良い。例えば、静止画撮影モードでシャッタスピードが閾値よりも遅い場合に画像合成を行い、静止画撮影モードでシャッタスピードが閾値よりも早い場合や、動画撮影モードの場合に画像合成を行わないようにする。なお、画像合成は、位置合わせ部７１により位置合わせを行ってから行われるため、画像合成を行う場合、位置合わせオンオフ部５１もオンとなる。
画像合成を行う場合はＳ３０２に移行し、画像合成を行わない場合はＳ３０３に移行する。

Ｓ３０２では、カメラシステム制御回路５の防振制御部５３が、並進ブレと回転ブレ（ロールブレ）のうち、回転ブレを優先的に補正するように像面防振を制御する。以下、この制御を「回転ブレ補正優先制御」と呼ぶ。回転ブレを優先的に補正するのは、後述するＳ３０４における画像位置合わせおよびＳ３０５における画像合成で生じる画質劣化を抑制するためである。この制御は、画質が重視される静止画撮影において、画像位置合わせを伴う画像合成防振を行う場合に適している。

ここで、図４を用いて、本実施形態における防振機構１４の回転と並進の関係について説明する。図４は、図３に示す防振機構１４を光軸４方向（右下の座標系のＺ軸方向）から見た図である。なお、図４右下の座標系は図４（ａ），（ｂ），（ｃ）で共通している。図４（ａ）は、可動枠２０６が移動していない状態を、図４（ｂ）は、可動枠２０６が回転を伴わずにＸの正方向に移動した状態を、図４（ｃ）は、可動枠２０６が回転を伴ってＸの正方向に移動した状態をそれぞれ示している。

図４（ａ），（ｂ），（ｃ）に共通して引かれている一点鎖線４００は、固定部のＸ方向の基準を示す基準線、破線４０１は、固定部のＹ方向の基準を示す基準線を示している。また、図４（ｂ）において、一点鎖線４０２は、Ｘの正方向に可動枠２０６が移動したのちの基準線を示している。また、図４（ｃ）において、破線４０３は、可動枠２０６の回転後の基準線を、一点鎖線４０４は、可動枠２０６のＸの正方向に移動したのちの基準線をそれぞれ示している。図４（ａ）において、可動部２０６の基準線は固定部の基準線と重なった状態にある。すなわち、移動していない状態である。

図４（ｂ）は、可動枠２０６を回転させることなくメインスペーサ１０５ａに接触するまで可動枠２０６をＸの正方向に移動させた状態を示している。すなわち、基準線４００と基準線４０２の間隔に相当する量、可動枠２０６はＸの正方向に移動することができる。

図４（ｃ）は、メインスペーサ１０５ａに接触するまで、可動枠２０６を回転させると共にＸの正方向に移動させた状態を示している。回転量は基準線４０１と基準線４０３がなす角度で示されている。また、この時の可動枠２０６のＸ方向の移動量は、基準線４００と基準線４０４の間隔に相当する量となっている。

図４（ｂ）と図４（ｃ）を比較すると明らかなように、回転を伴うと、Ｘ方向に並進可能な量が変化する。この変化を抑えるためには、光軸４上に可動部２０６の機械的端部を設ければよいが、撮像素子６やその背後の処理基板などがあり容易ではない。そのため一般的には、光軸４とは異なる位置に可動部の機械的端部（図２および図４の例ではメインスペーサ１０５ａ，１０５ｂ，１０５ｃ）が設けられている。

また、図４（ｃ）から明らかなように、メインスペーサ１０５ｃと可動枠２０６のＹ方向の隙間を見ると、回転しない場合に比べて変化していることが分かる。すなわち回転することでＹの正方向に移動可能な量も減少することが分かる。

図４（ｂ），（ｃ）では具体的な回転量と並進量の関係は示していないが、一般的に回転量が増加すると移動可能な並進量は減少する関係にあることは、図４（ｃ）からも明らかである。また、具体的な関係を求める場合は、可動部の機械的端部の位置を決定して数値計算すればよい。回転量と並進量に対して余裕を持つためには、メインスペーサ１０５ａ，１０５ｂ，１０５ｃを可動枠２０６から遠ざけて設計を行えばよいが、装置の大型化につながる。カメラ本体１はユーザが携帯して使用するものなので、装置を大型化しない意義は大きい。

以上のように、回転量と並進量は相反の関係にあるため、Ｓ３０２では、並進ブレ補正量（並進駆動量）の上限値よりも回転ブレ補正量（回転駆動量）の上限値を高く設定することで、回転ブレを優先的に補正する。

Ｓ３０４では、画像処理部７の位置合わせ部７１が、撮像素子６より入力される複数の画像間の位置ずれを検出し、位置ずれを補正するよう画像を幾何変形する。

画像間の位置ずれは、公知のテンプレートマッチング法などを用いて、画像間の類似度を求めることで検出できる。幾何変形では、画像をアフィン変換または射影変換することで、画像の並進や回転方向の位置ずれを補正する。この位置合わせによって電子防振が実現される。

なお、幾何変形では、変形前と変形後の画像の各画素を対応付ける必要がある。画像をサブ画素単位で並進移動する場合や、回転移動する場合には、各画素が一対一で対応付かないため、周辺の複数の画素で補間した画素を用いて対応付けを行うことが一般的である。
しかし、この画素補間を行うと、画像の解像度が損なわれ、画質劣化が生じる。そのため、画質劣化を防ぐにはサブ画素単位での並進移動や、回転移動を極力行わないことが望ましい。並進移動に関しては、整数画素単位での移動に制限することで、位置合わせ精度は低下するものの、画素補間による画質劣化を避けることができる。またＳ３０２の回転ブレ補正優先制御を用いれば、回転ブレが防振機構１４で十分補正されるため、回転移動が不要になり、画質劣化を避けることができる。

Ｓ３０５では、画像処理部７の画像合成部７２が、Ｓ３０４で位置合わせされた複数の画像を加算することで合成する。これによって画像合成防振が実現される。なお、複数の画像の一枚一枚を適正露出で撮影する場合、画像を加算した後に平均を取る必要がある。

一方、画像合成を行わない場合、Ｓ３０３では、防振制御部５３が、並進ブレと回転ブレをバランスよく補正するように像面防振を制御する。以下、この制御を「標準ブレ補正制御」と呼ぶ。この制御は、時系列的な安定性が重視される動画撮影での防振に適している。また静止画撮影において、画像位置合わせを行わない場合、すなわち、画像合成防振を行わない場合にも適している。

標準ブレ補正制御では、Ｓ３０２における回転ブレ補正優先制御と比べて、回転ブレ補正量の上限値を低く設定し、並進ブレ補正量の上限値と同程度とすることで、並進ブレと回転ブレをバランスよく補正する。

次にＳ３０６において、カメラシステム制御回路５の位置合わせオンオフ部５１が、画像位置合わせを行うか否かを制御する。画像位置合わせを行うか否かは、ユーザが直接設定できるようにしても良し、カメラの設定や撮影条件に応じて自動で切り替えるようにしても良い。例えば、動画撮影モードのときに画像位置合わせを行い、静止画撮影モードでシャッタスピードが閾値よりも早い場合に画像位置合わせを行わないようにする。

画像位置合わせ、すなわち電子防振を行う場合はＳ３０７に移行し、電子防振を行わない場合は処理を終了する。

Ｓ３０７では、Ｓ３０４と同様の画像位置合わせの処理を行い、処理を終了する。

上記の通り第１の実施形態によれば、画像合成防振を行う場合には、像面防振を回転ブレ補正優先制御とすることで画質を重視する静止画に適した防振を行うことができる。また、画像合成防振を行わない場合には、像面防振を標準ブレ補正制御とすることで安定性を重視する動画に適した防振を行うことができる。

なお、上述の実施形態では、回転ブレ補正優先制御において、並進ブレ補正量（並進駆動量）の上限値よりも回転ブレ補正量（回転駆動量）の上限値を高く設定することで、回転ブレを優先的に補正する例について説明をした。しかしながら、回転ブレを並進ブレよりも優先して補正をする方法はこれに限定されない。例えば、回転ブレ補正量を先に算出して、残りの可動範囲内で並進ブレを補正するようにしてもよい。また、回転ブレ補正量と並進ブレ補正量合計が、駆動可能範囲を超える場合、検知した回転ブレに基づいて回転ブレ補正量を取得する際に用いるゲインを、検知した並進ブレに基づいて並進ブレ補正量を取得する際に用いるゲインよりも大きくすることで回転ブレを優先的に補正してもよい。ゲインは１のときに検知したブレを１００％補正するような補正量が設定されるものとすることができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
第１の実施形態では、防振機構１４は撮像素子６を光軸４に直交する平面内に並進させるとともに光軸４周りに回転させる機構とした。第２の実施形態では、図４に示す構成に加え、防振機構１４は、さらに光軸４と直交する２軸周りに回転させる機構を有するものとする。この機構により、像面防振では並進ブレと回転ブレに加えて、ヨー方向およびピッチ方向のブレにより生じるあおり成分（以下、「あおりブレ」と呼ぶ。）を補正することができる。なお、撮像システムの全体構成は図１と同様であるため、説明を省略する。

図５は、あおりブレについて説明するための図である。図５（ａ）は、ヨー方向のブレが生じたときの様子を示している。５０１は元の画像、５０２はヨー方向にブレた後の画像を表している。このようにカメラにヨー方向のブレが生じると、画像には並進ブレＴｘに加えてあおりブレαが生じて、台形状に歪む。

同様に、図５（ｂ）は、ピッチ方向のブレが生じたときの様子を示している。５０１は元の画像、５０３はヨー方向にブレた後の画像を表している。このようにカメラにピッチ方向のブレが生じると、画像には並進ブレＴｙに加えてあおりブレβが生じて台形状に歪む。

次に、第２の実施形態に係る像面防振動作について、図６に示すフローチャートを用いて説明する。なお、図６において図３に示す処理と同様の処理には同じステップ番号を付し、適宜説明を割愛する。

本第２の実施形態では、画像合成を行う場合、Ｓ６０１において、カメラシステム制御回路５の防振制御部５３が、並進ブレ、回転ブレ、あおりブレのうち、特定のブレを優先的に補正するよう像面防振を制御する。以下、この制御を「特定ブレ補正優先制御」と呼ぶ。

画像位置合わせの際、あおりブレを補正しようとすると、回転ブレの場合と同様に画素補間が発生するため画質劣化が生じる。そのため、画像合成防振を行う場合には、像面防振で回転ブレに加えてあおりブレを補正しておくことが好ましい。

回転ブレとあおりブレの補正の優先度は、焦点距離によって異なる。図７に回転ブレとあおりブレのブレ量と、焦点距離との関係を示す。焦点距離がｆｔよりも短い領域ではあおりブレが支配的になり、焦点距離ｆｔよりも長い領域では回転ブレが支配的になる。そのため、焦点距離が予め決められた焦点距離よりも短い場合はあおりブレ＞回転ブレ＞並進ブレの順に補正を優先し、焦点距離が予め決められた焦点距離以上の場合は回転ブレ＞あおりブレ＞並進ブレの順に補正を優先する。

以上説明したように第２の実施形態によれば、像面防振によって回転ブレに加えてあおりブレも補正することで、より画質劣化の少ない画像合成防振を行うことができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。
第１および第２の実施形態のように、複数の画像を合成して手ブレを補正する場合、合成前の位置合わせで位置合わせしきらず、画像同士がズレていると、２重像のような画像を生成してしまう。そこで本実施形態では、位置合わせの信頼性の判定を行う場合について説明をする。

図８は、第３の実施形態における撮像システムの概略構成を示す図である。図１（ｂ）に示す撮像システムの構成と比較して、画像処理部７’が、像ずれ演算器７４および信頼性検知器７５を更に備えている点が異なる。それ以外の構成については、図１および図２を参照して説明したものと同様であるため、説明を省略する。

図９は、第３の実施形態における撮像素子６の構成を示す図である。図９（ａ）は撮像素子６の一部の画素２０（４ｘ４画素）を光軸４方向から見て拡大した図、図９（ｂ）は１つの画素２０の断面図（下段）と、撮影レンズの射出瞳との対応を示した図である。なお、図９（ｂ）の下段と上段では投影方向が異なるが、瞳面での対応状態を分かりやすくするためにこのような図示方法としている。

図９（ａ）に示す例では、撮像素子６はいわゆるベイヤー配列のカラーフィルタにより覆われており、Ｒ，Ｇ，Ｂはそれぞれカラーフィルタの色である赤、緑、青を示している。また、各画素２０内の丸は、マイクロレンズ２５を示しており、また、各画素２０内の縦線は、各画素２０の受光部がＸ方向に２つの受光部２２ａ，２２ｂ（光電変換部）に分割されていること示している。矢印２１は、同色のフィルタにより覆われた画素間の距離を示している。

また、図９（ｂ）において、２３ａ，２３ｂは撮影光学系３の瞳面でそれぞれ受光部２２ａ，２２ｂと対応する領域を、２４は撮影光学系３の射出瞳を示している。

図９（ｂ）に示すように、画素２０の受光部２２ａ，２２ｂは、マイクロレンズ２５によってそれぞれ撮影光学系３の瞳面の一部の領域２３ａ，２３ｂと共役となっており、射出瞳２４の異なる瞳領域を通過した光束を、それぞれ受光するように構成されている。

上記構成を有する撮像素子６からは、受光部２２ａ，２２ｂそれぞれで得られた視差を有する信号（または、視点の異なる信号）をそれぞれ取得し、位相差演算を行うことで、公知の位相差ＡＦを行うことができる。なお、位相差ＡＦの演算はカメラシステム制御回路５が行う。また、受光部２２ａ，２２ｂで得られた信号を画素２０ごとに加算して出力することで、通常の画素信号を得ることができる。なお、図９（ｂ）では、領域２３ａ，２３ｂが異なる領域であることを明示するために隙間をあけて示しているが、実際には接しても良いし、重複した領域を持つようにしても良い。以下、各画素２０の受光部２２ａから得られた画素信号を集めた画像を「Ａ像」、また、各画素２０の受光部２２ｂから得られた画素信号を集めた画像を「Ｂ像」と呼ぶ。

次に、図１０を用いて、第３の実施形態における像ずれ演算器７４および信頼性検知器７５が行う処理について説明する。
図１０（ａ）の横軸は時間を示す。取得を開始した時刻をｔ₁として、以降予め決められた周期でｔ₂，ｔ₃と連続的に、Ａ像およびＢ像を取得する。時刻ｔで取得されたＡ像をＡ₁、Ｂ像をＢ₁とs記す。同様に、時刻ｔ_nで取得されたＡ像をＡ_n、Ｂ像をＢ_nとする。

図１０（ｂ）および（ｃ）は、時刻ｔ₂以降に取得したＡ像、Ｂ像に対して、それ以前に取得したＡ像、Ｂ像との間に循環経路を形成した例を示す。図１０（ｄ）は、図１０（ｂ）および（ｃ）との比較として、時刻ｔ₂以降に取得したＡ像、Ｂ像に対して、それ以前に取得したＡ像、Ｂ像との間に循環経路を形成しない例を示している。

図１０（ｂ）から（ｄ）では、時刻ｔ_n-1とｔ_nで取得したＡ像、Ｂ像について考える。なお、図１０（ｂ）から（ｄ）では時刻ｔ_n-1で取得したＡ像、Ｂ像を移動ベクトル算出のテンプレートとする。ただし、前の時刻で時刻ｔ_n-1の画像がテンプレートとしては棄却された場合は、時刻ｔ_n-1以前の画像がテンプレートになる場合もある。なお、テンプレートの棄却については後述する。

図１０（ｂ）では、時刻ｔ_nのタイミングで、Ａ_nからＢ_nに向かう移動ベクトル３０、Ｂ_nからＢ_n-1に向かう移動ベクトル３１、Ａ_n-1からA_nに向かう移動ベクトル３３を求める。なお、図から分かるように、上記の移動ベクトルの計算を繰り返していると、Ｂ_n-1からＡ_n-1に向かう移動ベクトル３２は、時刻ｔ_n-1の時点で反対方向の移動ベクトルが計算されているので、符号を反転して利用することができる。ここで重要なのは、４つの移動ベクトル３０，３１，３２，３３によって、Ａ_nを発して同じ経路を辿ることなくＡ_nに戻る経路が形成されていることである。このことを本実施形態では「循環経路を形成する」と言う。図１０（ｂ）の例では明らかに、時刻ｔ₂以降に取得した画像群（Ａ_n、Ｂ_n）に対して、それ以前の時刻に取得した画像群（Ａ_n-1、Ｂ_n-1）との間に循環経路が形成されている。

同様に、図１０（ｃ）の例では、時刻ｔ_nのタイミングで、Ａ_nからＢ_nに向かう移動ベクトル３０、Ｂ_nからＡ_n-1に向かう移動ベクトル３４、Ｂ_n-1からＡ_nに向かう移動ベクトル５６を求める。なお、移動ベクトル３５は時刻ｔ_n-1で計算されている。図から分かるように、これら４つの移動ベクトル３０，３４，３５，３６は循環経路を形成している。本実施形態の像ずれ検出器５４は、このように循環経路を形成するように動作する。

図１０（ｂ）、（ｃ）の例に示すように、循環経路の形成方法は複数の方法が考えられ、都合が良いように設定すればよい。ただし、Ａ像同士、Ｂ像同士の比較や、同一時刻に取得した画像間の比較は、それぞれケラレ状態や被写体の状態に対して安定しているので都合が良い。すなわち、図１０（ｂ）に示す例は、より好ましい例と言える。

図１０（ｄ）は、通常行われる像ずれ検出の動作である。本実施形態と異なり、図１０（ｄ）の例では、時刻ｔ_nのタイミングでＡ_nとＢ_nを加算した像（Ａ_n＋Ｂ_n）を生成する。そして、テンプレート画像であるＡ_n-1＋Ｂ_n-1との間で移動ベクトルを算出する。図１０（ｄ）から明らかなように、循環できるような経路が形成されていない。

次に循環経路の利用方法について説明する。本実施形態では、信頼性検知器７５で、循環して再び元の像までの移動ベクトルを積算する。この積算結果は、検出の誤差が無ければ、元の位置に戻るのでゼロになる。一方、被写体の移動、繰り返しパターンでのミス、環境光の変化など、何らかの原因で検出が失敗すると、ゼロではなくなる。

そこで、信頼性検知器７５の結果が閾値よりも大きい場合は、検出ミスが起きたと判断でする。これにより時刻ｔ_nのタイミングで、時刻ｔ_nで求めた移動ベクトルの良否が判定できる。画像を位置合わせ合成するような場合は、この時点で良否判定に基づき、加算するか否かを判断できるのでメモリを節約できる。

また、閾値との比較判定に基づき、テンプレートの更新の有無を判断することができる。閾値以下の場合は、時刻ｔ_nの像を次の時刻で取得する画像に対するテンプレートとして利用し、閾値よりも大きい場合は、テンプレートの更新をしない。これによって１フレームだけ特性が異なる画像が入った場合（明滅で位置決めが失敗するなど）でも、当該フレーム画像を排除して、安定した合成処理を行うことが可能となる。

なお、上述した例では、各画素２０の受光部をＸ方向に２つの受光部２２ａ，２２ｂに分割した場合について説明したが、本発明はこれに限られるものでは無い。例えば、Ｙ方向に分割しても、分割方向が混在していてもよい。また、分割数も２つに限られるものでは無く、３つ以上に分割しても構わない。いずれの場合にも、上述したように、画像相互間の移動ベクトル用いる方法を利用して、位置合わせの信頼性を判定することができる。

なお、本実施形態は、撮像装置に像ずれ演算器７４および信頼性検知器７５を備えた場合を示したが、本発明はこれに限られるものではない。他の構成として、例えば、本実施形態に示したような光学系を利用して、Ａ像群およびＢ像群を保存しておき、後から処理するようにしても良い。その場合は、像ずれ演算器７４および信頼性検知器７５はコンピュータプログラムの形などで実現され、前述の保存されたＡ像群およびＢ像群を処理する。処理する内容は本実施形態に例示した通りに、時刻ｔ₂以降の画像群に対して、それ以前の画像群との間に循環経路を形成するように像ずれ量を求め、上述した循環経路に沿った検出量を積算すればよい。この結果を利用することで、時刻ｔ_nのタイミングで、時刻ｔ_nで求めた移動ベクトルの良否を判定することができる。この場合も、撮像装置の例と同様に、メモリを節約すると共に、メモリアクセスを削減して高速に演算できる。

上記の通り第３の実施形態によれば、簡単な構成で位置合わせの信頼性の判定を行うことができる。

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。
図１１（ａ）は、第４の実施形態における撮像装置として、スマートフォン４１を示す概略外観図、図１１（ｂ）は、主に画像処理部７”の構成を示すブロック図である。第４の実施形態におけるスマートフォン４１として、２つの撮影光学系３ａ，３ｂと、２つの撮像素子６ａ，６ｂとを有する、いわゆる多眼カメラを含むものについて説明する。撮影光学系３ａ，３ｂは焦点距離が異なっており、異なる画角の画像を取得することができ、ここでは、撮影光学系３ｂの方が焦点距離が短いものとする。また、撮影光学系３ａと３ｂが離間しているので、同時に複数の視点から画像群を取得することができる。４ａ，４ｂは、撮影光学系３ａ，３ｂの光軸をそれぞれ示している。

なお、上記以外の回路構成は、図１（ｂ）に示すものと同様の構成を有するが、画像処理部７”における処理が異なるため、以下に説明する。本実施形態における画像処理部７”は、図８の画像処理部７’の構成に加え、倍率調整器７３を含む。

本実施形態では、撮像素子６ａから得られた画像をＡ像とする。一方、撮像素子６ｂから得られた画像は倍率調整器７３に送られ、撮像素子６ａと比較可能な状態に変換される。具体的には、より広角に取得された画像の一部を切り取ると共に、画素ピッチを一致させるための処理を施す。この倍率調整器７３の出力画像をＢ像とする。

以下、取得したＡ像およびＢ像を利用して、第３の実施形態で図１０を参照して説明したようにして、Ａ像、Ｂ像に対して処理を施す。すなわち像ずれ演算器７４においては、２つ目以降の画像群に対してそれ以前の画像群との間に循環経路を形成するように像ずれ量を求める。そして、信頼性検知器７５において、循環経路に沿った検出量を積算する。結果として第３の実施形態と同様の効果を得ることができる。

なお、本実施形態では、２つの撮影光学系３ａ，３ｂと、２つの撮像素子６ａ，６ｂを有するスマートフォン４１について説明したが、撮像系統は３系統以上であってもよく、その場合には、必要な数の倍率調整器７３を備えるようにすればよい。

また、本実施形態はスマートフォンに限られるものでは無く、画像を処理することのできる電子機器に適用することが可能である。

また、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。

＜他の実施形態＞
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神および範囲から離脱することなく、様々な変更および変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１：カメラ本体、２：レンズユニット、３：撮影光学系、４：光軸、５：カメラシステム制御回路、６：撮像素子、７：画像処理部、１０：操作検出部、１４：防振機構、１５：ブレ検知部、５１：オンオフ部、５２：画像合成オンオフ部、５３：防振制御部、７１：位置合わせ部、７２：画像合成部、７３：倍率調整器、７４：像ずれ演算器、７５：信頼性検知器

Claims (19)

1. 撮影光学系を介して入射した光を光電変換して画像を出力する撮像手段と、
   撮像装置のブレを検知するブレ検知手段と、
   前記撮像手段を、前記撮影光学系の光軸に対して垂直な面において、並進駆動および回転駆動する駆動手段と、
   前記ブレ検知手段により検知されたブレを補正するように、前記並進駆動の並進量および前記回転駆動の回転量を生成する生成手段と、を有し、
   前記撮像手段から出力された複数の画像が合成される場合に、当該複数の画像を前記撮像手段により撮影するときに、前記生成手段は、前記撮像手段を前記回転駆動するための回転量を生成し、前記回転駆動後に前記撮像手段を前記並進駆動できる範囲で前記並進量を生成することを特徴とする撮像装置。
2. 前記駆動手段は、前記複数の画像が合成される場合に、前記合成が行われない場合よりも前記回転駆動の上限値を高く設定することを特徴とする請求項１に記載の撮像装置。
3. 撮影光学系を介して入射した光を光電変換して画像を出力する撮像手段と、
   撮像装置のブレを検知するブレ検知手段と、
   前記撮像手段を、前記撮影光学系の光軸に対して垂直な面において、並進駆動および回転駆動する駆動手段と、
   前記ブレ検知手段により検知されたブレを補正するように、前記並進駆動の並進量および前記回転駆動の回転量を生成する生成手段と、を有し、
   前記生成手段は、前記撮像手段から出力された複数の画像が合成される場合に、当該複数の画像を前記撮像手段により撮影するときに、前記合成が行われない場合よりも前記回転駆動の上限値を高く設定し、前記並進駆動の上限値を低く設定することを特徴とする撮像装置。
4. 前記複数の画像を合成するか否かを設定する設定手段を有し、
   前記設定手段は、ユーザが画像の合成を指示した場合、または、静止画撮影モードでシャッタスピードが閾値よりも遅い場合に、前記複数の画像を合成すると設定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記複数の画像を合成するか否かを設定する設定手段を有し、
   前記設定手段は、ユーザが画像の合成を指示しない場合、静止画撮影モードでシャッタスピードが閾値よりも速い場合、または動画撮影モードの場合に、画像の合成を行わないと設定することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記駆動手段は、更に、前記光軸と垂直な軸周りの回転方向にあおり駆動し、
   前記複数の画像を合成する場合に、当該複数の画像を前記撮像手段により撮影するときに、前記生成手段は、前記撮像手段を前記回転駆動および前記あおり駆動するための回転量を生成し、前記回転駆動および前記あおり駆動後に前記撮像手段を前記並進駆動できる範囲で前記並進量を生成すると共に、前記撮影光学系の焦点距離が予め決められた焦点距離よりも短い場合に、前記あおり駆動するための回転量を生成し、前記あおり駆動後に前記撮像手段を前記回転駆動できる範囲で前記回転駆動の前記回転量を生成し、前記焦点距離が前記予め決められた焦点距離以上の場合に、前記回転駆動するための回転量を生成し、前記回転駆動後に前記撮像手段を前記あおり駆動できる範囲で前記あおり駆動の前記回転量を生成することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記複数の画像を合成する場合に、前記撮像手段から出力された前記複数の画像間の位置合わせを行う位置合わせ手段と、
   前記位置合わせ手段により位置合わせされた前記複数の画像を合成する合成手段と、
   を更に有することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記撮像手段は、撮影光学系を介して入射した光に基づいて、視点が異なる第１の画像と第２の画像とを出力可能であって、
   前記位置合わせ手段により位置合わせされた、第１のタイミングおよび当該第１のタイミングよりも前の第２のタイミングで得られた複数の前記第１の画像、および、前記第１のタイミングおよび前記第２のタイミングで得られた複数の前記第２の画像の、相互間のずれ量を示す移動ベクトルを演算する演算手段と、
   前記演算手段により得られた移動ベクトルを積算することにより、前記位置合わせ手段による位置合わせの信頼性を検知する信頼性検知手段と、を更に有し、
   前記信頼性検知手段により前記信頼性が予め決められた閾値よりも低い場合、前記第１のタイミングで得られた前記第１の画像および前記第２の画像を、前記合成手段による合成に用いないことを特徴とする請求項７に記載の撮像装置。
9. 前記演算手段は、前記位置合わせ手段により位置合わせされた、複数の前記第１の画像および複数の前記第２の画像の間で、前記移動ベクトルの循環経路を形成することを特徴とする請求項８に記載の撮像装置。
10. 前記演算手段は、前記位置合わせ手段により位置合わせされた後の、前記第１のタイミングで得られた前記第１の画像から前記第２の画像への第１の移動ベクトルと、前記第１のタイミングで得られた前記第２の画像から前記第２のタイミングで得られた前記第２の画像への第２の移動ベクトルと、前記第２のタイミングで得られた前記第２の画像から前記第１の画像への第３の移動ベクトルと、前記第２のタイミングで得られた前記第１の画像から前記第１のタイミングで得られた前記第１の画像への第４の移動ベクトルを求め、
    前記信頼性検知手段は、前記第１乃至第４の移動ベクトルを積算することにより、前記信頼性を検知することを特徴とする請求項９に記載の撮像装置。
11. 前記演算手段は、前記位置合わせ手段により位置合わせされた後の、前記第１のタイミングで得られた前記第１の画像から前記第２の画像への第１の移動ベクトルと、前記第１のタイミングで得られた前記第２の画像から前記第２のタイミングで得られた前記第１の画像への第２の移動ベクトルと、前記第２のタイミングで得られた前記第１の画像から前記第２の画像への第３の移動ベクトルと、前記第２のタイミングで得られた前記第２の画像から前記第１のタイミングで得られた前記第１の画像への第４の移動ベクトルを求め、
    前記信頼性検知手段は、前記第１乃至第４の移動ベクトルを積算することにより、前記信頼性を検知することを特徴とする請求項８に記載の撮像装置。
12. 前記撮像手段は、前記撮影光学系の異なる瞳領域を通過した光を光電変換する第１の光電変換部と第２の光電変換部とを含む画素を複数、有する撮像素子を含み、
    前記第１の画像は、前記第１の光電変換部により光電変換された画像信号に対応し、前記第２の画像は、前記第２の光電変換部により光電変換された画像信号に対応することを特徴とする請求項８乃至１１のいずれか１項に記載の撮像装置。
13. 前記撮像手段は、複数の撮影光学系をそれぞれ介して入射した光を光電変換する第１の撮像素子と第２の撮像素子とを含み、
    前記第１の画像は、前記第１の撮像素子により光電変換された画像信号に対応し、前記第２の画像は、前記第２の撮像素子により光電変換された画像信号に対応することを特徴とする請求項８乃至１１のいずれか１項に記載の撮像装置。
14. 撮像手段から、撮影光学系を介して入射した光に基づいて得られた視点が異なる第１の画像と第２の画像とを取得する取得手段と、
    前記取得手段により、第１のタイミングおよび当該第１のタイミングよりも前の第２のタイミングで得られた複数の前記第１の画像間の位置合わせを行うと共に、前記第１のタイミングおよび前記第２のタイミングで得られた複数の前記第２の画像間の位置合わせを行う位置合わせ手段と、
    前記位置合わせ手段により位置合わせされた、複数の前記第１の画像および複数の前記第２の画像を合成する合成手段と、
    前記位置合わせ手段により位置合わせされた、複数の前記第１の画像および複数の前記第２の画像の、相互間のずれ量を示す移動ベクトルを演算する演算手段と、
    前記演算手段により得られた移動ベクトルを積算することにより、前記位置合わせ手段による位置合わせの信頼性を検知する信頼性検知手段と、を有し、
    前記信頼性検知手段により検知された前記信頼性が予め決められた閾値よりも低い場合、前記第１のタイミングで得られた前記第１の画像および前記第２の画像を、前記合成手段による合成に用いないことを特徴とする画像処理装置。
15. 撮像手段が、撮影光学系を介して入射した光を光電変換して画像を出力する撮像工程と、
    撮像装置のブレを検知するブレ検知工程と、
    駆動手段が、前記撮像手段を、前記撮影光学系の光軸に対して垂直な面において、並進方向に並進駆動すると共に、光軸周りの回転方向に回転駆動する駆動工程と、
    生成手段が、前記ブレ検知工程で検知されたブレを補正するように、前記並進駆動の並進量および前記回転駆動の回転量を生成する生成工程と、を有し、
    前記撮像工程で出力された複数の画像を合成する場合に、当該複数の画像を前記撮像手段により撮影するときに、前記生成工程では、前記撮像手段を前記回転駆動するための回転量を生成し、前記回転駆動後に前記撮像手段を前記並進駆動できる範囲で前記並進量を生成することを特徴とする撮像装置の制御方法。
16. 撮像手段が、撮影光学系を介して入射した光を光電変換して画像を出力する撮像工程と、
    撮像装置のブレを検知するブレ検知工程と、
    前記撮像手段を、前記撮影光学系の光軸に対して垂直な面において、並進方向に並進駆動すると共に、光軸周りの回転方向に回転駆動する駆動工程と、
    生成手段が、前記ブレ検知工程で検知されたブレを補正するように、前記並進駆動の並進量および前記回転駆動の回転量を生成する生成工程と、を有し、
    前記生成工程では、前記撮像手段から出力された複数の画像が合成される場合、当該複数の画像を前記撮像手段により撮影するときに、前記合成が行われない場合よりも前記回転駆動の回転量の上限値を高く設定し、前記並進駆動の並進量の上限値を低く設定することを特徴とする撮像装置の制御方法。
17. 取得手段が、撮像手段から、撮影光学系を介して入射した光に基づいて得られた視点が異なる第１の画像と第２の画像とを取得する取得工程と、
    前記撮像手段から得られた複数の前記第１の画像および前記第２の画像を合成する場合に、位置合わせ手段が、前記取得工程で、第１のタイミングおよび当該第１のタイミングよりも前の第２のタイミングで得られた複数の前記第１の画像間の位置合わせを行うと共に、前記第１のタイミングおよび前記第２のタイミングで得られた複数の前記第２の画像間の位置合わせを行う位置合わせ工程と、
    合成手段が、複数の前記第１の画像および複数の前記第２の画像を合成する場合に、前記位置合わせ工程で位置合わせされた、複数の前記第１の画像および複数の前記第２の画像を合成する合成工程と、
    演算手段が、前記位置合わせ工程で位置合わせされた、複数の前記第１の画像および複数の前記第２の画像の、相互間のずれ量を示す移動ベクトルを演算する演算工程と、
    信頼性検知手段が、前記演算工程で得られた移動ベクトルを積算することにより、前記位置合わせ手段による位置合わせの信頼性を検知する信頼性検知工程と、を有し、
    前記信頼性検知工程で検知された前記信頼性が予め決められた閾値よりも低い場合、前記第１のタイミングで得られた前記第１の画像および前記第２の画像を、前記合成工程における合成に用いないことを特徴とする画像処理方法。
18. コンピュータを、請求項１４に記載の画像処理装置の各手段として機能させるためのプログラム。
19. コンピュータに、請求項１５または１６に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。

Images