JP7028958B2 - 画像処理装置、撮像装置、及び画像処理方法 - Google Patents

Description

本発明は画像処理装置、撮像装置、及び画像処理方法に関し、特に露光間ズーム撮影の効果を得る画像処理装置、撮像装置、及び画像処理方法に関する。

写真撮影において、いわゆる「露光間ズーム撮影」という技法が知られている。この「露光間ズーム撮影」によれば、露光中にズーム操作をすることにより被写体の大きさ、軌跡等が変化した芸術的、幻想的な作品を得ることができるが、撮影者の意図する画像を得るためには高度な撮影技術の習得が必要である。このため、露光間ズーム撮影を補助する技術が開発されている。例えば特許文献１には、撮影条件を設定するための支援画像を介して焦点距離の変化範囲を設定することが記載されている。

特開２０１０－２００２４３号公報

露光間ズーム撮影において、被写体の軌跡を鮮明な線で表現したい場合、あるいは被写体の軌跡を次第にボケていくような線で表現したい場合は、ズーム操作と同時にフォーカス操作をする、という複雑で難易度の高い操作が必要である。また、主要被写体を画像の中心からずらした場所に移動させたい場合は、ズーム操作と同時にカメラの向きを変える操作（パン及び／またはチルト）を行う、という複雑で難易度の高い操作が必要である。しかしながら上述した特許文献１に記載の技術では、焦点距離の変化範囲（ズーム範囲）が設定しやすくなるとしても、ズーム操作と同時に他の操作を行うことが必要な場合は十分な効果が得られない。このような技術では、撮影者が意図した効果（例えば芸術的効果、幻想的効果）を得るのは困難である。

このように、従来の技術では、露光間ズーム撮影において撮影者が意図する効果を得ることが困難であった。

本発明はこのような事情に鑑みてなされたもので、露光間ズーム撮影において撮影者が意図する効果を容易に得ることができる画像処理装置、撮像装置、及び画像処理方法を提供することを目的とする。

上述した目的を達成するため、本発明の第１の態様に係る画像処理装置は、第１画像を取得する第１画像取得部と、第１画像に対してズーム中心及びズーム範囲を設定するズーム設定部と、ズーム中心及びズーム範囲に対応した第２画像を取得する第２画像取得部と、第１画像よりも撮影画角が狭く第２画像よりも撮影画角が広い中間画像を、指定された数だけ取得する中間画像取得部と、第１画像、第２画像、または中間画像に対し、移動、拡大または縮小、回転、ボケ度合いの変更のうち少なくとも１つの処理を施す画像処理部と、処理を施した第１画像、第２画像、または中間画像を重み付け加算して合成画像を生成する画像合成部と、を備える。

第１の態様によれば、画像処理装置は撮影画角（ズーム倍率に対応）が異なる第１画像、第２画像、中間画像を重み付け加算するので、露光間ズーム撮影の効果を得ることができる。また、合成画像の生成において移動、拡大、回転、ボケ度合いの変更のうち少なくとも１つの処理を施すので、複雑で難易度の高い操作を行うことなくユーザが求める効果（例えば被写体の軌跡が鮮明な線で表現される、被写体の軌跡が次第にボケていく線で表現される、主要被写体を画像の中心からずらした位置に移動させる、等）を容易に得ることができる。なお、画像処理装置は例えば露光間ズーム撮影において撮影画角（ズーム倍率に対応）を維持する時間に対応して、画像の加算における重みを設定することができる。特定の撮影画角における被写体の様子を強調したい場合は、その撮影画角における画像の重みを高くすればよい。また、合成画像の生成において、第１画像、第２画像、中間画像のうちから選択した画像に対し画像の色彩及び／または明るさを変える画像処理を施してもよい。これにより芸術的効果、幻想的効果がさらに高い画像を得ることができる。

第１の態様において、第１画像は撮影光学系で撮影して取得してもよいし、既に撮影された画像をネットワーク経由、あるいは記録媒体経由で取得してもよい。また、第２画像は第１画像から電子ズーム処理により取得することができ、中間画像は撮影光学系で撮影して取得することができる。中間画像の撮影枚数としてゼロ以上の任意の整数を指定することができる。中間画像の撮影枚数をゼロとして全て第２画像（電子ズーム）で処理してもよいし、中間画像の枚数を多くしてもよい。

なお、第２画像取得部は、第１画像よりも撮影画角が狭い第２画像を取得することができる。

第２の態様に係る画像処理装置は第１の態様において、第２画像取得部は、第１画像のうちズーム中心及びズーム範囲に対応した部分を切り出すことにより第２画像を取得する。第２の態様は、電子ズームにより第２画像を取得する態様を規定するものである。

第３の態様に係る画像処理装置は第１または第２の態様において、中間画像取得部は撮影画角が異なる複数の画像を指定された数の中間画像として取得し、画像処理部は複数の画像のそれぞれに対して処理を施す。第３の態様において、画像処理部が行う処理の内容、度合いは画像によらず同じでもよいし、複数の画像のそれぞれに対して変えてもよい。

第４の態様に係る画像処理装置は第１から第３の態様のいずれか１つにおいて、中間画像の撮影画角を示す情報を表示装置に表示させる情報表示部をさらに備え、中間画像取得部は情報に対応して撮影された画像を中間画像として取得する。第４の態様では、情報表示部は例えばズーム中心及びズーム範囲を示す情報を画像、文字、数字、記号、図形等により表示することができ、ユーザはこの情報を参照して中間画像を容易に撮影することができる。

第５の態様に係る画像処理装置は第４の態様において、ズーム設定部は、情報により示されるズーム中心と、情報に対応して撮影された画像の中心とのずれに応じてズーム中心を移動させる。ユーザが第４の態様のような情報を参照して中間画像を撮影する場合、計算上で撮影が期待される画像と実際に撮影された画像とがずれる可能性がある。そこで、ズーム設定部が第５の態様のようにズーム中心を移動させることで、被写体の軌跡がなめらかに変化する合成画像を得ることができる。例えば、ズーム設定部は、期待する画像と実際に撮影された画像との相関値を算出し、相関値が最も高くなるようにズーム中心を移動させることができる。

第６の態様に係る画像処理装置は第１から第５の態様のいずれか１つにおいて、画像処理部は中間画像及び／または第２画像をアフィン変換により移動、拡大または縮小、回転する。第６の態様は、移動、拡大または縮小、回転の具体的手法の一例を規定するものである。

第７の態様に係る画像処理装置は第１から第６の態様のいずれか１つにおいて、ズーム設定部はユーザの指示入力に基づいてズーム中心及びズーム範囲を設定する。第７の態様によれば、ユーザは所望のズーム中心及びズーム範囲を設定することができる。

第８の態様に係る画像処理装置は第１から第７の態様のいずれか１つにおいて、画像処理部はユーザの指示入力に基づいてボケ度合いの変更を行う。第８の態様によれば、ユーザは所望のボケ度合いを設定することができる。

第９の態様に係る画像処理装置は第１から第８の態様のいずれか１つにおいて、ズーム設定部はズーム中心と第１画像の中心との距離に応じて中間画像の撮影画角を設定する。ズーム中心が第１画像の中心から離れていると、ズーム中心から離れた点の軌跡が画角の変更（例えば、比率が一定の変更）に伴い不連続的に変化し、なめらかな軌跡が得られない場合がある。このような不連続的な変化は、ズーム中心から最も遠い点（例えば、画像の四隅のいずれか）で特に目立つ。そこで第９の態様では、ズーム設定部はズーム中心と第１画像の中心との距離に応じて中間画像の撮影画角を設定しており、これによりズーム中心から離れた点の軌跡を連続的に変化させることができる。例えば、ズーム設定部は、中間画像の撮影画角を広い状態から狭い状態に変化させる場合、画角が広い状態では、画角が狭い状態よりも画像間の画角の変化を緩やかにする。また、画角が広い状態での中間画像の枚数を画角が狭い状態での中間画像の枚数より増やしてもよい。

第１０の態様に係る画像処理装置は第１から第９の態様のいずれか１つにおいて、合成画像を表示装置に表示させる表示制御部を備える。第１０の態様によれば、ユーザは合成画像（露光間ズームの効果を有する画像）を視認することができる。表示制御部は、合成画像に加えて第１画像、第２画像、中間画像を表示装置に表示させてもよい。

上述した目的を達成するため、本発明の第１１の態様に係る撮像装置はズームレンズを含む撮影レンズにより被写体像を撮像する撮像部と、第１から第１０の態様のいずれか１つに係る画像処理装置と、を備える撮像装置であって、ズーム設定部はズーム中心及びズーム範囲に応じてズームレンズを制御し、中間画像取得部は撮像部によりズーム中心及びズーム範囲に対応した中間画像を取得する。第１１の態様によれば、ユーザはズームレンズにより光学ズームした画像を撮影して中間画像とすることができる。

上述した目的を達成するため、本発明の第１２の態様に係る画像処理方法は、第１画像を取得する第１画像取得工程と、第１画像に対してズーム中心及びズーム範囲を設定するズーム設定工程と、ズーム中心及びズーム範囲に対応した第２画像を取得する第２画像取得工程と、第１画像よりも撮影画角が狭く第２画像よりも撮影画角が広い中間画像を、指定された数だけ取得する中間画像取得工程と、第１画像、第２画像、または中間画像に対し、移動、拡大または縮小、回転、ボケ度合いの変更のうち少なくとも１つの処理を施す画像処理工程と、処理を施した第１画像、第２画像、または中間画像を重み付け加算して１つの画像を生成する画像合成工程と、を有する。第１２の態様によれば、第１の態様と同様に露光間ズーム撮影において撮影者が意図する効果を容易に得ることができる。なお、第２画像取得工程では第１画像よりも撮影画角が狭い第２画像を取得することができる。

第１２の態様に係る画像処理方法は、第２から第１０の態様と同様の構成をさらに有していてもよい。また、これら態様の画像処理方法を画像処理装置及び／または撮像装置に実行させるプログラム、及びそのようなプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も本発明の態様として挙げることができる。

以上説明したように、本発明の画像処理装置、撮像装置、及び画像処理方法によれば、露光間ズーム撮影において撮影者が意図する効果を容易に得ることができる。

図１は、第１の実施形態に係る撮像装置の構成を示す図である。 図２は、画像処理部の機能構成を示す図である。 図３は、画像処理の手順を示すフローチャートである。 図４は、画像処理の手順を示すフローチャート（図３の続き）である。 図５は、広角画像の例を示す図である。 図６は、ズーム中心を設定する様子を示す図である。 図７は、ズーム画角の設定の様子を示す図である。 図８は、フォーカス位置設定の様子を示す図である。 図９は、中間画像の撮影枚数設定の様子を示す図である。 図１０は、実際の撮影の様子（１枚目）を示す図である。 図１１は、実際に撮影された画像の例（１枚目）を示す図である。 図１２は、実際の撮影の様子（２枚目）を示す図である。 図１３は、実際に撮影された画像の例（２枚目）を示す図である。 図１４は、撮影が期待される中間画像と実際の中間画像とのズレを示す図である。 図１５は、ズレの補正の様子を示す図である。 図１６は、拡縮率の調整の様子を示す図である。 図１７は、シミュレーションによる画像合成の例を示す図である。 図１８は、シミュレーションによる画像合成の他の例を示す図である。 図１９は、出力画像の例を示す図である。 図２０は、シミュレーションにより合成した画像の例を示す図である。 図２１は、シミュレーションにより合成した画像の他の例を示す図である。 図２２は、シミュレーションにより合成した画像のさらに他の例を示す図である。 図２３は、一般被写体について合成した画像の例を示す図である。

以下、添付図面を参照しつつ、本発明に係る画像処理装置、撮像装置、及び画像処理方法を実施するための形態について詳細に説明する。

＜第１の実施形態＞
＜撮像装置の全体構成＞
図１は第１の実施形態に係る撮像装置１０（撮像装置、画像処理装置）の構成を示す図である。撮像装置１０は交換レンズ１００（撮影レンズ、撮像部）及び撮像装置本体２００（画像処理装置）により構成され、後述するズームレンズ１１０を含む撮影レンズにより被写体像（光学像）を撮像素子２１０に結像させる。交換レンズ１００と撮像装置本体２００とは、図示せぬマウントを介して装着及び取り外しすることができる。

＜交換レンズの構成＞
交換レンズ１００は、ズームレンズ１１０（ズームレンズ、撮影レンズ）と、フォーカスレンズ１２０（撮影レンズ）と、絞り１３０と、レンズ駆動部１４０とを備える。レンズ駆動部１４０は、画像処理装置２４０（図２のレンズ駆動制御部２４０Ｈ）からの指令に応じてズームレンズ１１０、フォーカスレンズ１２０を進退駆動してズーム（光学ズーム）調整、フォーカス調整を行う。ズーム調整及びフォーカス調整は、画像処理装置２４０からの指令に応じて行う他に、ユーザが行ったズーム操作、フォーカス操作（図示せぬズームリング、フォーカスリングの回動等）に応じて行ってもよい。また、レンズ駆動部１４０は画像処理装置２４０からの指令に応じて絞り１３０を制御し、露出を調整する。一方、ズームレンズ１１０及びフォーカスレンズ１２０の位置、絞り１３０の開放度等の情報が画像処理装置２４０に入力される。なお、交換レンズ１００は光軸Ｌを有する。

＜撮像装置本体の構成＞
撮像装置本体２００は、撮像素子２１０（撮像部）、ＡＦＥ２２０（ＡＦＥ：Analog Front End、撮像部）、Ａ／Ｄ変換器２３０（Ａ／Ｄ：Analog to Digital、撮像部）、及び画像処理装置２４０を備える。撮像素子２１０は、多数の受光素子がマトリクス状に配列された受光面を備える。そしてズームレンズ１１０、フォーカスレンズ１２０、及び絞り１３０を透過した被写体光が撮像素子２１０の受光面上に結像され、各受光素子によって電気信号に変換される。撮像素子２１０の受光面上にはＲ（赤），Ｇ（緑），またはＢ（青）のカラーフィルタが設けられており、各色の信号に基づいて被写体のカラー画像を取得することができる。なお、撮像素子２１０としては、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）、ＣＣＤ（Charge-Coupled Device）等の様々な光電変換素子を用いることができる。ＡＦＥ２２０は撮像素子２１０から出力されるアナログ画像信号のノイズ除去、増幅等を行い、Ａ／Ｄ変換器２３０は、取り込んだアナログ画像信号を階調幅があるデジタル画像信号に変換する。

＜画像処理装置の構成＞
図２は、画像処理装置２４０（画像処理装置）の機能構成を示す図である。画像処理装置２４０は、第１画像取得部２４０Ａ（第１画像取得部）、ズーム設定部２４０Ｂ（ズーム設定部）、第２画像取得部２４０Ｃ（第２画像取得部）、中間画像取得部２４０Ｄ（中間画像取得部）、画像処理部２４０Ｅ（画像処理部）、情報表示部２４０Ｆ（情報表示部）、表示制御部２４０Ｇ（表示制御部）、レンズ駆動制御部２４０Ｈ（レンズ駆動制御部）、及び画像合成部２４０Ｉ（画像合成部）を備え、Ａ／Ｄ変換器２３０から入力されたデジタル画像信号に基づいて合成画像の生成等の処理を行う。画像処理装置２４０による処理の詳細は後述する。

画像処理装置２４０の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの、製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども、上述した各種のプロセッサに含まれる。

各部の機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、画像処理装置本体、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ（Read Only Memory）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、画像の入力、ズーム処理、合成処理等を実行するためのプログラムを含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。

画像処理装置２４０は、上述の各部の他にＲＯＭ２４２（ROM：Read Only Memory、非一時的記録媒体）を備える。ＲＯＭ２４２には、画像の入力、ズーム処理、合成処理等に必要なプログラム（本発明に係る画像処理方法を実行するためのプログラムを含む）のコンピュータ読み取り可能なコードが記録される。

＜操作部＞
操作部２５０は図示せぬレリーズボタン、操作用ボタン（例えば十字ボタン、Quickボタン、ＯＫボタン等）、ダイヤル、スイッチ等を有し、ユーザは操作部２５０を介して撮影条件設定、撮影指示、合成画像生成指示、画像処理内容及び／または程度の設定等、各種の操作を行うことができる。なお、モニタ２７０をタッチパネルで構成して操作部２５０として使用してもよい。

＜記憶部＞
記憶部２６０は各種の光磁気記録媒体、半導体メモリ等の非一時的記録媒体及びその制御回路により構成され、撮影画像（第１画像、第２画像）、中間画像、合成画像等を記憶する。記録媒体は撮像装置本体２００に対し着脱できるタイプを用いることができる。

＜モニタ（表示装置）＞
モニタ２７０（表示装置）は例えば液晶表示パネルにより構成され、撮影画像（第１画像、第２画像）、中間画像、合成画像、撮影補助情報等を表示することができる。モニタ２７０は撮像装置本体２００の背面側、天面側等に配置することができる。

＜画像処理の手順＞
上述した構成の撮像装置１０における画像処理について説明する。図３、４は、第１の実施形態に係る画像処理の手順を示すフローチャートである。

＜広角画像の取得＞
ステップＳ１００では、画像処理装置２４０（第１画像取得部２４０Ａ）が広角画像（第１画像）を取得する（第１画像取得工程）。第１画像取得部２４０Ａはユーザが撮像装置１０で撮影した画像を取得してもよいし、あらかじめ記憶部２６０に記憶されている画像を取得してもよい。また、記録媒体あるいはネットワークを介して画像を取得してもよい。広角画像の例（広角画像Ｉ０）を図５に示す。

＜望遠画像に対するズーム中心及びズーム範囲の設定＞
画像処理装置２４０（ズーム設定部２４０Ｂ）は、取得した広角画像に対して、望遠画像（第２画像）の撮影画角（ズーム中心及びズーム範囲）を設定する（ステップＳ１１０：ズーム設定工程）。望遠画像の撮影画角としては、広角画像よりも狭い撮影画角を設定する。画像処理装置２４０は、以下の例のように、操作部２５０及びモニタ２７０を介したユーザの操作に基づいてこの設定を行うことができる。

図６、７は広角画像に対してズーム中心を設定する様子を示す図である。図６の（ａ）部分に示すように、ズーム設定部２４０Ｂは、ズーム中心の設定を促すメッセージＭ１（図６の例では「中心を設定して下さい」）及びズーム中心を示す十字型のマークＣ１を広角画像Ｉ０に重ねて、モニタ２７０に表示する。ユーザは、操作部２５０の図示せぬボタン（例えば、十字ボタン）を操作することにより、図６の（ｂ）部分、（ｃ）部分に示すようにマークＣ１を所望の位置に移動させることができる。図６の例では、ズーム中心を一旦左方向に移動し、その後下方向に移動して（ｃ）部分に示す状態になっている。図６の（ｂ）部分、（ｃ）部分中の矢印は、元の広角画像の中心（図６の（ａ）部分の状態）からのマークＣ１の移動方向及び移動距離を示す。ここでは、図６の（ｃ）部分に示す位置でズーム中心が確定（図示せぬＯＫボタンの操作等で判断できる）したものとして以下説明する。

図７の（ａ）部分に示すように、ズーム設定部２４０Ｂは、ズーム範囲の設定を促すメッセージＭ２（図７の例では「画角を設定して下さい」）及びズーム範囲を示す枠Ｆ１を広角画像Ｉ０に重ねて、モニタ２７０に表示する。枠Ｆ１は、上述した手順で設定したマークＣ１の位置を中心とする矩形とすることができる。ユーザは、操作部２５０の図示せぬボタン（例えば、図示せぬ上下ボタン）を操作することにより、図７の（ｂ）部分、（ｃ）部分に示すように枠Ｆ１を所望の大きさに変化させることができる。ここでは、図７の（ｃ）部分に示す位置でズーム中心が確定（図示せぬＯＫボタンの操作等で判断できる）したものとする。

ズーム設定部２４０Ｂは、上述した操作により確定したズーム中心及びズーム範囲を、望遠画像（第２画像）のズーム中心及びズーム範囲として設定する（ステップＳ１１０）。

＜フォーカス位置の設定＞
画像処理部２４０Ｅは、望遠画像及び中間画像に対するフォーカス位置を設定する（ステップＳ１２０：フォーカス位置設定工程）。画像処理部２４０Ｅは、以下の例のように、操作部２５０及びモニタ２７０を介したユーザの操作に基づいてこの設定を行うことができる。なお、「フォーカス位置」とは、「ぼかし処理の基準となる画像（例えば、広角画像）と着目する画像とのボケ度合いの差」を意味する。具体的には、画像処理部２４０Ｅは、例えばフォーカス位置の設定を促すメッセージＭ３（図８の例では「フォーカス位置設定」）、及びフォーカス位置を示すメッセージＭ３Ａ，Ｍ３Ｂ，Ｍ３Ｃ（それぞれ「ボケ度合い：弱」、「ボケ度合い：強」、「ボケ度合いを広角画像に合わせる」に対応）をモニタ２７０に表示する。これに対してユーザは、操作部２５０の図示せぬボタン（例えば、図示せぬ上下ボタン）を操作することにより、図８の（ａ）部分、（ｂ）部分、（ｃ）部分に示すようにフォーカス位置を選択することができる。画像処理部２４０Ｅは、上述した操作により確定したフォーカス位置を、望遠画像及び中間画像のフォーカス位置として設定する（ステップＳ１２０）。

＜撮影枚数設定＞
第２画像取得部２４０Ｃ及び中間画像取得部２４０Ｄは、撮影枚数Ｎ（撮像装置１０で実際に撮影する枚数）を設定する（ステップＳ１３０：撮影枚数設定工程）。この設定は、以下の例のように操作部２５０及びモニタ２７０を介したユーザの操作に基づいて行うことができる。具体的には、第２画像取得部２４０Ｃ及び中間画像取得部２４０Ｄは、例えば撮影枚数の設定を促すメッセージＭ４（図９の例では「撮影枚数を設定して下さい」）、及び撮影枚数を示すメッセージＭ４Ａをモニタ２７０に表示する。これに対してユーザは、操作部２５０の図示せぬボタン、ダイヤル等を操作することにより、図９の（ａ）部分、（ｂ）部分、（ｃ）部分に示すように撮影枚数を選択することができる。第２画像取得部２４０Ｃ及び中間画像取得部２４０Ｄは、上述した操作により指定された数に基づいて撮影枚数Ｎを設定する（ステップＳ１３０）。撮影枚数Ｎ＝０の場合、撮影は行わず、電子ズームにより望遠画像及び中間画像を生成する。これに対し撮影枚数Ｎ≧１の場合は、Ｎ枚（０枚目から（Ｎ－１）枚目まで）の画像を実際に撮影して、最も画角が狭い画像を望遠画像とし、望遠画像を除く（Ｎ－１）枚の画像を中間画像とすることができる。

＜撮影の様子＞
第２画像取得部２４０Ｃ及び中間画像取得部２４０Ｄは、初期設定としてｉ（カウンタ）の値をゼロにリセット（ステップＳ１４０）し、ステップＳ１５０へ進み、撮影枚数Ｎが０であるか否か判断する。撮影枚数Ｎがゼロの場合はステップＳ１５０でＹＥＳとなってステップＳ２２０へ進み、第１画像から電子ズーム処理により第２画像及び中間画像が生成される。一方、撮影枚数Ｎがゼロでない場合（ステップＳ１５０でＮＯ）はステップＳ１６０へ進み、第２画像取得部２４０Ｃ及び中間画像取得部２４０Ｄは撮影ガイドをモニタ２７０に表示する。具体的には、例えば撮影を促すメッセージＭ５（図１０の例では「１枚目を撮影して下さい」）を表示する。第２画像取得部２４０Ｃ及び中間画像取得部２４０Ｄはさらに、現在の撮影方向、ズーム中心及びズーム範囲に対応した画像Ｉ１Ａ（ライブビュー画像、プレビュー画像等を使用することができる）、及び参考用画像Ｉ１（望遠画像、中間画像の撮影画角を示す情報）をモニタ２７０に表示する（図１０の（ａ）部分を参照）。図１０の（ａ）部分に示す例において、参考用画像Ｉ１は撮影が想定あるいは期待される画像であり、例えばズーム倍率（撮影画角）が異なる複数の画像により所望の効果（例えば、被写体の軌跡が連続的に、あるいはなめらかに変化する）を発揮させる場合の、１枚目の画像である。なお、ズーム倍率が異なる複数の画像を撮影する際は、それぞれの撮影の際に、それぞれのズーム倍率に合わせて設定した参考用画像（例えば、図１２における参考用画像Ｉ２）を表示することが好ましい。

ユーザは、ズーム中心、ズーム範囲等を変化させて画像Ｉ１Ａを参考用画像Ｉ１に一致させることにより、意図した効果を奏するための中間画像、望遠画像を容易に撮影することができる。図１０の（ｂ）部分は、現在の撮影方向、ズーム中心及びズーム範囲に対応した画像が画像Ｉ１Ｂである状態を示している。この例では、ズーム中心及びズーム範囲が、ユーザの操作により画像Ｉ１Ａよりも参考用画像Ｉ１に近づいている。なお、第２画像取得部２４０Ｃ及び中間画像取得部２４０Ｄは、現在の画像（画像Ｉ１Ａ、Ｉ１Ｂ）と参考用画像Ｉ１とを比較してズーム中心、ズーム範囲等の相違を算出し、相違がしきい値より大きい場合に警告メッセージ（「望遠側にズームして下さい」、「右にパンして下さい」等）を出力（表示、音声等）してもよい。

第２画像取得部２４０Ｃ及び中間画像取得部２４０Ｄは、撮影開始の指示入力がされたか否か判断する（ステップＳ１７０）。この判断は、例えば、ユーザによる図示せぬレリーズボタンの押し下げ操作の有無に応じて行うことができる。第２画像取得部２４０Ｃ及び中間画像取得部２４０Ｄは、撮影開始の指示入力がされるまで（ステップＳ１７０でＹＥＳになるまで）待機する。

第２画像取得部２４０Ｃ、中間画像取得部２４０Ｄ及び画像処理部２４０Ｅは、撮影する画像のフォーカス位置を補正する（ステップＳ１８０）。ステップＳ１８０では、撮影する画像のボケ度合いをフォーカス制御により変更して、ぼかし処理の基準となる画像（例えば、広角画像）とのボケ度合いの差をステップＳ１２０で設定したフォーカス位置（図８参照）に合わせる（後述するステップＳ１９０では、ステップＳ１８０で補正したフォーカス位置に応じてボケた画像が撮影される）。フォーカス制御は、レンズ駆動制御部２４０Ｈ及びレンズ駆動部１４０がフォーカスレンズ１２０を光軸Ｌ（図１参照）の方向に進退駆動することにより行うことができる。このようなフォーカス制御（フォーカス位置の補正）により、例えば、「画像の軌跡を鮮明な線で表現する」、「画像の軌跡がズームに伴い次第にボケていく」等の効果を表現することができる。

第２画像取得部２４０Ｃ、中間画像取得部２４０Ｄは、交換レンズ１００，撮像素子２１０等を介して望遠画像及び／または中間画像を撮影（取得）する（ステップＳ１９０：第２画像取得工程、中間画像取得工程）。図１１は、実際に撮影された画像（１枚目）の例である画像Ｉ１Ｒを示す図である。

第２画像取得部２４０Ｃ、中間画像取得部２４０Ｄは、撮影した画像の数が撮影枚数Ｎ以上か否かを判断し（ステップＳ２１０）、判断結果がＹＥＳになるまでステップＳ１６０からＳ２００の処理を繰り返す。

図１２は、２枚目の撮影の様子を示す図である。図１２の（ａ）部分は、上述した１枚目の撮影の場合と同様に、第２画像取得部２４０Ｃ及び中間画像取得部２４０Ｄが撮影を促すメッセージＭ６、現在のズーム中心及びズーム範囲に対応した画像Ｉ２Ａ（例えばライブビュー画像、プレビュー画像）、及び参考用画像Ｉ２（望遠画像、中間画像の撮影画角を示す情報）をモニタ２７０に表示する。ユーザは、ズーム中心及びズーム範囲を変化させて画像Ｉ２Ａを参考用画像Ｉ２に一致させることにより、意図した効果を奏するための中間画像を容易に撮影することができる。図１２の（ｂ）部分は、現在のズーム中心及びズーム範囲に対応した画像が画像Ｉ２Ｂである状態を示している。図１３は、実際に撮影された画像（２枚目）の例である画像Ｉ２Ｒを示す図である。

＜電子ズームによる画像生成＞
撮影者が得ようとする効果（例えば、「被写体の軌跡を滑らかに表現したい」）によっては、合成画像の生成において多くの画像を用いることが好ましい場合がある。しかしながら、実際の撮影を多数行うと手間、時間を要する。そこで第１の実施形態では、撮影した画像の数が所望の効果を得るのに必要な画像の数よりも少ない場合、中間画像取得部２４０Ｄはズーム中心及び／またはズーム範囲が異なる中間画像を電子ズームで生成することができる（ステップＳ２２０：中間画像取得工程）。例えば、中間画像取得部２４０Ｄは、広角画像（第１画像）のうちズーム中心及びズーム範囲に対応した部分を切り出すことにより、必要なズーム中心及びズーム範囲の中間画像を生成（取得）することができる。そして中間画像取得部２４０Ｄがこのような電子ズームを繰り返すことで、必要な数の画像を生成することができる。なお、中間画像取得部２４０Ｄは、広角画像をズームするのではなく撮影画角の広い中間画像のうちズーム中心及びズーム範囲に対応した部分を切り出すことにより、必要なズーム中心及びズーム範囲の中間画像を生成（取得）してもよい。

このように、不足する数の中間画像を電子ズームで生成することにより、所望の効果を得るのに必要な数の画像を迅速かつ容易に取得することができる。また、動きがある被写体では多数の画像を撮影するのが困難な場合があるが、この場合も電子ズームを用いることで所望の効果を得るのに必要な数の画像を迅速かつ容易に取得することができる。なお、撮影枚数Ｎ＝０の場合、第２画像取得部２４０Ｃ及び中間画像取得部２４０Ｄは望遠画像及び中間画像を全て電子ズームにより生成する。

＜各画像に対する画像処理＞
画像処理部２４０Ｅは、第１画像、第２画像、中間画像に対し移動、拡大または縮小、回転、ボケ度合いの変更のうち少なくとも１つの処理を施す（ステップＳ２３０：画像処理工程）。この画像処理は、合成画像が所望の効果を奏するための処理である。画像処理部２４０Ｅは、操作部２５０を介したユーザの操作（例えば、「所望の効果」の内容、程度の指定）に応じて処理の内容、程度を設定することができる。例えば、画像の拡大または縮小を行う場合、バイリニア補間法、バイキュービック補間法等の技術を用いることができる。ただし、特に中心位置が広角画像の中心からずれて設定された場合、拡縮中心から遠い点ほど移動量が大きく画像合成時の不連続性が目立ちやすいため、拡縮中心から最も遠い点でも連続に見えるような拡縮率で処理する（後述）。また、ボケ度合いの変更（撮影後の画像処理による変更）を行う場合はガウシアンフィルタ等の技術を用いることができる。また、撮影が期待される画像と実際に撮影された画像がずれている場合は拡縮中心を補正してもよい（後述）。

ステップＳ２３０の画像処理の際、画像処理部２４０Ｅは、処理内容及び程度の組合せをモニタ２７０に表示させ、ユーザが選択した組合せに応じた処理を行ってもよい。処理を施す画像は、奏する効果の内容及び程度に応じて広角画像（第１画像）、望遠画像（第２画像）、中間画像のうちから選択することができる。なお、移動、拡大または縮小、回転、ボケ度合いの変更の他に、画像の色彩及び／または明度を変更してもよい。

＜画像処理工程における処理の例＞
＜拡縮中心の補正＞
第１の実施形態では、撮影ガイド（メッセージ及び参考用画像の表示等）により、撮影が期待される画像と実際に撮影された画像とを容易に一致させられるが、それでもなお、撮影が期待される画像と実際に撮影された画像とはずれる可能性がある。例えば、撮影が期待される画像が図１４の（ａ）部分に示す画像Ｉ３であり、実際に撮影された画像（中間画像または望遠画像）が図１４の（ｂ）部分に示す画像Ｉ３Ｒであったとすると、画像Ｉ３と画像Ｉ３Ｒとは撮影範囲がずれている。この場合、画像処理部２４０Ｅは画像Ｉ３，Ｉ３Ｒを重ね合わせて少しずつずらしながら相関性を演算し、ずらす方向及び量を調整して相関性が最も高くなるようにして、画像Ｉ３Ｒの拡縮中心（ズーム中心）を補正する（ステップＳ２３０：画像処理工程）。図１５は拡縮中心の補正の例を示す図である。図１５の（ａ）部分、（ｂ）部分、（ｃ）部分はそれぞれ「画像Ｉ３，Ｉ３Ｒをそのまま重ね合わせた状態」、「画像Ｉ３，Ｉ３Ｒをずらして重ね合わせた状態」、「画像Ｉ３，Ｉ３Ｒを（ｂ）部分の状態よりも大きくずらして重ね合わせた状態（相関性が最も高くなる状態の例）」を示す。

ズーム設定部２４０Ｂ及び画像処理部２４０Ｅは、移動による拡縮中心の補正の他に、撮影が期待される画像と実際に撮影された画像との相対的な拡大または縮小、回転を行って画像どうしのズレを補正してもよい。拡大等の画像処理は、全ての画像を撮影した後に行うのではなく、撮影するごとに行ってもよい。なお、このような画像の移動、拡大または縮小、回転は、広角画像（第１画像）、中間画像、または望遠画像（第２画像）のアフィン変換により行うことができる。

＜拡縮率の調整＞
撮影者が意図する効果を付与するために画像を拡大または縮小（ズーム、画角の変更）をする場合、一定比率で拡大または縮小を行うと、拡縮中心（ズーム中心）から遠い点ほど移動量が大きく、合成画像において軌跡の不連続性が目立ちやすい。例えば、図１６の（ａ）部分は画像のズーム率を一定にして拡大した状態を示す図である。具体的には、ズーム範囲Ｚ１の１２５％をズーム範囲Ｚ２とし、以下同様にズーム範囲Ｚ２の１２５％をズーム範囲Ｚ３とし、ズーム範囲Ｚ３の１２５％をズーム範囲Ｚ４としている。これらのズーム範囲を重ね合わせると、拡縮中心から最も遠い右上の点のズーム範囲間の移動量は、移動量ΔＺ３（ズーム範囲Ｚ４、Ｚ３の間での移動量）＞移動量ΔＺ２（ズーム範囲Ｚ３、Ｚ２の間での移動量）＞移動量ΔＺ１（ズーム範囲Ｚ２、Ｚ１の間での移動量）となり、内側から外側へ向かうにつれて（すなわち、ズーム範囲Ｚ１からズーム範囲Ｚ４に向かうにつれて）間隔が広がる様子が目立つ。

このような観点から、第１の実施形態では、ズーム設定部２４０Ｂ及び画像処理部２４０Ｅが拡縮率（ズーム倍率、撮影画角）を調整して、拡縮中心から最も遠い点（図１６の例ではズーム範囲の右上の点）でも連続に見える（一定の間隔で変化する）ようにする（ステップＳ２３０：画像処理工程）。例えば、図１６の（ｂ）部分に示すように、移動範囲ΔＺ４において右上の点の移動間隔を均等にする。このような画像処理は、ズーム設定部２４０Ｂ及び画像処理部２４０Ｅがズーム中心と広角画像の中心との距離に応じて中間画像の撮影画角を設定することにより行うことができる。具体的には、ズーム設定部２４０Ｂ及び画像処理部２４０Ｅがズーム範囲の外側（画角が広い状態）では拡縮率を緩やかに変化させることにより、上述した画像処理を実現できる（後述）。なお、このような処理を撮影の際（例えば、ステップＳ１１０、Ｓ１６０等）に行い、拡縮中心が調整された画像を撮影してもよい。

＜拡縮率調整の処理＞
上述した拡縮率調整の処理について詳述する。図１７に示すように、画角が広い方の画像の幅をＷ画素、高さをＨ画素とする。画角が狭い方の画像は、画角が広い方の画像において、幅を（Ｗ－ΔＷ）画素、高さを（Ｈ－ΔＨ）画素に相当する画角であるとする。ズーム設定部２４０Ｂ及び画像処理部２４０Ｅは、ＷとＨのうち小さくない方（図１７の例ではＷ＞Ｈなので、Ｗ）を基準に拡縮率を算出する。拡縮中心点と拡縮中心点から最も遠い点との距離が最大となるのは、拡縮中心点が画像の四隅のときであるから、この場合でも連続性が保たれるようにすればよい。この場合、拡大による幅が１画素より大きくなると不連続性が生じてしまうため、ズーム設定部２４０Ｂ及び画像処理部２４０Ｅは、拡大による幅が１画素ずつ大きくなるように、ΔＷ回のステップ回数で拡大処理を行う。すなわち各ステップ回数ｊ（ｊ＝１、２、…、ΔＷ）における拡大率Ｍ＿ｊはそれぞれ
Ｍ＿１ ＝ （Ｗ－ΔＷ＋１） ÷ （Ｗ－ΔＷ）
Ｍ＿２ ＝ （Ｗ－ΔＷ＋２） ÷ （Ｗ－ΔＷ＋１）
…
Ｍ＿ΔＷ ＝ Ｗ ÷ （Ｗ－１）
とする。

＜拡縮率調整の効果＞
図１８は、上述した拡縮率調整の効果を説明するための図である。図１８の（ａ）部分は、図１６の（ａ）部分のように、軌跡が連続的に見えない画像の具体例である。例えば、鳥の羽部分の領域３０１に起因する不連続性が領域３０２に現れている。これに対して図１８の（ｂ）部分は、図１６の（ｂ）部分のように、上述した手法で拡大率を設定することにより軌跡が連続的に見えるようにした画像の具体例である。このように、第１の実施形態によれば、露光間ズーム画像において撮影者が意図する効果（この場合、被写体の軌跡を連続的に、なめらかに変化させる）を容易に得ることができる。

＜加重平均による合成画像の生成＞
画像合成部２４０Ｉは、ステップＳ２３０までの処理を行った画像（広角画像、望遠画像、または中間画像）を重み付け加算して合成画像を生成する（ステップＳ２４０：画像合成工程）。画像に対する重みは、ズーム開始、途中、及び終了における画像の強調度合い（ズーム開始から終了に向けてぼかしていく、あるいはその逆にズーム開始においてぼけていた状態をズーム終了に向けて鮮明にしていく、等）を考慮して設定することができる。このような重み付け加算により、露光間ズーム撮影の効果を奏する画像を生成することができる。

＜合成画像の表示＞
表示制御部２４０Ｇは、ステップＳ２４０で生成された合成画像をモニタ２７０に表示させる（ステップＳ２５０：画像表示工程）。合成画像を表示するだけでなく、記憶部２６０に記憶してもよい。また、画像合成部２４０Ｉが広角画像、中間画像、望遠画像を順次合成し、加算した画像が少ない状態から全ての画像を加算した状態までを、連続して動画像のように（あるいはアニメーションのように）表示することで、「被写体が飛び出してくる」、「吸い込まれてゆく」等の効果が強調される表示を行ってもよい。

＜合成画像の例１＞
図１９は合成画像の例（実際に撮影した画像をズーム、合成した画像）を示す図である。図１９に示す画像Ｉ４では、ズーム中心Ｉ４Ｃから被写体が放射状に流れており、被写体が飛び出してくるような印象（あるいは吸い込まれていくような印象）を与えることができる。

＜合成画像の例２＞
図２０は合成画像の他の例（シミュレーションによる合成画像）を示す図である。図２０の例では、図２０の（ａ）部分に示す元画像Ｉ５Ａ（広角画像）に対し拡大及びアンシャープ（Unsharp；強調処理）を施した４１枚の画像（中間画像４０枚、望遠画像１枚）を加重平均し、同図の（ｂ）部分に示す合成画像Ｉ５Ｂ（合成画像）を生成している。合成画像Ｉ５Ｂでは、元画像Ｉ５Ａにおける被写体Ｉ５Ｘが、鮮明な状態のままズーム（拡大）されていく効果が得られる。

＜合成画像の例３＞
図２１は合成画像の他の例（シミュレーションによる合成画像）を示す図である。図２１の例では、図２１の（ａ）部分に示す元画像Ｉ６Ａ（広角画像；図２０の（ａ）部分に示す元画像Ｉ５Ａと同じ）に対し、アフィン変換による拡大及びガウシアンフィルタによるボケ度合いの変更の処理を施した４１枚の画像（中間画像４０枚、望遠画像１枚）を加重平均し、同図の（ｂ）部分に示す合成画像Ｉ６Ｂ（合成画像）を生成している。合成画像Ｉ６Ｂでは、元画像Ｉ６Ａにおける被写体Ｉ６Ｘがズーム（拡大）にともないボケていく効果が得られる。

＜合成画像の例４＞
図２２は合成画像のさらに他の例（シミュレーションによる合成画像）を示す図である。図２２の例では、図２２の（ａ）部分に示す元画像Ｉ７Ａ（広角画像）に対しアフィン変換による拡大及び回転、ガウシアンフィルタによるボケ度合いの変更（ぼかし）の処理を施した４１枚の画像（中間画像４０枚、望遠画像１枚）を加重平均し、同図の（ｂ）部分に示す合成画像Ｉ７Ｂ（合成画像）を生成している。合成画像Ｉ７Ｂでは、元画像Ｉ７Ａにおける被写体Ｉ７Ｘがズーム（拡大）及び回転しながらボケていく効果が得られる。

＜合成画像の例５＞
図２３は合成画像のさらに他の例（実際の画像による合成画像）を示す図である。図２３の例では、図２３の（ａ）部分に示す元画像Ｉ８Ａ（広角画像）に対しアフィン変換による拡大、及びガウシアンフィルタによるボケ度合いの変更（ぼかし）の処理を施した４１枚の画像（中間画像が４０枚、望遠画像が１枚）を加重平均し、同図の（ｂ）部分に示す合成画像Ｉ８Ｂ（合成画像）を生成している。合成画像Ｉ８Ｂでは、元画像Ｉ８Ａにおける被写体Ｉ８Ｘがズーム（拡大）しながらボケていく効果が得られる。

＜第１の実施形態の効果＞
以上説明したように、第１の実施形態によれば、撮影画角が異なる第１画像、第２画像、中間画像を重み付け加算するので、露光間ズーム撮影の効果を得ることができる。また、合成画像の生成において移動、拡大、回転、ボケ度合いの変更のうち少なくとも１つの処理を施すので、複雑で難易度の高い操作を行うことなくユーザが求める効果を容易に得ることができる。

＜その他＞
以上で本発明の実施形態に関して説明してきたが、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。例えば、第１の実施形態における撮像装置は、デジタルカメラ、スマートフォン、タブレット端末等により実現することができる。また、撮像装置１０のように撮像部を設けるのではなく、別途撮像した画像を記録媒体、ネットワーク等を介して取得しコンピュータで処理する態様を採用してもよい。

１０ 撮像装置
１００ 交換レンズ
１１０ ズームレンズ
１２０ フォーカスレンズ
１３０ 絞り
１４０ レンズ駆動部
２００ 撮像装置本体
２１０ 撮像素子
２２０ ＡＦＥ
２３０ Ａ／Ｄ変換器
２４０ 画像処理装置
２４０Ａ 第１画像取得部
２４０Ｂ ズーム設定部
２４０Ｃ 第２画像取得部
２４０Ｄ 中間画像取得部
２４０Ｅ 画像処理部
２４０Ｆ 情報表示部
２４０Ｇ 表示制御部
２４０Ｈ レンズ駆動制御部
２４０Ｉ 画像合成部
２４２ ＲＯＭ
２５０ 操作部
２６０ 記憶部
２７０ モニタ
３０１ 領域
３０２ 領域
Ｃ１ マーク
Ｆ１ 枠
Ｉ０ 広角画像
Ｉ１ 参考用画像
Ｉ１Ａ 画像
Ｉ１Ｂ 画像
Ｉ１Ｒ 画像
Ｉ２ 参考用画像
Ｉ２Ａ 画像
Ｉ２Ｂ 画像
Ｉ２Ｒ 画像
Ｉ３ 画像
Ｉ３Ｒ 画像
Ｉ４ 画像
Ｉ４Ｃ ズーム中心
Ｉ５Ａ 元画像
Ｉ５Ｂ 合成画像
Ｉ５Ｘ 被写体
Ｉ６Ａ 元画像
Ｉ６Ｂ 合成画像
Ｉ６Ｘ 被写体
Ｉ７Ａ 元画像
Ｉ７Ｂ 合成画像
Ｉ７Ｘ 被写体
Ｉ８Ａ 元画像
Ｉ８Ｂ 合成画像
Ｉ８Ｘ 被写体
Ｌ 光軸
Ｍ１ メッセージ
Ｍ２ メッセージ
Ｍ３ メッセージ
Ｍ３Ａ メッセージ
Ｍ４ メッセージ
Ｍ４Ａ メッセージ
Ｍ５ メッセージ
Ｍ６ メッセージ
Ｎ 撮影枚数
Ｓ１００～Ｓ２５０ 画像処理方法の各ステップ
Ｚ１ ズーム範囲
Ｚ２ ズーム範囲
Ｚ３ ズーム範囲
Ｚ４ ズーム範囲
ΔＺ１ 移動量
ΔＺ２ 移動量
ΔＺ３ 移動量
ΔＺ４ 移動範囲

Claims (11)

1. 第１画像を取得する第１画像取得部と、
   前記第１画像に対してズーム中心及びズーム範囲を設定するズーム設定部と、
   前記ズーム中心及び前記ズーム範囲に対応した第２画像を取得する第２画像取得部と、
   前記第１画像よりも撮影画角が狭く前記第２画像よりも撮影画角が広い中間画像を、指定された数だけ取得する中間画像取得部と、
   前記第１画像、前記第２画像、または前記中間画像に対し、移動、拡大または縮小、回転、ボケ度合いの変更のうち少なくとも１つの処理を施す画像処理部と、
   前記処理を施した前記第１画像、前記第２画像、または前記中間画像を重み付け加算して合成画像を生成する画像合成部と、
   を備え、
   前記中間画像取得部は、前記中間画像の前記撮影画角を示す情報を表示装置に表示させ、前記情報に対応して撮影された画像を前記中間画像として取得する画像処理装置。
2. 前記第２画像取得部は、前記第１画像のうち前記ズーム中心及び前記ズーム範囲に対応した部分を切り出すことにより前記第２画像を取得する請求項１に記載の画像処理装置。
3. 前記中間画像取得部は撮影画角が異なる複数の画像を前記指定された数の前記中間画像として取得し、前記画像処理部は前記複数の画像のそれぞれに対して前記処理を施す請求項１または２に記載の画像処理装置。
4. 前記ズーム設定部は、前記情報により示される前記ズーム中心と、前記情報に対応して撮影された前記画像の中心とのずれに応じて前記ズーム中心を移動させる請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記画像処理部は前記中間画像及び／または前記第２画像をアフィン変換により移動、拡大または縮小、回転する請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記ズーム設定部はユーザの指示入力に基づいて前記ズーム中心及び前記ズーム範囲を設定する請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記画像処理部はユーザの指示入力に基づいて前記ボケ度合いの変更を行う請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記ズーム設定部は前記ズーム中心と前記第１画像の中心との距離に応じて前記中間画像の前記撮影画角を設定する請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記合成画像を表示装置に表示させる表示制御部を備える請求項１から８のいずれか１項に記載の画像処理装置。
10. ズームレンズを含む撮影レンズにより被写体像を撮像する撮像部と、
    請求項１から９のいずれか１項に記載の画像処理装置と、を備える撮像装置であって、
    前記ズーム設定部は前記ズーム中心及び前記ズーム範囲に応じて前記ズームレンズを制御し、
    前記中間画像取得部は前記撮像部により前記ズーム中心及び前記ズーム範囲に対応した前記中間画像を取得する撮像装置。
11. 第１画像を取得する第１画像取得工程と、
    前記第１画像に対してズーム中心及びズーム範囲を設定するズーム設定工程と、
    前記ズーム中心及び前記ズーム範囲に対応した第２画像を取得する第２画像取得工程と、
    前記第１画像よりも撮影画角が狭く前記第２画像よりも撮影画角が広い中間画像を、指定された数だけ取得する中間画像取得工程と、
    前記第１画像、前記第２画像、または前記中間画像に対し、移動、拡大または縮小、回転、ボケ度合いの変更のうち少なくとも１つの処理を施す画像処理工程と、
    前記処理を施した前記第１画像、前記第２画像、または前記中間画像を重み付け加算して１つの画像を生成する画像合成工程と、
    を有し、
    前記中間画像取得工程では、前記中間画像の前記撮影画角を示す情報を表示装置に表示させ、前記情報に対応して撮影された画像を前記中間画像として取得する画像処理方法。

Images