JP4888192B2 - 撮像装置 - Google Patents

Description

本発明は、パノラマ画像の撮像補助機能を有する撮像装置に関する。

従来から、複数の画像で被写体を分割して撮像するとともに、これらの画像を合成してつなぎ合わせることで１つの連続したパノラマ画像を作成する手法が公知である。例えば、特許文献１には、上記のパノラマ画像の作成を容易にするカメラの一例が開示されている。
特開２００５−２２３９０５号公報

ところで、上記のパノラマ画像において、画像のつなぎ目では２つの画像が合成されることとなる。そのため、２つの画像の重複範囲に主要被写体の人物が位置し、画像ごとに人物の表情やポーズが変化すると、多重露光のような主要被写体のズレが生じて撮影失敗となりうる点で改善の余地があった。
本発明は上記従来技術の課題を解決するためのものである。本発明の目的は、パノラマ画像を生成するときに、主要被写体をより好ましい状態で表現できる手段を提供することである。

本発明の撮像装置は、撮像部、注目被写体検出部、第１画像撮像手段、モニタ、制御部、第２画像撮像手段、及び画像処理部を備える。撮像部は、被写体画像を撮像する。注目被写体検出部は、第１レリーズ前に撮像部で撮像した画像に基づいて注目被写体画像領域を検出する。第１画像撮像手段は、第１レリーズに応答して直前に検出した注目被写体画像領域を含む第１画像を撮像部で撮像する。モニタは、撮像部で撮像された画像をスルー画像として表示する。制御部は、第１画像に対する注目被写体画像領域の位置に基づいて、次に撮像する画像との間での重複範囲を第１画像に対して決定し、決定した重複範囲の画像をモニタにスルー画像と重ねて表示するように制御する。第２画像撮像手段は、モニタ上で重複範囲の画像がスルー画像の一部に重なるように構図を決めた後に実行される第２レリーズに応答して撮像部で第２画像を撮像する。画像処理部は、第１又は第２画像のうちのいずれか一方の画像から重複範囲の画像を削除し、一方の画像と他方の画像とを合成する。

制御部は、注目被写体画像領域が全て収まるように重複範囲を決定するように構成してもよい。

また、制御部は、重複範囲の画像を半透過状態で表示するように制御してもよい。

さらに、重複範囲の画像の優先度を前記第１及び第２画像のうちから選択するための操作部を設け、画像処理部は、前記操作部により選択された優先度に基づく優先度の低い画像から前記重複範囲の画像を削除するように構成してもよい。

また、制御部は、第１レリーズ前に第１画像に対して第２画像をつなげる方向を示すマークをモニタに、スルー画像に対して上下左右の四方向のそれぞれに表示するように制御してもよい。この場合、前記四方向のうちのいずれかの方向を選択する方向選択操作部を備える。
そして、制御部は、第１画像のうち、前記方向選択操作部で選択した方向の端を基準として逆端に向けた所定範囲内に前記主要被写体画像領域が存在する場合に、前記主要被写体画像領域がすべて収まるように前記重複範囲を決定する。

本発明では、第１レリーズに応答して撮像した第１画像に対する注目被写体画像領域の位置に基づいて重複範囲を第１画像に対して決定し、決定した重複範囲の画像をモニタに表示し、その後、モニタ上で重複範囲の画像がスルー画像の一部に重なるように構図を決めた後に実行される第２レリーズに応答して第２画像を撮像し、そして、第１又は第２画像のうちのいずれか一方の画像から重複範囲の画像を削除して、一方の画像と他方の画像とを合成する。これにより、第１及び第２画像から生成したパノラマ画像では、主要被写体が好ましい状態で表現される。

（第１実施形態の説明）
図１は、第１実施形態の電子カメラの構成を示すブロック図である。本実施形態の電子カメラは、撮影モードの１機能として、パノラマ画像の生成を補助するためのパノラマアシストモードを有している。ここで、パノラマ画像は、所定方向に被写体を分割撮像した複数の画像をつなぎ合わせて、１つの連続した画像としたものをいう。

本実施形態の電子カメラは、撮像光学系１１と、撮像素子１２と、ＡＦＥ１３と、画像処理部１４と、バッファメモリ１５と、記録Ｉ／Ｆ１６と、モニタ１７と、操作部材１８と、レリーズ釦１９と、タッチパネル２０と、ＣＰＵ２１およびバス２２とを有している。ここで、画像処理部１４、バッファメモリ１５、記録Ｉ／Ｆ１６、モニタ１７およびＣＰＵ２１は、バス２２を介してそれぞれ接続されている。また、操作部材１８、レリーズ釦１９およびタッチパネル２０は、それぞれＣＰＵ２１に接続されている。

撮像光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成されている。撮像光学系１１のレンズ位置は、レンズ駆動部（不図示）によって光軸方向に調整される。なお、簡単のため、図１では撮像光学系１１を１枚のレンズとして図示する。
撮像素子１２は、撮像光学系１１の像空間側に配置されている。撮像素子１２の受光面には受光素子が２次元配列されている。撮像素子１２は、撮像光学系１１を通過した光束による被写体像を光電変換してアナログの画像信号を生成する。この撮像素子１２の出力はＡＦＥ１３に接続されている。

ここで、電子カメラの撮影モードにおいて、撮像素子１２はレリーズ釦１９の全押し操作に応答して記録画像（本画像）を撮像する。また、撮影モードでの撮像素子１２は、撮影待機時にも所定間隔毎にスルー画像を撮像する。このスルー画像のデータは、撮像素子１２から間引き読み出しで出力される。なお、スルー画像のデータは、モニタ１７での画像表示や、ＣＰＵ２１による各種の演算処理などに使用される。

ＡＦＥ１３は、撮像素子１２の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１３は、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換を行う。なお、ＡＦＥ１３の出力は画像処理部１４に接続されている。
画像処理部１４は、１フレーム分のデジタル画像信号に対して、各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整など）を施す。また、画像処理部１４は、上記のパノラマアシストモードにおいて、（１）構図決定用のガイド画像の生成処理、（２）本画像のトリミング処理、（３）パノラマ画像を生成するための画像合成処理（パノラマ合成処理）などを実行する。

バッファメモリ１５は、画像処理部１４による画像処理の前工程や後工程で画像のデータを一時的に記憶する。
記録Ｉ／Ｆ１６には、記憶媒体２３を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ１６は、コネクタに接続された記憶媒体２３に対してデータの書き込み／読み込みを実行する。上記の記憶媒体２３は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体２３の一例としてメモリカードを図示する。

モニタ１７は、ＣＰＵ２１の指示に応じて各種画像を表示する。なお、本実施形態の例では、液晶パネルで構成されたモニタ１７が筐体背面に配置される。
撮影モードでの撮影待機時において、モニタ１７にはＣＰＵ２１の制御によりスルー画像が動画表示される。このとき、ＣＰＵ２１は、撮影に必要となる各種情報をモニタ１７上のスルー画像に重畳表示させることもできる。また、ＣＰＵ２１は、各種の設定項目の入力を可能とするＧＵＩ(Graphical User Interface)形式のボタンをモニタ１７上に表示させることもできる。なお、パノラマアシストモードでは、１フレーム目の本画像の撮像後において、ＣＰＵ２１がモニタ１７のスルー画像にガイド画像を重畳表示させる（ガイド画像の表示については後述する）。

操作部材１８は、例えば、コマンドダイヤル、十字状のカーソルキー、決定釦などで構成される。そして、操作部材１８は電子カメラの各種入力をユーザーから受け付ける。例えば、操作部材１８は、電子カメラの動作モードの切替操作や、後述の設定画面での入力操作などに用いられる。
レリーズ釦１９は、半押し操作による撮像前のオートフォーカス（ＡＦ）動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザーから受け付ける。

タッチパネル２０は、パネル表面に接触したスタイラス（または指先など）の位置を検出する。そして、タッチパネル２０は、検出した位置情報をＣＰＵ２１に出力することでユーザーからの入力を受け付ける。なお、タッチパネル２０の構成は、静電容量式または感圧式のいずれでもよい。
ここで、本実施形態のタッチパネル２０は、モニタ１７と同形状の透明のパネルで構成されている。そして、タッチパネル２０は、モニタ１７の表面全体に積層配置されている。したがって、ユーザーはモニタ１７の表示画像を視認しつつ、上記の表示画像の座標をタッチパネル２０を介してＣＰＵ２１に指定入力できる。

ＣＰＵ２１は、電子カメラの動作を統括的に制御するプロセッサである。このＣＰＵ２１は、スルー画像のデータに基づいて、コントラスト検出方式による公知のＡＦ制御や、自動露出（ＡＥ）演算、オートホワイトバランス演算などを実行する。さらに、ＣＰＵ２１は、パノラマアシストモードでの各種の演算処理を実行する。
また、本実施形態でのＣＰＵ２１は、不図示のＲＯＭに格納されたプログラムの実行により、顔検出部２４およびメタデータ生成部２５として機能する。

顔検出部２４は、スルー画像のデータに顔検出処理を施して、スルー画像に含まれる人物の顔領域を検出する。この顔検出処理は公知のアルゴリズムによって行われる。一例として、顔検出部２４は、公知の特徴点抽出処理によって、眉，目，鼻，唇の各端点などの特徴点を画像から抽出し、これらの特徴点に基づいて顔領域か否かを判定する。あるいは、顔検出部２４は、予め用意された参照データ（顔画像など）と判定対象のスルー画像との相関係数を求め、この相関係数が一定の閾値を超えるときに顔領域と判定してもよい。

メタデータ生成部２５は、Ｅｘｉｆ（Exchangeable image file format for digital still cameras）規格に準拠して、画像ファイルのヘッダ領域に記憶されるメタデータを生成する。また、メタデータ生成部２５は、パノラマアシストモードにおいて、２つの画像における被写体像の重複部分を示すメタデータを生成する。なお、メタデータ生成部２５は、Ｅｘｉｆ規格のＭａｋｅｒＮｏｔｅタグを利用して、上記のパノラマアシストモードでのメタデータを記録する。

次に、図２の流れ図を参照しつつ、第１実施形態における電子カメラのパノラマアシストモードでの撮像動作を説明する。ここで、第１実施形態では、２フレーム分の本画像からパノラマ画像を生成する例を説明する。
ステップ１０１：ＣＰＵ２１は、ユーザーの操作に応じて、パノラマアシストモードの設定画面を立ち上げる。なお、設定画面での表示処理などはいずれもＣＰＵ２１が実行する。

この設定画面では、パノラマアシストモードでの撮像後の処理をユーザーがＣＰＵ２１に指示できる。より具体的には、ユーザーは、（１）本画像のトリミング処理、（２）重複範囲を示すメタデータの生成、のいずれかの項目を選択してＣＰＵ２１に入力できる。また、上記の設定画面では、電子カメラ上でのパノラマ合成処理のオン／オフをＣＰＵ２１に対して指示することもできる（なお、個々の設定項目における処理内容は後述する）。

なお、ユーザーが設定画面での設定変更を必要としない場合、ＣＰＵ２１は設定画面を立ち上げを省略してＳ１０２に移行してもよい。
ステップ１０２：ＣＰＵ２１は、撮像素子１２を駆動させてスルー画像の撮像を開始する。その後、スルー画像は所定間隔ごとに逐次生成されることとなる。また、ＣＰＵ２１は、スルー画像をモニタ１７に動画表示する。したがって、ユーザーはモニタ１７のスルー画像によって撮影構図を決定するためのフレーミングを行うことができる。

ここで、パノラマアシストモードでのＣＰＵ２１は、１フレーム目の本画像（第１画像）の撮像前に、２フレーム目の本画像（第２画像）をつなげる方向（パノラマ方向）を示すマークをスルー画像に重畳表示する（図３参照）。そして、ＣＰＵ２１は、操作部材１８またはタッチパネル２０からのユーザーの入力に応じて、上記のパノラマ方向を変更することができる。このとき、ユーザーは上下左右の４方向から任意にパノラマ方向を選択できる。また、パノラマ方向の変更画面の例を図４に示す。なお、本実施形態では、パノラマ方向が右方向に設定された状態を前提として以下の説明を行う。

ステップ１０３：ＣＰＵ２１は、スルー画像に対して顔検出処理を実行し、撮影画面内に含まれる人物の顔領域を検出する。ここで、Ｓ１０３で顔領域を検出した場合には、ＣＰＵ２１は、顔領域の検出を示すフラグ（顔検出フラグ）をオンに設定するとともに、顔領域の検出位置を示す顔位置データをワークメモリ（不図示）などに一時的に記録する。そして、ＣＰＵ２１は、検出できた顔領域の位置をモニタ１７に表示する。一例として、ＣＰＵ２１は、スルー画像内で検出できた顔領域の位置にそれぞれ矩形の枠を重畳表示する（図３参照）。なお、ＣＰＵ２１は、所定間隔ごとに上記の顔検出処理を実行する。そのため、顔検出フラグおよび顔位置データは、ＣＰＵ２１によって逐次更新されることとなる。

ステップ１０４：ＣＰＵ２１は、レリーズ釦１９が全押しされたか否かを判定する。レリーズ釦１９が全押しされた場合（ＹＥＳ側）には、ＣＰＵ２１はＳ１０５に移行する。一方、レリーズ釦１９が全押しされていない場合（ＮＯ側）には、ＣＰＵ２１はレリーズ釦１９の全押し操作を待機する。
ステップ１０５：ＣＰＵ２１は、撮像素子１２を駆動させて第１画像を撮像する。その後、画像処理部１４によって第１画像のデータが生成される。

ステップ１０６：ＣＰＵ２１は、第１画像のデータを記憶媒体２３に記録する。
ステップ１０７：ＣＰＵ２１は、第１画像の撮像直前に顔検出フラグ（Ｓ１０３）がオンであったか否かを判定する。顔検出フラグがオンの場合（ＹＥＳ側）には、ＣＰＵ２１はＳ１０８に移行する。一方、顔検出フラグがオフの場合（ＮＯ側）には、ＣＰＵ２１はＳ１１０に移行する。

ステップ１０８：ＣＰＵ２１は、第１画像における顔領域の位置が第２画像との接続側（パノラマ方向）からみて所定範囲内にあるか否かを判定する。一例として、Ｓ１０８でのＣＰＵ２１は、第１画像の撮像直前の顔位置データ（Ｓ１０３）に基づいて、検出した顔領域の位置が、画面右端から画面中央までの範囲（すなわち、第１画像の右半分）にあるか否かを判定する。

上記の要件を満たす場合（ＹＥＳ側）には、ＣＰＵ２１はＳ１０９に移行する。一方、上記の要件を満たさない場合（ＹＥＳ側）には、ＣＰＵ２１はＳ１１０に移行する。
ステップ１０９：ＣＰＵ２１は、画像処理部１４に対して、第２画像の構図決定のためのガイド画像の生成を指示する。具体的には、以下の（１）および（２）の手順で、上記のガイド画像が生成される。なお、ＣＰＵ２１はＳ１０９での処理後にＳ１１１に移行する。

（１）第１に、ＣＰＵ２１は、顔領域の位置に基づいて、画像間で被写体像を重複させる範囲（重複範囲）を決定する。このとき、ＣＰＵ２１は、第１画像のパノラマ方向の端部を基準として、第１画像の顔領域がすべて収まるように上記の重複範囲の大きさを設定する。なお、図５は、図３に対応するシーンでの第１画像の重複範囲を示す図である。
（２）次に、画像処理部１４は、第１画像のデータから上記（１）の重複範囲の対応部分を切り出す。そして、画像処理部１４は、切り出した重複範囲の画像をモニタ１７の解像度に合わせて解像度変換し、ガイド画像を生成する。

ステップ１１０：ＣＰＵ２１は、画像処理部１４に対して、第２画像の構図決定のためのガイド画像の生成を指示する。
このＳ１１０の場合には、ＣＰＵ２１は、第１画像のパノラマ方向の端部からデフォルトの領域（例えば、画面の約１／３までの範囲）を上記の重複範囲とする。そして、画像処理部１４は、Ｓ１０９の（２）と同様の工程でガイド画像を生成する。

ステップ１１１：ＣＰＵ２１は、半透過状態のガイド画像をスルー画像上に重畳表示させる（図６参照）。また、このＳ１１１の段階では、ガイド画像で示された上記の重複範囲をユーザーは所定の操作で変更することができる。一方、上記の重複範囲を変更しない場合には、ユーザーは操作部材１８の決定釦を押圧する。
ステップ１１２：ＣＰＵ２１は、操作部材１８の決定釦が押圧されたか否かを判定する。決定釦が押圧された場合（ＹＥＳ側）には、ＣＰＵ２１は重複範囲を確定するとともに、モニタ１７上のガイド画像をロックする。その後、ＣＰＵ２１はＳ１１５に移行する。この状態において、スルー画像の被写体がガイド画像に重なるようにフレーミングを行うことで、ユーザーは第２画像の適正な構図を容易に決定できるようになる。一方、決定釦の押圧がない場合（ＮＯ側）には、ＣＰＵ２１はＳ１１３に移行する。

ステップ１１３：ＣＰＵ２１は、ガイド画像の変更操作を受け付けたか否かを判定する。上記の変更操作を受け付けた場合（ＹＥＳ側）には、ＣＰＵ２１はＳ１１４に移行する。一方、上記の変更操作がない場合（ＮＯ側）には、ＣＰＵ２１はＳ１１２に戻って上記動作を繰り返す。
ステップ１１４：ＣＰＵ２１は、ユーザーの変更操作に応じて、ガイド画像および重複範囲を再設定する。その後、ＣＰＵ２１は、Ｓ１１１に戻って上記動作を繰り返す。

一例として、Ｓ１１４でのＣＰＵ２１は、第１画像の再生画像をモニタ１７に表示するとともに、再生画像に対するガイド画像の割合を変更する操作をユーザーから受け付ける。そして、ＣＰＵ２１は、操作部材１８またはタッチパネル２０で範囲指定がなされると、その指定範囲を新たな重複範囲に設定する。そして、画像処理部１４は、新たな重複範囲に基づいて、第１画像のデータからガイド画像を再び生成する。

また、Ｓ１１４でのＣＰＵ２１は、ユーザーのタッチパネル２０の操作に応じて、ガイド画像のおよび重複範囲の輪郭形状を変更することもできる。例えば、ＣＰＵ２１は、ガイド画像および重複範囲の輪郭を、第１画像または第２画像に向けて突出した凹凸形状にすることができる。
ここで、重複範囲の輪郭形状を変更した場合の一例を図７に示す。この図７の例は、第１画像に含まれていない被写体（鳥）をパノラマ画像に収めるために、第１画像の重複範囲を一部切り欠くように重複範囲の輪郭形状を変更したケースである。このように、重複範囲の輪郭形状の変更により、ユーザーは重複範囲において第２画像の被写体を優先的にパノラマ画像に含めることが可能となる。なお、この場合においても、画像処理部１４は、変更後の重複範囲に基づいて、第１画像のデータからガイド画像を再び生成することとなる。

ステップ１１５：ＣＰＵ２１は、レリーズ釦１９が全押しされたか否かを判定する。レリーズ釦１９が全押しされた場合（ＹＥＳ側）には、ＣＰＵ２１はＳ１１６に移行する。一方、レリーズ釦１９が全押しされていない場合（ＮＯ側）には、ＣＰＵ２１はレリーズ釦１９の全押し操作を待機する。
ステップ１１６：ＣＰＵ２１は、撮像素子１２を駆動させて、第１画像と同じホワイトバランスおよび露出条件で第２画像を撮像する。その後、画像処理部１４によって第２画像のデータが生成される。

ステップ１１７：ＣＰＵ２１は、Ｓ１０１の設定画面で本画像のトリミング処理が指定されているか否かを判定する。本画像のトリミング処理が指定されている場合（ＹＥＳ側）には、ＣＰＵ２１はＳ１１８に移行する。一方、重複範囲を示すメタデータの生成が指定されている場合（ＮＯ側）には、ＣＰＵ２１はＳ１２２に移行する。
ステップ１１８：ＣＰＵ２１は、画像処理部１４に対して、第２画像のデータから不要部分の削除を指示する。そして、画像処理部１４は、第２画像に含まれる重複範囲のうちで、スティッチング部分を除いた領域を削除する。なお、スティッチング部分とは、パノラマ合成処理のときに２つの画像を合成するつなぎ目部分のことである。

ステップ１１９：ＣＰＵ２１は、不要部分を削除した後の第２画像のデータ（Ｓ１１８）を記憶媒体２３に記録する。
ステップ１２０：ＣＰＵ２１は、Ｓ１０１の設定画面でパノラマ合成処理がオンに設定されているか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、ＣＰＵ２１はＳ１２１に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ２１は一連の処理を終了する。なお、この場合には、コンピュータ等による後処理工程でパノラマ合成処理を実行することで、ユーザーはパノラマ画像を容易に取得できる。

ステップ１２１：ＣＰＵ２１は、第１画像のデータ（Ｓ１０６）と、不要部分削除後の第２画像のデータ（Ｓ１１８）とを記憶媒体２３から読み出す。そして、ＣＰＵ２１は、画像処理部１４に公知のパノラマ合成処理を実行させる。これにより、第１画像および第２画像からパノラマ画像が生成される。なお、第１実施形態で生成されるパノラマ画像の一例を図８に示す。その後、ＣＰＵ２１はパノラマ画像を記憶媒体２３に記録して一連の処理を終了する。

ステップ１２２：ＣＰＵ２１は、被写体像の重複範囲と、第２画像のスティッチング部分の位置とを示すメタデータを生成する。そして、ＣＰＵ２１は、上記のメタデータを、第２画像のデータと対応付けた状態で記憶媒体２３に記録し、一連の処理を終了する。
なお、Ｓ１２２の場合においても、コンピュータ等による後処理工程でパノラマ合成処理を実行することで、ユーザーはパノラマ画像を容易に取得できる。このとき、パノラマ合成処理を実行するコンピュータは、第２画像で削除すべき領域や、スティッチング部分を、上記のメタデータに基づいて特定することができる。

以下、第１実施形態の電子カメラの作用効果を述べる。
第１実施形態の電子カメラでは、パノラマ撮影において第１画像と第２画像との接続部分近傍に人物が位置する場合には、顔領域を含めるように重複範囲の設定を行う。そして、電子カメラは、第２画像のデータから重複範囲をほとんど削除してパノラマ合成処理用の画像を生成する。すなわち、パノラマ合成時に第１画像と第２画像とで人物の顔が重なり合わないので、パノラマ画像において多重露光のような顔のズレが生じることはない。したがって、第１画像と第２画像との撮像時に人物の表情や顔の位置が変化した場合にも人物が好ましい状態で撮影されたパノラマ画像を生成でき、パノラマ撮影の実用性が大きく向上する。なお、被写体像の重複範囲とスティッチング部分の位置とを示すメタデータを生成した場合にも、電子カメラは上記とほぼ同様の効果を得ることができる。

また、第１実施形態の電子カメラでは、重複範囲に対応するガイド画像がスルー画像に重畳表示されるので、第２画像の構図決定が非常に容易となる。さらに、ユーザーはガイド画像および重複範囲の変更を自由に行うことができるので、ユーザーの意図に則したパノラマ画像を得ることが容易となる。
（第２実施形態の説明）
図９は、第２実施形態における電子カメラのパノラマアシストモードでの撮像動作を説明する流れ図である。ここで、図９のＳ２０１，Ｓ２０２は、図２のＳ１０１，Ｓ１０２にそれぞれ対応するので、これらのステップに関する重複説明は省略する。また、第２実施形態の電子カメラの構成は、図１に示す第１実施形態の電子カメラと共通するので重複説明は省略する。

ステップ２０３：ＣＰＵ２１は、レリーズ釦１９が全押しされたか否かを判定する。レリーズ釦１９が全押しされた場合（ＹＥＳ側）には、ＣＰＵ２１はＳ２０４に移行する。一方、レリーズ釦１９が全押しされていない場合（ＮＯ側）には、ＣＰＵ２１はレリーズ釦１９の全押し操作を待機する。
ステップ２０４：ＣＰＵ２１は、撮像素子１２を駆動させて第１画像を撮像する。その後、画像処理部１４によって第１画像のデータが生成される。

ステップ２０５：ＣＰＵ２１は、第１画像のデータを記憶媒体２３に記録する。
ステップ２０６：ＣＰＵ２１は、画像処理部１４に対して、第２画像の構図決定のためのガイド画像の生成を指示する。
このＳ２０６の場合には、ＣＰＵ２１は、第１画像のパノラマ方向の端部からデフォルトの領域（例えば、画面の約１／３の範囲）を上記の重複範囲とする。そして、画像処理部１４は、第１実施形態におけるＳ１０９の（２）と同様の工程でガイド画像を生成する。

ステップ２０７：ＣＰＵ２１は、半透過状態のガイド画像をスルー画像上に重畳表示させる。なお、Ｓ２０７は上記のＳ１１１に対応するので重複説明を省略する。
ステップ２０８：ＣＰＵ２１は、操作部材１８の決定釦が押圧されたか否かを判定する。決定釦が押圧された場合（ＹＥＳ側）には、ＣＰＵ２１は重複範囲を確定するとともに、モニタ１７上のガイド画像をロックする。その後、ＣＰＵ２１はＳ２１１に移行する。一方、決定釦の押圧がない場合（ＮＯ側）には、ＣＰＵ２１はＳ２０９に移行する。

ステップ２０９：ＣＰＵ２１は、ガイド画像の変更操作を受け付けたか否かを判定する。上記の変更操作を受け付けた場合（ＹＥＳ側）には、ＣＰＵ２１はＳ２１０に移行する。一方、上記の変更操作がない場合（ＮＯ側）には、ＣＰＵ２１はＳ２０８に戻って上記動作を繰り返す。
ステップ２１０：ＣＰＵ２１は、ユーザーの変更操作に応じて、ガイド画像とともに重複範囲を再設定する。その後、ＣＰＵ２１は、Ｓ２０７に戻って上記動作を繰り返す。なお、Ｓ２１０は上記のＳ１１４に対応するので重複説明を省略する。

ステップ２１１：ＣＰＵ２１は、第１画像および第２画像の重複範囲につき、パノラマ合成処理でいずれを優先するのかをユーザーの操作に応じて決定する。
具体的には、Ｓ２１１でのＣＰＵ２１は、第１画像または第２画像の重複範囲を択一的に選択させる選択入力部をＧＵＩ形式でモニタ１７に重畳表示する（図１０参照）。ユーザーは、操作部材１８またはタッチパネル２０の操作で上記の選択入力部の項目を選択してＣＰＵ２１に入力を行う。そして、ＣＰＵ２１は、選択入力部で選択された画像の優先順位を高く設定する。なお、ＣＰＵ２１は、初期状態において第１画像の重複範囲の優先順位を高く設定している。

このとき、ユーザーの画像選択を容易にするために、ＣＰＵ２１は、第１画像の重複範囲と第２画像の重複範囲となる箇所とを対比可能にモニタ１７に表示してもよい。例えば、ＣＰＵ２１は、ユーザーの操作に応じて、ガイド画像が重畳されていない状態のスルー画像と、第１画像の再生画像とを交互に切替表示するようにしてもよい。このとき、ＣＰＵ２１は、重複範囲をより比較しやすくするために重複範囲の箇所を枠表示してもよい（なお、この表示状態の図示は省略する）。

ステップ２１２：ＣＰＵ２１は、レリーズ釦１９が全押しされたか否かを判定する。レリーズ釦１９が全押しされた場合（ＹＥＳ側）には、ＣＰＵ２１はＳ２１３に移行する。一方、レリーズ釦１９が全押しされていない場合（ＮＯ側）には、ＣＰＵ２１はレリーズ釦１９の全押し操作を待機する。
ステップ２１３：ＣＰＵ２１は、撮像素子１２を駆動させて、第１画像と同じホワイトバランスおよび露出条件で第２画像を撮像する。その後、画像処理部１４によって第２画像のデータが生成される。

ステップ２１４：ＣＰＵ２１は、第２画像のデータを記憶媒体２３に記録する。
ステップ２１５：ＣＰＵ２１は、Ｓ２０１の設定画面で本画像のトリミング処理が指定されているか否かを判定する。本画像のトリミング処理が指定されている場合（ＹＥＳ側）には、ＣＰＵ２１はＳ２１６に移行する。一方、重複範囲を示すメタデータの生成が指定されている場合（ＮＯ側）には、ＣＰＵ２１はＳ２１９に移行する。

ステップ２１６：ＣＰＵ２１は、Ｓ２１１での優先順位の低い方の画像のデータを、不要部分の削除対象に指定する。そして、画像処理部１４は、処理対象となった画像のデータから不要部分を削除する。
例えば、Ｓ２１１で第１画像の優先順位が高く設定された場合、Ｓ２１６でのＣＰＵ２１は、第２画像のデータを処理対象に選択する。そして、画像処理部１４は、第２画像に含まれる重複範囲のうちで、スティッチング部分を除いた部分を削除する。同様に、Ｓ２１１で第２画像の優先順位が高く設定された場合、Ｓ２１６でのＣＰＵ２１は、第１画像のデータを処理対象に選択する。そして、画像処理部１４は、第１画像に含まれる重複範囲のうちで、スティッチング部分を除いた部分を削除する。なお、不要部分を削除した後の画像のデータは、ＣＰＵ２１の制御によって記憶媒体２３に記録される。

ステップ２１７：ＣＰＵ２１は、Ｓ２０１の設定画面でパノラマ合成処理がオンに設定されているか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、ＣＰＵ２１はＳ２１８に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ２１は一連の処理を終了する。なお、この場合には、コンピュータ等による後処理工程でパノラマ合成処理を実行することで、ユーザーはパノラマ画像を容易に取得できる。

ステップ２１８：ＣＰＵ２１は、第１画像のデータと、第２画像のデータとを記憶媒体２３から読み出す。なお、上記の画像のデータのうちで、Ｓ２１１での優先順位が低い方の画像のデータは不要部分が削除された状態にある。そして、ＣＰＵ２１は、画像処理部１４に公知のパノラマ合成処理を実行させる。これにより、第１画像および第２画像からパノラマ画像が生成される。その後、ＣＰＵ２１はパノラマ画像を記憶媒体２３に記録して一連の処理を終了する。

ステップ２１９：ＣＰＵ２１は、被写体像の重複範囲と優先順位の低い画像のスティッチング部分の位置とを示す第１メタデータと、Ｓ２１１で設定された優先順位を示す第２メタデータとを生成する。そして、ＣＰＵ２１は、上記の第１メタデータおよび第２メタデータを、第１画像のデータまたは第２画像のデータのいずれかに対応付けた状態で記憶媒体２３に記録し、一連の処理を終了する。

なお、Ｓ２１９の場合においても、コンピュータ等による後処理工程でパノラマ合成処理を実行すれば、ユーザーはパノラマ画像を容易に取得できる。このとき、パノラマ合成処理を実行するコンピュータは、第１メタデータおよび第２メタデータに基づいて、第１画像または第２画像の削除箇所やスティッチング部分を特定することができる。
以下、第２実施形態の電子カメラの作用効果を述べる。

第２実施形態の電子カメラでは、パノラマ撮影において第１画像と第２画像との重複範囲について、ユーザーにいずれの画像を優先するか選択させる。そして、電子カメラは、優先順位が低く設定された画像のデータから重複範囲をほとんど削除してパノラマ合成処理用の画像を生成する。したがって、ユーザーは、画像の重複範囲について好ましい状態の画像を選択してパノラマ画像を生成できるので、パノラマ撮影の実用性が大きく向上する。なお、第１メタデータおよび第２メタデータを生成した場合にも、電子カメラは上記とほぼ同様の効果を得ることができる。

（実施形態の補足事項）
（１）上記の各実施形態では、パノラマアシストモードで２フレーム分の画像を撮像する場合を前提に説明したが、本発明はかかる場合に限定されることはない。例えば、パノラマアシストモードで３フレーム分の画像を連続して撮像する状況において、第２フレームおよび第３フレームの場合にも当然に本発明を応用できる。

（２）第２実施形態では、第１画像の撮像後でかつ第２画像の構図決定動作時において、第１画像と第２画像との重複範囲の優先順位をＣＰＵ２１が決定する例を説明した。しかし、本発明では、第１画像および第２画像の撮像後の段階で、ユーザーからの優先順位の入力操作に基づいて、ＣＰＵ２１が上記の優先順位を決定するように変更してもよい。この場合において、ＣＰＵ２１は、第１画像の重複範囲および第２画像の重複範囲にそれぞれ対応する画像をモニタ１７に並べて表示し、ユーザーの画像選択を容易にしてもよい。例えば、図１１に上記の場合のモニタ１７の表示状態の一例を図示する。かかる構成の場合にも、上記の第２実施形態とほぼ同様の効果を得ることができる。

（３）第１実施形態の電子カメラにおいて、人物の顔以外を注目被写体として上記の重複範囲を決定するようにしてもよい。例えば、ＣＰＵ２１は、任意の注目被写体（動物、建築物、乗物など）の特徴を記憶した参照データに基づいてパターンマッチング処理を実行し、この注目被写体の位置に基づいて重複範囲を設定することも可能である。
（４）第２実施形態の電子カメラでもスルー画像で顔検出処理を実行し、検出した顔領域の位置に基づいて上記の重複範囲を決定するようにしてもよい。

（５）第１実施形態では、第２画像のデータから不要部分を削除する例と、第２画像のデータにメタデータを対応付けた例とを説明した。しかし、第１実施形態の変形例として、画像処理部１４は第１画像のデータから不要部分を削除するようにしてもよい。同様に第１実施形態の変形例として、ＣＰＵ２１は、第１画像のデータにメタデータを対応付けて記録してもよい。

（６）図２のステップ１０９において、ＣＰＵ２１は第１画像の顔領域が全て収まるように重複範囲の大きさを設定したが、その人物の体が全て収まるように重複範囲の大きさを設定してもよい。
例えば、人物の体は顔の幅の約３倍であることに基づいて、人物の体が全て収まるように重複範囲の大きさが設定されてもよい。

その具体例を図１２を用いて説明する。ＣＰＵ２１は、第１画像の顔領域の情報から顔の幅を判定する。次にＣＰＵ２１は、第１画像のパノラマ方向の端部と反対側の顔領域の端部（図１２の例では人物の顔の図中の左側端部）を特定する。そしてＣＰＵ２１は、この顔領域の端部から顔の幅の長さだけパノラマ方向の端部と離れた位置を含むように重複範囲を設定する。

（７）図２のステップ１０９において、ＣＰＵ２１は重複範囲の大きさを顔領域が全て収まるように設定したが、逆に顔領域が全く収まらないように設定してもよい。
例えば、ＣＰＵ２１は次の処理を行えばよい。ＣＰＵ２１は、第１画像の顔領域の情報から顔の幅を判定する。次にＣＰＵ２１は、第１画像のパノラマ方向の端部と同じ側の顔領域の端部（図１３の例では人物の顔の図中の右側端部）を特定する。

そしてＣＰＵ２１は、この顔領域の端部から顔の幅の長さだけパノラマ方向の端部側に離れた位置が、パノラマ方向の端部を越えていなければ、その位置からパノラマ方向端部側を重複領域に設定する。また、ＣＰＵ２１は、この顔領域の端部から顔の幅の長さだけパノラマ方向の端部側に離れた位置が、パノラマ方向の端部を越えていれば、第１実施形態のステップ１０９または上述の（６）の処理を実行することにすればよい。

なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

第１実施形態の電子カメラの構成を示すブロック図 第１実施形態における電子カメラのパノラマアシストモードでの撮像動作を説明する流れ図 第１画像撮像前のスルー画像の表示例を示す図 パノラマ方向の変更画面の例を示す図 図３に対応するシーンでの第１画像の重複範囲を示す図 ガイド画像をスルー画像上に重畳表示させた状態を示す図 重複範囲の輪郭形状を変更した場合の一例を示す図 第１実施形態でのパノラマ画像の一例を示す図 第２実施形態における電子カメラのパノラマアシストモードでの撮像動作を説明する流れ図 第２実施形態のＳ２１１におけるモニタの表示例を示す図 第１画像と第２画像の撮像後に重複範囲の優先順位を決める場合のモニタの表示例を示す図 重複領域の設定に関する変形例を説明する図 重複領域の設定に関する変形例を説明する図

符号の説明

１２…撮像素子、１４…画像処理部、１７…モニタ、１８…操作部材、２０…タッチパネル、２１…ＣＰＵ、２４…顔検出部、２５…メタデータ生成部

Claims (6)

1. 被写体画像を撮像する撮像部と、
   第１レリーズ前に前記撮像部で撮像した画像に基づいて注目被写体画像領域を検出する注目被写体検出部と、
   前記第１レリーズに応答して、直前に検出した注目被写体画像領域を含む第１画像を前記撮像部から撮像する第１画像撮像手段と、
   前記撮像部で撮像された画像をスルー画像として表示するモニタと、
   前記第１画像に対する前記注目被写体画像領域の位置に基づいて、次に撮像する画像との間での重複範囲を前記第１画像に対して決定し、決定した重複範囲の画像を前記モニタに前記スルー画像と重ねて表示するように制御する制御部と、
   前記モニタ上で前記重複範囲の画像が前記スルー画像の一部に重なるように構図を決めた後に実行される第２レリーズに応答して、前記撮像部から第２画像を撮像する第２画像撮像手段と、
   前記第１又は第２画像のうちのいずれか一方の画像から前記重複範囲の画像を削除し、前記一方の画像と他方の画像とを合成する画像処理部と、
   を備えることを特徴する撮像装置。
2. 請求項１に記載の撮像装置において、
   前記制御部は、前記注目被写体画像領域が全て収まるように前記重複範囲を決定すること特徴とする撮像装置。
3. 請求項１又は２に記載の撮像装置において、
   前記制御部は、前記重複範囲の画像を半透過状態で表示するように制御することを特徴とする撮像装置。
4. 請求項１から請求項３のいずれか１項に記載の撮像装置において、
   前記重複範囲の画像の優先度を前記第１及び第２画像のうちから選択するための操作部を設け、
   前記画像処理部は、前記操作部により選択された優先度に基づく優先度の低い画像から前記重複範囲の画像を削除することを特徴とする撮像装置。
5. 請求項１から請求項４のいずれか１項に記載の撮像装置において、
   前記制御部は、前記第１レリーズ前に、前記第１画像に対して第２画像をつなげる方向を示すマークを前記モニタに、前記スルー画像に対して上下左右の四方向のそれぞれに表示するように制御するとともに、
   前記四方向のうちのいずれかの方向を選択する方向選択操作部を備えている、
   ことを特徴とする撮像装置。
6. 請求項５に記載の撮像装置において、
   前記制御部は、前記第１画像のうち、前記方向選択操作部で選択した方向の端を基準として逆端に向けた所定範囲内に前記主要被写体画像領域が存在する場合に、前記主要被写体画像領域がすべて収まるように前記重複範囲を決定する、
   ことを特徴とする撮像装置。

Images