JP5163676B2 - 撮像装置、撮像方法及びプログラム - Google Patents

Description

本発明は、デジタルカメラや撮像機能を有する携帯電話などの撮像装置、及びプログラムに関する。

デジタルカメラや、撮像機能を有する携帯電話などにおいては、撮像画角の限界はレンズの焦点距離、撮像素子のサイズなど、装置本体が備えるハードスペックに依存している。

したがって、パノラマ撮影など、ハードスペックを越えるような広角画像を取得する場合は、一定方向に撮像装置を動かしながら連写し、得られた複数の画像を合成することで広角画像を生成する技術がある（例えば、特許文献１参照）。

特開２００２−０２７３１２号公報

上述した特許文献１の場合、一方向に画角を広げるケースにおいては有効だが、二方向に広げるような広角画像を生成しようとすると、連写中にどの方向を撮影すべきなのかの把握が困難であり、且つ、所望の画像を取得することが難しいという問題があった。

そこで本発明は、容易に、かつ効率的に広角画像の生成に必要な画像を得ることができる撮像装置、撮像方法及びプログラムを提供することを目的とする。

上記目的達成のため、請求項１記載の発明は、撮像手段と、表示手段と、前記撮像手段による撮像方向を検出する検出手段と、前記撮像手段により所定のタイミングで撮像された画像に基づいて、前記撮像手段により撮像された画像よりも縦方向及び横方向に対して広角の画像の生成に必要な合成用画像の撮像方向として縦方向及び横方向を設定する設定手段と、前記検出手段により検出された撮像方向と前記設定手段により設定された縦方向及び横方向のいずれか一方とが略一致するか否かを判断する判断手段と、前記判断手段により前記撮像方向と前記縦方向及び横方向のいずれか一方とが略一致したと判断されると、前記撮像方向で前記撮像手段により撮像された前記合成用画像を取得する取得手段と、前記設定手段により設定された縦方向及び横方向のいずれか一方を示す情報として目印を前記表示手段に表示させておき、前記撮像手段による合成用画像の撮像において、前記目印が示した方向を撮像すると、前記目印の表示形態を変更する第１の表示制御手段と、を備えることを特徴とする撮像装置である。

また、好ましい態様として、例えば請求項２に記載のように、請求項１に記載の撮像装置において、前記第１の表示制御手段は、前記設定された縦方向及び横方向のいずれか一方を示す情報として目印を表示し、前記取得手段により前記合成用画像が取得される度に、前記設定された縦方向及び横方向のいずれか一方を示す目印を新たな位置に順次移動させて表示する、ことを特徴とする。

また、好ましい態様として、例えば請求項３記載のように、請求項１又は２に記載の撮像装置において、前記撮像手段により順次撮像される画像をプレビュー画像として前記表示手段に表示する際に、前記所定のタイミングで撮像された画像の撮像位置を基準として、前記プレビュー画像を前記設定された縦方向及び横方向のいずれか一方に対応する位置に表示する第２の表示制御手段を更に備えることを特徴とする。

また、好ましい態様として、例えば請求項４に記載のように、請求項３に記載の撮像装置において、前記プレビュー画像の中心位置を算出する演算手段を更に備え、前記第１の表示制御手段は、設定された縦方向及び横方向のいずれか一方を示す情報として目印を表示し、前記判断手段は、前記目印の位置と、前記演算手段により算出された、プレビュー画像の中心位置とが略一致するか否かで、前記設定された縦方向及び横方向のいずれかが一致するか否かを判断する、ことを特徴とする。

また、好ましい態様として、例えば請求項５に記載のように、請求項４に記載の撮像装置において、前記演算手段により算出された前記プレビュー画像の中心位置に、当該中心位置を示す目印を表示する第３の表示制御手段を更に備えることを特徴とする。

また、好ましい態様として、例えば請求項６記載のように、請求項１乃至５のいずれかに記載の撮像装置において前記撮像手段は、第１の画角で撮像し、基準画像と前記取得手段によって取得された複数の合成用画像とを、同じ領域が略一致するように合成して前記第１の画角よりも広い第２の画角の合成画像を生成する生成手段を更に備えたことを特徴とする。

また、上記目的達成のため、請求項７記載の発明は、撮像手段と表示手段とを備えた撮像装置の撮像方法であって、 前記撮像手段による撮像方向を検出する検出ステップと、前記撮像手段により所定のタイミングで撮像された基準画像に基づいて、前記撮像手段により撮像された画像よりも縦方向及び横方向に対して広角の画像の生成に必要な合成用画像の撮像方向として縦方向及び横方向を設定する設定ステップと、前記検出ステップにより検出された撮像方向と前記設定ステップにより設定された縦方向及び横方向のいずれかとが略一致するか否かを判断する判断ステップと、前記判断ステップにより前記撮像方向と前記縦方向及び横方向のいずれかとが略一致したと判断されると、前記検出ステップによって検出された撮像方向で前記撮像手段により撮像された前記合成用画像を取得する取得ステップと、前記設定ステップにより設定された縦方向及び横方向のいずれか一方を示す情報として目印を前記表示手段に表示させておき、前記撮像手段による合成用画像の撮像において、前記目印が示した方向を撮像すると、前記目印の表示形態を変更する表示制御ステップと、を含むことを特徴とする撮像方法である。
また、上記目的達成のため、請求項８記載の発明は、コンピュータを、撮像手段による撮像方向を検出する検出手段と、前記撮像手段により所定のタイミングで撮像された基準画像に基づいて、前記撮像手段により撮像された画像よりも縦方向及び横方向に対して広角の画像の生成に必要な合成用画像の撮像方向として縦方向及び横方向を設定する設定手段と、前記検出手段により検出された撮像方向と前記設定手段により設定された縦方向及び横方向のいずれかとが略一致するか否かを判断する判断手段と、前記判断手段により前記撮像方向と前記縦方向及び横方向のいずれかとが略一致したと判断されると、前記検出手段によって検出された撮像方向で前記撮像手段により撮像された前記合成用画像を取得する取得手段、前記設定手段により設定された縦方向及び横方向のいずれか一方を示す情報として目印を表示手段に表示させておき、前記撮像手段による合成用画像の撮像において、前記目印が示した方向を撮像すると、前記目印の表示形態を変更する表示制御手段と、として機能させることを特徴とするプログラムである。

この発明によれば、容易に、かつ効率的に広角画像の生成に必要な画像を得ることができるという利点が得られる。

本発明の第１実施形態によるデジタルカメラの構成を示すブロック図である。 本第１実施形態によるデジタルカメラ１の広角撮像モードを説明するための概念図である。 本第１実施形態によるデジタルカメラ１における、レンズの画角と広角撮像モードで得られる合成画像との関係を示す概念図である。 本第１実施形態によるデジタルカメラ１の広角撮像モードにおけるユーザ操作を説明するための模式図である。 本第１実施形態によるデジタルカメラの動作を説明するためのフローチャートである。 本第１実施形態によるデジタルカメラの動作、及び画像表示部の表示例を示す模式図である。 本第２実施形態によるデジタルカメラの動作を説明するためのフローチャートである。 本第２実施形態によるデジタルカメラの動作、及び画像表示部の表示例を示す模式図である。

以下、本発明の実施の形態を、図面を参照して説明する。

Ａ．第１実施形態
Ａ−１．第１実施形態の構成
図１は、本発明の第１実施形態によるデジタルカメラの構成を示すブロック図である。図において、デジタルカメラ１は、撮像レンズ２、レンズ駆動部３、絞り兼用シャッタ４、ＣＣＤ５、ＴＧ（Timing
Generator）６、ユニット回路７、画像処理部８、ＣＰＵ１１、ＤＲＡＭ１２、メモリ１３、フラッシュメモリ１４、画像表示部１５、キー入力部１６、カードＩ／Ｆ１７、及びメモリ・カード１８を備えている。

撮像レンズ２は、フォーカスレンズ、ズームレンズなどを含み、レンズ駆動部３が接続されている。レンズ駆動部３は、撮像レンズ２を構成するフォーカスレンズ、ズームレンズをそれぞれ光軸方向に駆動させるモータと、ＣＰＵ１１からの制御信号に従ってフォーカスモータ、ズームモータを駆動させるフォーカスモータドライバ、ズームモータドライバから構成されている。

絞り４は、図示しない駆動回路を含み、駆動回路はＣＰＵ１１から送られてくる制御信号に従って絞り４を動作させる。該絞り４は、撮像レンズ２から入ってくる光の量を制御する。ＣＣＤ（撮像素子）５は、撮像レンズ２、絞り４を介して投影された被写体の光を電気信号に変換し、撮像信号としてユニット回路７に出力する。また、ＣＣＤ５は、ＴＧ６によって生成された所定周波数のタイミング信号に従って駆動される。

ユニット回路７は、ＣＣＤ５から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated
Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行うＡＧＣ（Automatic
Gain Control）回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されている。ＣＣＤ５の撮像信号は、ユニット回路７を経てデジタル信号として画像処理部８に送られる。なお、ユニット回路７は、ＴＧ６によって生成された所定周波数のタイミング信号に従って駆動される。

画像処理部８は、ユニット回路７から送られてきた画像データの画像処理（画素補間処理、γ補正、輝度色差信号の生成、ホワイトバランス処理、露出補正処理等）、画像データの圧縮・伸張（例えば、ＪＰＥＧ形式やＭ−ＪＰＥＧ形式又はＭＰＥＧ形式の圧縮・伸張）の処理、複数の撮像画像を合成する処理などを行う。なお、画像処理部８は、ＴＧ６によって生成された所定周波数のタイミング信号に従って駆動される。

ＣＰＵ１１は、デジタルカメラ１の各部を制御するワンチップマイコンである。特に、本第１実施形態では、ＣＰＵ１１は、所定の周期（時間間隔）で複数枚の画像を連写し、撮像した複数の画像を、一部が重複するように（例えば、αブレンドを用いて）合成していき、広角で撮像したような１枚の合成画像を生成すべく各部を制御する。なお、画像合成の詳細については後述する。

ＤＲＡＭ１２は、ＣＣＤ５によって撮像された後、ＣＰＵ１１に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１１のワーキングメモリとして使用される。メモリ１３は、ＣＰＵ１１によるデジタルカメラ１の各部の制御に必要なプログラム、及び各部の制御に必要なデータが記録されており、ＣＰＵ１１は、このプログラムに従って処理を行う。フラッシュメモリ１４や、メモリ・カード１８は、ＣＣＤ５によって撮像された画像データなどを保存しておく記録媒体である。

画像表示部１５は、カラーＬＣＤとその駆動回路を含み、撮像待機状態にあるときには、ＣＣＤ５によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、フラッシュメモリ１４や、メモリ・カード２３から読み出され、伸張された記録画像を表示させる。また、本第１実施形態では、広角撮像モードにおいて、連写される複数の画像を順次合成した合成画像や、ユーザに撮像方向を誘導する目印などを表示する。キー入力部１６は、シャッタＳＷ、ズームＳＷ、モードキー、ＳＥＴキー、十字キー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ１１に出力する。カードＩ／Ｆ１７には、デジタルカメラ１本体の図示しないカードスロットを介してメモリ・カード１８が着脱自在に装着されている。

図２は、本第１実施形態によるデジタルカメラ１の広角撮像モードを説明するための概念図である。例えば、デジタルカメラ１で、図２に示すような景色を撮像する場合を想定する。撮像しようとする景色は、当該デジタルカメラ１の撮像系の画角Ｓに比べ、より広い画角を有する。したがって、一度の撮像では、所望する景色を全て撮像することができない。

なお、以下の説明では、撮像範囲や、撮像画角などを明確にするために、図２の景色を図３に示すように図式化して説明する。図３において、画角Ｓ１が最終的に生成する広画角の画像のサイズ（画角）であり、その外側は、撮像されたとしても最終的な画像としては残さない領域外である。

本第１実施形態では、メモリ（ＤＲＡＭ１２）上に画像書き込み用の配列を確保する。これを便宜上、本第１実施形態では、キャンバスと呼ぶ。本第１実施形態では、広角撮像モードにおいて撮像した最初の撮像画像を基準画像（図３の画角Ｓの画像に相当）とし、該基準画像の縦横を、例えば、それぞれ２倍の大きさとし（図３の撮像領域Ｓ１）、キャンバスの中心に基準画像を貼り付ける。なお、キャンバスの大きさは、縦横２倍以外でもよい。

また、基準画像は、必ずしもキャンバスの中心でなくてもよく、例えば、左上隅や、右上隅などでもよい。そして、撮像した複数の画像を、基準画像（または合成画像）と一部が重複するように位置合わせして合成し、キャンバスに上書きしていく。位置合わせの方法としては、例えば、ブロックマッチングなどの手法が考えられる。また、上書きをする場合には、投射変換などを行い、αブレンドなどの手法を用いて重ね合わせを行う方法が考えられる。

図４は、本第１実施形態によるデジタルカメラ１の広角撮像モードにおけるユーザ操作を説明するための模式図である。ユーザが、所望する景色に対して、例えば、中央部でシャッタＳＷを押下（半押し→全押し）すると、デジタルカメラ１では、所定のタイミングで広画角の合成画像を得るための画像を撮像していく。ユーザは、広画角の合成画像を得るために必要とされる全ての画像を撮像するために、図示の矢印で示すように、円を描くようにデジタルカメラ１の撮像方向を変えるべく動かす必要がある。しかしながら、ユーザにとっては、どのようにデジタルカメラ１を動かしたらよいか、あるいは必要とされる画像が確実に得られているのかが分かりにくい。

そこで、本第１実施形態では、広角撮像モードにおいて、ユーザによりシャッタＳＷを押下されると、デジタルカメラ１をどちらの方向に向けたらよいかを示す目印を画像表示部１５に表示することで、ユーザを誘導するようになっている。そして、デジタルカメラ１では、目印で示す方向にユーザがデジタルカメラ１の撮像方向を向けたことが検出されると、そのタイミングで画像を順次撮像していき、一度の撮像では得られない広画角の画像を合成するのに必要とされる複数の画像を取得することが可能となっている。

より具体的には、１枚目の撮像画像（基準画像）に基づいて、広画角の画像を生成するための２枚目以降の撮像方向を示す目印を画像表示部１５に表示し、目印で示した方向にデジタルカメラ１の撮像方向が向けられると、広画角の画像を得るための画像（高画質画像）を撮像する。そして、撮像される度に、次の撮像方向に目印を移動表示させながら、順次、広画角の画像を得るための画像（高画質画像）を撮像していく。このため、本第１実施形態では、広画角の画像を得るには、必要最小限の画像を撮像すればよく、画像を保存するためのメモリ容量を圧迫することなく効率的に使用することができる。

また、広角撮像モード中は、現在、デジタルカメラ１の現在の撮像方向でＣＣＤ５に結像した画像を、プレビュー画像（低解像度）として画像表示部１５にスルー表示するとともに、プレビュー画像を用いて合成した合成画像を画像表示部１５に表示するようになっている。そして、広画角の画像を得るための全ての画像（高画質画像）の撮像が終了すると、最終的に、撮像した複数の画像（高画質画像）を同じ領域が略一致するように合成して広画角の合成画像を生成する。このように、広角撮像モード中、画像合成した縮小画像を画像表示部１５に表示するとともに、次に撮像すべき撮像方向を示す目印を表示するようにしたので、ユーザは、どの方向にデジタルカメラを向けたらよいかを容易に認識することができる。

Ａ−２．第１実施形態の動作
次に、上述した第１実施形態の動作について説明する。
図５は、本第１実施形態によるデジタルカメラの動作を説明するためのフローチャートである。また、図６（ａ）〜（ｄ）は、本第１実施形態によるデジタルカメラの動作、及び画像表示部の表示例を示す模式図である。なお、以下で説明する処理が動作している間、デジタルカメラ１では、ＣＣＤ５に結像した画像を、所定の時間間隔（数十フレーム／秒）で取り込み、プレビュー画像（低解像度）として画像表示部１５にスルー表示している。

また、画像表示部１５でのプレビュー画像の表示位置は、通常の撮像であれば、画像表示部１５の中心とプレビュー画像の中心とが一致するが（撮像方向の被写体像が画像表示部の中央に表示されるが）、本第１実施形態による広角撮像モードでは、基準画像の撮像位置を基準とし、デジタルカメラ１の撮像方向に応じて、画像表示部１５の画面上でのプレビュー画像の位置を移動させるようになっている。

例えば、基準画像を撮像後に、ユーザがデジタルカメラ１の撮像方向を（基準画像撮像位置に対して）右方向に移動させると、画像表示部１５の画面上で、プレビュー画像も基準画像に対して右方向に移動し、ユーザが撮像方向を左方向に移動させると、プレビュー画像も基準画像に対して左方向に移動することになる。上下方向の移動の場合も同様である。以下、このようなプレビュー画像の位置制御を前提として広画角の撮像・生成について説明する。

まず、ＣＰＵ１１は、シャッタＳＷが半押しされたか否かを判断し（ステップＳ１０）、シャッタＳＷが半押しされない場合には、ステップＳ１０を繰り返し実行する。一方、シャッタＳＷが半押しされると、ＡＦ（オートフォーカス）処理を実行し（ステップＳ１２）、シャッタＳＷが全押しされたか否かを判断する（ステップＳ１４）。シャッタＳＷが全押しされない場合には、ステップＳ１０、Ｓ１２を繰り返し実行する。

一方、シャッタＳＷが全押しされると、まず、１枚目の撮像画像（高解像度）を基準画像として撮像してＤＲＡＭ１２に保存し（ステップＳ１６）、図６（ａ）に示すように、画像表示部１５の中央に上記基準画像のプレビュー画像を表示する（ステップＳ１８）。次に、ＣＰＵ１１は、基準画像に基づいて、未撮像部分であるブランク部分を特定し（ステップＳ２０）、画像表示部１５上の第１のブランク部分に撮像方向を示す目印Ｍを表示する（ステップＳ２２）。ユーザは、目印Ｍを確認すると、該目印Ｍの方向にデジタルカメラ１の撮像方向を向けるようにデジタルカメラ１を動かす。ユーザが撮像方向を目印Ｍを目標に左方向に移動させると、図６（ｂ）に示すように、プレビュー画像３１も基準画像３０に対して左方向に移動することになる。

次に、デジタルカメラ１では、プレビュー画像を取り込み（ステップＳ２４）、重ね合わせ用画像位置を計算する（ステップＳ２６）。重ね合わせ用画像位置の計算とは、例えば、プレビュー画像の中心位置（座標）を算出するとともに、該プレビュー画像と基準画像（または合成画像）との一部が重複するように位置合わせして、該プレビュー画像のキャンバス内における位置（あるいは基準画像に対する相対位置）などを算出することを意味する。

次に、上記プレビュー画像の中心位置Ｃ、及びキャンバス内における位置に基づいて、該プレビュー画像の中心位置Ｃが目印Ｍ近辺に来たか否かを判断する（ステップＳ２８）。そして、プレビュー画像の中心位置が目印Ｍ近辺に来ていない場合には、ステップＳ２４に戻り、次のプレビュー画像に対して同様の処理を繰り返す。

一方、プレビュー画像の中心位置Ｃが目印Ｍ近辺に来た場合には、画像（高解像度）を撮像して有効画像としてＤＲＡＭ１２に保存し（ステップＳ３０）、プレビュー画像を目印Ｍを表示したブランク部分に上書きする（ステップＳ３２）。つまり、プレビュー画像と基準画像（または合成画像）との一部が重複するように合成し、キャンバスに上書きする（最初の１枚目の撮像画像の場合には基準画像としてキャンバスの中央部に上書きする）。図６（ｂ）に示す例では、プレビュー画像３１の中心位置Ｃが目印Ｍの近辺に来たので、プレビュー画像３１と基準画像３０との一部が重複するように合成し、図６（ｃ）に示すように、該合成画像３２を画像表示部１５に表示する（ステップＳ３４）。

次に、必要画像全てを取得したか否かを判断する（ステップＳ３６）。そして、必要画像全てを取得していない場合には、ステップＳ２０に戻り、図６（ｄ）に示すように、次のブランク部分を特定し、該次のブランク部分に目印Ｍを表示し、取り込んだプレビュー画像に対して同様の処理を繰り返す。この結果、撮像する度に、次のブランク部分に目印Ｍを表示し、ユーザによりデジタルカメラ１の撮像方向が目印Ｍの方向に向けられ、その時のプレビュー画像３１の中心位置Ｃが目印Ｍの付近にくれば、画像（高解像度）を撮像して有効画像として保存するとともに、そのプレビュー画像を、基準画像（または合成画像）に順次合成していき、その都度、合成画像を画像表示部１５に表示していく。

そして、必要画像全てを取得すると、プレビュー画像を用いて行った合成と同様に、保存した有効画像を、一部が重複するように位置合わせして合成し、最終的に、図２に示すような広画角の画像を生成する（ステップＳ３８）。

上述した第１実施形態によれば、リアルタイムで、合成画像を画像表示部１５に表示するとともに、デジタルカメラ１を向けるべき撮像方向に対応する、未撮像のブランク部分に目印を表示するようにしたので、ユーザは、目印Ｍを追いかけるようにデジタルカメラ１を動かせばよいので、一度の撮像では得られない広画角の画像を生成するために必要とされる複数の画像を容易に、かつ効率的に撮像することができ、広画角の画像を容易に生成することができる。

また、デジタルカメラ１が未撮像のブランク部分の方向に向けられたときだけ、すなわち、プレビュー画像の中心位置が目印Ｍの付近に来たときだけ、広画角の画像を合成するための高解像度の有効画像だけを撮像・保存するようにしたので、メモリ容量を圧迫することなく効率的に用いることができる。

Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
本第２実施形態では、基準画像が撮像された時点で、キャンバスのブランク部分を複数の領域に分割し、各領域の所定の位置に、予め複数の目印（例えば、白色）を画像表示部１５に表示するとともに、デジタルカメラ１が向いている方向のプレビュー画像の中心に中心位置を示す目印（例えば、黄色）を表示し、ユーザが白色の目印にプレビュー画像の中心を示す黄色の目印を近づけるようにデジタルカメラ１を順次動かすことにより、次々と広画角な画像を合成するために必要とされる有効画像（高解像度）を撮像して保存することを特徴としている。なお、デジタルカメラ１の構成は、図１と同様であるので説明を省略する。

図７は、本第２実施形態によるデジタルカメラ１の動作を説明するためのフローチャートである。また、図８（ａ）〜（ｄ）は、本第２実施形態によるデジタルカメラの動作、及び画像表示部の表示例を示す模式図である。

まず、ＣＰＵ１１は、シャッタＳＷが半押しされたか否かを判断し（ステップＳ４０）、シャッタＳＷが半押しされない場合には、ステップＳ４０を繰り返し実行する。一方、シャッタＳＷが半押しされると、ＡＦ（オートフォーカス）処理を実行し（ステップＳ４２）、シャッタＳＷが全押しされたか否かを判断する（ステップＳ４４）。シャッタＳＷが全押しされない場合には、ステップＳ４０、Ｓ４２を繰り返し実行する。

一方、シャッタＳＷが全押しされると、まず、１枚目の撮像画像（高解像度）を基準画像として撮像してＤＲＡＭ１２に保存し（ステップＳ４６）、図８（ａ）に示すように、画像表示部１５の中央に上記基準画像のプレビュー画像を表示する（ステップＳ４８）。次に、ＣＰＵ１１は、基準画像の周囲に存在する未撮像部分であるブランク部分の所定の位置に、撮像方向を示す目印Ｍ１〜Ｍ８（例えば、白色）を表示する（ステップＳ５０）。

なお、目印Ｍ１〜Ｍ８の表示位置は、１枚目に撮像した基準画像の中心に対する、２枚目以降の画像中心の相対的な位置で、広画角の画像を合成する場合に理想的な位置とする。つまり、基準画像の画角に基づいて、最終的な画角サイズであるキャンバスを複数の領域に分割し、それぞれの領域において、広画角の画像を合成する場合に理想的な位置に目印Ｍ１〜Ｍ８を表示する。

次に、プレビュー画像を取り込み（ステップＳ５２）、重ね合わせ用画像位置を計算する（ステップＳ５４）。重ね合わせ用画像位置の計算とは、例えば、プレビュー画像の中心位置（座標）を算出するとともに、該プレビュー画像と基準画像（または合成画像）との一部が重複するように位置合わせして、該プレビュー画像のキャンバス内における位置（あるいは基準画像に対する相対位置）などを算出することを意味する。

次に、図８（ａ）に示すように、プレビュー画像の中心に目印（例えば、黄色）ＣＭを表示する（ステップＳ５６）。ユーザは、目印Ｍ１〜Ｍ８を確認すると、例えば、目印Ｍ１の方向にデジタルカメラ１の撮像方向を向けるようにデジタルカメラ１を動かす。ユーザが撮像方向を目印Ｍ１を目標に左方向に移動させると、図８（ｂ）に示すように、プレビュー画像３１も基準画像３０に対して左方向に移動することになる。

次に、上記プレビュー画像３１の中心位置が目印Ｍｉ（ｉ＝１〜８）近辺に来たか否かを判断する（ステップＳ５８）。そして、プレビュー画像３１の中心位置が目印Ｍｉ近辺に来ていない場合には、ステップＳ５２に戻り、次のプレビュー画像３１に対して同様の処理を繰り返す。すなわち、ユーザによるデジタルカメラ１に移動に伴って、中心を示す目印ＣＭが表示されているプレビュー画像が画像表示部１５の画面上を移動することになる。

一方、プレビュー画像３１の中心位置が目印Ｍｉ近辺に来た場合には、画像（高解像度）を撮像して有効画像としてＤＲＡＭ１２に保存し（ステップＳ６０）、図８（ｂ）に示すように、該当目印Ｍｉの色を緑色に変更し（ステップＳ６２）、プレビュー画像を目印Ｍｉを表示したブランク部分に上書きする（ステップＳ６４）。つまり、プレビュー画像と基準画像（または合成画像）との一部が重複するように合成し、キャンバスに上書きする（最初の１枚目の撮像画像の場合には基準画像としてキャンバスの中央部に上書きする）。次に、図８（ｃ）に示すように、該合成画像３２を画像表示部１５に表示する（ステップＳ６６）。

次に、必要画像全てを取得したか否かを判断する（ステップＳ６８）。そして、必要画像全てを取得していない場合には、ステップＳ５２に戻り、次のプレビュー画像に対して同様の処理を繰り返す。

すなわち、ユーザは、目印Ｍｉが緑色に変わると、図８（ｃ）に示すように、プレビュー画像の中心を示す目印ＣＭが次の目印Ｍ２に近づくように、デジタルカメラ１を動かす（撮像方向を変える）ことになる。そして、プレビュー画像の中心位置が目印Ｍ２の付近に来ると、画像（高解像度）を有効画像として保存するとともに、図８（ｄ）に示すように、該当目印Ｍ２の色を変更し、そのプレビュー画像を基準画像（または合成画像）に順次合成していき、その都度、合成画像を画像表示部１５に表示する。この動作を全ての目印Ｍ１〜Ｍ８の色を緑色に変えるまで続ける。ユーザは、画像表示部１５に表示されている目印Ｍ１〜Ｍ８を追いかけるようにデジタルカメラ１を動かせばよい。

そして、必要画像全てを取得すると、保存した有効画像を、プレビュー画像を用いて行った合成と同様に、一部が重複するように位置合わせして合成し、最終的に、図２に示すような広画角の画像を生成する（ステップＳ７０）。

上述した第２実施形態によれば、リアルタイムで、合成画像を画像表示部１５に表示するとともに、デジタルカメラ１を向けるべき撮像方向に対応する、未撮像のブランク部分に目印を表示するとともに、撮像済みの目印と未撮像部分の目印とを異なる色としたので、ユーザは、次にどの方向にデジタルカメラを向けたらよいかが容易に分かるので、一度の撮像では得られない広画角の画像の生成に必要とされる画像を容易に、かつ効率的に撮像することができ、広画角の画像を容易に、かつ効率的に生成することができる。

また、デジタルカメラ１が未撮像のブランク部分の方向に向けられたときだけ、すなわち、プレビュー画像の中心位置が目印Ｍの付近に来たときだけ、広画角の画像を合成するための高解像度の有効画像を撮像・保存するようにしたので、メモリ容量を圧迫することなく効率的に用いることができる。

なお、上述した第１、第２実施形態では、デジタルカメラ１の移動（撮像方向の変更）は、基準画像に対するプレビュー画像の相対的な位置関係によって判断するようにしたが、これに加えて、加速度センサなど、直接、デジタルカメラ１の移動を検出可能なセンサ手段を補助的に用いるようにしてもよい。このようなセンサ手段を用いることで、特に、レビュー画像の位置を正確に取得することができない被写体像、例えば、コントラスト上の特徴を持たない被写体像を撮像する場合には、加速度センサなどで検出したデジタルカメラ１の動きに基づいて、基準画像に対するプレビュー画像の位置を特定することができる。

また、撮像方向を示す目印は、上述した色以外でもよい。また、点滅等の視覚効果を伴っていてもよいし、形状も点以外の星型や、ハート形などでもよい。特に、有効画像として撮像した後に該当目印の色を変更するのではなく、形状を変化させるようにしてもよい。あるいは、有効画像として撮像した後に該当目印を消去するようにしてもよい。

また、上述した第１、第２実施形態では、撮像装置としてデジタルカメラについて説明したが、これに限らず、撮像機能を有する電子機器であれば、例えば、携帯電話などにも適用可能である。

１ デジタルカメラ
２ 撮像レンズ
３ レンズ駆動部
４ 絞り兼用シャッタ
５ ＣＣＤ
６ ＴＧ
７ ユニット回路
８ 画像処理部
１１ ＣＰＵ
１２ ＤＲＡＭ
１３ メモリ
１４ フラッシュメモリ
１５ 画像表示部
１６ キー入力部
１７ カードＩ／Ｆ
１８ メモリ・カード

Claims (8)

1. 撮像手段と、
   表示手段と、
   前記撮像手段による撮像方向を検出する検出手段と、
   前記撮像手段により所定のタイミングで撮像された画像に基づいて、前記撮像手段により撮像された画像よりも縦方向及び横方向に対して広角の画像の生成に必要な合成用画像の撮像方向として縦方向及び横方向を設定する設定手段と、
   前記検出手段により検出された撮像方向と前記設定手段により設定された縦方向及び横方向のいずれか一方とが略一致するか否かを判断する判断手段と、
   前記判断手段により前記撮像方向と前記縦方向及び横方向のいずれか一方とが略一致したと判断されると、前記撮像方向で前記撮像手段により撮像された前記合成用画像を取得する取得手段と、
   前記設定手段により設定された縦方向及び横方向のいずれか一方を示す情報として目印を前記表示手段に表示させておき、前記撮像手段による合成用画像の撮像において、前記目印が示した方向を撮像すると、前記目印の表示形態を変更する第１の表示制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記第１の表示制御手段は、前記設定された縦方向及び横方向のいずれか一方を示す情報として目印を表示し、前記取得手段により前記合成用画像が取得される度に、前記設定された縦方向及び横方向のいずれか一方を示す目印を新たな位置に順次移動させて表示する、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記撮像手段により順次撮像される画像をプレビュー画像として前記表示手段に表示する際に、前記所定のタイミングで撮像された画像の撮像位置を基準として、前記プレビュー画像を前記設定された縦方向及び横方向のいずれか一方に対応する位置に表示する第２の表示制御手段を更に備えることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記プレビュー画像の中心位置を算出する演算手段を更に備え、
   前記第１の表示制御手段は、設定された縦方向及び横方向のいずれか一方を示す情報として目印を表示し、
   前記判断手段は、前記目印の位置と、前記演算手段により算出された、プレビュー画像の中心位置とが略一致するか否かで、前記設定された縦方向及び横方向のいずれかが一致するか否かを判断する、
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記演算手段により算出された前記プレビュー画像の中心位置に、当該中心位置を示す目印を表示する第３の表示制御手段を更に備えることを特徴とする請求項４に記載の撮像装置。
6. 前記撮像手段は、第１の画角で撮像し、
   基準画像と前記取得手段によって取得された複数の合成用画像とを、同じ領域が略一致するように合成して前記第１の画角よりも広い第２の画角の合成画像を生成する生成手段を更に備えたことを特徴とする請求項１乃至５のいずれかに記載の撮像装置。
7. 撮像手段と表示手段とを備えた撮像装置の撮像方法であって、
   前記撮像手段による撮像方向を検出する検出ステップと、
   前記撮像手段により所定のタイミングで撮像された基準画像に基づいて、前記撮像手段により撮像された画像よりも縦方向及び横方向に対して広角の画像の生成に必要な合成用画像の撮像方向として縦方向及び横方向を設定する設定ステップと、
   前記検出ステップにより検出された撮像方向と前記設定ステップにより設定された縦方向及び横方向のいずれかとが略一致するか否かを判断する判断ステップと、
   前記判断ステップにより前記撮像方向と前記縦方向及び横方向のいずれかとが略一致したと判断されると、前記検出ステップによって検出された撮像方向で前記撮像手段により撮像された前記合成用画像を取得する取得ステップと、
   前記設定ステップにより設定された縦方向及び横方向のいずれか一方を示す情報として目印を前記表示手段に表示させておき、前記撮像手段による合成用画像の撮像において、前記目印が示した方向を撮像すると、前記目印の表示形態を変更する表示制御ステップと、
   を含むことを特徴とする撮像方法。
8. コンピュータを、
   撮像手段による撮像方向を検出する検出手段と、
   前記撮像手段により所定のタイミングで撮像された基準画像に基づいて、前記撮像手段により撮像された画像よりも縦方向及び横方向に対して広角の画像の生成に必要な合成用画像の撮像方向として縦方向及び横方向を設定する設定手段と、
   前記検出手段により検出された撮像方向と前記設定手段により設定された縦方向及び横方向のいずれかとが略一致するか否かを判断する判断手段と、
   前記判断手段により前記撮像方向と前記縦方向及び横方向のいずれかとが略一致したと判断されると、前記検出手段によって検出された撮像方向で前記撮像手段により撮像された前記合成用画像を取得する取得手段、
   前記設定手段により設定された縦方向及び横方向のいずれか一方を示す情報として目印を表示手段に表示させておき、前記撮像手段による合成用画像の撮像において、前記目印が示した方向を撮像すると、前記目印の表示形態を変更する表示制御手段と、
   として機能させることを特徴とするプログラム。

Images