JP5952766B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、撮像装置及び撮像方法に関する。

パノラマ画像を生成するためには、ユーザが撮像領域を少しずつ移動させて撮像を行い、これにより得られた複数の画像データを繋ぎ合わせる。この際、複数の画像データ同士の重複する領域が所定量確保されていないと、適切なパノラマ画像を生成することができない。そこで、複数の画像データ同士が重複する領域を所定量確保するため、撮像の際にユーザがカメラを移動させるべき方向及び位置を視覚的にわかりやすくガイド表示する技術が開示されている（例えば、特許文献１）。

特開２００９−６０２７８号公報

しかしながら、特許文献１に記載の技術は、ガイド表示の移動量は固定量となっている。このため、例えば、複数の画像データ同士の繋ぎ目となる部分の画像に明確な特徴点が少なく、繋ぎ合わせが困難な場合、ガイド表示の移動量を予め大きく設定し過ぎると繋ぎ合わせに必要となる特徴点数が不足するおそれがある。また、逆に、複数の画像データ同士の繋ぎ目となる部分の画像に特徴点が多く、繋ぎ合わせが容易な場合、ガイド表示の移動量を予め小さく設定し過ぎるとユーザに無駄な撮像操作を強いるおそれがある。

本発明は上記実情に鑑みてなされたものであり、複数の画像データの繋ぎ合わせに必要となる画像の特徴点の数を確保した上で、無駄のない撮像操作を可能とする撮像装置及び撮像方法を提供することを目的とする。

本発明に係る撮像装置は、複数の画像データを合成してパノラマ画像データを生成するため、複数の画像データを取得する撮像装置であって、複数の画像データを、撮像領域を示す撮像フレームにより切り出される画像を撮像することにより取得する撮像手段と、撮像フレームが移動する方向を示す移動方向情報を取得する移動情報取得手段と、移動情報取得手段により取得した移動方向情報が示す方向に撮像フレームが移動する移動量に応じた、撮像フレームと撮像手段によって取得された第１の画像データとが重なり合う領域における画像の特徴点を、第１の画像データから検出する画像特徴点検出手段と、画像特徴点検出手段により検出した画像の特徴点の数に応じて、第１の画像データと隣り合う第２の画像データを取得するために撮像フレームが移動すべき距離を決定する移動距離決定手段と、移動距離決定手段により決定した撮像フレームが移動すべき距離に応じた出力を行うガイド手段と、を備える。

本発明に係る撮像方法は、複数の画像データを合成してパノラマ画像データを生成するため、複数の画像データを取得する撮像方法であって、複数の画像データを、撮像領域を示す撮像フレームにより切り出される画像を撮像することにより取得する撮像ステップと、撮像フレームが移動する方向を示す移動方向情報を取得する移動情報取得ステップと、移動情報取得ステップにおいて取得した移動方向情報が示す方向に撮像フレームが移動する移動量に応じた、撮像フレームと撮像ステップにおいて取得された第１の画像データとが重なり合う領域における画像の特徴点を、第１の画像データから検出する画像特徴点検出ステップと、画像特徴点検出ステップにおいて検出した画像の特徴点の数に応じて、第１の画像データと隣り合う第２の画像データを取得するために撮像フレームが移動すべき距離を決定する移動距離決定ステップと、移動距離決定ステップにおいて決定した撮像フレームが移動すべき距離に応じた出力を行うガイドステップと、を含む。

これらの発明によれば、複数の画像データを撮像する際、撮像領域を示す撮像フレームが移動する方向を示す移動方向情報が取得される。取得された移動方向情報が示す方向に撮像フレームが移動する移動量に応じた、撮像フレームと撮像手段によって取得された第１の画像データとが重なり合う領域における画像の特徴点が、第１の画像データから検出される。検出された画像の特徴点の数に応じて、第１の画像データと隣り合う第２の画像データを取得するために撮像フレームが移動すべき距離が決定される。そして、撮像フレームが移動すべき距離に応じた出力が行われる。これにより、当該出力により把握される撮像フレームが移動すべき距離に基づいて撮像操作を行うことができ、複数の画像データ同士の繋ぎ目となる部分の画像の特徴点の数を、パノラマ画像データの生成（複数の画像データ同士の繋ぎ合わせ）に必要な分だけ確保することが可能となる。よって、複数の画像データの繋ぎ合わせに必要となる画像の特徴点の数を確保した上で、無駄のない撮像操作を可能とする撮像装置及び撮像方法を提供することができる。

また、本発明に係る撮像装置は、移動情報取得手段が、撮像フレームが移動した方向を検知し、移動した方向を用いて移動方向情報を取得してもよい。この場合、撮像フレームが移動した方向を検知すると同時に撮像フレームの移動方向情報を適切に取得することができる。

また、本発明に係る撮像装置は、ガイド手段が、移動情報取得手段により取得した移動方向情報に応じた出力を行ってもよい。この場合、当該出力により把握される移動方向情報に基づいて、より適切な撮像操作を行うことができる。

また、本発明に係る撮像装置は、移動情報取得手段が、撮像フレームが移動した距離を検知し、ガイド手段が、移動情報取得手段により検知された撮像フレームが移動した距離に応じた出力を行ってもよい。この場合、当該出力により把握される撮像フレームが移動した距離に基づいて、より適切な撮像操作を行うことができる。

また、本発明に係る撮像装置は、移動距離決定手段により決定された撮像フレームが移動すべき距離と移動情報取得手段により検知された撮像フレームが移動した距離との差分が所定の閾値に到達したか否かを判定するフレーム到達判定手段を更に備え、ガイド手段が、フレーム到達判定手段により差分が所定の閾値に到達したと判定された場合に、撮像フレームの移動を静止すべき旨の出力を行ってもよい。この場合、当該出力により把握される撮像フレームの移動を静止すべきタイミングに基づいて、より適切な撮像操作を行うことができる。また、ブレのない撮像操作を行うことができる。

また、本発明に係る撮像装置は、ガイド手段が、出力を画面表示により行ってもよい。この場合、上記の出力が画面表示により行われることにより、ユーザは撮像フレームをいかに移動すべきかの情報を視覚的に得ることができる。よって、ユーザはより適切な撮像操作を行うことができる。

また、本発明に係る撮像装置は、ガイド手段が、前記画面表示として枠又は矢印を表示してもよい。この場合、ユーザは当該枠又は矢印といった視覚的にわかりやすい表示に従って、より適切な撮像操作を行うことができる。

本発明によれば、複数の画像データの繋ぎ合わせに必要となる画像の特徴点の数を確保した上で、無駄のない撮像操作を可能とする撮像装置及び撮像方法を提供することができる。

本発明の一実施形態に係る撮像装置の外観構成を示す外観図である。 図１に示す撮像装置のハードウェア構成を示すブロック図である。 図１に示す撮像装置の機能的構成を示すブロック図である。 図３の画像特徴点検出部及び移動距離決定部による判断ロジックを説明する図である。 図３のガイド部による撮像ガイドの表示の態様を示す図である。 図５における撮像ガイドの表示が撮像フレームの移動すべき距離に応じていることを説明する図である。 図３のガイド部による撮像ガイドを制御する動作を示したフローチャートである。 図７における画像特徴点検出及び移動距離決定の動作を詳細に示したフローチャートである。 図５の撮像ガイドの表示の別態様を示す図である。

以下、添付図面を参照して、本発明の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

図１は、本発明の一実施形態に係る撮像装置の外観構成を示す外観図である。図１に示すように、撮像装置１は、例えば筐体２で構成される携帯端末であって、筐体２の一方の表面に配置されたタッチパネルディスプレイ４及びカメラ６を有している。撮像装置１は、タッチパネルディスプレイ４がユーザによりタッチ操作（指やタッチペンなどによる操作）されると、カメラ６の操作や、各種アプリケーションにおける動作などを実行する。

カメラ６は、筐体２のタッチパネルディスプレイ４が配置されている面である前面２ａに配置される前面側カメラ６ａと、前面２ａと対向する面である背面２ｂに配置される背面側カメラ６ｂとを含む。カメラ６は、通常の携帯端末に設けられているカメラの撮像機能を有し、カメラ６が向けられた所定領域の画像を撮像できるようになっている。タッチパネルディスプレイ４内にはシャッタボタン１２が表示されており、撮像装置１は、ユーザのタッチ操作によりこのシャッタボタン１２が押圧されたことを検出すると、撮像した画像をデータとして取得する。なお、撮像装置１は、シャッタボタン１２の押圧を検出するタイミングに限らず、後述する撮像フレームの移動に応じたタイミングでも、撮像した画像をデータとして取得する。

撮像装置１は、複数の画像データを合成してパノラマ画像を生成するためのパノラマ画像撮像モードを有している。撮像装置１は、撮像装置１によって取得された複数の画像データからパノラマ画像（パノラマ写真）を生成するパノラマ写真生成システムに含まれていてもよい。なお、パノラマ画像の生成には、従来と同じ方法を用いることができる。撮像装置１は、パノラマ画像撮像モードに設定された状態で連続的にカメラ６による撮像を行うことにより、撮像領域を示す撮像フレームにより切り出される画像を画面表示用データとして取得する。取得された画面表示用データは、タッチパネルディスプレイ４に表示される。また、撮像装置１は、ユーザによるシャッタボタン１２の押圧を検知すると、撮像領域を示す撮像フレームにより切り出される画像のうちパノラマ画像を生成するために必要な複数の画像データを取得する。以降、パノラマ画像を生成するために必要な複数の画像データのうちの一つを単に「第１の画像データ」といい、複数の画像データのうち第１の画像データと隣り合い、かつ、重なり合う領域を有する画像データを単に「第２の画像データ」という。第２の画像データは、第１の画像データが取得された後に取得される。第１の画像データ及び第２の画像データを繰り返し取得することで、パノラマ画像を生成するために必要な複数の画像データの全てを取得する。すなわち、第２の画像データは、次に取得される画像データに対しては第１の画像データとなる。

撮像装置１は、第１の画像データ４０を取得すると、タッチパネルディスプレイ４に第１の画像データ４０と枠４６ａ及び矢印４６ｂからなる撮像ガイドとを表示する。撮像ガイドの枠４６ａは、パノラマ画像の生成に必要な複数の画像データを取得するため、撮像フレーム４２の位置が第２の画像データを切り出すべき位置に合うようにガイドするものであり、撮像フレーム４２の形状に対応した種々の形状を呈している。以下、撮像装置１がパノラマ画像撮像モードに設定された状態における、撮像装置１の構成について、図２〜図６を用いて詳細に説明する。

図２は、図１に示す撮像装置１のハードウェア構成を示すブロック図である。撮像装置１は、図２に示すように、カメラ６、カメラの制御処理、オペレーティングシステム及びアプリケーションプログラムなどを実行するＣＰＵ１０１、ＲＯＭ及びＲＡＭで構成される主記憶部１０２、ハードディスク及びメモリなどで構成される補助記憶部１０３、タッチパネルディスプレイ４などの入力部１０４、タッチパネルディスプレイ４などの出力部１０５で構成される。後述する撮像部、移動情報取得部、画像特徴点検出部、移動距離決定部、フレーム到達判定部及びガイド部における各機能は、ＣＰＵ１０１および主記憶部１０２に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で、実行される。

図３は、図１に示す撮像装置の機能的構成を示すブロック図である。図３に示すように、撮像装置１は、機能的には、撮像部２０、移動情報取得部２２、画像特徴点検出部２４、移動距離決定部２６、フレーム到達判定部２８及びガイド部３０を備えている。以下、各構成について説明する。

撮像部２０は、撮像フレームにより切り出される画像の撮像を行い、パノラマ画像の生成に必要な複数の画像データを取得する撮像手段である。撮像フレームは、被写体領域のうち画像データとして切り出される領域、すなわち撮像領域を示している。撮像フレームは例えば、カメラ６が向けられた方向を中心とする所定の領域を、矩形を呈する枠により示すものである。撮像部２０は、撮像フレームにより切り出される画像を画面表示用データとして取得する。撮像部２０は、ユーザによりシャッタボタン１２が押圧されたことを検出すると、パノラマ画像の生成に必要な複数の画像データのうちの一つである第１の画像データ４０を取得する。撮像部２０は、第１の画像データ４０を取得した後、後述のフレーム到達判定部２８により撮像フレームが第２の画像データを切り出すべき位置に到達した旨が出力され、後述の移動情報取得部２２により撮像フレームが静止した旨が出力されると、パノラマ画像の生成に必要な複数の画像データのうちの一つである第２の画像データを取得する。なお、フレーム到達判定部２８により撮像フレームが第２の画像データを切り出すべき位置に到達した旨の出力がされてから移動情報取得部２２により撮像フレームが静止した旨の出力がされるまでの時間は、特に定めなくてよいが、予め設定した時間以内としてもよい。これにより、ユーザは最初の第１の画像データの取得の際のみシャッタボタン１２の操作を行い、最初の第１の画像データの取得以降は、撮像フレームの移動に応じて撮像部２０により自動的にパノラマ画像の生成に必要な複数の画像データを取得することができる。なお、最初の第１の画像データの取得以降も、ユーザによるシャッタボタン１２の操作により上記複数の画像データを取得するとしてもよい。

以降、第１の画像データ４０を切り出した位置から第２の画像データを切り出すべき位置まで撮像フレームが移動すべき距離を、単に「撮像フレームが移動すべき距離Ｙ」という。なお、撮像フレームが移動すべき距離Ｙは後述の移動距離決定部２６により算出される。撮像部２０は、第１の画像データ４０及び第２の画像データの取得を複数回繰り返すことにより、パノラマ画像の生成に必要な複数の画像データの全てを取得する。撮像部２０が取得した撮像フレームにより切り出される画面表示用データ、第１の画像データ４０及び第２の画像データは、後述する移動情報取得部２２、画像特徴点検出部２４及びガイド部３０に出力される。

移動情報取得部２２は、撮像フレームが移動する方向を示す移動方向情報を取得する移動情報取得手段である。移動情報取得部２２は、撮像部２０により第１の画像データ４０の出力が行われると、矩形の撮像フレームにより切り出された第１の画像データ４０が示す四辺に対応する四方（上下左右）を、予め記憶された情報から移動方向情報として取得する。また、移動情報取得部２２は、ユーザが第２の画像データを取得するために撮像装置１を移動させることにより撮像フレームが移動すると、撮像フレームが移動した方向を検知し、当該検知された方向を移動方向情報として取得する。より詳細には、移動情報取得部２２は、撮像部２０により出力された画面表示用データから、画像の特徴点の位置座標を検出し、この位置座標の変化に基づいて、撮像フレームが移動した方向を検知する。画像の特徴点とは、画像の境目や角といった特徴となる点であり、例えば、画像の色彩が大きく変化する箇所、濃淡の濃い箇所、輪郭などである。当該画像の特徴点の位置座標は、後述する画像特徴点検出部２４により検出して、移動情報取得部２２に出力してもよい。なお、移動情報取得部２２は、カメラ６の上下左右方向の加速度を検知することにより移動方向情報を取得してもよい。この場合、例えば撮像部２０が３軸加速度センサなどによりカメラ６の加速度を検知する機能を有し、検知したカメラ６の加速度を移動情報取得部２２に出力するとしてもよい。なお、加速度に加えて又は加速度に代えて、角速度を検知することにより移動方向情報を取得してもよい。移動情報取得部２２が取得した移動方向情報は、後述する画像特徴点検出部２４及びガイド部３０に出力される。

また、移動情報取得部２２は、撮像フレームが移動した距離を検知する移動情報取得手段である。移動情報取得部２２は、撮像部２０により出力された画面表示用データから、画像の特徴点の位置座標を検出し、当該位置座標の変化に基づいて、第１の画像データ４０を切り出した位置から撮像フレームが移動した距離（以降、単に「撮像フレームが移動した距離Ｘ」という。）を検知する。なお、撮像フレームが移動した距離Ｘの検知は、撮像フレームが移動した方向に応じて行ってもよい。移動情報取得部２２が検知した撮像フレームが移動した距離Ｘは、後述するフレーム到達判定部２８及びガイド部３０に出力される。また、移動情報取得部２２は、撮像部２０により出力された画面表示用データから、画像の特徴点の位置座標を検出し、当該位置座標の変化に基づいて、撮像フレームが静止したことを検知してもよい。なお、移動情報取得部２２は、カメラ６の加速度又は角速度の少なくとも一方を検知することにより撮像フレームが静止したことを検知してもよい。移動情報取得部２２により撮像フレームが静止したことが検知されると、その旨が撮像部２０に出力される。

画像特徴点検出部２４は、撮像部２０から出力された第１の画像データ４０と仮想的な撮像フレームとが重なり合う領域における画像の特徴点を、第１の画像データ４０から検出する画像特徴点検出手段である。図４は、図３の画像特徴点検出部及び移動距離決定部による判断ロジックを説明する図である。図４に示すように、仮想的な撮像フレーム４１は、上述のカメラ６が向けられた方向を中心とする所定の撮像領域を示す現実の撮像フレーム４２と同じ形状を呈するが、画像特徴点を検出する領域を示すために仮想的に設定されたものであるという点で、現実の撮像フレーム４２とは異なる。仮想的な撮像フレーム４１は、移動情報取得部２２により出力された移動方向情報に基づいて算出される。以降、仮想的な撮像フレーム４１を単に「仮想フレーム」４１といい、上述の現実の撮像フレーム４２と区別する。

画像特徴点検出部２４は、第１の画像データ４０と仮想フレーム４１とが重なり合う領域４４において、第１の画像データ４０の画像の特徴点Ａを検出する。画像の特徴点Ａの検出は、例えば、第１の画像データ４０から画素値として輝度成分の値を有する輝度画像データを作成し、この輝度画像データにおいてエッジなどを検出することによって行う。画像特徴点検出部２４は、例えば所定の閾値を超える輝度成分の値を有する画素の数を検出することで、第１の画像データ４０と仮想フレーム４１とが重なり合う領域４４における画像の特徴点Ａの数を検出する。なお、第１の画像データ４０全体における画像の特徴点を先に検出しておいて、それを利用して後で第１の画像データ４０と仮想フレーム４１とが重なり合う領域４４における画像の特徴点Ａを検出するとしてもよい。

第１の画像データ４０と仮想フレーム４１とが重なり合う領域４４は、移動情報取得部２２により出力された移動方向情報が示す方向に仮想フレーム４１が移動する移動量に応じている。仮想フレーム４１が移動する移動量とは、仮想フレーム４１が第１の画像データ４０に対して平行移動する量をいう。仮想フレーム４１が移動する移動量が多いほど、第１の画像データ４０と仮想フレーム４１とが重なり合う領域４４の面積は小さくなる。ここで、第１の画像データ４０と仮想フレーム４１とが重なり合う領域４４の面積は、パノラマ画像の生成のために最低限必要な第１の閾値（例えば、仮想フレーム４１の全面積の２５％）と予め設定しておくことができる。また、仮想フレーム４１が移動する移動量自体を予め設定しておくこともできる。画像特徴点検出部２４により検出された第１の画像データ４０と仮想フレーム４１とが重なり合う領域４４における画像の特徴点Ａの数は、後述する移動距離決定部２６に出力される。

移動距離決定部２６は、画像特徴点検出部２４により出力された第１の画像データ４０と仮想フレーム４１とが重なり合う領域４４における画像の特徴点Ａの数に応じて、第２の画像データを撮像するために現実の撮像フレーム４２が移動すべき距離Ｙを決定する移動距離決定手段である。具体的には、移動距離決定部２６は、画像特徴点検出部２４により出力された第１の画像データ４０と仮想フレーム４１とが重なり合う領域４４における画像の特徴点Ａの数が所定の閾値β（例えば、８個）以上となるように、現実の撮像フレーム４２が移動すべき距離Ｙを決定する。

図４の（ａ）は撮像フレーム４２が移動すべき距離Ｙを長距離と判断する場合を示し、図４の（ｂ）は撮像フレーム４２が移動すべき距離Ｙを短距離と判断する場合を示している。画像特徴点検出部２４により第１の画像データ４０と仮想フレーム４１とが重なり合う領域４４における画像の特徴点Ａの数が検出される前においては、移動距離決定部２６は、撮像フレーム４２が移動すべき距離Ｙをデフォルト値として長距離に設定しておく。ここで、長距離とは、第１の画像データ４０を切り出した位置から上述のように設定した仮想フレーム４１の位置までの距離をいう。すなわち、撮像フレーム４２が移動すべき距離Ｙが長距離の場合、第１の画像データ４０と現実の撮像フレーム４２とが重なり合う領域４８の面積が、第１の画像データ４０と仮想フレーム４１とが重なり合う領域４４の面積と同じく、パノラマ画像の生成のために最低限必要な第１の閾値（例えば、撮像フレーム４２の全面積の２５％）となっている。

移動距離決定部２６は、図４の（ａ）に示すように、画像特徴点検出部２４により出力された第１の画像データ４０と仮想フレーム４１とが重なり合う領域４４における画像の特徴点Ａの数が所定の閾値β（例えば、８個）以上の場合には、現実の撮像フレーム４２が移動すべき距離Ｙを長距離に設定したままとする。一方、図４の（ｂ）に示すように、画像特徴点検出部２４により出力された第１の画像データ４０と仮想フレーム４１とが重なり合う領域４４における画像の特徴点Ａの数が所定の閾値（例えば、８個）未満の場合には、第１の画像データ４０と現実の撮像フレーム４２とが重なり合う領域４８における画像の特徴点Ａの数が所定の閾値β以上となるように、撮像フレーム４２が移動すべき距離Ｙを長距離から短距離へと変化させる。ここで、短距離とは、長距離に対して短い距離であり、第１の画像データ４０と現実の撮像フレーム４２とが重なり合う領域４８の面積が長距離の場合よりも大きくなるように設定される距離をいう。すなわち、撮像フレーム４２が移動すべき距離Ｙが短距離の場合、第１の画像データ４０と現実の撮像フレーム４２とが重なり合う領域４８の面積が、上記第１の閾値よりも大きい第２の閾値（例えば、撮像フレーム４２の全面積の７５％）となっている。ただし、撮像フレーム４２が移動すべき距離Ｙを短距離にしても、第２の閾値の設定及び第１の画像データにおける特徴点の数によっては、第１の画像データ４０と現実の撮像フレーム４２とが重なり合う領域４８における画像の特徴点Ａの数が所定の閾値β以上とならない場合もあり得る。

図４の（ａ）及び（ｂ）の右端に示すように、第１の画像データ４０と第２の画像データ５０とが重なり合う領域５２の面積は、撮像フレーム４２が移動すべき距離Ｙが長距離の場合の方が短距離の場合よりも小さくなっている。上述のように、画像特徴点検出部２４により第１の画像データ４０と仮想フレーム４１とが重なり合う領域４４における画像の特徴点Ａが検出される前においては、移動距離決定部２６は撮像フレーム４２が移動すべき距離Ｙをデフォルト値として長距離に設定するため、第１の画像データ４０を取得してから第２の画像データ５０を取得するまでに撮像フレーム４２が移動する距離を極力大きくすることができる。すなわち、パノラマ画像生成のための複数の画像データを取得するための撮像操作を、極力減らすことが可能となる。例えば、ユーザが撮像位置において撮像装置１を静止させる操作等を減らすことができる。また、ユーザがシャッタボタン１２を操作することにより画像データを取得する場合には、カメラ６のシャッタボタン１２を操作する回数等を減らすことができる。移動距離決定部２６により決定された撮像フレーム４２が移動すべき距離Ｙは、後述するフレーム到達判定部２８及びガイド部３０に出力される。

フレーム到達判定部２８は、移動距離決定部２６により出力された撮像フレーム４２が移動すべき距離Ｙと移動情報取得部２２により出力された撮像フレーム４２が移動した距離Ｘとの差分が、予め記憶された所定の閾値αに到達したか（α以下になったか）否かを判定するフレーム到達判定手段である。所定の閾値αは、例えば撮像フレーム４２が移動すべき距離Ｙと撮像フレーム４２が移動した距離Ｘがほぼ等しいと見なせるほど小さい画素数単位の値とすることができる。すなわち、フレーム到達判定部２８は、撮像フレーム４２が第２の画像データ５０を切り出すべき位置に到達したか否かを判定する。フレーム到達判定部２８により撮像フレーム４２が第２の画像データ５０を切り出すべき位置に到達したと判定された場合には、その旨が撮像部２０及び後述するガイド部３０に出力される。なお、フレーム到達判定部２８は、所定の閾値α以下ではなく所定の閾値α未満になったか否かを判定するとしてもよい。

ガイド部３０は、撮像部２０、移動情報取得部２２、移動距離決定部２６及びフレーム到達判定部２８により出力された情報に応じた種々の出力を行うガイド手段である。ガイド部３０は、当該出力を、例えばタッチパネルディスプレイ４に枠４６ａや矢印４６ｂからなる撮像ガイドを示す図形を表示させることにより行う（図１参照）。撮像ガイドとは、第１の画像データ４０を切り出した位置から第２の画像データを切り出すべき位置まで、撮像フレーム４２をいかに移動すべきかをガイドするものである。図５は、図３のガイド部による撮像ガイドの表示の態様を示す図である。撮像部２０により第１の画像データ４０が出力されると、ガイド部３０は、図５に示すように、第１の画像データ４０と、移動情報取得部２２により出力された移動方向情報に対応した枠４６ａ及び矢印４６ｂとを表示する。枠４６ａ及び矢印４６ｂは、撮像フレーム４２が移動する方向に位置している。枠４６ａは、撮像フレーム４２が示す矩形における撮像フレーム４２が移動する方向側の一辺及びその両端の２つの角に沿った形状を呈している。枠４６ａは、撮像フレーム４２が第２の画像データ５０を切り出すべき位置をガイドする。枠４６ａは、第２の画像データ５０を取得する際に、撮像フレーム４２が移動する方向側の一辺及びその両端の２つの角が、これらに対応した枠４６ａに一致するような位置にすべきことを示すものである。矢印４６ｂは、撮像フレーム４２が移動する方向に向かって延びる形状を呈している。矢印４６ｂは、撮像フレーム４２が第２の画像データ５０を切り出すために向かうべき方向をガイドする。

ガイド部３０は、移動情報取得部２２により、移動方向情報として、予め記憶された情報から取得された第１の画像データ４０が示す四辺に対応する四方（上下左右）が出力された場合には、図５の（ａ）に示すように、当該四方に対応する４つの枠４６ａ及び４つの矢印４６ｂを表示する。これら４つの枠４６ａの位置は、移動距離決定部２６により出力された撮像フレーム４２が移動すべき距離Ｙによって決定される。４つの矢印４６ｂの位置は、このように決定された４つの枠４６ａそれぞれの位置に対応し、第１の画像データ４０と４つの枠４６ａとの間に位置するように決定される。なお、４つの枠４６ａ及び４つの矢印４６ｂの位置は、予め設定しておいてもよい。また、移動情報取得部２２により撮像フレーム４２が移動した方向が出力されると、ガイド部３０は、図５の（ｂ）に示すように、当該撮像フレーム４２が移動した方向のみに、枠４６ａ及び矢印４６ｂを表示する。すなわち、ガイド部３０は、撮像フレーム４２が移動した方向以外の枠４６ａ及び矢印４６ｂを非表示にする。

例えば、ガイド部３０は、以下のように移動距離決定部２６により出力された撮像フレーム４２が移動すべき距離Ｙに応じた位置に枠４６ａを表示させる。図６は、図５における撮像ガイドの表示が撮像フレームの移動すべき距離に応じていることを説明する図である。なお、図６においては、説明のため、枠４６ａを一点鎖線の矩形として簡単に示している。図６の（ａ）は撮像フレーム４２が移動すべき距離Ｙが長距離の場合の撮像ガイドの表示、図６の（ｂ）は撮像フレーム４２が移動すべき距離Ｙが短距離の場合の撮像ガイドの表示を示している。移動距離決定部２６により出力された撮像フレーム４２が移動すべき距離Ｙが長距離である場合には、第１の画像データ４０と撮像フレーム４２とが重なり合う領域４８の面積が上記第１の閾値（例えば、撮像フレーム４２の全面積の２５％）となるような撮像フレーム４２の位置（図４の（ａ）参照）に合わせて、図６の（ａ）に示すように枠４６ａを表示する。一方、移動距離決定部２６により出力された撮像フレーム４２が移動すべき距離が短距離である場合には、第１の画像データ４０と撮像フレーム４２とが重なり合う領域４８の面積が、上記第２の閾値（例えば、撮像フレーム４２の面積の７５％）となるような撮像フレーム４２の位置（図４の（ｂ）参照）に合わせて、図６の（ｂ）に示すように枠４６ａを表示する。

また、ガイド部３０は、移動情報取得部２２により出力された撮像フレーム４２が移動した距離Ｘ及び移動距離決定部２６により出力された撮像フレーム４２が移動すべき距離Ｙに応じて、矢印４６ｂが表示される大きさを変化させる。具体的には、移動距離決定部２６により出力された撮像フレーム４２が移動すべき距離Ｙと移動情報取得部２２により出力された撮像フレーム４２が移動した距離Ｘとの差分に対応させて、当該差分が小さくなるにつれて矢印４６ｂの大きさが小さくなるように表示させる。すなわち、図５の（ｂ）及び（ｃ）に示すように、撮像フレーム４２の位置が枠４６ａの位置に近づくにつれて、矢印４６ｂの大きさが小さくなる。

また、ガイド部３０は、フレーム到達判定部２８により、撮像フレーム４２が第２の画像データ５０を切り出すべき位置に到達したと判定された場合には、撮像フレーム４２の移動を静止すべき旨の出力を行う。具体的には、図５の（ｄ）に示すように、撮像フレーム４２が示す領域の中央部付近に静止マーク４６ｃを表示させる。

次に、撮像装置１を用いた撮像方法において、撮像ガイドを制御する動作について、図７を用いて説明する。図７は図３のガイド部による撮像ガイドを制御する動作を示したフローチャートである。

図７に示すように、撮像装置１において、例えばユーザにより撮像を行うアプリケーションが起動され、パノラマ画像撮像モードが設定され、シャッタボタン１２が押下げられると、撮像部２０は、撮像フレーム４２により切り出される第１の画像データ４０を取得する（Ｓ１：撮像ステップ）。続いて、移動情報取得部２２は、第１の画像データ４０の四辺に対応する四方向を示す情報を取得する（Ｓ２：移動情報取得ステップ）。

続いて、画像特徴点検出部２４は、第１の画像データ４０と仮想フレーム４１とが重なり合う領域４４における画像の特徴点Ａを検出する（Ｓ３：画像特徴点検出ステップ）。なお、この検出方法の詳細については後述する。

続いて、移動距離決定部２６は、撮像フレーム４２が移動すべき距離Ｙを決定する（Ｓ４：移動距離決定ステップ）。なお、この決定方法の詳細については後述する。

続いて、ガイド部３０は、タッチパネルディスプレイ４に第１の画像データ４０及び撮像ガイドを表示する（Ｓ５：ガイドステップ）。撮像ガイドは４つの枠４６ａ及び４つの矢印４６ｂからなり、それぞれ移動情報取得部２２により取得された四方向に、移動距離決定部２６により決定された撮像フレーム４２が移動すべき距離Ｙに対応する位置に表示されている（図５の（ａ）参照）。

続いて、移動情報取得部２２は、撮像フレーム４２の移動を検知し、撮像フレームが移動したかどうかを判定する（Ｓ６）。移動情報取得部２２により撮像フレーム４２が移動しなかったと判定された場合（Ｓ６：ＮＯ）には、ガイド部３０はタッチパネルディスプレイ４に４つの枠４６ａ及び４つの矢印４６ｂからなる撮像ガイドを表示し続ける（図５の（ａ）参照）。

一方、移動情報取得部２２により撮像フレーム４２が移動したと判定された場合（Ｓ６：ＹＥＳ）には、移動情報取得部２２は、撮像フレーム４２が移動した方向を示す移動方向情報を取得する（Ｓ７：移動情報取得ステップ）。そして、ガイド部３０は、移動情報取得部２２により取得された移動方向情報が示す撮像フレーム４２が移動した方向のみに、移動距離決定部２６により決定された撮像フレーム４２が移動すべき距離Ｙに対応する撮像ガイドをタッチパネルディスプレイ４に表示する（Ｓ８：ガイドステップ）。すなわち、タッチパネルディスプレイ４には、撮像フレーム４２が移動した方向以外の枠４６ａ及び矢印４６ｂが非表示とされ、かつ、撮像フレーム４２が移動した方向の枠４６ａは、撮像フレーム４２を移動すべき位置に表示されている（図５の（ｂ）参照）。

続いて、移動情報取得部２２は、撮像フレーム４２が移動した距離Ｘを検知する（Ｓ９：移動情報取得ステップ）。そして、ガイド部３０は、撮像フレーム４２が移動すべき距離Ｙから撮像フレーム４２が移動した距離Ｘを差分した量に比例させて、タッチパネルディスプレイ４に表示する矢印４６ｂの大きさを変化させる（Ｓ１０：ガイドステップ）。すなわち、タッチパネルディスプレイ４には、撮像フレーム４２が矩形の枠４６ａに近づくほど矢印４６ｂが小さく表示される（図５の（ｂ）及び（ｃ）参照）。なお、撮像フレーム４２が移動した距離Ｘが、撮像フレーム４２が移動すべき距離Ｙより大きい場合、すなわち撮像フレーム４２が移動すべき位置を超えてしまっている場合には、撮像フレーム４２を移動した方向とは反対側に移動すべき旨のガイドを行ってもよい。

続いて、フレーム到達判定部２８は、撮像フレーム４２が移動すべき距離Ｙから撮像フレーム４２が移動した距離Ｘを差分した量が、所定の閾値α以下かどうかを判定する（Ｓ１１：フレーム到達判定ステップ）。所定の閾値αは、例えば撮像フレーム４２が移動すべき距離Ｙと撮像フレーム４２が移動した距離Ｘとがほぼ同じとみなせるほど小さい画素単位の値である。撮像フレーム４２が移動すべき距離Ｙから撮像フレーム４２が移動した距離Ｘを差分した量が、所定の閾値α以下でない場合（Ｓ１１：ＮＯ）には、ガイド部３０は、撮像フレーム４２が移動すべき距離Ｙから撮像フレーム４２が移動した距離Ｘを差分した量に比例させて、タッチパネルディスプレイ４に表示する矢印４６ｂの大きさを変化させ続ける（図５の（ｂ）及び（ｃ）参照）。

一方、撮像フレーム４２が移動すべき距離Ｙから撮像フレーム４２が移動した距離Ｘを差分した量が、所定の閾値α以下となった場合（Ｓ１１：ＹＥＳ）には、ガイド部３０は、撮像フレーム４２を静止すべき旨の出力として、静止マーク４６ｃの表示を行う（Ｓ１２：ガイドステップ）。すなわち、タッチパネルディスプレイ４には、例えば撮像フレーム４２が示す領域の中央部付近に静止マーク４６ｃが表示される（図５の（ｄ）参照）。

ガイド部３０により静止マーク４６ｃの表示がなされ、当該表示に従いユーザが撮像装置１の操作を停止させると、撮像フレーム４２が静止する。撮像部２０は、移動情報取得部２２により撮像フレーム４２が静止されたことを検知すると、第２の画像データ５０を取得する（Ｓ１３：撮像ステップ）。このようにして、第１の画像データ４０を取得してから第２の画像データ５０を取得するまでの撮像ガイドを制御する動作が終了となる。

次に、上記の撮像ガイドを制御する動作における、画像特徴点検出（Ｓ５）及び移動距離決定（Ｓ６）の動作について、図８を用いて詳細に説明する。図８は、図７における画像特徴点検出及び移動距離決定の動作を詳細に示したフローチャートである。

図８に示すように、まず、画像特徴点検出の動作が開始すると、画像特徴点検出部２４は、第１の画像データ４０と仮想フレーム４１とが重なり合う領域４４における画像の特徴点Ａを検出する（Ｓ３１）。続いて、画像特徴点検出部２４は、検出された画像の特徴点Ａの数を算出し（Ｓ３２）、画像特徴点検出の動作を終了する。

続いて、移動距離決定の動作が開始されると、移動距離決定部２６は、算出された画像の特徴点Ａの数が所定の閾値β以上かどうかを判定する（Ｓ４１）。画像の特徴点Ａの数が所定の閾値β以上でないと判定された場合（Ｓ４１：ＮＯ）には、撮像フレーム４２が移動すべき距離Ｙを短距離に決定（Ｓ４３）し、移動距離決定の動作を終了する。一方、画像の特徴点Ａの数が所定の閾値β以上であると判定された場合（Ｓ４１：ＹＥＳ）には、撮像フレーム４２が移動すべき距離Ｙを長距離に決定（Ｓ４２）し、移動距離決定の動作を終了する。

以上、一実施形態の撮像装置１によれば、移動情報取得部２２により、複数の画像データを撮像する際、撮像領域を示す撮像フレーム４２が移動する方向を示す移動方向情報が取得される。画像特徴点検出部２４により、取得された移動方向情報が示す方向に撮像フレーム４２が移動する移動量に応じた、撮像フレーム４２と撮像手段によって取得された第１の画像データ４０とが重なり合う領域４４における画像の特徴点Ａが、第１の画像データ４０から検出される。移動距離決定部２６により、検出された画像の特徴点の数Ａに応じて、第１の画像データ４０と隣り合う第２の画像データ５０を取得するために撮像フレーム４２が移動すべき距離Ｙが決定される。そして、ガイド部３０により、撮像フレーム４２が移動すべき距離Ｙに応じ、枠４６ａ及び矢印４６ｂからなる撮像ガイドの表示がタッチパネルディスプレイ４において行われる。これにより、ユーザは当該表示により把握される撮像フレームが移動すべき距離に基づいて適切な撮像操作を行うことができ、複数の画像データ同士の繋ぎ目となる部分の画像の特徴点Ａの数を、パノラマ画像データの生成に必要な分だけ確保することが可能となる。よって、複数の画像データの繋ぎ合わせに必要となる画像の特徴点Ａの数を確保した上で、無駄のない撮像操作を行うことができる。

また、一実施形態の撮像装置１によれば、移動情報取得部２２により、撮像フレーム４２が移動した方向を検知し、移動した方向を用いて移動方向情報が取得される。また、ガイド部３０により、移動情報取得部２２により取得した撮像フレーム４２が移動した方向のみに枠４６ａ及び矢印４６ｂがタッチパネルディスプレイ４に表示される。このような撮像フレーム４２が移動した方向に応じた撮像ガイドの表示に従い、ユーザはより適切に撮像操作を行うことができる。

また、一実施形態の撮像装置１によれば、移動情報取得部２２により、撮像フレーム４２が移動した距離Ｘが検知される。また、ガイド部３０により、撮像フレーム４２が移動すべき距離Ｙと撮像フレーム４２が移動した距離Ｘとの差分が小さくなるにつれて、タッチパネルディスプレイ４において矢印４６ｂの大きさが小さくなるように表示される。よって、ユーザは当該矢印４６ｂの表示の大きさに応じて撮像フレーム４２をどの程度移動させればよいか、直感的に判断することができ、より適切な撮像操作を行うことができる。

また、一実施形態の撮像装置１によれば、フレーム到達判定部２８により、移動距離決定部２６により決定された撮像フレーム４２が移動すべき距離Ｙと移動情報取得部２２により検知された撮像フレーム４２が移動した距離Ｘとの差分（Ｙ−Ｘ）が所定の閾値α以下に到達したか否かが判定される。また、当該差分（Ｙ−Ｘ）が所定の閾値α以下に到達したと判定された場合には、ガイド部３０により、撮像フレーム４２の移動を静止すべきことを通知する静止マーク４６ｃがタッチパネルディスプレイ４に表示される。よって、ユーザは当該静止マーク４６ｃの表示に応じて撮像操作を停止することができ、撮像フレーム４２を適切なタイミングで静止させることが可能となる。また、ブレのない撮像操作を行うことができる。例えば、本実施形態のようにユーザが撮像装置１を保持して撮像が行われる場合は、手ブレを防止することができる。

以上、本発明の好適な実施形態について説明してきたが、本発明は必ずしも上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で様々な変更が可能である。

例えば、枠４６ａ、矢印４６ｂ及び静止マーク４６ｃからなる撮像ガイドの表示態様は、上記実施形態におけるものに限られず、枠４６ａ、矢印４６ｂ及び静止マーク４６ｃは種々の形状としてもよい。図９は、図４の撮像ガイドの表示の別態様を示す図である。図９に示すように、例えば４つの括弧型の枠４６ａを矩形の第１の画像データ４０（撮像フレーム４２）が有する四つの角に対応させて配置させることにより表示させてもよく、不等号型の矢印４６ｂをタッチパネルディスプレイ４に表示してもよい。また、枠４６ａは撮像フレーム４２と同形状の矩形を呈しているとしてもよい。枠４６ａがこのような矩形を呈している場合には、ユーザは撮像フレーム４２が切り出す連続的な画像データをタッチパネルディスプレイ４上で見ながら、当該画像データを枠４６ａに対して傾けさせないように操作することができ、より適切な撮像操作が可能となる。

また、撮像ガイドの表示態様は、枠４６ａ、矢印４６ｂ及び静止マーク４６ｃによる表示に限られず、その他の図形や記号等をタッチパネルディスプレイ４に表示させてもよい。また、撮像ガイドの表示態様は静止画に限られず、アニメーション表示、タッチパネルディスプレイ４上の光を点滅させる等、画面表示に視覚的に認識できる種々の態様により撮像ガイドを行ってもよい。

また、撮像ガイドは、タッチパネルディスプレイ４に表示させることによるものに限られず、音声や振動等により行ってもよい。

また、上記実施形態においては、撮像フレーム４２が移動すべき距離Ｙをデフォルト値として長距離に設定しておくこととしたが、これに限られない。例えば、撮像フレーム４２が移動すべき距離Ｙをデフォルト値として短距離に設定しておき、第１の画像データ４０と仮想フレーム４１とが重なり合う領域４４における画像の特徴点Ａの数に応じて撮像フレーム４２の移動すべき距離Ｙを長距離に近づけてもよい。

また、上記実施形態においては、撮像フレーム４２が移動すべき距離Ｙは、長距離又は短距離のどちらか一方に決定されるとしたが、これに限られない。例えば、第１の画像データ４０と現実の撮像フレーム４２とが重なり合う領域４８においてパノラマ画像生成に必要な数だけ画像の特徴点Ａの数を有するように、撮像フレーム４２が移動すべき距離Ｙを無段階に可変なものとしてもよい。例えば、第１の画像データ４０と仮想フレーム４１とが重なり合う領域４４の面積をパノラマ生成のため最低限必要な大きさにしておき、当該領域４４における画像の特徴点Ａの数を検出する。検出された当該領域４４における画像の特徴点Ａの数がパノラマ生成のために不十分な場合には、十分な数となるように当該領域４４の面積を大きくしていく。また、逆に、第１の画像データ４０と仮想フレーム４１とが重なり合う領域４４の面積を最大限としておき、すなわち仮想フレーム４１を第１の画像データ４０にちょうど重なり合う位置にしておき、そこから当該領域４４の面積を小さくしていってもよい。

なお、上記の各閾値の設定は、製造者等により予め記憶されているデフォルト設定に限られず、当該設定をユーザが適宜変更可能なものとしてもよい。

また、第１の画像データ４０が取得されると図５に示すように四方に撮像ガイドが表示されるとしたが、これに限られず、パノラマ画像が適切に生成されるように予め撮像フレーム４２が移動すべき方向を設定しておき、その方向のみに撮像ガイドを表示することとしてもよい。

また、本発明の撮像装置は携帯端末に限られず、デジタルカメラ等の種々の撮像機器であってもよい。なお、デジタルカメラ等の場合には、撮像用の装置であるため、携帯電話機等の携帯端末のように撮像を行うためにアプリケーションを起動しなくてよい。

１…撮像装置、２０…撮像部（撮像手段）、２２…移動情報取得部（移動情報取得手段）、２４…画像特徴点検出部（画像特徴点検出手段）、２６…移動距離決定部（移動距離決定手段）、２８…フレーム到達判定部（フレーム到達判定手段）、３０…ガイド部（ガイド手段）、４０…第１の画像データ、４２…撮像フレーム、４６ａ…枠、４６ｂ…矢印、５０…第２の画像データ、Ａ…画像の特徴点。

Claims (8)

1. 複数の画像データを合成してパノラマ画像データを生成するため、前記複数の画像データを取得する撮像装置であって、
   前記複数の画像データを、撮像領域を示す撮像フレームにより切り出される画像を撮像することにより取得する撮像手段と、
   前記撮像フレームが移動する方向を示す移動方向情報を取得する移動情報取得手段と、
   前記移動情報取得手段により取得した移動方向情報が示す方向に前記撮像フレームが移動する移動量に応じた、前記撮像フレームと前記撮像手段によって取得された第１の画像データとが重なり合う領域における画像の特徴点を、前記第１の画像データから検出する画像特徴点検出手段と、
   前記画像特徴点検出手段により検出した前記画像の特徴点の数に応じて、前記第１の画像データと隣り合う第２の画像データを取得するために前記撮像フレームが移動すべき距離を決定する移動距離決定手段と、
   前記移動距離決定手段により決定した前記撮像フレームが移動すべき距離に応じた出力を行うガイド手段と、
   を備える撮像装置。
2. 前記移動情報取得手段が、前記撮像フレームが移動した方向を検知し、前記移動した方向を用いて前記移動方向情報を取得する請求項１に記載の撮像装置。
3. 前記ガイド手段が、前記移動情報取得手段により取得した前記移動方向情報に応じた出力を行う請求項１又は２に記載の撮像装置。
4. 前記移動情報取得手段が、前記撮像フレームが移動した距離を検知し、
   前記ガイド手段が、前記移動情報取得手段により検知された前記撮像フレームが移動した距離に応じた出力を行う請求項１〜３の何れか一項に記載の撮像装置。
5. 前記移動距離決定手段により決定された前記撮像フレームが移動すべき距離と前記移動情報取得手段により検知された前記撮像フレームが移動した距離との差分が所定の閾値に到達したか否かを判定するフレーム到達判定手段を更に備え、
   前記ガイド手段が、前記フレーム到達判定手段により前記差分が所定の閾値に到達したと判定された場合に、前記撮像フレームの移動を静止すべき旨の出力を行う請求項４に記載の撮像装置。
6. 前記ガイド手段が、前記出力を画面表示により行う請求項１〜５の何れか一項に記載の撮像装置。
7. 前記ガイド手段が、前記画面表示として枠又は矢印を表示する請求項６に記載の撮像装置。
8. 複数の画像データを合成してパノラマ画像データを生成するため、前記複数の画像データを取得する撮像方法であって、
   前記複数の画像データを、撮像領域を示す撮像フレームにより切り出される画像を撮像することにより取得する撮像ステップと、
   前記撮像フレームが移動する方向を示す移動方向情報を取得する移動情報取得ステップと、
   前記移動情報取得ステップにおいて取得した移動方向情報が示す方向に前記撮像フレームが移動する移動量に応じた、前記撮像フレームと前記撮像ステップにおいて取得された第１の画像データとが重なり合う領域における画像の特徴点を、前記第１の画像データから検出する画像特徴点検出ステップと、
   前記画像特徴点検出ステップにおいて検出した前記画像の特徴点の数に応じて、前記第１の画像データと隣り合う第２の画像データを取得するために前記撮像フレームが移動すべき距離を決定する移動距離決定ステップと、
   前記移動距離決定ステップにおいて決定した前記撮像フレームが移動すべき距離に応じた出力を行うガイドステップと、
   を含む撮像方法。
   

Images