JP5948779B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来より、３５ミリ銀塩フィルムにより撮像された２：３の縦横比の画像や、デジタルカメラにより撮像された３：４の縦横比の画像と比較して、横長又は縦長の広角画像、即ち、いわゆるパノラマ画像が存在する。
このようなパノラマ画像のデータを生成するための技術が、特許文献１に記載されている。特許文献１に記載の技術では、例えば、ユーザが、シャッタスイッチの押下操作の状態を維持させながら、デジタルカメラを垂直方向にほぼ固定したまま水平方向に回転させるように移動させる。すると、デジタルカメラは、この間に撮像した複数の画像のデータを処理対象として、これらの複数枚の画像同士の一部の領域を継ぎ合わせるように合成する処理を実行することで、１つのパノラマ画像のデータを生成する。

特開平６−３０３５６２号公報号公報

しかしながら、周囲の風景を重視しつつ被写体が適切な位置に写るパノラマ画像が要求される場合には、撮影時に被写体側に動きがあると、結果としてユーザが所望する構図のパノラマ画像が得られない虞があった。

本発明は、このような状況に鑑みてなされたものであり、撮影範囲内の被写体に動きがある場合であっても、ユーザが所望する構図のパノラマ画像を容易かつ適切に得ることを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、連続的に撮像された複数の画像を取得する取得手段と、前記取得手段により取得された複数の画像から、共通して存在する被写体像を夫々検出する第１の検出手段と、前記第１の検出手段により前記複数の画像から検出された被写体像の変化を検出し、変化が検出された第一の被写体像と、前記第一の被写体像とは異なる変化が検出された第二の被写体像とを検出する第２の検出手段と、前記取得手段により取得された複数の画像と、前記第２の検出手段により変化が検出された前記第一の被写体像と前記第二の被写体像とに基づいて、前記第一の被写体像が含まれる第一のパノラマ画像と、前記第二の被写体像が含まれる第二のパノラマ画像とを生成する生成手段と、前記生成手段により生成された前記第一のパノラマ画像及び前記第二のパノラマ画像を表示手段に表示させる表示制御手段と、を備えたことを特徴とする

本発明によれば、撮影範囲内の被写体に動きがある場合であっても、ユーザが所望する構図のパノラマ画像を容易かつ適切に得ることができる。

本発明の一実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。 図１の画像処理装置の機能的構成のうち、パノラマ画像生成処理を実行するための機能的構成を示す機能ブロック図である。 パノラマ画像のデータの生成についての一例を示す模式図である。 図２の機能的構成を有する図１の画像処理装置が実行するパノラマ画像生成処理の流れを説明するフローチャートである。 図４のステップＳ６で実行される被写体付きパノラマ画像生成処理の流れを説明するフローチャートである。 パノラマ画像のデータの生成についての他の例を示す模式図である。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の一実施形態に係る画像処理装置１のハードウェアの構成を示すブロック図である。
画像処理装置１は、例えばデジタルカメラして構成される。

画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、画像処理部１４と、バス１５と、入出力インターフェース１６と、撮像部１７と、入力部１８と、出力部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

画像処理部１４は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されており、ＣＰＵ１１と協働して、画像のデータに対して各種画像処理を施す。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１５を介して相互に接続されている。このバス１５にはまた、入出力インターフェース１６も接続されている。入出力インターフェース１６には、撮像部１７、入力部１８、出力部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。

撮像部１７は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１７の出力信号として出力される。
このような撮像部１７の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や画像処理部１４等に適宜供給される。

入力部１８は、シャッタスイッチ等の各種ボタンで構成され、ユーザの指示操作に応じて各種情報や命令を入力する。
出力部１９は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部２０は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。

図２は、このような画像処理装置１の機能的構成のうち、パノラマ画像生成処理を実行するための機能的構成を示す機能ブロック図である。
「パノラマ画像生成処理」とは、連続して取得した複数の撮像画像のデータを用いて複数のパノラマ画像のデータを生成する処理をいう。
ここで、「パノラマ画像」とは、３５ミリ銀塩フィルムにより撮像された２：３の縦横比の画像や、デジタルカメラにより撮像された３：４の縦横比の画像と比較して、横長又は縦長の広角画像である。本実施形態においては、単に、パノラマ画像といった場合には、静止画のパノラマ画像のことをいう。
即ち、静止画である複数のパノラマ画像から構成される動画像を、特に「パノラマ動画像」と呼ぶものとする。
パノラマ画像生成処理には、生成された複数のパノラマ画像のデータのうちユーザにより指定されたパノラマ画像のデータを記憶したり、生成された複数パノラマ画像のデータに基づいてパノラマ動画像のデータを生成して記憶したりする処理も含まれる。

画像処理装置１がパノラマ画像生成処理を実行する場合には、ＣＰＵ１１においては、撮像制御部５１と、記憶制御部５２とが機能する。
この場合、記憶部２０には、撮像画像のデータやパノラマ画像のデータ等の各種画像のデータを記憶する領域として画像記憶部５３が設けられる。

撮像制御部５１は、撮像部１７による各種撮像動作を制御する。
詳細には、ユーザが、デジタルカメラとしての画像処理装置１を保持したまま、入力部１８のシャッタスイッチを押下操作すると、画像処理装置１は、パノラマ画像生成処理を開始する。パノラマ画像生成処理が開始すると、撮像制御部５１は、撮像部１７の連続撮像の動作を開始させる。この間、ユーザが、シャッタスイッチの押下操作の状態を維持させながら、デジタルカメラを垂直方向にほぼ固定したまま水平方向（以下、パノラマ撮影方向という）に回転させるように移動させる。その後、所定時間経過や画像処理装置１が所定量移動した等の所定条件が満たされると、撮像制御部５１は、撮像部１７における連続撮像の動作を終了させる。

記憶制御部５２は、撮像画像のデータ、パノラマ画像のデータ、パノラマ動画像のデータ等の各種画像のデータを画像記憶部５３に記憶させる制御を実行する。

また、画像処理装置１がパノラマ画像生成処理を実行する場合には、画像処理部１４においては、画像取得部５４と、スリット設定部５５と、被写体検出部５６と、動体検出部５７と、パノラマ画像生成部５８と、パノラマ動画生成部５９と、が機能する。

画像取得部５４は、撮像部１７の連続撮像の動作により出力されてくる複数の撮像画像のデータ、即ち連続的に撮像された複数の画像のデータを逐次取得する。

スリット設定部５５は、画像取得部５４により取得された複数の撮像画像のデータの夫々を処理対象として、当該複数の撮像画像の各々から区分された複数の領域を、スリット領域として夫々設定する。
このように、「スリット領域」は、撮像画像から区分された領域をいうが、後述する被写体像の検出や動体となる被写体像を検出する単位として用いられることになる。そこで、本実施形態においては撮像画像内を縦方向又は横方向に所定の長さ（所定の画素数）で区分された短冊状の領域が、スリット領域として採用される。

被写体検出部５６は、画像取得部５４により取得された複数の撮像画像のデータの夫々を処理対象として、スリット設定部５５により設定されたスリット領域毎に被写体像を検出する。
詳細には、被写体検出部５６は、スリット領域内のエッジ等を考慮して被写体像を検出する。

動体検出部５７は、被写体検出部５６により検出された被写体像の変化を検出し、変化があった被写体像を動体として検出する。
例えば、動体検出部５７は、被写体像が検出されたスリット領域を処理対象として、処理対象のスリット領域と同一空間位置おける別の撮像画像のスリット領域を比較対象として、処理対象と比較処理対象との各画素値の変化を検出し、所定量以上の変化があった場合には、処理対象に含まれる被写体像を動体として検出する。

パノラマ画像生成部５８は、画像取得部５４により取得された複数の画像のデータと、動体検出部５７により変化があると検出された被写体像とに基づいて、複数のパノラマ画像のデータを生成する。なお、パノラマ画像生成部５８により生成されるパノラマ画像のデータの具体例については、図３及び図６を参照して後述する。

パノラマ動画生成部５９は、パノラマ画像生成部５８により生成された複数のパノラマ画像のデータに基づいて、パノラマ動画像のデータを生成する。即ち、パノラマ動画生成部５９は、複数のパノラマ画像から構成される動画像をパノラマ動画像として、当該パノラマ動画像のデータを生成することができる。

さらに以下、ＣＰＵ１１において機能する撮像制御部５１及び記憶制御部５２、画像処理部１４において機能する画像取得部５４乃至パノラマ動画生成部５９の各機能について、即ち、パノラマ画像生成処理の実行機能について、図３を参照して具体的に説明する。
図３は、パノラマ画像のデータの生成についての一例を示す模式図である。詳細には、図３（ａ）は取得した撮像画像を示す模式図であり、図３（ｂ）は取得した撮像画像に基づいて、被写体像の動き毎に生成されたパノラマ画像を示す模式図である。

画像取得部５４は、図３（ａ）に示すように、撮像部１７によりパノラマ撮影方向に撮像された複数の撮像画像（第１撮像画像Ｐ１〜第６撮像画像Ｐ６）の各データをそれぞれ取得する。

スリット設定部５５は、例えば、複数の撮像画像（第１撮像画像Ｐ１〜第６撮像画像Ｐ６）の各データを処理対象として、処理対象毎に複数のスリット領域をそれぞれ設定する。

被写体検出部５６は、スリット設定部５５により設定されたスリット領域毎に、スリット領域内に映り込んだ被写体像を検出する。その結果、図３（ａ）に示す例においては、寺社の建築物、樹木、人物等が被写体像として検出される。

動体検出部５７は、図３（ａ）に示す例においては、第１撮像画像Ｐ１のスリット領域ＳＬ１、第２撮像画像Ｐ２のスリット領域ＳＬ２、及び第３撮像画像Ｐ３のスリット領域ＳＬ３の各々から、人物を動体として検出する。

パノラマ画像生成部５８は、図３（ｂ）に示すように、動体である人物（被写体）を含むスリット領域毎にパノラマ画像を生成する。即ち、パノラマ画像生成部５８は、スリット領域ＳＬ１内の人物を含むパノラマ画像ＰＲＰ１のデータ、スリット領域ＳＬ２内の人物を含むパノラマ画像ＰＲＰ２のデータ、及びスリット領域ＳＬ３内の人物を含むパノラマ画像ＰＲＰ３のデータのそれぞれを生成する。

パノラマ動画生成部５９は、図３（ｂ）に示すパノラマ画像ＰＲＰ１、ＰＲＰ２、ＰＲＰ３の各データを用いて、パノラマ動画像のデータを生成する。即ち、パノラマ動画生成部５９は、複数のパノラマ画像から構成されるパノラマ動画像のデータを生成する。

図４は、図２の機能的構成を有する図１の画像処理装置１が実行するパノラマ画像生成処理の流れを説明するフローチャートである。
パノラマ画像生成処理は、ユーザの入力部１８へのパノラマ画像生成処理を開始する操作、即ち、シャッタボタンの押下操作を契機に開始される。

ステップＳ１において、撮像制御部５１は、撮像部１７が連続撮像をするように制御する。

ステップＳ２において、画像取得部５４は、複数の撮像画像のデータを取得する。具体的には例えば図３（ａ）の例では、画像取得部５４は、第１撮像画像Ｐ１〜第６撮像画像Ｐ６のデータを取得する。

ステップＳ３において、スリット設定部５５は、ステップＳ２の処理で取得された複数の撮像画像のデータ毎に、スリット領域をそれぞれ設定する。

ステップＳ４において、被写体検出部５６は、ステップＳ３の処理で設定されたスリット領域毎に被写体像を検出する。

ステップＳ５において、動体検出部５７は、ステップＳ４の処理で検出された被写体像の中から、動体である被写体像を検出する。例えば図３（ａ）の例では、第１撮像画像Ｐ１のスリット領域ＳＬ１、第２撮像画像Ｐ２のスリット領域ＳＬ２、及び第３撮像画像Ｐ３のスリット領域ＳＬ３の各々から、人物を動体として検出される。

ステップＳ６において、パノラマ画像生成部５８は、被写体付きパノラマ画像生成処理を実行する。
「被写体付きパノラマ画像生成処理」とは、動体である被写体像を含むパノラマ画像のデータを生成するまでの一連の処理をいう。被写体付きパノラマ画像生成処理については、図５を用いて後述する。
これにより、例えば図３（ｂ）に示すような複数のパノラマ画像ＰＲＰ１〜ＰＲＰ３の各データが生成される。

ステップＳ７において、記憶制御部５２は、静止画保存をするか否かを判断する。
静止画を保存する場合には、ステップＳ７においてＹＥＳであると判断されて、処理はステップＳ８に進む。

ステップＳ８において、記憶制御部５２は、保存すべきパノラマ画像を選択するか否かを判断する。例えば、画像処理装置１は、生成された複数のパノラマ画像を出力部１９に順次表示させる等して、ユーザに入力部１８を用いた選択操作をさせる。
このような選択操作がなされるまでの間、ステップＳ８においてＮＯであると判定されて、処理はステップＳ８に戻される。即ち、このような選択操作がなされるまでの間、ステップＳ８の判定処理が繰り返し実行されて、パノラマ画像生成処理は待機状態になる。
その後、このような選択操作がなされると、記憶制御部５２は、このような選択操作の内容を解析することによって、保存すべきパノラマ画像を選択し、処理をステップＳ９に進める。

ステップＳ９において、記憶制御部５２は、選択されたパノラマ画像のデータを画像記憶部５３に保存する。これにより、パノラマ画像生成処理は終了する。

以上、静止画を保存する場合の処理について説明した。
次に、静止画を保存しない場合の処理について説明する。この場合には、ステップＳ７においてＮＯであると判定されて、処理はステップＳ１０に進む。
ステップＳ１０において、パノラマ動画生成部５９は、パノラマ動画像のデータを生成する。

ステップＳ１１において、記憶制御部５２は、パノラマ動画像のデータを画像記憶部５３に保存する。これにより、パノラマ画像生成処理は終了する。

図５は、図４のステップＳ６で実行される被写体付きパノラマ画像処理の流れを説明するフローチャートである。

ステップＳ２１において、パノラマ画像生成部５８は、動体となる被写体像が存在するスリット領域の各々のデータを抽出する。具体的には、パノラマ画像生成部５８は、図３（ａ）に示すように、各撮像画像のデータにおいて、被写体像が動体であると検出された第１撮像画像Ｐ１のスリット領域ＳＬ１、第２撮像画像Ｐ２のスリット領域ＳＬ２及び第３撮像画像Ｐ３のスリット領域ＳＬ３の各データを抽出する。

ステップＳ２２において、パノラマ画像生成部５８は、抽出したスリット領域のデータをそれぞれ含むように、各撮像画像のデータをスリット領域単位で合成したパノラマ画像のデータを複数生成する。詳細には、パノラマ画像生成部５８は、抽出したスリット領域、即ち、動体である被写体像のあるスリット領域（第１撮像画像Ｐ１のスリット領域ＳＬ１、第２撮像画像Ｐ２のスリット領域ＳＬ２及び第３撮像画像Ｐ３のスリット領域ＳＬ３）と、その他のスリッド領域との各データを合成して、図３（ｂ）に示すような、動体の動きに対応したパノラマ画像ＰＲＰ１、ＰＲＰ２、ＰＲＰ３のデータを生成する。その後、被写体付きパノラマ画像処理は終了し、ステップＳ６に戻る。

以上説明したように、画像処理装置１においては、撮影範囲内の被写体像に動きがある場合であっても、各種構図のパノラマ画像のデータが複数生成されるので、ユーザが所望する構図のパノラマ画像のデータを容易かつ適切に選択することができる。
また、画像処理装置１においては、撮像範囲内に存在する被写体像に動きがあることを利用して、パノラマ画像でありながら動画像の要素を取り入れたパノラマ動画像のデータを生成することができる。

次に、パノラマ画像の生成の他の例について図６を用いて説明する。図６は、パノラマ画像のデータの生成についての他の例を示す模式図である。詳細には、図６（ａ）は取得した撮像画像を示す模式図であり、図６（ｂ）は取得した撮像画像に基づいて、動体となる被写体像を除去して生成されたパノラマ画像を示す模式図である。なお、図６（ａ）では、第７撮像画像Ｐ７〜第１０撮像画像Ｐ１０において、動体となる被写体像の移動量が大きく、同一撮像範囲内に動体となる被写体像が存在しない例を示す。また、図６（ａ）では、第１１撮像画像Ｐ１１及び第１２撮像画像Ｐ１２において、動体となる被写体像の移動量が小さく、撮像画像すべての同一撮像範囲内に動体となる被写体像が存在する例を示す。

上述した実施形態では、図３（ａ）の第１撮像画像Ｐ１〜第３撮像画像Ｐ３に示すように、動体である被写体像の移動量が小さく、同一の撮像範囲がある撮像画像すべてにおいて動体である被写体像が映り込んでいる場合に生成可能なパノラマ画像のデータについて説明した。
これに対して、本例では、図６（ａ）の第７撮像画像Ｐ７〜第１０撮像画像Ｐ１０に示すように、動体である被写体像の移動量が大きく、同一の撮像範囲がある撮像画像で動体である被写体像が映り込んでいない撮像画像ある場合に生成可能なパノラマ画像のデータについて説明する。

本例のような場合には、上述の実施形態と同様に、動体となる被写体像の動きに合わせたパノラマ画像のデータを生成できるばかりでなく、各撮像画像における同一の撮像範囲に動体である被写体像が映り込んでいないことを利用して、動体となる被写体像を除去したパノラマ画像のデータを生成することができる。

具体的には、パノラマ画像生成部５８は、第７撮像画像Ｐ７〜第１０撮像画像Ｐ１０において、各撮像画像の同一の撮像範囲に動体である被写体像が映り込んでいない部分を用いて、図６（ｂ）に示すようなパノラマ画像ＰＲＰ４のデータを生成する。なお、図６（ｂ）において縦縞模様で示す部分は、第１１撮像画像Ｐ１１及び第１２撮像画像Ｐ１２に対応する部分で、動体となる被写体像の移動量が小さく、各撮像画像において同一の撮像範囲内に動体となる被写体像が存在するために利用できる部分がなく、動体となる被写体像を除去できない。従って、パノラマ画像生成部５８は、動体となる被写体像が除去できない第１１撮像画像Ｐ１１及び第１２撮像画像Ｐ１２に対応した部分以外でパノラマ画像のデータを生成することになる。

また、本例のような場合には、上述の実施形態とは異なる生成方法でパノラマ動画像のデータを生成することができる。
具体的には、上述の実施形態の例のような撮像画像（第１撮像画像Ｐ１〜第６撮像画像Ｐ６）を用いた場合には、パノラマ動画生成部５９は、第１撮像画像Ｐ１〜第６撮像画像Ｐ６から生成したパノラマ画像ＰＲＰ１、ＰＲＰ２、ＰＲＰ３の各データを用いて、パノラマ動画像のデータを生成する。
一方、本例のような撮像画像（第７撮像画像Ｐ７〜第１２撮像画像Ｐ１２）を用いた場合には、パノラマ動画生成部５９は、同一の撮像範囲がある撮像画像間で、動体である被写体像が映り込んでいない部分の画像を用いて、パノラマ動画像の生成に用いる共通する１つの背景画像のデータを生成する。そして、パノラマ動画生成部５９は、動体となる被写体像の動き毎に、背景画像と動体となる被写体像とを貼り合わせるように合成して、複数のパノラマ画像のデータを生成する。パノラマ動画生成部５９は、生成された動体となる被写体像の動き毎のパノラマ画像のデータを用いて、パノラマ動画像のデータを生成する。即ち、パノラマ動画生成部５９は、共通する動体検出部５７により検出された変化のある被写体像以外の部分と、動体検出部５７により検出された変化のある複数の被写体像とに基づいて、パノラマ動画像のデータを生成する。

以上のように構成される画像処理装置１は、画像取得部５４と、被写体検出部５６と、動体検出部５７と、パノラマ画像生成部５８とを備える。
画像取得部５４は、連続的に撮像された複数の画像のデータを取得する。
被写体検出部５６は、画像取得部５４により取得された複数の画像のデータの夫々を処理対象として、当該複数の画像から被写体像を夫々検出する。
動体検出部５７は、被写体検出部５６複数の画像から検出された被写体像の変化を検出する。
パノラマ画像生成部５８は、画像取得部５４により取得された複数の画像のデータと、動体検出部５７により変化があると検出された被写体像とに基づいて、複数のパノラマ画像のデータを生成する。
従って、画像処理装置１においては、画像取得部５４により取得された複数の画像のデータと、動体検出部５７により変化があると検出された被写体像とに基づいて、複数のパノラマ画像のデータを生成する。このため、画像処理装置１においては、撮影範囲内の被写体像に動きがある場合であっても、ユーザが所望する構図のパノラマ画像を容易かつ適切に得ることができる。

また、画像処理装置１は、画像取得部５４により複数の画像のデータの夫々を処理対象として、当該複数の画像の各々から区分された複数の領域を、スリット領域として夫々設定するスリット設定部５５をさらに備える。
被写体検出部５６は、スリット設定部５５により設定されたスリット領域毎に、被写体像を夫々検出する。
従って、画像処理装置１においては、スリット領域の単位で被写体像の検出を行うために、パノラマ画像の生成に際しては、スリット領域をそのまま差し替えるようにすればよく、パノラマ画像の生成に関する処理負担を軽減することができる。

また、パノラマ画像生成部５８により生成された複数のパノラマ画像のうち、１つのパノラマ画像を選択する記憶制御部５２をさらに備える。
従って、画像処理装置１においては、生成された複数のパノラマ画像のうち、所望の構図となるパノラマ画像を生成することができる。

画像処理装置１は、パノラマ画像生成部５８は、生成された複数のパノラマ画像を１つの動画像として構成し、パノラマ動画像のデータを生成するパノラマ動画生成部５９をさらに備える。
従って、画像処理装置１においては、生成された複数のパノラマ画像からパノラマ動画像を生成することができる。

画像処理装置１は、共通する動体検出部５７により検出された変化のある被写体像以外の部分と、動体検出部５７により検出された変化のある複数の被写体像とに基づいて、パノラマ動画像のデータをするパノラマ動画生成部５９をさらに備える。
従って、画像処理装置１においては、生成された複数のパノラマ画像からパノラマ動画像を生成することができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、画像取得部５４は、図２の例では撮像部１７により供給される撮像画像のデータを取得するものとして説明されているが、図２の例に特に限定されず、パノラマ画像を生成可能な画像のデータであれば、その供給元は問わない。例えば、画像取得部５４は、リムーバブルメディア３１や、通信部２１を介するインターネット等から供給される画像のデータを、画像のデータとして取得することもできる。

また、上述の実施形態では、パノラマ画像の生成における処理負担軽減を考慮して、スリット設定部５５により、スリット領域を設定して、スリット領域毎に被写体像の検出等を判断したがこれに限られず、検出された被写体像毎に領域を検出して処理を行うようにしてもよい。この場合、画素単位での処理になるため、処理負担は増加するが、検出範囲を狭めることができるために、より違和感のないパノラマ画像を生成することができる。

また、上述の実施形態では、本発明が適用される画像処理装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、パノラマ画像生成処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２０に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段などより構成される全体的な装置を意味するものとする。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
連続的に撮像された複数の画像を取得する取得手段と、
前記取得手段により取得された複数の画像から、共通して存在する被写体像を夫々検出する第１の検出手段と、
前記第１の検出手段により前記複数の画像から検出された被写体像の変化を検出する第２の検出手段と、
前記取得手段により取得された複数の画像と、前記第２の検出手段により変化が検出された被写体像とに基づいて、当該変化が検出された被写体像を夫々含む複数のパノラマ画像を生成する生成手段と、
を備えたことを特徴とする画像処理装置。
［付記２］
前記取得手段により取得された複数の画像の各々から区分された複数の領域を、スリット領域として夫々設定するスリット領域設定手段をさらに備え、
前記第１の検出手段は、前記スリット領域設定手段により設定されたスリット領域毎に、前記被写体像を夫々検出することを特徴とする付記１に記載の画像処理装置。
［付記３］
前記生成手段により夫々生成されたパノラマ画像のうち、１つのパノラマ画像を選択する選択手段と、
前記選択手段により選択されたパノラマ画像を記録媒体に記録させるよう制御する記録手段と、
をさらに備えたことを特徴とする付記１又は２に記載の画像処理装置。
［付記４］
前記複数のパノラマ画像から構成されるパノラマ動画像を生成する動画生成手段をさらに備えたことを特徴とする付記１又は２に記載の画像処理装置。
［付記５］
前記生成手段は、前記取得手段により取得された複数の画像のうち、前記第２の検出手段により変化が検出された被写体像以外の部分と、前記第２の検出手段により変化が検出された複数の被写体像とに基づいて、前記変化が検出された被写体像を夫々含む複数のパノラマ画像を生成することを特徴とする付記１乃至４の何れか１つに記載の画像処理装置。
［付記６］
画像処理装置が実行する画像処理方法において、
連続的に撮像された複数の画像を取得する取得ステップと、
前記取得ステップの処理により取得された複数の画像から、共通して存在する被写体像を夫々検出する第１の検出ステップと、
前記第１の検出ステップの処理により前記複数の画像から検出された被写体像の変化を検出する第２の検出ステップと、
前記取得ステップの処理により取得された複数の画像と、前記第２の検出ステップの処理により変化が検出された被写体像とに基づいて、当該変化が検出された被写体像を夫々含む複数のパノラマ画像を生成する生成ステップと、
を含むことを特徴とする画像処理方法。
［付記７］
コンピュータを、
連続的に撮像された複数の画像を取得する取得手段、
前記取得手段の機能の発揮により取得された複数の画像から、共通して存在する被写体像を夫々検出する第１の検出手段、
前記第１の検出手段の機能の発揮により前記複数の画像から検出された被写体像の変化を検出する第２の検出手段、
前記取得手段の機能の発揮により取得された複数の画像と、前記第２の検出手段の機能の発揮により変化があると検出された被写体像とに基づいて、当該変化が検出された被写体像を夫々含む複数のパノラマ画像を生成する生成手段、
として機能させることを特徴とするプログラム。

１・・・画像処理装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・画像処理部、１５・・・バス、１６・・・入出力インターフェース、１７・・・撮像部、１８・・・入力部、１９・・・出力部、２０・・・記憶部、２１・・・通信部、２２・・・ドライブ、３１・・・リムーバブルメディア、５１・・・撮像制御部、５２・・・記憶制御部、５３・・・画像記憶部、５４・・・画像取得部、５５・・・スリット設定部、５６・・・被写体検出部、５７・・・動体検出部、５８・・・パノラマ画像生成部、５９・・・パノラマ動画生成部

Claims (9)

1. 連続的に撮像された複数の画像を取得する取得手段と、
   前記取得手段により取得された複数の画像から、共通して存在する被写体像を夫々検出する第１の検出手段と、
   前記第１の検出手段により前記複数の画像から検出された被写体像の変化を検出し、変化が検出された第一の被写体像と、前記第一の被写体像とは異なる変化が検出された第二の被写体像とを検出する第２の検出手段と、
   前記取得手段により取得された複数の画像と、前記第２の検出手段により変化が検出された前記第一の被写体像と前記第二の被写体像とに基づいて、前記第一の被写体像が含まれる第一のパノラマ画像と、前記第二の被写体像が含まれる第二のパノラマ画像とを生成する生成手段と、
   前記生成手段により生成された前記第一のパノラマ画像及び前記第二のパノラマ画像を表示手段に表示させる表示制御手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記取得手段により取得された複数の画像の各々から区分された複数の領域を、スリット領域として夫々設定するスリット領域設定手段をさらに備え、
   前記第１の検出手段は、前記スリット領域設定手段により設定されたスリット領域毎に、前記被写体像を夫々検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段により夫々生成された相異なる複数のパノラマ画像のうち、特定のパノラマ画像を選択する選択手段と、
   前記選択手段により選択された前記特定のパノラマ画像を記録手段に記録させるよう制御する記録制御手段、
   をさらに備えたことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記複数種のパノラマ画像から構成されるパノラマ動画像を生成する動画生成手段をさらに備えたことを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記生成手段は、前記取得手段により取得された複数の画像のうち、前記第２の検出手段により変化が検出された被写体像以外の部分と、前記第２の検出手段により変化が検出された複数の被写体像とに基づいて、前記変化が検出された被写体像の夫々に対応したパノラマ画像を生成することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記選択手段は、前記表示手段に表示される前記相異なる複数のパノラマ画像から少なくとも１つの特定のパノラマ画像をユーザに選択させることを特徴とする請求項３乃至５の何れか１項に記載の画像処理装置。
7. 前記選択手段は、入力手段へのユーザの入力操作を検知する検知手段を更に備え、
   前記選択手段は、前記検知手段による検知結果に基づいて、前記相異なる複数のパノラマ画像から特定のパノラマ画像を選択することを特徴とする請求項３乃至６の何れか１項に記載の画像処理装置。
8. 画像処理装置が実行する画像処理方法において、
   連続的に撮像された複数の画像を取得する取得ステップと、
   前記取得ステップの処理により取得された複数の画像から、共通して存在する被写体像を夫々検出する第１の検出ステップと、
   前記第１の検出ステップの処理により前記複数の画像から検出された被写体像の変化を検出し、変化が検出された第一の被写体像と、前記第一の被写体像とは異なる変化が検出された第二の被写体像とを検出する第２の検出ステップと、
   前記取得ステップの処理により取得された複数の画像と、前記第２の検出ステップの処理により変化が検出された被写体像とに基づいて、当該変化が検出された前記第一の被写体像と前記第二の被写体像とに基づいて、前記第一の被写体像が含まれる第一のパノラマ画像と、前記第二の被写体像が含まれる第二のパノラマ画像とを生成する生成ステップと、
   前記生成ステップにより生成された前記第一のパノラマ画像及び前記第二のパノラマ画像を表示手段に表示させる表示制御ステップと、
   を含むことを特徴とする画像処理方法。
9. コンピュータを、
   連続的に撮像された複数の画像を取得する取得手段、
   前記取得手段の機能の発揮により取得された複数の画像から、共通して存在する被写体像を夫々検出する第１の検出手段、
   前記第１の検出手段の機能の発揮により前記複数の画像から検出された被写体像の変化を検出し、変化が検出された第一の被写体像と、前記第一の被写体像とは異なる変化が検出された第二の被写体像とを検出する第２の検出手段、
   前記取得手段の機能の発揮により取得された複数の画像と、前記第２の検出手段の機能の発揮により変化があると検出された被写体像とに基づいて、当該変化が検出された前記第一の被写体像と前記第二の被写体像とに基づいて、前記第一の被写体像が含まれる第一のパノラマ画像と、前記第二の被写体像が含まれる第二のパノラマ画像とを生成する生成手段、
   前記生成手段により生成された前記第一のパノラマ画像及び前記第二のパノラマ画像を表示手段に表示させる表示制御手段、
   として機能させることを特徴とするプログラム。

Images