JP4980779B2

JP4980779B2 - 撮影装置、方法およびプログラム

Info

Publication number: JP4980779B2
Application number: JP2007106316A
Authority: JP
Inventors: 貽丹彡張; 岳志三沢; 雅也田丸; 雅彦杉本; 友和中村; 誠大石
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2007-04-13
Filing date: 2007-04-13
Publication date: 2012-07-18
Anticipated expiration: 2027-04-13
Also published as: US20120092522A1; US20080253687A1; US8542946B2; JP2008263538A; US8068694B2

Description

本発明は、複数の画像を合成して１枚の画像を作成・表示する装置、方法およびプログラムに関する。

特許文献１によると、時刻を取得するカレンダ時計と、被写体像の画像を各時刻毎に複数撮像する撮像手段と、撮像した複数の画像のうち相前後する画像の中から一致部分を捜し出すパターンマッチングを実施するマッチング手段と、パターンマッチングした画像から縦方向の一部又は横方向の一部を抽出する画像抽出手段と、時刻毎の抽出した画像の一部をつなぎ合わせる画像合成手段とを備えたので、撮像開始点から撮像終了点までを一枚の画像として撮像することが可能となる。

特許文献２によると、各種変数および内部バッファを初期化する。次に、検出された各数値（移動体の位置・速度など）を利用して、現在撮影されたビデオフレームからスリット画像を生成する。作成されたスリット画像が左右どちら側方のものかを判定する。前段階で作成されたスリット画像の幅ｗだけ内部バッファに貯えられているパノラマ画像を右方向または左方向へスクロールする。前段階のスクロール処理により得られた内部バッファの空間に、ステップ３０２で得られたスリット画像をコピーし、現在のパノラマ画像を得る。最後にシステムの終了判定をする。

特許文献３によると、ＣＣＤで撮影されるフィールド画像より広い範囲が静止画領域として設定される。カメラを縦横に動かし、領域を隈なく撮影する。撮影された領域は、フレームメモリに記憶され、既撮影画像としてファインダに表示される。撮影されていない領域は、未撮影領域として青色表示される。最新の画像は、動画領域に表示される。領域と、隣接する領域のフィールド画像の夫々との重複率が最小重複率より小さいときに、その部分が欠けさせられ領域として表示される。領域が領域をはみ出るときは、領域が自動的に拡大される。
特開２００３−１３４３７１号公報特開２０００−１５６８１８号公報特開平１１−６９２９３号公報

特許文献１および２では、撮影中、フレーム間の重なり具合は不明で、フレーム間に隙間が生じやすく、合成不能の可能性がある。特許文献３では、合成静止画の領域は撮影領域の整数倍であり、ユーザが好むような画角で撮影および記録することが難しい。

本発明では、ユーザの好みにあわせ、合成画像中の任意の領域を表示および記録することを目的とする。

本発明に係る撮影装置は、被写体を撮影する撮影部と、合成撮影モードを設定する設定部と、設定部が合成撮影モードを設定したことに応じ、所定の連写間隔に基づいて撮影部の撮影を制御する撮影制御部と、撮影部によって連写間隔で撮影された複数の画像データを記憶する記憶部と、記憶部に記憶された複数の画像データに対して、画像間の重複領域が重なり合うように画像合成処理を施す画像合成部と、画像合成部による画像合成処理で得られた合成画像における表示領域を設定する表示領域設定部と、表示領域設定部の設定した表示領域を表示する表示部と、表示部に表示された表示領域に基づいて記録領域を設定する記録領域設定部と、記録領域設定部の設定した記録領域の画像データを記録する記録部と、を備える。

この発明によると、表示領域がユーザの撮影範囲に応じて任意のサイズに設定されるから、ユーザ所望のサイズで合成画像を拡大表示することができる。

また、表示領域の全域に渡って撮影をしなくても、記録したい領域が完全に撮影されれば、その記録領域のみ記録することもできる。

本発明に係る撮影装置は、被写体を撮影する撮影部と、合成撮影モードを設定する設定部と、設定部が合成撮影モードを設定したことに応じ、所定の連写間隔に基づいて撮影部の撮影を制御する撮影制御部と、撮影部によって連写間隔で撮影された複数の画像データを記憶する記憶部と、記憶部に記憶された複数の画像データに対して、画像間の重複領域が重なり合うように画像合成処理を施す画像合成部と、入力操作に基づいて所望の領域を指定する指定部と、指定部の指定した領域に基づき、画像合成部による画像合成処理で得られた合成画像における表示領域を設定する表示領域設定部と、表示領域設定部の設定した表示領域を表示する表示部と、表示部に表示された表示領域に基づいて記録領域を設定する記録領域設定部と、記録領域設定部の設定した記録領域の画像データを記録する記録部と、を備える。

この発明によると、ユーザが望む領域を表示領域に指定できる。

表示領域設定部は、合成画像に外接する矩形で囲まれる領域を表示領域に設定する外接領域設定部と、外接領域設定部が設定した表示領域における合成画像の未存在部分に所定色を配色する配色部と、を有する。

こうすると、従来技術とは異なり、表示領域は一定領域の整数倍に限らず、任意のサイズに設定することができる。

また、未撮影部分は配色で示され、その配色がない部分は、未撮影部分の隙間がないことが保証される。

表示領域設定部は、仮表示領域を設定する仮表示領域設定部と、仮表示領域設定部の設定した仮表示領域外の合成画像の存在部分である第１の領域の面積をＳ１、仮表示領域内の合成画像の未存在部分である第２の領域の面積をＳ２、Ｗ１およびＷ２を所定の重み定数、Ｖ＝Ｗ１×Ｓ１＋Ｗ２×Ｓ２とするとき、Ｖが最小となるよう仮表示領域設定部を制御する仮設定制御部と、Ｖが最小となる仮表示領域を表示領域に設定する本設定部と、本設定部が設定した表示領域中、合成画像の未存在部分に所定色を配色する配色部と、を有する。

ここで、Ｗ１およびＷ２は結合重みであり、例えば、Ｗ１＝Ｗ２＝０．５である。

また、表示領域外における撮影済み部分および表示領域内における未撮影部分が極小化され、撮影済み部分と未撮影部分とを含めて違和感なく表示することができる。

指定部は、表示領域の存在位置に相当する位置への押圧操作を検知する押圧検知部を含み、表示領域設定部は、押圧検知部の検知した押圧位置に基づいて表示領域を設定する。

指定部は、所望の領域を指定する入力操作を検知する入力検知部を含み、表示領域設定部は、入力検知部の検知した入力操作に基づいて表示領域を設定する。

記録領域設定部は、仮記録領域を設定する仮記録領域設定部と、仮記録領域設定部の設定した仮記録領域内に存在する合成画像の存在部分に関する評価値を算出する評価値算出部と、評価値算出部の算出した評価値が所定の条件を満足するように仮記録領域を設定するよう仮記録領域設定部を制御する仮設定制御部と、評価値が最大となる仮記録領域を記録領域に設定する本設定部と、を有し、表示部は本設定部の設定した記録領域を表示する。

この発明によると、記録領域も表示され、撮りたい領域が全部撮れたか否かのユーザの判断が容易である。

記録領域設定部は、仮記録領域を設定する仮記録領域設定部と、仮記録領域設定部の設定した仮記録領域内に存在する合成画像の構図に関する構図評価値を算出する構図評価値算出部と、構図評価値算出部の算出した構図評価値が最大となる仮記録領域を設定するよう仮記録領域設定部を制御する仮設定制御部と、構図評価値が最大となる仮記録領域を記録領域に設定する本設定部と、を有し、表示部は本設定部の設定した記録領域を表示する。

また、ユーザに構図の知識が不足していても、当該表示により、よりよい構図で記録する示唆をユーザに与えることができる。

評価値算出部は、存在部分の面積またはアスペクト比のうち少なくとも１つを算出し、所定の条件は、面積が最大となること、アスペクト比が４：３となることおよびアスペクト比が１６：９となることのうち少なくとも１つを含む。

合成画像の所望部分を拡大するとともに、合成画像における現在の拡大表示部分の位置に基づき、合成画像における現在の拡大表示部分以外の部分である非表示部分の存在方向を指示する表象を表示するよう表示部を制御する拡大表示制御部と、入力操作に応じて現在の拡大表示部分から所望の非表示部分への移動方向を指定する方向指定部と、をさらに備え、拡大表示制御部は、現在の拡大表示部分から方向指定部の指定した移動方向に存在する非表示部分に向けて、合成画像をスクロールさせながら部分的に拡大表示するよう表示部を制御する。

拡大表示制御部は、方向指定部が表象で指示された存在方向と異なる移動方向を指定したことに応じ、現在の拡大表示部分を含む近傍領域を表示するよう表示部を制御する。

本発明に係る撮影方法は、合成撮影モードを設定するステップと、合成撮影モードを設定したことに応じ、所定の連写間隔に基づいて撮影を行うステップと、連写間隔で撮影された複数の画像データを記憶するステップと、記憶された複数の画像データに対して、画像間の重複領域が重なり合うように画像合成処理を施すステップと、画像合成処理で得られた合成画像における表示領域を設定するステップと、設定した表示領域を表示するステップと、表示された表示領域に基づいて記録領域を設定するステップと、設定した記録領域の画像データを記録するステップと、を含む。

本発明に係る撮影方法は、合成撮影モードを設定するステップと、合成撮影モードを設定したことに応じ、所定の連写間隔に基づいて撮影を行うステップと、連写間隔で撮影された複数の画像データを記憶するステップと、記憶された複数の画像データに対して、画像間の重複領域が重なり合うように画像合成処理を施すステップと、入力操作に基づいて所望の領域を指定するステップと、指定した領域に基づき、画像合成処理で得られた合成画像における表示領域を設定するステップと、設定した表示領域を表示するステップと、表示された表示領域に基づいて記録領域を設定するステップと、設定した記録領域の画像データを記録するステップと、を含む。

これらの撮影方法をコンピュータに実行させるプログラムも本発明に含まれる。

また、表示部の表示エリアの全域に渡って撮影をしなくても、記録したい領域が完全に撮影されれば、その記録領域のみ記録することもできる。

＜第１実施形態＞
図１は、デジタルカメラの前面側の構成を示す外観斜視図である。図１に示すように、デジタルカメラ１０は、カメラ本体１１の前面側に、図中矢印方向にスライド操作自在なレンズバリア１２を備えている。このレンズバリア１２を図１に示す開放位置にスライドさせることにより、撮影レンズ１３、ストロボ発光部１４が前面に露呈される。さらに、このレンズバリア１２は、電源スイッチを兼用しており、開放位置にスライド操作された時に電源がＯＮとなって撮影可能な状態となり、撮影レンズ１３及びストロボ発光部１４が遮蔽される遮蔽位置にスライド操作された時に電源がＯＦＦになる。また、カメラ本体１１の前面には、光学ファインダを構成するファインダ対物窓１５が設けられている。

図２はカメラ１０の背面図である。カメラ１０の背面には、ズームスイッチ１２７が配備されている。ズームスイッチ１２７のワイド（Ｗ）側を押すと、押し続けている間、撮影レンズ１３がワイド端（望遠）側に繰り出し、テレ（Ｔ）側の他方を押すと、押し続けている間、撮影レンズ１３がテレ端（広角）側に移動する。

カメラ１０の背面には、ＬＣＤパネル１６、切替ボタン１２２、十字キー１２４、情報位置指定キー１２６等も設けられている。十字キー１２４は、上下左右がそれぞれ表示明るさ調整／セルフタイマ／マクロ撮影／ストロボ撮影を設定する操作系である。

切替ボタン１２２は画像の撮影と再生との切り替えを自在に行うスイッチであって、撮影を行なうときには切替ボタン１２２が「撮影」側に切り替えられ、再生を行なうときには切替ボタン１２２が「再生」側に切り替えられる。

また、切替ボタン１２２では、通常撮影モードと、パノラマ撮影モードとを選択しうる。この切替ボタン１２２が操作されて、パノラマ撮影モードに切り替えられた場合、撮影レンズ１３のディストーション、すなわち歪みが、最少となるように撮影レンズ１３のズーム位置が移動される。

カメラ本体１１の上面には、シャッタボタン２９が設けられている。このシャッタボタン２９は、２段階押しのスイッチとなっている。撮影者が、ＬＣＤパネル１６または光学ファインダを用いてフレーミングを行った後に、シャッタボタン２９を軽く押圧（半押し）すると、露光調節、撮影レンズ１３の焦点調節などの各種撮影準備処理が施され、シャッタボタン２９をもう１度強く押圧（全押し）すると撮影が実行される。

また、カメラ本体１１の側面には、メモリカードスロット３０、外部出力端子３１が設けられている。メモリカードスロット３０には、画像データが記録される記録媒体であるメモリカード３２が着脱自在に装填される。外部出力端子３１は、例えばＵＳＢ端子等であり、メモリカード３２に記録された画像データを外部装置、例えばパーソナルコンピュータ等に出力する際に使用される。

図３は、デジタルカメラ１０の電気的構成を示すブロック図である。図３に示すように、デジタルカメラ１０には、カメラ全体を制御する制御手段であるシステムコントローラ４１が設けられている。システムコントローラ４１の内部には、制御プログラムや各種制御用のデータ等が記憶されたメモリが設けられており、これらのプログラムやデータに基づいて各部を制御する。

システムコントローラ４１には、レンズ駆動回路４２が接続されている。このレンズ駆動回路４２は、システムコントローラ４１からの指令に基づいて、図示せぬモータを駆動することにより、撮影レンズ１３を光軸方向に進退移動させて、光学撮影倍率の変更と、焦点調整を行う。また、システムコントローラ４１は、パノラマ撮影を行う際に、このレンズ駆動回路４２から撮影レンズ１３のズームレンズ位置、すなわち画角情報を取得する。また、撮影レンズ１３の背後には、撮像手段であるＣＣＤイメージセンサ４３が配置されている。

ＣＣＤイメージセンサ４３は、ＣＣＤドライバ４４を介してシステムコントローラ４１に接続されている。システムコントローラ４１は、ＣＣＤドライバ４４を制御することによりＣＣＤイメージセンサ４３を駆動させて、光電変換により被写体像を電気信号に変換した撮像信号を相関二重サンプリング回路（ＣＤＳ）４５に出力させる。

アナログ信号である撮像信号は、ＣＤＳ４５にてノイズが除去され、さらにＡＭＰ４６にて増幅される。その後、撮像信号は、Ａ／Ｄ変換器４７にてアナログ信号からデジタル信号に変換されて、画像入力コントローラ４８に画像データとして出力される。

画像入力コントローラ４８は、データバス５０を介して、システムコントローラ４１及び記憶部５１に接続されている。システムコントローラ４１は、画像入力コントローラ４８を制御して、画像データを記憶部５１に記憶させる。記憶部５１は、ビデオメモリ５２及びバッファメモリ５３を備えている。

ビデオメモリ５２は、ＬＣＤパネル１６に画像を表示させる際に、解像度の低い画像データが一時的に記憶される。このビデオメモリ５２に記憶された画像データは、データバス５０を介してＬＣＤドライバ５４に送信される。ＬＣＤドライバ５４は、ＬＣＤパネル１６に画像を表示できるように、画像データに対して信号処理を施して、画像をＬＣＤパネル１６に表示させる。

また、バッファメモリ５３は、作業用記憶手段であり、撮像された高解像度の画像データが一時的に記憶される。システムコントローラ４１には、データバス５０を介して画像信号処理部５５が接続されている。画像信号処理部５５は、撮像された高解像度の画像データがバッファメモリ５３に記憶されている間に、各種画像処理、例えば、階調変換、色変換、ハイパートーン処理、及びハイパーシャープネス処理等を施す。また、画像信号処理部５５は、複数の画像データを１枚の画像データに合成する画像合成手段であり、パノラマ撮影モードにおいて、複数の画像データがバッファメモリ５３に記憶された時に、複数の画像データに対して合成処理を施して一枚の画像データであるパノラマ画像データ（合成画像）を生成し、これをバッファメモリ５３に記憶する。画像信号処理部５５は、操作部１８へ入力された指示に応じ、パノラマ画像データに記録領域を設定して、その領域をトリミングし、これを記録用画像としてバッファメモリ５３に記憶する。

また、システムコントローラ４１には、データバス５０を介して、圧縮伸張処理部５６、外部出力端子３１、及びメディアコントローラ５７が接続されている。圧縮伸張処理部５６は、バッファメモリ５３に記憶された画像データに対してＪＰＥＧ方式等の圧縮形式により圧縮処理を施す。システムコントローラ４１は、メディアコントローラ５７を制御して、圧縮処理された画像データをメモリカード３２に記憶する。また、圧縮伸張処理部５６は、メモリカード３２に記憶された画像データを再生する際に、圧縮された画像データに対して伸張処理を行う。

さらに、システムコントローラ４１には、シャッタボタン２９、操作部１８が接続されている。シャッタボタン２９は、押圧操作された時に撮影の指令をシステムコントローラ４１に出力する。また、操作部１８は、上述したボタン１２２、１２４、１２６、１２７を含んでおり、撮影者により操作された時に、各操作に対応する指令をシステムコントローラ４１に出力する。

パノラマ撮影モードにおいて、シャッタボタン２９が押圧操作された時に、システムコントローラ４１が、ＣＣＤドライバ４４を制御することによりＣＣＤイメージセンサ４３を駆動して最初の撮像を実行させる。その後、撮影者によってカメラ本体１１がヨー方向およびピッチ方向に順次回転移動されるごとに、所定の撮像間隔（連写間隔）を設定して、シャッタボタン２９が再び押圧操作されるまで、この撮像間隔に基づいてＣＣＤイメージセンサ４３を駆動して自動的に撮像を実行させる。

カメラ本体１１の回転移動によって隣り合う撮像範囲の画角は、一部が重複するように設定されることが好ましい。例えば、図４（Ａ）に示すように、連続撮像された３枚の画像６１，６２，６３は、横方向の端部が互いに重複するように、重複領域６１ａ，６２ａ，６２ｂ，６３ａが形成されて撮像される。

図４（Ａ）に示すように、画像信号処理部５５は、各画像データに対して、画像６１，６２，６３を横方向及び上下方向に移動させる画像処理を施すことにより、画像６１，６２，６３の互いの重複領域６１ａ，６２ａ，６２ｂ，６３ａを一致させる。

そして、図４（Ｂ）に示すように、互いの重複領域が一致する状態で各画像を合成する画像処理を施すことにより、複数の画像データが一枚のパノラマ撮影画像に合成される。

もっとも、ユーザが任意にカメラ本体１１を移動させて撮影範囲を設定するから、複数の画像データのうち重複部分がないものがあったり、あっても画像間ごとに均等でない場合もありうる。また、得られた全ての画像が互いに重複するように合成しても、パノラマ合成画像が必ずしも整った矩形の形状になるとは限らない（図１４参照）。

次に、デジタルカメラ１０の合成撮影処理の概要を説明する。

撮影者が、切替ボタン１２２を操作することにより、パノラマ撮影モードに切り替えられる。パノラマ撮影モードに切り替えられると、システムコントローラ４１は、レンズ駆動回路４２を制御することにより、ディストーションが最少となる位置に、撮影レンズ１３のズーム位置を移動させる。なお通常撮影モードが設定された場合、合成撮影処理は実行されない。

その後、シャッタボタン２９が押圧操作されない場合、待機状態が維持される。シャッタボタン２９が、撮影者により押圧操作されると、システムコントローラ４１が、ＣＣＤドライバ４４を制御することによりＣＣＤイメージセンサ４３を駆動して最初の撮像を実行させる。撮影者は、隣り合う撮像範囲の一部が重複するように、カメラ本体１１を移動させる。どのように移動させるかは撮影者の任意であるが、撮影者は、自分の意図した撮影範囲がカバーされるよう移動させなければならない。システムコントローラ４１は、適当な撮像間隔を設定する。

その後、システムコントローラ４１は、シャッタボタン２９が再び押圧操作されるまで、この撮像間隔に基づいてＣＣＤドライバ４４を制御することにより、ＣＣＤイメージセンサ４３を駆動して自動的に数回の撮像を実行させる。なお、撮像回数は、所定の回数、例えば２０回である。また、撮像時において、システムコントローラ４１は、ＣＣＤドライバ４４を制御することにより、撮像される画像にブレが生じないように電子シャッタのシャッタ速度を調節する。

この撮像により得られた複数の画像データは、バッファメモリ５３に記憶される。これにより、図７に示すように、隣り合う互いの重複領域の位置が一致するような複数の画像データが生成され、これらに画像処理を施して合成することにより、１枚のパノラマ画像データを生成する。合成処理は、画像データが得られる都度繰り返される。合成後の画像データは、設定された表示領域のみがＬＣＤパネル１６に表示される。表示領域の設定は後述する。

所定回数の撮影終了後、画像信号処理部５５は、合成画像から、設定された記録領域をトリミングする。記録領域の設定は後述する。

システムコントローラ４１は、圧縮伸張処理部５６を制御して、トリミング後の記録領域に対して圧縮処理を施し、さらに、メディアコントローラ５７を制御して、圧縮処理されたパノラマ画像データをメモリカード３２に記録させる。

その後、切替ボタン１２２が他のモード、すなわち通常撮影モードまたは再生モードに切り替えられた場合、または、レンズバリア１２が遮蔽位置にスライドされて電源がＯＦＦになった場合、合成撮影処理が終了する。また、他のモードに切り替えられず、且つ電源がＯＮのままの場合、再び待機状態となり、シャッタボタン２９が押圧された時に、合成撮影処理が繰り返し行われる。

また、撮影されたパノラマ画像を再生する際は、通常の画像データと同様に、システムコントローラ４１が、メディアコントローラ５７を制御してメモリカード３２から画像データを読み出して、圧縮伸張処理部５６を制御して伸張処理を施す。その後、システムコントローラ４１が、ＬＣＤドライバ５４を制御することにより、ＬＣＤパネル１６にパノラマ画像を表示する。

次に、図５のフローチャートを参照し、本発明の好ましい実施形態に係る合成画像記録処理の流れを説明する。

まず、Ｓ１では、規定回数の撮影が終了したか否かを判断する。規定回数の撮影が終了した場合、Ｓ８に進む。規定回数の撮影が終了していない場合はＳ２に進む。

Ｓ２では、Ｎ回目の撮影を行う。

Ｓ３では、Ｎ回目に撮影された画像と、すでに合成された画像とを合成して、新合成画像を作成する。例えば、図７（ａ）のような、Ｎ−１回目の合成撮影処理で合成された画像と、図７（ｂ）のような、Ｎ回目の撮影で得られた画像とを合成すると、図７（ｃ）のようなＮ回目の合成画像が得られる。

Ｓ４では、Ｎ回目の合成画像から表示領域を設定する。表示領域の設定の具体的態様は後述する。

Ｓ５では、設定された表示領域をＬＣＤパネル１６に表示する。

Ｓ６では、記録領域を設定する。記録領域の設定の具体的態様は後述する。

Ｓ７では、ＬＣＤパネル１６に記録領域の表示を行う。

Ｓ８では、記録領域の画像をメモリカード３２に保存する。

あるいは、図６の合成画像記録処理のフローチャートのように、ユーザ操作に応じて表示領域を指定できるようにしてもよい。

図６のＳ１１〜Ｓ１３は、Ｓ１〜Ｓ３と同様である。なお、Ｓ１１において、所定回数の撮影が終了したと判断した場合はＳ２１に進み、終了していないと判断した場合はＳ１２に進む。

Ｓ１４では、操作部１８からの表示領域の指定が済んでいるか否かを判断する。表示領域の指定が済んでいる場合はＳ１６、済んでいない場合はＳ１５に進む。

Ｓ１５では、Ｓ１３で得られた合成画像のうち、表示領域にすべき所望の領域の指定を操作部１８から受け付ける。この処理が完了するまでは連写間隔ごとの撮影は一時的に休止する。

Ｓ１６では、Ｓ１５で表示領域の指定があったか否かを判断する。表示領域の指定があった場合はＳ１７、ない場合はＳ１８に進む。

Ｓ１７では、指定された領域を表示領域に設定する。

Ｓ１８〜Ｓ２１は、Ｓ５〜Ｓ８と同様である。

以下、表示領域の設定の具体的態様を列挙する。

例えば、図８（ａ）に示すようなＮ回目の合成画像に外接する矩形で囲まれる領域を、図８（ｂ）に示すようにＮ回目の合成画像が得られる都度、表示領域に設定する。

あるいは、図９（ａ）に示すＮ回目の合成画像の場合、図９（ｂ）に示すようにＮ回目の合成画像について仮に設定された表示領域外の撮影済み部分の面積をＳ１、Ｎ回目の合成画像について仮に設定された表示領域内の未撮影部分の面積をＳ２、Ｗ１・Ｗ２を所定の結合重みとするとき、Ｖ＝Ｗ１×Ｓ１＋Ｗ２×Ｓ２が最小となるような矩形で囲まれる仮領域を表示領域に設定する。なお、Ｗ１・Ｗ２はメーカーが任意に設定する。Ｗ１＝１、Ｗ２＝０とすると、図８のような外接領域が表示領域となる。

あるいは、図１０（ａ）に示すように、ユーザが、ＬＣＤパネル１６に積層されたタッチパネル１６ａ上に、任意の２点を指示することで、図１０（ｂ）に示すように、指示された２点を対角点とする矩形領域Ｚ１を表示領域に設定する。こうすると、自分が撮影したい範囲をそのまま表示領域にできる。なお、キャンセルボタン１２８を押すと、一旦指定した表示領域が解除される。

あるいは、図１１（ａ）に示すように、ユーザが、十字ボタン１２４と決定ボタン１２６の操作により、ＬＣＤパネル１６の画面上に任意の位置およびサイズの矩形Ｚ２を指示することで、図１１（ｂ）に示すように、指示された矩形Ｚ２内の領域を表示領域に設定する。

以下、記録領域の設定の具体的態様を説明する。

例えば、図１２（ａ）に示すように、合成画像に内接する矩形領域を記録領域の候補（図中Ｙ１〜Ｙ３）とし、その領域の候補中から、面積が最大となるものを選択する。そして、図１２（ｂ）に示すように、選択された領域を記録領域に設定し、記録領域の外縁を示す枠を表示する。図では、Ｙ１〜Ｙ３のうち、Ｙ３で囲まれる領域が最大面積であるから、Ｙ３で囲まれる領域が記録領域に設定され、かつ、枠Ｙ３が表示される。なお、ユーザに記録領域の候補から所望の記録領域を選ばせてもよい。

あるいは、図示は省略するが、合成画像に内接する矩形領域のうちアスペクト比が所定の比（４：３や１６：９など）となるか最も近似する領域を記録領域に設定するとともに、この領域を示してもよい。

面積が最大かつアスペクト比が所定比のように、評価条件を組み合わせてもよい。どの評価条件を用いるか、あるいはどのように評価条件を組み合わせるかは、ユーザが操作部１８から任意に設定できるようにしてもよい。

あるいは、図１３に示すように、合成画像の構図を分析し、最も好ましい構図となる領域を記録領域に設定してもよい。構図の分析の態様は任意であり、例えば、人物撮影モードが設定されている場合、合成画像から顔検出を行い、検出された顔が中央部に存在しかつ合成画像に内接するような矩形を記録領域に設定するとよい。あるいは、風景モードが設定されており、空と大地の境界線がほぼ水平になっている場合、空と大地の面積比が１：３になるなど、面積比が一定値になるような矩形を記録領域に設定するとよい。

このように、設定された表示領域に基づいて合成画像を表示し、かつ、記録領域を設定して表示するから、表示領域と記録領域を比較することで、実際に得られた合成画像が、ユーザが望んでいる領域になったのか、容易に確認できるし、また、ユーザの構図知識が不足していても、よりよい構図になる領域での記録を補助することができる。

＜第２実施形態＞
上述したように、合成画像の全体形状は、整った矩形になるとは限らない。例えば図１４に示すような、モザイク状の不定形な合成画像Ｅが出来上がることがある。

このような合成画像を、部分的に拡大してＬＣＤパネル１６に表示し、十字キー１２４の上下左右斜めの押下操作で指示されたスクロール方向に応じて拡大部分をスクロール遷移させる場合を考える。例えば図１４の領域Ａの部分が拡大表示された場合、スクロール遷移可能な部分は、領域Ａ１、Ａ２、Ａ３である。しかし、領域Ａのみが表示領域に設定されて拡大表示されている場合は、スクロール遷移可能な部分がＡ１、Ａ２、Ａ３であることは、ユーザには分からない。このため、ユーザがスクロールできない方向へ無駄な指示をする可能性がある。

そこで、図１５に示すように、現在拡大表示されている部分Ａに、領域Ａ１、Ａ２、Ａ３に対応してスクロール可能な方向をそれぞれ示す矢印Ｄ１〜Ｄ３のアイコン（あるいはグラフィックや文字でも可）を重畳すると、どの方向にスクロールできるのか、ユーザに容易に把握させることができる。

あるいは、スクロール可能な方向へスクロールする際、現在表示されている部分から最終的に遷移する部分までの間に介在する部分を一旦表示させてもよい。

例えば図１６に示すように、領域Ａの表示中に右斜め上方向へのスクロール指示が与えられ、領域ＡからＡ２へスクロールする際、まず、領域Ａから途中に介在する領域Ａ１に遷移し、その後、領域Ａ１からＡ２に遷移する。

あるいは、スクロール不可能な方向への指示がされた場合、領域Ａの周囲の近傍領域までズームアウトした画像を表示させてもよい。

例えば図１７（ａ）に示すように、領域Ａからスクロール遷移不可能な右方向へのスクロール指示が与えられた場合、図１７（ｂ）に示すように、領域Ａの拡大表示を中止し、領域Ａをズームアウトした画像Ｅ０（領域Ａおよび領域Ａの所定範囲内の近傍領域を含む領域）を表示する。この際、ズームアウト画像Ｅ０の中でどの部分が今まで拡大表示されていたのかをグレー表示などで示してもよい。

また、操作部１８にズームアウトボタンを設け、ズームアウトボタンが押下されている間はズームアウト画像を表示し、ズームアウトボタンの押下が解除された場合はズームアウト画像の表示を終了し、もとの拡大画像表示に戻してもよい。

デジタルカメラの正面図デジタルカメラの背面図デジタルカメラの機能ブロック図画像処理により合成画像が作成される様子を示す図合成撮影処理の一例を示すフローチャート合成撮影処理の一例を示すフローチャート合成画像の一例を示す図合成画像に設定された表示領域（外接領域）が表示された様子を示す図合成画像に設定された表示領域（Ｖを最小とする領域）が表示された様子を示す図合成画像上のタッチ指示に応じて設定された表示領域が表示された様子を示す図ボタン操作に応じて設定された表示領域が表示された様子を示す図合成画像の評価値に応じて設定された記録領域が表示された様子を示す図合成画像の構図分析に応じて設定された記録領域が表示された様子を示す図合成画像の一例を示す図拡大表示された合成画像の部分およびスクロール可能方向を示す表象の一例を示す図現在表示されている領域から順次スクロール遷移する領域を示す図ズームアウト画像の一例を示す図

符号の説明

１０…デジタルカメラ、１１…カメラ本体、１３…撮影レンズ、２１…モード切替スイッチ、２９…シャッタボタン、４１…システムコントローラ、４３…ＣＣＤイメージセンサ、４２…レンズ駆動回路、５３…バッファメモリ、５５…画像信号処理部

Claims

被写体を撮影する撮影部と、
合成撮影モードを設定する設定部と、
前記設定部が前記合成撮影モードを設定したことに応じ、所定の連写間隔に基づいて前記撮影部の撮影を制御する撮影制御部と、
前記撮影部によって前記連写間隔で撮影された複数の画像データを記憶する記憶部と、
前記記憶部に記憶された前記複数の画像データに対して、画像間の重複領域が重なり合うように画像合成処理を施す画像合成部と、
前記画像合成部による画像合成処理で得られた合成画像における表示領域を設定する表示領域設定部と、
前記表示領域設定部の設定した表示領域を表示する表示部と、
前記表示部に表示された表示領域に基づいて記録領域を設定する記録領域設定部と、
前記記録領域設定部の設定した記録領域の画像データを記録する記録部と、
を備え、
前記表示領域設定部は、
仮表示領域を設定する仮表示領域設定部と、
前記仮表示領域設定部の設定した仮表示領域外の前記合成画像の存在部分である第１の領域の面積をＳ１、前記仮表示領域内の前記合成画像の未存在部分である第２の領域の面積をＳ２、Ｗ１およびＷ２を所定の重み定数、Ｖ＝Ｗ１×Ｓ１＋Ｗ２×Ｓ２とするとき、Ｖが最小となるよう前記仮表示領域設定部を制御する仮設定制御部と、
前記Ｖが最小となる仮表示領域を表示領域に設定する本設定部と、
前記本設定部が設定した表示領域中、前記合成画像の未存在部分に所定色を配色する配色部と、
を有する撮影装置。
被写体を撮影する撮影部と、
合成撮影モードを設定する設定部と、
前記設定部が前記合成撮影モードを設定したことに応じ、所定の連写間隔に基づいて前記撮影部の撮影を制御する撮影制御部と、
前記撮影部によって前記連写間隔で撮影された複数の画像データを記憶する記憶部と、
前記記憶部に記憶された前記複数の画像データに対して、画像間の重複領域が重なり合うように画像合成処理を施す画像合成部と、
入力操作に基づいて所望の領域を指定する指定部と、
前記指定部の指定した領域に基づき、前記画像合成部による画像合成処理で得られた合成画像における表示領域を設定する表示領域設定部と、
前記表示領域設定部の設定した表示領域を表示する表示部と、
前記表示部に表示された表示領域に基づいて記録領域を設定する記録領域設定部と、
前記記録領域設定部の設定した記録領域の画像データを記録する記録部と、
を備え、
前記表示領域設定部は、
仮表示領域を設定する仮表示領域設定部と、
前記仮表示領域設定部の設定した仮表示領域外の前記合成画像の存在部分である第１の領域の面積をＳ１、前記仮表示領域内の前記合成画像の未存在部分である第２の領域の面積をＳ２、Ｗ１およびＷ２を所定の重み定数、Ｖ＝Ｗ１×Ｓ１＋Ｗ２×Ｓ２とするとき、Ｖが最小となるよう前記仮表示領域設定部を制御する仮設定制御部と、
前記Ｖが最小となる仮表示領域を表示領域に設定する本設定部と、
前記本設定部が設定した表示領域中、前記合成画像の未存在部分に所定色を配色する配色部と、
を有する撮影装置。
被写体を撮影する撮影部と、
合成撮影モードを設定する設定部と、
前記設定部が前記合成撮影モードを設定したことに応じ、所定の連写間隔に基づいて前記撮影部の撮影を制御する撮影制御部と、
前記撮影部によって前記連写間隔で撮影された複数の画像データを記憶する記憶部と、
前記記憶部に記憶された前記複数の画像データに対して、画像間の重複領域が重なり合うように画像合成処理を施す画像合成部と、
前記画像合成部による画像合成処理で得られた合成画像における表示領域を設定する表示領域設定部と、
前記表示領域設定部の設定した表示領域を表示する表示部と、
前記表示部に表示された表示領域に基づいて記録領域を設定する記録領域設定部と、
前記記録領域設定部の設定した記録領域の画像データを記録する記録部と、
を備え、
前記記録領域設定部は、
仮記録領域を設定する仮記録領域設定部と、
前記仮記録領域設定部の設定した仮記録領域内に存在する前記合成画像の存在部分に関する評価値を算出する評価値算出部と、
前記評価値算出部の算出した評価値が所定の条件を満足するように前記仮記録領域を設定するよう前記仮記録領域設定部を制御する仮設定制御部と、
前記評価値が最大となる仮記録領域を記録領域に設定する本設定部と、
を有し、
前記表示部は前記本設定部の設定した記録領域を表示する撮影装置。
被写体を撮影する撮影部と、
合成撮影モードを設定する設定部と、
前記設定部が前記合成撮影モードを設定したことに応じ、所定の連写間隔に基づいて前記撮影部の撮影を制御する撮影制御部と、
前記撮影部によって前記連写間隔で撮影された複数の画像データを記憶する記憶部と、
前記記憶部に記憶された前記複数の画像データに対して、画像間の重複領域が重なり合うように画像合成処理を施す画像合成部と、
入力操作に基づいて所望の領域を指定する指定部と、
前記指定部の指定した領域に基づき、前記画像合成部による画像合成処理で得られた合成画像における表示領域を設定する表示領域設定部と、
前記表示領域設定部の設定した表示領域を表示する表示部と、
前記表示部に表示された表示領域に基づいて記録領域を設定する記録領域設定部と、
前記記録領域設定部の設定した記録領域の画像データを記録する記録部と、
を備え、
前記記録領域設定部は、
仮記録領域を設定する仮記録領域設定部と、
前記仮記録領域設定部の設定した仮記録領域内に存在する前記合成画像の存在部分に関する評価値を算出する評価値算出部と、
前記評価値算出部の算出した評価値が所定の条件を満足するように前記仮記録領域を設定するよう前記仮記録領域設定部を制御する仮設定制御部と、
前記評価値が最大となる仮記録領域を記録領域に設定する本設定部と、
を有し、
前記表示部は前記本設定部の設定した記録領域を表示する撮影装置。
前記評価値算出部は、前記存在部分の面積またはアスペクト比のうち少なくとも１つを算出し、
前記所定の条件は、前記面積が最大となること、前記アスペクト比が４：３となることおよび前記アスペクト比が１６：９となることのうち少なくとも１つを含む請求項３または４に記載の撮影装置。
前記合成画像の所望部分を拡大するとともに、前記合成画像における現在の拡大表示部分の位置に基づき、前記合成画像における現在の拡大表示部分以外の部分である非表示部分の存在方向を指示する表象を表示するよう前記表示部を制御する拡大表示制御部と、
入力操作に応じて前記現在の拡大表示部分から所望の非表示部分への移動方向を指定する方向指定部と、
をさらに備え、
前記拡大表示制御部は、前記現在の拡大表示部分から前記方向指定部の指定した移動方向に存在する非表示部分に向けて、前記合成画像をスクロールさせながら部分的に拡大表示するよう前記表示部を制御する請求項１〜５のいずれかに記載の撮影装置。
前記拡大表示制御部は、前記方向指定部が前記表象で指示された存在方向と異なる移動方向を指定したことに応じ、前記現在の拡大表示部分を含む近傍領域を表示するよう前記表示部を制御する請求項６に記載の撮影装置。
合成撮影モードを設定するステップと、
前記合成撮影モードを設定したことに応じ、所定の連写間隔に基づいて撮影を行うステップと、
前記連写間隔で撮影された複数の画像データを記憶するステップと、
記憶された前記複数の画像データに対して、画像間の重複領域が重なり合うように画像合成処理を施すステップと、
前記画像合成処理で得られた合成画像における表示領域を設定するステップと、
設定した表示領域を表示するステップと、
表示された表示領域に基づいて記録領域を設定するステップと、
設定した記録領域の画像データを記録するステップと、
仮表示領域を設定するステップと、
前記設定した仮表示領域外の前記合成画像の存在部分である第１の領域の面積をＳ１、前記仮表示領域内の前記合成画像の未存在部分である第２の領域の面積をＳ２、Ｗ１およびＷ２を所定の重み定数、Ｖ＝Ｗ１×Ｓ１＋Ｗ２×Ｓ２とするとき、Ｖが最小となるよう制御するステップと、
前記Ｖが最小となる仮表示領域を表示領域に設定するステップと、
前記設定した表示領域中、前記合成画像の未存在部分に所定色を配色するステップと、
を含む撮影方法。
合成撮影モードを設定するステップと、
前記合成撮影モードを設定したことに応じ、所定の連写間隔に基づいて撮影を行うステップと、
前記連写間隔で撮影された複数の画像データを記憶するステップと、
記憶された前記複数の画像データに対して、画像間の重複領域が重なり合うように画像合成処理を施すステップと、
入力操作に基づいて所望の領域を指定するステップと、
指定した領域に基づき、前記画像合成処理で得られた合成画像における表示領域を設定するステップと、
設定した表示領域を表示するステップと、
表示された表示領域に基づいて記録領域を設定するステップと、
設定した記録領域の画像データを記録するステップと、
仮表示領域を設定するステップと、
前記設定した仮表示領域外の前記合成画像の存在部分である第１の領域の面積をＳ１、前記仮表示領域内の前記合成画像の未存在部分である第２の領域の面積をＳ２、Ｗ１およびＷ２を所定の重み定数、Ｖ＝Ｗ１×Ｓ１＋Ｗ２×Ｓ２とするとき、Ｖが最小となるよう制御するステップと、
前記Ｖが最小となる仮表示領域を表示領域に設定するステップと、
前記設定した表示領域中、前記合成画像の未存在部分に所定色を配色するステップと、
を含む撮影方法。
合成撮影モードを設定するステップと、
前記合成撮影モードを設定したことに応じ、所定の連写間隔に基づいて撮影を行うステップと、
前記連写間隔で撮影された複数の画像データを記憶するステップと、
記憶された前記複数の画像データに対して、画像間の重複領域が重なり合うように画像合成処理を施すステップと、
前記画像合成処理で得られた合成画像における表示領域を設定するステップと、
設定した表示領域を表示するステップと、
表示された表示領域に基づいて記録領域を設定するステップと、
設定した記録領域の画像データを記録するステップと、
仮記録領域を設定するステップと、
前記設定した仮記録領域内に存在する前記合成画像の存在部分に関する評価値を算出するステップと、
前記算出した評価値が所定の条件を満足するように前記仮記録領域を設定するよう制御するステップと、
前記評価値が最大となる仮記録領域を記録領域に設定するステップと、
前記設定した記録領域を表示するステップと、
を含む撮影方法。
合成撮影モードを設定するステップと、
前記合成撮影モードを設定したことに応じ、所定の連写間隔に基づいて撮影を行うステップと、
前記連写間隔で撮影された複数の画像データを記憶するステップと、
記憶された前記複数の画像データに対して、画像間の重複領域が重なり合うように画像合成処理を施すステップと、
入力操作に基づいて所望の領域を指定するステップと、
指定した領域に基づき、前記画像合成処理で得られた合成画像における表示領域を設定するステップと、
設定した表示領域を表示するステップと、
表示された表示領域に基づいて記録領域を設定するステップと、
設定した記録領域の画像データを記録するステップと、
仮記録領域を設定するステップと、
前記設定した仮記録領域内に存在する前記合成画像の存在部分に関する評価値を算出するステップと、
前記算出した評価値が所定の条件を満足するように前記仮記録領域を設定するよう制御するステップと、
前記評価値が最大となる仮記録領域を記録領域に設定するステップと、
前記設定した記録領域を表示するステップと、
を含む撮影方法。
合成撮影モードを設定するステップと、
前記合成撮影モードを設定したことに応じ、所定の連写間隔に基づいて撮影を行うステップと、
前記連写間隔で撮影された複数の画像データを記憶するステップと、
記憶された前記複数の画像データに対して、画像間の重複領域が重なり合うように画像合成処理を施すステップと、
前記画像合成処理で得られた合成画像における表示領域を設定するステップと、
設定した表示領域を表示するステップと、
表示された表示領域に基づいて記録領域を設定するステップと、
設定した記録領域の画像データを記録するステップと、
仮記録領域を設定するステップと、
前記設定した仮記録領域内に存在する前記合成画像の存在部分に関する評価値を算出するステップと、
前記算出した評価値が所定の条件を満足するように前記仮記録領域を設定するよう制御するステップと、
前記評価値が最大となる仮記録領域を記録領域に設定するステップと、
前記設定した記録領域を表示するステップと、
をコンピュータに実行させるプログラム。
合成撮影モードを設定するステップと、
前記合成撮影モードを設定したことに応じ、所定の連写間隔に基づいて撮影を行うステップと、
前記連写間隔で撮影された複数の画像データを記憶するステップと、
記憶された前記複数の画像データに対して、画像間の重複領域が重なり合うように画像合成処理を施すステップと、
入力操作に基づいて所望の領域を指定するステップと、
指定した領域に基づき、前記画像合成処理で得られた合成画像における表示領域を設定するステップと、
設定した表示領域を表示するステップと、
表示された表示領域に基づいて記録領域を設定するステップと、
設定した記録領域の画像データを記録するステップと、
仮記録領域を設定するステップと、
前記設定した仮記録領域内に存在する前記合成画像の存在部分に関する評価値を算出するステップと、
前記算出した評価値が所定の条件を満足するように前記仮記録領域を設定するよう制御するステップと、
前記評価値が最大となる仮記録領域を記録領域に設定するステップと、
前記設定した記録領域を表示するステップと、
をコンピュータに実行させるプログラム。