JP5402148B2 - 画像合成装置、画像合成方法及びプログラム - Google Patents

Description

本発明は、複数の画像を合成する画像合成装置、画像合成方法及びプログラムに関する。

従来、被写体画像と背景用画像やフレーム画像を合成することにより合成画像を生成する技術が知られている（例えば、特許文献１参照）。

特開２００４−１５９１５８号公報

しかしながら、被写体画像としての動画像を背景用の静止画像に単に合成しただけでは、ありきたりな動画像しか生成することができず、興趣に欠ける画像になってしまう。

そこで、本発明の課題は、興趣性の高い合成画像を生成することができる画像合成装置、画像合成方法及びプログラムを提供することである。

上記課題を解決するため、請求項１に記載の発明は、
複数の画像フレームからなる動体の動きを検出する検出手段と、前記検出手段により検出された動体の動きの方向が隣り合う画像フレーム間で略等しいか否かを判定する方向判定手段と、前記方向判定手段により該動体の動きの方向が略等しいと判定された場合に、前記動体の画像を再生時間の経過に伴って加算合成させる合成制御手段と、を備え、前記合成制御手段は、前記方向判定手段により何れか一の画像フレームにおける前記動体の動きの方向が当該一の画像フレームよりも前の画像フレームにおける前記動体の動きの方向に対して変化したと判断された場合に、既に加算合成された動体の画像を消去することを特徴とする画像合成装置を提供するものである。

請求項２に記載の発明は、
前記合成制御手段は、前記方向判定手段により前記動体の動きの方向が略等しいと判定された場合に、前記動体の画像を再生時間の経過に伴って、前記動画像を構成する複数の画像フレームを順次追加して加算合成させることを特徴とする請求項１に記載の画像合成装置を提供するものである。

請求項３に記載の発明は、
前記合成制御手段は、前記方向判定手段により前記動体の動きの方向が略等しいと判定された場合に、背景用の静止画像と前記動体の画像を再生時間の経過に伴って加算合成させることを特徴とする請求項１又は２に記載の画像合成装置を提供するものである。

請求項４に記載の発明は、
前記検出手段により検出された動体の動きの量が所定値以上であるか否かを判定する動き量判定手段をさらに備え、前記合成制御手段は、前記動き量判定手段により前記動体の動きの量が所定値以上であると判定された場合に、前記動体の画像を再生時間の経過に伴って加算合成させることを特徴とする請求項１〜３の何れか一項に記載の画像合成装置を提供するものである。

請求項５に記載の発明は、
前記合成制御手段は、前記方向判定手段により前記動体の動きの方向が略等しくないと判定された場合に、前記動画像を構成する複数の画像フレームの各々を前記背景用の静止画像に対して合成させることを特徴とする請求項３又は４に記載の画像合成装置を提供するものである。

請求項６に記載の発明は、
背景用の静止画像と動画像とを合成して合成動画を生成する合成手段と、前記動画像における動体の動きを検出する検出手段と、この検出手段により検出された動体の動きを基準として、当該動体を再生時間の経過に伴って前記静止画像の異なる位置に加算表示させるように前記静止画像と前記動画像とを前記合成手段に合成させる合成制御手段と、前記検出手段により検出された動体の動きの方向が略等しいか否かを判定する動き判定手段と、を備え、前記合成制御手段は、前記動画像を構成する複数の画像フレーム中の動体を前記静止画像に対して前記合成手段により加算して複数の画像フレームからなる合成動画を生成させるとともに、前記動き判定手段により前記動体の動きの方向が略等しいと判定された場合に、前記動体を再生時間の経過に伴って異なる位置に加算表示させるように前記合成手段に合成させ、前記動き判定手段は、前記動画像を構成する複数の画像フレームのうち、隣り合う画像フレーム間での動体の動きの方向が略等しいか否かを判定し、前記合成制御手段は、さらに、前記動き判定手段により何れか一の画像フレームにおける前記動体の動きの方向が当該一の画像フレームよりも前の画像フレームにおける前記動体の動きの方向に対して変化したと判断された場合に、既に前記静止画像に対して加算表示された動体を消去することを特徴とする画像合成装置を提供するものである。

請求項７に記載の発明は、
画像合成装置における画像合成方法であって、複数の画像フレームからなる動体の動きを検出する検出ステップと、前記検出ステップにより検出された動体の動きの方向が隣り合う画像フレーム間で略等しいか否かを判定する方向判定ステップと、前記方向判定ステップにより該動体の動きの方向が略等しいと判定された場合に、前記動体の画像を再生時間の経過に伴って加算合成させる合成制御ステップと、を含み、前記合成制御ステップは、前記方向判定ステップにより何れか一の画像フレームにおける前記動体の動きの方向が当該一の画像フレームよりも前の画像フレームにおける前記動体の動きの方向に対して変化したと判断された場合に、既に加算合成された動体の画像を消去することを特徴とする画像合成方法を提供するものである。

請求項８に記載の発明は、
画像合成装置のコンピュータを、複数の画像フレームからなる動体の動きを検出する検出手段、前記検出手段により検出された動体の動きの方向が隣り合う画像フレーム間で略等しいか否かを判定する方向判定手段、前記方向判定手段により該動体の動きの方向が略等しいと判定された場合に、前記動体の画像を再生時間の経過に伴って加算合成させる合成制御手段、として機能させ、前記合成制御手段は、前記方向判定手段により何れか一の画像フレームにおける前記動体の動きの方向が当該一の画像フレームよりも前の画像フレームにおける前記動体の動きの方向に対して変化したと判断された場合に、既に加算合成された動体の画像を消去することを特徴とするプログラムを提供するものである。

本発明によれば、動体を斬新な態様で合成することができ、興趣性の高い合成画像を生成することができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。 図２の被写体切り抜き処理に係る被写体存在画像の一例を模式的に示す図である。 図２の被写体切り抜き処理に係る被写体切り抜き画像の一例を模式的に示す図である。 図１の撮像装置による背景用画像生成処理に係る動作の一例を示すフローチャートである。 図１の撮像装置による合成画像生成処理に係る動作の一例を示すフローチャートである。 図６の合成画像生成処理における合成判定処理に係る動作の一例を示すフローチャートである。 図６の合成画像生成処理における加算合成処理に係る動作の一例を示すフローチャートである。 図８の加算合成処理にて画像合成される被写体合成画像の一例を模式的に示す図である。 図６の合成画像生成処理における通常合成処理に係る動作の一例を示すフローチャートである。 図１０の通常合成処理にて画像合成される被写体合成画像の一例を模式的に示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
本実施形態の撮像装置１００は、合成画像生成処理に係る被写体切り抜き動画像Ｍ２における被写体の動きを検出して、検出された被写体の動きを基準として、当該被写体を再生時間の経過に伴って背景用画像Ｐ１の異なる位置に加算表示させるように背景用画像Ｐ１と被写体切り抜き動画像Ｍ２とを合成させる。
具体的には、図１に示すように、撮像装置１００は、レンズ部１と、電子撮像部２と、撮像制御部３と、画像データ生成部４と、画像メモリ５と、動き検出部６と、画像処理部７と、記録媒体８と、表示制御部９と、表示部１０と、操作入力部１１と、ＣＰＵ１２とを備えている。
また、撮像制御部３と、動き検出部６と、画像処理部７と、ＣＰＵ１２は、例えば、カスタムＬＳＩ１Ａとして設計されている。

レンズ部１は、複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えている。
また、レンズ部１は、図示は省略するが、被写体の撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。

電子撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１の各種レンズを通過した光学像を二次元の画像信号に変換する。

撮像制御部３は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３は、タイミング発生器、ドライバにより電子撮像部２を走査駆動して、所定周期毎に光学像を電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部４に出力させる。
また、撮像制御部３は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体を撮像する際の条件の調整制御を行う。

このように構成された撮像レンズ部１、電子撮像部２及び撮像制御部３は、撮像手段として、合成画像生成処理に係る被写体存在動画像Ｍ１（図３（ａ）〜図３（ｅ）参照）や背景用画像Ｐ１（図９（ａ）等参照）を撮像する。
また、撮像レンズ部１、電子撮像部２及び撮像制御部３は、被写体存在動画像Ｍ１の撮像後、当該被写体存在動画像Ｍ１の撮像の際の撮像条件を固定した状態で、被写体切り抜き動画像Ｍ２（図４（ａ）〜図４（ｅ）参照）の生成のための被写体非存在画像（図示略）を撮像する。

画像データ生成部４は、電子撮像部２から転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用される画像メモリ５にＤＭＡ転送される。

画像メモリ５は、例えば、ＤＲＡＭ等により構成され、動き検出部６と、画像処理部７と、ＣＰＵ１２等によって処理されるデータ等を一時記憶する。

動き検出部６は、特徴量演算部６ａと、ブロックマッチング部６ｂとを具備している。
特徴量演算部６ａは、被写体非存在画像を基準として、当該被写体非存在画像から特徴点を抽出する特徴抽出処理を行う。具体的には、特徴量演算部６ａは、被写体非存在画像のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレート（例えば、１６×１６画素の正方形）として抽出する。
ここで、特徴抽出処理とは、多数の候補ブロックから追跡に都合の良い特徴性の高いものを選択する処理である。

また、特徴量演算部６ａは、合成判定処理（後述）にて、例えば、Ｍｏｔｉｏｎ−ＪＰＥＧ形式で記録された被写体切り抜き動画像Ｍ２の動画像データを構成する各画像フレームｇから所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレート（例えば、１６×１６画素の正方形）として抽出する。

ブロックマッチング部６ｂは、被写体非存在画像と被写体存在動画像Ｍ１の位置合わせのためのブロックマッチング処理を行う。具体的には、ブロックマッチング部６ｂは、特徴抽出処理にて抽出されたテンプレートが被写体存在動画像Ｍ１内のどこに対応するか、つまり、被写体存在動画像Ｍ１内にてテンプレートの画素値が最適にマッチする位置（対応領域）を探索する。そして、画素値の相違度の評価値（例えば、差分二乗和（ＳＳＤ）や差分絶対値和（ＳＡＤ）等）が最も良かった被写体非存在画像と被写体存在動画像Ｍ１間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。

また、ブロックマッチング部６ｂは、被写体切り抜き動画像Ｍ２の動画像データを構成する複数の画像フレームｇ、…のうち、一の画像フレームｇから特徴抽出処理にて抽出されたテンプレートが一つ前の画像フレームｇ内のどこに対応するか、つまり、一つ前の画像フレームｇ内にてテンプレートの画素値が最適にマッチする位置（対応領域）を探索する。そして、画素値の相違度の評価値（例えば、差分二乗和（ＳＳＤ）や差分絶対値和（ＳＡＤ）等）が最も良かった当該一の画像フレームｇと一つ前の画像フレームｇ間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。そして、算出された複数の動きベクトルの各々について、何れか一の動きベクトルを評価対象として他の動きベクトルと比較して当該評価対象の動きベクトルに対して投票するか否かを決定し、一の画像フレームｇの全体の動きベクトル（図４（ａ）〜図４（ｅ）参照）を多数決により算出する。
なお、図４（ａ）〜図４（ｅ）にあっては、画像フレームｇの被写体の動きベクトルを白抜きの矢印で表すものとする。
ここで、動き検出部６の特徴量演算部６ａ及びブロックマッチング部６ｂは、動画像における動体の動きを検出する検出手段を構成している。

画像処理部７は、被写体存在動画像Ｍ１と被写体非存在画像との位置合わせを行う位置合わせ部７ａを具備している。
位置合わせ部７ａは、被写体非存在画像から抽出した特徴点に基づいて、被写体非存在画像に対する被写体存在動画像Ｍ１の各画素の座標変換式（射影変換行列）を算出し、当該座標変換式に従って被写体存在動画像Ｍ１を座標変換して被写体非存在画像と位置合わせを行う。
また、位置合わせ部７ａは、複数の画像フレームｆ、…からなる被写体存在動画像Ｍ１の各画像フレームｆについて被写体非存在画像と位置合わせを行う。

また、画像処理部７は、位置合わせ部７ａにより位置合わせされた被写体存在動画像Ｍ１と被写体非存在画像との間で対応する各画素の差分情報を生成し、当該差分情報を基準として被写体存在動画像Ｍ１から被写体が含まれる被写体領域Ｓを抽出する被写体領域抽出部７ｂを具備している。
また、被写体領域抽出部７ｂは、複数の画像フレームｆ、…からなる被写体存在動画像Ｍ１の各画像フレームｆから被写体が含まれる被写体領域Ｓを抽出する。

また、画像処理部７は、被写体存在動画像Ｍ１内で抽出された被写体領域Ｓの位置を特定して、被写体存在動画像Ｍ１における被写体領域Ｓの位置を示す位置情報を生成する位置情報生成部７ｃを具備している。
ここで、位置情報としては、例えば、アルファマップが挙げられ、アルファマップとは、被写体存在動画像Ｍ１の各画素について、被写体領域Ｓの画像を所定の背景に対してアルファブレンディングする際の重みをアルファ値（０≦α≦１）として表したものである。
また、位置情報生成部７ｃは、被写体存在動画像Ｍ１が複数の画像フレームｆ、…からなる動画像の場合、各画像フレームｆにおける被写体領域Ｓの位置を示す位置情報を生成する。

また、画像処理部７は、生成されたアルファマップに基づいて、被写体存在動画像Ｍ１の各画素のうち、アルファ値が１の画素を所定の単一色画像（図示略）に対して透過させずに、且つ、アルファ値が０の画素を透過させるように、被写体の画像を所定の単一色画像と合成して被写体切り抜き動画像Ｍ２（図４（ａ）〜図４（ｅ）参照）の画像データを生成する切抜画像生成部７ｄを具備している。
これにより、切抜画像生成部７ｄは、背景と被写体とが存在する被写体存在動画像Ｍ１から被写体が含まれる領域を切り抜いた被写体切り抜き動画像Ｍ２を取得する。
また、切抜画像生成部７ｄは、複数の画像フレームｆ、…からなる被写体存在動画像Ｍ１の各画像フレームｆから被写体が含まれる領域を切り抜いた画像フレームｆを取得して、これら画像フレームｆからなる被写体切り抜き動画像Ｍ２の動画像データを生成する。

また、画像処理部７は、動き検出部６により検出された被写体切り抜き動画像Ｍ２の動画像データを構成する各画像フレームにおける被写体の動きの方向が略等しいか否かを判定する動き判定部７ｅを具備している。
具体的には、動き判定部７ｅは、動き検出部６から複数の画像フレームｇ、…の動きベクトルを取得して、当該動きベクトルの大きさが所定の閾値以上であるか否かに応じて被写体の動きの量が所定の閾値値以上であるか否かを判定する。そして、被写体の動きの量が所定の閾値以上であると判定した場合に、動き判定部７ｅは、隣り合う画像フレームｇ間での動きベクトルが略一致するか否かに応じて被写体の動きの方向が略等しいか否かを判定する。例えば、ソリに乗った人が雪上（地表）を所定の一方向に滑る場合（図３（ａ）〜図３（ｅ）参照）、各画像フレームｇの動きベクトルは、所定の一方向（例えば、左斜め下方向）と略等しくなる（図４（ａ）〜図４（ｅ）参照）。なお、動きベクトルの方向の判定は、厳密にする必要はなく、例えば、図４（ｂ）及び図４（ｃ）における動きベクトルと、図４（ｄ）及び図４（ｅ）における動きベクトルとはわずかに方向がずれているが、その差がわずかな角度であれば所定の一方向（例えば、左斜め下方向）と略等しいと判断するようにしても良い。

また、画像処理部７は、被写体切り抜き動画像Ｍ２と背景用画像Ｐ１とを合成する画像合成部７ｆを具備している。具体的には、画像合成部７ｆは、記録媒体８からユーザ所望の背景用画像Ｐ１を取得して、当該背景用画像Ｐ１の各画素のうち、アルファ値が０の画素は透過させ、アルファ値が１の画素は被写体切り抜き動画像Ｍ２の対応する画素の画素値で上書きし、さらに、背景用画像Ｐ１の各画素のうち、アルファ値が０＜α＜１の画素は１の補数（１−α）を用いて被写体領域Ｓを切り抜いた画像（背景用画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて被写体切り抜き動画像Ｍ２を生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き動画像Ｍ２から減算し、それを被写体領域Ｓを切り抜いた画像（背景用画像×（１−α））と合成する。
また、画像合成部７ｆは、複数の画像フレームｇ、…からなる被写体切り抜き動画像Ｍ２の各画像フレームｇを指定された所定の画像を背景用画像Ｐ１として合成する。

また、画像合成部７ｆは、被写体切り抜き動画像Ｍ２を構成する各画像フレームｇの背景用画像Ｐ１に対する合成を制御する合成制御部７ｇを具備している。即ち、画像合成部７ｆは、合成制御部７ｇの制御下にて、動き検出部６により検出された各画像フレームｇの動きベクトルを基準として、被写体を再生時間の経過に伴って異なる位置に加算表示させるように被写体切り抜き動画像Ｍ２と背景用画像Ｐ１とを合成する。
具体的には、合成制御部７ｇは、動き判定部７ｅにより被写体切り抜き動画像Ｍ２の動画像データを構成する複数の画像フレームｇ、…における被写体の動きの量が所定の閾値以上で、且つ、動きの方向が略等しいと判定された場合に、複数の画像フレームｇ、…中の被写体を再生時間の経過に伴って異なる位置に加算表示させるように複数の被写体を静止画像に対して画像合成部７ｆにより加算して複数の画像フレームｇ、…からなる合成動画を生成させる加算合成処理を行う。
即ち、合成制御部７ｇは、被写体切り抜き動画像Ｍ２を構成する複数の画像フレームｇ、…のうち、最初の画像フレームｇ１と背景用の静止画像として指定された静止画像とをアルファマップを用いて画像合成部７ｆに生成させた後、当該静止画像に最初の画像フレームｇ１の被写体が合成された画像ｈ１（図９（ａ）参照）を背景用の静止画像として指定して、この画像ｈ１に対して被写体切り抜き動画像Ｍ２を構成する次（二番目）の画像フレームｇ２の被写体を加算表示させるように次の画像フレームｇ２のアルファマップを用いて画像合成部７ｆに生成させる。これにより、当該静止画像に最初の画像フレームｇ１の被写体が合成された画像ｈ１（図９（ａ）参照）に次の画像フレームｇ２の被写体が加算合成された画像（図示略）が生成される。上記の処理を被写体切り抜き動画像Ｍ２を構成する全ての画像フレームｇについて繰り返し行うことで、例えば、図９（ａ）〜図９（ｄ）に示すように、奥側から手前側に滑る人が再生時間の経過に伴って次第に重畳（加算）されていくような複数の画像フレームｈ、…からなる合成動画が生成される。
なお、被写体の加算表示は、重畳されたものに限られるものではなく、再生時間の経過に伴って被写体の数が増加するような表示であれば良く、例えば、複数の被写体が所定間隔を空けて配置される表示であっても良い。

また、合成制御部７ｇは、動き判定部７ｅにより被写体切り抜き動画像Ｍ２の動画像データを構成する複数の画像フレームｇにおける被写体の動きの量が所定の閾値以上、又は、動きの方向が略等しくないと判定された場合に、当該複数の画像フレームｇの各々を背景用の静止画像として指定された静止画像に対して画像合成部７ｆによりそれぞれ合成させる通常合成処理を行う。
即ち、例えば、図１１（ａ）〜図１１（ｄ）に示すように、人が所定位置から動かずに腕を上下に動かした場合、動きベクトル（図示略）が右斜め上（図１１（ｂ）参照）から右斜め下（図１１（ｃ）参照）、さらに、左斜め下（図１１（ｄ）参照）とばらばらに変化する。このような場合に、加算合成処理を行うと、腕が千手観音のような状態となって見苦しい画像となることから、各画像フレームｇと背景用画像Ｐ１とを合成して合成動画を構成する画像フレームｉを個別に生成する。

記録媒体８は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部７の符号化部（図示略）により符号化された背景用画像Ｐ１や被写体切り抜き動画像Ｍ２の画像データを記憶する。
被写体切り抜き動画像Ｍ２の画像データは、画像処理部７の位置情報生成部７ｃにより生成されたアルファマップと対応付けられて一ファイルで保存されている。
また、被写体切り抜き動画像Ｍ２が動画像の場合、例えば、所定の撮像フレームレートで撮像された連続した複数の画像フレームｇ、…（例えば、ｎ枚の画像フレーム）、…からなる動画像データがＭｏｔｉｏｎ−ＪＰＥＧ形式で記録されている。なお、図４（ａ）〜図４（ｅ）は、被写体切り抜き動画像Ｍ２の動画像データを構成する連続するｎ枚の画像フレームｇ１〜ｇｎを模式的に表しており、これらの画像フレームｇ１〜ｇｎを時間軸に沿って図４（ａ）〜図４（ｅ）として表すものとする。

表示制御部９は、画像メモリ５に一時的に記憶されている表示用の画像データを読み出して表示部１０に表示させる制御を行う。
具体的には、表示制御部９は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、ＣＰＵ１２の制御下にて画像メモリ５から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部１０に出力する。

表示部１０は、例えば、液晶表示装置であり、表示制御部９からのビデオ信号に基づいて電子撮像部２により撮像された画像などを表示画面に表示する。具体的には、表示部１０は、撮像モードにて、撮像レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示したり、本撮像画像として撮像されたレックビュー画像を表示する。

操作入力部１１は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１１は、被写体の撮影指示に係るシャッタボタン１１ａ、撮像モードや機能等の選択指示や被写体切り抜き動画像Ｍ２の初期合成位置の設定指示に係る選択決定ボタン１１ｂ、ズーム量の調整指示に係るズームボタン（図示略）等を備え、これらのボタンの操作に応じて所定の操作信号をＣＰＵ１２に出力する。

ＣＰＵ１２は、撮像装置１００の各部を制御するものである。具体的には、ＣＰＵ１２は、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行うものである。

次に、撮像装置１００による被写体切り抜き処理について、図２及び図３を参照して説明する。
図２は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。また、図３（ａ）〜図３（ｅ）は、被写体切り抜き処理に係る被写体存在動画像Ｍ１の一例を模式的に示す図であり、図４（ａ）〜図４（ｅ）は、被写体切り抜き処理に係る被写体切り抜き動画像Ｍ２の一例を模式的に示す図である。

被写体切り抜き処理は、ユーザによる操作入力部１１の選択決定ボタン１１ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から被写体切り抜きモードが選択指示された場合に実行される処理である。
なお、以下に説明する被写体切り抜き処理にあっては、被写体存在動画像Ｍ１として被写体を所定の撮像フレームレートで撮像して複数の画像フレームからなる動画像（被写体存在動画像Ｍ１）を生成し、当該動画像の各画像フレームｆから被写体領域Ｓが抽出された動画像（被写体切り抜き動画像Ｍ２）を生成するものとする。

図２に示すように、先ず、ＣＰＵ１２は、表示制御部９に、撮像レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１０の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体存在動画像Ｍ１の撮像指示メッセージを表示部１０の表示画面に表示させる（ステップＳ１）。

次に、ＣＰＵ１２は、ユーザによる操作入力部１１のシャッタボタン１１ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ２）。ここで、撮像指示が入力されたと判定されると（ステップＳ２；ＹＥＳ）、ＣＰＵ１２は、撮像制御部３に、フォーカスレンズの合焦位置や露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の条件を調整させて、被写体存在動画像Ｍ１（図３（ａ）〜図３（ｅ）参照）の光学像を所定の条件で電子撮像部２により所定の撮像フレームレートで撮像させて、画像データ生成部４に、電子撮像部２から転送された被写体存在動画像Ｍ１の各画像フレームｆのＹＵＶデータを生成させる（ステップＳ４）。なお、当該被写体存在動画像Ｍ１の各画像フレームｆのＹＵＶデータは、画像メモリ５に一時記憶される。
また、ＣＰＵ１２は、撮像制御部３を制御して、当該被写体存在動画像Ｍ１の撮像の際の合焦位置や露出条件やホワイトバランス等の条件を固定した状態を維持する。

そして、ＣＰＵ１２は、表示制御部９に、撮像レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１０の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体存在動画像Ｍ１の何れか一の画像フレームｆの半透過の表示態様の画像と被写体非存在画像の撮像指示メッセージを表示部１０の表示画面に表示させる（ステップＳ４）。
この後、ＣＰＵ１２は、ユーザによる操作入力部１１のシャッタボタン１１ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ５）。そして、ユーザは、被写体が移動するのを待つか、或いは、被写体を画角外に移動させた後、ユーザにより被写体非存在画像が被写体存在動画像Ｍ１の画像フレームｆの半透過の画像と重なるようにカメラ位置が調整されて、操作入力部１１のシャッタボタン１１ａが所定操作されて撮像指示が入力されたと判定されると（ステップＳ５；ＹＥＳ）、ＣＰＵ１２は、撮像制御部３に、被写体非存在画像（図示略）の光学像を被写体存在動画像Ｍ１の撮像後に固定された条件で電子撮像部２により撮像させて、画像データ生成部４に、電子撮像部２から転送された被写体非存在画像の画像フレームに基づいて、被写体非存在画像のＹＵＶデータを生成させる（ステップＳ６）。なお、当該被写体存在動画像Ｍ１のＹＵＶデータは、画像メモリ５に一時記憶される。

次に、ＣＰＵ１２は、特徴量演算部６ａ、ブロックマッチング部６ｂ及び画像処理部７に、画像メモリ５に一時記憶されている被写体非存在画像のＹＵＶデータを基準として、被写体存在動画像Ｍ１の各画像フレームｆのＹＵＶデータを射影変換させるための射影変換行列を所定の画像変換モデル（例えば、相似変換モデル、或いは合同変換モデル）で算出させる（ステップＳ７）。
具体的には、特徴量演算部６ａは、被写体非存在画像のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレートとして抽出する。そして、ブロックマッチング部６ｂは、特徴抽出処理にて抽出されたテンプレートの画素値が最適にマッチする位置を被写体存在動画像Ｍ１の各画像フレームｆ内にて探索して、画素値の相違度の評価値が最も良かった被写体非存在画像と当該画像フレームｆ間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。そして、画像処理部７の位置合わせ部７ａは、ブロックマッチング部６ｂにより算出された複数のテンプレートの動きベクトルに基づいて全体の動きベクトルを統計的に算出し、当該動きベクトルに係る特徴点対応を用いて被写体存在動画像Ｍ１の各画像フレームｆの射影変換行列を算出する。

次に、ＣＰＵ１２は、位置合わせ部７ａに、算出された射影変換行例に基づいて、対応する被写体存在動画像Ｍ１の各画像フレームｆを射影変換させることで、被写体存在動画像Ｍ１の各画像フレームｆのＹＵＶデータと被写体非存在画像のＹＵＶデータとを位置合わせする処理を行わせる（ステップＳ８）。

そして、ＣＰＵ１２は、画像処理部７の被写体領域抽出部７ｂに、被写体存在動画像Ｍ１の各画像フレームｆから被写体が含まれる被写体領域Ｓを抽出する処理を行わせる（ステップＳ９）。
具体的には、被写体領域抽出部７ｂは、被写体存在動画像Ｍ１の各画像フレームｆのＹＵＶデータと被写体非存在画像のＹＵＶデータの各々に対してローパスフィルタをかけて各画像の高周波成分を除去する。その後、被写体領域抽出部７ｂは、ローパスフィルタをかけた被写体存在動画像Ｍ１の各画像フレームｆと被写体非存在画像との間で対応する各画素について相違度を算出して相違度マップを生成する。続けて、被写体領域抽出部７ｂは、各画素に係る相違度マップを所定の閾値で２値化した後、相違度マップから細かいノイズや手ぶれにより相違が生じた領域を除去するために収縮処理を行う。その後、被写体領域抽出部７ｂは、ラベリング処理を行って、所定値以下の領域や最大領域以外の領域を除去した後、一番大きな島のパターンを被写体領域Ｓとして特定し、収縮分を修正するための膨張処理を行う。

次に、ＣＰＵ１２は、画像処理部７の位置情報生成部７ｃに、抽出された被写体領域Ｓの被写体存在動画像Ｍ１の各画像フレームｆ内での位置を示すアルファマップを生成させる（ステップＳ１０）。

その後、ＣＰＵ１２は、画像処理部７の切抜画像生成部７ｄに、被写体切り抜き動画像Ｍ２の各画像フレームｇ内の被写体の画像を所定の単一色画像と合成した被写体切り抜き動画像Ｍ２（図４（ａ）〜図４（ｅ）参照）の各画像フレームｇの画像データを生成する処理を行わせる（ステップＳ１１）。
具体的には、切抜画像生成部７ｄは、被写体存在動画像Ｍ１の各画像フレームｆ、単一色画像及びアルファマップを読み出して画像メモリ５に展開した後、被写体存在動画像Ｍ１の各画像フレームｆの全ての画素について、アルファ値が０の画素については（α＝０）、透過させ、アルファ値が０＜α＜１の画素については（０＜α＜１）、所定の単一色とブレンディングを行い、アルファ値が１の画素については（α＝１）、何もせずに所定の単一色に対して透過させないようにする。

その後、ＣＰＵ１２は、記録媒体８の所定の記憶領域に、画像処理部７の位置情報生成部７ｃにより生成されたアルファマップと被写体切り抜き動画像Ｍ２の各画像フレームｇの画像データを対応付けて一ファイルで記憶させる（ステップＳ１２）。
これにより、被写体切り抜き処理を終了する。この結果、例えば、所定の背景内から雪上をソリで滑る人が被写体として抽出された被写体切り抜き動画像Ｍ２の画像データが生成される。

次に、撮像装置１００による背景用画像生成処理について、図５を参照して説明する。
図５は、背景用画像生成処理に係る動作の一例を示すフローチャートである。
背景用画像生成処理は、通常の静止画像の撮像処理であり、ユーザによる操作入力部１１の選択決定ボタン１１ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から静止画撮像モードが選択指示された場合に実行される処理である。

図５に示すように、先ず、ＣＰＵ１２は、表示制御部９に、撮像レンズ部１、電子撮像部２及び撮像制御部３による背景用画像Ｐ１の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１０の表示画面に表示させる（ステップＳ２１）。

次に、ＣＰＵ１２は、ユーザによる操作入力部１１のシャッタボタン１１ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ２２）。ここで、撮像指示が入力されたと判定されると（ステップＳ２２；ＹＥＳ）、ＣＰＵ１２は、撮像制御部３に、フォーカスレンズの合焦位置や露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の条件を調整させて、背景用画像Ｐ１（図９（ａ）等参照）の光学像を所定の条件で電子撮像部２により撮像させる（ステップＳ２３）。

続けて、ＣＰＵ１２は、画像データ生成部４に、電子撮像部２から転送された背景用画像Ｐ１の画像フレームのＹＵＶデータを生成させた後、記録媒体８の所定の記憶領域に、背景用画像Ｐ１のＹＵＶデータをＥｘｉｆ形式の画像ファイルとして記憶させる（ステップＳ２４）。
これにより、背景用画像Ｐ１生成処理を終了する。この結果、例えば、市街地が記録された背景用画像Ｐ１の静止画像データが生成される。

次に、合成画像生成処理について図６〜図１１を参照して詳細に説明する。
図６は、合成画像生成処理に係る動作の一例を示すフローチャートである。また、図７は、合成判定処理に係る動作の一例を示すフローチャートである。また、図８は、加算合成処理に係る動作の一例を示すフローチャートであり、図９（ａ）〜図９（ｄ）は、加算合成処理にて画像合成される被写体合成動画像Ｍ３の一例を模式的に示す図である。また、図１０は、通常合成処理に係る動作の一例を示すフローチャートであり、図１１（ａ）〜図１１（ｄ）は、通常合成処理にて画像合成される被写体合成動画像Ｍ４の一例を模式的に示す図である。

合成画像生成処理は、ユーザによる操作入力部１１の選択決定ボタン１１ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から画像合成モードが選択指示された場合に実行される処理である。
図６に示すように、ＣＰＵ１２は、先ず、合成処理の内容を判定する合成判定処理を動き検出部６及び画像処理部７に実行させる（ステップＳ３１）。

ここで、合成判定処理について図７を参照して詳細に説明する。
図７に示すように、ユーザによる操作入力部１１の所定操作に基づいて、記録媒体８に記録されている複数の画像の中で所望の被写体切り抜き動画像Ｍ２（図４（ａ）〜図４（ｅ）参照）が選択して指定されると、動き検出部６は、指定された被写体切り抜き動画像Ｍ２の画像データを読み出して画像メモリ５に展開する（ステップＳ４１）。

次に、動き検出部６は、被写体切り抜き動画像Ｍ２を構成する複数の画像フレームｇ、…のうち、処理対象に係る最初の画像フレームｇ１のフレーム番号として「１」を指定すると（ステップＳ４２）、指定されたフレーム番号「１」の画像フレームｇ１及び当該画像フレームｇ１と対応付けて保存されているアルファマップを読み出して画像メモリ５に展開する（ステップＳ４３）。
続けて、動き検出部６は、読み出した画像フレームｇ１からアルファマップを用いて被写体領域Ｓを特定して被写体を抽出する（ステップＳ４４）。

次に、動き検出部６は、読み出した画像フレームｇ１よりも前の画像フレームｇから抽出された被写体があるか否かを判定する（ステップＳ４５）。ここで、ステップＳ４３にて読み出した画像フレームｇが最初の画像フレームｇ１であるので、前の画像フレームｇの被写体がないと判定されると（ステップＳ４５；ＮＯ）、動き検出部６は、被写体切り抜き動画像Ｍ２を構成する複数の画像フレームｇ、…のうち、処理対象となる次の画像フレームｇ２に係るフレーム番号を＋１インクリメントして指定する（ステップＳ４６）。これにより、二番目の画像フレームｇ２が合成判定処理の対象として指定される。
そして、動き検出部６は、処理をステップＳ４３に移行させて、それ以降の処理を実行する。これにより、動き検出部６は、指定されたフレーム番号「２」の画像フレームｇ２及び当該画像フレームｇ２と対応付けて保存されているアルファマップを読み出して画像メモリ５に展開して（ステップＳ４３）、読み出した画像フレームｇ２からアルファマップを用いて被写体領域Ｓを特定して被写体を抽出する（ステップＳ４４）。

そして、ステップＳ４５にて、前の画像フレームｇの被写体があると判定されると（ステップＳ４５；ＹＥＳ）、動き検出部６は、二番目の画像フレームｇ２から抽出された被写体について、当該被写体から特徴抽出処理にて抽出されたテンプレートが最初の画像フレームｇ１から抽出された被写体のどこに対応するかを探索して動きベクトルを算出する（ステップＳ４７）。

次に、画像処理部７の動き判定部７ｅは、動き検出部６から動きベクトルを取得して、当該動きベクトルの大きさが所定の閾値以上であるか否かに応じて被写体の動きの量が所定の閾値値以上であるか否かを判定する（ステップＳ４８）。
ここで、被写体の動きの量が所定の閾値以上であると判定されると（ステップＳ４８；ＹＥＳ）、動き判定部７ｅは、前の画像フレームｇの被写体の動きベクトルがあるか否かを判定する（ステップＳ４９）。

ステップＳ４９にて、ステップＳ４３にて読み出した画像フレームｇが二番目の画像フレームｇ２であるので、前の画像フレームｇの被写体の動きベクトルがないと判定されると（ステップＳ４９；ＮＯ）、動き判定部７ｅは、処理をステップＳ４６に移行させて、それ以降の処理を実行する。これにより、三番目の画像フレームｇ３が合成判定処理の対象として指定される。
そして、二番目の画像フレームｇ２と同様の処理を経て当該三番目の画像フレームｇ３の被写体の動きベクトルが算出された後（ステップＳ４７）、ステップＳ４９にて、前の画像フレームｇ（例えば、二番目の画像フレームｇ２）の被写体の動きベクトルがあると判定されると（ステップＳ４９；ＹＥＳ）、動き判定部７ｅは、二番目の画像フレームｇ２と三番目の画像フレームｇ３との間で被写体の動きベクトルが略一致するか否かに応じて被写体の動きの方向が略等しいか否かを判定する（ステップＳ５０）。

ここで、被写体の動きの方向が略等しいと判定されると（ステップＳ５０；ＹＥＳ）、動き判定部７ｅは、被写体切り抜き動画像Ｍ２を構成する複数の画像フレームｇ、…のうち、合成判定処理の対象となる次の画像フレームｇがあるか否かを判定する（ステップＳ５１）。ここで、次の画像フレームｇ、例えば、四番目の画像フレームｇ４があると判定されると（ステップＳ５１；ＹＥＳ）、動き判定部７ｅは、処理をステップＳ４５に移行させて、それ以降の処理を実行する。
これにより、四番目の画像フレームｇ４が合成判定処理の対象として指定される。

一方、ステップＳ４８にて、被写体の動きの量が所定の閾値よりも小さいと判定されると（ステップＳ４８；ＮＯ）、画像処理部７の合成制御部７ｇは、画像合成処理として、被写体切り抜き動画像Ｍ２を構成する複数の画像フレームｇ、…の各々を背景用画像Ｐ１に対してそれぞれ合成する通常合成処理を設定する（ステップＳ５２）。
また、ステップＳ５０にて、被写体の動きの方向が略等しくないと判定されると（ステップＳ５０；ＮＯ）、画像処理部７の合成制御部７ｇは、処理をステップＳ５２に移行させて、画像合成処理として、通常合成処理を設定する（ステップＳ５２）。

そして、上記の処理がステップＳ５１にて次の画像フレームｇがないと判定されるまで（ステップＳ５１；ＮＯ）、繰り返されると、即ち、二番目以降の全ての画像フレームｇについて被写体の動きの量が所定の閾値以上で、且つ、動きの方向が略等しい場合、画像処理部７の合成制御部７ｇは、画像合成処理として、複数の被写体を静止画像に対して加算して複数の画像フレームｈ、…からなる合成動画を生成する加算合成処理を設定する（ステップＳ５３）。
これにより、合成判定処理を終了する。

図５に示すように、次に、ＣＰＵ１２は、合成判定処理の判定結果に応じて処理を分岐させる（ステップＳ３２）。
具体的には、ＣＰＵ１２は、合成判定処理の結果として加算合成処理が設定されている場合には（ステップＳ３２；加算合成）、画像合成部７ｆに加算合成処理を実行させ（ステップＳ３３）、一方、合成判定処理の結果として通常合成処理が設定されている場合には（ステップＳ３２；通常合成）、画像合成部７ｆに通常合成処理を実行させる（ステップＳ３４）。

ここで、加算合成処理について図８及び図９を参照して詳細に説明する。
図８に示すように、ユーザによる操作入力部１２の所定操作に基づいて、記録媒体８に記録されている複数の画像の中で合成画像の背景となる所望の背景用画像Ｐ１（図９（ａ）参照）が選択して指定されると、画像処理部７は、指定された背景用画像Ｐ１の画像データを読み出して画像メモリ５に展開する（ステップＳ６１）。

次に、画像合成部７ｆの合成制御部７ｇは、被写体切り抜き動画像Ｍ２を構成する複数の画像フレームｇ、…のうち、処理対象に係る最初の画像フレームｈ１のフレーム番号として「１」を指定すると（ステップＳ６２）、指定されたフレーム番号「１」の画像フレームｇ１及び当該画像フレームｇ１と対応付けて保存されているアルファマップを読み出して画像メモリ５に展開する（ステップＳ６３）。

次に、画像合成部７ｆは、背景用画像Ｐ１の何れか一の画素（例えば、左上隅部の画素）を指定して（ステップＳ６４）、当該画素について、アルファマップのアルファ値に基づいて処理を分岐させる（ステップＳ６５）。具体的には、画像合成部７ｆは、背景用画像Ｐ１の何れか一の画素のうち、アルファ値が１の画素については（ステップＳ６５；α＝１）、被写体切り抜き動画像Ｍ２の画像フレームｇ１の対応する画素の画素値で上書きし（ステップＳ６６）、アルファ値が０＜α＜１の画素については（ステップＳ６５；０＜α＜１）、１の補数（１−α）を用いて被写体領域Ｓを切り抜いた画像（背景用画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて被写体切り抜き動画像Ｍ２を生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き動画像Ｍ２の画像フレームｇ１から減算し、それを被写体領域Ｓを切り抜いた画像（背景用画像×（１−α））と合成し（ステップＳ６７）、アルファ値が０の画素については（ステップＳ６５；α＝０）、何もせずに背景用画像Ｐ１を透過さるようにする。

続けて、画像合成部７ｆは、背景用画像Ｐ１の全ての画素について処理したか否かを判定する（ステップＳ６８）。
ここで、全ての画素について処理していないと判定されると（ステップＳ６８；ＮＯ）、画像合成部７ｆは、処理対象として次の画素を指定して当該画素に処理対象を移動させて（ステップＳ６９）、処理をステップＳ６５に移行させる。
上記の処理を、ステップＳ６８にて全ての画素について処理したと判定されるまで（ステップＳ６８；ＹＥＳ）、繰り返すことで、画像合成部７ｆは、被写体切り抜き動画像Ｍ２の画像フレームｇ１と背景用画像Ｐ１とを合成した被写体合成動画像Ｍ３の合成動画を構成する最初の画像フレームｈ１（図９（ａ）参照）を生成する。

そして、ステップＳ６８にて全ての画素について処理したと判定されると（ステップＳ６８；ＹＥＳ）、合成制御部７ｇは、被写体切り抜き動画像Ｍ２を構成する全ての画像フレームｇについて処理したか否かを判定する（ステップＳ７０）。
ここで、全ての画像フレームｇについて処理していないと判定されると（ステップＳ７０；ＮＯ）、合成制御部７ｇは、生成された合成動画を構成する最初の画像フレームｈ１を背景用の静止画像として指定した後（ステップＳ７１）、被写体切り抜き動画像Ｍ２を構成する複数の画像フレームｇ、…のうち、処理対象となる次の画像フレームｇに係るフレーム番号を＋１インクリメントして指定する（ステップＳ７２）。これにより、二番目の画像フレームｇ２が画像合成処理の対象として指定される。

次に、画像合成部７ｆは、処理をステップＳ６３に移行させて、背景用の静止画像として指定された画像フレームｈ１の何れか一の画素（例えば、左上隅部の画素）を指定して、それ以降の処理（ステップＳ６４〜Ｓ６９）を行うことで、背景用の静止画像として指定された最初の画像フレームｈ１と被写体切り抜き動画像Ｍ２の二番目の画像フレームｇ２とを合成した被写体合成動画像Ｍ３の合成動画を構成する二番目の画像フレームを生成する。これにより、最初の画像フレームｈ１に対して被写体切り抜き動画像Ｍ２の二番目の画像フレームｇ２の被写体領域Ｓが加算合成された二番目の画像フレームが生成される。
そして、二番目の画像フレームの生成が完了することによって、ステップＳ６８にて全ての画素について処理したと判定されると（ステップＳ６８；ＹＥＳ）、処理をステップＳ７０に移行させて、合成制御部７ｇは、被写体切り抜き動画像Ｍ２を構成する全ての画像フレームｇについて処理したか否かを判定する（ステップＳ７０）。
上記の処理を、全ての画像フレームｇについて処理したと判定されるまで（ステップＳ７０；ＹＥＳ）、繰り返すことで、画像合成部７ｆは、被写体合成動画像Ｍ３の合成動画を構成する全ての画像フレームｈ１〜ｈｎ（図９（ａ）〜図９（ｄ）参照）を生成する。
これにより、加算合成処理を終了する。

図５に示すように、その後、ＣＰＵ１２は、表示制御部９に、画像合成部７ｆにより生成された複数の画像フレームｈ、…からなる被写体合成動画像Ｍ３の合成動画の画像データに基づいて、各画像フレームｈを所定の表示フレームレートで切り換えて表示部１０の表示画面に再生表示させることで、再生時間の経過に伴って静止画像（背景用画像Ｐ１）の異なる位置に被写体としてのソリに乗った人が加算表示される被写体合成動画像Ｍ３の合成動画を再生する（ステップＳ３５）。

次に、通常合成処理について図１０及び図１１を参照して詳細に説明する。
通常合成処理は、最初に指定された背景用画像Ｐ１と被写体切り抜き動画像Ｍ２を構成する全ての画像フレームとを合成する以外の点で加算合成処理と略同様の処理を行う。
即ち、図１０に示すように、ユーザによる操作入力部１２の所定操作に基づいて、記録媒体８に記録されている複数の画像の中で合成画像の背景となる所望の背景用画像Ｐ１（図１１（ａ）参照）が選択して指定されると、画像処理部７は、指定された背景用画像Ｐ１の画像データを読み出して画像メモリ５に展開する（ステップＳ８１）。

次に、画像合成部７ｆの合成制御部７ｇは、被写体切り抜き動画像Ｍ２を構成する複数の画像フレームｇ、…のうち、処理対象に係る最初の画像フレームｇ１のフレーム番号として「１」を指定すると（ステップＳ８２）、指定されたフレーム番号「１」の画像フレームｇ１及び当該画像フレームｇ１と対応付けて保存されているアルファマップを読み出して画像メモリ５に展開する（ステップＳ８３）。

次に、画像合成部７ｆは、背景用画像Ｐ１の何れか一の画素（例えば、左上隅部の画素）を指定して（ステップＳ８４）、当該画素について、アルファマップのアルファ値に基づいて処理を分岐させる（ステップＳ８５）。具体的には、画像合成部７ｆは、背景用画像Ｐ１の何れか一の画素のうち、アルファ値が１の画素については（ステップＳ８５；α＝１）、被写体切り抜き動画像Ｍ２の画像フレームｇ１の対応する画素の画素値で上書きし（ステップＳ８６）、アルファ値が０＜α＜１の画素については（ステップＳ８５；０＜α＜１）、１の補数（１−α）を用いて被写体領域Ｓを切り抜いた画像（背景用画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて被写体切り抜き動画像Ｍ２を生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き動画像Ｍ２の画像フレームｇ１から減算し、それを被写体領域Ｓを切り抜いた画像（背景用画像×（１−α））と合成し（ステップＳ８７）、アルファ値が０の画素については（ステップＳ８５；α＝０）、何もせずに背景用画像Ｐ１を透過さるようにする。

続けて、画像合成部７ｆは、背景用画像Ｐ１の全ての画素について処理したか否かを判定する（ステップＳ８８）。
ここで、全ての画素について処理していないと判定されると（ステップＳ８８；ＮＯ）、画像合成部７ｆは、処理対象として次の画素を指定して当該画素に処理対象を移動させて（ステップＳ８９）、処理をステップＳ８５に移行させる。
上記の処理を、ステップＳ８８にて全ての画素について処理したと判定されるまで（ステップＳ８８；ＹＥＳ）、繰り返すことで、画像合成部７ｆは、被写体切り抜き動画像Ｍ２の画像フレームｇ１と背景用画像Ｐ１とを合成した被写体合成動画像Ｍ４の合成動画を構成する最初の画像フレームｉ１（図１１（ａ）参照）を生成する。

そして、ステップＳ８８にて全ての画素について処理したと判定されると（ステップＳ８８；ＹＥＳ）、合成制御部７ｇは、被写体切り抜き動画像Ｍ２を構成する全ての画像フレームｇについて処理したか否かを判定する（ステップＳ９０）。
ここで、全ての画像フレームｇについて処理していないと判定されると（ステップＳ９０；ＮＯ）、合成制御部７ｇは、被写体切り抜き動画像Ｍ２を構成する複数の画像フレームｇ、…のうち、処理対象となる次の画像フレームｇに係るフレーム番号を＋１インクリメントして指定する（ステップＳ９１）。これにより、二番目の画像フレームｇ２が画像合成処理の対象として指定される。

次に、画像合成部７ｆは、処理をステップＳ８３に移行させて、背景用画像Ｐ１の何れか一の画素（例えば、左上隅部の画素）を指定して、それ以降の処理（ステップＳ８４〜Ｓ８９）を行うことで、背景用画像Ｐ１と被写体切り抜き動画像Ｍ２の二番目の画像フレームｇ２とを合成した被写体合成動画像Ｍ４の合成動画を構成する二番目の画像フレームｉ２（図１１（ｂ）参照）を生成する。
そして、二番目の画像フレームｉ２の生成が完了することによって、ステップＳ８８にて全ての画素について処理したと判定されると（ステップＳ８８；ＹＥＳ）、処理をステップＳ９０に移行させて、合成制御部７ｇは、被写体切り抜き動画像Ｍ２を構成する全ての画像フレームｇについて処理したか否かを判定する（ステップＳ９０）。
上記の処理を、全ての画像フレームｇについて処理したと判定されるまで（ステップＳ９０；ＹＥＳ）、繰り返すことで、画像合成部７ｆは、被写体合成動画像Ｍ４の合成動画を構成する全ての画像フレームｇ１〜ｇｎ（図１１（ａ）〜図１１（ｄ）参照）を生成する。
これにより、通常合成処理を終了する。

図５に示すように、その後、ＣＰＵ１２は、表示制御部９に、画像合成部７ｆにより生成された複数の画像フレームｉ、…からなる被写体合成動画像Ｍ４の合成動画の画像データに基づいて、各画像フレームｉを所定の表示フレームレートで切り換えて表示部１０の表示画面に再生表示させることで、背景用画像Ｐ１を背景として人が腕を上下動させる被写体合成動画像Ｍ４の合成動画を再生する（ステップＳ３５）。

以上のように、本実施形態の撮像装置１００によれば、合成画像生成処理に係る被写体切り抜き動画像Ｍ２における被写体の動きを動き検出部６により検出して、検出された被写体の動きを基準として、当該被写体を再生時間の経過に伴って背景用画像Ｐ１の異なる位置に加算表示させるように背景用画像Ｐ１と被写体切り抜き動画像Ｍ２とを画像合成部７ｆに合成させる。具体的には、被写体切り抜き動画像Ｍ２を構成する複数の画像フレームｇ、…中の被写体を背景用画像Ｐ１に対して画像合成部７ｆにより加算して複数の画像フレームｈ、…からなる被写体合成動画像Ｍ３の合成動画を生成する。
これにより、再生時間の経過に伴って背景用画像Ｐ１の異なる位置に被写体が加算表示されるように、背景用画像Ｐ１に対して被写体を斬新な態様で合成することができ、動画像を背景用画像Ｐ１に単に合成しただけではない興趣性の高い合成画像を生成することができる。

また、動き判定部７ｅにより被写体切り抜き動画像Ｍ２の各画像フレームｇの被写体の動きの量が所定の閾値以上であり、且つ、被写体の動きの方向が略等しいと判定された場合に、被写体を再生時間の経過に伴って背景用画像Ｐ１の異なる位置に加算表示させるように画像合成部７ｆに合成させるので、被写体切り抜き動画像Ｍ２の被写体の動きを解析することで、自動的に被写体を加算合成することができる。これにより、当該撮像装置１００の操作を熟知していなくとも背景用画像Ｐ１に対して被写体を斬新な態様で合成することができる。
なお、上記実施形態では、動き判定部７ｅによって少なくとも被写体切り抜き動画像Ｍ２の各画像フレームｇの被写体の動きの方向が略等しいと判定された場合に、被写体を再生時間の経過に伴って背景用画像Ｐ１の異なる位置に加算表示させるように画像合成部７ｆに合成させれば良い。しかしながら、被写体の動きの量が所定の閾値よりも小さい場合には、被写体を加算合成すると被写体の合成数が多くなり過ぎて見苦しい合成動画になってしまう虞がある。
従って、動き判定部７ｅにより被写体切り抜き動画像Ｍ２の各画像フレームｇの被写体の動きの量が所定の閾値以上であり、且つ、被写体の動きの方向が略等しいと判定された場合に、被写体を加算合成することにより視認性の良好な合成動画を生成することができる。

さらに、動き判定部７ｅにより被写体切り抜き動画像Ｍ２の各画像フレームｇの被写体の動きの方向が略等しくないと判定された場合には、当該被写体切り抜き動画像Ｍ２を構成する複数の画像フレームｇ、…の各々を背景用画像Ｐ１に対して画像合成部７ｆにより合成させるので、被写体の動きの方向がばらばらで加算合成に適していない場合には、通常の画像合成処理を行って複数の画像フレームｇ、…からなる被写体合成動画像Ｍ４の合成動画を生成することができる。
また、被写体の加算合成と通常合成とを被写体切り抜き動画像Ｍ２の被写体の動きを解析することで自動的に切り換えるので、より操作の簡便な撮像装置１００を提供することができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、加算合成処理にて、動き判定部７ｅが被写体切り抜き動画像Ｍ２を構成する複数の画像フレームｇ、…のうち、何れか一の画像フレームｇにおける被写体の動きベクトルの方向が当該一の画像フレームｇよりも前の画像フレームｇにおける被写体の動きベクトルの方向に対して変化したか否かを判断し、変化したと判断された場合に、合成制御部７ｇは、既に静止画像に対して加算表示された被写体を消去するようにしても良い。
即ち、被写体の動きが所定の画像フレームｇまでは略等しかったが、次の画像フレームｇから被写体の動きが急に変化した場合等に、所定の画像フレームｇまでの被写体の加算表示が残っていると、新たに合成される被写体と重なってしまい、見苦しくなってしまうことを防止するためである。
なお、被写体の動きが変化しても所定の画像フレームｇまでの被写体の加算表示と新たに合成される被写体と重なってしまう虞がない場合、例えば、被写体の動きが所定の画像フレームｇまでの被写体の動きの方向に対して所定角度範囲の変化である場合には、合成制御部７ｇは、必ずしも既に静止画像に対して加算表示された被写体を消去する必要はない。

また、上記実施形態にあっては、被写体切り抜き動画像Ｍ２の動画像データの記録方式として、Ｍｏｔｉｏｎ−ＪＰＥＧ形式を例示したが、例えば、ＭＰＥＧ形式であっても良い。かかる場合には、合成画像生成処理にて、予め当該ＭＰＥＧ形式の動画像データを復号化して複数の画像フレームｇ、…を生成することで、各画像フレームｇについて被写体の動きベクトルの検出や背景用画像Ｐ１との合成を行うことができる。

また、動きベクトルの検出に当たっては従来のテンプレートマッチングを行ったが、アルファマップから簡易的に検出するようにしても良い。すなわち、被写体領域であるアルファ値が１の画素座標（全ての画素ではなく適宜間引いても良い）の重心座標を求め、フレーム間の重心座標の移動を動きベクトルとしても良い。

また、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。即ち、画像合成装置として、撮像装置１００を例示したが、これに限られるものではい。例えば、被写体切り抜き動画像Ｍ２、背景用画像Ｐ１及び被写体切り抜き動画像の画像データの生成は、当該撮像装置１００とは異なる撮像装置にて行い、この撮像装置から転送された画像データのみを記録して、合成画像生成処理のみを実行する画像合成装置であっても良い。
さらに、被写体切り抜き動画像Ｍ２における被写体の動きを基準として設定された被写体の合成位置に係るデータを予め記録媒体８に記録しておき、表示制御部９が、当該記録媒体８に記録された合成位置に係るデータに基づいて、当該被写体を再生時間の経過に伴って静止画像の異なる位置に加算表示させるように当該静止画像と動画像とを合成して表示部に合成動画を再生させるようにしても良い。
即ち、例えば、被写体の合成位置に係るデータの生成は、当該撮像装置１００とは異なる撮像装置にて行い、この撮像装置から転送された被写体切り抜き動画像Ｍ２、背景用画像Ｐ１及び合成位置に係るデータのみを記録媒体８に記録しておき、被写体存在動画像Ｍ１の再生の際に、表示制御部９が、記録媒体８に記録された合成位置に係るデータに基づいて画像合成しつつ再生表示する装置であっても良い。

加えて、上記実施形態にあっては、合成手段、検出手段、合成制御手段としての機能を、ＣＰＵ１２の制御下にて、動き検出部６、画像処理部７の画像合成部７ｆ、合成制御部７ｇが駆動することにより実現され、画像記録手段、位置記録手段、再生制御手段としての機能を、ＣＰＵ１２の制御下にて、表示制御部９が駆動することにより実現される構成としたが、これに限られるものではなく、ＣＰＵ１２によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、合成処理ルーチン、検出処理ルーチン、合成制御処理ルーチンを含むプログラムを記憶しておく。そして、合成処理ルーチンによりＣＰＵ１２に、背景用の静止画像と動画像とを合成して合成動画を生成させるようにしても良い。また、検出処理ルーチンによりＣＰＵ１２に、動画像における動体の動きを検出させるようにしても良い。また、合成制御処理ルーチンによりＣＰＵ１２に、検出された動体の動きを基準として、当該動体を再生時間の経過に伴って静止画像の異なる位置に加算表示させるように静止画像と動画像とを合成させるようにしても良い。
また、プログラムを記憶するプログラムメモリ（図示略）に、画像記録制御処理ルーチン、位置記録制御処理ルーチン、再生制御処理ルーチンを含むプログラムを記憶しておく。そして、画像記録制御処理ルーチンによりＣＰＵ１２に、背景用の静止画像と動画像とを記録媒体８に記録させるようにしても良い。また、位置記録制御処理ルーチンによりＣＰＵ１２に、動画像における動体の動きを基準として設定された動体の合成位置を記録媒体８に記録させるようにしても良い。また、再生制御処理ルーチンによりＣＰＵ１２に、記録媒体８に記録された合成位置に基づいて、当該動体を再生時間の経過に伴って静止画像の異なる位置に加算表示させるように当該静止画像と動画像とを合成して合成動画を再生させるようにしても良い。

１００ 撮像装置
１ レンズ部
２ 電子撮像部
３ 撮像制御部
７ 画像処理部
７ｄ 切抜画像生成部
７ｅ 動き判定部
７ｆ 画像合成部
７ｇ 合成制御部
８ 記録媒体
１０ 表示部
１２ ＣＰＵ

Claims (8)

1. 複数の画像フレームからなる動体の動きを検出する検出手段と、
   前記検出手段により検出された動体の動きの方向が隣り合う画像フレーム間で略等しいか否かを判定する方向判定手段と、
   前記方向判定手段により該動体の動きの方向が略等しいと判定された場合に、前記動体の画像を再生時間の経過に伴って加算合成させる合成制御手段と、
   を備え、
   前記合成制御手段は、
   前記方向判定手段により何れか一の画像フレームにおける前記動体の動きの方向が当該一の画像フレームよりも前の画像フレームにおける前記動体の動きの方向に対して変化したと判断された場合に、既に加算合成された動体の画像を消去することを特徴とする画像合成装置。
2. 前記合成制御手段は、
   前記方向判定手段により前記動体の動きの方向が略等しいと判定された場合に、前記動体の画像を再生時間の経過に伴って、前記動画像を構成する複数の画像フレームを順次追加して加算合成させることを特徴とする請求項１に記載の画像合成装置。
3. 前記合成制御手段は、
   前記方向判定手段により前記動体の動きの方向が略等しいと判定された場合に、背景用の静止画像と前記動体の画像を再生時間の経過に伴って加算合成させることを特徴とする請求項１又は２に記載の画像合成装置。
4. 前記検出手段により検出された動体の動きの量が所定値以上であるか否かを判定する動き量判定手段をさらに備え、
   前記合成制御手段は、
   前記動き量判定手段により前記動体の動きの量が所定値以上であると判定された場合に、前記動体の画像を再生時間の経過に伴って加算合成させることを特徴とする請求項１〜３の何れか一項に記載の画像合成装置。
5. 前記合成制御手段は、
   前記方向判定手段により前記動体の動きの方向が略等しくないと判定された場合に、前記動画像を構成する複数の画像フレームの各々を前記背景用の静止画像に対して合成させることを特徴とする請求項３又は４に記載の画像合成装置。
6. 背景用の静止画像と動画像とを合成して合成動画を生成する合成手段と、
   前記動画像における動体の動きを検出する検出手段と、
   この検出手段により検出された動体の動きを基準として、当該動体を再生時間の経過に伴って前記静止画像の異なる位置に加算表示させるように前記静止画像と前記動画像とを前記合成手段に合成させる合成制御手段と、
   前記検出手段により検出された動体の動きの方向が略等しいか否かを判定する動き判定手段と、
   を備え、
   前記合成制御手段は、前記動画像を構成する複数の画像フレーム中の動体を前記静止画像に対して前記合成手段により加算して複数の画像フレームからなる合成動画を生成させるとともに、前記動き判定手段により前記動体の動きの方向が略等しいと判定された場合に、前記動体を再生時間の経過に伴って異なる位置に加算表示させるように前記合成手段に合成させ、
   前記動き判定手段は、
   前記動画像を構成する複数の画像フレームのうち、隣り合う画像フレーム間での動体の動きの方向が略等しいか否かを判定し、
   前記合成制御手段は、さらに、
   前記動き判定手段により何れか一の画像フレームにおける前記動体の動きの方向が当該一の画像フレームよりも前の画像フレームにおける前記動体の動きの方向に対して変化したと判断された場合に、既に前記静止画像に対して加算表示された動体を消去することを特徴とする画像合成装置。
7. 画像合成装置における画像合成方法であって、
   複数の画像フレームからなる動体の動きを検出する検出ステップと、
   前記検出ステップにより検出された動体の動きの方向が隣り合う画像フレーム間で略等しいか否かを判定する方向判定ステップと、
   前記方向判定ステップにより該動体の動きの方向が略等しいと判定された場合に、前記動体の画像を再生時間の経過に伴って加算合成させる合成制御ステップと、
   を含み、
   前記合成制御ステップは、
   前記方向判定ステップにより何れか一の画像フレームにおける前記動体の動きの方向が当該一の画像フレームよりも前の画像フレームにおける前記動体の動きの方向に対して変化したと判断された場合に、既に加算合成された動体の画像を消去することを特徴とする画像合成方法。
8. 画像合成装置のコンピュータを、
   複数の画像フレームからなる動体の動きを検出する検出手段、
   前記検出手段により検出された動体の動きの方向が隣り合う画像フレーム間で略等しいか否かを判定する方向判定手段、
   前記方向判定手段により該動体の動きの方向が略等しいと判定された場合に、前記動体の画像を再生時間の経過に伴って加算合成させる合成制御手段、
   として機能させ、
   前記合成制御手段は、
   前記方向判定手段により何れか一の画像フレームにおける前記動体の動きの方向が当該一の画像フレームよりも前の画像フレームにおける前記動体の動きの方向に対して変化したと判断された場合に、既に加算合成された動体の画像を消去することを特徴とするプログラム。

Images