JP6409366B2 - 画像処理装置およびコンピュータプログラム - Google Patents

Description

本発明は、動画像に含まれる複数個のフレーム画像を用いて、１個の合成画像を生成する技術に関する。

動画像に含まれる複数個のフレーム画像を用いて、例えば、１個の合成画像を生成する技術が知られている（例えば、特許文献１）。この技術では、合成に用いられる各フレーム画像から動作部分を示す画像が抽出され、抽出された各動作部分が合成されることによって、動画像に含まれる動作部分の動きが表現された合成画像が生成される。

特開平２００８−２０５６３７号公報

しかしながら、上記技術では、ユーザの操作に基づいて、合成画像を生成するために用いられる複数個のフレーム画像が決定されるので、必ずしも合成画像を生成するために適したフレーム画像が決定されるとは限らなかった。この結果、フレーム画像が適切に決定されないことによって、適切な合成画像が生成されない可能性があった。例えば、動画像のうち、背景が動いているシーンから複数個のフレーム画像が決定されると、全体がぼけて見える見難い合成画像が生成され得る。

本発明は、複数個のフレーム画像を用いて１個の合成画像を生成する場合に、用いるべき複数個のフレーム画像を適切に決定できる技術を提供することを目的とする。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の適用例として実現することが可能である。

［適用例１］画像処理装置であって、
時系列の順番に並ぶ複数個のフレーム画像を表す複数個のフレーム画像データを含む動画像データを取得する動画像取得部と、
複数個の前記フレーム画像のうちの注目フレーム画像と他のフレーム画像との間の差分に基づいて、前記注目フレーム画像の動き量を検出する動き量検出部と、
前記動き量検出部によって検出される複数個の前記フレーム画像の前記動き量の時系列の変化に基づいて、複数個の前記フレーム画像から、１以上の候補シーンを表す１以上の候補フレーム画像群を特定する特定部と、
１以上の前記候補フレーム画像群の中から、１個の使用フレーム画像群を選択する画像群選択部と、
前記使用フレーム画像群から選択される２以上の使用フレーム画像を表す２以上の使用フレーム画像データを用いて、被写体の動きを表現する１個の合成画像を生成する生成部と、
を備える、画像処理装置。

上記構成によれば、フレーム画像の動き量の時系列の変化に基づいて、１以上の候補フレーム画像群が特定され、１以上の候補フレーム画像群の中から使用フレーム画像群が、選択される。そして、使用フレーム画像群から選択される２以上の使用フレーム画像を表す２以上の使用フレーム画像データを用いて、１個の合成画像が生成される。この結果、被写体の動きを表現する合成画像の生成に用いるべきフレーム画像を適切に決定することができる。
［適用例２］
適用例１に記載の画像処理装置であって、
前記特定部は、
前記動き量が第１閾値より大きい前記フレーム画像を含まないフレーム画像群を前記候補フレーム画像群として特定し、
前記動き量が前記第１閾値より大きい前記フレーム画像を含むフレーム画像群を前記候補フレーム画像群として特定しない、画像処理装置。
［適用例３］
適用例１または２に記載の画像処理装置は、さらに、
時系列に連続する２個の前記使用フレーム画像の間の前記動き量が第２閾値以上になるように、２以上の前記使用フレーム画像を選択するフレーム選択部を備え、
前記生成部は、前記フレーム選択部で選択された２以上の前記使用フレーム画像を用いて、前記合成画像を生成する、画像処理装置。
［適用例４］
適用例１〜３のいずれかに記載の画像処理装置であって、
前記生成部は、２以上の前記使用フレーム画像の輝度を、時系列の順番に従って段階的に変化するように調整し、
調整済みの２以上の前記使用フレーム画像を用いて、前記合成画像を生成する、画像処理装置。
［適用例５］
適用例１〜４のいずれかに記載の画像処理装置であって、
前記画像群選択部は、時系列の順番が最初の前記フレーム画像から時系列の順番が最後の前記フレーム画像までの時間の間隔が第３の閾値を超える前記フレーム画像群を前記使用フレーム画像群として選択しない、画像処理装置。
［適用例６］
適用例１〜５のいずれかに記載の画像処理装置であって、さらに、
前記複数個のフレーム画像の前記動き量の時系列の変化を示す画像を含む表示画面を表示部に表示する第１の表示制御部と、
前記表示画面を介して、複数個の前記フレーム画像のうちの特定のフレーム画像群を指定するユーザの操作を受け取る第１の操作部と、
前記特定部は、前記ユーザの操作があった場合には、前記特定のフレーム画像群に含まれる複数個の前記フレーム画像から、１以上の前記候補フレーム画像群を特定する、画像処理装置。
［適用例７］
適用例６に記載の画像処理装置であって、
前記フレーム画像群を指定するユーザの操作は、前記特定のフレーム画像群における時系列の順番が最初の前記フレーム画像を指定する操作と、前記特定のフレーム画像群における時系列の順番が最後の前記フレーム画像を指定する操作と、を含む、画像処理装置。
［適用例８］
適用例１〜７のいずれかに記載の画像処理装置であって、さらに、
前記１以上の候補フレーム画像群から１個ずつ選択される代表フレーム画像をそれぞれ表す１以上のサムネイル画像を表示部に表示する第２の表示制御部と、
表示される１個以上の前記サムネイル画像から、一のサムネイル画像を指定するユーザの操作を受け取る第２の操作部と、
前記画像群選択部は、前記ユーザの操作があった場合には、前記ユーザの操作によって指定された前記一のサムネイル画像に対応する前記候補フレーム画像群を、前記使用フレーム画像群として優先的に選択する、画像処理装置。
［適用例９］
適用例１〜８のいずれかに記載の画像処理装置であって、
前記画像群選択部は、各前記候補フレーム画像群に含まれる２以上の前記フレーム画像の前記動き量の合計値を算出し、前記合計値が最大である前記候補フレーム画像群を前記使用フレーム画像群として選択する、画像処理装置。
［適用例１０］
適用例１〜８のいずれかに記載の画像処理装置であって、
前記画像群選択部は、各前記候補フレーム画像群に含まれる２以上の前記フレーム画像の前記動き量の単位時間あたりの変化量の最大値を算出し、前記所定時間あたりの変化量の最大値が最大である前記候補フレーム画像群を前記使用フレーム画像群として選択する、画像処理装置。

なお、本発明は、種々の形態で実現することが可能であり、例えば、印刷装置、画像処理方法、これらの装置または方法を実現するためのコンピュータプ口グラム、そのコンピュータプログラムを記録した記録媒体、等の形態で実現することができる。

実施例における画像処理装置としての計算機２００の構成を示すブロック図である。 本実施例の画像処理のフローチャートである。 ＵＩ画面ＷＤの一例を示す図である。 動画像データについて説明する図である。 動画解析処理のフローチャートである。 動画解析処理のフローチャートである。 実施例の使用シーン選択処理のフローチャートである。 使用フレーム選択処理のフローチャートである。 合成処理のフローチャートである。 合成処理の説明図である。 合成画像の一例を示す図である。 変形例の使用シーン選択処理のフローチャートである。

Ａ．実施例：
Ａ−１．画像処理装置の構成：
次に、本発明の実施の形態を実施例に基づき説明する。図１は、実施例における画像処理装置としての計算機２００の構成を示すブロック図である。

計算機２００は、例えば、パーソナルコンピュータであり、計算機２００のコントローラとしてのＣＰＵ２１０と、ＲＡＭなどの揮発性記憶装置２２０と、ハードディスクドライブなどの不揮発性記憶装置２３０と、マウスやキーボードなどの操作部２６０と、液晶ディスプレイなどの表示部２７０と、通信部２８０と、を備えている。計算機２００は、通信部２８０を介して、印刷装置３００やビデオカメラ４００などの外部装置と通信可能に接続される。

揮発性記憶装置２２０は、ＣＰＵ２１０が処理を行う際に生成される種々の中間データを一時的に格納するバッファ領域２２２を提供する。不揮発性記憶装置２３０には、コンピュータプログラム２３２と、１以上の動画像ファイル２３４と、が格納されている。

コンピュータプログラム２３２は、本実施例では、印刷装置３００を制御するためのプリンタドライバプログラムであり、ＣＤ−ＲＯＭなどに格納される形態や、サーバからダウンロードされる形態で提供される。ＣＰＵ２１０は、コンピュータプログラム２３２を実行することにより、後述する画像処理を実行する画像処理部１００として機能する。

動画像ファイル２３４は、例えば、ＭＰＥＧ（Moving Picture Experts Groupの略）形式や、ＡＶＩ（Audio Video Interleaveの略）形式などの公知の動画用のファイルフォーマットに従って、動画像データが格納されたファイルである。

Ａ−２．計算機２００（画像処理部１００）の動作
計算機２００のＣＰＵ２１０（画像処理部１００）は、プリンタドライバの一機能として、動画像データを用いて合成画像を生成する画像処理を実行することができる。この画像処理は、例えば、図示しないユーザインタフェース画面（以下、ＵＩ画面とも呼ぶ）を介して当該合成画像を生成するモードでの動作指示がユーザから受け付けられた場合に実行される。

図２は、本実施例の画像処理のフローチャートである。Ｓ１０では、ＣＰＵ２１０は、表示部２７０に、所定のＵＩ画面ＷＤを表示する。図３は、ＵＩ画面ＷＤの一例を示す図である。

図３のＵＩ画面ＷＤは、ウインドウＳＷ１、ＳＷ２と、ボタンＢＴ１〜ＢＴ４と、動画操作部ＭＣと、フレーム画像群指定部ＦＳと、チェックボックスＣＢ１と、スライドバーＳＢと、入力フィールドＮＦと、を含んでいる。

ウインドウＳＷ１には、処理対象の動画像データによって表される動画像（以下、処理対象の動画像とも呼ぶ）や合成画像（後述）が表示される。ウインドウＳＷ２には、処理対象の動画像データの解析結果（後述）が表示される。

ボタンＢＴ１は、処理対象の動画像データをユーザが指定するためのボタンである。ボタンＢＴ２は、後述するサムネイル画像の表示を指示するためのボタンである。ボタンＢＴ３は、合成画像の表示、すなわち、合成画像の印刷前のプレビューを指示するボタンである。ボタンＢＴ４は、合成画像の印刷を指示するボタンである。

動画操作部ＭＣは、処理対象の動画像のウインドウＳＷ１への表示を操作するためのボタン群、例えば、再生、停止、早送り、巻き戻しなどの操作のためのボタンを含む。フレーム画像群指定部ＦＳは、処理対象の動画像に含まれる特定のフレーム画像群（後述）を指定するためのボタン群、例えば、開始フレーム画像選択ボタンＦＳ１と、終了フレーム画像選択ボタンＦＳ２と、自動選択ボタンＦＳ３と、を含む。

チェックボックスＣＢ１は、合成画像の生成に関する設定の一つとして、合成画像の背景を削除するか否かの設定を行うために用いられる。チェックボックスＣＢ１がＯＮにされると、生成すべき合成画像から背景が削除され、チェックボックスＣＢ１がＯＦＦにされると、生成すべき合成画像に背景が残される（後述）。

入力フィールドＮＦには、合成画像の生成に用いられるフレーム画像の個数が入力される。スライドバーＳＢは、動画操作部ＭＣと同様に、処理対象の動画像のウインドウＳＷ１への表示を操作するために用いられる。ユーザは、バーＢＲ上に位置するスライダＳＤを操作することによって、ウインドウＳＷ１に表示されるフレーム画像を指定することができる。

Ｓ１５では、ＣＰＵ２１０は、処理対象の動画像データがユーザによって指定されたか否かを判断する。ユーザによって図３のボタンＢＴ１が押下されると、図示しないファイル選択画面が表示される。ユーザは、当該ファイル選択画面を介して、揮発性記憶装置２２０に格納された１個の動画像ファイル２３４を選択する。選択された動画像ファイル２３４に格納された動画像データが、処理対象の動画像データとして指定される。なお、図３のフィールドＡＦには、選択された動画像ファイル２３４のパス名が表示される。

処理対象の動画像データが指定されていない場合には（Ｓ１５：ＮＯ）、ＣＰＵ２１０は、処理対象の動画像データが指定されるまで待機する。処理対象の動画像データが指定された場合には（Ｓ１５：ＹＥＳ）、Ｓ２０において、ＣＰＵ２１０は、指定された動画像データを揮発性記憶装置２２０から取得して、バッファ領域２２２に格納する。

図４は、動画像データについて説明する図である。図４（Ａ）に示すように、動画像データＭＩは、時系列の順番に並ぶ複数個のフレーム画像ＦＩを表す複数個のフレーム画像データを含んでいる。本実施例では、各フレーム画像データは、フレーム画像の画素ごとの色をＹＣｂＣｒ色空間の色値を用いて表す画像データである。

処理対象の動画像は、例えば、スポーツの試合を撮影した動画像である。図４（Ｂ）に示すように、処理対象の動画像は、複数個のシーンを含み得る。複数個のシーンは、例えば、被写体動作シーンＳＣ１と、静止シーンＳＣ２と、背景移動シーンＳＣ３と、を含んでいる。被写体動作シーンＳＣ１は、画像内の背景がほぼ停止しているが、画像内の被写体（人物、車など）が動いているシーンである。静止シーンＳＣ２は、画像内の背景および被写体が静止しているシーンである。背景移動シーンＳＣ３は、画像内の背景が動いているシーンである。

これらの３種類のシーンでは、シーンに含まれるフレーム画像の動き量が互いに異なる。ここで、ある特定のフレーム画像の動き量は、例えば、特定のフレーム画像と、特定のフレーム画像とは時系列の順番が異なるフレーム画像と、の間の差分で表すことができる。本実施例では、時系列の順番がｋ番目（ｋは１以上の整数）のフレーム画像の動き量ΔＬは、ｋ番目のフレーム画像と、（ｋ＋１）番目のフレーム画像と、の間の輝度値Ｙの差分を用いて表される。２個のフレーム画像の間の輝度値Ｙの差分は、各画素の輝度値Ｙの差分の絶対値を算出し、当該絶対値を全ての画素について合計した値である。

図４（Ｃ）には、処理対象の動画像に含まれる複数個のフレーム画像のそれぞれの動き量の時系列の変化を示すグラフが示されている。図４（Ｃ）に示すように、静止シーンＳＣ２では、画像内の動きがほとんどないので、動き量が比較的小さくなる。具体的には、静止シーンＳＣ２に含まれる各フレーム画像の動き量は、下側閾値ＴＨｂより小さくなる。背景移動シーンＳＣ３では、画像の全体に対する動いている領域の面積比が比較的大きくなるので、動き量が比較的大きくなる。具体的には、背景移動シーンＳＣ３に含まれる各フレーム画像の動き量は、上側閾値ＴＨｕより大きくなる。上側閾値ＴＨｕは、下側閾値ＴＨｂより大きな閾値である。被写体動作シーンＳＣ１では、画像の全体に対する動いている領域の面積比が、静止シーンＳＣ２より大きく、かつ、背景移動シーンＳＣ３より小さくなる。したがって、被写体動作シーンＳＣ１に含まれる各フレーム画像の動き量は、下側閾値ＴＨｂ以上、かつ、上側閾値ＴＨｕ以下になる。これらの閾値ＴＨｂ、ＴＨｕは、実際に多数の動画像の動き量を算出した結果と、シーンの種類と、を比較することによって、予め決定された値である。

図２のＳ２５では、ＣＰＵ２１０は、処理対象の動画像データを用いて、処理対象の動画像を解析する動画解析処理を実行する。図５，図６は、動画解析処理のフローチャートである。

Ｓ１００では、ＣＰＵ２１０は、注目フレーム画像を選択する。注目フレーム画像は、処理対象の動画像に含まれる複数個のフレーム画像の中から、１個ずつ時系列の順番に選択される。Ｓ１０５では、ＣＰＵ２１０は、注目フレーム画像の次のフレーム画像があるか否かを判断する。

注目フレーム画像の次のフレーム画像がある場合には（Ｓ１０５：ＹＥＳ）、Ｓ１１０にて、ＣＰＵ２１０は、上述した注目フレーム画像の動き量ΔＬ、すなわち、注目フレーム画像と次のフレーム画像との間の輝度値Ｙの差分を算出する。Ｓ１１５では、ＣＰＵ２１０は、注目フレーム画像の動き量ΔＬが、上述した下側閾値ＴＨｂ以上であるか否かかが判断される。注目フレーム画像の動き量ΔＬが下側閾値ＴＨｂ以上である場合には（Ｓ１１５：ＹＥＳ）、ＣＰＵ２１０は、Ｓ１２０にて、開始フレーム画像は記録済みであるか否かを判断する。開始フレーム画像は、１個のシーンに含まれる複数個のフレーム画像（すなわち、１個のシーンを表すフレーム画像群）のうち、時系列の順番が最初のフレーム画像である。

開始フレーム画像が記録済みでない場合には（Ｓ１２０：ＮＯ）、Ｓ１２５にて、ＣＰＵ２１０は、現在の注目フレーム画像を開始フレーム画像として記録する。開始フレーム画像が記録されると、ＣＰＵ２１０は、Ｓ１００に戻って、次の注目フレーム画像を選択する。開始フレーム画像が記録済みである場合には（Ｓ１２０：ＹＥＳ）、ＣＰＵ２１０は、Ｓ１２５をスキップし、Ｓ１００に戻って、次の注目フレーム画像を選択する。

注目フレーム画像の動き量ΔＬが下側閾値ＴＨｂより小さい場合には（Ｓ１１５：ＮＯ）、Ｓ１３０にて、ＣＰＵ２１０は、開始フレーム画像は記録済みであるか否かを判断する。

開始フレーム画像が記録済みである場合には（Ｓ１３０：ＹＥＳ）、Ｓ１３５にて、ＣＰＵ２１０は、現在の注目フレーム画像を終了フレーム画像として記録する。この結果、開始フレーム画像と終了フレーム画像との両方が記録されて、開始フレーム画像から終了フレーム画像までの複数個のフレーム画像が、候補フレーム画像群として特定される。すなわち、候補フレーム画像群によって表される１個の候補シーンが特定される。ＣＰＵ２１０は、Ｓ１４０にて、特定された候補シーン（すなわち、候補フレーム画像群）を記録する。Ｓ１４５では、ＣＰＵ２１０は、開始および終了フレーム画像の記録を初期化して、Ｓ１００に戻る。すなわち、開始および終了フレーム画像は記録されていない状態になる。開始フレーム画像が記録済みでない場合には（Ｓ１３０：ＮＯ）、ＣＰＵ２１０は、Ｓ１３５〜Ｓ１４５をスキップし、Ｓ１００に戻る。

注目フレーム画像の次のフレーム画像がない場合には（Ｓ１０５：ＮＯ）、Ｓ１５０にて、ＣＰＵ２１０は、開始フレーム画像は記録済みであるか否かを判断する。開始フレーム画像が記録済みである場合には（Ｓ１５０：ＹＥＳ）、Ｓ１５５にて、ＣＰＵ２１０は、現在の注目フレーム画像を終了フレーム画像として記録する。この結果、開始フレーム画像と終了フレーム画像との両方が記録されて、１個の候補シーンが特定される。ＣＰＵ２１０は、Ｓ１６０にて、特定された候補シーンを記録して、図６のＳ１６５に処理を進める。開始フレーム画像が記録済みでない場合には（Ｓ１５０：ＮＯ）、ＣＰＵ２１０は、Ｓ１５５、Ｓ１６０をスキップし、Ｓ１６５に処理を進める。

Ｓ１６５に移行した段階で、動き量ΔＬが閾値ＴＨｂ以上である複数個のフレーム画像から成る１個以上の候補フレーム画像群が特定される。すなわち、処理対象の動画像に含まれる上述した被写体動作シーンＳＣ１と背景移動シーンＳＣ３との少なくともいずれかを表す１個以上の候補シーンが特定される。

図６のＳ１６５では、ＣＰＵ２１０は、特定された１個以上の候補シーンから、１個の注目候補シーンを選択する。Ｓ１７０では、ＣＰＵ２１０は、注目候補シーンを表す候補フレーム画像群は、動き量ΔＬが上側閾値ＴＨｕより大きいフレーム画像を含むか否かを判断する。動き量ΔＬが上側閾値ＴＨｕより大きいフレーム画像が含まれる場合には（Ｓ１７０：ＹＥＳ）、Ｓ１８８にて、ＣＰＵ２１０は、注目候補シーンを候補シーンから除外して、Ｓ１９０に処理を進める。この結果、この動画解析処理によって、動き量ΔＬが上側閾値ＴＨｕより大きいフレーム画像を含まないフレーム画像群は、候補フレーム画像群として特定され、動き量ΔＬが上側閾値ＴＨｕより大きいフレーム画像を含むフレーム画像群は、候補フレーム画像群として特定されない。換言すれば、上述した背景移動シーンＳＣ３は、候補シーンから除外され、被写体動作シーンＳＣ１のみが、候補シーンとして特定される。本実施例では、詳細は後述するように、被写体の動きを表現する合成画像が生成されるので、合成画像の生成に用いられるシーン（フレーム画像群）としては、被写体動作シーンＳＣ１が好ましく、背景移動シーンＳＣ３は好ましくない。この動画解析処理によれば、被写体の動きを表現する合成画像を生成するために適さないフレーム画像が、合成画像の生成に使用されることを抑制することができる。

動き量ΔＬが上側閾値ＴＨｕより大きいフレーム画像が含まれない場合には（Ｓ１７０：ＮＯ）、Ｓ１７５にて、ＣＰＵ２１０は、注目候補シーンの時間は、時間の閾値ＴＨｔより大きいか否かを判断する。具体的には、注目候補シーンを表す候補フレーム画像群において、時系列の順番が最初のフレーム画像から時系列の順番が最後のフレーム画像までの時間の間隔が閾値ＴＨｔを超えるか否かが判断される。注目候補シーンの時間が、時間の閾値ＴＨｔより大きい場合には（Ｓ１７５：ＹＥＳ）、Ｓ１８８にて、ＣＰＵ２１０は、注目候補シーンを候補シーンから除外して、Ｓ１９０に処理を進める。この結果、この動画解析処理によって、最初のフレーム画像から最後のフレーム画像までの時間の間隔が閾値ＴＨｔを超えるフレーム画像群は、候補フレーム画像群として特定されない。本実施例の合成画像では、例えば、スポーツを行う人物などの比較的短い間隔の動きを表現することを意図している。このために、合成画像の生成に用いられるシーン（フレーム画像群）としては、時間が過度に長いシーンは好ましくない。すなわち、最初のフレーム画像から最後のフレーム画像までの時間の間隔が過度に長いフレーム画像群は、被写体の動きを表現する合成画像の生成に用いるには不適切である可能性が比較的高い。この動画解析処理によれば、被写体の動きを表現する合成画像を生成するために適さないフレーム画像が、合成画像の生成に使用されることを抑制することができる。

注目候補シーンの時間が、時間の閾値ＴＨｔ以下である場合には（Ｓ１７５：ＮＯ）、Ｓ１８０にて、ＣＰＵ２１０は、注目候補シーンを表す候補フレーム画像群から、代表フレーム画像を決定する。例えば、注目候補シーンを表す候補フレーム画像群に含まれる２以上のフレーム画像のうち、動き量ΔＬが最大のフレーム画像が、代表フレーム画像に決定される。図４（Ｃ）の例では、点Ｐ１で示す動き量ΔＬを有するフレーム画像が代表フレーム画像に決定される。動き量ΔＬが最大であるフレーム画像は、注目候補シーンの特徴的な画像である可能性が高いからである。

これに代えて、図４（Ｃ）のグラフにおいて、動き量ΔＬが最大である点Ｐ１を含むピークと、当該ピークより時間が１つ前のピークと、の間の谷の部分に位置する点Ｐ２で示す動き量ΔＬを有するフレーム画像が代表フレーム画像に決定されても良い。動き量ΔＬが最大であるフレーム画像は、ブレが発生している可能性があるので、動き量ΔＬが最大であるフレーム画像に比較的近く、かつ、動き量ΔＬが比較的小さいフレーム画像が、より代表フレーム画像にふさわしい場合があるからである。

Ｓ１８５では、ＣＰＵ２１０は、代表フレーム画像を表すフレーム画像データに対して、縮小処理を実行して、サムネイル画像を表すサムネイル画像データを生成する。

Ｓ１９０では、ＣＰＵ２１０は、全ての候補シーンを処理したか否かを判断する。未処理の候補シーンが存在する場合には（Ｓ１９０：ＮＯ）、ＣＰＵ２１０は、Ｓ１６５に戻って、未処理の候補シーンを注目候補シーンとして選択する。全ての候補シーンが処理された場合には（Ｓ１９０：ＹＥＳ）、ＣＰＵ２１０は、各フレーム画像の動き量ΔＬのグラフ（図４（Ｃ）参照）を表示する画面データを生成して、動画解析処理を終了する。

図２に戻って説明を続ける。動画解析処理が終了すると、Ｓ３０では、ＣＰＵ２１０は、解析結果を表示する。具体的には、図３のＵＩ画面ＷＤのウインドウＳＷ２に、各フレーム画像の動き量ΔＬのグラフが表示される。ウインドウＳＷ２には、さらに、特定された１個以上の候補フレーム画像群（候補シーン）を示すマーカＳＰ、ＥＰが、表示される。マーカＳＰは、各候補フレーム画像群の最初のフレーム画像の時間的な位置を示すマーカである。マーカＥＰは、各候補フレーム画像群の最後のフレーム画像の時間的な位置を示すマーカである。ウインドウＳＷ２に示された解析結果から、動画解析処理によって、３個の候補シーンＣＣ１〜ＣＣ３が特定されたことが解る。

さらに、ＵＩ画面ＷＤ内のサムネイル画像の表示を指示するボタンＢＴ２がユーザによって押下されると、動画解析処理の解析結果の一部として、各候補シーンの代表フレーム画像を表すサムネイル画像の一覧を含むＵＩ画面（図示省略）が表示される。ユーザは、当該ＵＩ画面を介して、一のサムネイル画像を指定することによって、合成画像の生成に用いるべき候補フレーム画像群（候補シーン）を指定することができる。

Ｓ３５では、ＣＰＵ２１０は、処理対象の動画像データの変更指示を受け取ったか否かを判断する。動画像データの変更指示は、Ｓ１５の動画像データの指定と同様に、ＵＩ画面ＷＤのボタンＢＴ１をユーザが操作することによって行われる。

動画像データの変更指示を受け取った場合には（Ｓ３５：ＹＥＳ）、ＣＰＵ２１０は、Ｓ２０に戻って、新たな動画像データを取得する。動画像データの変更指示を受け取っていない場合には（Ｓ３５：ＮＯ）、Ｓ４０にて、ＣＰＵ２１０は、処理対象の動画像の一部の範囲の指定指示、すなわち、処理対象の動画像に含まれる複数個のフレーム画像のうちの一部の特定のフレーム画像群を指定するユーザの操作を受け取ったか否かを判断する。

特定のフレーム画像群を指定する操作は、図３のＵＩ画面ＷＤの上述したフレーム画像群指定部ＦＳに対する操作である。特定のフレーム画像群を指定するユーザの操作は、具体的には、指定すべきフレーム画像群における時系列の順番が最初のフレーム画像（すなわち、開始フレーム画像）と、時系列の順番が最後のフレーム画像（すなわち、終了フレーム画像）と、をそれぞれ指定する操作を含む。開始フレーム画像の指定は、例えば、指定すべきフレーム画像がウインドウＳＷ１に表示された状態で、開始フレーム画像選択ボタンＦＳ１を押下する操作である。同様に、終了フレーム画像の指定は、例えば、指定すべきフレーム画像がウインドウＳＷ１に表示された状態で、終了フレーム画像選択ボタンＦＳ２を押下する操作である。このように、開始フレーム画像と終了フレーム画像とを指定することによって、ユーザは、容易に、所望のフレーム画像群を指定することができる。

動画像の範囲の指定指示を受け取った場合には（Ｓ４０：ＹＥＳ）、Ｓ４５にて、ＣＰＵ２１０は、指定指示によって指定された範囲、すなわち、指定された特定のフレーム画像群を記録しておく。動画像の範囲の指定指示を受け取っていない場合には（Ｓ４０：ＮＯ）、Ｓ４５はスキップされる。

Ｓ５０では、ＣＰＵ２１０は、サムネイル画像の指定指示を受け取ったか否かを判断する。すなわち、ＣＰＵ２１０は、上述したサムネイル画像の一覧を含むＵＩ画面を介して、一のサムネイル画像を指定する指示をユーザから受け取ったか否かを判断する。サムネイル画像の指定指示を受け取った場合には（Ｓ５０：ＹＥＳ）、Ｓ５５にて、ＣＰＵ２１０は、指定されたサムネイル画像を記録しておく。サムネイル画像の指定指示を受け取っていない場合には（Ｓ５０：ＮＯ）、Ｓ５５はスキップされる。

Ｓ６０では、ＣＰＵ２１０は、自動選択指示を受け取ったか否かを判断する。すなわち、ＣＰＵ２１０は、図３のＵＩ画面ＷＤの自動選択ボタンＦＳ３がユーザによって押下されたか否かを判断する。自動選択指示を受け取った場合には（Ｓ６０：ＹＥＳ）、ＣＰＵ２１０は、Ｓ７０に処理を進める。自動選択指示を受け取っていない場合には（Ｓ６０：ＮＯ）、Ｓ６５にて、ＣＰＵ２１０は、プレビュー指示または印刷指示を受け取ったか否かを判断する。すなわち、ＣＰＵ２１０は、図３のＵＩ画面ＷＤのプレビュー指示ボタンＢＴ３または印刷指示ボタンＢＴ４が押下されたか否かを判断する。プレビュー指示または印刷指示を受け取った場合には（Ｓ６５：ＹＥＳ）、ＣＰＵ２１０は、Ｓ７０に処理を進める。プレビュー指示および印刷指示のいずれも受け取っていない場合には（Ｓ６５：ＮＯ）、ＣＰＵ２１０は、Ｓ３５に処理を戻す。

Ｓ７０では、ＣＰＵ２１０は、使用シーン選択処理を実行する。使用シーン選択処理は、Ｓ２５によって特定された複数個の候補シーンの中から、合成画像の生成に用いるべきシーン（使用シーンとも呼ぶ）を選択する処理である。使用シーン選択処理は、複数個の候補シーンを表す複数個の候補フレーム画像群の中から、使用シーンを表す１個のフレーム画像群（使用フレーム画像群とも呼ぶ）を選択する処理である、と言うこともできる。

図７は、使用シーン選択処理のフローチャートである。Ｓ２００では、ＣＰＵ２１０は、図２のＳ５５にて、ユーザによって指定されたサムネイル画像が記録されているか否かを判断する。サムネイル画像が記録されている場合には（Ｓ２００：ＹＥＳ）、Ｓ２０５にて、ＣＰＵ２１０は、指定されたサムネイル画像に対応する候補シーンを使用シーンとして選択して、使用シーン選択処理を終了する。指定されたサムネイル画像に対応する候補シーンは、代表フレーム画像の縮小画像が指定されたサムネイル画像である候補シーンである。換言すれば、サムネイル画像を指定するユーザの操作があった場合には、指定された一のサムネイル画像に対応する候補シーンを表す候補フレーム画像群が、使用フレーム画像群として優先的に選択される。したがって、ユーザの意図に沿った使用フレーム画像群を優先的に選択することができる。

サムネイル画像が記録されていない場合には（Ｓ２００：ＮＯ）、Ｓ２１０では、ＣＰＵ２１０は、図２のＳ４５にて、指定指示によって指定された範囲（指定範囲とも呼ぶ）が記録されているか否かを判断する。指定範囲が記録されている場合には（Ｓ２１０：ＹＥＳ）、Ｓ２１５にて、ＣＰＵ２１０は、指定範囲内の候補シーンを処理対象に決定する。具体的には、ＣＰＵ２１０は、Ｓ２５の動画解析処理によって特定された１個以上の候補シーンを表す１個以上の候補フレーム画像群のうち、ユーザによって指定された特定のフレーム画像群に含まれる候補フレーム画像群を、最終的な候補フレーム画像群に決定する。すなわち、ユーザによって指定された特定のフレーム画像群に含まれない候補フレーム画像群は、候補フレーム画像群から除外され、特定のフレーム画像群に含まれる候補フレーム画像群が、使用フレーム画像群として優先的に選択されることになる。この結果、ＣＰＵ２１０は、ユーザの意図に沿った適切な候補フレーム画像群を処理対象として特定することができる。

指定範囲が記録されていない場合には（Ｓ２１０：ＮＯ）、Ｓ２２０にて、ＣＰＵ２１０は、Ｓ２５にて特定された全ての候補シーンを処理対象に決定する。すなわち、Ｓ２５の動画解析処理によって特定された１個以上の候補シーンを表す１個以上の候補フレーム画像群の全てが、最終的な候補フレーム画像群に決定される。この結果、ＣＰＵ２１０は、ユーザの操作がない場合であっても、適切な候補フレーム画像群を処理対象として特定することができる。

Ｓ２３０では、ＣＰＵ２１０は、処理対象の候補シーンごとに、動き量の合計値を算出する。すなわち、処理対象の候補シーンを表す候補フレーム画像群に含まれる２以上のフレーム画像の動き量ΔＬの合計値ＳＬが、処理対象の候補シーンごとに算出される。

Ｓ２４０では、ＣＰＵ２１０は、算出された動き量ΔＬの合計値ＳＬが最大である候補シーンを使用シーンとして選択する。すなわち、算出された動き量ΔＬの合計値ＳＬが最大である候補シーンを表すフレーム画像群が、使用フレーム画像群として選択される。被写体の動きを表現する合成画像を生成するためには、動き量ΔＬが大きいフレーム画像が使用さえることが好ましいと考えられる。よりダイナミックな被写体の動きを表現する合成画像が生成され得るからである。したがって、この使用シーン選択処理によれば、被写体の動きを表現する合成画像を生成するために適したフレーム画像を含む使用フレーム画像群を適切に選択することができる。

使用シーン選択処理が終了すると、図２のＳ７５では、ＣＰＵ２１０は、使用フレーム選択処理を実行する。使用フレーム選択処理は、使用フレーム画像群に含まれる複数個のフレーム画像の中から、Ｍ個の使用フレーム画像を選択する処理である。なお、使用フレーム画像が選択される個数Ｍは、図３のＵＩ画面ＷＤの入力フィールドＮＦに入力された合成フレーム数Ｎ（Ｎは２以上の整数）に２を加えた個数に設定される（Ｍ＝Ｎ＋２、Ｍは４以上の整数）。ここで、合成フレーム数Ｎに、２を加えるのは、詳細は後述する合成処理において、背景を削除するために、前後１枚ずつのフレーム画像を参照するからである。

図８は、使用フレーム選択処理のフローチャートである。Ｓ３００では、ＣＰＵ２１０は、使用フレーム画像群の開始フレーム画像を基準フレーム画像に設定する。Ｓ３０５では、ＣＰＵ２１０は、１個の注目フレーム画像を選択する。注目フレーム画像は、使用フレーム画像群に含まれ、かつ、時系列の順番が基準フレーム画像より後である複数個のフレーム画像から、時系列の順番に選択される。

Ｓ３１０では、ＣＰＵ２１０は、基準フレーム画像と注目フレーム画像との間の動き量ΔＶＬを算出する。動き量ΔＶＬには、基準フレーム画像と、注目フレーム画像と、の間の輝度値Ｙの差分が用いられる。

Ｓ３１５では、ＣＰＵ２１０は、算出された動き量ΔＶＬが、所定の閾値ＴＨｍ以上であるか否かを判断する。動き量ΔＶＬが、所定の閾値ＴＨｍ以上である場合には（Ｓ３１５：ＹＥＳ）、Ｓ３２０にて、ＣＰＵ２１０は、現在の基準フレーム画像を、使用フレーム画像として選択する。

Ｓ３２５では、ＣＰＵ２１０は、現在の注目フレーム画像を、新たな基準フレーム画像に設定する。Ｓ３３０では、ＣＰＵ２１０は、選択すべき個数であるＭ個の使用フレーム画像が選択されたか否かを判断する。Ｍ個の使用フレーム画像が選択されていない場合には（Ｓ３３０：ＮＯ）、ＣＰＵ２１０は、Ｓ３３５に処理を進める。Ｍ個の使用フレーム画像が選択されている場合には（Ｓ３３０：ＹＥＳ）、使用フレーム選択処理は終了される。

動き量ΔＶＬが、所定の閾値ＴＨｍ未満である場合には（Ｓ３１５：ＮＯ）、ＣＰＵ２１０は、Ｓ３２０〜３３０をスキップして、Ｓ３３５に処理を進める。

Ｓ３３５では、ＣＰＵ２１０は、使用フレーム画像群に含まれるフレーム画像であり、かつ、時系列の順番が現在の注目フレーム画像の次のフレーム画像があるか否かを判断する。次のフレーム画像がある場合には（Ｓ３３５：ＹＥＳ）、ＣＰＵ２１０は、Ｓ３０５に戻って、当該次のフレーム画像を新たな注目フレーム画像として選択する。

次のフレーム画像がない場合には（Ｓ３３５：ＮＯ）、Ｓ３４０にて、ＣＰＵ２１０は、現在の閾値ＴＨｍを所定量だけ（例えば、初期値の１０％ずつ）小さな値に変更する。Ｓ３４５では、ＣＰＵ２１０は、処理を初期化して、Ｓ３００に処理を戻す。すなわち、選択済みの使用フレーム画像の記録は全て消去されて、最初から使用フレーム画像の選択がやり直される。

以上説明した使用フレーム選択処理によれば、時系列に連続する２個の使用フレーム画像の間の動き量が閾値ＴＨｍ以上になるように、２以上の使用フレーム画像が選択される。この結果、時系列に連続する２個の使用フレーム画像の間の動き量が過度に小さくなることが抑制される。例えば、仮に、使用フレーム画像群から、時間間隔が等間隔になるように単純に使用フレーム画像が選択される場合には、例えば、比較的被写体が動く速度が遅い部分から選択された時系列に連続する２個の使用フレーム画像の間の動き量が過度に小さくなる可能性がある。時系列に連続する２個の使用フレーム画像の間の動き量が過度に小さい場合には、２個の使用フレーム画像は、ほぼ同じフレーム画像となるので、フレーム画像間の重なりが過度に大きくなる。この結果、これらの２個の使用フレーム画像を合成しても、被写体の動きを適切に表現できない可能性が高くなる。本実施例では、このような不都合を抑制して、合成画像の生成に用いられる適切な使用フレーム画像を選択することができる。また、合成画像においてフレーム画像間の重なりが過度に大きくならないので、合成画像を印刷する場合の印刷材（例えば、インクやトナー）の使用量を低減することができる。

使用フレーム選択処理が終了すると、図２のＳ８０では、ＣＰＵ２１０は、合成処理を実行する。合成処理は、使用フレーム選択処理によって選択されたＭ個の使用フレーム画像を表すＭ個の使用フレーム画像データを用いて、被写体の動きを表現する１個の合成画像を生成する処理である。

図９は、合成処理のフローチャートである。Ｓ４００では、ＣＰＵ２１０は、生成すべき合成画像ＣＩ１の初期画像をバッファ領域２２２上に準備する。合成画像ＣＩ１の初期画像は、例えば、１個のフレーム画像データと同じサイズの画像であって、当該画像に含まれる全ての画素の値（例えば、ＹＣｂＣｒ値）が、初期値（例えば、（Ｙ、Ｃｂ、Ｃｒ）＝（０、０、０））である画像である。換言すれば、Ｓ４００にて、合成画像ＣＩ１を生成するためのメモリ領域がバッファ領域２２２上に確保される。

Ｓ４０５では、ＣＰＵ２１０は、使用フレーム選択処理によって選択されたＭ個の使用フレーム画像の中から、３個の注目フレーム画像、すなわち、第１〜第３注目フレーム画像を選択する。図１０は、合成処理の説明図である。図１０では、一例として５個の使用フレーム画像ＵＦ１〜ＵＦ５（図１０（Ａ））がフレーム選択処理によって選択され、かつ、背景を削除することが指示されている場合の例が示されている。この使用フレーム画像ＵＦ１〜ＵＦ５は、図の煩雑を避けるために、想定される被写体（例えば、スポーツをする人物）よりも簡単な球体を被写体ＢＡとする画像とされている。５個の使用フレーム画像ＵＦ１〜ＵＦ５は、被写体ＢＡが左から右に動く使用シーンを示す使用フレーム画像群である。このように、使用シーンにおいて動いている被写体を動体とも呼ぶ。

１回目のＳ４０５では、時系列の順番が１〜３番目の３個の使用フレーム画像ＵＦ１〜ＵＦ３が、第１〜第３注目フレーム画像として選択される。また、２回目のＳ４０５では、時系列の順番が２〜４番目の３個の使用フレーム画像ＵＦ２〜ＵＦ４が、第１〜第３注目フレーム画像として選択される。一般的に言えば、ｎ回目（ｎは１以上Ｎ以下の整数）のＳ４０５では、時系列の順番がｎ〜（ｎ＋２）番目の３個の使用フレーム画像が、第１〜第３注目フレーム画像として選択される。

Ｓ４１０では、ＣＰＵ２１０は、生成すべき合成画像において、背景を削除するか否かを判断する。図３のＵＩ画面ＷＤのチェックボックスＣＢ１がＯＮにされることによって、背景の削除が指示されている場合には、ＣＰＵ２１０は、背景を削除すると判断する。ＵＩ画面ＷＤのチェックボックスＣＢ１がＯＦＦにされている場合には、ＣＰＵ２１０は、背景を削除しないと判断する。

背景を削除する場合には（Ｓ４１０：ＹＥＳ）、Ｓ４１５にて、ＣＰＵ２１０は、第１注目フレーム画像と第２の注目フレーム画像との間の差分画素を示す二値画像を生成する。ここで、２個のフレーム画像の間の差分画素は、一の注目フレーム画像内の複数個の画素のうち、他の注目フレーム画像内の対応する画素（すなわち、同じ位置の画素）との輝度値Ｙの差分の絶対値が、所定の閾値ＴＨｙより大きい画素である。ＣＰＵ２１０は、第１注目フレーム画像内の複数個の画素を、差分画素と差分画素ではない画素と、に分類することによって、二値画像（以下、第１の二値画像とも呼ぶ）を生成する。図１０（Ｂ）には、使用フレーム画像ＵＦ１〜ＵＦ３が、第１〜第３の注目フレーム画像である場合に生成される第１の二値画像Ｄ１２、すなわち、２個の使用フレーム画像ＵＦ１、ＵＦ２の間の差分画素ＤＰ１２を示す第１の二値画像Ｄ１２が示されている。図１０（Ｂ）に示すように、第１の二値画像Ｄ１２では、２個の使用フレーム画像ＵＦ１、ＵＦ２のいずれかにおいて、被写体ＢＡが位置していた領域が、差分画素ＤＰ１２が位置する領域として抽出されている。

Ｓ４２５では、ＣＰＵ２１０は、第２注目フレーム画像と第３の注目フレーム画像との間の差分画素を示す二値画像（以下、第２の二値画像とも呼ぶ）を生成する。図１０（Ｂ）には、使用フレーム画像ＵＦ１〜ＵＦ３が、第１〜第３の注目フレーム画像である場合に生成される第２の二値画像Ｄ２３、すなわち、２個の使用フレーム画像ＵＦ２、ＵＦ３の間の差分画素ＤＰ２３を示す第２の二値画像Ｄ２３が示されている。図１０（Ｂ）に示すように、第２の二値画像Ｄ２３では、２個の使用フレーム画像ＵＦ２、ＵＦ３のいずれかにおいて、被写体ＢＡが位置していた領域が、差分画素ＤＰ２３が位置する領域として抽出されている。

Ｓ４３０では、ＣＰＵ２１０は、２つの二値画像Ｄ１２、Ｄ２３の論理積を画素ごとに算出して、動体領域を検出する。具体的には、２つの二値画像Ｄ１２、Ｄ２３の論理積を画素ごとに取ることによって、動体画素ＭＰを示す二値画像ＭＢ（図１０（Ｃ））が生成される。二値画像ＭＢ内の複数個の画素のうち、第１の二値画像Ｄ１２の対応する画素が差分画素に分類され、かつ、第２の二値画像Ｄ２３の対応する画素が差分画素に分類されている画素は、動体画素ＭＰに分類される。また、二値画像ＭＢ内の複数個の画素のうち、第１の二値画像Ｄ１２の対応する画素、および、第２の二値画像Ｄ２３の対応する画素の少なくとも一方が差分画素に分類されていない画素は、動体画素ＭＰではない画素に分類される。この結果、図１０（Ｃ）に示すように、第２注目フレーム画像（図１０（Ｃ）の例では、使用フレーム画像ＵＦ２）内の動体ＢＡの領域が、二値画像ＭＢ内の動体画素ＭＰによって構成される動体領域として検出される。

Ｓ４３０では、ＣＰＵ２１０は、第２注目フレーム画像から動体画像を処理画像として抽出する。図１０（Ｃ）の例では、第２注目フレーム画像としての使用フレーム画像ＵＦ２から、二値画像ＭＢ内の複数個の動体画素ＭＰに対応する動体画像ＭＩ２（図１０（Ｄ））が抽出される。

背景を削除しない場合には（Ｓ４１０：ＮＯ）、ＣＰＵ２１０は、Ｓ４１５〜Ｓ４３０の背景を削除するための処理を行わずに、Ｓ４４５にて、ＣＰＵ２１０は、第２注目フレーム画像の全体を処理画像として決定する。

Ｓ４３５では、時系列の順番に応じて、処理画像の輝度調整率を決定する。合成フレーム数をＮ（Ｎは２以上の整数）とすると、ｎ番目の処理画像の輝度調整率ＡＪは、以下の式（１）を用いて算出される。
ＡＪ＝（Ｎ−ｎ）／Ｎ ...（１）

１番目の処理画像が最も輝度調整率が高く、時系列の順番が大きくなるほど、輝度調整率は、低くなる。そして、最後の処理画像（すなわち、Ｎ番目の処理画像）では、輝度調整率は０となる。すなわち、最後の処理画像には、輝度の調整は行われない。

Ｓ４４０では、算出された輝度調整率ＡＪを用いて処理画像（すなわち、背景が削除された使用フレーム画像、または、背景が削除されていな使用フレーム画像）の輝度を調整する。具体的には、処理画像の各画素の輝度Ｙに、（１＋ＡＪ）を乗じることによって調整済みの処理画像を生成する。輝度調整率ＡＪが大きいほど、輝度Ｙが高く調整されるので、輝度調整率ＡＪが大きいほど、処理画像の濃度が低くなることが解る。

Ｓ４４５では、ＣＰＵ２１０は、調整済みの処理画像を、生成中の合成画像に書き込む。例えば、１番目の処理画像は、Ｓ４００で準備された合成画像の初期画像上に上書きされる。そして、２番目の処理画像は、１番目の処理画像のみが書き込まれた合成画像上に上書きされる。

Ｓ４５０では、ＣＰＵ２１０は、未処理の使用フレーム画像はあるか否かを判断する。時系列の順番が最後の使用フレーム画像が、現在の第３注目フレーム画像である場合には、未処理の使用フレーム画像はないと判断される。時系列の順番が最後の使用フレーム画像が、現在の第３注目フレーム画像でない場合には、未処理の使用フレーム画像があると判断される。

未処理の使用フレーム画像がある場合には（Ｓ４５０：ＹＥＳ）、ＣＰＵ２１０は、Ｓ４０５に戻る。したがって、合成フレーム数がＮである場合には、Ｓ４０５〜Ｓ４４５の処理が、Ｎ回だけ繰り返される。例えば、図１０の例では、５個の使用フレーム画像ＵＦ１〜ＵＦ５があるので、すなわち、使用フレーム画像の個数Ｍ＝５、合成フレーム数Ｎ＝３であるので、Ｓ４０５〜Ｓ４４５の処理が、３回繰り返される。この結果、図１０（Ｄ）に示すように、３個の動体画像ＭＩ２〜ＭＩ３が生成され、これらの３個の動体画像ＭＩ２〜ＭＩ３が合成された合成画像ＣＩ１が生成される。なお、合成画像ＣＩ１は、被写体を中心とした所定の大きさにトリミングされても良い。

図１１は、合成画像の一例を示す図である。図１１（Ａ）には、図１０の例、すなわち、使用フレーム画像ＵＦ１〜ＵＦ５（図１０（Ａ））がフレーム選択処理によって選択され、かつ、背景を削除することが指示されている場合に生成される合成画像ＣＩ１が示されている。合成画像ＣＩ１では、上述した被写体ＢＡが右から左へと動く様子が、被写体ＢＡの濃度が互いに異なる３個の被写体ＢＡ〜ＢＡ３によって表現されている。図１１（Ｂ）には、使用フレーム画像ＵＦ１〜ＵＦ５（図１０（Ａ））がフレーム選択処理によって選択され、かつ、背景を削除することが指示されていない場合に生成される合成画像ＣＩ２が示されている。合成画像ＣＩ２は、使用フレーム画像ＵＦ１〜ＵＦ５の背景ＢＧが表現されている点が、合成画像ＣＩ１とは異なる。なお、背景ＢＧを削除する場合には、動きのある被写体だけを強調した合成画像を生成することができる。また、合成画像を印刷する場合の印刷材（例えば、インクやトナー）の使用量を低減することができる。

以上説明した合成処理によれば、ＣＰＵ２１０は、使用フレーム画像ＵＦ２〜ＵＦ４（背景が削除された使用フレーム画像、または、背景が削除されていな使用フレーム画像）の輝度を、時系列の順番に従って段階的に変化するように調整している（Ｓ４３５、Ｓ４４０）。そして、ＣＰＵ２１０は、輝度が調整済みの使用フレーム画像ＵＦ２〜ＵＦ４を用いて、合成画像ＣＩ１、ＣＩ２を生成する（Ｓ４４５）。したがって、ＣＰＵ２１０は、被写体ＢＡの動きが解りやすく表現された合成画像ＣＩ１、ＣＩ２を生成することができる。また、一部分の濃度が下げられることで、合成画像を印刷する場合の印刷材（例えば、インクやトナー）の使用量を低減することができる。なお、図１０、図１１に例示された使用フレーム画像ＵＦ１〜ＵＦ５や合成画像ＣＩ１、ＣＩ２は、図の煩雑を避けるために簡単な画像が用いられているが、例えば、スポーツを撮影した動画像を処理対象とすれば、スポーツを行う人物の動き、例えば、ゴルフクラブ、ラケット、バットなどを振る人物の動きを表す適切な合成画像が生成される。

合成処理が終了すると、図２のＳ８５では、ＣＰＵ２１０は、合成画像を出力する。例えば、Ｓ７０〜Ｓ８５の処理へと進んだ契機が、プレビュー指示（Ｓ６５）である場合には、ＣＰＵ２１０は、合成画像を表す合成画像データを用いて、合成画像をウインドウＳＷ１に表示する。また、Ｓ７０〜Ｓ８５の処理へと進んだ契機が、印刷指示（Ｓ６５）である場合には、ＣＰＵ２１０は、合成画像データを用いて印刷ジョブを生成して、当該印刷ジョブを印刷装置３００に送信する。この結果、印刷装置３００によって合成画像が印刷される。また、また、Ｓ７０〜Ｓ８５の処理へと進んだ契機が、自動選択指示（Ｓ６０）である場合には、ＣＰＵ２１０は、上述した合成画像のウインドウＳＷ１への表示、あるいは、合成画像を印刷するための印刷ジョブの印刷装置３００への送信のいずれかを実行する。

合成画像の出力が終了すると、ＣＰＵ２１０は、Ｓ３５に処理を戻す。この結果、例えば、ＣＰＵ２１０は、ＵＩ画面ＷＤを介して、ユーザから各種の指示、例えば、上述した動画像の変更指示やサムネイル画像の指定指示を待つ状態に戻る。

以上説明した本実施例によれば、動画解析処理（図５、図６）において、複数個のフレーム画像のうちの注目フレーム画像と他のフレーム画像との間の差分に基づいて、注目フレーム画像の動き量ΔＬが検出される（図５のＳ１１０）。そして、複数個のフレーム画像の動き量ΔＬの時系列の変化に基づいて、複数個のフレーム画像から、１以上の候補シーンを表す１以上の候補フレーム画像群が特定される（図５のＳ１１５〜Ｓ１４５）。そして、使用シーン選択処理（図７）において、１以上の候補フレーム画像群の中から、１個の使用フレーム画像群が選択される。そして、使用フレーム選択処理（図８）において使用フレーム画像群から２以上の使用フレーム画像を表す２以上の使用フレーム画像データＵＦ１〜ＵＦ５が選択される。さらに、合成処理（図９）において、２以上の使用フレーム画像データＵＦ１〜ＵＦ５を用いて、被写体ＢＡの動きを表現する１個の合成画像ＣＩ１、ＣＩ２が生成される。この結果、例えば、上述したように、静止シーンＳＣ２、背景移動シーンＳＣ３のように、被写体の動きを表現する合成画像の生成に適さないシーンを表すフレーム画像群から、使用フレーム画像が選択されることが抑制される。そして、被写体動作シーンＳＣ１のように、被写体の動きを表現する合成画像の生成に適したシーンを表すフレーム画像群から、使用フレーム画像が選択される可能性を高くすることができる。したがって、被写体の動きを表現する合成画像の生成に用いるべきフレーム画像を適切に決定することができる。そして、最終的に適切な合成画像を生成することができる。

また、動画像に含まれるフレーム画像の個数は、膨大である場合もあり得る。上述したように、被写体の動きを表現する合成画像の生成に用いるのに適さないシーン（すなわち、フレーム画像群）も存在する。このために、ユーザに合成画像の生成に用いるフレーム画像を選択させると、ユーザの負担が過大になる可能性があり、かつ、適切なフレーム画像が選択されない可能性があった。本実施例では、このようなユーザに負担をかけることもなく、適切なフレーム画像を選択することができる。

Ｂ．変形例：
（１）上記実施例の使用シーン選択処理（図７）では、フレーム画像の動き量ΔＬの合計値ＳＬが、処理対象の候補シーンごとに算出され（Ｓ２３０）、動き量ΔＬの合計値ＳＬが最大である候補シーンが使用シーンとして選択される（Ｓ２４０）。これに代えて、別の手法を用いて、使用シーンが選択されても良い。

図１２は、変形例の使用シーン選択処理のフローチャートである。図１２のＳ２３０Ｂでは、ＣＰＵ２１０は、候補シーンの動き量の微分値の最大値を、候補シーンごとに特定する。すなわち、候補シーンを表す候補フレーム画像群に含まれる２以上のフレーム画像の動き量ΔＬの単位時間辺りの変化量の最大値が、候補フレーム画像群ごとに特定される。

より具体的には、時系列の順番がｍ番目のフレーム画像について、動き量ΔＬの単位時間辺りの変化量は、例えば、｛ΔＬ（ｍ）−Δ（ｍ＋１）｝の絶対値で表される。ＣＰＵ２１０は、動き量ΔＬの単位時間辺りの変化量を候補フレーム画像群に含まれる全てのフレーム画像について算出する。そして、ＣＰＵ２１０は、これらの単位時間辺りの変化量の最大値を候補フレーム画像群ごとに特定する。

Ｓ２４０では、ＣＰＵ２１０は、単位時間辺りの変化量の最大値が最大である候補シーンを使用シーンとして選択する。すなわち、単位時間辺りの変化量の最大値が最大である候補シーンを表すフレーム画像群が、使用フレーム画像群として選択される。図１２の他のステップの処理は、図７の使用シーン選択処理の同一符号のステップと同じである。

本変形例によれば、被写体の動き量が大きく変化しているシーンが使用シーンに選択される。このようなシーンも被写体の動きを表現する合成画像を生成するために適していると考えられる。したがって、本変形例によっても、被写体の動きを表現する合成画像を生成するために適したフレーム画像を含む使用フレーム画像群を適切に選択することができる。

一般的には、動き量ΔＬの合計値ＳＬが最大であること（実施例）や単位時間辺りの変化量の最大値が最大であること（変形例）のように、被写体の動き量や動く速度などの動きに関する量が比較的大きいことを示す所定の条件に基づいて、使用フレーム画像群が選択されることが好ましい。例えば、動き量ΔＬのピークの個数、時系列に連続する２個のフレーム画像間の画素ごとの移動量を示すフローベクトルのベクトル量の合計値、などが最大であることを条件に、使用フレーム画像群が選択されても良い。

（２）上記実施例の合成処理（図９）では、合成すべき処理画像の画素の値を、生成中の合成画像の画素の値に置換（上書き）することによって、合成画像を生成している。これに代えて、合成すべき処理画像の画素の値を、生成中の合成画像の画素の値に加算することによって、合成画像を生成しても良い。置換によって合成画像を生成する場合には、加算によって合成画像を生成するよりも見やすい合成画像を生成することができる。加算によって合成画像を生成する場合には、置換によって合成画像を生成するよりも被写体の動きが解りやすい合成画像を生成することができる。

（３）上記実施例の図２の画像処理のＳ４０において、動画像の範囲、すなわち、特定のフレーム画像群の指定は、ユーザが開始フレーム画像と終了フレーム画像を指定することによって行われているが、これに限らず、一方のフレーム画像をユーザが指定し、他方のフレーム画像は自動的に指定されてもよい。例えば、ユーザが開始フレーム画像を指定すると、自動的に終了フレーム画像が指定されることによって、動画像の範囲が指定されても良い。自動的に指定される終了フレーム画像は、例えば、動画解析処理によって特定された１個以上の候補シーンの終了フレーム画像のうち、ユーザによって指定された開始フレーム画像より時系列の順番が後である終了フレーム画像であっても良い。ユーザによって指定された開始フレーム画像より時系列の順番が後である終了フレーム画像が複数個存在する場合には、例えば、これらの複数個の終了フレーム画像のうち、時系列の順番が最初の終了フレーム画像が自動的に指定される。これにより、ユーザによって指定された開始フレーム画像から自動的に指定された終了フレーム画像までが、１つの候補シーンであり、かつ、使用シーンとして選択される。

（４）上記実施例の合成処理では、時系列の順番が後の使用フレーム画像ほど濃度が高くなるように、輝度が調整されている（図９のＳ４４０）。これに代えて、例えば、代表フレーム画像に最も近い使用フレーム画像の濃度が最も高くなり、代表フレーム画像から時系列の順番が前後に離れた使用フレーム画像ほど濃度が低くなるように、輝度が調整されても良い。

（５）上記実施例の動画解析処理では、２個の時系列に連続するフレーム画像間の輝度値Ｙの差分の絶対値を、動き量ΔＬとして用いている。これに代えて、動き量は、時系列の順番が２以上離れた２個のフレーム画像に基づいて算出されても良い。また、２個のフレーム画像間の差分は、輝度値Ｙの差分に限らず、他の色値（例えば、ＲＧＢ値）の差分であっても良い。

（６）上記実施例では、フレーム画像ごとに算出される動き量のみをに基づいて、候補シーンが特定されている。フレーム画像ごとに算出される動き量に加えて、動画像に関連付けて記録された音を用いて、候補シーンが特定されてもよい。例えば、音量あるいは音質が大きく変化するタイミングを考慮して、候補シーンが特定されても良い。あるいは、フレーム画像間の色相の変化量を控除して、候補シーンが特定されても良い。

（７）閾値ＴＨｂや閾値ＴＨｕは、例えば、ユーザによって変更可能としてもよい。Ｓ３０で表示される解析結果で、候補シーンがゼロの場合等に、ユーザの操作により変更した閾値に従い、再度、動画解析処理が実行されてもよい。

（８）複数個の使用フレーム画像は、時系列の順序が連続する２個の使用フレーム画像間の時間間隔が等間隔になるように選択されてもよい。このように使用フレーム画像を選択することで、時間的変化がユーザに視覚的にわかりやすい合成画像を出力することができる。

（９）図２の画像処理を実現する画像処理装置は、計算機２００に限らず、種々の装置であってよい。例えば、プリンタ、ビデオカメラ、スキャナなどの画像関連機器の内部のコンピュータ、汎用のパーソナルコンピュータ、ネットワークに接続されたサーバ、スマートフォンなどの携帯端末等を採用可能である。ビデオカメラやビデオカメラ付きの携帯端末が採用される場合には、例えば、動画像を撮影後に、ビデオカメラやビデオカメラ付きの携帯端末は、図２の画像処理を実行して合成画像データを生成し、該合成画像データをプリンタに送信する。そして、プリンタにて合成画像が印刷される。サーバが採用される場合には、例えば、サーバは、携帯端末、計算機、プリンタなどのクライアントから動画像データを取得し、図２のＳ２５、Ｓ７０、Ｓ７５、Ｓ８０の処理を実行して、合成画像を表す合成画像データを生成する。そして、生成された合成画像データがサーバからクライアントへと送信される。また、ネットワークを介して互いに通信可能な複数個のコンピュータが、画像処理に要する機能を一部ずつ分担して、全体として、画像処理の機能を提供してもよい。この場合、複数個のコンピュータの全体が、画像処理装置の例である。

（１０）上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、実施例の画像処理の一部または全部の処理は、ＡＳＩＣなどのハードウェアによって実行されても良い。

以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

２００...計算機、２１０...ＣＰＵ、２２０...揮発性記憶装置、２２２...バッファ領域、２３０...不揮発性記憶装置、２３２...コンピュータプログラム、２３４...動画像ファイル、２６０...操作部、２７０...表示部、２８０...通信部、３００...印刷装置

Claims (14)

1. 画像処理装置であって、
   時系列の順番に並ぶ複数個のフレーム画像を表す複数個のフレーム画像データを含む動画像データを取得する動画像取得部と、
   複数個の前記フレーム画像のうちの注目フレーム画像と他のフレーム画像との間の差分に基づいて、前記注目フレーム画像の動き量を検出する動き量検出部と、
   前記動き量検出部によって検出される複数個の前記フレーム画像の前記動き量の時系列の変化に基づいて、複数個の前記フレーム画像から、１以上の候補シーンを表す１以上の候補フレーム画像群を特定する特定部と、
   １以上の前記候補フレーム画像群の中から、１個の使用フレーム画像群を選択する画像群選択部と、
   前記使用フレーム画像群から選択される３以上の使用フレーム画像の輝度を時系列の順番に従って段階的に変化するように調整し、調整済みの前記３以上の前記使用フレーム画像を表す３以上の使用フレーム画像データを用いて、被写体の動きを表現する１個の合成画像を生成する生成部と、
   を備える、画像処理装置。
2. 画像処理装置であって、
   時系列の順番に並ぶ複数個のフレーム画像を表す複数個のフレーム画像データを含む動画像データを取得する動画像取得部と、
   複数個の前記フレーム画像のうちの注目フレーム画像と他のフレーム画像との間の差分に基づいて、前記注目フレーム画像の動き量を検出する動き量検出部と、
   前記動き量検出部によって検出される複数個の前記フレーム画像の前記動き量の時系列の変化に基づいて、複数個の前記フレーム画像から、１以上の候補シーンを表す１以上の候補フレーム画像群を特定する特定部と、
   １以上の前記候補フレーム画像群の中から、１個の使用フレーム画像群を選択する画像群選択部と、
   時系列に連続する２個の使用フレーム画像の間の前記動き量が第２閾値以上になるように、前記使用フレーム画像群から２以上の前記使用フレーム画像を選択するフレーム選択部と、
   前記フレーム選択部で選択された２以上の前記使用フレーム画像を表す２以上の使用フレーム画像データを用いて、被写体の動きを表現する１個の合成画像を生成する生成部と、
   を備える、画像処理装置。
3. 画像処理装置であって、
   時系列の順番に並ぶ複数個のフレーム画像を表す複数個のフレーム画像データを含む動画像データを取得する動画像取得部と、
   複数個の前記フレーム画像のうちの注目フレーム画像と他のフレーム画像との間の差分に基づいて、前記注目フレーム画像の動き量を検出する動き量検出部と、
   前記動き量検出部によって検出される複数個の前記フレーム画像の前記動き量の時系列の変化に基づいて、複数個の前記フレーム画像から、１以上の候補シーンを表す１以上の候補フレーム画像群を特定する特定部と、
   １以上の前記候補フレーム画像群の中から、１個の使用フレーム画像群を選択する画像群選択部であって、時系列の順番が最初の前記フレーム画像から時系列の順番が最後の前記フレーム画像までの時間の間隔が第３の閾値を超える前記候補フレーム画像群を前記使用フレーム画像群として選択しない、前記画像群選択部と、
   前記使用フレーム画像群から選択される２以上の使用フレーム画像を表す２以上の使用フレーム画像データを用いて、被写体の動きを表現する１個の合成画像を生成する生成部と、
   を備える、画像処理装置。
4. 画像処理装置であって、
   時系列の順番に並ぶ複数個のフレーム画像を表す複数個のフレーム画像データを含む動画像データを取得する動画像取得部と、
   複数個の前記フレーム画像のうちの注目フレーム画像と他のフレーム画像との間の差分に基づいて、前記注目フレーム画像の動き量を検出する動き量検出部と、
   複数個の前記フレーム画像の前記動き量の時系列の変化を示す画像を含む表示画面を表示部に表示する第１の表示制御部と、
   前記表示画面を介して、複数個の前記フレーム画像のうちの特定のフレーム画像群を指定するユーザの操作を受け取る第１の操作部と、
   前記動き量検出部によって検出される複数個の前記フレーム画像の前記動き量の時系列の変化に基づいて、複数個の前記フレーム画像から、１以上の候補シーンを表す１以上の候補フレーム画像群を特定する特定部であって、前記ユーザの操作があった場合には、前記特定のフレーム画像群に含まれる複数個の前記フレーム画像から、１以上の前記候補フレーム画像群を特定する、前記特定部と、
   １以上の前記候補フレーム画像群の中から、１個の使用フレーム画像群を選択する画像群選択部と、
   前記使用フレーム画像群から選択される２以上の使用フレーム画像を表す２以上の使用フレーム画像データを用いて、被写体の動きを表現する１個の合成画像を生成する生成部と、
   を備える、画像処理装置。
5. 請求項４に記載の画像処理装置であって、
   前記フレーム画像群を指定するユーザの操作は、前記特定のフレーム画像群における時系列の順番が最初の前記フレーム画像を指定する操作と、前記特定のフレーム画像群における時系列の順番が最後の前記フレーム画像を指定する操作と、を含む、画像処理装置。
6. 画像処理装置であって、
   時系列の順番に並ぶ複数個のフレーム画像を表す複数個のフレーム画像データを含む動画像データを取得する動画像取得部と、
   複数個の前記フレーム画像のうちの注目フレーム画像と他のフレーム画像との間の差分に基づいて、前記注目フレーム画像の動き量を検出する動き量検出部と、
   前記動き量検出部によって検出される複数個の前記フレーム画像の前記動き量の時系列の変化に基づいて、複数個の前記フレーム画像から、１以上の候補シーンを表す１以上の候補フレーム画像群を特定する特定部と、
   １以上の前記候補フレーム画像群の中から、１個の使用フレーム画像群を選択する画像群選択部であって、各前記候補フレーム画像群に含まれる２以上の前記フレーム画像の前記動き量の合計値を算出し、前記合計値が最大である前記候補フレーム画像群を前記使用フレーム画像群として選択する、前記画像群選択部と、
   前記使用フレーム画像群から選択される２以上の使用フレーム画像を表す２以上の使用フレーム画像データを用いて、被写体の動きを表現する１個の合成画像を生成する生成部と、
   を備える、画像処理装置。
7. 画像処理装置であって、
   時系列の順番に並ぶ複数個のフレーム画像を表す複数個のフレーム画像データを含む動画像データを取得する動画像取得部と、
   複数個の前記フレーム画像のうちの注目フレーム画像と他のフレーム画像との間の差分に基づいて、前記注目フレーム画像の動き量を検出する動き量検出部と、
   前記動き量検出部によって検出される複数個の前記フレーム画像の前記動き量の時系列の変化に基づいて、複数個の前記フレーム画像から、１以上の候補シーンを表す１以上の候補フレーム画像群を特定する特定部と、
   １以上の前記候補フレーム画像群の中から、１個の使用フレーム画像群を選択する画像群選択部であって、各前記候補フレーム画像群に含まれる２以上の前記フレーム画像の前記動き量の単位時間あたりの変化量の最大値を算出し、前記所定時間あたりの変化量の最大値が最大である前記候補フレーム画像群を前記使用フレーム画像群として選択する、前記画像群選択部と、
   前記使用フレーム画像群から選択される２以上の使用フレーム画像を表す２以上の使用フレーム画像データを用いて、被写体の動きを表現する１個の合成画像を生成する生成部と、
   を備える、画像処理装置。
8. 請求項２〜７のいずれかに記載の画像処理装置であって、
   前記特定部は、
   前記動き量が第１閾値より大きい前記フレーム画像を含まないフレーム画像群を前記候補フレーム画像群として特定し、
   前記動き量が前記第１閾値より大きい前記フレーム画像を含むフレーム画像群を前記候補フレーム画像群として特定しない、画像処理装置。
9. 請求項２〜８のいずれかに記載の画像処理装置であって、
   前記生成部は、２以上の前記使用フレーム画像の輝度を、時系列の順番に従って段階的に変化するように調整し、
   調整済みの２以上の前記使用フレーム画像を用いて、前記合成画像を生成する、画像処理装置。
10. 請求項２〜９のいずれかに記載の画像処理装置であって、さらに、
    前記１以上の候補フレーム画像群から１個ずつ選択される代表フレーム画像をそれぞれ表す１以上のサムネイル画像を表示部に表示する第２の表示制御部と、
    表示される１個以上の前記サムネイル画像から、一のサムネイル画像を指定するユーザの操作を受け取る第２の操作部と、
    前記画像群選択部は、前記ユーザの操作があった場合には、前記ユーザの操作によって指定された前記一のサムネイル画像に対応する前記候補フレーム画像群を、前記使用フレーム画像群として優先的に選択する、画像処理装置。
11. コンピュータプログラムであって、
    時系列の順番に並ぶ複数個のフレーム画像を表す複数個のフレーム画像データを含む動画像データを取得する動画像取得機能と、
    複数個の前記フレーム画像のうちの注目フレーム画像と他のフレーム画像との間の差分に基づいて、前記注目フレーム画像の動き量を検出する動き量検出機能と、
    前記動き量検出機能によって検出される複数個の前記フレーム画像の前記動き量の時系列の変化に基づいて、複数個の前記フレーム画像から、１以上の候補シーンを表す１以上の候補フレーム画像群を特定する特定機能と、
    １以上の前記候補フレーム画像群の中から、１個の使用フレーム画像群を選択する画像群選択機能と、
    前記使用フレーム画像群から選択される３以上の使用フレーム画像の輝度を時系列の順番に従って段階的に変化するように調整し、調整済みの前記３以上の前記使用フレーム画像を表す３以上の使用フレーム画像データを用いて、被写体の動きを表現する１個の合成画像を生成する生成機能と、
    をコンピュータに実現させる、コンピュータプログラム。
12. コンピュータプログラムであって、
    時系列の順番に並ぶ複数個のフレーム画像を表す複数個のフレーム画像データを含む動画像データを取得する動画像取得機能と、
    複数個の前記フレーム画像のうちの注目フレーム画像と他のフレーム画像との間の差分に基づいて、前記注目フレーム画像の動き量を検出する動き量検出機能と、
    前記動き量検出機能によって検出される複数個の前記フレーム画像の前記動き量の時系列の変化に基づいて、複数個の前記フレーム画像から、１以上の候補シーンを表す１以上の候補フレーム画像群を特定する特定機能と、
    １以上の前記候補フレーム画像群の中から、１個の使用フレーム画像群を選択する画像群選択機能と、
    時系列に連続する２個の使用フレーム画像の間の前記動き量が第２閾値以上になるように、前記使用フレーム画像群から２以上の前記使用フレーム画像を選択するフレーム選択機能と、
    前記フレーム選択機能で選択された２以上の前記使用フレーム画像を表す２以上の使用フレーム画像データを用いて、被写体の動きを表現する１個の合成画像を生成する生成機能と、
    をコンピュータに実現させる、コンピュータプログラム。
13. コンピュータプログラムであって、
    時系列の順番に並ぶ複数個のフレーム画像を表す複数個のフレーム画像データを含む動画像データを取得する動画像取得機能と、
    複数個の前記フレーム画像のうちの注目フレーム画像と他のフレーム画像との間の差分に基づいて、前記注目フレーム画像の動き量を検出する動き量検出機能と、
    前記動き量検出機能によって検出される複数個の前記フレーム画像の前記動き量の時系列の変化に基づいて、複数個の前記フレーム画像から、１以上の候補シーンを表す１以上の候補フレーム画像群を特定する特定機能と、
    １以上の前記候補フレーム画像群の中から、１個の使用フレーム画像群を選択する画像群選択機能であって、時系列の順番が最初の前記フレーム画像から時系列の順番が最後の前記フレーム画像までの時間の間隔が第３の閾値を超える前記候補フレーム画像群を前記使用フレーム画像群として選択しない、前記画像群選択機能と、
    前記使用フレーム画像群から選択される２以上の使用フレーム画像を表す２以上の使用フレーム画像データを用いて、被写体の動きを表現する１個の合成画像を生成する生成機能と、
    をコンピュータに実現させる、コンピュータプログラム。
14. コンピュータプログラムであって、
    時系列の順番に並ぶ複数個のフレーム画像を表す複数個のフレーム画像データを含む動画像データを取得する動画像取得機能と、
    複数個の前記フレーム画像のうちの注目フレーム画像と他のフレーム画像との間の差分に基づいて、前記注目フレーム画像の動き量を検出する動き量検出機能と、
    複数個の前記フレーム画像の前記動き量の時系列の変化を示す画像を含む表示画面を表示部に表示する第１の表示制御機能と、
    前記表示画面を介して、複数個の前記フレーム画像のうちの特定のフレーム画像群を指定するユーザの操作を受け取る第１の操作機能と、
    前記動き量検出機能によって検出される複数個の前記フレーム画像の前記動き量の時系列の変化に基づいて、複数個の前記フレーム画像から、１以上の候補シーンを表す１以上の候補フレーム画像群を特定する特定機能であって、前記ユーザの操作があった場合には、前記特定のフレーム画像群に含まれる複数個の前記フレーム画像から、１以上の前記候補フレーム画像群を特定する、前記特定機能と、
    １以上の前記候補フレーム画像群の中から、１個の使用フレーム画像群を選択する画像群選択機能と、
    前記使用フレーム画像群から選択される２以上の使用フレーム画像を表す２以上の使用フレーム画像データを用いて、被写体の動きを表現する１個の合成画像を生成する生成機能と、
    をコンピュータに実現させる、コンピュータプログラム。

Images