JP5304080B2 - 画像再生装置および画像再生プログラム - Google Patents

Description

本発明は、高フレームレートの動画像の再生に適した画像再生装置とその周辺技術に関する。

従来から、１秒当たり３０フレームを超える速度で被写体を連続的に撮影できる高速カメラが知られている。一方、一般的なテレビのフレームレートは約３０ｆｐｓであるので、上記の高速カメラで撮影された動画像を撮影速度と同じ速度で再生する場合には、動画像のフレーム数を表示装置のフレームレートに合わせて間引きする必要が生じる。

このとき、高フレームレートの動画像の情報量を生かして高精細な動画像の再生を行う手段として、画像加算を行うことも検討されている。一例として、特許文献１には、複数のフレームを加算合成して生成された合成画像を用いて動画再生を行う技術が開示されている。
特開２００４−２２２１０９号公報

しかし、従来の技術では、加算合成されたフレームが多重露光の場合と同様の画像になってしまう。そのため、移動する被写体の画像上での見栄えが悪くなる点で改善の余地があった。

そこで、本発明の目的は、高フレームレートの動画像を低いフレームレートで動画再生するときに、見栄えよく画像の再生を行うことのできる手段を提供することにある。

一の態様の画像再生装置は、撮像素子により連続的に撮像された第１動画像のデータを記憶媒体から取得するデータ読込部と、前記第１動画像のフレームから選択される複数の元画像を重み付け加算して、１フレームの合成画像を生成する画像合成部と、前記第１動画像での時系列に沿って複数の前記合成画像を順送りで再生し、前記第１動画像よりもフレームレートが低い第２動画像のデータを出力する第１再生モードと、前記第１動画像のフレーム数を間引きすることにより、前記第１動画像よりもフレームレートが低い第２動画像のデータを出力する第２再生モードとを切り替え自在とする動画出力部と、を備え、前記画像合成部は、前記第１再生モード下で１フレームの前記合成画像の生成に用いる前記元画像のうち、前記第１動画像の時系列で最も新しいフレームとなる元画像に対する重み付け値を、前記第１動画像の時系列で最も過去のフレームとなる元画像に対する重み付け値よりも高く、且つ、前記合成画像の生成に用いる他の前記元画像に対する重み付け値よりも高く設定することを特徴とする。

上記の一の態様の画像再生装置は、複数の元画像の間で被写体の動きベクトルを求める動きベクトル検出部をさらに備えていてもよい。そして、画像合成部は、動きベクトルに基づいて、合成画像を生成するときに元画像を重ね合わせる位置を調整してもよい。

上記の一の態様の画像再生装置は、第２動画像を表示する表示デバイスおよび第２動画像のデータを外部に出力する表示インターフェースの少なくとも一方をさらに備えていてもよい。

なお、一の態様の画像再生装置を備える撮像装置や、あるいは一の態様の画像再生装置の構成を画像再生方法、画像再生プログラムおよびプログラム記憶媒体に変換して表現したものも本発明の具体的態様として有効である。

一の態様によれば、重み付け加算で合成画像を生成するときに、元画像のうちで最も新しいフレームの重み付け値を、最も過去のフレームの重み付け値よりも高く設定する。これにより、自然な像流れのある合成画像が生成されて、見栄えのよい動画再生を行うことが可能となる。

＜一の実施形態の説明＞
図１は一の実施形態の電子カメラの構成例を示すブロック図である。一の実施形態の電子カメラは、１２０ｆｐｓの高フレームレートで動画撮影が可能である。また、一の実施形態の電子カメラは、上記の動画撮影で取得した動画像のデータを再生するときに、複数のフレームを加算した合成画像を用いて低フレームレートでの動画再生を行うことが可能である。

電子カメラは、レンズユニット１１と、第１レンズドライバ１２と、絞りドライバ１３と、シャッタドライバ１４と、第２レンズドライバ１５と、撮像素子１６と、信号処理部１７と、撮像制御部１８と、ＣＰＵ１９と、第１メモリ２０および第２メモリ２１と、表示制御部２２およびモニタ２３と、記録Ｉ／Ｆ（インターフェース）２４と、操作部２５と、閃光発光部２６とを有している。

ここで、第１レンズドライバ１２、絞りドライバ１３、シャッタドライバ１４、第２レンズドライバ１５、信号処理部１７、撮像制御部１８、表示制御部２２、記録Ｉ／Ｆ２４、操作部２５および閃光発光部２６は、それぞれＣＰＵ１９と接続されている。また、ＣＰＵ１９、第１メモリ２０、第２メモリ２１は、バス２７を介して相互に接続されている。

レンズユニット１１は、ズームレンズ１１ａと、フォーカシングレンズ１１ｂと、絞り１１ｃおよびシャッタ１１ｄとを内蔵している。ズームレンズ１１ａは、撮影倍率を光学的に変更するためのレンズである。このズームレンズ１１ａのレンズ位置は、第１レンズドライバ１２によって光軸方向に調整される。また、フォーカシングレンズ１１ｂは、焦点調節を行うためのレンズである。このフォーカシングレンズ１１ｂのレンズ位置は、第２レンズドライバ１５によって光軸方向に調整される。

また、レンズユニット１１の絞り１１ｃは、撮像素子１６に入射する単位時間当たりの光量を調節する。この絞り１１ｃの開口量は、絞りドライバ１３によって制御される。シャッタ１１ｄは、撮像素子１６への光を遮光して撮像時のシャッタスピードを調節する。このシャッタ１１ｄの動作はシャッタドライバ１４によって制御される。なお、上記の各ドライバ（１２〜１５）は、ＣＰＵ１９の指示に応じて駆動する。

撮像素子１６は、レンズユニット１１を通過した光束によって結像される被写体像を撮像してアナログの画像信号を生成する。この撮像素子１６の出力は信号処理部１７に接続されている。なお、一の実施形態での撮像素子１６は、静止画像の単写撮影および動画像の撮影がいずれも可能である。

信号処理部１７は、撮像素子１６の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。この信号処理部１７では、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換が行われる。なお、信号処理部１７から出力されたデジタルの画像信号はＣＰＵ１９に入力される。

撮像制御部１８は、ＣＰＵ１９の指示に基づいて、撮像素子１６および信号処理部１７に対して制御パルスを供給する。なお、撮像素子１６の電荷蓄積時間や信号読みだしのタイミングは、撮像制御部１８の制御パルスによって調整されることとなる。

ＣＰＵ１９は、シーケンスプログラムに従って電子カメラの撮像動作や再生動作を統括的に制御するとともに、各種の画像処理を行うプロセッサである。一例として、ＣＰＵ１９は、撮像待機時に所定間隔毎に撮像される観測用画像（スルー画像）のデータを用いて、撮影時のＡＦ演算およびＡＥ演算を実行する。

また、ＣＰＵ１９は、撮像素子１６によって撮像された画像のデータに対して、色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整などの画像処理を実行する。さらに、ＣＰＵ１９は、モニタ２３に画像を表示するときに、表示用の画像のデータに対してモニタ２３の画素数に合わせるための解像度変換処理を実行する。

また、一の実施形態でのＣＰＵ１９は、動画像の再生のときに各種の画像処理を行う動画再生部２８を内蔵している。なお、動画再生部２８の機能および構成については後述する。

第１メモリ２０は、揮発性の記憶媒体（例えばＳＤＲＡＭなど）で構成される。この第１メモリ２０は、ＣＰＵ１９による画像処理の前工程や後工程で画像のデータなどを一時的に記憶する。また、第１メモリ２０には、動画再生部２８の演算処理で用いるデータ（後述のカウンタなど）も記憶される。

第２メモリ２１は、フラッシュメモリ等の不揮発性の記憶媒体で構成される。この第２メモリ２１には、各々の動作モードに対応するシーケンスプログラムや、記録用の画像のデータなどが記憶される。なお、動画撮影モードおよび動画再生モードでの動作例についてはそれぞれ後述する。

表示制御部２２は、ＣＰＵ１９の指示に応じて、各種の表示用画像をモニタ２３に表示させる。これにより、モニタ２３には、上記のスルー画像による撮影画面の動画表示や、後述の記憶媒体２９に記憶されている画像の再生表示が行われる。また、表示制御部２２は、ＣＰＵ１９の指示に応じて、各種の設定変更の入力を受け付けるメニュー画面をモニタ２３に表示させることもできる。なお、一の実施形態でのモニタ２３は、例えば、カメラ筐体の背面などに設けられる液晶表示パネルで構成される。

また、表示制御部２２は、テレビ等の表示デバイス（不図示）との接続端子２２ａを有している。そのため、表示制御部２２は、接続端子２２ａを介して外付けの表示デバイスに画像のデータを再生出力することもできる。

記録Ｉ／Ｆ２４は、不揮発性の記憶媒体２９に対して画像のデータの書き込み／読み込みを実行する。上記の記憶媒体２９は、ハードディスク、光ディスク、光磁気ディスク、あるいは半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体２９の一例としてメモリカードを図示する。

操作部２５は、ユーザーからの操作を受け付ける複数のスイッチを有している。具体的には、一の実施形態の操作部２５には、レリーズ釦２５ａ、十字キー２５ｂ、決定釦２５ｃ、再生釦２５ｄなどが含まれる。レリーズ釦２５ａは、例えば、記録用の画像の撮像タイミングの指示に用いられる。また、十字キー２５ｂおよび決定釦２５ｃは、例えば、上記のメニュー画面での各種入力に用いられる。さらに、一の実施形態において、再生釦２５ｄは、動画像のデータの順送り再生の開始指示を受け付ける。

閃光発光部２６は、ＣＰＵ１９の指示に応じて撮影時に被写体へ閃光を照射する。例えば、閃光発光部２６は、キセノン発光管、メインコンデンサ、発光制御回路などで構成される。

次に、動画再生部２８について説明する。動画再生部２８は、例えば１２０ｆｐｓの動画像のデータを再生するときに、モニタ２３や表示デバイスの表示速度に合わせて動画像のフレームレートを調整する役目を果たす。

図２は、一の実施形態における動画再生部２８の構成例を示すブロック図である。動画再生部２８は、第１セレクタ１０１と、動きベクトル検出部１０２と、第２セレクタ１０３と、４つの重み付け処理部（１１１〜１１４）と、４つの画像シフト部（１２１〜１２４）と、加算合成部１３１と、画像間引き部１４１と、第３セレクタ１５１とを有している。なお、動画再生部２８の各部の動作は、ＣＰＵ１９によって制御される。

第１セレクタ１０１は１入力２出力のセレクタである。一の実施形態において、第１セレクタ１０１の入力端子（Ｆ＿ＩＮ）には、再生対象となる１２０ｆｐｓの動画像のデータが入力される。第１セレクタ１０１の一方の出力端子（Ｆ＿ＯＵＴ１）は、動きベクトル検出部１０２に接続されている。また、第１セレクタ１０１の他方の出力端子（Ｆ＿ＯＵＴ２）は、画像間引き部１４１に接続されている。

動きベクトル検出部１０２は、動画像の各フレーム間で被写体の動きベクトルを求めるとともに、上記の動きベクトルに基づいて手ブレによる画像のシフト量（画像のシフトの方向および大きさ）を演算する。

ここで、動画像の各フレームのデータは、動きベクトル検出部１０２をパイプライン式に通過して第２セレクタ１０３の入力端子（Ｓ＿ＩＮ）に入力される。また、動きベクトル検出部１０２は、４つの画像シフト部（１２１〜１２４）にそれぞれ接続される信号線ＳＬを有している。これにより、各々の画像シフト部には、入力されるフレームに対応したシフト量の情報がそれぞれ信号線ＳＬを介して入力される。

第２セレクタ１０３は１入力４出力のセレクタである。第２セレクタ１０３の各出力端子（Ｓ＿ＯＵＴ１からＳ＿ＯＵＴ４）は、それぞれ異なる重み付け処理部（１１１〜１１４）と接続されている。また、各々の重み付け処理部の出力は、それぞれが異なる画像シフト部と直列に接続されている。したがって、第２セレクタ１０３の後段には、４組の重み付け処理部および画像シフト部がそれぞれ並列に接続されることとなる。そして、４つの画像シフト部（１２１〜１２４）の出力はいずれも加算合成部１３１に入力される。なお、以下の説明において、出力端子Ｓ＿ＯＵＴｎ（ｎは１から４までの整数）の後段に接続された重み付け処理部および画像シフト部を指すときは、ｎ番目の重み付け処理部（符号：１１ｎ）、ｎ番目の画像シフト部（符号：１２ｎ）とそれぞれ表記する。

各々の重み付け処理部は、入力されるフレームの各画素値に対して所定の重み付け係数を乗算する。ここで、４番目の重み付け処理部１１４の重み付け係数は、１番目の重み付け処理部１１１の重み付け係数よりも高い値に設定されている。また、一の実施形態では、他の３つの重み付け処理部の重み付け係数と比べて、４番目の重み付け処理部１１４の重み付け係数が最も高い値に設定されている。なお、４つの重み付け係数の総和は「１」となるように設定される。

また、各々の画像シフト部は、動きベクトル検出部１０２から取得したシフト量の情報を用いて、画像合成時のフレームの重ね合わせ位置を調整する。

加算合成部１３１は、それぞれが異なる重み付け処理部および画像シフト部を通過した４つのフレームを合成して合成画像のデータを生成する。なお、加算合成部１３１から出力される合成画像のデータは、第３セレクタ１５１の一方の入力端子（Ｔ＿ＩＮ１）に入力される。

画像間引き部１４１は、動画像のフレーム数を間引きすることで動画像のフレームレートを調整する。なお、画像間引き部１４１から出力される動画像のデータは、第３セレクタ１５１の他方の入力端子（Ｔ＿ＩＮ２）に入力される。

第３セレクタ１５１は、２入力１出力のセレクタである。この第３セレクタ１５１の出力端子（Ｔ＿ＯＵＴ）は、動画再生部２８の外部と接続されている。そして、第３セレクタ１５１は、一方の入力端子（Ｔ＿ＩＮ１：加算合成部１３１の出力）および他方の入力端子（Ｔ＿ＩＮ２：画像間引き部１４１の出力）のうちから入力先を選択的に切り替えて、上述の動作モードに対応した動画像のデータを出力端子（Ｔ＿ＯＵＴ）から出力する。

以下、一の実施形態の電子カメラにおける動画撮影モードおよび動画再生モードでの動作例を説明する。

上記の動画撮影モードでのＣＰＵ１９は、レリーズ釦２５ａの押圧操作を検出すると撮像制御部１８を介して撮像素子１６を駆動させる。そして、撮像素子１６は、１２０ｆｐｓのフレームレートで連続的に画像を撮像する。なお、一の実施形態でのＣＰＵ１９は、レリーズ釦２５ａの押圧が解除されるまで動画像の撮影を継続するものとする。

そして、撮像素子１６から出力された各フレームの画像信号は、それぞれ信号処理部１７およびＣＰＵ１９によって所定の画像処理が施される。その後、ＣＰＵ１９は、画像処理後の各フレームのデータをまとめて１つの動画像ファイルを生成するとともに、その動画像ファイルを記憶媒体２９に記録する。なお、簡単のため、一の実施形態での動画像ファイルは、例えば、Ｍｏｔｉｏｎ−ＪＰＥＧやＭｏｔｉｏｎ−ＪＰＥＧ２０００のように、動画像の時間軸方向の圧縮を行わないファイル形式で生成されるものとする。

次に、動画再生モードでの電子カメラの動作を説明する。この動画再生モードでは、記憶媒体２９に記憶されている上記の動画像ファイルが再生対象となる。

ここで、一の実施形態での電子カメラは、第１動画再生モードと第２動画再生モードとの２つの動作モードを有している。ここで、第１動画再生モードでは、動画再生部２８は１２０ｆｐｓの動画像を４フレーム毎に加算して１フレーム分の合成画像を生成するとともに、この合成画像を用いて３０ｆｐｓでの動画再生を行う。また、第２動画再生モードでは、動画再生部２８は１２０ｆｐｓの動画像のフレームを間引きして、３０ｆｐｓ（または６０ｆｐｓ）での動画再生を行う。

さらに、上記の第１動画再生モードでは、ブレ補正処理のオン／オフを切り替えることができる。なお、第１動画再生モードでブレ補正処理がオンに設定されている場合、動画再生部２８は、フレーム間の動きベクトルに基づいて、合成画像を生成するときにフレームの重ね合わせ位置を調整する。なお、第１動画再生モードと第２動画再生モードとの切り替えやブレ補正処理のオン／オフは、例えばメニュー画面でのユーザーの操作に応じてＣＰＵ１９が切り替える。

以下、図３、図４の流れ図を参照しつつ、動画再生モードでの電子カメラの動作を詳細に説明する。この図３、図４の処理は、再生対象の動画像ファイルが指定された状態で、動画再生の開始操作（再生釦２５ｄの押圧）をＣＰＵ１９が受け付けたときに開始される。なお、図３、図４の処理は、ＣＰＵ１９が実行する動画再生モードのプログラムによって制御される。

ステップＳ１０１：ＣＰＵ１９は、現在のモードが第１動画再生モードに設定されているか否かを判定する。第１動画再生モードに設定されている場合（ＹＥＳ側）にはＳ１０２に移行する。一方、第２動画再生モードに設定されている場合（ＮＯ側）にはＳ１１８に移行する。

ステップＳ１０２：ＣＰＵ１９は、動画再生部２８の第１セレクタ１０１を一方の出力端子（Ｆ＿ＯＵＴ１）側に切り替える。また、ＣＰＵ１９は、動画再生部２８の第３セレクタ１５１を一方の入力端子（Ｔ＿ＩＮ１）側に切り替える。

ステップＳ１０３：ＣＰＵ１９は、記憶媒体２９から再生対象の動画像ファイルの読み込みを開始する。

ステップＳ１０４：ＣＰＵ１９は、合成元のフレーム数をカウントするためのカウンタの値を「１」に初期化する。なお、このカウンタの値は、「１」から「４」までの整数の範囲内で変化する。

ステップＳ１０５：ＣＰＵ１９は、動画再生を終了させるか否かを判定する。例えば、動画像ファイルの最終フレームの再生を終了した場合や、ユーザーから動画再生の終了操作を受け付けた場合には、Ｓ１０５でのＣＰＵ１９は動画再生を終了させる判定を行う。

上記要件を満たす場合（ＹＥＳ側）には、ＣＰＵ１９は、動画像ファイルの読み込みを停止するとともに、動画再生の処理を終了する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１０６に移行する。

ステップＳ１０６：動画再生部２８の動きベクトル検出部１０２は、被写体の動きベクトルを用いて手ブレによるシフト量を演算する。一例として、Ｓ１０６での動きベクトル検出部１０２は、以下の（１）から（４）の処理によってフレーム間のシフト量を演算する。

（１）第１に、動きベクトル検出部１０２は、以前に入力された基準フレームと今回入力された判定フレームとの間で被写体の動きベクトルを求める。ここで、一の実施形態において、動画像の時系列において判定フレームよりも１つ前のフレームが基準フレームとして選択される。

一例として、まず、動きベクトル検出部１０２は、基準フレームを複数の分割ブロックに区画する。次に、動きベクトル検出部１０２は、基準フレームの分割ブロック毎に、判定フレームとのマッチング処理をそれぞれ行う。そして、動きベクトル検出部１０２は、基準フレーム上での分割ブロックの位置と判定フレーム上でマッチングした被写体の位置とから、各々の分割ブロックの動きベクトルを取得する（図５参照）。また、図６は、分割ブロックごとに検出した動きベクトルの例を模式的に示している。なお、一の実施形態では、簡単のため、基準フレームを３×３の９つの領域に区画している。

（２）第２に、動きベクトル検出部１０２は、動きベクトルの大きさに注目して、判定対象となる動きベクトルを選別する。具体的には、動きベクトル検出部１０２は、動きベクトルの大きさが手ブレで移動しうる範囲に対応する閾値よりも大きくなる場合には、その分割ブロックの動きベクトルを判定対象から除外する。例えば、図５のケースでは、画面中央の分割ブロックは判定対象から除外されることとなる。これにより、動きベクトルのうち、高速で移動している被写体の動きや、電子カメラのパンニングの動きに相当するものを判定対象から除外できる。

（３）第３に、動きベクトル検出部１０２は、判定対象となった複数の動きベクトルを、ベクトルの方向および大きさに応じて複数のグループに分類する。なお、図６における分割ブロックの動きベクトルを、２つのグループにグループ化した例を図７に示す。

そして、動きベクトル検出部１０２は、所属する動きベクトルの数が最も多いグループの動きベクトルを平均化して、画像のシフト量（画像のシフトの方向および大きさ）を取得する。図７の例では、斜線で強調したグループＡの数が最も多いため、動きベクトル検出部１０２は、グループＡの動きベクトルを平均化してシフト量を演算することとなる。

（４）そして、動きベクトル検出部１０２は、取得したシフト量の情報を各々の画像シフト部に出力する。

なお、Ｓ１０６において、今回入力されるフレームが動画像ファイルの最初のフレームの場合や、ブレ補正処理がオフに設定されている場合には、動きベクトル検出部１０２は上記の（１）から（４）の処理を省略してＳ１０７に移行するものとする。

ステップＳ１０７：ＣＰＵ１９は、カウンタ（Ｓ１０４）の値を参照して、第２セレクタ１０３の出力先を切り替える判定を行う。

具体的には、カウンタの値が「１」の場合（ＣＡＳＥ１）には、ＣＰＵ１９は、第２セレクタ１０３の出力先を１番目の重み付け処理部１１１に切り替えてＳ１０８に移行する。また、カウンタの値が「２」の場合（ＣＡＳＥ２）には、ＣＰＵ１９は、第２セレクタ１０３の出力先を２番目の重み付け処理部１１２に切り替えてＳ１１０に移行する。また、カウンタの値が「３」の場合（ＣＡＳＥ３）には、ＣＰＵ１９は、第２セレクタ１０３の出力先を３番目の重み付け処理部１１３に切り替えてＳ１１２に移行する。また、カウンタの値が「４」の場合（ＣＡＳＥ４）には、ＣＰＵ１９は、第２セレクタ１０３の出力先を４番目の重み付け処理部１１４に切り替えてＳ１１４に移行する。

ここで、Ｓ１０７での第２セレクタ１０３の動作によって、動きベクトル検出部１０２から出力される各フレームのデータは、動画像の時系列の並び順にしたがって１番目から４番目までの重み付け処理部に順次振り分けられる。なお、各々の重み付け処理部には、それぞれ３フレームおきに画像のデータが周期的に入力されることとなる。

ステップＳ１０８：１番目の重み付け処理部１１１は、入力されたフレームの各画素値に対して重み付け係数「０．２」を乗算する。そして、重み付け処理後のフレームのデータは、１番目の画像シフト部１２１に入力される。

ステップＳ１０９：１番目の画像シフト部１２１は、シフト量の情報（Ｓ１０６）に基づいて、基準フレームとの位置ズレを相殺するように、画像の重ね合わせ位置を調整する。なお、Ｓ１０９において、今回入力されるフレームが動画像ファイルの最初のフレームの場合や、ブレ補正処理がオフに設定されている場合には、１番目の画像シフト部１２１は上記の処理を省略するものとする。

そして、１番目の画像シフト部１２１から出力されたフレームのデータは、加算合成部１３１に入力される。その後、ＣＰＵ１９は、カウンタの値をインクリメントするとともに、Ｓ１０５に戻って上記動作を繰り返す。

ステップＳ１１０：２番目の重み付け処理部１１２は、入力されたフレームの各画素値に対して重み付け係数「０．２」を乗算する。そして、重み付け処理後のフレームのデータは、２番目の画像シフト部１２２に入力される。

ステップＳ１１１：２番目の画像シフト部１２２は、シフト量の情報（Ｓ１０６）に基づいて、基準フレームとの位置ズレを相殺するように、画像の重ね合わせ位置を調整する。なお、ブレ補正処理がオフに設定されている場合には、２番目の画像シフト部１２２は上記の処理を省略するものとする。

そして、２番目の画像シフト部１２２から出力されたフレームのデータは、加算合成部１３１に入力される。その後、ＣＰＵ１９は、カウンタの値をインクリメントするとともに、Ｓ１０５に戻って上記動作を繰り返す。

ステップＳ１１２：３番目の重み付け処理部１１３は、入力されたフレームの各画素値に対して重み付け係数「０．２」を乗算する。そして、重み付け処理後のフレームのデータは、３番目の画像シフト部１２３に入力される。

ステップＳ１１３：３番目の画像シフト部１２３は、シフト量の情報（Ｓ１０６）に基づいて、基準フレームとの位置ズレを相殺するように、画像の重ね合わせ位置を調整する。なお、ブレ補正処理がオフに設定されている場合には、３番目の画像シフト部１２３は上記の処理を省略するものとする。

そして、３番目の画像シフト部１２３から出力されたフレームのデータは、加算合成部１３１に入力される。その後、ＣＰＵ１９は、カウンタの値をインクリメントするとともに、Ｓ１０５に戻って上記動作を繰り返す。

ステップＳ１１４：４番目の重み付け処理部１１４は、入力されたフレームの各画素値に対して重み付け係数「０．４」を乗算する。そして、重み付け処理後のフレームのデータは、４番目の画像シフト部１２４に入力される。

ステップＳ１１５：４番目の画像シフト部１２４は、シフト量の情報（Ｓ１０６）に基づいて、基準フレームとの位置ズレを相殺するように、画像の重ね合わせ位置を調整する。なお、ブレ補正処理がオフに設定されている場合には、４番目の画像シフト部１２４は上記の処理を省略するものとする。そして、４番目の画像シフト部１２４から出力されたフレームのデータは、加算合成部１３１に入力される。

ステップＳ１１６：動画再生部２８の加算合成部１３１は、各々の画像シフト部（１２１〜１２４）から出力されたフレームを加算して１フレームの合成画像を生成する。なお、加算合成部１３１で生成される合成画像のデータは、第３セレクタ１５１を介して順次出力される。

ステップＳ１１７：ＣＰＵ１９は、表示制御部２２を介してモニタ２３（または表示デバイス）に合成画像のデータを表示出力する。これにより、電子カメラのモニタ２３には、動画ファイルでの時系列に沿って合成画像が順送りで再生される。その後、ＣＰＵ１９は、Ｓ１０４に戻って上記動作を繰り返す。

ここで、図８を参照しつつ、第１動画再生モードで再生される動画像を説明する。第１動画再生モードでは、動画像ファイルの動画像（１２０ｆｐｓ）を４フレームずつ重み付けして加算した合成画像を順次再生することで、３０ｆｐｓでの動画再生が行なわれる。この一の実施形態では、時間軸方向に連続する４フレーム分の画像を加算して合成画像を生成するため（Ｓ１１６）、各々の合成画像上では移動する被写体に像流れが発生する。そのため、上記の合成画像を動画として鑑賞すると、動きの流れが滑らかな動画となる。また、上記の合成画像は４フレームを加算合成して生成されるので、合成元のフレームに含まれるノイズの影響は小さくなる。

また、一の実施形態では、元の動画像の時系列で最も新しいフレームの重み付け係数が最高値（０．４）に設定される一方で、他の３つのフレームの重み付け係数がそれぞれ低い値（０．２）に設定されている（Ｓ１０８、Ｓ１１０、Ｓ１１２、Ｓ１１４）。よって、一の実施形態の合成画像では、合成元の４フレームのうちで最新のフレームの被写体の像が強調されるとともに、過去の３フレーム分に対応する被写体の像は相対的に薄く表現される。そのため、各々の合成画像において、移動する被写体には残像がきれいに生成される。

さらに、図９を参照しつつ、ブレ補正処理のオン／オフによる再生画像の違いを説明する。なお、図９の例では、動画撮影時に手ブレが生じている動画像ファイルを再生することを前提とする。

手ブレのある動画像の各フレームでは、移動していない被写体（図９の家）の位置はそれぞれ相違する。そのため、手ブレのある動画像のフレームをそのまま加算すると、合成画像において移動していない被写体にもブレが生じてしまう（図９のブレ補正処理のオフの状態）。

一方、ブレ補正処理がオンに設定されている場合、動画再生部２８は、フレーム間の動きベクトルから求めた画像のシフト量に基づいて、画像の重ね合わせ位置を調整する（Ｓ１０６、Ｓ１０９、Ｓ１１１、Ｓ１１３、Ｓ１１５）。上記の場合には、移動していない被写体の像が合成画像上ですべて重なるため、見栄えのよい動画像を再生できる（図９のブレ補正処理のオンの状態）。

ステップＳ１１８：ＣＰＵ１９は、動画再生部２８の第１セレクタ１０１を他方の出力端子（Ｆ＿ＯＵＴ２）側に切り替える。また、ＣＰＵ１９は、動画再生部２８の第３セレクタ１５１を他方の入力端子（Ｔ＿ＩＮ２）側に切り替える。

ステップＳ１１９：ＣＰＵ１９は、記憶媒体２９から再生対象の動画像ファイルの読み込みを開始する。

ステップＳ１２０：ＣＰＵ１９は、動画再生を終了させるか否かを判定する。なお、Ｓ１２０での判定は、上述のＳ１０５に対応するので重複説明を省略する。

上記要件を満たす場合（ＹＥＳ側）には、ＣＰＵ１９は、動画像ファイルの読み込みを停止するとともに、動画再生の処理を終了する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１２１に移行する。

ステップＳ１２１：画像間引き部１４１は、動画像のフレームを間引きして表示出力する。例えば、ＣＰＵ１９が指定する再生時のフレームレートが３０ｆｐｓのときには、画像間引き部１４１は、動画像の４フレームごとに３フレームの間引きを周期的に繰り返す。一方、ＣＰＵ１９が指定する再生時のフレームレートが６０ｆｐｓのときには、画像間引き部１４１は、動画像の２フレームごとに１フレームの間引きを周期的に繰り返す。なお、図１０に、第２動画再生モードでの３０ｆｐｓでの間引きの例を示す。

そして、ＣＰＵ１９は、表示制御部２２を介してモニタ２３（または表示デバイス）に間引き後の画像のデータを出力する。これにより、電子カメラのモニタ２３には、動画ファイルでの時系列に沿って低フレームレートの動画像が順送りで再生される。

その後、ＣＰＵ１９は、Ｓ１２０に戻って上記動作を繰り返す。以上で、図３、図４の流れ図の説明を終了する。

＜実施形態の補足事項＞
（１）上記実施形態では、動画再生部２８の構成をハードウエア的に実現する例を説明したが、これらの機能をプログラムによってソフトウエア的に実現しても勿論かまわない。また、動画再生部２８の機能をプログラムでソフトウエア的に実現する場合には、例えば、第２メモリ２１や記憶媒体２９に、図３、図４に示すフローチャートのプログラムを格納しておくことができる。

（２）本発明の画像再生装置は、電子カメラの構成に限定されることなく、動画像の表示出力機能を有するデバイス全般（動画像ファイルのビューアーなど）に広く適用できる。また、パーソナルコンピュータに画像再生プログラムを実行させることで、本発明の画像再生装置を実現してもよい。

（３）上記実施形態において、動画再生部２８の構成の一部または全部を表示制御部２２に内蔵してもよい。また、ＣＰＵ１９および動画再生部２８は、画像のデータの出力先のフレームレートに応じて第１動画再生モードと第２動画再生モードとの切り替えを行うようにしてもよい。

（４）上記実施形態の電子カメラにおいて、ＣＰＵ１９は、動画再生部２８の生成した合成画像で構成された動画像ファイルを新たに生成してもよい。

（５）上記実施形態では動画像ファイルを再生対象とする例を説明したが、高速で連写撮影された複数の静止画像のデータを時系列に順送りで再生するときにも、本発明を適用することが可能である。

（６）上記実施形態の構成はあくまで一例にすぎない。そのため、本発明の画像再生装置を実施するときには、上記実施形態に示す構成やその処理の順序についてあらゆる組み合わせをとることができる。また、上記実施形態での各種のフレームレートの値や重み付け係数の組み合わせも一例にすぎず、その値を適宜調整できることはいうまでもない。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

一の実施形態の電子カメラの構成例を示すブロック図 一の実施形態における動画再生部の構成例を示すブロック図 一の実施形態における動画再生モードでの電子カメラの動作例を示す流れ図 図３の続きの流れ図 動きベクトルの演算例を示す説明図 分割ブロックごとの動きベクトルの検出例を示す図 図６における動きベクトルのグループ化の例を示す模式図 第１動画再生モードで再生される動画像の例を示す図 ブレ補正処理のオン／オフでの再生画像の例を示す図 第２動画再生モードで再生される動画像の例を示す図

符号の説明

１９…ＣＰＵ、２１…第２メモリ、２２…表示制御部、２２ａ…接続端子、２３…モニタ、２４…記録Ｉ／Ｆ、２８…動画再生部、２９…記憶媒体、１０１…第１セレクタ、１０２…動きベクトル検出部、１０３…第２セレクタ、１１１，１１２，１１３，１１４…重み付け処理部、１２１，１２２，１２３，１２４…画像シフト部、１３１…加算合成部、１４１…画像間引き部、１５１…第３セレクタ

Claims (5)

1. 撮像素子により連続的に撮像された第１動画像のデータを記憶媒体から取得するデータ読込部と、
   前記第１動画像のフレームから選択される複数の元画像を重み付け加算して、１フレームの合成画像を生成する画像合成部と、
   前記第１動画像での時系列に沿って複数の前記合成画像を順送りで再生し、前記第１動画像よりもフレームレートが低い第２動画像のデータを出力する第１再生モードと、前記第１動画像のフレーム数を間引きすることにより、前記第１動画像よりもフレームレートが低い第２動画像のデータを出力する第２再生モードとを切り替え自在とする動画出力部と、を備え、
   前記画像合成部は、前記第１再生モード下で１フレームの前記合成画像の生成に用いる前記元画像のうち、前記第１動画像の時系列で最も新しいフレームとなる元画像に対する重み付け値を、前記第１動画像の時系列で最も過去のフレームとなる元画像に対する重み付け値よりも高く、且つ、前記合成画像の生成に用いる他の前記元画像に対する重み付け値よりも高く設定することを特徴とする画像再生装置。
2. 請求項１に記載の画像再生装置において、
   複数の前記元画像の間で被写体の動きベクトルを求める動きベクトル検出部をさらに備え、
   前記画像合成部は、前記動きベクトルに基づいて、前記合成画像を生成するときに前記元画像を重ね合わせる位置を調整することを特徴とする画像再生装置。
3. 請求項１または請求項２に記載の画像再生装置において、
   前記第２動画像を表示する表示デバイスおよび前記第２動画像のデータを外部に出力する表示インターフェースの少なくとも一方をさらに備えることを特徴とする画像再生装置。
4. データ読込部と、演算部とを有するコンピュータに対して、
   撮像素子により連続的に撮像された第１動画像のデータを前記データ読込部が記憶媒体から取得するデータ読込ステップと、
   前記第１動画像のフレームから選択される複数の元画像を重み付け加算して、１フレームの合成画像を生成する画像合成ステップと、
   前記第１動画像での時系列に沿って複数の前記合成画像を順送りで再生し、前記第１動画像よりもフレームレートが低い第２動画像のデータを出力する第１再生モードと、第１動画像のフレーム数を間引きすることにより、前記第１動画像よりもフレームレートが低い第２動画像のデータを出力する第２再生モードとを切り替え自在とする動画出力ステップと、を前記演算部にそれぞれ実行させるとともに、
   前記画像合成ステップでは、前記第１再生モード下で１フレームの前記合成画像の生成に用いる前記元画像のうち、前記第１動画像の時系列で最も新しいフレームとなる元画像に対する重み付け値を、前記第１動画像の時系列で最も過去のフレームとなる元画像に対する重み付け値よりも高く、且つ、前記合成画像の生成に用いる他の前記元画像に対する重み付け値よりも高く設定することを特徴とする画像再生プログラム。
5. 請求項４に記載の画像再生プログラムにおいて、
   複数の前記元画像の間で被写体の動きベクトルを求める動きベクトル検出ステップを、前記演算部がさらに実行するとともに、
   前記画像合成ステップでは、前記動きベクトルに基づいて、前記合成画像を生成するときに前記元画像を重ね合わせる位置を調整することを特徴とする画像再生プログラム。

Images