JP6708495B2 - 映像処理装置、撮像装置および映像処理プログラム - Google Patents

Description

本発明は、再生防振処理を行う映像再生装置に関する。

再生防振処理は、撮像により記録した映像を再生する際に、撮像時の手振れ等のカメラ振れによる像振れを低減（補正）した映像を再生する防振処理である。具体的には、特許文献１にて開示されているように、撮像時において映像を構成するフレーム画像間で動きベクトルを検出して該動きベクトルの情報をメモリに記憶しておく。そして、再生時に、該記憶された動きベクトルの情報に基づいてフレーム画像からの切り出し範囲をシフトさせ、該切り出し範囲の画像を拡大して順次再生することで像振れが補正された映像を再生する。このような再生防振機能を用いると、再生するフレーム画像よりも先に動きベクトルの情報を読み込んで（つまり先読みして）該動きベクトルがカメラ振れに起因するものかパンニング等のユーザの意図的なカメラワークに起因するものかを判断することができる。これにより、カメラ振れに対しては防振処理を行い、カメラワークに対しては防振処理を行わないというように防振処理が適切に行われ、不自然な映像が再生されることを回避できる。

また、スマートフォン用のアプリである「Hyperlapse from Instagram」は、撮像時に一旦全ての映像を仮記憶し、ユーザが指定した再生速度に応じた再生防振処理によって像振れを補正した映像を本記録する機能を有する。

特開平６−１３９７４６号公報

しかしながら、撮像における記録（撮像）フレームレートは多岐にわたっているため、記録フレームレートによって再生防振処理での像振れ補正量が変化しないように配慮する必要がある。例えば、任意のカメラワーク判定処理に１秒間の先読みが必要な場合、再生フレームレートが６０Ｐのときは先読みフレーム数を６０フレームにする必要がある。これに対して、再生フレームレートが３０Ｐのときに先読みフレーム数を６０フレームのままにすると２秒間再生分の先読みを行ってしまうため、１秒間再生分の像振れ補正量が変化してしまう。このため、再生フレームレートが３０Ｐのときは先読みフレーム数を３０フレームに変更する必要がある。

さらに、記録フレームレートと再生フレームレートを変えることで、スロー再生やファースト再生が可能となる機能（以下、スロー＆ファースト再生機能という）を有する撮像装置も提案されている。このスロー＆ファースト再生機能を使用する場合は、撮像による記録を行った実時間（実記録時間）と再生を行う実時間（実再生時間）とが異なる。この場合、上述したように再生フレームレートに応じて先読みフレーム数を変更する制御を行うと、意図した像振れ補正量が得られなくなる。

本発明は、記録フレームレートと再生フレームレートが異なる場合でも適切な再生防振処理を行うことができるようにした映像再生装置および撮像装置等を提供する。

本発明の一側面としての映像処理装置は、撮像により生成されて記録された映像データを再生する処理を行う。該映像処理装置は、映像データの再生時において該映像データのうち所定の先読みフレーム数のフレーム画像データまたは撮像中に記録された振れ情報を先読みする先読み手段と、撮像における記録フレームレートに応じて異なる先読みフレーム数を設定する先読みフレーム設定手段とを有することを特徴とする。

なお、上記映像処理装置を有する撮像装置も、本発明の他の一側面を構成する。また、コンピュータを上記映像処理装置として動作させるコンピュータプログラムとしての映像処理プログラムも、本発明の他の一側面を構成する。

本発明によれば、記録フレームレート、つまりは実記録時間に応じて再生防振処理に用いる振れ情報を得るための先読みフレーム数を変更することが可能となる。このため、記録フレームレートと再生フレームレートが異なる場合でも適切な再生防振処理を行うことができる。

本発明の実施例１であるデジタルビデオカメラの外観図。 実施例１のデジタルビデオカメラの構成を示すブロック図。 実施例１における再生防振処理を示すフローチャート。 実施例１のデジタルビデオカメラの撮像時と再生時に行う処理を示すフローチャート。 本発明の実施例２であるデジタルビデオカメラの撮像時と再生時に行う処理を示すフローチャート。 本発明の実施例３であるデジタルビデオカメラにおける再生時の先読みフレーム間引き処理を示すフローチャート。

以下、本発明の実施例について図面を参照しながら説明する。

図１には、本発明の実施例１である撮像装置としてのレンズ交換型デジタルビデオカメラ１００の外観を示している。なお、本実施例ではレンズ交換型デジタルビデオカメラについて説明するが、後述する処理は一眼レフカメラ、レンズ一体型コンパクトカメラおよびカメラ機能付き携帯電話（スマートフォン）等の各種撮像装置において行うことができる。

図１において、モニタ２８および電子ビューファインダ２９は、画像や各種情報を表示する。ＳＴＡＲＴ／ＳＴＯＰボタン６１は撮像（記録）の開始と終了を指示するユーザ（撮影者）により操作される操作部材である。電源／モードスイッチ７２は電源のオン／オフ、撮像モードおよび再生モードを切り替えるためにユーザにより操作される操作部材である。操作パネル７０には、ユーザによる操作を受け付ける各種スイッチ、ボタン等の複数の操作部材が配置されている。コネクタ１２は、デジタルビデオカメラ（以下、単にカメラという）１００から外部モニタや外部記録装置に映像信号を出力するためのコネクタであり、外部出力Ｉ／Ｆ部１２０を構成する。バッテリーカバー１１は、カメラ１００に装填されたバッテリーを保持するカバーである。アクセスランプ１３は、記録用のカードスロットの状態を表示するランプである。

図２には、カメラ１００の内部構成を示している。なお、図２では、機能ごとに構成要素として分けて示しているが、これらは１つまたは複数のＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）等のハードウェアによって実現されてもよい。また、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。

カメラ１００は、図１に示したモニタ２８、電子ビューファインダ２９およびアクセスランプ１３を含む表示部１０７を有する。外部出力部１２１は、カメラ１００の外面に露出しており、外部出力Ｉ／Ｆ部１２０に接続されている。

交換レンズ１０１は、フォーカスレンズ、変倍レンズ、防振用シフトレンズおよび絞り等を含む撮影光学系（図示せず）を収容している。ＮＤフィルタ１０３は、交換レンズ１０１に設けられた絞りとは別に入射光量を調整する（減少させる）ためにカメラ１００内に設けられている。

撮像素子１０２は、それぞれ光電変換素子を含む複数の画素が２次元配列された構成を有する。撮像素子１０２は、撮影光学系により形成された被写体像（光学像）を画素ごとに光電変換、つまりは撮像してアナログ信号を生成し、これをＡ／Ｄ変換回路によりデジタル信号に変換して画素単位のＲＡＷ画像データを出力する。本実施例で用いる撮像素子１０２とその出力信号を用いてＡＦを行うＡＦ部１０８の詳細については後述する。

メモリＩ／Ｆ部１１６は、撮像素子１０２から出力された全画素分のＲＡＷ画像データをメモリ１１７に書き込んだり、メモリ１１７に保持されたＲＡＷ画像データを読み出して画像処理部１１８に出力したりする。メモリ１１７は、数フレーム分の全画素ＲＡＷ画像データを格納する揮発性の記憶媒体である。

画像処理部１１８は、メモリＩ／Ｆ部１１６からの全画素分のＲＡＷ画像データに対して各種補正、輪郭強調、ノイズ除去および圧縮等の処理を行って記録用または表示用の映像データを構成するフレーム画像データを出力する。以下の説明では、画像処理部１１８にて順次生成および出力されるフレーム画像データをまとめて映像データともいう。

カメラ制御部１１９は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備え、ＣＰＵがＲＯＭに格納されたコンピュータプログラムをＲＡＭの作業領域に展開して実行することにより、カメラ１００の動作全体を制御する。また、カメラ制御部１１９は、ＲＯＭに記憶されたコンピュータプログラムを実行することで、後述する処理を実行する。ＲＡＭは、カメラ制御部１１９の動作用の定数や変数を保持したり、ＲＯＭから読み出したプログラム等を展開したりする。

記録媒体Ｉ／Ｆ部１０４は、記録媒体１０５とカメラ１００とのインターフェースであり、記録媒体１０５に対する画像処理部１１８から入力された映像データの記録や記録された映像データの読み出しを制御する。記録媒体１０５は、半導体メモリ等で構成されている。

表示用Ｉ／Ｆ部１０６は、画像処理部１１８からの映像データおよびＧＰＵ１１５で描画されてＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）に保持された画像データに対して重畳合成処理やリサイズ処理を行い、該処理後の映像または画像データを表示部１０７に出力する。表示部１０７は、表示用Ｉ／Ｆ部１０６から出力された映像データを画角確認用に表示する。ＧＰＵ１１５は、ビデオカメラの各種情報表示やメニュー画面をＶＲＡＭに描画するレンダリングエンジンである。

ゲイン制御部１０９、シャッタ制御部１１０、ＮＤ制御部１１１および絞り制御部１１２は露出制御のために設けられている。カメラ制御部１１９は、画像処理部１１８からの映像データの輝度レベルの算出結果に基づいて又はユーザがマニュアル設定した動作パラメータに基づいて、これら制御部１０９〜１１２を制御する。ゲイン制御部１０９は、撮像素子１０２のゲインを制御する。シャッタ制御部１１０は、撮像素子１０２のシャッタスピードを制御する。ＮＤ制御部１１１は、ＮＤフィルタ１０３を介して撮像素子１０２に入射する光量を制御する。絞り制御部１１２は、交換レンズ１０１の絞りを制御する。

カメラ制御部１１９は、交換レンズ１０１上に設けられたＡＦ／ＭＦスイッチ１３５の操作を通じてユーザによりＡＦ（オードフォーカス）モードが選択されている場合は、フォーカス制御部１１３を介してＡＦ制御を行う。具体的には、カメラ制御部１１９は、画像処理部１１８から出力された映像データの高周波成分からコントラスト評価値信号を生成し、該コントラスト評価値信号がピークとなる合焦位置を探索するようにフォーカスレンズの駆動を制御する。一方、ＡＦ／ＭＦスイッチ１３５の操作を通じてＭＦ（マニュアルフォーカス）モードが選択されている場合は、カメラ制御部１１９はＡＦ制御を停止する。これにより、ユーザによる交換レンズ１０１上に設けられたフォーカスリング１３４の回転操作に応じたフォーカスレンズの位置調整が可能となる。

カメラ制御部１１９は、画像処理部１１８からの映像データ（連続するフレーム画像）から撮像中に生じた振れを示す情報（振れ情報）としての動きベクトルを検出する。そして、カメラ制御部１１９は、検出した動きベクトルに基づいて、光学防振制御部１１４を通じて交換レンズ１０１内の防振用シフトレンズを像振れを低減（補正）するように光軸に直交する方向に移動（シフト）させる光学防振処理を行う。また、カメラ制御部１１９は、記録媒体１０５に記録された画像データを再生する際に、動きベクトルに基づいて電子防振処理としての後述する再生防振処理を行う。

外部出力Ｉ／Ｆ部１２０は、画像処理部１１８からの映像データにリサイズ処理を行ったり外部出力部１２１の規格に適した信号変換および制御信号の付与を行ったりして、その結果得られた映像データを外部出力部１２１に出力する。外部出力部１２１は、映像データを外部出力する端子であり、ＳＤＩ端子やＨＤＭＩ（登録商標）端子等である。外部出力Ｉ／Ｆ部１２０には、モニターディスプレイや外部記録装置が接続可能である。

外部操作用Ｉ／Ｆ部１２２は、外部操作部１２３による制御指示を受信し、カメラ制御部１１９へ通知するインターフェースであり、赤外線受光部、無線ＬＡＮインターフェースおよびＬＡＮＣ（登録商標）端子等のリモコン受信部に相当する。外部操作部１２３は、外部操作用Ｉ／Ｆ部１２２に対して各種指示を送信するリモコン送信部に相当する。

次に、カメラ１００においてカメラ制御部１１９および画像処理部１１８が行う再生防振処理について、図３を用いて説明する。カメラ制御部１１９および画像処理部１１８により映像処理装置が構成される。

通常の映像再生を行う場合は、次のような流れで映像データの再生を行う。まず、画像処理部１１８は、記録媒体１０５に記録されている映像データを、記録媒体Ｉ／Ｆ部１０４を介して読み出す。そして、画像処理部１１８は、読み出した映像データに対してデコード処理を行い、表示部１０７や外部出力部１２１での映像表示が可能な信号形式を有する映像信号に変換する。画像処理部１１８は、変換した映像信号を表示用Ｉ／Ｆ部１０６や外部出力用Ｉ／Ｆ部１２０を介して表示部１０７や外部出力部１２１に出力することで映像を再生（表示）する。

再生防振処理では、画像処理部１１８は、まず内蔵したメモリ２０１（または外部接続されたメモリ）に所定フレーム数のフレーム画像データを一時記憶する。ここでは、所定フレーム数をＭとする。また、画像処理部１１８は、再生する映像データ（フレーム画像データ）に対して所定の領域を切り出して電子的に像振れを補正（低減）する電子防振を行うことが可能な電子防振処理部２０２を有する。

現在のフレームをＮとすると、メモリ２０１にはＮ＋Ｍ番目のフレーム画像までがバッファリングされている。すなわち、フレームＮに対して未来の映像データが記憶されていることとなる。カメラ制御部１１９に設けられた像振れ補正値演算部２０３は、この未来の映像データ（後述する先読みフレーム数のフレーム画像データ）を先読みして動きベクトルを検出し、該動きベクトルから現在のフレームＮに対する像振れ補正値を算出する。カメラ制御部１１９（像振れ補正値演算部２０３）は、先読み手段および領域設定手段として機能する。

再生手段としての画像処理部１１８（電子防振処理部２０２）は、像振れ補正値演算部２０３により算出された像振れ補正値に応じてＮ番目のフレーム画像データから部分領域を切り出す。そして、該部分領域の画像データを、表示用Ｉ／Ｆ部１０６や外部出力用Ｉ／Ｆ部１２０を介して表示部１０７や外部出力部１２１に出力する。これにより、複数のフレーム画像から切り出された部分領域の画像データが順次再生され、動画としての映像が再生される。このような再生防振処理により、撮影時に生じた像振れを映像データの再生時に補正することができる。

次に、撮像時における記録フレームレートを映像データに対するメタデータとして記録し、該映像データの再生時にメタデータに記録された記録フレームレートに応じて先読みするフレーム画像の数である先読みフレーム数を設定する処理について説明する。図４（ａ）のフローチャートは撮像時の処理を示し、図４（ｂ）のフローチャートには再生時の処理を示している。カメラ制御部１１９は、ＲＯＭに記憶されたコンピュータプログラムとしての撮像処理プログラムおよび再生処理プログラムに基づいてこれらの処理を実行する。また、カメラ制御部１１９（像振れ補正値演算部２０３）は、前述した先読み手段および領域設定手段に加えて、先読みフレーム設定手段として機能する。

以下の説明では、基準となるフレームレートを基準フレームレートＡ（例えば６０Ｐ）とし、該基準フレームレートＡに対して必要な先読みフレーム数をＸとする。

まず、図４（ａ）に示す撮像時の処理について説明する。まずステップＳ３０１において、ユーザによるＳＴＡＲＴ／ＳＴＯＰボタン６１の操作による撮像（記録）の開始指示を検出したカメラ制御部１１９は本処理を開始する。次にステップＳ３０２において、カメラ制御部１１９は、現在記録中の映像データに対して、現在の記録フレームレートＢをメタデータとして記録する処理を行う。

次に、図４（ｂ）に示す再生時の処理について説明する。まずステップＳ３０３において、カメラ制御部１１９は、再生対象である映像データのメタデータに記録されている記録フレームレートＢを取得する。

次にステップＳ３０４において、カメラ制御部１１９は、ステップＳ３０３で取得した記録フレームレートＢが基準フレームレートＡよりも大きいか否か、すなわち高速フレームレートであるか否かを判定する。記録フレームレートＢが高速フレームレートであると判定した場合は、カメラ制御部１１９は、次のステップＳ３０６において、先読みフレーム数を基準フレーム数Ｘよりも増やす。そして、本処理を終了する。

一方、ステップＳ３０４において記録フレームレートＢが基準フレームレートＡより大きくないと判定したカメラ制御部１１９は、ステップＳ３０５に進む。ステップＳ３０５において、カメラ制御部１１９は、ステップＳ３０３で取得した記録フレームレートＢが基準フレームレートＡよりも小さいか否か、すなわち低速フレームレートであるか否かを判定する。記録フレームレートＢが低速フレームレートであると判定した場合は、カメラ制御部１１９は、次のステップＳ３０７において、先読みフレーム数を基準フレーム数Ｘよりも減らす。そして、本処理を終了する。

ステップＳ３０５において記録フレームレートＢが基準フレームレートＡよりも小さくないと判定した場合、つまりは記録フレームレートＢが基準フレームレートＡと同等であると判定した場合は、カメラ制御部１１９はステップＳ３０８に進む。ステップＳ３０８では、カメラ制御部１１９は先読フレーム数を基準フレーム数Ｘのままとして本処理を終了する。

このように本実施例では、撮像時の映像データの記録フレームレートをメタデータとして記録し、記録された映像データの再生時にメタデータに記録された記録フレームレートに応じて先読みフレーム数を設定する。これにより、記録フレームレートが異なる映像データをそれぞれ再生するいずれの場合でも、適正な像振れ補正量での良好な再生防振処理を行うことができる。また、スロー＆ファースト機能により記録フレームレートと再生フレームレートとを変えてスロー再生やファースト再生を行う場合においても、撮像（記録）を行った実時間である実記録時間に併せて先読みフレーム数を変更することが可能となる。これにより、記録フレームレートと再生フレームレートが異なる場合でも、適正な像振れ補正量での良好な再生防振処理を行うことができる。

次に、本発明の実施例２について説明する。本実施例では、スロー＆ファースト機能の使用を含む撮像時に記録フレームレートと再生フレームレートとをメタデータとしてそれぞれ記録する。

スロー＆ファースト機能とは、撮影フレームレートと再生フレームレートとを異ならせることで、スロー再生やファースト再生を可能とする機能である。例えば、６０Ｐで１秒間撮影することで生成された映像データは６０フレームの映像データとなる。この映像データを３０Ｐで再生すると２秒間で再生されることになる。これがスロー再生である。逆に、３０Ｐで１秒間撮影することで生成された映像データは３０フレームの映像データとなる。この映像データを６０Ｐで再生すると０．５秒間で再生されることになる。これがファースト再生である。

また、本実施例では、選択手段としてのカメラ制御部１１９は、再生防振処理において、先読みフレームを実記録時間に基づいて設定するか再生を行う実時間である実再生時間に基づいて設定するかを選択する。この選択の方法については後述する。そして、カメラ制御部１１９は、その選択結果に応じて、メタデータに記録されている記録フレームレートを基に先読みフレーム数を設定するか再生フレームレートに応じて先読みフレーム数を設定するかを切り替える処理を行う。

図５（ａ）のフローチャートは本実施例における撮像時の処理を示し、図５（ｂ）のフローチャートには再生時の処理を示している。カメラ制御部１１９は、ＲＯＭに記憶されたコンピュータプログラムとしての撮像処理プログラムおよび映像処理プログラムに基づいてこれらの処理を実行する。以下の説明では、基準フレームレートＡを６０Ｐとし、該基準フレームレートＡに対して必要な先読みフレーム数Ｘを６０フレームとする。

まず、図５（ａ）に示す撮像時の処理について説明する。まずステップＳ４０１において、ユーザによるＳＴＡＲＴ／ＳＴＯＰボタン６１の操作による撮像（記録）の開始指示を検出したカメラ制御部１１９は本処理を開始する。次にステップＳ４０２において、カメラ制御部１１９は、現在記録中の映像データに対して、現在設定されている記録フレームレートＦｒと再生フレームレートＦｐをメタデータとして記録する処理を行う。

次に、図５（ｂ）に示す再生時の処理について説明する。まずステップＳ４０３において、カメラ制御部１１９は、再生対象である映像データのメタデータに記録されている記録フレームレートＦｒ（＝Ｂ）および再生フレームレートＦｐを取得する。

次のステップＳ４０４において、カメラ制御部１１９は、再生防振処理における像振れ判定処理に必要な先読みフレーム数が実記録時間に基づくか実再生時間に基づくかを判定する。本実施例では、像振れ判定処理に必要な先読みフレーム数を、パンニングやチルティングのようなユーザによるカメラワークに対しては実記録時間に基づいて設定し、カメラワークではない手振れ等に起因するカメラ振れに対しては実再生時間に基づいて設定する。像振れ判定処理に必要な先読みフレーム数が実記録時間に基づく（Ｙｅｓ）と判定したカメラ制御部１１９は、ステップＳ４０５に進み、像振れ判定処理に用いる先読みフレーム数Ｙを（Ｘ×Ｂ／Ａ）＝（６０×Ｆｒ／６０）の演算で求めたフレーム数に設定する。一方、像振れ判定処理に必要な先読みフレーム数が実再生時間に基づく（Ｎｏ）と判定したカメラ制御部１１９は、ステップＳ４０６に進み、像振れ判定処理に用いる先読みフレーム数Ｙを（６０×Ｆｐ／６０）の演算で求めたフレーム数に設定する。

本実施例によれば、スロー＆ファースト機能の使用を含む撮像時に記録フレームレートと再生フレームレートをメタデータとしてそれぞれ記録する。その上で、再生時に再生防振処理における像振れ判定処理に必要な先読みフレーム数が実記録時間か実再生時間のいずれに基づくかを判定する。そして、その判定結果に応じてメタデータに記録されている記録フレームレートに応じて先読みフレーム数を設定するか再生フレームレートに応じて先読みフレーム数を設定するかを切り替える。これにより、記録フレームレートが異なる映像データをそれぞれ再生するいずれの場合でも、適正な像振れ補正量での良好な再生防振処理を行うことができる。また、スロー＆ファースト機能により記録フレームレートと再生フレームレートとを変えてスロー再生やファースト再生を行う場合においても、像振れ判定処理の結果に応じて先読みフレーム数を変更することが可能となる。これにより、記録フレームレートと再生フレームレートが異なる場合でも、適正な像振れ補正量での良好な再生防振処理を行うことができる。

記録フレームレートが超高速フレームレートになると、実施例２において図５（ｂ）に示したステップＳ４０５で算出された先読みフレーム数が膨大な数となり、フレームメモリが足りなくなったり処理負荷が高くなりすぎたりするという問題が生じるおそれがある。本発明の実施例３として、この問題を解消するための再生時の処理、すなわち先読みフレーム間引き処理について、図６のフローチャートを用いて説明する。

まずステップＳ５０１において、カメラ制御部１１９は、図５（ｂ）のステップＳ４０５で算出された先読みフレーム数が所定数を超えているか否かを判定する。先読みフレーム数が所定数を超えていると判定したカメラ制御部１１９は、ステップＳ５０２に進み、先読みフレームを所定のフレーム間隔で間引いて（すなわちフレーム間引きして）先読みして像振れ判定処理を行う。例えば、本来の先読みフレーム２つに対して１つしか先読みしないようにする。これにより、フレームメモリの使用量や処理負荷が半減する。

ステップＳ５０１において先読みフレーム数が所定数を超えていないと判定したカメラ制御部１１９は、ステップＳ５０３に進み、先読みフレームを間引かずに像振れ判定処理を行う。

本実施例によれば、先読みフレーム数が所定数を超えた場合には先読みフレーム数を間引いて像振れ判定処理を行う。このため、記録フレームレートが超高速フレームレートになって先読みフレーム数が膨大な数となることで、フレームメモリが不足したり過度の処理負荷が生じたりすることを回避することができる。

なお、本実施例では、振れ情報として動きベクトルを用いる場合について説明したが、カメラに設けられた角速度センサにより検出した角速度やこれを積分して得られる角度振れ量を振れ情報として用いてもよい。この場合、撮像時に映像データとともに記録された振れ情報を再生時に先読みして再生防振処理を行ってもよい。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１０２ 撮像素子
１１８ 画像処理部
１１９ カメラ制御部

Claims (8)

1. 撮像により生成されて記録された映像データを再生する処理を行う映像処理装置であって、
   前記映像データの再生時において該映像データのうち所定の先読みフレーム数のフレーム画像データまたは前記撮像中に記録された振れ情報を先読みする先読み手段と、
   前記撮像における記録フレームレートに応じて異なる前記先読みフレーム数を設定する先読みフレーム設定手段とを有することを特徴とする映像処理装置。
2. 基準フレームレートに対する前記先読みフレーム数を基準フレーム数とするとき、
   前記先読みフレーム設定手段は、前記記録フレームレートが前記基準フレームレートより高速である場合は前記先読みフレーム数を前記基準フレーム数より増やすことを特徴とする請求項１に記載の映像処理装置。
3. 基準フレームレートに対する前記先読みフレーム数を基準フレーム数とするとき、
   前記先読みフレーム設定手段は、前記記録フレームレートが前記基準フレームレートより低速である場合は前記先読みフレーム数を前記基準フレーム数より減らすことを特徴とする請求項１または２に記載の映像処理装置。
4. 前記先読みフレーム設定手段は、前記基準フレームレートをＡとし、前記記録フレームレートをＢとし、前記基準フレーム数をＸとするとき、前記記録フレームレートＢに対する前記先読みフレーム数Ｙを、
   Ｙ＝（Ｘ×Ｂ／Ａ）
   により設定することを特徴とする請求項２または３に記載の映像処理装置。
5. 前記先読み手段は、前記先読みフレーム設定手段により設定された前記先読みフレーム数が所定フレーム数より多い場合は前記フレーム画像データまたは前記振れ情報をフレーム間引きして先読みし、前記先読みフレーム数が前記所定フレーム数より少ない場合は前記フレーム画像データまたは前記振れ情報を前記フレーム間引きせずに先読みすることを特徴とする請求項１から４のいずれか一項に記載の映像処理装置。
6. 前記映像データを構成する複数のフレーム画像データのそれぞれから部分領域を切り出して順次再生する再生手段と、
   前記先読みフレーム数をＭとするとき、（Ｎ＋Ｍ）番目のフレームの前記フレーム画像データまたは前記振れ情報までを先読みし、該フレーム画像データまたは該振れ情報に基づいてＮ番目のフレーム画像データにおける前記部分領域を設定する領域設定手段とを有することを特徴とする請求項１から５のいずれか一項に記載の映像処理装置。
7. 撮像を行う撮像素子と、
   請求項１から６のいずれか一項に記載の映像処理装置とを有することを特徴とする撮像装置。
8. コンピュータに、撮像により生成されて記録された映像データを再生する処理を実行させるコンピュータプログラムであって、
   前記処理は、
   前記映像データの再生時において該映像データのうち所定の先読みフレーム数のフレーム画像データまたは前記撮像中に記録された振れ情報を先読みする処理と、
   前記撮像における前記映像データの記録フレームレートに応じて異なる前記先読みフレーム数を設定する処理とを含むことを特徴とする映像処理プログラム。