JP5118087B2 - フレームレート変換方法、フレームレート変換装置およびフレームレート変換プログラム - Google Patents

Description

本発明は、高フレームレート映像信号のフレームをフィルタリングに基づくダウンサンプリングにより低フレームレート映像信号に変換するフレームレート変換方法およびその装置と、そのフレームレート変換方法の実現に用いられるフレームレート変換プログラムとに関する。

近年、臨場感あふれる大画面のスポーツ映像やデジタルシネマに代表される超高画質映像への期待が高まっている。これを受けて、映像の高画質化に関する研究が精力的に行われている。

超高画質映像の実現には次の四要素が必要である。すなわち、空間解像度、画素値深度、色再現性、時間解像度である。これを受けて、前者の三要素については、デジタルシネマ等の応用およびナチュラルビジョンプロジェクトにおいて検討が進められている。また、被写体の自然な動きを表現するために不可欠な時間解像度の向上、すなわち、映像の高フレームレート化についても検討がなされている。

映像の入力・出力システムのフレームレートの上限は非対称である。現在、撮像系としては、１０００[frame/sec] を超える高フレームレート映像を撮像可能な高速度カメラが利用可能である。ただし、こうした高速度カメラで撮像された映像はスロー再生用途で用いられる。一方、現行のディスプレイの上限は１２０[fps] 程度であるため、高速度カメラで撮影された映像ソースは、実時間再生を目的とした表示形態ではフレームを間引く必要がある。

通常、図１７に示すように、ダウンサンプリング後のフレーム時間間隔が等間隔になるようにダウンサンプリングが実施される（例えば、特許文献１参照）。

しかるに、単純なフレーム間引き処理では、時間方向のエイリアシング（動きのカクツキ）に起因する画質劣化が問題となる。こうした問題を回避するためには、時間軸方向の帯域制限フィルタリングが必要である。一方、動き補償フレーム間予測を用いた符号化器の場合、時間方向のエイリアシングの低減は予測誤差の低減とは直接的には結びつかない。つまり、時間方向のダウンサンプリングフィルタに関して、符号化効率の観点から最適化の余地があることになる。

従来の３０fps,６０fps のフレームレートの映像信号の場合、フィルタリングのための十分なサンプル（すなわち、フレーム）が確保できないため、フィルタの特性を高精度に近似することが困難であった。例えば、６０fps の映像信号をフィルタリングして３０fps の映像信号を生成する場合、フィルタリングの対象フレームに重複を許さない条件下では、フィルタリングの対象となるフレームは２フレームに限定される。

これに対して、高フレームレート映像信号の場合、フィルタ設計の自由度は拡張される。例えば、１０００fps の映像信号をフィルタリングして６２．５fps の映像信号を生成する場合、フィルタリングの対象フレームに重複を許さない条件下であっても、１６フレームをフィルタリングの対象とすることができる。

したがって、高フレームレート映像信号を入力してフィルタリングにより低フレームレート映像信号を得る場合、フィルタリング設計の自由度が高まることになる。

しかるに、従来技術では、この点について何ら検討を行っていない。これから、高フレームレート映像信号を入力してフィルタリングにより低フレームレート映像信号を得る場合に、符号化効率の観点から最適なフレームレート変換のためのフィルタリング方法を検討する余地がある。

特開２００４−２０１１６５号公報

このようなことを背景にして、本発明者は、「坂東幸浩, 高村誠之, 上倉一人, 八島由幸：“高フレームレート映像信号のダウンサンプリング方法に関する一考察”, 画像符号化シンポジウム, p5-02, 2008 」で、動き補償予測誤差電力を最小化するように、ダウンサンプリング後のフレームを選択するという方法について検討を行った。

しかるに、この方法では、フレーム選択に基づくダウンサンプリング手法によりフレームレートを変換するようにしており、時間方向の画質劣化を解決可能とするフィルタリングに基づくダウンサンプリング手法によりフレームレートを変換するようにしている訳ではない。

さらに、この方法では、逐次的に選択するフレームを設定しており、シーケンス全体での動き補償予測誤差電力の最小化を保証しておらず、その点から改善の余地が残されている。

本発明はかかる事情に鑑みてなされたものであって、高フレームレート映像信号に対してのダウンサンプリングにより得られる低フレームレート映像信号を入力とする映像符号化処理において、フィルタリングに基づくダウンサンプリングにより低フレームレート映像信号を生成することで、時間方向のエイリアシングに起因する画質劣化を防止するとともに、シーケンス全体に対する符号化効率を考慮した形でその低フレームレート映像信号を生成することで、ダウンサンプリング後の低フレームレート映像信号の符号化効率を向上することを実現する新たなフレームレート変換技術を確立することを目的とする。

〔１〕本発明の基本的な考え方
フレームレートの変換の対象となる高フレームレート映像信号について、フレーム間隔をδ_t として、時刻ｔ＝ｊδ_t （ｊ＝０, １, ..... ）のフレームにおける位置ｘの画素値をｆ（ｘ, ｔ）（ｘ＝０, １, .... ,Ｘ−１）と表す。

この画素信号ｆ（ｘ, ｔ）を、ダウンサンプリングによりフレーム数を１／Ｍに変換する場合を考える。ダウンサンプリング前後のフレームレートの比Ｍをダウンサンプリング比と呼ぶ。つまり、この変換は、フレームレートを、“１／δ_t ”から“１／Ｍδ_t ”へ変換することを想定している。

なお、以下では、簡単のために一次元信号を例にとり説明するが、同様の議論は、容易に二次元信号にも拡張可能である。

フレームレートの変換方法としては、フレーム間引き、単純平均などの方法がある。フレーム間引きでは、下記の式（１）で表されるフレームをダウンサンプリング後のフレームとする。

また、単純平均では、下記の式（２）で表されるフレームをダウンサンプリング後のフレームとする。

しかしながら、フレーム間引きと単純平均のいずれの方法も、動き補償を伴う動画像符号化を想定した手法ではなく、ダウンサンプリング後の映像信号の符号化効率の観点からは最適な手法とはいえない。

そこで、本発明では、時間方向のエイリアシング（動きのカクツキ）に起因する画質劣化を防止しつつ、ダウンサンプリング後の映像信号の符号化効率を向上することを実現するために、下記の式（３）で表されるように、タップ長２Δ＋１を持つフィルタ係数Ｗ_i （ｉはダウンサンプリングのフレーム位置を示す変数）
Ｗ_i ＝（ω_i 〔−Δ〕, .... ,ω_i 〔Δ〕）
を用いたフィルタリングを行うことにより、図１に示すように、ダウンサンプリング後のフレームを得ることとする。

ここで、Σω_i 〔ｊ〕＝１を満たすものとする。ただし、Σはｊ＝−Δ_i 〜Δ_i についての総和である。また、Δ_i は各フレーム毎に外部から与えられるパラメータ（ｉに依存しないこともある）である。

なお、ダウンサンプリングのフレーム位置が先頭のフレーム位置や最終のフレーム位置である場合には、フィルタリングの対象となる２Δ＋１枚のフレームが揃わないことも起こるが、この場合には、フィルタリング対象として存在するフレームについてのフィルタ係数を比例演算（それらのフィルタ係数の総和が１となるようにする比例演算）により決定することになる。

そして、本発明では、このときに、ダウンサンプリング後の映像信号の符号化効率を向上することを実現すべく、ダウンサンプリング後の低フレームレート映像信号の全フレームの符号化効率を考慮した形で、このフィルタ係数Ｗ_i を決定するようにする。

次に、本発明に特徴的な処理であるフィルタ係数Ｗ_i の決定方法について説明する。

〔ｉ〕“フィルタ係数の決定（その１）”
フィルタ係数Ｗ_i ＝（ω_i 〔−Δ〕, .... ,ω_i 〔Δ〕）として取り得るフィルタ係数の集合として、Ｎ通りの係数Ψ_n ＝｛ψ_n 〔−Δ〕, .... ,ψ_n 〔Δ〕｝（ｎ＝０, .... ,Ｎ−１）を考える。以下では、〜Ψ＝（Ψ₀ , .... ,Ψ_N-1 ）とおく。なお、以下の表記において、「〜Ｘ」（Ｘは文字）における記号〜は、「Ｘ」の上に付く記号を示している。

図２に示すように、等間隔に設定される各フレーム位置では、このＮ通りの中から適切なフィルタ係数を選択するものとする。以下、フィルタ係数の選択方法について詳細に説明する。

信号＾ｆ（ｘ, ｉＭδ_t , Ｗ_i ）をサイズＳの区間Ｂ〔ｋ〕（ｋ＝０, １, .... ,Ｋ−１）に分割し、各区間Ｂ〔ｋ〕（ｋ＝０, １, .... ,Ｋ−１）を単位として動き補償（推定変移量ｄ_i ＝（ｄ_i 〔０〕, .... ,ｄ_i 〔Ｋ−１〕）を行った場合、その区間内の動き補償後の予測誤差電力は下記の式（４）のように表現できる。なお、以下の表記において、「＾Ｘ」（Ｘは文字）における記号＾は、「Ｘ」の上に付く記号を示している。

ここで、式（４）では、１つ前のフィルタリングにより生成されたフレーム（参照フレームとなるフレーム）との間で動き補償後の予測誤差電力を求めるようにしている。

Ｗ_i とＷ_i-1 が与えられた場合、この式（４）に従って、σ_i ² 〔Ｗ_i , Ｗ_i-1 〕を最小化するように推定変移量ｄ〔ｋ〕（ｋ＝０, １, .... ,Ｋ−１）を設定し、ｄ〔ｋ, Ｗ_i , Ｗ_i-1 〕（ｋ＝０, １, .... ,Ｋ−１）とおく。このとき、推定変移量ｄ〔ｋ〕の精度は外部から与えられるものとする（例：整数画素精度、１／２画素精度、１／４画素精度など）。

ここで、注意すべきは、Ｗ_i の設定方法である。σ_i ² 〔Ｗ_i , Ｗ_i-1 〕を最小化するようにＷ_i を設定したのでは、シーケンス全体での予測誤差電力
Σσ_i ² 〔Ｗ_i , Ｗ_i-1 〕
但し、Σはｉ＝１〜（Ｊ／Ｍ−１）の総和で、Ｊはフレーム数
を最小化したことにはならない。なぜなら、Ｗ_i の選択はσ_i ² 〔Ｗ_i+1 , Ｗ_i 〕にも影響を与えるからである。

従って、求めるべきパラメータは、下記の式（５）を満たすＪ／Ｍ個のパラメータである。

各Ｗ_i を〜Ψに含まれるＮ通りの候補から選択を行うため、Ｊ／Ｍ個のパラメータ（Ｗ₀ , .... ,Ｗ_J/M-1 ）の取り得る組み合わせはＮ^J/M 通りであり、この中から最適な組み合わせ（Ｗ^* ₀ , .... ,Ｗ^* _J/M-1 ）を総当たりで探索するのは、計算量的に困難である。

そこで、本発明では、σ_i ² 〔Ｗ_i , Ｗ_i-1 〕が直前フレームの結果のみに依存することに着目し、以下のように最適解を算出する。

まず、Ｗ_i として取り得る全てのフィルタ係数集合〜Ψに対して、最適なＷ_i-1 , .... ,Ｗ₀ を用いた場合のΣσ_i ² 〔Ｗ_i , Ｗ_i-1 〕（但し、Σはｉ＝１〜ｉの総和）をＳ_i （Ｗ_i ）として定義する。

ここで、σ_i ² 〔Ｗ_i , Ｗ_i-1 〕が直前フレームの結果のみに依存することに着目すると、Ｓ_i （Ｗ_i ）はＳ_i-1 （Ｗ_i-1 ）を用いて、図３に示すように、下記の式（６）のように表される。なお、ｉ＝１, .... ,（Ｊ／Ｍ−１）である。

このとき算出したＳ_i （Ｗ_i ）（Ｗ_i ＝Ψ₀ , .... ,Ψ_N-1 ）をメモリに格納しておき、Ｓ_i+1 （Ｗ_i+1 ）の計算で用いるものとする。さらに、この式（６）の最小値を与えるＷ_i-1 を、図３中に示すように、＾Ｗ_i-1 （Ｗ_i ）とおく。この＾Ｗ_i-1 （Ｗ_i ）（Ｗ_i ＝Ψ₀ , .... ,Ψ_N-1 ）についても、全てメモリに格納しておくものとする。ここで、「＾Ｘ」（Ｘは文字）における記号＾は、「Ｘ」の上に付く記号を示している。

式（５）の最小化問題は、下記の式（７）のように表せる。

この式（７）を最小化するＷ_J/M-1 をＷ^* _J/M-1 とおくと、このＷ^* _J/M-1 は下記の式（８）で表せる。

Ｗ^* _J/M-1 に対する最適解は、＾Ｗ_J/M-2 （Ｗ_J/M-1 ）としてメモリに格納されているので、その値を参照し、Ｗ^* _J/M-2 ＝＾Ｗ_J/M-2 （Ｗ_J/M-1 ）とする。

以下、同様の参照処理を、
Ｗ^* _J/M-3 ＝＾Ｗ_J/M-3 （Ｗ_J/M-2 ）
・・・・・
Ｗ^* ₀ ＝＾Ｗ₀ （Ｗ₁ ）
として繰り返す。

このようにして、“フィルタ係数の決定（その１）”によれば、総当たりによる探索に依らずに、等間隔に設定される各フレーム位置ｉで用いるフィルタ係数の最適な組み合わせ（Ｗ^* ₀ , .... ,Ｗ^* _J/M-1 ）を求めることができるようになる。

以上の説明では、動き補償予測誤差電力を最小化するようにフィルタ係数の選択を行うことで説明したが、特定の符号化器（例えば、Ｈ．２６４準拠の符号化器）により符号化を行い、その符号化歪みＤと符号量Ｒの加重和のラグランジェコスト（符号化コスト：Ｊ＝Ｄ＋λＲ）を最小化するようにフィルタ係数の選択を行うようにしてもよい。ここで、λは符号化歪みＤと符号量Ｒの重みを調整するパラメータであり、外部から与えられることになる。

〔ii〕“フィルタ係数の決定（その２）”
“フィルタ係数の決定（その１）”では、フィルタ係数Ｗ_i ＝（ω_i 〔−Δ〕, .... ,ω_i 〔Δ〕）を用いた式（３）で示されるフィルタリングを行うことによりダウンサンプリング後のフレームを得るようにしたが、“フィルタ係数の決定（その２）”では、下記の式（９）で示されるフィルタリングを行うことによりダウンサンプリング後のフレームを得るようにする。

ここで、Σω_i 〔ｊ〕＝１を満たすものとする。ただし、Σはｊ＝−Δ_i 〜Δ_i についての総和である。また、Δ_i は各フレーム毎に外部から与えられるパラメータ（ｉに依存しないこともある）である。

式（３）との違いは、式（９）では、フィルタ処理の位置を補正するパラメータｐ_i が加わった点である。このパラメータｐ_i は、ｐ_i ＝０, １, .... ,Ｐ−１の値をとる。なお、このｐ_i の値については、０を中心として正負の値をとるように定義することも可能である。

通常、図１７に示すように、ダウンサンプリング後のフレーム時間間隔が等間隔になるように実施される。これは、非等間隔の時間サンプリングでは、ジャーキネス（画質劣化）を発生させるという仮定に基づくものである。ダウンサンプリングの対象が低フレームレート映像信号の場合、この仮定は正しい。しかし、ダウンサンプリングの対象が高フレームレート映像信号の場合は、その限りではない。ダウンサンプリングの対象が高フレームレート映像信号の場合、フレームを厳密に等間隔に配置しなくても、等間隔の乖離が一定閾値以内であれば、視覚的には大きなジャーキネス（画質劣化）が発生しないからである。

そこで、“フィルタ係数の決定（その２）”では、フィルタ処理の位置を補正するパラメータｐ_i を加えるようにしている。

すなわち、フィルタ係数Ｗ_i ＝（ω_i 〔−Δ〕, .... ,ω_i 〔Δ〕）として取り得るフィルタ係数の集合として、Ｎ通りの係数Ψ_n ＝｛ψ_n 〔−Δ〕, .... ,ψ_n 〔Δ〕｝（ｎ＝０, .... ,Ｎ−１）を考え、さらに、これらのフィルタ係数を施す位置として、Ｐ通りの位置を選択可能とする。

Ｐ＝３について例示する図４に示すように、等間隔に設定される各フレーム位置では、このＮ×Ｐ通りの中から適切なフィルタ係数を選択するものとする。以下、フィルタ係数の選択方法について詳細に説明する。

信号＾ｆ（ｘ, ｉＭδ_t , Ｗ_i , ｐ_i ）をサイズＳの区間Ｂ〔ｋ〕（ｋ＝０, １, .... ,Ｋ−１）に分割し、各区間Ｂ〔ｋ〕（ｋ＝０, １, .... ,Ｋ−１）を単位として動き補償（推定変移量ｄ_i ＝（ｄ_i 〔０〕, .... ,ｄ_i 〔Ｋ−１〕）を行った場合、その区間内の動き補償後の予測誤差電力は下記の式（１０）のように表現できる。

ここで、式（１０）では、１つ前のフィルタリングにより生成されたフレーム（参照フレームとなるフレーム）との間で動き補償後の予測誤差電力を求めるようにしている。

Ｗ_i , Ｗ_i-1 , ｐ_i , ｐ_i-1 が与えられた場合、この式（１０）に従って、σ_i ² 〔Ｗ_i , Ｗ_i-1 , ｐ_i , ｐ_i-1 〕を最小化するように推定変移量ｄ〔ｋ〕（ｋ＝０, １, .... ,Ｋ−１）を設定し、ｄ〔ｋ, Ｗ_i , Ｗ_i-1 , ｐ_i , ｐ_i-1 〕（ｋ＝０, １, .... ,Ｋ−１）とおく。このとき、推定変移量ｄ〔ｋ〕の精度は外部から与えられるものとする（例：整数画素精度、１／２画素精度、１／４画素精度など）。

ここで、注意すべきは、Ｗ_i , ｐ_i の設定方法である。σ_i ² 〔Ｗ_i , Ｗ_i-1 , ｐ_i , ｐ_i-1 〕を最小化するようにＷ_i , ｐ_i を設定したのでは、シーケンス全体での予測誤差電力
Σσ_i ² 〔Ｗ_i , Ｗ_i-1 , ｐ_i , ｐ_i-1 〕
但し、Σはｉ＝１〜（Ｊ／Ｍ−１）の総和で、Ｊはフレーム数
を最小化したことにはならない。なぜなら、Ｗ_i , ｐ_i の選択はσ_i ² 〔Ｗ_i , Ｗ_i-1 , ｐ_i , ｐ_i-1 〕にも影響を与えるからである。

従って、求めるべきパラメータは、下記の式（１１）を満たす２×（Ｊ／Ｍ）個のパラメータである。

各Ｗ_i を〜Ψに含まれるＮ通りの候補から選択を行い、さらに、各ｐ_i をＰ通りの候補から選択を行うため、２Ｊ／Ｍ個のパラメータ（Ｗ₀ , .... ,Ｗ_J/M-1 , ｐ₀ , .... ,ｐ_J/M-1 ）の取り得る組み合わせは（ＰＮ）^J/M 通りであり、この中から最適な組み合わせ（Ｗ^* ₀ , .... ,Ｗ^* _J/M-1 , ｐ^* ₀ , .... ,ｐ^* _J/M-1 ）を総当たりで探索するのは、計算量的に困難である。

そこで、本発明では、σ_i ² 〔Ｗ_i , Ｗ_i-1 , ｐ_i , ｐ_i-1 〕が直前フレームの結果のみに依存することに着目し、以下のように最適解を算出する。

まず、Ｗ_i として取り得る全てのフィルタ係数集合〜Ψおよびｐ_i として取り得るパラメータ集合（ｐ_i ＝０, １, .... ,Ｐ−１）に対して、最適なＷ_i-1 , .... ,Ｗ₀ , ｐ_i-1 , .... ,ｐ₀ を用いた場合のΣσ_i ² 〔Ｗ_i , Ｗ_i-1 , ｐ_i , ｐ_i-1 〕（但し、Σはｉ＝１〜ｉの総和）をＳ_i （Ｗ_i , ｐ_i ）として定義する。

ここで、σ_i ² 〔Ｗ_i , Ｗ_i-1 , ｐ_i , ｐ_i-1 〕が直前フレームの結果のみに依存することに着目すると、Ｓ_i （Ｗ_i , ｐ_i ）はＳ_i-1 （Ｗ_i-1 , ｐ_i-1 ）を用いて、図５に示すように、下記の式（１２）のように表される。なお、ｉ＝１, .... ,（Ｊ／Ｍ−１）である。

このとき算出したＳ_i （Ｗ_i , ｐ_i ）をメモリに格納しておき、Ｓ_i+1 （Ｗ_i+1 , ｐ_i+1 ）の計算で用いるものとする。さらに、この式（１２）の最小値を与えるＷ_i-1 、ｐ_i-1 を、図５中に示すように、それぞれ＾Ｗ_i-1 （Ｗ_i , ｐ_i ）、＾ｐ_i-1 （Ｗ_i , ｐ_i ）とおく。この＾Ｗ_i-1 （Ｗ_i , ｐ_i ）および＾ｐ_i-1 （Ｗ_i , ｐ_i ）（Ｗ_i ＝Ψ₀ , .... ,Ψ_N-1 , ｐ_i ＝０, １, .... ,Ｐ−１）についても、全てメモリに格納しておくものとする。

式（１１）の最小化問題は、下記の式（１３）のように表せる。

この式（１３）を最小化するＷ_J/M-1 、ｐ_J/M-1 を、それぞれＷ^* _J/M-1 、ｐ^* _J/M-1 とおくと、このＷ^* _J/M-1 およびｐ^* _J/M-1 は下記の式（１４）で表せる。

Ｗ^* _J/M-1 、ｐ^* _J/M-1 に対する最適解は、＾Ｗ_J/M-2 （Ｗ_J/M-1 , ｐ_J/M-1 ）、＾ｐ_J/M-2 （Ｗ_J/M-1 , ｐ_J/M-1 ）としてメモリに格納されているので、その値を参照し、Ｗ^* _J/M-2 ＝＾Ｗ_J/M-2 （Ｗ_J/M-1 , ｐ_J/M-1 ）、ｐ^* _J/M-2 ＝＾ｐ_J/M-2 （Ｗ_J/M-1 , ｐ_J/M-1 ）とする。

以下、同様の参照処理を、
Ｗ^* _J/M-3 ＝＾Ｗ_J/M-3 （Ｗ_J/M-2 , ｐ_J/M-2 ）
ｐ^* _J/M-3 ＝＾ｐ_J/M-3 （Ｗ_J/M-2 , ｐ_J/M-2 ）
・・・・・
Ｗ^* ₀ ＝＾Ｗ₀ （Ｗ₁ , ｐ₁ ）
ｐ^* ₀ ＝＾ｐ₀ （Ｗ₁ , ｐ₁ ）
として繰り返す。

このようにして、“フィルタ係数の決定（その２）”によれば、各フレーム位置ｉの近傍についてもフィルタ処理の対象と含めるようにする場合において、総当たりによる探索に依らずに、等間隔に設定される各フレーム位置ｉで用いるフィルタ係数の最適な組み合わせ（Ｗ^* ₀ , .... ,Ｗ^* _J/M-1 ）とフィルタリング位置の最適な組み合わせ（ｐ^* ₀ , .... ,ｐ^* _J/M-1 ）を求めることができるようになる。

以上の説明では、動き補償予測誤差電力を最小化するようにフィルタ係数の選択を行うことで説明したが、特定の符号化器（例えば、Ｈ．２６４準拠の符号化器）により符号化を行い、その符号化歪みＤと符号量Ｒの加重和のラグランジェコスト（符号化コスト：Ｊ＝Ｄ＋λＲ）を最小化するようにフィルタ係数の選択を行うようにしてもよい。ここで、λは符号化歪みＤと符号量Ｒの重みを調整するパラメータであり、外部から与えられることになる。

〔２〕本発明の構成
次に、本発明の構成について説明する。

本発明のフレームレート変換装置は、等間隔のフレーム位置において、予め用意するフィルタ係数集合の中からフィルタ係数を選択し、高フレームレート映像信号の複数フレームをそのフィルタ係数を用いてフィルタリングすることでダウンサンプリングを実行するものであり、そのことを実行するために、（１）等間隔のフレーム位置において、各フィルタ係数を用いる場合に生成される複数フレームのそれぞれについて、規定数前のフレーム位置において生成される複数フレームのそれぞれとの間で、ダウンサンプリングにより生成される低フレームレート映像信号の符号化効率を示す値を算出し、それに基づいて、先頭のフレーム位置からの符号化効率表示値の総和を最小化するつながりを持つフレームの生成に用いられるフィルタ係数を特定することを、先頭のフレーム位置から最終のフレーム位置に向けて繰り返し実行する実行手段と、（２）実行手段による繰り返しの実行を終えたフレーム位置において生成される複数フレームの中から、符号化効率表示値の総和の最小値を持つフレームを検出することで、その総和の最小値を持つフレームの生成に用いられるフィルタ係数を検出する検出手段と、（３）検出手段の検出したフィルタ係数を起点として実行手段の特定したフィルタ係数を辿ることで、各フレーム位置で用いるフィルタ係数を選択する選択手段とを備えるように構成する。

ここで、実行手段は、具体的には、算出した符号化効率表示値とその算出対象となった規定数前のフレーム位置にあるフレームの持つ符号化効率表示値の総和との加算値を求めて、それらの中の最小値を特定することで、先頭のフレーム位置からの符号化効率表示値の総和を最小化するつながりを持つフレームの生成に用いられるその規定数前のフレーム位置におけるフィルタ係数を特定するとともに、その加算値をその特定元のフレームの持つ符号化効率表示値の総和として設定するように処理する。

この構成を採るときに、等間隔のフレーム位置を補正する位置補正用パラメータを設定する設定手段を備えることがあり、この場合には、実行手段は、位置補正用パラメータにより補正されるフレーム位置において生成される複数フレームについても、等間隔のフレーム位置において生成されるフレームに含める形で処理を実行する。

また、実行手段は、符号化効率表示値として、動き補償予測誤差電力を算出したり、所定の符号化器を用いて符号化する場合に得られる符号化コストを算出することがある。

以上の各処理手段が動作することで実現される本発明のフレームレート変換方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明のフレームレート変換装置において、実行手段が、低フレームレート映像信号の符号化処理に合わせて、１つ前のフレーム位置において生成される複数フレームのそれぞれとの間で、ダウンサンプリングにより生成される低フレームレート映像信号の符号化効率を示す値を算出するという構成を採る場合には、実行手段によるフィルタ係数の特定処理のためのパスが１つとなって、実行手段による繰り返しの実行の終了が最終のフレーム位置のみとなるので、本発明のフレームレート変換装置は以下のように構成されることになる。

すなわち、本発明のフレームレート変換装置は、等間隔のフレーム位置において、予め用意するフィルタ係数集合の中からフィルタ係数を選択し、高フレームレート映像信号の複数フレームをそのフィルタ係数を用いてフィルタリングすることでダウンサンプリングを実行するものであり、そのことを実行するために、（１）等間隔のフレーム位置において、各フィルタ係数を用いる場合に生成される複数フレームのそれぞれについて、１つ前のフレーム位置において生成される複数フレームのそれぞれとの間で、ダウンサンプリングにより生成される低フレームレート映像信号の符号化効率を示す値を算出し、それに基づいて、先頭のフレーム位置からの符号化効率表示値の総和を最小化するつながりを持つフレームの生成に用いられる１つ前のフレーム位置におけるフィルタ係数を特定することを、最終のフレーム位置まで繰り返し実行する実行手段と、（２）最終のフレーム位置において生成される複数フレームの中から、符号化効率表示値の総和の最小値を持つフレームを検出することで、その総和の最小値を持つフレームの生成に用いられるフィルタ係数を検出する検出手段と、（３）検出手段の検出したフィルタ係数を起点として実行手段の特定したフィルタ係数を辿ることで、各フレーム位置で用いるフィルタ係数を選択する選択手段とを備えるように構成する。

本発明では、高フレームレート映像信号のフレームをフィルタリングに基づくダウンサンプリングにより低フレームレート映像信号へとフレームレート変換を実行するときに、ダウンサンプリング後の低フレームレート映像信号の全シーケンスに対する符号化効率を考慮した形で、そのフレームレート変換処理を実行する。

これから、本発明によれば、高フレームレート映像信号に対してのフィルタリングに基づくダウンサンプリングにより得られた所望のフレームレートの映像信号を符号化する場合に、均等フレーム間隔の間引きにより得られた映像信号よりも符号量を低く抑えることができるようになるとともに、全シーケンスに対する符号化効率を考慮しないで行う非等のフレーム間隔の間引きにより得られた映像信号よりも符号量を低く抑えることができるようになる。

そして、本発明によれば、高フレームレート映像信号のフレームをフィルタリングに基づくダウンサンプリングにより低フレームレート映像信号へと変換することから、時間方向のエイリアシングに起因する画質劣化を防止することができるようになる。

フィルタリングに基づくフレームレート変換処理の説明図である。 フィルタ係数の選択処理の説明図である。 本発明で算出するＳ_i （Ｗ_i ）の算出処理の説明図である。 フィルタ処理の位置を補正するパラメータの説明図である。 本発明で算出するＳ_i （Ｗ_i , ｐ_i ）の算出処理の説明図である。 本発明のフレームレート変換装置の装置構成図である。 フィルタ係数記憶部のデータ構造の説明図である。 本発明のフレームレート変換装置の装置構成図である。 本発明のフレームレート変換装置の装置構成図である。 ダウンサンプリング実行部の実行するフローチャートである。 ダウンサンプリング実行部の実行するフローチャートである。 ダウンサンプリング実行部の実行するフローチャートである。 ダウンサンプリング実行部の実行するフローチャートである。 ダウンサンプリング実行部の実行するフローチャートである。 ダウンサンプリング実行部の実行するフローチャートである。 本発明の有効性を検証するために行った実験結果の説明図である。 従来技術によるフレームレート変換処理の説明図である。

以下、実施の形態に従って本発明を詳細に説明する。

図６に、本発明のフレームレート変換装置１の装置構成の一例を図示する。

この図に示すように、本発明のフレームレート変換装置１は、フレームレート変換処理の対象となる高フレームレート映像信号を格納する高フレームレート映像ファイル１０と、フレームレート変換処理された低フレームレート映像信号を格納する低フレームレート映像ファイル１１と、高フレームレート映像信号から低フレームレート映像信号へのフィルタリングに基づくフレームレート変換処理を実行するフレームレートダウンサンプリング部１２とを備える。

このフレームレートダウンサンプリング部１２は、動き推定部１２００を備えて、動き補償予測誤差電力を算出する動き補償予測誤差算出部１２０と、フィルタ係数の集合を記憶するフィルタ係数記憶部１２１と、動き補償予測誤差算出部１２０の算出する動き補償予測誤差電力を評価値として用いて、フィルタ係数記憶部１２１の記憶するフィルタ係数集合の中から最適なフィルタ係数を選択して、その選択したフィルタ係数を使って高フレームレート映像信号の複数フレームに対してフィルタリング処理を施すことでフレームレートダウンサンプリング処理を実行するダウンサンプリング実行部１２２と、ダウンサンプリング実行部１２２の作業用データを記憶する作業用メモリ１２３とを備える。

ここで、フィルタ係数記憶部１２１は、フィルタリング処理が２Δ＋１枚のフレームに対して施される場合には、図７に示すようなデータ構造に従って、ダウンサンプリング実行部１２２の用いるフィルタ係数の集合を記憶することになる。

ダウンサンプリング実行部１２２の実行するフレーム選択処理の説明に入る前に、動き補償予測誤差算出部１２０の備える動き推定部１２００の処理について説明する。

動き推定部１２００は、予測対象フレームと参照フレームとを入力として、下記に示す処理を実行することで、予測対象フレーム内のブロック毎の動きベクトルｄ〔ｋ〕、すなわち、式（４）や式（１０）におけるｄ〔ｋ〕（ｋ＝０, １, .... ,Ｋ−１）を推定する処理を行う。ここで、ｋはブロックを同定するインデックスである。

処理：・式（４）や式（１０）のΣ｛ｘ∈Ｂ〔ｋ〕｝の項（第ｋブロックの予測誤差和 ）を最小化する動きベクトルｄ〔ｋ〕を求める
・動きベクトルは、予め与えられた探索範囲−Ｄ≦ｄ〔ｋ〕≦Ｄ−１内の値から 選択される
・選択の方法は、探索範囲内の全ての候補ベクトルに対して、その候補ベクトル を用いた場合の予測誤差和を算出し、その予測誤差和を最小化するベクトルを ｄ〔ｋ〕とすることで行う
動き補償予測誤差算出部１２０は、動き推定部１２００の推定したベクトルｄ〔ｋ〕を使い、式（４）や式（１０）に基づいて、予測対象フレームと参照フレームとの間の動き補償予測誤差電力を算出する。

〔１〕第１の実施形態例
次に、第１の実施形態例について説明する。

〔１−１〕ダウンサンプリング実行部１２２の装置構成
図８に、第１の実施形態例を実現すべく構成されるダウンサンプリング実行部１２２の装置構成の一例を図示する。ここで、以下に説明するダウンサンプリング実行部１２２の処理では、フィルタリングに用いるフィルタ係数の選択基準として、動き補償予測誤差誤差電力を用いる場合を示す。

ダウンサンプリング実行部１２２は、フィルタリングに基づくフレームレートダウンサンプリング処理を実行するものであり、第１の実施形態例に従う場合には、この図８に示すように、入力部１２２０と、処理フレーム位置選択部１２２１と、処理フィルタ係数選択部１２２２と、参照フィルタ係数決定部１２２３と、全フレーム位置終了判定部１２２４と、累積予測誤差最小化最終フィルタ係数検出部１２２５と、決定参照フィルタ係数追跡部１２２６と、フィルタリング実行部１２２７とを備える。

この入力部１２２０は、高フレームレート映像信号のフレーム数Ｊと、高フレームレート映像信号のフレーム間隔δ_t と、ダウンサンプリング比Ｍとを読み込む。

処理フレーム位置選択部１２２１は、ダウンサンプリング比Ｍとフレーム間隔δ_t とに基づく等間隔のダウンサンプリングにより規定されるダウンサンプリングフレーム位置（以下、フレーム位置と略記する）を選択対象として、先頭のフレーム位置の１つ後のフレーム位置を起点にして、最終のフレーム位置までのフレーム位置を順次、処理フレーム位置として選択する。

処理フィルタ係数選択部１２２２は、フィルタ係数記憶部１２１に記憶されるフィルタ係数集合の中からフィルタ係数を順次選択して、その選択したフィルタ係数を使って、処理フレーム位置選択部１２２１の選択した処理フレーム位置の近傍に位置するフレームをフィルタリングすることで処理フレームを生成する。

参照フィルタ係数決定部１２２３は、処理フィルタ係数選択部１２２２の生成した処理フレームと、１つ前のフレーム位置において各フィルタ係数の選択に対応付けて生成された参照フレームのそれぞれとの間で動き補償予測誤差電力を算出し、その算出した動き補償予測誤差電力とその算出対象となった参照フレームの持つ動き補償予測誤差電力の総和との加算値を求めて（累積予測誤差算出機能）、それらの中の最小値を特定することで（最小累積予測誤差特定機能）、先頭のフレーム位置からの動き補償予測誤差電力の総和を最小化するつながりを持つ参照フレームを特定して、その特定した参照フレームの生成に用いられたフィルタ係数を、処理フィルタ係数選択部１２２２の選択したフィルタ係数にとっての最適なフィルタ係数（参照フィルタ係数）として決定する。

全フレーム位置終了判定部１２２４は、最終のフレーム位置までの全フレーム位置について処理を行ったのか否かを判定して、全フレーム位置について処理を行っていないことを判定するときには、処理フレーム位置選択部１２２１に対して次のフレーム位置を選択するように指示し、全フレーム位置について処理を行ったことを判定するときには、累積予測誤差最小化最終フィルタ係数検出部１２２５に対して処理の実行を指示する。

累積予測誤差最小化最終フィルタ係数検出部１２２５は、最終のフレーム位置において算出された動き補償予測誤差電力の総和（参照フィルタ係数決定部１２２３が算出したもの）について、それらの中の最小値を持つフレームを検出することで、先頭のフレーム位置からの動き補償予測誤差電力の総和を最小化する最終フレームを特定して、その特定した最終フレームの生成に用いられたフィルタ係数を最終のフレーム位置における最適なフィルタ係数（最終フィルタ係数）として検出する。

決定参照フィルタ係数追跡部１２２６は、累積予測誤差最小化最終フィルタ係数検出部１２２５の検出した最終フィルタ係数を起点として、参照フィルタ係数決定部１２２３の決定した参照フィルタ係数を辿ることで、等間隔のダウンサンプリングにより規定されるフレーム位置のそれぞれについての最適な参照フィルタ係数を抽出する。

フィルタリング実行部１２２７は、累積予測誤差最小化最終フィルタ係数検出部１２２５の検出した最終フィルタ係数と、決定参照フィルタ係数追跡部１２２６の抽出した参照フィルタ係数とを用いてフィルタリング処理を実行することで高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行する。

〔１−２〕ダウンサンプリング実行部１２２の実行する処理
下記に、このように構成されるダウンサンプリング実行部１２２の実行するフレームレートダウンサンプリング処理の流れを示す。

１．撮影された映像信号（フレームレート変換処理の対象となる高フレームレート映像 信号）、そのフレーム数Ｊ、そのフレームレート（フレーム間隔δ_t を算出するた めに用いる）を読み込む
２．ダウンサンプリング比Ｍを読み込む
３．ｉ＝１, .... ,Ｊ／Ｍ−１について以下の処理を行う
４． Ｗ_i ＝Ψ₀ , .... ,Ψ_N-1 について以下の処理を行う
５． Ｗ_i-1 ＝Ψ₀ , .... ,Ψ_N-1 について以下の処理を行う
６． 参照フレームを＾ｆ（ｘ−ｄ_i 〔ｋ〕, （ｉ−１）Ｍδ_t , Ｗ_i-1 ）とする 場合の＾ｆ（ｘ, ｉＭδ_t , Ｗ_i ）に対する動き補償予測誤差電力（式（４ ))を最小化する動きベクトルを求める。動きベクトルの求め方は外部から与 えられる。例えば、探索範囲内の候補をしらみつぶしにあたる全探索法を用 いる。求めた動きベクトルを用いた場合の動き補償予測誤差電力をσ_i ² 〔 Ｗ_i , Ｗ_i-1 〕に格納する
７． σ_i ² 〔Ｗ_i , Ｗ_i-1 〕＋Ｓ_i-1 （Ｗ_i-1 ）の値を算出する
（ただし、ｉ＝１の場合には、σ₁ ² 〔Ｗ₁ , Ｗ₀ 〕の値を算出する）
８． σ_i ² 〔Ｗ_i , Ｗ_i-1 〕＋Ｓ_i-1 （Ｗ_i-1 ）（Ｗ_i-1 ＝Ψ₀ , .... ,Ψ_N-1 ） の中での最小値をＳ_i （Ｗ_i ）に格納する
（ただし、ｉ＝１の場合には、σ₁ ² 〔Ｗ₁ , Ｗ₀ 〕（Ｗ₀ ＝Ψ₀ , .... , Ψ_N-1 ）の中での最小値をＳ₁ （Ｗ₁ ）に格納する）
９． Ｓ_i （Ｗ_i ）を与えるＷ_i-1 を＾Ｗ_i-1 （Ｗ_i ）に格納する
10．Ｓ_J/M-1 （Ｗ_J/M-1 ）を最小化するＷ_J/M-1 をＷ^* _J/M-1 に格納する
11．ｉ＝Ｊ／Ｍ−２, .... ,１について以下の処理を行う
12． Ｗ^* _i-1 ＝＾Ｗ_i-1 （Ｗ_i ）を読み出す
13．ダウンサンプリング後の第ｉフレームとして、＾ｆ（ｘ, ｉＭδ_t , Ｗ^* _i ）
（ｘ＝０, .... ,Ｘ−１）を格納する。

このようにして、ダウンサンプリング実行部１２２は、まず最初に、予め用意した各フィルタ係数のそれぞれを使って、等間隔のダウンサンプリングにより規定されるフレーム位置の近傍に位置するフレームをフィルタリングすることでフレームを生成して、図３に示すように、その生成したフレームのそれぞれについて、１つ前のフレーム位置において各フィルタ係数の選択に対応付けて同様に生成したフレームのそれぞれとの間で動き補償予測誤差電力を算出し、その算出した動き補償予測誤差電力とその算出対象となった参照フレームの持つ動き補償予測誤差電力の総和との加算値を求めて、それらの中の最小値を特定することで、１つ前のフレーム位置における最適なフィルタ係数を求めるという処理を、最終のフレーム位置まで繰り返して実行し、
続いて、最終のフレーム位置において算出した動き補償予測誤差電力の総和について、それらの中の最小値を持つフレームを検出することで、最終のフレーム位置における最適なフィルタ係数を検出して、その検出したフィルタ係数を起点として先に特定したフィルタ係数を先頭のフレーム位置に向けて辿ることで、等間隔のダウンサンプリングにより規定されるフレーム位置のそれぞれについて最適なフィルタ係数を抽出し、
最後に、それらの抽出した最適なフィルタ係数を用いて各フレーム位置においてフィルタリングを実行することで、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行するのである。

ここで、ダウンサンプリング実行部１２２は、低フレームレート映像信号の符号化処理に合わせて、１つ前のフレーム位置との間ではなくて、それよりも前の規定数前のフレーム位置との間で動き補償予測誤差電力を算出するようにしてもよい。

この場合には、フィルタ係数の特定処理のためのパスが複数となって、先頭のフレーム位置およびそれに続く規定数のフレーム位置を起点として繰り返しの実行を開始して、最終のフレーム位置よりも規定数前のフレーム位置およびそれに続く最終のフレーム位置までのフレーム位置について、その繰り返しの実行を行うことになる。

そして、その繰り返しの実行を終えたフレーム位置において生成される複数フレームの中から、動き補償予測誤差電力の総和の最小値を持つフレームを検出することで、その総和の最小値を持つフレームの生成に用いられるフィルタ係数を検出して、その検出したフィルタ係数を起点として先に特定したフィルタ係数を先頭のフレーム位置に向けて辿ることで、等間隔のダウンサンプリングにより規定されるフレーム位置のそれぞれについて最適なフィルタ係数を抽出することになる。

〔２〕第２の実施形態例
次に、第２の実施形態例について説明する。

〔２−１〕ダウンサンプリング実行部１２２の装置構成
図９に、第２の実施形態例を実現すべく構成されるダウンサンプリング実行部１２２の装置構成の一例を図示する。ここで、以下に説明するダウンサンプリング実行部１２２の処理では、フィルタリングに用いるフィルタ係数の選択基準として、動き補償予測誤差誤差電力を用いる場合を示す。

ダウンサンプリング実行部１２２は、フィルタリングに基づくフレームレートダウンサンプリング処理を実行するものであり、第２の実施形態例に従う場合には、この図９に示すように、入力部１２２０αと、処理フレーム位置選択部１２２１αと、処理位置・フィルタ係数選択部１２２２αと、参照位置・フィルタ係数決定部１２２３αと、全フレーム位置終了判定部１２２４αと、累積予測誤差最小化最終位置・フィルタ係数検出部１２２５αと、決定参照位置・フィルタ係数追跡部１２２６αと、フィルタリング実行部１２２７とを備える。

この入力部１２２０αは、高フレームレート映像信号のフレーム数Ｊと、高フレームレート映像信号のフレーム間隔δ_t と、ダウンサンプリング比Ｍとを読み込む。

処理フレーム位置選択部１２２１αは、ダウンサンプリング比Ｍとフレーム間隔δ_t とに基づく等間隔のダウンサンプリングにより規定されるダウンサンプリングフレーム位置（以下、フレーム位置と略記する）を選択対象として、先頭のフレーム位置の１つ後のフレーム位置を起点にして、最終のフレーム位置までのフレーム位置を順次、処理フレーム位置として選択する。

処理位置・フィルタ係数選択部１２２２αは、フィルタ処理の位置を補正するパラメータ（前述したｐ_i ：ｐ_i ＝０, １, .... ,Ｐ−１）を順次設定するとともに、フィルタ係数記憶部１２１に記憶されるフィルタ係数集合の中からフィルタ係数を順次選択して、その設定・選択した処理位置およびフィルタ係数を使って、処理フレーム位置選択部１２２１αの選択した処理フレーム位置の近傍に位置するフレームをフィルタリングすることで処理フレームを生成する。

参照位置・フィルタ係数決定部１２２３αは、処理位置・フィルタ係数選択部１２２２αの生成した処理フレームと、１つ前のフレーム位置において各参照位置・各フィルタ係数の設定・選択に対応付けて生成された参照フレームのそれぞれとの間で動き補償予測誤差電力を算出し、その算出した動き補償予測誤差電力とその算出対象となった参照フレームの持つ動き補償予測誤差電力の総和との加算値を求めて（累積予測誤差算出機能）、それらの中の最小値を特定することで（最小累積予測誤差特定機能）、先頭のフレーム位置からの動き補償予測誤差電力の総和を最小化するつながりを持つ参照フレームを特定して、その特定した参照フレームの生成に用いられた参照位置およびフィルタ係数を、処理位置・フィルタ係数選択部１２２２αの設定・選択した処理位置およびフィルタ係数にとっての最適な参照位置およびフィルタ係数（参照フィルタ係数）として決定する。

全フレーム位置終了判定部１２２４αは、最終のフレーム位置までの全フレーム位置について処理を行ったのか否かを判定して、全フレーム位置について処理を行っていないことを判定するときには、処理フレーム位置選択部１２２１αに対して次のフレーム位置を選択するように指示し、全フレーム位置について処理を行ったことを判定するときには、累積予測誤差最小化最終位置・フィルタ係数検出部１２２５αに対して処理の実行を指示する。

累積予測誤差最小化最終位置・フィルタ係数検出部１２２５αは、最終のフレーム位置において算出された動き補償予測誤差電力の総和（参照位置・フィルタ係数決定部１２２３αが算出したもの）について、それらの中の最小値を持つフレームを検出することで、先頭のフレーム位置からの動き補償予測誤差電力の総和を最小化する最終フレームを特定して、その特定した最終フレームの生成に用いられた最終位置およびフィルタ係数を最終のフレーム位置における最適な最終位置およびフィルタ係数（最終フィルタ係数）として検出する。

決定参照位置・フィルタ係数追跡部１２２６αは、累積予測誤差最小化最終位置・フィルタ係数検出部１２２５αの検出した最終位置および最終フィルタ係数を起点として、参照位置・フィルタ係数決定部１２２３αの決定した参照位置および参照フィルタ係数を辿ることで、等間隔のダウンサンプリングにより規定されるフレーム位置のそれぞれについての最適な参照位置および参照フィルタ係数を抽出する。

フィルタリング実行部１２２７αは、累積予測誤差最小化最終位置・フィルタ係数検出部１２２５αの検出した最終位置および最終フィルタ係数と、決定参照位置・フィルタ係数追跡部１２２６αの抽出した参照位置および参照フィルタ係数とを用いてフィルタリング処理を実行することで高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行する。

〔２−２〕ダウンサンプリング実行部１２２の実行する処理
下記に、このように構成されるダウンサンプリング実行部１２２の実行するフレームレートダウンサンプリング処理の流れを示す。

１．撮影された映像信号（フレームレート変換処理の対象となる高フレームレート映像 信号）、そのフレーム数Ｊ、そのフレームレート（フレーム間隔δ_t を算出するた めに用いる）を読み込む
２．ダウンサンプリング比Ｍを読み込む
３．ｉ＝１, .... ,Ｊ／Ｍ−１について以下の処理を行う
４． Ｗ_i ＝Ψ₀ , .... ,Ψ_N-1 について以下の処理を行う
５． ｐ_i ＝０, .... ,Ｐ−１について以下の処理を行う
６． Ｗ_i-1 ＝Ψ₀ , .... ,Ψ_N-1 について以下の処理を行う
７． ｐ_i-1 ＝０, .... ,Ｐ−１について以下の処理を行う
８． 参照フレームを＾ｆ（ｘ−ｄ_i 〔ｋ〕, （ｉ−１）Ｍδ_t , Ｗ_i-1 , ｐ _i-1 ）とする場合の＾ｆ（ｘ, ｉＭδ_t , Ｗ_i , ｐ_i ）に対する動き補 償予測誤差電力（式（１０))を最小化する動きベクトルを求める。動き ベクトルの求め方は外部から与えられる。例えば、探索範囲内の候補を しらみつぶしにあたる全探索法を用いる。求めた動きベクトルを用いた 場合の動き補償予測誤差電力をσ_i ² 〔Ｗ_i , Ｗ_i-1 , ｐ_i , ｐ_i-1 〕 に格納する
９． σ_i ² 〔Ｗ_i , Ｗ_i-1 , ｐ_i , ｐ_i-1 〕＋Ｓ_i-1 （Ｗ_i-1 , ｐ_i-1 ）の 値を算出する
（ただし、ｉ＝１の場合には、σ₁ ² 〔Ｗ₁ , Ｗ₀ , ｐ₁ , ｐ₀ 〕の 値を算出する）
10． σ_i ² 〔Ｗ_i , Ｗ_i-1 , ｐ_i , ｐ_i-1 〕＋Ｓ_i-1 （Ｗ_i-1 , ｐ_i-1 ）（Ｗ_i-1 ＝Ψ₀ , .... ,Ψ_N-1 , ｐ_i-1 ＝０, .... ,Ｐ−１）の中での最小値をＳ_i （ Ｗ_i , ｐ_i ）に格納する
（ただし、ｉ＝１の場合には、σ₁ ² 〔Ｗ₁ , Ｗ₀ , ｐ₁ , ｐ₀ 〕（Ｗ₀ ＝ Ψ₀ , .... ,Ψ_N-1 , ｐ₀ ＝０, .... ,Ｐ−１）の中での最小値をＳ₁ （ Ｗ₁ , ｐ₁ ）に格納する）
11． Ｓ_i （Ｗ_i , ｐ_i ）を与えるＷ_i-1 , ｐ_i-1 を＾Ｗ_i-1 （Ｗ_i , ｐ_i ）, ＾ｐ _i-1 （Ｗ_i , ｐ_i ）に格納する
12．Ｓ_J/M-1 （Ｗ_J/M-1 , ｐ_J/M-1 ）を最小化するＷ_J/M-1 , ｐ_J/M-1 をＷ^* _J/M-1 , ｐ^* _J/M-1 に格納する
13．ｉ＝Ｊ／Ｍ−２, .... ,１について以下の処理を行う
14． Ｗ^* _i-1 ＝＾Ｗ_i-1 （Ｗ_i , ｐ_i ）を読み出す
15． ｐ^* _i-1 ＝＾ｐ_i-1 （Ｗ_i , ｐ_i ）を読み出す
16．ダウンサンプリング後の第ｉフレームとして、＾ｆ（ｘ, ｉＭδ_t , Ｗ^* _i , ｐ^* _i ）（ｘ＝０, .... ,Ｘ−１）を格納する。

このようにして、ダウンサンプリング実行部１２２は、まず最初に、予め用意した各フィルタ係数および各位置補正用パラメータ値のそれぞれを使って、等間隔のダウンサンプリングにより規定されるフレーム位置の近傍に位置するフレームをフィルタリングすることでフレームを生成して、図５に示すように、その生成したフレームのそれぞれについて、１つ前のフレーム位置において各フィルタ係数および各位置補正用パラメータ値の選択に対応付けて同様に生成したフレームのそれぞれとの間で動き補償予測誤差電力を算出し、その算出した動き補償予測誤差電力とその算出対象となった参照フレームの持つ動き補償予測誤差電力の総和との加算値を求めて、それらの中の最小値を特定することで、１つ前のフレーム位置における最適なフィルタ係数および位置補正用パラメータ値を求めるという処理を、最終のフレーム位置まで繰り返して実行し、
続いて、最終のフレーム位置において算出した動き補償予測誤差電力の総和について、それらの中の最小値を持つフレームを検出することで、最終のフレーム位置における最適なフィルタ係数および位置補正用パラメータ値を検出して、その検出したフィルタ係数および位置補正用パラメータ値を起点として先に特定したフィルタ係数および位置補正用パラメータ値を先頭のフレーム位置に向けて辿ることで、等間隔のダウンサンプリングにより規定されるフレーム位置のそれぞれについて最適なフィルタ係数および位置補正用パラメータ値を抽出し、
最後に、それらの抽出した最適なフィルタ係数および位置補正用パラメータ値を用いて各フレーム位置においてフィルタリングを実行することで、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行するのである。

ここで、ダウンサンプリング実行部１２２は、低フレームレート映像信号の符号化処理に合わせて、１つ前のフレーム位置（補正位置を含む）との間ではなくて、それよりも前の規定数前のフレーム位置（補正位置を含む）との間で動き補償予測誤差電力を算出するようにしてもよい。

この場合には、フィルタ係数の特定処理のためのパスが複数となって、先頭のフレーム位置およびそれに続く規定数のフレーム位置を起点として繰り返しの実行を開始して、最終のフレーム位置よりも規定数前のフレーム位置およびそれに続く最終のフレーム位置までのフレーム位置について、その繰り返しの実行を行うことになる。

そして、その繰り返しの実行を終えたフレーム位置において生成される複数フレームの中から、動き補償予測誤差電力の総和の最小値を持つフレームを検出することで、その総和の最小値を持つフレームの生成に用いられるフィルタ係数を検出して、その検出したフィルタ係数を起点として先に特定したフィルタ係数を先頭のフレーム位置に向けて辿ることで、等間隔のダウンサンプリングにより規定されるフレーム位置のそれぞれについて最適なフィルタ係数を抽出することになる。

次に、実施例に従って本発明を詳細に説明する。

〔１〕第１の実施例
図１０〜図１２に、図８のように構成されるダウンサンプリング実行部１２２の実行するフレームレートダウンサンプリング処理のフローチャートの一例を図示する。

次に、これらのフローチャートに従って、図８のように構成されるダウンサンプリング実行部１２２が実行することになるフレームレートのダウンサンプリング処理について詳細に説明する。

〔１−１〕全体処理
ダウンサンプリング実行部１２２は、フレームレートダウンサンプリング処理の実行要求があると、図１０のフローチャートに示すように、まず最初に、ステップＳ１０１で、フレームレート変換処理の対象となる高フレームレート映像信号と、そのフレーム数Ｊと、そのフレーム間隔δ_t と、ダウンサンプリング比Ｍとを読み込むとともに、フィルタ係数記憶部１２１に記憶されるフィルタ係数の集合Ψ_n （ｎ＝０〜Ｎ−１）を読み込む。

続いて、ステップＳ１０２で、ｉ＝１およびＷ₁ （Ｗ₁ ：ｉ＝１のフレーム位置で用いるフィルタ係数）の指定するフレームと、ｉ＝０およびＷ₀ （Ｗ₀ ：ｉ＝０のフレーム位置で用いるフィルタ係数）の指定するフレームとの間で、前述のＳ₁ （Ｗ₁ ）を算出して、それを作業用メモリ１２３に格納するとともに、そのＳ₁ （Ｗ₁ ）を与えるＷ₀ を＾Ｗ₀ （Ｗ₁ ）として作業用メモリ１２３に格納する。

ここで、このステップＳ１０２の処理の詳細については、図１１のフローチャートで後述する。

続いて、ステップＳ１０３で、２≦ｉ≦Ｊ／Ｍ−１について、ｉおよびＷ_i （Ｗ_i ：フレーム位置ｉで用いるフィルタ係数）の指定するフレームと、ｉ−１およびＷ_i-1 （Ｗ_i-1 ：フレーム位置ｉ−１で用いるフィルタ係数）の指定するフレームとの間で前述のＳ_i （Ｗ_i ）を算出して、それを作業用メモリ１２３に格納するとともに、そのＳ_i （Ｗ_i ）を与えるＷ_i-1 を＾Ｗ_i-1 （Ｗ_i ）として作業用メモリ１２３に格納する。

ここで、このステップＳ１０３の処理の詳細については、図１２のフローチャートで後述する。

続いて、ステップＳ１０４で、Ｓ_J/M-1 （Ｗ_J/M-1 ）を最小化するＷ_J/M-1 をＷ^* _J/M-1 として作業用メモリ１２３に格納する。すなわち、最終のフレーム位置Ｊ／Ｍ−１で、Ｓ_J/M-1 （Ｗ_J/M-1 ）を最小化するフィルタ係数Ｗ_J/M-1 を求めて、それを最終のフレーム位置Ｊ／Ｍ−１で用いる最適なフィルタ係数Ｗ^* _J/M-1 として作業用メモリ１２３に格納するのである。

続いて、ステップＳ１０５で、変数ｉにＪ／Ｍ−２をセットする。

続いて、ステップＳ１０６で、Ｗ^* _J/M-1 を起点として、Ｗ^* _i-1 ＝＾Ｗ_i-1 （Ｗ_i ）に従ってＷ^* _i-1 を決定して作業用メモリ１２３に格納する。

すなわち、図３に示すように、＾Ｗ_i-1 （Ｗ_i ）はそのＷ_i にとって最小値を与えるＷ_i-1 であるので、それを使って、Ｗ^* _i-1 ＝＾Ｗ_i-1 （Ｗ_i ）に従って、フレーム位置ｉ−１で用いる最適なフィルタ係数Ｗ^* _i-1 を決定して作業用メモリ１２３に格納するのである。

続いて、ステップＳ１０７で、変数ｉの値が０に到達したのか否かを判断して、０に到達していないことを判断するときには、ステップＳ１０８に進んで、変数ｉの値を１つディクリメントしてから、ステップＳ１０６の処理に戻り、０に到達したことを判断するときには、ステップＳ１０９の処理に進む。

続いて、ステップＳ１０９で、０≦ｉ≦Ｊ／Ｍ−１を処理対象として、ダウンサンプリング後の第ｉフレームとして、＾ｆ（ｘ, ｉＭδ_t , Ｗ^* _i ）（ｘ＝０, .... ,Ｘ−１）を生成して低フレームレート映像ファイル１１に格納することで、ダウンサンプリング後の低フレームレート映像信号を生成して、処理を終了する。

〔１−２〕ステップＳ１０２の処理の詳細
次に、図１１のフローチャートに従って、図１０のフローチャートのステップＳ１０２で実行する処理の詳細について説明する。

ダウンサンプリング実行部１２２は、ステップＳ１０２の処理に入ると、図１１のフローチャートに示すように、まず最初に、ステップＳ２０１で、フレーム位置ｉを示す変数ｉに１をセットする。なお、図１１のフローチャートにおいては、ｉの値は１に固定されている。

続いて、ステップＳ２０２で、フレーム位置ｉで用いるフィルタ係数Ｗ_i の番号を示す変数ｕに０をセットし、続くステップＳ２０３で、フレーム位置ｉで用いるフィルタ係数Ｗ_i としてΨ_u をセットする。

続いて、ステップＳ２０４で、フレーム位置ｉ−１で用いるフィルタ係数Ｗ_i-1 の番号を示す変数ｖに０をセットし、続くステップＳ２０５で、フレーム位置ｉ−１で用いるフィルタ係数Ｗ_i-1 としてΨ_v をセットする。

続いて、ステップＳ２０６で、ｉおよびＷ_i の指定するフレーム（フレーム位置ｉで、フィルタ係数Ｗ_i を使ってフィルタリングすることで生成されるフレーム）と、ｉ−１およびＷ_i-1 の指定するフレーム（フレーム位置ｉ−１で、フィルタ係数Ｗ_i-1 を使ってフィルタリングすることで生成されるフレーム）との間で、動き補償予測誤差電力の最小値σ_i ² 〔Ｗ_i , Ｗ_i-1 〕を算出して、それを作業用メモリ１２３に格納する。

すなわち、ｉ＝１であるので、σ₁ ² 〔Ｗ₁ , Ｗ₀ 〕を算出して、それを作業用メモリ１２３に格納するのである。

続いて、ステップＳ２０７で、変数ｖの値がＮ−１に到達したのか否かを判断して、Ｎ−１に到達していないことを判断するときには、ステップＳ２０８に進んで、変数ｖの値を１つインクリメントしてから、ステップＳ２０５の処理に戻る。

このようにして、ｉ＝１の場合において、変数ｖの値を０からＮ−１まで１つずつインクリメントしながらステップＳ２０６の処理を実行することで、ｉ＝１およびＷ₁ （ｕの値の指すフィルタ係数）の指定するフレームと、ｉ＝０およびＷ₀ （Ｗ₀ ＝Ψ₀ , .... ,Ψ_N-1 ）の指定するフレームとの間で動き補償予測誤差電力の最小値σ₁ ² 〔Ｗ₁ , Ｗ₀ 〕を算出して、それらを作業用メモリ１２３に格納するのである。

一方、ステップＳ２０７で、変数ｖの値がＮ−１に到達したことを判断するときには、ステップＳ２０９に進んで、作業用メモリ１２３に格納したσ_i ² 〔Ｗ_i , Ｗ_i-1 〕（Ｗ_i-1 ＝Ψ₀ , .... ,Ψ_N-1 ）の中の最小値Ｓ_i （Ｗ_i ）を特定して、それを作業用メモリ１２３に格納するとともに、そのＳ_i （Ｗ_i ）を与えるＷ_i-1 を＾Ｗ_i-1 （Ｗ_i ）として作業用メモリ１２３に格納する。

すなわち、ｉ＝１の場合において、あるフィルタ係数Ｗ₁ について、ステップＳ２０６の処理を繰り返し実行することで求めたσ₁ ² 〔Ｗ₁ , Ｗ₀ 〕（Ｗ₀ ＝Ψ₀ , .... ,Ψ_N-1 ）の中の最小値Ｓ₁ （Ｗ₁ ）を特定して、それを作業用メモリ１２３に格納するとともに、そのＳ₁ （Ｗ₁ ）を与えるＷ₀ を＾Ｗ₀ （Ｗ₁ ）として作業用メモリ１２３に格納するのである。

続いて、ステップＳ２１０で、変数ｕの値がＮ−１に到達したのか否かを判断して、Ｎ−１に到達していないことを判断するときには、ステップＳ２１１に進んで、変数ｕの値を１つインクリメントしてから、ステップＳ２０３の処理に戻る。

このようにして、ｉ＝１の場合において、変数ｕの値を０からＮ−１まで１つずつインクリメントしながらステップＳ２０６／ステップＳ２０９の処理を実行することで、Ｗ₁ の値Ψ₀ , .... ,Ψ_N-1 のそれぞれについて、σ₁ ² 〔Ｗ₁ , Ｗ₀ 〕（Ｗ₀ ＝Ψ₀ , .... ,Ψ_N-1 ）を求めて、その中の最小値Ｓ₁ （Ｗ₁ ）を特定して作業用メモリ１２３に格納するとともに、そのＳ₁ （Ｗ₁ ）を与えるＷ₀ を＾Ｗ₀ （Ｗ₁ ）として作業用メモリ１２３に格納するのである。

そして、ステップＳ２１０で、変数ｕの値がＮ−１に到達したことを判断するときには、図１０のフローチャートのステップＳ１０２の処理を終了する。

このようにして、ダウンサンプリング実行部１２２は、図１０のフローチャートのステップＳ１０２の処理に入ると、図１１のフローチャートを実行することで、ｉ＝１およびＷ₁ の指定するフレームとｉ＝０およびＷ₀ の指定するフレームとの間でＳ₁ （Ｗ₁ ）を算出して、それを作業用メモリ１２３に格納するとともに、そのＳ₁ （Ｗ₁ ）を与えるＷ₀ を＾Ｗ₀ （Ｗ₁ ）として作業用メモリ１２３に格納するように処理するのである。

〔１−３〕ステップＳ１０３の処理の詳細
次に、図１２のフローチャートに従って、図１０のフローチャートのステップＳ１０３で実行する処理の詳細について説明する。

ダウンサンプリング実行部１２２は、ステップＳ１０３の処理に入ると、図１２のフローチャートに示すように、まず最初に、ステップＳ３０１で、フレーム位置ｉを示す変数ｉに２をセットする。

続いて、ステップＳ３０２で、フレーム位置ｉで用いるフィルタ係数Ｗ_i の番号を示す変数ｕに０をセットし、続くステップＳ３０３で、フレーム位置ｉで用いるフィルタ係数Ｗ_i としてΨ_u をセットする。

続いて、ステップＳ３０４で、フレーム位置ｉ−１で用いるフィルタ係数Ｗ_i-1 の番号を示す変数ｖに０をセットし、続くステップＳ３０５で、フレーム位置ｉ−１で用いるフィルタ係数Ｗ_i-1 としてΨ_v をセットする。

続いて、ステップＳ３０６で、ｉおよびＷ_i の指定するフレーム（フレーム位置ｉで、フィルタ係数Ｗ_i を使ってフィルタリングすることで生成されるフレーム）と、ｉ−１およびＷ_i-1 の指定するフレーム（フレーム位置ｉ−１で、フィルタ係数Ｗ_i-1 を使ってフィルタリングすることで生成されるフレーム）との間で、動き補償予測誤差電力の最小値σ_i ² 〔Ｗ_i , Ｗ_i-1 〕を算出する。

続いて、ステップＳ３０７で、σ_i ² 〔Ｗ_i , Ｗ_i-1 〕＋Ｓ_i-1 （Ｗ_i-1 ）を算出して作業用メモリ１２３に格納する。このときに用いるＳ_i-1 （Ｗ_i-1 ）については、図１１のフローチャートの処理や後述するステップＳ３１０の処理で求められて作業用メモリ１２３に格納されているので、それを用いる。

続いて、ステップＳ３０８で、変数ｖの値がＮ−１に到達したのか否かを判断して、Ｎ−１に到達していないことを判断するときには、ステップＳ３０９に進んで、変数ｖの値を１つインクリメントしてから、ステップＳ３０５の処理に戻る。

このようにして、変数ｖの値を０からＮ−１まで１つずつインクリメントしながらステップＳ３０６／ステップＳ３０７の処理を実行することで、ｉおよび変数Ｗ_i （ｕの値の指すフィルタ係数）の指定するフレームと、ｉ−１および変数Ｗ_i-1 （Ｗ_i-1 ＝Ψ₀ , .... ,Ψ_N-1 ）の指定するフレームとの間で動き補償予測誤差電力の最小値σ_i ² 〔Ｗ_i , Ｗ_i-1 〕を算出して、その算出したσ_i ² 〔Ｗ_i , Ｗ_i-1 〕と、そのｉ−１および変数Ｗ_i-1 （Ｗ_i-1 ＝Ψ₀ , .... ,Ψ_N-1 ）の指定するフレームのそれぞれが持つ先頭のフレーム位置からの動き補償予測誤差電力の総和Ｓ_i-1 （Ｗ_i-1 ）との加算値を算出し、それらを作業用メモリ１２３に格納するのである。

一方、ステップＳ３０８で、変数ｖの値がＮ−１に到達したことを判断するときには、ステップＳ３１０に進んで、作業用メモリ１２３に格納したσ_i ² 〔Ｗ_i , Ｗ_i-1 〕＋Ｓ_i-1 （Ｗ_i-1 ）（Ｗ_i-1 ＝Ψ₀ , .... ,Ψ_N-1 ）の中の最小値Ｓ_i （Ｗ_i ）を特定して、それを作業用メモリ１２３に格納するとともに、そのＳ_i （Ｗ_i ）を与えるＷ_i-1 を＾Ｗ_i-1 （Ｗ_i ）として作業用メモリ１２３に格納する。

すなわち、変数Ｗ_i のある値について、ステップＳ３０６／ステップＳ３０７の処理を繰り返し実行することで求めたσ_i ² 〔Ｗ_i , Ｗ_i-1 〕＋Ｓ_i-1 （Ｗ_i-1 ）（Ｗ_i-1 ＝Ψ₀ , .... ,Ψ_N-1 ）の中の最小値Ｓ_i （Ｗ_i ）を特定して、それを作業用メモリ１２３に格納するとともに、そのＳ_i （Ｗ_i ）を与えるＷ_i-1 を＾Ｗ_i-1 （Ｗ_i ）として作業用メモリ１２３に格納するのである。

続いて、ステップＳ３１１で、変数ｕの値がＮ−１に到達したのか否かを判断して、Ｎ−１に到達していないことを判断するときには、ステップＳ３１２に進んで、変数ｕの値を１つインクリメントしてから、ステップＳ３０３の処理に戻る。

このようにして、変数ｕの値を０からＮ−１まで１つずつインクリメントしながらステップＳ３０６／ステップＳ３０７／ステップＳ３１０の処理を実行することで、変数Ｗ_i の値Ψ₀ , .... ,Ψ_N-1 のそれぞれについて、σ_i ² 〔Ｗ_i , Ｗ_i-1 〕＋Ｓ_i-1 （Ｗ_i-1 ）（Ｗ_i-1 ＝Ψ₀ , .... ,Ψ_N-1 ）を求めて、その中の最小値Ｓ_i （Ｗ_i ）を特定して作業用メモリ１２３に格納するとともに、そのＳ_i （Ｗ_i ）を与えるＷ_i-1 を＾Ｗ_i-1 （Ｗ_i ）として格納するのである。

一方、ステップＳ３１１で、変数ｕの値がＮ−１に到達したことを判断するときには、ステップＳ３１３に進んで、変数ｉの値がＪ／Ｍ−１に到達したのか否かを判断して、Ｊ／Ｍ−１に到達していないことを判断するときには、ステップＳ３１４に進んで、変数ｉの値を１つインクリメントしてから、次のフレーム位置について処理を行うべく、ステップＳ３０２の処理に戻る。

そして、ステップＳ３１３で、変数ｉの値がＪ／Ｍ−１に到達したことを判断するときには、図１０のフローチャートのステップＳ１０３の処理を終了する。

このようにして、ダウンサンプリング実行部１２２は、図１０のフローチャートのステップＳ１０３の処理に入ると、図１２のフローチャートを実行することで、２≦ｉ≦Ｊ／Ｍ−１について、ｉおよびＷ_i の指定するフレームとｉ−１およびＷ_i-1 の指定するフレームとの間でＳ_i （Ｗ_i ）を算出して、それを作業用メモリ１２３に格納するとともに、そのＳ_i （Ｗ_i ）を与えるＷ_i-1 を＾Ｗ_i-1 （Ｗ_i ）として作業用メモリ１２３に格納するように処理するのである。

〔１−４〕処理の概要
このように、図８のように構成されるダウンサンプリング実行部１２２は、まず最初に、予め用意した各フィルタ係数のそれぞれを使って、等間隔のダウンサンプリングにより規定されるフレーム位置の近傍に位置するフレームをフィルタリングすることでフレームを生成して、図３に示すように、その生成したフレームのそれぞれについて、１つ前のフレーム位置において各フィルタ係数の選択に対応付けて同様に生成したフレームのそれぞれとの間で動き補償予測誤差電力を算出し、その算出した動き補償予測誤差電力とその算出対象となった参照フレームの持つ動き補償予測誤差電力の総和との加算値を求めて、それらの中の最小値を特定することで、１つ前のフレーム位置における最適なフィルタ係数を求めるという処理を、最終のフレーム位置まで繰り返して実行する。

続いて、最終のフレーム位置において算出した動き補償予測誤差電力の総和について、それらの中の最小値を持つフレームを検出することで、最終のフレーム位置における最適なフィルタ係数を検出して、その検出したフィルタ係数を起点として先に特定したフィルタ係数を先頭のフレーム位置に向けて辿ることで、等間隔のダウンサンプリングにより規定されるフレーム位置のそれぞれについて最適なフィルタ係数を抽出する。

そして、最後に、それらの抽出した最適なフィルタ係数を用いて各フレーム位置においてフィルタリングを実行することで、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行する。

〔２〕第２の実施例
図１３〜図１５に、図９のように構成されるダウンサンプリング実行部１２２の実行するフレームレートダウンサンプリング処理のフローチャートの一例を図示する。

次に、これらのフローチャートに従って、図９のように構成されるダウンサンプリング実行部１２２が実行することになるフレームレートのダウンサンプリング処理について詳細に説明する。

〔２−１〕全体処理
ダウンサンプリング実行部１２２は、フレームレートダウンサンプリング処理の実行要求があると、図１３のフローチャートに示すように、まず最初に、ステップＳ４０１で、フレームレート変換処理の対象となる高フレームレート映像信号と、そのフレーム数Ｊと、そのフレーム間隔δ_t と、ダウンサンプリング比Ｍとを読み込むとともに、フィルタ係数記憶部１２１に記憶されるフィルタ係数の集合Ψ_n （ｎ＝０〜Ｎ−１）を読み込む。

続いて、ステップＳ４０２で、ｉ＝１、Ｗ₁ およびｐ₁ （Ｗ₁ ：ｉ＝１のフレーム位置で用いるフィルタ係数、ｐ₁ ：ｉ＝１のフレーム位置を補正するパラメータ）の指定するフレームと、ｉ＝０、Ｗ₀ およびｐ₀ （Ｗ₀ ：ｉ＝０のフレーム位置で用いるフィルタ係数、ｐ₀ ：ｉ＝０のフレーム位置を補正するパラメータ）の指定するフレームとの間で、前述のＳ₁ （Ｗ₁ , ｐ₁ ）を算出して、それを作業用メモリ１２３に格納するとともに、そのＳ₁ （Ｗ₁ , ｐ₁ ）を与えるＷ₀ 、ｐ₀ を、それぞれ＾Ｗ₀ （Ｗ₁ , ｐ₁ ）、＾ｐ₀ （Ｗ₁ , ｐ₁ ）として作業用メモリ１２３に格納する。

ここで、このステップＳ４０２の処理の詳細については、図１４のフローチャートで後述する。

続いて、ステップＳ４０３で、２≦ｉ≦Ｊ／Ｍ−１について、ｉ、Ｗ_i およびｐ_i （Ｗ_i ：フレーム位置ｉで用いるフィルタ係数、ｐ_i ：フレーム位置ｉを補正するパラメータ）の指定するフレームと、ｉ−１、Ｗ_i-1 およびｐ_i-1 （Ｗ_i-1 ：フレーム位置ｉ−１で用いるフィルタ係数、ｐ_i-1 ：フレーム位置ｉ−１を補正するパラメータ）の指定するフレームとの間で、前述のＳ_i （Ｗ_i , ｐ_i ）を算出して、それを作業用メモリ１２３に格納するとともに、そのＳ_i （Ｗ_i , ｐ_i ）を与えるＷ_i-1 、ｐ_i-1 を、それぞれ＾Ｗ_i-1 （Ｗ_i , ｐ_i ）、＾ｐ_i-1 （Ｗ_i , ｐ_i ）として作業用メモリ１２３に格納する。

ここで、このステップＳ４０３の処理の詳細については、図１５のフローチャートで後述する。

続いて、ステップＳ４０４で、Ｓ_J/M-1 （Ｗ_J/M-1 , ｐ_J/M-1 ）を最小化するＷ_J/M-1 、ｐ_J/M-1 を、それぞれＷ^* _J/M-1 、ｐ^* _J/M-1 として作業用メモリ１２３に格納する。すなわち、最終のフレーム位置Ｊ／Ｍ−１で、Ｓ_J/M-1 （Ｗ_J/M-1 , ｐ_J/M-1 ）を最小化するフィルタ係数Ｗ_J/M-1 および位置補正用パラメータｐ_J/M-1 を求めて、それを最終のフレーム位置Ｊ／Ｍ−１で用いる最適なフィルタ係数Ｗ^* _J/M-1 および位置補正用パラメータｐ^* _J/M-1 として作業用メモリ１２３に格納するのである。

続いて、ステップＳ４０５で、変数ｉにＪ／Ｍ−２をセットする。

続いて、ステップＳ４０６で、Ｗ^* _J/M-1 およびｐ^* _J/M-1 を起点として、Ｗ^* _i-1 ＝＾Ｗ_i-1 （Ｗ_i , ｐ_i ）に従ってＷ^* _i-1 を決定して作業用メモリ１２３に格納するとともに、ｐ^* _i-1 ＝＾ｐ_i-1 （Ｗ_i , ｐ_i ）に従ってｐ^* _i-1 を決定して作業用メモリ１２３に格納する。

すなわち、図５に示すように、＾Ｗ_i-1 （Ｗ_i , ｐ_i ）はそのＷ_i にとって最小値を与えるＷ_i-1 であるので、それを使って、Ｗ^* _i-1 ＝＾Ｗ_i-1 （Ｗ_i , ｐ_i ）に従って、フレーム位置ｉ−１で用いる最適なフィルタ係数Ｗ^* _i-1 を決定して作業用メモリ１２３に格納し、さらに、＾ｐ_i-1 （Ｗ_i , ｐ_i ）はそのｐ_i にとって最小値を与えるｐ_i-1 であるので、それを使って、ｐ^* _i-1 ＝＾ｐ_i-1 （Ｗ_i , ｐ_i ）に従って、フレーム位置ｉ−１で用いる最適な位置補正用パラメータｐ^* _i-1 を決定して作業用メモリ１２３に格納するのである。

続いて、ステップＳ４０７で、変数ｉの値が０に到達したのか否かを判断して、０に到達していないことを判断するときには、ステップＳ４０８に進んで、変数ｉの値を１つディクリメントしてから、ステップＳ４０６の処理に戻り、０に到達したことを判断するときには、ステップＳ４０９の処理に進む。

続いて、ステップＳ４０９で、０≦ｉ≦Ｊ／Ｍ−１を処理対象として、ダウンサンプリング後の第ｉフレームとして、＾ｆ（ｘ, ｉＭδ_t , Ｗ^* _i , ｐ^* _i ）（ｘ＝０, .... ,Ｘ−１）を生成して低フレームレート映像ファイル１１に格納することで、ダウンサンプリング後の低フレームレート映像信号を生成して、処理を終了する。

〔２−２〕ステップＳ４０２の処理の詳細
次に、図１４のフローチャートに従って、図１３のフローチャートのステップＳ４０２で実行する処理の詳細について説明する。

ダウンサンプリング実行部１２２は、ステップＳ４０２の処理に入ると、図１４のフローチャートに示すように、まず最初に、ステップＳ５０１で、フレーム位置ｉを示す変数ｉに１をセットする。なお、図１４のフローチャートにおいては、ｉの値は１に固定されている。

続いて、ステップＳ５０２で、フレーム位置ｉで用いるフィルタ係数Ｗ_i の番号を示す変数ｕに０をセットし、続くステップＳ５０３で、フレーム位置ｉで用いるフィルタ係数Ｗ_i としてΨ_u をセットし、続くステップＳ５０４で、フレーム位置ｉで用いる位置補正用パラメータｐ_i の値として０をセットする。

続いて、ステップＳ５０５で、フレーム位置ｉ−１で用いるフィルタ係数Ｗ_i-1 の番号を示す変数ｖに０をセットし、続くステップＳ５０６で、フレーム位置ｉ−１で用いるフィルタ係数Ｗ_i-1 としてΨ_v をセットし、続くステップＳ５０７で、フレーム位置ｉ−１で用いる位置補正用パラメータｐ_i-1 の値として０をセットする。

続いて、ステップＳ５０８で、ｉ、Ｗ_i およびｐ_i の指定するフレーム（ｐ_i により補正されたフレーム位置ｉで、フィルタ係数Ｗ_i を使ってフィルタリングすることで生成されるフレーム）と、ｉ−１、Ｗ_i-1 およびｐ_i-1 の指定するフレーム（ｐ_i-1 により補正されたフレーム位置ｉ−１で、フィルタ係数Ｗ_i-1 を使ってフィルタリングすることで生成されるフレーム）との間で、動き補償予測誤差電力の最小値σ_i ² 〔Ｗ_i , Ｗ_i-1 , ｐ_i , ｐ_i-1 〕を算出して、それを作業用メモリ１２３に格納する。

すなわち、ｉ＝１であるので、σ₁ ² 〔Ｗ₁ , Ｗ₀ , ｐ₁ , ｐ₀ 〕を算出して、それを作業用メモリ１２３に格納するのである。

続いて、ステップＳ５０９で、ｐ_i-1 の値がＰ−１に到達したのか否かを判断して、Ｐ−１に到達していないことを判断するときには、ステップＳ５１０に進んで、ｐ_i-1 の値を１つインクリメントしてから、ステップＳ５０８の処理に戻る。

一方、ステップＳ５０９の判断処理で、ｐ_i-1 の値がＰ−１に到達したことを判断するときには、ステップＳ５１１に進んで、変数ｖの値がＮ−１に到達したのか否かを判断して、Ｎ−１に到達していないことを判断するときには、ステップＳ５１２に進んで、変数ｖの値を１つインクリメントしてから、ステップＳ５０６の処理に戻る。

このようにして、ｉ＝１の場合において、ｐ_i-1 の値を０からＰ−１まで１つずつインクリメントするとともに、変数ｖの値を０からＮ−１まで１つずつインクリメントしながらステップＳ５０８の処理を実行することで、ｉ＝１、Ｗ₁ （あるフィルタ係数）およびｐ₁ （ある補正パラメータ）の指定するフレームと、ｉ＝０、Ｗ₀ （Ｗ₀ ＝Ψ₀ , .... ,Ψ_N-1 ）およびｐ₀ （ｐ₀ ＝０, .... ,Ｎ−１）の指定するフレームとの間で動き補償予測誤差電力の最小値σ₁ ² 〔Ｗ₁ , Ｗ₀ , ｐ₁ , ｐ₀ 〕を算出して、それらを作業用メモリ１２３に格納するのである。

一方、ステップＳ５１１で、変数ｖの値がＮ−１に到達したことを判断するときには、ステップＳ５１３に進んで、作業用メモリ１２３に格納したσ_i ² 〔Ｗ_i , Ｗ_i-1 , ｐ_i , ｐ_i-1 〕（Ｗ_i-1 ＝Ψ₀ , .... ,Ψ_N-1 , ｐ_i-1 ＝０, .... ,Ｎ−１）の中の最小値Ｓ_i （Ｗ_i , ｐ_i ）を特定して、それを作業用メモリ１２３に格納するとともに、そのＳ_i （Ｗ_i , ｐ_i ）を与えるＷ_i-1 、ｐ_i-1 を、それぞれ＾Ｗ_i-1 （Ｗ_i , ｐ_i ）、＾ｐ_i-1 （Ｗ_i , ｐ_i ）として作業用メモリ１２３に格納する。

すなわち、ｉ＝１の場合において、あるフィルタ係数Ｗ₁ およびあるｐ₁ について、ステップＳ５０８の処理を繰り返し実行することで求めたσ₁ ² 〔Ｗ₁ , Ｗ₀ , ｐ₁ , ｐ₀ 〕（Ｗ₀ ＝Ψ₀ , .... ,Ψ_N-1 , ｐ₀ ＝０, .... ,Ｎ−１）の中の最小値Ｓ₁ （Ｗ₁ , ｐ₁ ）を特定して、それを作業用メモリ１２３に格納するとともに、そのＳ₁ （Ｗ₁ , ｐ₁ ）を与えるＷ₀ 、ｐ₀ を、それぞれ＾Ｗ₀ （Ｗ₁ , ｐ₁ ）、＾ｐ₀ （Ｗ₁ , ｐ₁ ）として作業用メモリ１２３に格納するのである。

続いて、ステップＳ５１４で、ｐ_i の値がＰ−１に到達したのか否かを判断して、Ｐ−１に到達していないことを判断するときには、ステップＳ５１５に進んで、ｐ_i の値を１つインクリメントしてから、ステップＳ５０５の処理に戻る。

一方、ステップＳ５１４の判断処理で、ｐ_i の値がＰ−１に到達したことを判断するときには、ステップＳ５１６に進んで、変数ｕの値がＮ−１に到達したのか否かを判断して、Ｎ−１に到達していないことを判断するときには、ステップＳ５１７に進んで、変数ｕの値を１つインクリメントしてから、ステップＳ５０３の処理に戻る。

このようにして、ｉ＝１の場合において、ｐ_i の値を０からＰ−１まで１つずつインクリメントするとともに、変数ｕの値を０からＮ−１まで１つずつインクリメントしながらステップＳ５０８／ステップＳ５１３の処理を実行することで、Ｗ₁ の値（Ｗ₁ ＝Ψ₀ , .... ,Ψ_N-1 ）およびｐ_i の値（ｐ₁ ＝０, .... ,Ｎ−１）のそれぞれについて、σ₁ ² 〔Ｗ₁ , Ｗ₀ , ｐ₁ , ｐ₀ 〕（Ｗ₀ ＝Ψ₀ , .... ,Ψ_N-1 , ｐ₀ ＝０, .... ,Ｎ−１）を求めて、その中の最小値Ｓ₁ （Ｗ₁ , ｐ₁ ）を特定して作業用メモリ１２３に格納するとともに、そのＳ₁ （Ｗ₁ , ｐ₁ ）を与えるＷ₀ 、ｐ₀ を、それぞれ＾Ｗ₀ （Ｗ₁ , ｐ₁ ）、＾ｐ₀ （Ｗ₁ , ｐ₁ ）として作業用メモリ１２３に格納するのである。

そして、ステップＳ５１６で、変数ｕの値がＮ−１に到達したことを判断するときには、ステップＳ４０２の処理を終了する。

このようにして、ダウンサンプリング実行部１２２は、図１３のフローチャートのステップＳ４０２の処理に入ると、図１４のフローチャートを実行することで、ｉ＝１、Ｗ₁ およびｐ₁ の指定するフレームと、ｉ＝０、Ｗ₀ およびｐ₀ の指定するフレームとの間で、Ｓ₁ （Ｗ₁ , ｐ₁ ）を算出して、それを作業用メモリ１２３に格納するとともに、そのＳ₁ （Ｗ₁ , ｐ₁ ）を与えるＷ₀ 、ｐ₀ を、それぞれ＾Ｗ₀ （Ｗ₁ , ｐ₁ ）、＾ｐ₀ （ｐ₁ , ｐ₁ ）として作業用メモリ１２３に格納するように処理するのである。

〔２−３〕ステップＳ４０３の処理の詳細
次に、図１５のフローチャートに従って、図１３のフローチャートのステップＳ４０３で実行する処理の詳細について説明する。

ダウンサンプリング実行部１２２は、ステップＳ４０３の処理に入ると、図１５のフローチャートに示すように、まず最初に、ステップＳ６０１で、フレーム位置ｉを示す変数ｉに２をセットする。

続いて、ステップＳ６０２で、フレーム位置ｉで用いるフィルタ係数Ｗ_i の番号を示す変数ｕに０をセットし、続くステップＳ６０３で、フレーム位置ｉで用いるフィルタ係数Ｗ_i としてΨ_u をセットし、続くステップＳ６０４で、フレーム位置ｉで用いる位置補正用パラメータｐ_i の値として０をセットする。

続いて、ステップＳ６０５で、フレーム位置ｉ−１で用いるフィルタ係数Ｗ_i-1 の番号を示す変数ｖに０をセットし、続くステップＳ６０６で、フレーム位置ｉ−１で用いるフィルタ係数Ｗ_i-1 としてΨ_v をセットし、続くステップＳ６０７で、フレーム位置ｉ−１で用いる位置補正用パラメータｐ_i-1 の値として０をセットする。

続いて、ステップＳ６０８で、ｉ、Ｗ_i およびｐ_i の指定するフレーム（ｐ_i により補正されたフレーム位置ｉで、フィルタ係数Ｗ_i を使ってフィルタリングすることで生成されるフレーム）と、ｉ−１、Ｗ_i-1 およびｐ_i-1 の指定するフレーム（ｐ_i-1 により補正されたフレーム位置ｉ−１で、フィルタ係数Ｗ_i-1 を使ってフィルタリングすることで生成されるフレーム）との間で、動き補償予測誤差電力の最小値σ_i ² 〔Ｗ_i , Ｗ_i-1 , ｐ_i , ｐ_i-1 〕を算出する。

続いて、ステップＳ６０９で、σ_i ² 〔Ｗ_i , Ｗ_i-1 , ｐ_i , ｐ_i-1 〕＋Ｓ_i-1 （Ｗ_i-1 , ｐ_i-1 ）を算出して作業用メモリ１２３に格納する。このときに用いるＳ_i-1 （Ｗ_i-1 , ｐ_i-1 ）については、図１４のフローチャートの処理や後述するステップＳ６１４の処理で求められて作業用メモリ１２３に格納されているので、それを用いる。

続いて、ステップＳ６１０で、ｐ_i-1 の値がＰ−１に到達したのか否かを判断して、Ｐ−１に到達していないことを判断するときには、ステップＳ６１１に進んで、ｐ_i-1 の値を１つインクリメントしてから、ステップＳ６０８の処理に戻る。

一方、ステップＳ６１０の判断処理で、ｐ_i-1 の値がＰ−１に到達したことを判断するときには、ステップＳ６１２に進んで、変数ｖの値がＮ−１に到達したのか否かを判断して、Ｎ−１に到達していないことを判断するときには、ステップＳ６１３に進んで、変数ｖの値を１つインクリメントしてから、ステップＳ６０６の処理に戻る。

このようにして、ｐ_i-1 の値を０からＰ−１まで１つずつインクリメントするとともに、変数ｖの値を０からＮ−１まで１つずつインクリメントしながらステップＳ６０８／ステップＳ６０９の処理を実行することで、ｉ、Ｗ_i （あるフィルタ係数）およびｐ_i （ある補正パラメータ）の指定するフレームと、ｉ−１、Ｗ_i-1 （Ｗ_i-1 ＝Ψ₀ , .... ,Ψ_N-1 ）およびｐ_i-1 （ｐ_i-1 ＝０, .... ,Ｎ−１）の指定するフレームとの間で動き補償予測誤差電力の最小値σ₁ ² 〔Ｗ_i , Ｗ_i-1 , ｐ_i , ｐ_i-1 〕を算出して、その算出したσ₁ ² 〔Ｗ_i , Ｗ_i-1 , ｐ_i , ｐ_i-1 〕と、そのｉ−１、Ｗ_i-1 （Ｗ_i-1 ＝Ψ₀ , .... ,Ψ_N-1 ）およびｐ_i-1 （ｐ_i-1 ＝０, .... ,Ｎ−１）の指定するフレームのそれぞれが持つ先頭のフレーム位置からの動き補償予測誤差電力の総和Ｓ_i-1 （Ｗ_i-1 , ｐ_i-1 ）との加算値を算出し、それを作業用メモリ１２３に格納するのである。

一方、ステップＳ６１２で、変数ｖの値がＮ−１に到達したことを判断するときには、ステップＳ６１４に進んで、作業用メモリ１２３に格納したσ_i ² 〔Ｗ_i , Ｗ_i-1 , ｐ_i , ｐ_i-1 〕＋Ｓ_i-1 （Ｗ_i-1 , ｐ_i-1 ）（Ｗ_i-1 ＝Ψ₀ , .... ,Ψ_N-1 , ｐ_i-1 ＝０, .... ,Ｎ−１）の中の最小値Ｓ_i （Ｗ_i , ｐ_i ）を特定して、それを作業用メモリ１２３に格納するとともに、そのＳ_i （Ｗ_i , ｐ_i ）を与えるＷ_i-1 、ｐ_i-1 を、それぞれ＾Ｗ_i-1 （Ｗ_i , ｐ_i ）、＾ｐ_i-1 （Ｗ_i , ｐ_i ）として作業用メモリ１２３に格納する。

すなわち、あるフィルタ係数Ｗ_i およびあるｐ_i について、ステップＳ６０８／ステップＳ６０９の処理を繰り返し実行することで求めたσ_i ² 〔Ｗ_i , Ｗ_i-1 , ｐ_i , ｐ_i-1 〕＋Ｓ_i-1 （Ｗ_i-1 , ｐ_i-1 ）（Ｗ_i-1 ＝Ψ₀ , .... ,Ψ_N-1 , ｐ_i-1 ＝０, .... ,Ｎ−１）の中の最小値Ｓ_i （Ｗ_i , ｐ_i ）を特定して、それを作業用メモリ１２３に格納するとともに、そのＳ_i （Ｗ_i , ｐ_i ）を与えるＷ_i-1 、ｐ_i-1 を、それぞれ＾Ｗ_i-1 （Ｗ_i , ｐ_i ）、＾ｐ_i-1 （Ｗ_i , ｐ_i ）として作業用メモリ１２３に格納するのである。

続いて、ステップＳ６１５で、ｐ_i の値がＰ−１に到達したのか否かを判断して、Ｐ−１に到達していないことを判断するときには、ステップＳ６１６に進んで、ｐ_i の値を１つインクリメントしてから、ステップＳ６０５の処理に戻る。

一方、ステップＳ６１５の判断処理で、ｐ_i の値がＰ−１に到達したことを判断するときには、ステップＳ６１７に進んで、変数ｕの値がＮ−１に到達したのか否かを判断して、Ｎ−１に到達していないことを判断するときには、ステップＳ６１８に進んで、変数ｕの値を１つインクリメントしてから、ステップＳ６０３の処理に戻る。

このようにして、ｐ_i の値を０からＰ−１まで１つずつインクリメントするとともに、変数ｕの値を０からＮ−１まで１つずつインクリメントしながらステップＳ６０８／ステップＳ６０９／ステップＳ６１４の処理を実行することで、Ｗ_i の値（Ｗ_i ＝Ψ₀ , .... ,Ψ_N-1 ）およびｐ_i の値（ｐ_i ＝０, .... ,Ｎ−１）のそれぞれについて、σ_i ² 〔Ｗ_i , Ｗ_i-1 , ｐ_i , ｐ_i-1 〕＋Ｓ_i-1 （Ｗ_i-1 , ｐ_i-1 ）（Ｗ_i-1 ＝Ψ₀ , .... ,Ψ_N-1 , ｐ_i-1 ＝０, .... ,Ｎ−１）を求めて、その中の最小値Ｓ_i （Ｗ_i , ｐ_i ）を特定して作業用メモリ１２３に格納するとともに、そのＳ_i （Ｗ_i , ｐ_i ）を与えるＷ_i-1 、ｐ_i-1 を、それぞれ＾Ｗ_i-1 （Ｗ_i , ｐ_i ）、＾ｐ_i-1 （Ｗ_i , ｐ_i ）として作業用メモリ１２３に格納するのである。

一方、ステップＳ６１７で、変数ｕの値がＮ−１に到達したことを判断するときには、ステップＳ６１８に進んで、変数ｉの値がＪ／Ｍ−１に到達したのか否かを判断して、Ｊ／Ｍ−１に到達していないことを判断するときには、ステップＳ６１９に進んで、変数ｉの値を１つインクリメントしてから、次のフレーム位置について処理を行うべく、ステップＳ６０２の処理に戻る。

そして、ステップＳ６１８で、変数ｉの値がＪ／Ｍ−１に到達したことを判断するときには、図１３のフローチャートのステップＳ４０３の処理を終了する。

このようにして、ダウンサンプリング実行部１２２は、図１３のフローチャートのステップＳ４０３の処理に入ると、図１５のフローチャートを実行することで、ｉ、Ｗ_i およびｐ_i の指定するフレームと、ｉ−１、Ｗ_i-1 およびｐ_i-1 の指定するフレームとの間で、Ｓ_i （Ｗ_i , ｐ_i ）を算出して、それを作業用メモリ１２３に格納するとともに、そのＳ_i （Ｗ_i , ｐ_i ）を与えるＷ_i-1 、ｐ_i-1 を、それぞれ＾Ｗ_i-1 （Ｗ_i , ｐ_i ）、＾ｐ_i-1 （Ｗ_i , ｐ_i ）として作業用メモリ１２３に格納するように処理するのである。

〔２−４〕処理の概要
このように、図９のように構成されるダウンサンプリング実行部１２２は、まず最初に、各フィルタ係数および各位置補正用パラメータ値のそれぞれを使って、等間隔のダウンサンプリングにより規定されるフレーム位置の近傍に位置するフレームをフィルタリングすることでフレームを生成して、図５に示すように、その生成したフレームのそれぞれについて、１つ前のフレーム位置において各フィルタ係数および各位置補正用パラメータ値の選択に対応付けて同様に生成したフレームのそれぞれとの間で動き補償予測誤差電力を算出し、その算出した動き補償予測誤差電力とその算出対象となった参照フレームの持つ動き補償予測誤差電力の総和との加算値を求めて、それらの中の最小値を特定することで、１つ前のフレーム位置における最適なフィルタ係数および位置補正用パラメータ値を求めるという処理を、最終のフレーム位置まで繰り返して実行する。

続いて、最終のフレーム位置において算出した動き補償予測誤差電力の総和について、それらの中の最小値を持つフレームを検出することで、最終のフレーム位置における最適なフィルタ係数および位置補正用パラメータ値を検出して、その検出したフィルタ係数および位置補正用パラメータ値を起点として先に特定したフィルタ係数および位置補正用パラメータ値を先頭のフレーム位置に向けて辿ることで、等間隔のダウンサンプリングにより規定されるフレーム位置のそれぞれについて最適なフィルタ係数および位置補正用パラメータ値を抽出する。

そして、最後に、それらの抽出した最適なフィルタ係数および位置補正用パラメータ値を用いて各フレーム位置においてフィルタリングを実行することで、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行する。

〔３〕本発明の有効性を検証するために行った実験について
次に、本発明の有効性を検証するために行った実験について説明する。

この実験は、フレーム間引きの基準となる高フレームレート映像として、高速度カメラで撮影したＲＧＢカラー映像を用いた。その高フレームレート映像のフレームレートは１０００〔フレーム／秒〕、総フレーム数は４８０〔フレーム〕、解像度は６４０×４８０〔画素〕である。また、映像素材はミニカートの走行シーンである。

なお、動き補償時のブロックサイズは１６×１６〔画素〕とした。また、フレーム間予測は片方向予測とし、参照フレームは直前フレームとした。また、動き推定アルゴリズムとしてはＳＳＤ最小化に基づく全探索を行った。

この実験では、ダウンサンプリング比Ｍの値を３２とし、フィルタ係数のタップ長（２Δ＋１）を規定するΔの値を１としたときにおける、予測画像のＰＳＮＲを従来技術である平均値フィルタと比較することで行った。

図１６に、比較結果を図示する。ここで、カッコ内は平均二乗誤差の値である。平均値フィルタはフィルタ係数を（１／３, １／３, １／３）としたフィルタである。本発明については、Ｎ（フィルタ係数集合に属するフィルタ係数の数）の値として、１６、６４の２通りを設定した。

この図１６に示す比較結果から分かるように、本発明は、平均値フィルタに対して０．１６〔ｄｂ〕のＰＳＮＲ向上を実現していることが確認できる。これから、本発明の有効性を検証することができた。

図示実施例に従って本発明を説明したが、本発明はこれに限定されるものではない。例えば、実施例では、１つ前に選択したフレームとの間で動き補償予測誤差電力を算出するようにしているが、選択済みの複数のフレームとの間で動き補償予測誤差電力を算出するようにしてもよい。

本発明は高フレームレート映像信号から低フレームレート映像信号へフレームレート変換を実行するときに適用できるものであり、本発明を適用することで、高フレームレート映像信号に対してのダウンサンプリングにより得られた所望のフレームレートの映像信号を符号化する場合に、従来のフレーム間引き処理により得られた映像信号よりも符号量を低く抑えることができるようになるとともに、時間方向のエイリアシングに起因する画質劣化を防止することができるようになる。

１ フレームレート変換装置
１０ 高フレームレート映像ファイル
１１ 低フレームレート映像ファイル
１２ フレームレートダウンサンプリング部
１２０ 動き補償予測誤差算出部
１２１ フィルタ係数記憶部
１２２ ダウンサンプリング実行部
１２３ 作業用メモリ
１２００ 動き推定部
１２２０ 入力部
１２２１ 処理フレーム位置選択部
１２２２ 処理フィルタ係数選択部
１２２３ 参照フィルタ係数決定部
１２２４ 全フレーム位置終了判定部
１２２５ 累積予測誤差最小化最終フィルタ係数検出部
１２２６ 決定参照フィルタ係数追跡部
１２２７ フィルタリング実行部

Claims (9)

1. 等間隔のフレーム位置において、予め用意するフィルタ係数集合の中からフィルタ係数を選択し、高フレームレート映像信号の複数フレームをそのフィルタ係数を用いてフィルタリングすることでダウンサンプリングを実行するフレームレート変換方法であって、
   等間隔のフレーム位置において、各フィルタ係数を用いる場合に生成される複数フレームのそれぞれについて、規定数前のフレーム位置において生成される複数フレームのそれぞれとの間で、ダウンサンプリングにより生成される低フレームレート映像信号の符号化効率を示す値を算出し、それに基づいて、先頭のフレーム位置からの符号化効率表示値の総和を最小化するつながりを持つフレームの生成に用いられるフィルタ係数を特定することを、先頭のフレーム位置から最終のフレーム位置に向けて繰り返し実行する過程と、
   前記繰り返しの実行を終えたフレーム位置において生成される複数フレームの中から、前記符号化効率表示値の総和の最小値を持つフレームを検出することで、その総和の最小値を持つフレームの生成に用いられるフィルタ係数を検出する過程と、
   前記検出したフィルタ係数を起点として前記特定したフィルタ係数を辿ることで、各フレーム位置で用いるフィルタ係数を選択する過程とを備えることを、
   特徴とするフレームレート変換方法。
2. 請求項１に記載のフレームレート変換方法において、
   等間隔のフレーム位置を補正する位置補正用パラメータを設定する過程を備え、
   前記実行する過程では、前記位置補正用パラメータにより補正されるフレーム位置において生成される複数フレームについても、等間隔のフレーム位置において生成されるフレームに含める形で処理を実行することを、
   特徴とするフレームレート変換方法。
3. 請求項１または２に記載のフレームレート変換方法において、
   前記実行する過程では、前記算出した符号化効率表示値とその算出対象となった規定数前のフレーム位置にあるフレームの持つ符号化効率表示値の総和との加算値を求めて、それらの中の最小値を特定することで、先頭のフレーム位置からの符号化効率表示値の総和を最小化するつながりを持つフレームの生成に用いられるその規定数前のフレーム位置におけるフィルタ係数を特定するとともに、その加算値をその特定元のフレームの持つ符号化効率表示値の総和として設定することを、
   特徴とするフレームレート変換方法。
4. 請求項１ないし３のいずれか１項に記載のフレームレート変換方法において、
   前記実行する過程では、前記符号化効率表示値として、動き補償予測誤差電力を算出することを、
   特徴とするフレームレート変換方法。
5. 請求項１ないし３のいずれか１項に記載のフレームレート変換方法において、
   前記実行する過程では、前記符号化効率表示値として、所定の符号化器を用いて符号化する場合に得られる符号化コストを算出することを、
   特徴とするフレームレート変換方法。
6. 等間隔のフレーム位置において、予め用意するフィルタ係数集合の中からフィルタ係数を選択し、高フレームレート映像信号の複数フレームをそのフィルタ係数を用いてフィルタリングすることでダウンサンプリングを実行するフレームレート変換装置であって、
   等間隔のフレーム位置において、各フィルタ係数を用いる場合に生成される複数フレームのそれぞれについて、規定数前のフレーム位置において生成される複数フレームのそれぞれとの間で、ダウンサンプリングにより生成される低フレームレート映像信号の符号化効率を示す値を算出し、それに基づいて、先頭のフレーム位置からの符号化効率表示値の総和を最小化するつながりを持つフレームの生成に用いられるフィルタ係数を特定することを、先頭のフレーム位置から最終のフレーム位置に向けて繰り返し実行する手段と、
   前記繰り返しの実行を終えたフレーム位置において生成される複数フレームの中から、前記符号化効率表示値の総和の最小値を持つフレームを検出することで、その総和の最小値を持つフレームの生成に用いられるフィルタ係数を検出する手段と、
   前記検出したフィルタ係数を起点として前記特定したフィルタ係数を辿ることで、各フレーム位置で用いるフィルタ係数を選択する手段とを備えることを、
   特徴とするフレームレート変換装置。
7. 請求項６に記載のフレームレート変換装置において、
   等間隔のフレーム位置を補正する位置補正用パラメータを設定する手段を備え、
   前記実行する手段は、前記位置補正用パラメータにより補正されるフレーム位置において生成される複数フレームについても、等間隔のフレーム位置において生成されるフレームに含める形で処理を実行することを、
   特徴とするフレームレート変換装置。
8. 請求項６または７に記載のフレームレート変換装置において、
   前記実行する手段は、前記算出した符号化効率表示値とその算出対象となった規定数前のフレーム位置にあるフレームの持つ符号化効率表示値の総和との加算値を求めて、それらの中の最小値を特定することで、先頭のフレーム位置からの符号化効率表示値の総和を最小化するつながりを持つフレームの生成に用いられるその規定数前のフレーム位置におけるフィルタ係数を特定するとともに、その加算値をその特定元のフレームの持つ符号化効率表示値の総和として設定することを、
   特徴とするフレームレート変換装置。
9. 請求項１ないし５のいずれか１項に記載のフレームレート変換方法をコンピュータに実行させるためのフレームレート変換プログラム。

Images