JP5115345B2 - 記憶再生装置、記憶装置及び記憶再生方法 - Google Patents

Description

本発明は、動画像データを符号化して記憶及び／または復号して再生する記憶再生装置、記憶装置、再生装置及び記憶再生方法に関する。

テレビ放送やストリーミングなどにより取得される動画像データが記録される場合には、無圧縮では非常にデータ量が大きくなるため、一般的には圧縮されてから記録される。
動画像データを圧縮する方法の１つとして、例えば、フレーム内の画素を間引くことにより圧縮する方法や、時間方向に関連性があるフレームを抽出し、そのうちの一部を間引くことによりデータ量を縮小する方法がある。
フレーム内の画素を間引いて動画像データを圧縮する方法としては、例えば特許文献１に開示された技術がある。
特許文献１には、間引き画像の無効画像に対応する過去フレームの有効画素に関する情報を収集した前半フレーム対応点テーブルと、間引き画像の無効画素に対応する未来フレームの有効画素に関する情報を収集した後半フレーム対応点テーブルを作成し、作成したテーブルを参照してフレーム内補間を施した現在フレームのフレーム間補間を行うことにより、画素間引きを行った動画像データを少ないメモリ容量で高速に復元するとともに、画質低下を防止する動画像変換装置が開示されている。

特開２００６−３４５４４５号公報

一方、時間方向に関連のあるフレームを間引く方法としては、時間方向に関連性がある複数のフレームのうち、所定の時間間隔で間引く方法と、再生時に間引いた影響が少なくなるように不連続に間引く方法とがある。

しかし、フレームを間引いて圧縮した場合、再生時に間引いたフレームを高速で復元することは難しく、再生時の画質が非常に低下してしまう、という不利益が生じる。

本発明はこのような不利益を解消するためになされたものであり、間引いたフレームを再生する時にも画質の劣化を抑えた記憶再生装置、記憶装置、再生装置及び記憶再生方法を提供することを目的とする。

上述した不利益を解消するために、第１の発明の記憶再生装置は、入力された動画像データを構成する複数のフレームのうち、少なくとも１つの他のフレームから補間可能であるフレームを検出する間引きフレーム検出部と、前記間引きフレーム検出部が検出した、少なくとも１つの他のフレームから補間可能であるフレームを削除する間引き処理部と、前記入力された動画像データから、前記間引き処理部が削除したフレームを除いて圧縮及び／または符号化する符号化部と、前記符号化部により符号化された動画像データを記憶する記憶部と、前記間引き処理部により削除されたフレームに関する情報を前記記憶部により記憶された前記動画像データに多重化して記憶する間引き情報記憶部と、再生要求に応じて、前記間引き情報記憶部に記憶された、削除されたフレームに関する情報を再生する間引き情報再生部と、前記記憶部に記憶された動画像データを、前記間引き情報再生部が再生した前記削除されたフレームに関する情報を基に復号化する復号化部と、前記間引き情報再生部が再生した前記削除されたフレームに関する情報と、前記復号化部が復号した前記動画像データとを基に、前記間引き処理部により削除されたフレームを補間するフレーム補間処理部と、を有し、前記間引きフレーム検出部は、前記動画像データに対して前後のフレームとの差分をとり比較する動き検出処理及び／または各フレームの輝度分布算出処理を行い、前記動き検出処理の結果、動きがないフレームを少なくとも１つの他のフレームから補間可能であるフレームとし、前記動き検出処理の結果、所定のしきい値よりも動きが少ないフレームについて、当該フレーム内に所定の大きさより大きい対象物が存在しない場合に、当該フレームを少なくとも１つの他のフレームから補間可能であるフレームであるとし、当該フレーム内に所定の大きさより大きい対象物が存在する場合には、当該フレームを少なくとも１つの他のフレームから補間可能であるフレームではないとする。

第２の発明の記憶装置は、入力された動画像データを構成する複数のフレームのうち、少なくとも１つの他のフレームから補間可能であるフレームを検出する間引きフレーム検出部と、前記間引きフレーム検出部が検出した、少なくとも１つの他のフレームから補間可能であるフレームを削除する間引き処理部と、前記間引き処理部により削除されたフレームに関する情報を記憶する間引き情報記憶部と、前記入力された動画像データから、前記間引き処理部が削除したフレームを除いて圧縮及び／または符号化する符号化部と、前記符号化部により符号化された動画像データを記憶する記憶部と、を有し、前記間引き情報記憶部は、前記間引き処理部により削除されたフレームに関する情報を前記記憶部により記憶された前記動画像データに多重化して記憶し、前記間引きフレーム検出部は、前記動画像データに対して前後のフレームとの差分をとり比較する動き検出処理及び／または各フレームの輝度分布算出処理を行い、前記動き検出処理の結果、動きがないフレームを少なくとも１つの他のフレームから補間可能であるフレームとし、前記動き検出処理の結果、所定のしきい値よりも動きが少ないフレームについて、当該フレーム内に所定の大きさより大きい対象物が存在しない場合に、当該フレームを少なくとも１つの他のフレームから補間可能であるフレームであるとし、当該フレーム内に所定の大きさより大きい対象物が存在する場合には、当該フレームを少なくとも１つの他のフレームから補間可能であるフレームではないとする。

第３の発明の記憶再生方法は、入力された動画像データを構成する複数のフレームのうち、少なくとも１つの他のフレームから補間可能であるフレームを検出する第１の工程と、前記第１の工程において検出された、少なくとも１つの他のフレームから補間可能であるフレームを削除する第２の工程と、前記入力された動画像データから、前記間引き処理部が削除したフレームを除いて圧縮及び／または符号化する第３の工程と、前記第３の工程において符号化された動画像データを記憶する第４の工程と、前記第２の工程において削除されたフレームに関する情報を前記第４の工程において記憶された前記動画像データに多重化して記憶する第５の工程と、再生要求に応じて、前記第５の工程において記憶された、削除されたフレームに関する情報を再生する第６の工程と、前記第４の工程において記憶された動画像データを、前記第６の工程において再生された前記削除されたフレームに関する情報を基に復号化する第７の工程と、前記第６の工程において再生された前記削除されたフレームに関する情報と、前記第７の工程において復号された前記動画像データとを基に、前記第２の工程において削除されたフレームを補間する第８の工程と、を有し、前記第２の工程において、前記動画像データに対して前後のフレームとの差分をとり比較する動き検出処理及び／または各フレームの輝度分布算出処理を行い、前記動き検出処理の結果、動きがないフレームを少なくとも１つの他のフレームから補間可能であるフレームとし、前記動き検出処理の結果、所定のしきい値よりも動きが少ないフレームについて、当該フレーム内に所定の大きさより大きい対象物が存在しない場合に、当該フレームを少なくとも１つの他のフレームから補間可能であるフレームであるとし、当該フレーム内に所定の大きさより大きい対象物が存在する場合には、当該フレームを少なくとも１つの他のフレームから補間可能であるフレームではないとする。

本発明は、間引いたフレームを再生する時にも画質の劣化を抑えた記憶再生装置、記憶装置、再生装置及び記憶再生方法を提供することを目的とする。

以下、本発明の実施形態について説明する。
図１は、本発明の実施形態の記憶再生装置１００の構成の一例を示すブロック図である。
本発明の実施形態の記憶再生装置１００は、画像入力部１と、間引きフレーム検出部２と、間引き処理部３と、間引き情報記憶部４と、符号化部５と、記憶部６と、間引き情報再生部７と、復号化部８と、フレーム補間処理部９と、画像出力部１０と、を有する。

画像入力部１は、外部からの動画像データの入力を受け付ける。
間引きフレーム検出部２は、画像入力部１に入力された動画像データの各フレームのうち、間引いても動画像データ全体の再生時には復元が容易（間引きによる画質の劣化などが少ない）であるフレームを検出する。間引いても再生時に容易に復元可能であるフレームの検出方法については、詳しくは後述する。
間引き処理部３は、間引きフレーム検出部２が検出した、間引いても再生時に容易に復元可能であるフレームを間引く処理を行う。すなわち、間引き処理部３は、間引きフレーム検出部２が検出したフレームを削除する。

間引き情報記憶部４は、間引き処理部３が間引いたフレームに関する情報を、記憶媒体２０に記憶する。記憶媒体２０は、例えばＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc）等の光ディスクや、ＨＤＤ（Hard Disc Drive）等により構成される。間引かれたフレームに関する情報については、詳しくは後述する。
符号化部５は、間引き処理部３が間引いたフレームを除く残りのフレームにより構成される動画像データを圧縮符号化する。圧縮符号化の方法としては、例えばＭＰＥＧやＨ．２６４／ＡＶＣのような圧縮方式を利用すればよい。

記憶部６は、間引き処理部３が間引いたフレームに関する情報と、符号化部５において符号化された動画像データとを記憶媒体２０に記憶する記憶デバイスである。
間引き情報再生部７は、記憶部６に記憶された、間引かれたフレームに関する情報を読み出す。
復号化部８は、記憶媒体２０から圧縮符号化された動画像データを復号し、無圧縮の動画像データに戻す。

フレーム補間処理部９は、フレーム補間処理を行う。フレーム補間処理とは、間引き情報再生部７が再生した、間引かれたフレームに関する情報を基に間引かれたフレームを復元し、復号化部８が復号した、間引き処理部３によりフレームが間引かれた動画像データと合わせて補間を行う処理である。フレーム補間処理の詳細については後述する。
画像出力部１０は、フレーム補間処理部９によってフレーム補間処理された動画像データを、図１に図示しない表示部等に出力する。これにより、ユーザが動画像を視聴することが出来る。

以下、間引きフレーム検出部２における、間引いても再生時に容易に復元可能であるフレームの検出方法について説明する。
図２は、間引きフレーム検出部２における、間引いても再生時に容易に復元可能であるフレームの検出方法について説明するためのフローチャートである。

ステップＳＴ１：
間引きフレーム検出部２は、まず、画像入力部１に入力された動画像データの各フレームごとに、前後のフレームとの差分をとり、動き検出を行う。動き検出の方法としては、例えば、勾配法やブロックマッチング法等により動きベクトルを算出する方法を採ればよい。
ステップＳＴ２：
ステップＳＴ１における動き検出により、動きが検出された場合はステップＳＴ４に進み、検出されなかった場合はステップＳＴ３に進む。

ステップＳＴ３：
間引きフレーム検出部２は、ステップＳＴ１において動きが検出されなかったフレームを間引いても再生時に容易に復元可能であるフレームとする。すなわち、当該フレームを間引きフレームと決定する。
ステップＳＴ４：
間引きフレーム検出部２は、ステップＳＴ１において検出された動きが大きいフレームであるか否かの判定を行う。動きが大きいフレームであるか否かの判定は、例えばフレーム差分による動きベクトルの絶対値が所定のしきい値以上である場合に動きが大きい、所定のしきい値未満である場合に動きが小さい、と判定するようにすればよい。
動きが大きいフレームであると判定した場合はステップＳＴ６に進み、動きが小さいと判定した場合はステップＳＴ５に進む。

ステップＳＴ５：
間引きフレーム検出部２は、ステップＳＴ４において動きが小さいと判定されたフレームを間引いても再生時に容易に復元可能であるフレームとする。すなわち、当該フレームを間引きフレームと決定する。
ステップＳＴ６：
間引きフレーム検出部２は、ステップＳＴ１において検出された動きが一定方向のフレームが所定のフレーム数以上連続しているか否かの判定を行う。動きが一定方向であるか否かの判定は、例えば動きベクトルの向きが所定の範囲内にある場合は動きが一定方向であると判定し、所定の範囲外である場合は動きが一致方向ではないと判定するようにすればよい。また、所定のフレーム数は、例えば経験的に求められた所定のしきい値である。
動きが所定の範囲内であるフレームが所定のフレーム数以上連続していると判定した場合はステップＳＴ７に進み、そうでない場合はステップＳＴ８に進む。
ステップＳＴ７：
間引きフレーム検出部２は、ステップＳＴ６において動きが一定方向のフレームが所定のフレーム数以上連続していると判定された全てのフレームを、間引いても再生時に容易に復元可能であるフレームとする。すなわち、当該フレームを間引きフレームと決定する。

ステップＳＴ８：
間引きフレーム検出部２は、画像入力部１に入力された動画像データの各フレームに対して、ヒストグラムをとる。この場合のヒストグラムは、動画像データのフレーム内の各画素の輝度分布を指す。すなわち、動画像データ内の画素単位の輝度レベルの累積和を算出することにより、ヒストグラムをとることができる。
ステップＳＴ９：
間引きフレーム検出部２は、コントラストが高いフレームが所定のフレーム以上連続しているか否かを判定する。各フレームのコントラストが高いか否かは、ヒストグラムにおいて、輝度分布の最大値と最小値との差が大きいか否かにより判定する。輝度分布の最大値と最小値との差が大きい場合はコントラストが高い、差が小さい場合はコントラストが低いと判定する。なお、所定のフレーム数は、例えば経験的に求められた所定のしきい値である。
コントラストが高いフレームが所定のフレーム以上連続していると判定した場合はステップＳＴ１１に進み、そうでない場合はステップＳＴ１０に進む。

ステップＳＴ１０：
間引きフレーム検出部２は、ステップＳＴ９において、コントラストが低いフレームが所定のフレーム数以上連続していると判定された全てのフレームを間引いても再生時に容易に復元可能であるフレームとする。すなわち、当該フレームを間引きフレームと決定する。
ステップＳＴ１１：
間引きフレーム検出部２は、暗いクレームが所定のフレーム数以上連続しているか否かを判定する。各フレームが暗いか否かは、各フレームの輝度平均の絶対値が所定のしきい値より小さいか否かにより判定する。各フレームの輝度平均の絶対値が所定のしきい値より小さい場合は暗い、所定のしきい値より大きい場合は暗くないと判定する。なお、所定のフレーム数は、例えば経験的に求められた所定のしきい値である。
暗いフレームが所定のフレーム数以上連続している場合はステップＳＴ１２に進み、そうでない場合はステップＳＴ１３に進む。

ステップＳＴ１２：
間引きフレーム検出部２は、ステップＳＴ１１において、暗いフレームが所定のフレーム数以上連続していると判定された全てのフレームを間引いても再生時に容易に復元可能であるフレームとする。すなわち、当該フレームを間引きフレームと決定する。
ステップＳＴ１３：
間引きフレーム検出部２は、ステップＳＴ１１において暗いフレームが所定数連続していると判定されたフレームに含まれないフレームに対して、間引いた場合に再生時に容易に復元可能ではないフレームと判定する。

すなわち、間引きフレーム検出部２は、
・ステップＳＴ２において動きありと検出されたフレーム
・ステップＳＴ４において動きが大きいと判定されたフレーム、ステップＳＴ６において動きが一定方向である所定の数以上の連続したフレームに含まれないと判定されたフレーム
・ステップＳＴ９において所定の数以上の連続したコントラストが低いフレームに含まれないと判定されたフレーム
・ステップＳＴ１１において所定の数以上の連続した暗いフレームに含まれないと判定されたフレーム
に対しては、間引いた場合に再生時に容易に復元可能ではないフレームと判定して、当該フレームを間引かないように決定する。

そして、間引きフレーム検出部２は、
・ステップＳＴ２において動きがないと検出されたフレーム
・ステップＳＴ４において動きが小さいと判定されたフレーム
・ステップＳＴ６において動きが一定方向である所定の数以上の連続したフレームに含まれると判定されたフレーム
・ステップＳＴ９において所定の数以上の連続した、コントラストが低いフレームに含まれると判定されたフレーム
・ステップＳＴ１１において所定の数以上の連続した、暗いフレームに含まれると判定されたフレーム
に対しては、間引いた場合に再生時に容易に復元可能であるフレームと判定して、当該フレームを間引くように決定する。

本実施形態の記憶再生装置１００においては、記録時に間引かれたフレームが再生時には補間されて再生される。そのため、周囲のフレームから補間可能なフレームに対して、間引きフレーム検出部２は間引き可能であると決定している。
動きがないフレームは、直前のフレームと同一であると考えられるため、直前のフレームを参照フレームとすることにより再生時に補間が可能である。
動きが小さいフレームは、前後のフレームを参照することにより、視聴者に気づかれにくいレベルで補間することが可能である。ただし、画像内において大きい対象物の動きが小さくても、視聴者には気づかれやすいため、このような大きい対象物を含むフレームに関しては、間引きフレーム検出部２が間引かないように決定することにより、動画像の質を落とさないようにすることができる。
動きが一定方向である連続したフレーム、例えばパン、チルト、スクロール等の動きを含む複数のフレームは、動きの開始点と終了点のフレームを参照フレームとすることにより、容易に補間が可能である。
所定の数以上の連続した、コントラストが低いフレームや暗いフレームは、前後のフレームを参照フレームとすることにより、補間が可能である。

なお、上述した図２における各ステップにおいて、所定数のフレームという表現が複数回現れるが、これらは同じ数のフレームである必要はなく、それぞれ経験的に定められた数のフレームであればよい。 上述した図２における各ステップにおける所定のしきい値という表現も同様である。
また、図２に示すフローチャートにおいて、ステップＳＴ１からＳＴ７までの動き検出に関する一連のステップと、ステップＳＴ８からＳＴ１２までの輝度分布に関する一連のステップとは、互いに独立であり、これらのステップの実行される順序は逆であってもよい。また、これらの一連のステップのうち、いずれか片方のみが実行されてもよい。

次に、記憶再生装置１００の記録時の動作例について説明する。
図３は、記憶再生装置１００の記録時の動作例について説明するためのフローチャートである。
ステップＳＴ２１：
画像入力部１は、動画像データを入力する。
ステップＳＴ２２：
間引きフレーム検出部２は、ステップＳＴ１において入力された動画像データを構成するフレームの中から、上述したような決定方法により、間引くフレームを検出し決定する。

ステップＳＴ２３：
間引き処理部３は、間引き処理を行う。すなわち、間引き処理部３は、ステップＳＴ２２において決定された間引くフレームを削除し、それ以外のフレームを残す。
ステップＳＴ２４：
符号化部５は、ステップＳＴ２１において入力された動画像データの、ステップＳＴ２３において間引かれたフレーム以外のフレームを所定の圧縮符号化方法で圧縮符号化する。なお、符号化の際には間引かれたフレームの分だけ動画像データが不連続となるため、間引かれたフレームのところは符号化の速度を落とす等して調整する。

ステップＳＴ２５：
記憶部６は、ステップＳＴ２４において圧縮符号化された動画像データを記憶媒体２０に記憶する。
ステップＳＴ２６：
間引き情報記憶部４は、ステップＳＴ２３において間引かれたフレームに関する情報を、ステップＳＴ２５において記憶媒体２０に記憶された動画像データに多重化して記憶する。
間引かれたフレームに関する情報としては、例えば、間引かれたフレームの固有番号、間引かれた理由、補間の際に参照するフレームの固有番号、補間方法等である。
間引かれたフレームの固有番号とは、間引かれたフレームに与えられた固有の番号（フレーム番号）である。
間引かれた理由とは、図２のフローチャートにおいて示したように、動きがない、動きが小さい、動きが一定方向である所定の数以上の連続したフレーム、所定の数以上の連続したコントラストが低いフレーム、所定の数以上の連続した暗いフレーム等の理由である。各理由は、例えば予め所定のパラメータと対応付けられ、間引かれた理由は、各理由に対応付けられたパラメータで記憶されるようにすればよい。
補間の際に参照するフレームの固有番号は、間引かれたフレームを再生時に補間するために参照するフレームの番号である。
補間方法は、上記説明したような、間引かれた理由に応じた、補間方法である。例えば、動きがないフレームの場合は「コピー」が補間方法となり、一定方向に動く所定数のフレームの場合は、「フレームごとの動き量の算出」が補間方法となる。
間引き情報記憶部４は、上述したような各情報を、例えば動画像データのプライベートストリーム（ビデオ或いはオーディオストリーム以外の、ヘッダ情報等のテキストデータを記憶するストリーム）等として、ステップＳＴ１５においてすでに記憶されている動画像データ（のビデオストリーム）に多重化して記憶する。

次に、記憶再生装置１００の再生時の動作例について説明する。
図４は、記憶再生装置１００の再生時の動作例について説明するためのフローチャートである。
ステップＳＴ３１：
間引き情報再生部７は、図１に図示しない操作部等を介したユーザの再生要求に応じて、記憶媒体２０から間引かれたフレームに関する情報を読み出す。

ステップＳＴ３２：
復号化部８は、記憶媒体２０から圧縮符号化された動画像データを読み出し、復号化する。
復号化の際には、ステップＳＴ３１において読み出された間引かれたフレームに関する情報を基に、間引かれたフレームのために不連続となった部分に関して復号化速度を調整する。
ステップＳＴ３３：
フレーム補間処理部９は、ステップＳＴ３１において読み出された間引かれたフレームに関する情報と、ステップＳＴ３２において復号化された動画像データを基に、参照フレームを参照することにより間引かれたフレームを補間する。

ステップＳＴ３４：
画像出力部１０は、ステップＳＴ３３において間引かれたフレームが補間された動画像データを表示装置等に出力する。

以上説明したように、本実施形態の記憶再生装置１００によれば、間引きフレーム検出部２が、入力された動画像データのフレームのうち、再生時に容易に補間が可能であるフレームを検出し、間引き処理部３がこのフレームを間引く（削除する）。そして、その後符号化部５がフレームを間引いた動画像データを符号化し、記憶部６が間引かれたデータに関する情報と動画像データとを多重化して記憶媒体２０に記憶するため、動画像データを圧縮符号化して記憶する際のデータ量を間引かない場合と比較して削減することができる。また、間引かれて記憶された動画像データの再生時には、間引き情報再生部７が間引かれたフレームに関する情報を再生し、復号化部８が間引かれなかったフレームを復号化した後、フレーム補間処理部９が間引かれたフレームを補間する。このため、フレームの間引きにより圧縮時のデータ量を削減しても、間引かない場合と比較して大きく画質を低下させることがない。

本発明は上述した実施形態には限定されない。
すなわち、本発明の実施に際しては、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し様々な変更並びに代替を行ってもよい。

なお、上述した実施形態では、動画像データの記憶及び再生を行う場合について説明しているが、動画像データと音声データとが多重化されているデータについても本実施形態の記憶再生装置１００は適用可能である。この場合は、例えば動画像データの各フレームのうち、間引かれて記憶され、再生の際に補間されるフレームについては、間引かれたフレームに関する情報等にタイムスタンプ等を記憶しておき、再生の際に音声データと同期をとるようにすればよい。

また、上述した実施形態の記憶再生装置１００は、図３に示す記憶する工程と、図４に示す再生する工程との両方を実行しているが、本発明はこれには限定されない。すなわち、本発明では、例えば、図３に示す記憶する工程を実行する記憶装置と、図４に示す再生する工程を実行する再生装置とを、別々の構成として用意してもよい。この場合、例えば記憶装置は上述した実施形態の画像入力部１と、間引きフレーム検出部２と、間引き処理部３と、間引き情報記録部４と、符号化部５と、記憶部６とを有する構成とし、再生装置は間引き情報再生部７と、復号化部８と、フレーム補間処理部９と、画像出力部１０とを有する構成とすればよい。

図１は、本発明の実施形態の記憶再生装置の構成の一例を示すブロック図である。 図２は、間引きフレーム検出部における、間引いても再生時に容易に復元可能であるフレームの検出方法について説明するためのフローチャートである。 図３は、記憶再生装置の記録時の動作例について説明するためのフローチャートである。 図４は、記憶再生装置の再生時の動作例について説明するためのフローチャートである。

符号の説明

１００…記憶再生装置、１…画像入力部、２…フレーム検出部、３…処理部、４…間引き情報記憶部、５…符号化部、６…記憶部、７…間引き情報再生部、８…復号化部、９…フレーム補間処理部、１０…画像出力部、２０…記憶媒体

Claims (6)

1. 入力された動画像データを構成する複数のフレームのうち、少なくとも１つの他のフレームから補間可能であるフレームを検出する間引きフレーム検出部と、
   前記間引きフレーム検出部が検出した、少なくとも１つの他のフレームから補間可能であるフレームを削除する間引き処理部と、
   前記入力された動画像データから、前記間引き処理部が削除したフレームを除いて圧縮及び／または符号化する符号化部と、
   前記符号化部により符号化された動画像データを記憶する記憶部と、
   前記間引き処理部により削除されたフレームに関する情報を前記記憶部により記憶された前記動画像データに多重化して記憶する間引き情報記憶部と、
   再生要求に応じて、前記間引き情報記憶部に記憶された、削除されたフレームに関する情報を再生する間引き情報再生部と、
   前記記憶部に記憶された動画像データを、前記間引き情報再生部が再生した前記削除されたフレームに関する情報を基に復号化する復号化部と、
   前記間引き情報再生部が再生した前記削除されたフレームに関する情報と、前記復号化部が復号した前記動画像データとを基に、前記間引き処理部により削除されたフレームを補間するフレーム補間処理部と、
   を有し、
   前記間引きフレーム検出部は、前記動画像データに対して前後のフレームとの差分をとり比較する動き検出処理及び／または各フレームの輝度分布算出処理を行い、
   前記動き検出処理の結果、動きがないフレームを少なくとも１つの他のフレームから補間可能であるフレームとし、
   前記動き検出処理の結果、所定のしきい値よりも動きが少ないフレームについて、当該フレーム内に所定の大きさより大きい対象物が存在しない場合に、当該フレームを少なくとも１つの他のフレームから補間可能であるフレームであるとし、当該フレーム内に所定の大きさより大きい対象物が存在する場合には、当該フレームを少なくとも１つの他のフレームから補間可能であるフレームではないとする
   記憶再生装置。
2. 前記間引きフレーム検出部は、前記動き検出処理の結果、動きが一定方向であるフレームが所定数以上連続したフレームを少なくとも１つの他のフレームから補間可能であるフレームであるとする
   請求項１に記載の記憶再生装置。
3. 前記間引きフレーム検出部は、前記輝度分布算出処理の結果、コントラスト値が所定のしきい値よりも低いフレームが所定数以上連続したフレームを少なくとも１つの他のフレームから補間可能であるフレームであるとする
   請求項１に記載の記憶再生装置。
4. 前記間引きフレーム検出部は、前記輝度分布算出処理の結果、輝度値が所定のしきい値よりも低いフレームが所定数以上連続したフレームを少なくとも１つの他のフレームから補間可能であるフレームであるとする
   請求項１に記載の記憶再生装置。
5. 入力された動画像データを構成する複数のフレームのうち、少なくとも１つの他のフレームから補間可能であるフレームを検出する間引きフレーム検出部と、
   前記間引きフレーム検出部が検出した、少なくとも１つの他のフレームから補間可能であるフレームを削除する間引き処理部と、
   前記間引き処理部により削除されたフレームに関する情報を記憶する間引き情報記憶部と、
   前記入力された動画像データから、前記間引き処理部が削除したフレームを除いて圧縮及び／または符号化する符号化部と、
   前記符号化部により符号化された動画像データを記憶する記憶部と、
   を有し、
   前記間引き情報記憶部は、前記間引き処理部により削除されたフレームに関する情報を前記記憶部により記憶された前記動画像データに多重化して記憶し、
   前記間引きフレーム検出部は、前記動画像データに対して前後のフレームとの差分をとり比較する動き検出処理及び／または各フレームの輝度分布算出処理を行い、
   前記動き検出処理の結果、動きがないフレームを少なくとも１つの他のフレームから補間可能であるフレームとし、
   前記動き検出処理の結果、所定のしきい値よりも動きが少ないフレームについて、当該フレーム内に所定の大きさより大きい対象物が存在しない場合に、当該フレームを少なくとも１つの他のフレームから補間可能であるフレームであるとし、当該フレーム内に所定の大きさより大きい対象物が存在する場合には、当該フレームを少なくとも１つの他のフレームから補間可能であるフレームではないとする
   記憶装置。
6. 入力された動画像データを構成する複数のフレームのうち、少なくとも１つの他のフレームから補間可能であるフレームを検出する第１の工程と、
   前記第１の工程において検出された、少なくとも１つの他のフレームから補間可能であるフレームを削除する第２の工程と、
   前記入力された動画像データから、前記間引き処理部が削除したフレームを除いて圧縮及び／または符号化する第３の工程と、
   前記第３の工程において符号化された動画像データを記憶する第４の工程と、
   前記第２の工程において削除されたフレームに関する情報を前記第４の工程において記憶された前記動画像データに多重化して記憶する第５の工程と、
   再生要求に応じて、前記第５の工程において記憶された、削除されたフレームに関する情報を再生する第６の工程と、
   前記第４の工程において記憶された動画像データを、前記第６の工程において再生された前記削除されたフレームに関する情報を基に復号化する第７の工程と、
   前記第６の工程において再生された前記削除されたフレームに関する情報と、前記第７の工程において復号された前記動画像データとを基に、前記第２の工程において削除されたフレームを補間する第８の工程と、
   を有し、
   前記第２の工程において、前記動画像データに対して前後のフレームとの差分をとり比較する動き検出処理及び／または各フレームの輝度分布算出処理を行い、
   前記動き検出処理の結果、動きがないフレームを少なくとも１つの他のフレームから補間可能であるフレームとし、
   前記動き検出処理の結果、所定のしきい値よりも動きが少ないフレームについて、当該フレーム内に所定の大きさより大きい対象物が存在しない場合に、当該フレームを少なくとも１つの他のフレームから補間可能であるフレームであるとし、当該フレーム内に所定の大きさより大きい対象物が存在する場合には、当該フレームを少なくとも１つの他のフレームから補間可能であるフレームではないとする
   記憶再生方法。

Images