JP4559935B2 - 画像記憶装置及び方法 - Google Patents

Description

本発明は、画像データに含まれているリプレイデータを記憶する画像記憶装置及び方法に関する。

特許文献１（特開２００２−１４９６７２）の「ＡＶコンテンツ自動要約システム及びＡＶコンテンツ自動要約方式」には、音声認識又は画像認識の手法を用いてシーンの内容を理解し、ＡＶコンテンツの自動予約又は画像検索のヒントに用いる方法が開示されている。

特許文献２（特開２００４−６２８８３）の「情報処理装置」では、ユーザの眼球運動を計測するセンサという特殊な装置を用いて、ユーザの興味関心を認識し、ハイライトシーンを特定する方法が開示されている。

特許文献３（特開２００３−２２４７９１）の「映像の検索方法および装置」では、予め照合対象の映像から特徴量を抽出し、特徴量と時刻のテーブルを作成し、その後検索を行うことにより、リプレイを認識する方法が開示されている。

この特許文献３においては、特徴量として、フレーム画像全体の平均色など数バイト程度で表す情報を用いることが記載されている。

特許文献４（特開２００４−２１５９７）では、動画像検索のために、検索目標フレームに完全一致する動画像を検索する装置が開示されている。

特許文献５（特開２００２−５１３００）では、ハイライトシーンを検出した後の編集方法が開示されている。
特開２００２−１４９６７２ 特開２００４−６２８８３ 特開２００３−２２４７９１ 特開２００４−２１５９７ 特開２００２−５１３００

上記特許文献１の方法については、音声認識アルゴリズム又は画像認識アルゴリズムの候補が多数あり、どのアルゴリズムを選択するかによってシーンの認識精度が変化する。また、どの音声認識又は画像認識の手法を用いるかによって認識を行う装置の機能に差が生じる。また、音声認識又は画像認識の手法によって認識可能なシーンと認識不可能なシーンとが発生し、ユーザにとって使いにくい場合がある。

また、音声認識又は画像認識の手法は誤って認識を行う場合があり、シーンの誤検出、検索漏れが発生する場合がある。

上記特許文献１の方法は、処理手順のデータ依存性が高いため、並列処理を適用することが困難であり、高速化が困難である。

上記特許文献１の方法では、入力される画像の性質によって処理量が変化するため、ハードウェア設計が困難となる。

上記特許文献１の方法を用いる場合において、ユーザが満足する性能を持つ音声認識アルゴリズム又は画像認識アルゴリズムを開発することは困難である。

上記特許文献２のように、特殊なセンサを用いてハイライトシーンを特定する場合、この特殊なセンサを稼動させる手間がかかり、ユーザがそのシーンを見ている場合にのみシーン解析及びインデックス付け処理を行うことになる。

リプレイシーンには、例えば「リプレイ」というテロップが挿入される場合や、画面に「ＣＭ」の文字が挿入される場合がある。また、リプレイはスローモーションで行われる場合がある。上記特許文献３では、このようなリプレイシーンに対する加工の対処方法までは考慮されていない。リプレイシーンに対して加工がされると、特徴量が変化し照合が困難となる。

上記特許文献３においては、認識に用いる特徴量又はアルゴリズムの選択により、認識の性能が影響を受ける。

上記特許文献３において、画像データは、特徴量によって扱われる。このため、例えば、性能向上のために新しい特徴量抽出アルゴリズムをアップデートした場合などにように特徴量抽出アルゴリズムを変更した場合、過去の画像データを検索対象外とするか、記憶した全ての画像データを変更後の特徴量抽出アルゴリズムで再度処理する必要がある。

上記特許文献４では、ハイライトシーンを抽出する点、画像データを記憶する点について何ら記載されていない。

上記特許文献５では、コマーシャルのカットが目的とされており、ハイライトシーンの検出、記憶について何ら記載されていない。

上記特許文献１乃至５では、画像データに対する処理の並列化による高速化、効率化について何ら記載されていない。

本発明は、以上のような実情に鑑みてなされたもので、並列処理によりリプレイデータをハイライトシーンとして取り出し、記憶する画像記憶装置及び方法を提供することを目的とする。

本願発明の一態様によれば、画像記憶装置は、第１画像データを記憶する第１記憶手段と、第１画像データ内のデータに対応するリプレイデータを含むか否か判断される第２画像データを記憶する第２記憶手段と、第１画像データのフレームと第２画像データのフレームとの間で、画素値と画素値集計結果とのうち少なくとも一方を比較するとともに、第１画像データのフレームと第２画像データのフレームとの比較結果に基づいて、第２画像データ内にリプレイデータが含まれているか否か判断する処理を並列に行う複数の並列比較手段と、第２画像データ内にリプレイデータが含まれていると判断された場合に、リプレイデータ又はリプレイデータを符号化したデータを記憶する第３記憶手段とを具備する。

本発明においては、並列処理により、入力した動画像の中からリプレイデータを取り出し、記憶することができる。

以下、図面を参照しながら本発明の実施の形態について説明する。なお、下記の各図において同様の部分については同様の符号を付して説明を省略する。

（第１の実施の形態）
本実施の形態においては、外部から配信された動画像データを一次記憶し、この一次記憶した動画像データ中からハイライトシーン（例えばスポーツ中継や報道番組などの重要なシーンなど）に相当し、編集、検索、閲覧、管理、保存などに有用なリプレイデータを作成する画像記憶装置について説明する。

図１は、本実施の形態に係る画像記憶装置の一例を示すブロック図である。

この画像記憶装置１は、信号入力部２、画像管理部３、制御部４、比較部５、符号化部６、符号化記憶部７を具備する。

さらに、画像管理部３は、分配部８、記憶部９１〜９ｍを具備する。比較部５は、並列比較部１０１〜１０ｎを具備する。

本実施の形態において、制御部４と並列比較部１０１〜１０ｎとは、並列プロセッサ（マルチコアプロセッサ）１１内に具備されている複数のプロセッサにより実現される。

信号入力部２は、例えば放送局又は通信局などの外部装置１２から配信された動画像信号を受け付ける。信号入力部２は、動画像信号を復号化し、フレーム単位の動画像データに変換し（例えば、ＭＰＥＧ画像データを連続する複数のフレームに展開し）、画像管理部３の分配部８及び記憶部９１に提供する。

分配部８は、信号入力部２から動画像データを受け付け、信号入力部２より受け付けた動画像データのうち最新の動画像データを除いた過去の動画像データを、ある程度フレームの連続性を維持する状態で区切り、この区切られた過去の動画像データを記憶部９２〜９ｍのいずれかに分配する。

すなわち、分配部８は、所定の時間間隔で過去の動画像データを区切り、記憶部９２〜９ｍのいずれかに提供する。全ての記憶部９２〜９ｍに区切られた過去の動画像データが記憶された後、新たに区切られた過去の動画像データが発生した場合、分配部８は、最も古い区切られた過去の動画像データが記憶されている記憶部に、新たに発生した区切られた過去の動画像データを提供する。

記憶部９１〜９ｍとしては、例えばＦＩＦＯ方式のバッファ、リングバッファなどを用いることができる。この記憶部９１〜９ｍには、動画像データのフレームが記憶される。

記憶部９１は、記憶部９２〜９ｍに記憶されている動画像データ内のデータに対応するリプレイデータ（繰り返しの動画像データ）を含むか否か判断される動画像データを記憶する。本実施の形態において、リプレイデータを含むか否か判断される動画像データは、最新の動画像データ（現時点での動画像データ）であるとする。

また、記憶部９１は、制御部４からの制御信号にしたがって、記憶している動画像データのうち任意の時刻又は任意の区間のフレームを並列比較装置１０１〜１０ｎに提供する。また、記憶部９１は、制御部４からリプレイ区間を受け付けた場合に、このリプレイ区間の動画像データをリプレイデータとして符号化部６に提供する。

記憶部９２〜９ｍは、分配部８によって分配された過去の動画像データを記憶する。すなわち、記憶部９２〜９ｍは、図２に示すように、放送された時刻ｔ１〜ｔｍ−１に基づいて所定の時間間隔で区切られた過去の動画像データＰＤ１〜ＰＤｍ−１を記憶する。そして、記憶部９２〜９ｍは、時刻ｔｍにおいて新たに区切られた過去の動画像データＰＤｍが発生した場合、最も古い区切られた過去の動画像データＰＤ１に代えて、新たに発生した区切られた過去の動画像データＰＤｍを記憶する。

そして、記憶部９２〜９ｍは、制御部４からの制御信号にしたがって、記憶している区切られた動画像データのうち任意の時刻又は任意の区間のフレームを並列比較装置１０１〜１０ｎに提供する。

並列比較部１０１〜１０ｎは、それぞれ並列に動作する。すなわち、並列比較部１０１〜１０ｎは、それぞれが互いに干渉することなく、並列の記憶部９２〜９ｍ内の動画像データに対する処理を実行する。このように、並列比較部１０１〜１０ｎと記憶部９２〜９ｍとを並列に備えることで、画像記憶装置１の並列度及び拡張度を高めることができる。各並列比較部１０１〜１０ｎは、記憶部９１から受け付けた最新の動画像データのフレームと、それぞれ記憶部９２〜９ｍから受け付けた過去の動画像データのフレームとの間で並列に比較を行う。

そして、並列比較部１０１〜１０ｎは、記憶部９１から受け付けた最新の動画像データのフレームと、それぞれ記憶部９２〜９ｍから受け付けた過去の動画像データのフレームとの間で、画像類似度（評価尺度）が所定レベル以上か判断し、この判断結果ととこの判断結果に対応する時間情報（タイムコード）を制御部４に提供する処理を並列に実行する。

例えば、並列比較部１０１〜１０ｎは、最新の動画像データのフレームを一つ入力し、自己の担当する一方の記憶部９２〜９ｍをサーチし、画像類似度が所定レベル以上となるフレームを検出する。

また、並列比較部１０１〜１０ｎは、一旦、画像類似度が所定レベル以上となるフレームを検出した場合、この画像類似度が所定レベル以上となるフレームから同じ時間だけ進んだフレームについて、画像類似度が所定レベル以上となるか判断する。

そして、並列比較部１０１〜１０ｎは、画像類似度の判断結果と、この判断結果に関する時間情報を制御部４に提供する。

制御部４は、任意の時刻又は区間の動画像データを複数の並列比較部１０１〜１０ｎに提供するための制御信号を記憶部９１に提供する。すなわち、制御部４は、比較対象となる最新の動画像データのフレームと過去の動画像データとの組み合わせを指定し、並列比較部１０１〜１０ｎに比較処理を実行すうように制御を行う。

また、制御部４は、複数の並列比較部１０１〜１０ｎから画像類似度の判断結果と時間情報とを集め、最新の画像データ内にリプレイデータが含まれているか否か判断する。例えば、制御部４は、画像類似度が所定レベル以上となる最新の動画像データのリプレイ区間を検出し、リプレイ区間を記憶部９１に提供する。

符号化部６は、記憶部９１から受け付けたリプレイデータに対して符号化処理を実行し、符号化されたリプレイデータを符号化記憶部７に提供する。

符号化記憶部７は、符号化されたリプレイデータを記憶する。

次に、上記のような構成を持つ画像記憶装置１の動作について説明する。

放送局又は通信局などの外部装置１２から配信された動画像信号は、信号入力部２に入力される。信号入力部２は動画像信号を復号化し、フレーム単位の動画像データに変換し、画像管理部３に提供する。画像管理部３はＦＩＦＯ方式の記憶部９１〜９ｍを具備する。記憶部９１〜９ｍには、最新の動画像データ及び区切られた過去の動画像データが記憶される。

制御部４は、比較対象の動画像データのフレームを記憶部９１〜９ｍから並列比較部１０１〜１０ｎに提供するための制御を行う。

記憶部９１に記憶されている最新の画像データのフレームは、比較対象の一方として、並列比較部１０１〜１０ｎに提供される。

記憶部９２〜９ｍに記憶されている区切られた過去の画像データのフレームは、比較対象の他方として、並列比較部１０１〜１０ｎに提供される。

すなわち、最新の動画像データ、及びこの最新の動画像データの比較対象となる過去の動画像データは、記憶部９１〜９ｍから制御部４の動作によって順次取り出される。

並列比較部１０１〜１０ｎは、受け付けた２つの動画像データを比較し、画像類似度を判断し、判断結果と時間情報を制御部４に提供する。

制御部４は、並列比較部１０１〜１０ｎから判断結果と時間情報を受け付け、次の比較対象となる動画像データを記憶部９１〜９ｍから並列比較部１０１〜１０ｎに提供するための制御を行う。

また、制御部４は、ある時点で最新の動画像データと過去の動画像データとの間の画像類似度が所定レベル以上（評価尺度が十分に高い状態）であり、さらに所定時間経過後に、最新の動画像データと過去の動画像データとの間で画像類似度が所定レベル以上であり、最新の動画像データと過去の動画像データとが継続的に類似している場合（継続的に評価尺度が高い場合）、この区間をリプレイ区間として認識する。

リプレイ区間の動画像データは、リプレイデータとして記憶部９１から符号化部６に提供され、符号化されたリプレイデータは符号化記憶部７に記憶される。

一般的に、ハイライトシーンの前後も、ハイライトシーンと同様に重要であることが多い。例えば、ハイライトシーンの前後においてこのハイライトシーンが解説されている可能性が高い。

そこで、本実施の形態において、制御部４は、画像類似度が所定レベル以上の区間の前後を、ユーザによって指定された時間又は所定の時間延長して、リプレイ区間を決定する。これにより、ハイライトシーンの前後にある解説などを含む状態でリプレイデータを記憶することができる。

例えば、類似度が所定レベル以上となる区間の前後を、1分ずつ加えた区間をリプレイ区間とする。この場合、延長する分を考慮して記憶部９１〜９ｍの記憶容量を決定する必要がある。

このように、リプレイ区間を拡大する場合、画像類似度の高い区間の開始フレームと終了フレームを厳密に検出する必要性は低くなる。ゆえに、最新の動画像データ及び過去の動画像データについて時間的にフレームの間引き処理を行った後や、フレームの画素値を圧縮するなど情報量を削減する処理を行った後に比較処理を行っても、リプレイデータの検出結果はあまり影響を受けない。

シーン切り替えなど時間的に大きく変化するフレームの前後についても、フレームの符号化処理の前処理部や一部の処理部を利用するなどにより切り替えがあったことを認識し、リプレイ区間に含めることが好ましい。

次に、上記のような構成を持つ画像記憶装置１の適用具体例について説明する。

本実施の形態に係る画像記憶装置１は、視聴指定又は記憶指定された特定のチャンネルについて、継続的に動画像データを記憶する。

特定のチャンネルの動画像データは、画像管理部３においてＦＩＦＯ形式により継続的に記憶される。

画像管理部３に一旦記録された動画像データは、ユーザからの指示がない場合、古いデータから順次削除される。

しかしながら、ユーザによって「遡って録画する」という指示が入力された場合、この指示された部分の動画像データは削除されず、符号化処理を経て符号化記憶部７に記憶される。

画像記憶装置１は、消去しないは依頼とシーンを自動特定し、記憶する装置であり、リプレイデータをハイライトシーンとして自動検出し、記憶する。

最新の動画像データとしては、現時点のフレームから５分程度前までのフレームを用いるとする。リプレイデータの検出が目的であるため、最新の動画像データは、５分程度でよいと考えられる。なお、この最新の動画像データの長さについては、任意に変更可能である。

本実施の形態では、この最新の動画像データの全フレームと、最新の動画像データより前の過去の動画像データの全フレームとが比較処理される。

５分程度の最新の動画像データはＦＩＦＯ方式で記憶される。比較処理の行われる動画像データの時間長はＦＩＦＯ方式の画像管理部３の記憶容量を決める一つの要素となる。また、ユーザによって「遡って録画する」という指示を所定時間（例えば２時間）前の動画像データまで許可する仕様にする場合、画像管理部３は、この所定時間以上の動画像データを記憶可能な容量を持つ必要がある。

本実施の形態において、並列比較部１０１〜１０ｎによる画像類似度の算出において、画像処理、画像認識などの複雑・高度なアルゴリズムを用いる必要はなく、フレーム間の画素値の比較又はフレーム間の画素値の集計結果の比較などの単純な処理により行う。フレーム間の画素値の集計結果の一例としては、フレーム間の画素値に対する統計学的な演算結果がある。

例えば、並列比較部１０１〜１０ｎは、フレーム間の画素値の差の絶対値和、フレーム間のバイアス補正付の差の絶対値和、フレーム間の正規化相関に基づいて、画像類似度を求める。

なお、本実施の形態において、単純な処理とは、アルゴリズムとして単純な処理、画一的な処理であり、並列実行が可能な処理であるとする。

ハイライトシーンにおいては、元の動画像データに、テロップや、リプレイの文字などが加えられている場合がある。

このため、並列比較部１０１〜１０ｎにおいては、ハイライトシーンにおける加工状態を考慮して画像類似度に対する所定レベルが設定されているとする。

本実施の形態においては、フレーム間の比較はあまり厳密に行わなくてもよいため、ある程度フレームが類似すれば、このフレームがリプレイデータの一部である可能性があると判断する。

図３は、本実施の形態に係る画像記憶装置１の処理の概略の一例を示すフローチャートである。

ステップＳ１において、信号入力部２は、動画像信号の入力を開始し、動画像データを取得する。動画像信号の入力は、処理終了まで継続される。

ステップＳ２において、記憶部９１〜９ｍは、最新の動画像データと過去の動画像データとの記憶を開始する。最新の動画像データと過去の動画像データとの記憶は、処理終了まで継続される。

ステップＳ３において、並列プロセッサ１１の並列比較部１０１〜１０ｎは、最新の動画像データと過去の動画像データに対する並列の比較・判断処理を開始する。並列の比較・判断処理は、処理終了まで継続される。

ステップＳ４において、制御部４は、所定レベル以上の画像類似度が継続するか否か判断する。リプレイ区間が検出されない場合、処理はステップＳ８に移る。

所定レベル以上の画像類似度が継続する場合、ステップＳ５において、制御部４は、リプレイ区間を検出する。

ステップＳ６において、符号化部６は、リプレイ区間に対応するリプレイデータを符号化する。

ステップＳ７において、符号化記憶部７は、符号化されたリプレイデータを記憶する。

ステップＳ８において、画像記憶装置１は、処理を継続するか否か判断する。処理が継続される場合、この処理は上記ステップＳ４に戻る。

以上説明した本実施の形態に係る画像記憶装置１の効果について説明する。

本実施の形態に係る画像記憶装置１は、ハイライトシーンは繰り返し再生されるという性質を積極的に用い、リプレイデータを抽出することにより、ハイライトシーンを抽出する。

本実施の形態では、リプレイデータが並列プロセッサ１１を用いて効率的に認識され、記憶される。これにより、繰り返し放映されるハイライトシーンを切り出すことができる。

本実施の形態では、制御部４の制御に応じて並列比較部１０１〜１０ｎによりフレーム間の比較が行われ、リプレイデータが検出される。このため、複雑・高度な画像処理、画像認識などのアルゴリズムを用いることなく、画像処理アルゴリズム及び画像認識アルゴリズムの性能に依存することなく、比較処理などの簡単な処理だけでリプレイデータをハイライトシーンとして検出し、記憶することができる。

本実施の形態では、フレーム間の画像類似度を厳密に計算し、判断しなくてもよい場合がある。厳密に画像類似度を判断しなくてもよい理由は、数枚程度の画像が偶然類似することはありえるが、数秒間継続して画像類似度が高くなる可能性は低いためである。複数のフレームにわたって画像類似度の高い状態が連続する場合を検出することにより、個々のフレームの画像類似度に対する判断は緩くてもよい。このため、本実施の形態では、画像類似度の判断に用いられる所定レベルを調整することにより、ハイライトシーンに施されたテロップ挿入や文字追加などの影響を低減させることができる。

本実施の形態では、並列プロセッサ１１に適した処理により、リプレイデータの選択及び記憶を行うことができる。

本実施の形態では、動画像データ間の比較によって得られた画像類似度の高い区間をさらに前後に伸ばしてリプレイ区間が検出されるため、ハイライトシーンの前後の解説なども含むリプレイデータを記憶することができる。

なお、本実施の形態において、並列比較部１０１〜１０ｎは、最新の動画像データのフレームの画素値と過去の動画像データのフレームの画素値とを用いて比較処理を行うとしている。

しかしながら、例えば、並列比較部１０１〜１０ｎは、最新の動画像データのフレームの色ヒストグラムと過去の動画像データのフレームの色ヒストグラムとを用いて比較処理を行うとしてもよい。同様に、並列比較部１０１〜１０ｎは、最新の動画像データのフレームの輝度ヒストグラムと過去の動画像データのフレームの輝度ヒストグラムとを用いて比較処理を行うとしてもよい。

（第２の実施の形態）
本実施の形態においては、複数のチャンネルの動画像データの中からリプレイデータを並列に検出し、記憶する動画像記憶装置について説明する。

図４は、本実施の形態に係る画像記憶装置の一例を示すブロック図である。

この画像記憶装置１３は、信号入力部２１〜２ｉ、画像管理部１４、制御部４、比較部５、符号化部６、符号化記憶部７を具備する。

複数の信号入力部２１〜２ｉは、例えば放送局又は通信局などの複数の外部装置１２１〜１２ｉから配信された複数のチャンネルの動画像信号を受け付ける。

各信号入力部２１〜２ｉは、複数のチャンネルの動画像信号を復号化し、フレーム単位の動画像データに変換し、画像管理部１４の記憶部９１〜９ｍに提供する。

本実施の形態において、記憶部９１〜９ｍは、各チャンネルの最新の動画像データと各チャンネルの過去の動画像データとを記憶する。

並列比較部１０１〜１０ｎは、チャンネルごとに、最新の動画像データのフレームと過去の動画像データのフレームとを比較し、画像類似度が所定レベル以上となるか判断する。

制御部４は、画像類似度の判断結果に基づいてリプレイ区間を検出し、最新の動画像データを記憶する記憶部にリプレイ区間を提供する。

画像管理部１４は、受信できる全チャンネルの動画像データを２４時間継続的に記憶するとしてもよい。

以上説明した本実施の形態に係る画像記憶装置１３により、複数のチャンネルについて、継続的に動画像データを記憶し、この複数のチャンネルの動画像データの中からリプレイデータを抽出して記憶することができる。

これにより、ユーザは、全てのチャンネルの中から重要なシーンのみを視聴することができる。例えば２４時間全チャンネルの動画像データを記憶する場合には膨大な記憶容量が必要となる。これに対して、本実施の形態では、リプレイデータのみを検出し、自動的に他の重要度の低いシーンを除去することができる。

（第３の実施の形態）
本実施の形態においては、ハイライトシーンの再生スピードが異なる場合であっても、このハイライトシーンをリプレイデータとして検出するための画像記憶装置について説明する。

図５は、本実施の形態に係る画像記憶装置の一例を示すブロック図である。

この画像記憶装置１５は、信号入力部２、画像管理部１６、制御部４、比較部５、符号化部６、符号化記憶部７を具備する。

さらに、画像管理部１６は、スピード変化部１７１〜１７ｋ、記憶部９１〜９ｍを具備する。

信号入力部２は、外部装置１２から配信された動画像信号及び音信号を受け付ける。信号入力部２は、動画像信号及び音信号を復号化し、動画像データ及び音データに変換し、画像データ及び音データを、画像管理部１６のスピード変化部１７１〜１７ｋ及び記憶部９１，９２に提供する。

スピード変化部１７１〜１７ｋは、信号入力部２から動画像データ及び音データを受け付け、再生スピードを変化させた動画像データ及び再生スピードを変化させた音データを含むスピード変化データを作成する。

例えば、スピード変化部１７１〜１７ｋは、動画像データの任意のフレームの間に、フレームを挿入し、音データの間に、音データを挿入し、スロー再生に対応するスピード変化データを作成する。なお、動画像データのフレーム及び音データを削除することにより、高速再生に対応するスピード変化データが作成される。

動画像データにフレームを挿入する場合、例えば、挿入されるフレームは、挿入位置の前後のいずれか一方のフレームと同じとしてもよい。また、例えば、挿入されるフレームは、挿入される位置の前後のフレームの間の状態としてもよい。音データの挿入についても同様である。

各スピード変化部１７１〜１７ｋでは、挿入又は削除されるフレーム及び音データの数が異なる。これにより、スピード変化部１７１〜１７ｋは、それぞれ異なる再生スピードのスピード変化データを作成することになる。

そして、スピード変化部１７１〜１７ｋは、スピード変化データを記憶部９３〜９ｍに提供する。

記憶部９１は、制御部４からの制御信号にしたがって、記憶している最新の動画像データ及び音データのうち任意の時刻又は任意の区間のフレーム及び音データを並列比較装置１０１〜１０ｎに提供する。また、記憶部９１は、制御部４からリプレイ区間を受け付けた場合に、このリプレイ区間の動画像データ及び音データをリプレイデータ及びリプレイデータに対応する音データとして符号化部６に提供する。

記憶部９２は、通常の再生スピードの過去の動画像データのフレーム及び音データを記憶する。

記憶部９２は、制御部４からの制御信号にしたがって、通常スピードの過去の画像データ及び音データのうち、任意の時刻又は任意の区間のフレーム及び音データを並列比較装置１０１に提供する。

記憶部９３〜９ｍは、スピード変化データを記憶する。本実施の形態において、この記憶部９３〜９ｍには、過去の動画像データ及び音データに対応するスピード変化データが記憶される。

記憶部９３〜９ｍは、制御部４からの制御信号にしたがって、記憶しているスピード変化データのうち任意の時刻又は任意の区間のフレーム及び音データを、それぞれ並列比較装置１０２〜１０ｎに提供する。

並列比較部１０１は、記憶部９１から受け付けた最新の動画像データのフレームと、記憶部９２から受け付けた通常スピードの過去の動画像データとの間で比較を行い、最新の動画像データのフレームと通常スピードの過去の動画像データのフレームとの間の画像類似度が所定の画像判断レベル以上か否か判断する。

また、並列比較部１０１は、記憶部９１から受け付けた最新の音データと、記憶部９２から受け付けた通常スピードの音データとの間で比較を行い、最新の音データと通常スピードの過去の音データとの間の音類似度が所定の音判断レベル以下か否か判断する。

並列比較部１０２〜１０ｎは、記憶部９１から受け付けた最新の動画像データのフレームと、それぞれ記憶部９３〜９ｍから受け付けたスピード変化データのフレームとの間で比較を行うとともに、最新の動画像データのフレームとスピード変化データのフレームとの間の画像類似度が所定の画像判断レベル以上か否かを判断し、画像類似度が所定の画像判断レベル以上の場合、画像類似度とこの画像類似度に対応する時間情報を制御部４に提供する。

また、並列比較部１０２〜１０ｎは、記憶部９１から受け付けた最新の音データと、それぞれ記憶部９３〜９ｍから受け付けたスピード変化データの音データとの間で比較を行うとともに、最新の動画像データの音データとスピード変化データの音データとの間の音類似度が所定の音判断レベル以下か否かを判断し、音類似度が所定の音判断レベル以下の場合、音類似度とこの音類似度に対応する時間情報を制御部４に提供する。

制御部４は、画像類似度が所定レベル以上であり、かつ音類似度が所定レベル以下の区間を、例えばスローモーションや加速処理がなされ、再生スピードが変化されたリプレイ区間として検出する。

また、制御部４は、画像類似度と音類似度の双方が所定レベル以上の区間を、再生スピードが等速のリプレイ区間として検出する。

また、制御部４は、画像類似度が所定の画像判断レベル以上であり、音類似度が所定の音判断レベル以上であり、リプレイ区間の長さがコマーシャルの再生時間と一致する場合、このリプレイ区間はコマーシャルであると判断し、リプレイ区間を記憶部９１に提供しないこととする。

すなわち、本実施の形態においては、リプレイ区間と判断された時間が例えば１５秒または３０秒の場合は、このリプレイ区間はコマーシャルであると認識する。

符号化記憶部６は、リプレイデータ及びこのリプレイデータに対応する音データを符号化する。

符号化記憶部７は、符号化されたリプレイデータ及びこの符号化されたリプレイデータに対応する音データを記憶する。

次に上記のような構成を持つ画像記憶装置１６の動作について説明する。

この画像記憶装置１５は、スローモーションのハイライトシーンや高速なハイライトシーンを効率よく認識することができる。

画像管理部１６は、想定される再生スピードごとに過去の動画像データ及び音データを記憶する並列の記憶部９３〜９ｍを具備する。例えば、２倍に引き伸ばされたスローモーションのハイライトシーンを検出するために、過去の動画像データ及び音データを２倍の再生スピードに引き伸ばしたスピード変化データを予め作成し、記憶部９４に記憶する。また、例えば、３倍に引き伸ばされたスローモーションのハイライトシーンを検出するために、過去の動画像データ及び音データを３倍に引き伸ばされたスピード変化データを予め作成し、記憶部９ｍに記憶する。

このように、画像管理部１６は、必要な再生スピードのスピード変化データを並列に記憶する。

スピード変化部１７１は、例えば、１．５倍の速度のスピード変化データを作成するために、まず入力したフレーム及び音データと同じフレーム及び音データを一つ出力し、次に入力したフレーム及び音データと同じフレーム及び音データを２つ出力し、その後も同様に、フレーム及び音データについて一つの出力と２つの出力とを交互に行う。

スピード変化部１７２は、例えば、２倍の速度のスピード変化データを作成するために、入力したフレーム及び音データと同じフレーム及び音データを２つ出力する。

スピード変化部１７ｋは、例えば、１／３倍の速度のスピード変化データを作成するために、入力したフレーム及び音データと同じフレーム及び音データを３つ出力する。

このように、フレーム及び音データの入力に応じて出力するフレーム数及び音データの数を増減させることで、動画像データ及び音データの再生スピードを任意のスピードに変化させることができる。スピードの高速化は、フレーム及び音データの入力回数に対してフレーム及び音データの出力回数を抑えることで実現可能である。

また、スピード変化部１７１〜１７ｋは、入力したフレーム及び音データと同じフレーム及び音データを出力することにより再生スピードを変化させる手法に代えて、画像処理、音響処理により挿入されるフレーム及び音データを作成するとしてもよい。

例えば、連続して入力された２つのフレーム及び音データから平均の画像フレーム及び音データを作成し、連続して入力された２つのフレーム及び音データの間にこの平均の画像フレーム及び音データを挿入するとしてもよい。

入力された動画像データにＭＰＥＧ２、ＭＰＥＧ４、Ｈ２６４のようなフレーム間の差分を用いる動画像符号化処理が施されている場合、この動画像符号化処理の施されている符号化データに基づいて、挿入されるフレームを作成してもよい。

本実施の形態において、スピード変化データは、最近の動画像データ中の任意の部分がリプレイデータか否か判断可能な程度の精度で作成されればよい。したがって、スピード変化データは、フレーム及び音データの増減という単純な処理により作成された場合であっても充分に役割を果たす。

以上説明した本実施の形態においては、ハイライトシーンの時間方向の伸縮を考慮してスピード変化データが作成され、時系列でフレーム及び音データが比較される。これにより、早回しやスローモーションなどの加工のなされたハイライトシーンに対応するリプレイデータを効率よく検出することができ、ハイライトシーンが過去のシーンと等速で再生されていない場合であっても効率よくハイライトシーンを検出できる。

本実施の形態においては、ハイライトシーンがスローモーション又は加速されている場合に、過去のシーンとハイライトシーンとの間で音データが非常に高い確率で異なる点に注目し、画像類似度が所定の画像判断レベル以上であり音類似度が所定の音判断レベル以下の場合に、リプレイデータがスローモーション又は加速されているハイライトシーンに対応すると認識される。これにより、画像記憶装置１５の認識能力を向上させることができる。また、画像類似度が所定の画像判断レベル以上であり音類似度が所定の音判断レベル以上の場合に、リプレイデータが等速のハイライトシーンであると認識される。

本実施の形態のように、フレーム及び音データの比較に並列プロセッサ１１を用いることにより、動画像データ及び音データの再生スピードを変化させたバージョンを複数用意し、比較することができ、各比較・判断処理を並列に実行することができ、処理時間を抑制できる。

なお、再生スピードが動的に変化するハイライトシーンも存在する。このような再生スピードが動的に変化するハイライトシーンについては、並列比較部１０１〜１０ｎは、アクセスする記憶部９２〜９ｍを切り替えながら画像類似度についての判断を行う。

例えば、徐々に再生スピードが遅くなるハイライトシーンを検出する場合には、最初は、最新の動画像データと同じ速度の過去の動画像データと類似度が高く、徐々に最新の動画像データと１／２倍、１／３倍速、１／４倍速のスピード変化データとの類似度が高くなる。

また、制御部４が並列比較部１０１〜１０ｎから受け付けた類似度の変化に基づいて動的なスピード変化を検出し、類似度の変化に応じてリプレイ区間を決定するとしてもよい。

ハイライトシーンの再生スピードが動的に変化している場合において、再生スピードを切り替えながら画像を比較するためには、スピード変化データに共通のタイムコードが付されていることが必要となる。具体的には、スピードを変化させる前の過去の動画像データと共通のタイムコードを、スピード変化後のスピード変化データに付しておく。例えば、過去の動画像データのフレームの年月日、時刻、秒、フレーム番号を、同一のスピード変化データのフレームに付しておく。さらに、スピード変化データに時間情報を付すことにより、検出されたリプレイデータがどの過去の動画像データに対応するかを把握可能となるなど、ユーザの利便性を高めることができる。

なお、本実施の形態においては、例えばどの記憶部に記憶されていたかなどの情報によりリプレイデータの再生スピードを検出し、リプレイデータがスローモーションであるか否かを判断するとしてもよい。例えば、野球中継などでは、ピッチャーのほとんどの投球がリプレイされる。このような場合であっても、ユーザの設定により、例えばスローモーションのリプレイデータのみを記憶することにより、スローモーションでリプレイされた本当のハイライトシーンに関するリプレイデータのみを記憶することができる。これにより、ユーザの利便性を向上させることができる。

（第４の実施の形態）
本実施の形態においては、上記各実施の形態に係る並列比較部１０１〜１０ｎにおける情報量圧縮について説明する。

全フレームの画素値をそのまま比較すると、処理量が多くなる。そこで、比較対象の最近の動画像データと過去の動画像データとの情報量を圧縮する。

本実施の形態に係る情報量圧縮において、顔認識により画像データを人名に変換する画像処理、シーンの意味を認識する画像処理などを用いることは、画像の情報量を異質な情報に変換することになるため、有効ではないと考える。

そこで、本実施の形態では、例えば、最近の動画像データと過去の動画像データとの情報量を、色解像度の低減、輝度解像度の低減、画像のサイズの縮小、サンプリングにより、減少させる。本実施の形態では、最近の動画像データと過去の動画像データとの間で類似か否か判断可能な程度で、画像の情報量を圧縮する。

以下においては、上記第１の実施の形態において動画像データの情報量圧縮を行った場合を例に説明するが、上記第２及び第３においても同様に適用可能である。

例えば、並列比較部１０１〜１０ｎは、最新の動画像データのフレームと過去の動画像データのフレームの比較において、ＲＧＢの三色を比較処理に使うのでなく、ＲＧＢのうちの２色又は１色のみを使う。比較に用いる色の選択は、色解像度の圧縮に相当する。

また、例えば、並列比較部１０１〜１０ｎは、最新の動画像データのフレームと過去の動画像データのフレームの比較において、ＲＧＢでなく、Ｙ信号、Ｃｂ信号、Ｃｒ信号のうちの少なくとも一つの信号だけを使う。

具体的には、Ｙ信号（輝度信号）のみを用いて並列比較部１０１〜１０ｎの比較処理が行われるとしてもよい。また、並列比較部１０１〜１０ｎは、Ｙ信号のビット長を短くして比較処理を行うとしてもよい。ここで、ビット長を短くする手法の一例として、上位ビットの値だけを使う手法がある。比較に用いるＹ信号、Ｃｂ信号、Ｃｒ信号の選択は、輝度解像度の圧縮に相当する。

また、例えば、並列比較部１０１〜１０ｎは、最新の動画像データのフレームの色階調と過去の動画像データのフレームの色階調とを圧縮した後、比較を実行する。

具体的には、並列比較部１０１〜１０ｎは、最新の動画像データと過去の動画像データとを、２５６階調から１６階調に圧縮した後に、比較を行う。

また、例えば、並列比較部１０１〜１０ｎは、最新の動画像データと過去の動画像データとを、ＶＧＡ（Video Graphics Array）、ＱＶＧＡ（Quarter Video Graphics Array）、ＣＩＦ（Common Intermediate Format）のサイズに圧縮した後に、比較を行う。

また、例えば、並列比較部１０１〜１０ｎは、最新の動画像データのフレームと過去の動画像データのフレームとの画像像サイズを縮小して情報量を圧縮した後に、比較を行う。具体的には、並列比較部１０１〜１０ｎは、最新の動画像データのフレームと過去の動画像データのフレームとの縦横の画像像サイズを、１／２又は１／４倍にし、情報量をそれぞれ１／４又は１／１６倍にする。

最新の動画像データと過去の動画像データにおける情報圧縮においては、フレームの時間方向の間引き処理を用いてもよい。

すなわち、並列比較部１０１〜１０ｎは、記憶部９１〜９ｍに記憶されているフレームのうち、比較に用いるフレームを任意の間隔ごとに選択する。これにより、処理の効率化が図られる。

具体的には、並列比較部１０１〜１０ｎは、０．５秒ごとに１枚のフレームをサンプリングして比較する。１秒につき３０枚のフレームレートの動画像データの場合、０．５秒ごとに１枚のフレームをサンプリングすることにより情報量は１／１５になる。

この条件でサンプリングが行われると、比較対象の動画像データ間で最大０．５秒のずれが発生するため、画像類似度の判断基準となる所定レベルは、緩くする必要がある。

どの程度の時間間隔でフレームの選択を行ってよいかという判断は、動画像データの変化量を考慮して判断することが望ましい。動画像データ全体のフレーム間差分の総和を参考に、サンプリングレートを設定してもよい。

図６は、最新の動画像データのフレームと過去の動画像データのフレームのサンプリング状態の一例を示す図である。

この図６は、画像類似度が所定レベル以上となる最初のフレームが探索される状態を示している。画像類似度が所定レベル以上となる最初のフレームをｔ＝０のフレームとする。最新の動画像データと過去の動画像データに対しては、時間的なフレームの間引き処理がなされる。この図６の最新の動画像データにおいては、４フレームごとに１フレームがサンプリングされ、比較に用いられる。過去の動画像データも同様に４フレームごとに１フレームがサンプリングされ、比較に用いられる。

サンプリングは、最新の動画像データと過去の動画像データとのタイミングを正確に一致させなくてもよい。図６では、最新の動画像データと過去の動画像データとの間で、サンプリングのタイミングが２フレームずれた状態を示している。

最新の動画像データのサンプリング間隔と、過去の動画像データのサンプリング間隔についても一致させなくてもよい。どちらのサンプリング間隔も細かいレートを実現した方が（間引かれる画像を少なくした方が）比較精度は向上する。しかしながら、細かいレートでサンプリングを行うと処理量は多くなる。したがって、サンプリングレートはトレードオフで決定される。

図６のように最新の動画像データのフレームが過去の動画像データのフレームに対して類似性が高いと判断された場合（ｔ＝０のフレームが検出された場合）、次は、最新の動画像データの後続のフレームが過去の動画像データの後続のフレームに対して類似性が高いか判断される。

この図６において、最新の動画像データと過去の動画像データとの再生スピードは等速であるとする。このように、最新の動画像データの中に、過去の動画像データと等速のリプレイデータが含まれているか否か判断する場合においては、フレームを順番に参照し、比較・判断処理を実行すればよい。

本実施の形態においては、画像類似度が所定レベル以上となった最新の動画像データのフレームをリプレイ区間の開始フレームとし、その後画像類似度が所定レベル未満となった最新の動画像データのフレームをリプレイ区間の終了フレームとする。

サンプリングを行った場合、リプレイ区間の開始フレームと終了フレームが時間的に正確でない場合があるが、ハイライトシーンの記憶を目的とする本実施の形態ではあまり問題とならない。終了フレームの直前にハイライトシーンと異なるフレームが含まれることを防止したい場合には、終了フレームの手前のフレームまでを切り出せばよい。また、開始フレーム及び終了フレームを厳密に求めたい場合には、最新の動画像データにおける開始フレームから終了フレームまでの間の各フレームについて再度画像類似度を検証すればよい。

本実施の形態において、例えば、並列比較部１０１〜１０ｎは、最初にフレーム間の画像類似度が所定レベル以上と判断された後、情報圧縮率を上げて（画像の情報量を小さくして）その後のフレーム間の比較処理を行ってもよい。ハイライトデータでない場合には数秒間継続して類似度が高くなる確率は低く、ハイライトデータの場合には数秒間継続して類似度が高くなる確率が高いためである。

図７は、本実施の形態に係る画像記憶装置の処理の概略の一例を示すフローチャートである。

ステップＴ１，Ｔ２については、上記図３のステップＳ１，Ｓ２と同様である。

ステップＴ３において、並列比較部１０１〜１０ｎは、最新の動画像データと過去の動画像データとの並列の情報量圧縮処理を開始する。情報量圧縮処理は、処理終了まで継続される。

ステップＴ４において、並列比較部１０１〜１０ｎは、情報圧縮後の最新の動画像データと情報圧縮後の過去の動画像データに対する並列の比較処理を開始する。情報圧縮後の並列の比較処理は処理終了まで継続される。

ステップＴ５〜Ｔ９については、上記図３のステップＳ４〜Ｓ８と同様である。

以上説明した本実施の形態においては、フレームの情報量が圧縮され、情報圧縮後に比較処理が行われるため、並列比較部１０１〜１０ｎの処理量を抑制できる。

また、本実施の形態においては、この情報量圧縮の処理として、定式化された単純な処理が用いられるため、画像処理アルゴリズムに認識性能が依存することを防止できる。

本実施の形態では、処理量を抑制することにより、簡便なハードウェアで実現することができる。

なお、リプレイシーンに切り替わりのあるシーンが含まれている場合、最新の動画像データと過去の動画像データとの間の画像類似度は、この切り替わりシーンの部分を除くフレームで所定レベル以上となり、切り替わりシーンの部分のフレームで所定レベルより小さくなることがある。このような現象は、最新の動画像データと過去の動画像データとに対してサンプリングを行った場合や、間引き処理をした場合に、発生する確率が高くなると考えられる。

このような場合であっても、切り替わりシーンを含むリプレイシーンを一連のリプレイシーンとして検出可能とするために、制御部４は、画像類似度が所定レベル以上となり、その後一旦所定レベルを下回ったとしても、所定間隔内に再び画像類似度が所定レベル以上となった場合には、この切り替わりシーンを含むリプレイシーンを一連のリプレイシーンとして検出するとしてもよい。

例えば、並列比較部１０１〜１０ｎは、画像類似度が所定レベル以上から所定レベル以下になった後であっても、時間的にフレームの間引きを行って画像類似度による判断を継続し、制御部４は、切り替わりシーンを含むリプレイシーンを一連のリプレイシーンとして検出する。

また、例えば、並列比較部１０１〜１０ｎが最新の動画像データと過去の動画像データとに対して時間的にサンプリングを行った場合、並列比較部１０１〜１０ｎ又は制御部４は、画像類似度の時間変化量を継続的に監視し、一時的な画像類似度の落ち込みを許容するアルゴリズムを用いる。並列比較部１０１〜１０ｎ又は制御部４は、一時的な画像類似度の落ち込みを許容するために、例えば、甘めに設定された基準値を用いるとしてもよく、画像類似度の一定間隔毎の平均値を用いて判断を行うとしてもよい。

また、例えば、並列比較部１０１〜１０ｎの前処理として、最新の動画像データの時間変化率を求め、この時間変化率が所定の変化許容レベルを超えるフレームを、過去の画像データとの比較対象から除外する処理が加えられてもよい。動画像データの時間変化率は、時間差分値などにより計算可能である。

（第５の実施の形態）
本実施の形態では、フレームの一部の領域について比較処理を実行し、画像類似度を求める場合について説明する。

図８は、本実施の形態に係るフレームの比較状態の一例を示す図である。

例えば、並列比較部１０１〜１０ｎは、最新の動画像データのフレームＦ１の所定の領域Ｅ１と過去の動画像データのフレームＦ２の所定の領域Ｅ２とについて比較処理を実行する。

最新の動画像データがリプレイシーンを含む場合、最新の動画像データのフレームＦ１の上下左右にはテロップや字幕が上書きされていることが多い。このため、テロップの上書きが予想されるフレームの縁側の領域を比較処理及び画像の類似性判断から除外し、フレームＥ１，Ｅ２の中央部の領域を比較処理及び画像の類似性判断の対象とする。

これにより、テロップ、字幕などに影響されることなく画像類似度を判断可能であり、テロップなどが加えられているハイライトシーンについても、リプレイデータとして検出することができる。

なお、本実施の形態において、フレームＦ１、Ｆ２を格子状の複数のブロックに分け、上下左右の縁側のブロックの画像類似度の重みを小さくし、中央部のブロックの画像類似度の重みを大きくしてフレームＦ１、Ｆ２間の画像類似度を求めるとしてもよい。

また、本実施の形態において、フレームＦ１、Ｆ２を格子状の複数のブロックに分け、個々のブロックで画像類似度を求め、所定数（例えば７０％）以上のブロックで画像類似度が所定レベル以上と判断された場合に、フレームが類似していると判断してもよい。

（第６の実施の形態）
本実施の形態においては、異なる位置でハイライトシーンが再生される場合の認識について説明する。

本実施の形態において、各並列比較処理部１０１〜１０ｎは、まず、最新の動画像データのフレームと過去の動画像データのフレームとをそのまま比較する。

最新の動画像データと過去の動画像データとの間で重複するシーンではあるが、サイズが変化されている場合又は上下左右にずれている場合、フレーム間でそのまま比較処理を実行しても類似度は低くなる。

そこで、本実施の形態では、各並列比較部１０１〜１０ｎは、画像類似度が所定レベル未満の場合、双方のフレームについて輝度ヒストグラムを作成する。

各並列比較部１０１〜１０ｎは、作成した輝度ヒストグラムにより、フレームの画像類似度が所定レベル以上か判断する。上下左右のずれが微小量であれば、フレーム間の輝度ヒストグラムは類似する。テロップなどが上書きされている場合には、上書きされたテロップの輝度値の部分はヒストグラムが相違する。しかしながら、この場合であっても、輝度ヒストグラムの一部は類似するため、この輝度ヒストグラムの一部の類似性を判断する。

以上説明した本実施の形態においては、ハイライトシーンの表示位置が異なる場合であっても、ハイライトシーンに対応するリプレイデータを検出し、記憶することができる。

なお、各並列処理部１０１〜１０ｎは、フレーム内の所定慮域のデータを上下左右に微小量移動させ、重複する位置を探索し、重複する領域における画素値の差の絶対値和を算出して類似度を求めるとしても、同様の効果を得ることができる。

（第７の実施の形態）
本実施の形態においては、テロップ領域を積極的に認識し、このテロップ領域を比較対象から除外して比較処理を行う場合について説明する。

図９は、本実施の形態に係る画像記憶装置の一例を示すブロック図である。

本実施の形態に係る画像記憶装置１８のテロップ認識部１９は、テロップ認識処理を実行し、テロップ領域を比較部５に通知する。テロップ認識の具体的手法としては、例えば、特開２０００−１８２０５３（株式会社東芝、堀修、「映像処理方法及び装置並びに映像処理手順を記録した記録媒体」）などを用いることができる。また、例えば、テロップ認識部１９は、「リプレイ」「Replay」「スローモーション」「録画」「Video」「ＣＭ」などのキーワードを認識し、このキーワードを含む所定領域をテロップ領域と判断する。

比較部５の各並列比較部１０１〜１０ｎは、テロップ認識部１９から通知されたテロップ領域を除いて、フレーム間の比較・判断処理を実行する。

以下に、テロップ認識部１９と比較部５の具体的な処理について説明する。

テロップ認識部１９は、フレームの上領域、下領域、左領域、右領域などのテロップの挿入されやすい領域を、テロップ領域として認識する。

また、テロップ認識部１９は、文字情報などが表示される帯状領域などの形状及び位置を画像処理によって検出し、この検出された領域をテロップ領域として認識する。

比較部５は、このテロップ領域を除いて画像類似度を算出する。

ここで、テロップ認識部１９による帯状領域の形状及び位置の検出処理の第１の例について説明する。

テロップ認識部１９は、フレーム全体にエッジフィルタを適用し、Ｘ方向とＹ方向にエッジ強度のプロファイルデータを作成する。

帯状領域の端の線は、Ｘ方向またはＹ方向の線だと考えられる。したがって、テロップ認識部１９は、Ｘ方向またはＹ方向のエッジプロファイルに非常に大きなピークが立っているか判断し、帯状領域の端の線を検出する。

次に、テロップ認識部１９による帯状領域の形状及び位置の検出処理の第２の例について説明する。

テロップ認識部１９は、フレームの色ヒストグラムを作成し、Ｘ方向とＹ方向に色ヒストグラムのプロファイルデータを作成する。

帯状領域は、色と輝度が加工され、特定の色（例えば黒）が背景の基調色となる傾向にある。したがって、テロップ認識部１９は、フレームの色ヒストグラムのプロファイルを調べ、他の領域に比べて輝度や彩度が低い領域を、テロップ領域と認識する。

本実施の形態において、テロップ認識の精度はあまり高くなくてもよく、リプレイデータの可能性があれば積極的に記憶する。これにより、ハイライトシーンの見逃しを防止することができ、ユーザにとって有益である。

例えば、２４時間全チャンネルの動画像データからリプレイデータを選択するためにテロップを過剰検出しても、ユーザの満足度はあまり低下しない。

図１０は、本実施の形態に係る画像記憶装置１８の処理の概略の一例を示すフローチャートである。

ステップＵ１，Ｕ２については、上記図３のステップＳ１，Ｓ２と同様である。

ステップＵ３において、テロップ認識部１９は、最新の動画像データと過去の動画像データに対するテロップ認識処理を開始する。テロップ認識処理は、処理終了まで継続される。

ステップＵ４において、並列比較部１０１〜１０ｎは、最新の動画像データのうちテロップ領域を除く部分と過去の動画像データのうちテロップ領域を除く部分に対する並列の比較・判断処理を開始する。並列の比較・判断処理は、処理終了まで継続される。

ステップＵ５〜Ｕ９については、上記図３のステップＳ４〜Ｓ８と同様である。

以上説明した本実施の形態では、リプレイデータの検出及び記憶がテロップの影響を受けることを防止できる。

なお、本実施の形態においては、テロップ領域と認識された部分のデータ内容に基づいて、比較対象のフレームがリプレイデータか否か判断してもよい。これにより、異なる視点のカメラにより撮影されたハイライトシーンについても検出できる場合がある。

（第８の実施の形態）
本実施の形態においては、動画像データの前後のフレーム間で変化のない静止シーンを検出する場合について説明する。

本実施の形態において、並列比較部１０１〜１０ｎは、例えばカラーバーなどのような、動画像データにおいて同一のフレームが連続する静止シーンを認識する。

静止シーンの画像類似度は、複数のフレームにわたって一様に高くなる。このため、最新の動画像データのどのフレームに対して、過去の動画像データのどのフレームが対応するのか特定することが困難である。

そこで、このような静止シーンを排除するために、並列比較部１０１〜１０ｎは、直前のフレームと時間的な変化があることを条件にフレームの比較処理を行う。

また、他の手法として、制御部４が、前後のフレームにおいて変化がない場合に、時間情報の差異をキャンセル（無視）するとしてもよい。

なお、静止シーンにテロップが加えられる場合もある。この場合、並列比較部１０１〜１０ｎは、上記第７の実施の形態で説明したように、テロップ領域を除去し、その後、テロップを除去した直前のフレームとの間で変化のあるフレームに対して比較処理を行う。

以上説明した本実施の形態では、ハイライトシーンとして静止シーンが検出されることを防止することができる。

（第９の実施の形態）
本実施の形態においては、リプレイデータに対応する部分が過去の動画像データに含まれている回数をカウントする場合について説明する。

本実施の形態では、上記第１の実施の形態に係る画像記憶装置にカウンタ部及びカウンタ記憶部を備えた場合について説明するが、上記第２乃至第８の実施の形態に係る画像記憶装置についても同様にカウンタ部及びカウンタ記憶部を備えることができる。

図１１は、本実施の形態に係る画像記憶装置の一例を示すブロック図である。

画像記憶装置３０のカウンタ３１は、リプレイデータを記憶部９１から受け付けて、このリプレイデータに関する識別番号、サムネール、再生回数をカウンタ記憶部３２のテーブル３３に記憶する。

サムネールは、符号化されておらず、そのまま動画像データのフレームとして利用できる状態であり、リプレイシーンの開始フレームだけでなく、リプレイデータを照合できる状態でカウンタ記憶部３２に記憶される。

例えば、サムネールは、リプレイデータのフレームのサイズを小さくし、時間方向に間引き処理を行ったデータとする。また、サムネールは、リプレイデータのフレームの色情報や輝度情報を圧縮して作成してもよい。

このような情報量圧縮を行ったサムネールをカウンタ記憶部３２に記録することにより、保存数を増加させることができる。サムネールを記憶することにより、画像管理部３がＦＩＦＯ方式を採用し、有限時間分だけ動画像データを記憶する場合であっても、重複するリプレイデータをカウント可能である。

リプレイデータは、テーブルのサムネールと照合される。カウンタ部３１は、リプレイデータとサムネールとについて比較・判断処理を実行する。この結果、リプレイデータとサムネールの間の画像類似度が所定レベル以上の場合、カウンタ部３１は、再生回数をカウントアップし、カウンタ記憶部３２に記憶する。

図１２は、本実施の形態に係る画像記憶装置の処理の概略の一例を示すフローチャートである。

リプレイ区間が検出された後、ステップＳ９において、カウンタ部３１はカウンタ記憶部３２に再生回数を記憶する。

本実施の形態により、例えばあるリプレイデータが今日の何回目のリプレイか表示することができる。

上記のようなリプレイデータの再生回数に関する情報は、映像コンテンツを編集するシステムにインプットされる情報として非常に有用である。例えば、本実施の形態のように、再生回数を求めることにより、ユーザは、再生回数の大きい順に「今日のハイライトシーン集」「重大ニュース集」を重要な順に視聴できる。ユーザは、迅速に、世の中の話題、流行を確認できる。

なお、記憶部９１〜９ｍで記憶可能な動画データの時間長の範囲で再生回数をカウントする場合には、サムネールを作成する必要はない。これに対して、記憶部９１〜９ｍで記憶可能な動画データの時間長より長い範囲で再生回数をカウントする場合には、サムネールなど、リプレイデータを照合できる状態で記憶する。

本実施の形態又は上記第３の実施の形態で説明したように、再生回数を求めることにより、ユーザの利便性を向上させることができる。例えば、野球中継では、ピッチャーのほとんどの投球がリプレイされる。このような場合であっても、ユーザの設定により、例えば再生回数が２回以上のリプレイデータのみを記憶することにより、２回以上リプレイされた本当のハイライトシーンに関するリプレイデータのみを記憶することができる。

（第１０の実施の形態）
本実施の形態においては、リプレイデータのみではなく、他のデータについても符号化を行う画像記憶装置について説明する。

本実施の形態では、上記第１の実施の形態に係る画像記憶装置の各種データを符号化する場合について説明するが、上記第２乃至第８の実施の形態に係る画像記憶装置においても同様である。

本実施の形態に係る画像記憶装置は、リプレイデータのみではなく、例えば、画像記憶装置に入力された全ての動画像データ及び音データを符号化し、記憶する。

また、この画像記憶装置は、入力された全ての動画像データ及び音データを符号化する処理と並行して、リプレイデータの検出を行う。

入力され符号化された動画像データ及び音データは、ある時間（例えば１２時間）以上経過し、ユーザによって保存番組として指定されていないデータから順に、リプレイデータを除き、削除される。

符号化部が専用のハードウェアで構成されているなど、処理性能に余裕がある場合には、本実施の形態にように、入力された全ての動画像データ及び音データを符号化し、記憶することが可能である。

（第１１の実施の形態）
本実施の形態においては、リプレイ区間の開始フレームの探索を、分割して行う画像記憶装置について説明する。

本実施の形態では、上記第１の実施の形態に係る画像記憶装置がリプレイ区間の開始フレームの探索を分割して行う場合について説明するが、上記第２乃至第８の実施の形態に係る画像記憶装置についても同様に適用可能である。

本実施の形態に係るリプレイ区間の開始フレームの探索手法は、並列プロセッサに特に適している。

本実施の形態では、最新の動画像データと過去の動画像データの比較処理を分割して行うことで、処理量及び処理時間を低減させる。

図１３は、本実施の形態に係る比較処理の一例を示す図である。

最新の動画像データのフレームＡは、過去の動画像データの時間帯ＴＡのフレームと比較される。同様に、最新の動画像データのフレームＢ，Ｃは、それぞれ過去の動画像データの時間帯ＴＢ，ＴＣのフレームと比較される。本実施の形態では、最新の動画像データのフレームＡ〜Ｃと過去の動画像データの時間帯ＴＡ〜ＴＣのフレームとの比較を、並列に実行する。また、本実施の形態では、過去の動画像データの時間帯ＴＡ〜ＴＣのフレームは、サンプリングされる。

本実施の形態では、フレームＡ〜Ｃについて、比較対象の時間帯ＴＡ〜ＴＣが異なるため、比較処理の負荷を分散可能である。

なお、この図１３では、最新の動画像データのフレームＡ〜Ｃに対して、それぞれ時間帯ＴＡ〜ＴＣに属する６枚のフレームが比較対象となる場合が例示されている。しかしながら、各時間帯において比較対象となるフレームの数は実時間処理が可能な範囲で調整可能である。

この図１３の比較処理において、フレームＡ〜Ｃと比較されるフレームの属する時間帯は複数回同じである。すなわち、第１の並列比較部は、フレームＡと時間帯ＴＡに属する６枚のフレームとの間で連続して６回比較を行い、第２の並列比較部は、フレームＢと時間帯ＴＢに属する６枚のフレームとの間で連続して６回比較を行い、第３の並列比較部は、フレームＣと時間帯ＴＣに属する６枚のフレームとの間で連続して６回比較を行う。

しかしながら、この図１３の比較処理に代えて、第１から第３の並列比較部は、フレームＡ〜Ｃと比較されるフレームの属する時間帯を順次切り替えつつ、比較を行うとしてもよい。

なお、本実施の形態では、過去の動画像データを時間帯ＴＡ〜ＴＣで分けることにより画像類似度の高いフレームが検出されにくくなる場合がある。この場合、画像類似度に対する所定レベルを低く設定することで対処可能である。

（第１２の実施の形態）
本実施の形態においては、記憶部と並列比較部とが一対一に対応していない画像記憶装置について説明する。

上記各実施の形態では、並列化されている記憶部のそれぞれに対して並列比較部が備えられている。

これに対して、本実施の形態では、一つの並列比較部に対して複数の記憶部を割り当てる。並列比較部は、時分割で、複数の記憶部に記憶されているフレームに対する比較処理を実行する。

なお、上記各実施の形態において、ハイライトシーンがスローモーションではなく、また、テロップ付の縮小されたシーンでもない場合、動画像データをブロックに分けて移動ベクトルで比較処理を行うとしてもよい。並列プロセッサは、移動ベクトルの演算に適している。

また、上記各実施の形態において、ピラミッド画像データを作成して階層的に動画像データを比較することにより、処理結果の安定化を図ることができ、画像記憶装置の処理量を削減できる。

（第１３の実施の形態）
本実施の形態においては、個々のフレーム又は個々のフレームの画素値集計結果を複数に分割し、並列比較部１０１〜１０ｎに分配し、並列に比較処理を実行する場合について説明する。

例えば、画像記憶装置は、比較対象の各フレームを１６分割し、１６分割されたフレームを１６個の並列比較部１０１〜１０ｎに分配する。１６個の並列比較部１０１〜１０ｎは、この分割されたフレーム内で画素値を比較する。なお、各フレームの分割方法には様々な形態を適用可能であり、分割数も比較処理を適切に行う観点から自由に設定可能である。

また、例えば、画像記憶装置は、比較対象のフレーム全体についての画素値集計結果（例えばヒストグラム）を４分割し、この４分割された画素値集計結果を４個の並列比較部１０１〜１０ｎに分配する。並列比較部１０１〜１０ｎは、この分割された画素値集計結果を比較する。これにより、比較処理の負荷は１／４になる。なお、各フレームの画素値集計結果の分割方法には様々な形態を適用可能であり、分割数も比較処理を適切に行う観点から自由に設定可能である。

また、例えば、画像記憶装置は、比較対象のフレームを４分割し、４分割されたフレームを４個の並列比較部１０１〜１０ｎに分配する。並列比較部１０１〜１０ｎは、４分割されたフレームの画素値集計結果を求め、比較する。これにより、画素値集計結果の算出負荷を小さくすることができる。なお、各フレームの分割方法には様々な形態を適用可能であり、分割数も比較処理を適切に行う観点から自由に設定可能である。

上記各実施の形態は、それぞれ自由に組み合わせて実現可能である。上記各実施の形態において、各構成要素は同様の動作を実現可能であれば配置を変更させてもよく、また各構成要素を自由に組み合わせてもよく、各構成要素を自由に分割してもよく、いくつかの構成要素を削除してもよい。すなわち、本実施の形態については、上記の構成そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。

例えば、分配部８、符号化部６、スピード変化部１７１〜１７ｋ、テロップ認識部１９、カウンタ部３１は、並列プロセッサ１１に備えられているプロセッサにより実現されるとしてもよい。

本発明の第１の実施の形態に係る画像記憶装置の一例を示すブロック図。 所定の時間間隔で区切られた動画像データの例を示す図。 第１の実施の形態に係る画像記憶装置の処理の概略の一例を示すフローチャート。 本発明の第２の実施の形態に係る画像記憶装置の一例を示すブロック図。 本発明の第３の実施の形態に係る画像記憶装置の一例を示すブロック図。 本発明の第４の実施の形態に係る最新の動画像データのフレームと過去の動画像データのフレームのサンプリング状態の一例を示す図。 第４の実施の形態に係る画像記憶装置の処理の概略の一例を示すフローチャート。 本発明の第５の実施の形態に係るフレームの比較状態の一例を示す図。 本発明の第７の実施の形態に係る画像記憶装置の一例を示すブロック図。 第７の実施の形態に係る画像記憶装置１８の処理の概略の一例を示すフローチャート。 本発明の第９の実施の形態に係る画像記憶装置の一例を示すブロック図。 第９の実施の形態に係る画像記憶装置の処理の概略の一例を示すフローチャート。 本発明の第１１の実施の形態に係る比較処理の一例を示す図。

符号の説明

１，１３，１５，１８，３０…画像記憶装置、２，２１〜２ｉ…信号入力部、３，１４，１６…画像管理部、４…制御部、５…比較部、６…符号化部、７…符号化記憶部、８…分配部、９１〜９ｍ…記憶部、１０１〜１０ｎ…並列比較部、１１…並列プロセッサ、１２，１２１〜１２ｉ…放送局又は通信局の装置、１９…テロップ認識部、３１…カウンタ部、３２…カウンタ記憶部、３３…テーブル

Claims (5)

1. 第１画像データを記憶する第１記憶手段と、
   前記第１画像データ内のデータに対応するリプレイデータを含むか否か判断される第２画像データを記憶する第２記憶手段と、
   前記第１画像データのフレームと前記第２画像データのフレームとの間で、画素値と画素値集計結果とのうち少なくとも一方を比較するとともに、前記第１画像データのフレームと前記第２画像データのフレームとの比較結果に基づいて、前記第２画像データ内に前記リプレイデータが含まれているか否か判断する処理を並列に行う複数の並列比較手段と、
   前記第２画像データ内に前記リプレイデータが含まれていると判断された場合に、前記リプレイデータ又は前記リプレイデータを符号化したデータを記憶する第３記憶手段と
   を具備することを特徴とする画像記憶装置。
2. 請求項１記載の画像記憶装置において、
   前記第１記憶手段は、前記第１画像データに対応する第１音データを記憶し、
   前記第２記憶手段は、前記第２画像データに対応する第２音データを記憶し、
   前記複数の並列比較手段は、前記第１音データと前記第２音データとを比較するとともに、前記第１画像データのフレームと前記第２画像データのフレームとの比較結果と、前記第１音データと前記第２音データとの比較結果とに基づいて、前記第２画像データ内に前記リプレイデータが含まれているか否か並列に判断し、
   前記第３記憶手段は、前記第２画像データ内に前記リプレイデータが含まれていると判断された場合に、前記リプレイデータに対応する音データ又は前記リプレイデータに対応する音データを符号化したデータを記憶する
   ことを特徴とする画像記憶装置。
3. 請求項１または請求項２記載の画像記憶装置において、
   前記複数の並列比較手段は、並列プロセッサに含まれている複数のプロセッサであることを特徴とする画像記憶装置。
4. 請求項１ないし請求項３のいずれか１項記載の画像記憶装置において、
   前記第１画像データと前記第２画像データとは、動画像データ又は動画像の符号化データであり、
   前記第１記憶手段は、前記第１画像データを順次記憶し、
   前記第２記憶手段は、前記第２画像データを順次記憶し、
   前記複数の並列比較手段は、前記第２記憶手段からリプレイ判断対象の画像データを受け付け、前記第１記憶手段から任意の時刻の画像データを受け付け、前記リプレイ判断対象の画像データと前記任意の時刻の画像データとを比較するとともに、比較結果に基づいて、前記リプレイ判断対象の画像データと前記任意の時刻の画像データとの間の画像類似度が所定レベル以上か否かを判断する処理を並列に実行し、
   前記第１記憶手段に記憶されている前記任意の時刻の画像データを前記複数の並列比較手段に提供するための制御を行い、前記複数の並列比較手段により画像類似度が所定レベル以上と判断された結果に基づいてリプレイ区間を検出する制御手段と、
   前記制御手段によって検出されたリプレイ区間の画像データである前記リプレイデータに対して符号化処理を実行する符号化手段と
   をさらに具備し、
   前記第３記憶手段は、前記符号化手段によって符号化された前記リプレイデータを記憶する
   ことを特徴とする画像記憶装置。
5. 第１画像データを第１記憶手段に記憶するとともに、前記第１画像データ内のデータに対応するリプレイデータを含むか否か判断される第２画像データを第２記憶手段に記憶し、
   前記第１画像データのフレームと前記第２画像データのフレームとの間で、画素値と画素値集計結果とのうち少なくとも一方を比較するとともに、前記第１画像データのフレームと前記第２画像データのフレームとの比較結果に基づいて、前記第２画像データ内に前記リプレイデータが含まれているか否か判断する処理を、複数の並列比較手段により並列に実行し、
   前記第２画像データ内に前記リプレイデータが含まれていると判断された場合に、前記リプレイデータ又は前記リプレイデータを符号化したデータを第３記憶手段に記憶する
   ことを特徴とする画像記憶方法。

Images