JP4937795B2 - コンテンツ付随情報表示方法およびコンテンツ付随情報表示装置ならびにそのプログラムと記録媒体 - Google Patents

Description

本発明は、コンテンツに対応する複数の付随情報のうち、時刻に基づいて選択した付随情報を表示するコンテンツ付随情報表示方法およびコンテンツ付随情報表示装置ならびにそのプログラムと記録媒体に関する。

従来、再生されている音または映像の信号が、蓄積されている信号のどの箇所に対応するかを特定する高速信号探索方法が特許文献１に開示されている。また特許文献１の高速信号探索方法により求められた探索結果に対して付随情報を表示する方法が特許文献２に開示されている。
特許第３０６５３１４号公報 特開２００５−２５５７０号公報

しかしながら、上述の特許文献２の方法では、特徴抽出や探索処理に時間がかかるため、探索結果を読み取った時点と、その時に再生されているデータの信号との間に遅延が発生し、再生されている情報と付随情報との同期を取ることができないという欠点があった。ここで例えば、映像コンテンツの付随情報としては、歌唱映像に対して時間毎に付随する歌詞のテキスト情報、ドラマの映像に対して時間毎に付随する出演者情報、ドラマなどの映像に対して時間毎に付随する視聴者の感想情報などがある。

そこでこの発明は、再生されている情報と付随情報との同期を取って、付随情報の表示を行うことができるコンテンツ付随情報表示装置を提供することを目的としている。

上記目的を達成するために、本発明は、コンテンツの付随情報を表示するコンテンツ付随情報表示装置のコンテンツ付随情報表示方法であって、再生コンテンツの特徴データの抽出開始時刻となる基準時刻を取得する基準時刻取得過程と、再生コンテンツから特徴データを抽出する再生コンテンツ特徴抽出過程と、前記抽出された再生コンテンツの特徴データに基づいて、蓄積コンテンツ中の特徴データを探索し、再生コンテンツから導き出された特徴データに対応する前記蓄積コンテンツ中の時刻を該当基準時刻として特定する該当基準時刻特定過程と、前記再生コンテンツの現在の再生時刻を取得する再生時刻取得過程と、前記再生時刻と前記基準時刻の時間差を前記該当基準時刻に加えることにより、前記基準時刻から時間が経過した前記再生時刻に対応する前記蓄積コンテンツ中の時刻を計算して、その計算した時刻を再生該当基準時刻とする該当再生時刻計算過程と、前記蓄積コンテンツ中の時刻ごとに対応付けられた付随情報の中から前記再生該当基準時刻に対応する前記付随情報を選択する付随情報選択過程と、前記付随情報を表示する付随情報表示過程と、を有することを特徴とするコンテンツ付随情報表示方法である。

また本発明は、コンテンツの付随情報を表示するコンテンツ付随情報表示装置と、該当基準時刻を特定する該当基準時刻特定装置と、付随情報を選択する付随情報選択装置と、を備えたコンテンツ付随情報表示システムにおける前記コンテンツ付随情報表示装置のコンテンツ付随情報表示方法であって、再生コンテンツの特徴データの抽出開始時刻となる基準時刻を取得する基準時刻取得過程と、再生コンテンツから特徴データを抽出する再生コンテンツ特徴抽出過程と、前記特徴データを前記該当基準時刻特定装置へ送信する特徴データ送信過程と、前記抽出された再生コンテンツの特徴データに基づいて、蓄積コンテンツ中の特徴データを探索し、再生コンテンツから導き出された特徴データに対応する前記蓄積コンテンツ中の時刻を該当基準時刻として特定する前記該当基準時刻特定装置より、前記該当基準時刻を受信する該当基準時刻受信過程と、前記再生コンテンツの現在の再生時刻を取得する再生時刻取得過程と、前記再生時刻と前記基準時刻の時間差を前記該当基準時刻に加えることにより、前記基準時刻から時間が経過した前記再生時刻に対応する前記蓄積コンテンツ中の時刻を計算して、その計算した時刻を再生該当基準時刻とする該当再生時刻計算過程と、前記再生該当基準時刻を前記付随情報選択装置へ送信する再生該当基準時刻送信手段と、前記蓄積コンテンツ中の時刻ごとに対応付けられた付随情報の中から前記再生該当基準時刻に対応する前記付随情報を選択する付随情報選択装置より、前記選択された付随情報を受信する付随情報受信過程と、前記付随情報を表示する付随情報表示過程と、を有することを特徴とするコンテンツ付随情報表示方法である。
また本発明は、上述のコンテンツ付随情報表示方法において、前記該当再生時刻計算過程において、前記基準時刻である第１の基準時刻と他の基準時刻である第２の基準時刻との差に対する、それら２つの基準時刻に対応する第１の該当基準時刻と第２の該当基準時刻の差の割合を、前記再生時刻と前記第１の基準時刻の時間差に乗じて前記第１の基準時刻に対応する前記第１の該当基準時刻に加えることにより、前記第１の基準時刻から時間が経過した前記再生時刻に対応する前記蓄積コンテンツ中の時刻を計算して、その計算した時刻を再生該当基準時刻とすることを特徴とする。

また本発明は、コンテンツの付随情報を表示するコンテンツ付随情報表示装置であって、再生コンテンツの特徴データの抽出開始時刻となる基準時刻を取得する基準時刻取得手段と、再生コンテンツから特徴データを抽出する再生コンテンツ特徴抽出手段と、前記抽出された再生コンテンツの特徴データに基づいて、蓄積コンテンツ中の特徴データを探索し、再生コンテンツから導き出された特徴データに対応する前記蓄積コンテンツ中の時刻を該当基準時刻として特定する該当基準時刻特定手段と、前記再生コンテンツの現在の再生時刻を取得する再生時刻取得手段と、前記再生時刻と前記基準時刻の時間差を前記該当基準時刻に加えることにより、前記基準時刻から時間が経過した前記再生時刻に対応する前記蓄積コンテンツ中の時刻を計算して、その計算した時刻を再生該当基準時刻とする該当再生時刻計算手段と、前記蓄積コンテンツ中の時刻ごとに対応付けられた付随情報の中から前記再生該当基準時刻に対応する前記付随情報を選択する付随情報選択手段と、前記付随情報を表示する付随情報表示手段と、を備えることを特徴とするコンテンツ付随情報表示装置である。

また本発明は、コンテンツの付随情報を表示するコンテンツ付随情報表示装置と、該当基準時刻を特定する該当基準時刻特定装置と、付随情報を選択する付随情報選択装置と、を備えたコンテンツ付随情報表示システムにおける前記コンテンツ付随情報表示装置であって、再生コンテンツの特徴データの抽出開始時刻となる基準時刻を取得する基準時刻取得手段と、再生コンテンツから特徴データを抽出する再生コンテンツ特徴抽出手段と、前記特徴データを前記該当基準時刻特定装置へ送信する特徴データ送信手段と、前記抽出された再生コンテンツの特徴データに基づいて、蓄積コンテンツ中の特徴データを探索し、再生コンテンツから導き出された特徴データに対応する前記蓄積コンテンツ中の時刻を該当基準時刻として特定する前記該当基準時刻特定装置より、前記該当基準時刻を受信する該当基準時刻受信手段と、前記再生コンテンツの現在の再生時刻を取得する再生時刻取得手段と、前記再生時刻と前記基準時刻の時間差を前記該当基準時刻に加えることにより、前記基準時刻から時間が経過した前記再生時刻に対応する前記蓄積コンテンツ中の時刻を計算して、その計算した時刻を再生該当基準時刻とする該当再生時刻計算手段と、前記再生該当基準時刻を前記付随情報選択装置へ送信する再生該当基準時刻送信手段と、前記蓄積コンテンツ中の時刻ごとに対応付けられた付随情報の中から前記再生該当基準時刻に対応する前記付随情報を選択する付随情報選択装置より、前記選択された付随情報を受信する付随情報受信手段と、前記付随情報を表示する付随情報表示手段と、を備えることを特徴とするコンテンツ付随情報表示装置である。
また本発明は、上述のコンテンツ付随情報表示装置において、前記該当再生時刻計算手段において、前記基準時刻である第１の基準時刻と他の基準時刻である第２の基準時刻との差に対する、それら２つの基準時刻に対応する第１の該当基準時刻と第２の該当基準時刻の差の割合を、前記再生時刻と前記第１の基準時刻の時間差に乗じて前記第１の基準時刻に対応する前記第１の該当基準時刻に加えることにより、前記第１の基準時刻から時間が経過した前記再生時刻に対応する前記蓄積コンテンツ中の時刻を計算して、その計算した時刻を再生該当基準時刻とすることを特徴とする。

また本発明は、上述のコンテンツ付随情報表示装置として、コンピュータを機能させるためのプログラムである。

また本発明は、上述のプログラムを記憶するコンピュータ読み取り可能な記録媒体である。

また、本発明によれば、遠隔に蓄積されたコンテンツの付随情報を取得して、再生しているコンテンツと同期がとれた付随情報を表示することが可能となる。

以下、本発明の一実施形態によるコンテンツ付随情報表示装置を図面を参照して説明する。
図１は第一の実施形態によるコンテンツ付随情報表示装置の構成を示すブロック図である。この図の符号１はコンテンツ付随情報表示装置である。そしてコンテンツ付随情報表示装置１において、１０１は基準時刻取得部、１０２は再生コンテンツ特徴抽出部、１０３は該当基準時刻特定部、１０４は再生時刻取得部、１０５は該当再生時刻計算部、１０６は付随情報選択部、１０７は付随情報表示部である。

ここで、コンテンツ付随情報表示装置１の基準時刻取得部１０１は、再生コンテンツの特徴データの抽出開始時刻を基準時刻として取得する。また再生コンテンツ特徴抽出部１０２は、再生コンテンツから特徴データを抽出する処理を行う。また該当基準時刻特定部１０３は、再生コンテンツ特徴抽出部１０２によって抽出された再生コンテンツの特徴データを用いて、予め蓄積されたコンテンツの特徴データを探索し、当該コンテンツ中から、前記基準時刻に対応する時刻である該当基準時刻を特定する。また再生時刻取得部１０４は、コンテンツの現在の再生時刻を取得する。また該当再生時刻計算部１０５は、前記基準時刻と、前記該当基準時刻と、前記再生時刻とに基づいて、既に蓄積されたコンテンツの中の、前記再生時刻に対応する時刻である該当再生時刻を計算する。また付随情報選択部１０６は、蓄積されたコンテンツの時刻ごとに対応付けられた付随情報の中から、該当再生時刻に対応する付随情報の選択を行う処理を行う。また付随情報表示部１０７は、付随情報選択部１０６によって選択された付随情報の表示の処理を行う。

図２は第一の実施形態によるコンテンツ付随情報表示装置１の処理フローを示す図である。
次に、図２を用いて、上記コンテンツ付随情報表示装置１の各処理部における処理の詳細について説明する。
まず、事前に該当基準時刻特定部１０３は、探索処理に備えて蓄積コンテンツの特徴データを読み込み、また付随情報選択部１０６は、付随情報の選択の処理に備えて蓄積コンテンツの付随情報を読み込む（ステップＳ１０１）。

そして基準時刻取得部１０１は、付随情報取得信号の入力を受付けると（ステップＳ１０２）、基準時刻として現在時刻を、例えば現在時刻のカウンタ部などから読み込む（ステップＳ１０３）。なお付随情報取得信号とは、コンテンツ付随情報表示装置を作動させるためのトリガとなる信号のことであり、例えば、付随情報表示ボタンを用意しておき、そのボタンをユーザが押下することでコンテンツ付随情報表示装置１に送信される信号である。次に再生コンテンツ特徴抽出部１０２は現在再生されているコンテンツの再生の信号を読み込み（ステップＳ１０４）、そのコンテンツの再生信号から特徴データの抽出処理を行う（ステップＳ１０５）。

次に該当基準時刻特定部１０３は、入力された特徴データを用いて、蓄積コンテンツの特徴データ中の該当時刻を探索する（ステップＳ１０６）。この探索においては、入力された特徴データに基づいて、蓄積コンテンツ中の一致箇所を特定し、その特徴データに対応する時刻を読み取ればよい。特徴データと時刻との関係は予めコンテンツ付随情報表示装置が記憶しているものとする。なお本実施形態における特徴データの探索法は、特許第３０６５３１４号に示される高速探索法を利用する。なおこの文献に示される高速探索法以外の手法を用いるようにしてもよい。この処理は、予め登録された参照信号（蓄積コンテンツの信号に相当）について特徴量系列を生成し、入力された入力信号（再生コンテンツの信号に相当）に対して、一定時間長の入力信号注目窓を設定し、当該入力信号注目窓内の入力信号について特徴量系列を生成し、前記生成された特徴量系列と、前記生成された特徴量系列との類似度合いを示す入力信号類似値を計算する。そして、当該計算された入力信号類似値に基づいて、入力信号注目窓を移動できる量を示す移動可能量を計算し、その移動可能量に基づいて、入力信号注目窓の位置を決定し、その位置に該入力信号注目窓を設定する。さらに、それら処理を繰り返すことによって、入力信号注目窓の各位置について、入力信号類似値を計算し、入力信号類似値と予め設定された閾値との比較結果に基づいて、入力信号上において入力信号注目窓が現在示す位置に参照信号が存在するか否かを判定する処理である。そして、ここで得られた該当時刻を基準時刻に対応する蓄積コンテンツ中の時刻である該当基準時刻とする。

そして該当基準時刻が特定できたか否かを判定し（ステップＳ１０７）、特定できた場合には、次に再生時刻取得部１０４が、現在の再生されているコンテンツの再生時刻として現在時刻をカウンタ部などから読み込む（ステップＳ１０８）。そして、該当再生時刻計算部１０５が、再生時刻に対応する蓄積コンテンツ中の時刻である該当再生時刻を計算する（ステップＳ１０９）。ここでこの該当再生時刻ｓ_ｐの計算は、基準時刻をｔ_１，再生時刻をｔ_ｐ，該当基準時刻をｓ_１として、式（１）により行う。

なお、再生しているコンテンツの時間伸縮の処理を考慮に入れる場合には、時間伸縮率をｒとして、式（２）により該当再生時刻ｓ_ｐの計算を行うようにしてもよい。

時間伸縮率ｒは、式（３）により求めることができる。

但し、式（３）におけるｔ _２ は第二の基準時刻、ｓ_２はｔ_２に対応する第二の該当基準時刻であり、これらを求める場合、２回の探索が必要となる。

そして付随情報選択部１０６が、得られた該当再生時刻に対応する付随情報を選択する（ステップＳ１１０）。なお付随情報は事前に読み込まれており、テキストデータや画像データなどのデータが時刻に対応付けられて保存されている。そして付随情報表示部１０７が、選択された付随情報を表示し（ステップＳ１１１）、待ち状態に戻る。以上の処理により、再生しているコンテンツと同期が取れた付随情報を表示することが可能となる。

次に、第二の実施形態によるコンテンツ付随情報表示装置を図面を参照して説明する。
図３は第二の実施形態によるコンテンツ付随情報表示システムの構成を示すブロック図である。この図において、符号１はコンテンツ付随情報表示装置である。この図におけるコンテンツ付随情報表示装置１は、図１におけるコンテンツ付随情報表示装置１の各処理部のうち、該当基準時刻特定部１０３、付随情報選択部１０６を備えず、新たに、特徴データ送信部１０８、該当基準時刻受信部１０９、該当再生時刻送信部１１０、付随情報受信部１１１を備えている。そしてコンテンツ付随情報表示装置１は音や映像などのコンテンツの信号およびコンテンツＩＤ，該当基準時刻，付随情報を入力し、特徴データ，コンテンツＩＤ，該当再生時刻を出力する。

またコンテンツ付随情報表示システムは該当基準時刻特定装置２と付随情報選択装置３とを有しており、コンテンツ付随情報表示装置１と該当基準時刻特定装置２と付随情報選択装置３とが通信ネットワーク等を介して接続されることによりコンテンツ付随情報表示システムが構成されている。そして該当基準時刻特定装置２は図１においてコンテンツ付随情報表示装置１が備えていた該当基準時刻特定部１０３を備え、また特徴データ受信部２０１と該当基準時刻送信部２０２を備えている。なお該当基準時刻特定装置２は特徴データを入力とし、コンテンツＩＤ，該当基準時刻を出力とする。

また付随情報選択装置３は図１においてコンテンツ付随情報表示装置１が備えていた付随情報選択部１０６を備え、さらに該当再生時刻受信部３０１と付随情報送信部３０２を備えている。なお付随情報選択装置３はコンテンツＩＤ，該当再生時刻を入力とし、付随情報を出力とする。

そして、コンテンツ付随情報表示装置１の基準時刻取得部１０１は、再生コンテンツの特徴データの抽出開始時刻を基準時刻として取得する。また再生コンテンツ特徴抽出部１０２は、再生コンテンツから特徴データを抽出する処理を行う。また特徴データ送信部１０８は再生コンテンツから抽出された特徴データを該当基準時刻特定装置２へ送信する。また該当時刻受信部１０９は、コンテンツＩＤおよび該当基準時刻を該当基準時刻特定装置２より受信する。また再生時刻取得部１０４は、コンテンツの現在の再生時刻を取得する。また該当再生時刻計算部１０５は、前記基準時刻と、前記該当基準時刻と、前記再生時刻とに基づいて、既に蓄積されたコンテンツの中の、前記再生時刻に対応する時刻である該当再生時刻を計算する。また該当再生時刻送信部１１０は、該当基準時刻特定装置２から受信したコンテンツＩＤと該当再生時刻計算部１０４によって計算された該当再生時刻を付随情報選択装置３へ送信する。また付随情報受信部１１１は、付随情報選択装置３へ送信したコンテンツＩＤと該当再生時刻とに対応する付随情報をその付随情報選択装置３から受信する。また付随情報表示部１０７は、付随情報選択部１０６によって選択された付随情報の表示の処理を行う。

また該当基準時刻特定装置２の特徴データ受信部２０１は、コンテンツ付随情報表示装置１より特徴データを受信する。また該当基準時刻特定部１０３は、再生コンテンツ特徴抽出部１０２によって抽出された再生コンテンツの特徴データを用いて、予め蓄積されたコンテンツの特徴データを探索し、当該コンテンツ中から、前記基準時刻に対応する時刻である該当基準時刻を特定する。また該当基準時刻送信部２０２は、該当基準時刻特定部１０３の特定した該当基準時刻をコンテンツ付随情報表示装置１へ送信する。

また付随情報選択装置３の該当再生時刻受信部３０１は、コンテンツ付随情報表示装置１よりコンテンツＩＤおよび該当再生時刻を受信する。また付随情報選択部１０６は、蓄積されたコンテンツの時刻ごとに対応付けられた付随情報の中から、該当再生時刻に対応する付随情報の選択を行う処理を行う。また付随情報送信部３０２は、付随情報選択部１０６によって選択された付随情報をコンテンツ付随情報表示装置１へ送信する。

図４は第二実施形態によるコンテンツ付随情報表示装置の処理フローを示す図である。
図５は第二実施形態による該当基準時刻特定装置の処理フローを示す図である。
図６は第二実施形態による付随情報選択装置の処理フローを示す図である。
次に、図４〜図６を用いて、コンテンツ付随情報表示システムの各装置における各処理部の処理の詳細について説明する。

まず、図４より、コンテンツ付随情報表示装置１の基準時刻取得部１０１は、付随情報取得信号が入力されると（ステップＳ２０１）、基準時刻として現在時刻を、例えば現在時刻のカウンタ部などから読み込む（ステップＳ２０２）。次に再生コンテンツ特徴抽出部１０２は現在再生されているコンテンツの再生の信号を読み込み（ステップＳ２０３）、特徴データの抽出処理を行う（ステップＳ２０４）。なお特徴データの抽出は、例えば、特許第３０６５３１４号に示される特徴抽出方法により行われる。そして特徴データ送信部１０８が、再生コンテンツ特徴抽出部１０２の抽出した特徴データを該当基準時刻特定装置２へ送信する（ステップＳ２０５）。そして、該当基準時刻特定装置２において該当基準時刻と特定の処理が行われ、該当基準時刻特定装置２よりコンテンツＩＤと該当基準時刻が送信され、そのコンテンツＩＤと該当基準時刻とを該当基準時刻受信部１０９が受信する（ステップＳ２０６）。ここで、コンテンツＩＤと該当基準時刻が受信できたか否かを判定し（ステップＳ２０７）、できなかった場合（特徴データを送信してから所定の時間内に受信できなかった場合など）、コンテンツ付随情報表示装置１は待機状態に移行する。

また、コンテンツＩＤと該当基準時刻が受信できた場合には、次にコンテンツ付随情報表示装置１の再生時刻取得部１０４が、現在の再生されているコンテンツの再生時刻として現在時刻をカウンタ部などから読み込む（ステップＳ２０８）。そして、該当再生時刻計算部１０５が、再生時刻に対応する蓄積コンテンツ中の時刻である該当再生時刻を計算する（ステップＳ２０９）。この計算は第一実施形態と同様である。そして該当再生時刻送信部１１０が、該当基準時刻特定装置２から受信したコンテンツＩＤと、該当再生時刻計算部１０２が計算した該当再生時刻とを、付随情報選択装置３へ送信する（ステップＳ２１０）。そして、付随情報選択装置３において付随情報が選択され、当該付随情報とコンテンツＩＤとが付随情報選択装置３からコンテンツ付随情報表示装置１へ送信される。そして、コンテンツ付随情報表示装置１の付随情報受信部１１１がコンテンツＩＤと付随情報を受信する（ステップＳ２１１）。そして付随情報表示部１０７が、選択された付随情報を表示し（ステップＳ２１２）、待ち状態に戻る。

また、図５より、該当基準時刻特定装置２においては、まず、事前に該当基準時刻特定部１０３が、探索処理に備えて蓄積コンテンツの特徴データを読み込んでいる（ステップＳ３０１）。そして、特徴データ受信部２０１が特徴データをコンテンツ付随情報表示装置１より受信する（ステップＳ３０２）。次に該当基準時刻特定部１０３が、入力された特徴データを用いて蓄積コンテンツの特徴データの中の該当時刻を特定する（ステップＳ３０３）。なおこの処理は第１実施形態と同様である。また該当基準時刻送信部２０２が、探索結果が出力された場合には、コンテンツＩＤと特定された該当基準時刻とをコンテンツ付随情報表示装置１へ送信する（ステップＳ３０４）。また探索結果が得られなかった場合には、『結果無し』の情報をコンテンツ付随情報表示装置１へ送信する。

また、図６より、付随情報選択装置３においては、まず、事前に付随情報選択部１０６が、付随情報の選択の処理に備えて蓄積コンテンツの付随情報を読み込んでいる（ステップＳ４０１）。そして、該当再生時刻受信部３０１が、コンテンツ付随情報表示装置１から送信されたコンテンツＩＤと該当再生時刻とを受信する（ステップＳ４０２）。そして付随情報選択部１０６が、受信した該当再生時刻に対応する付随情報を選択する（ステップＳ４０３）。そして、付随情報送信部３０２が、コンテンツＩＤと付随情報選択部１０６の選択した付随情報とを、コンテンツ付随情報表示装置１へ送信する（ステップＳ４０４）。

図７は付随情報の表示例を示す図である。
コンテンツ付随情報表示装置１はモニタを備えており、そのモニタに図７で示すような画面を表示する。ここで、コンテンツ付随情報表示装置１が表示する画面には、再生中のコンテンツ（映像）データが表示される。また『Ｇｅｔ ｍｅｔａｄａｔａ』のボタンを押下すると、付随情報取得信号が発信される。この付随情報取得信号はコンテンツ付随情報表示装置１が受信して処理を開始する。そして付随情報取得信号を受信したコンテンツ付随情報表示装置１が、再生されているコンテンツ（映像）の信号に基づいて特徴データを生成し、その特徴データに対応する蓄積コンテンツ（例えば、音楽ＣＤ中の楽曲）の特徴データが特定され、その特徴データの時刻に基づいて、ＵＲＬで示されるコンテンツＩＤが複数表示される。なおコンテンツＩＤは予め、蓄積コンテンツの情報に対応付けられて一つまたは複数、コンテンツ付随情報表示装置１に記録されている。そしてそのＵＲＬで示されるコンテンツＩＤをユーザがクリックすると、そのＵＲＬで示される参照先のＸＭＬファイルを読み込み、そのＸＭＬファイル中に該当再生時刻に対応付けられて記載されているＵＲＬに歌詞のデータ（付随情報）が存在する。そしてその付随情報が読み込まれて、画面に表示される。

図８は付随情報のデータ例を示す図である。
この図で示すように付随情報はコンテンツＩＤのＵＲＬによって特定されるＸＭＬファイルである。図８の例では、ＸＭＬファイルは、「location」の「time」属性に記載された時刻を該当再生時刻が過ぎると、「url」として記載されているｈｔｍｌファイルを「target」属性のブラウザコンポーネントに表示する。

図７は、歌番組における画面を示す例であり、「_right」のブラウザコンポーネントに広告が表示され、また「_bottom」のブラウザコンポーネントにカラオケの歌詞が表示される例である。

以上、本発明の実施形態について説明したが、本発明によれば、遠隔に蓄積されたコンテンツの付随情報を取得して、再生しているコンテンツと同期がとれた付随情報を表示することが可能となる。つまり、特徴抽出や探索の処理時間により遅延があるために、該当基準時刻に対応する付随情報をそのまま表示すると、再生されているコンテンツに同期していない、当該再生コンテンツの過去の時刻に再生された情報に対応する付随情報を表示することとなってしまう。しかしながら、基準時刻と再生時刻の時間差分を該当基準時刻に加算した時刻に対応した付随情報を表示することで、再生コンテンツに同期させて付随情報を表示することができる。また第二の実施形態によれば、映像コンテンツに対して、その配布者以外の多数の視聴者などが、それぞれの観点から作成した付随情報（感想や他のネットワーク上のコンテンツと関連情報など）を表示することが可能となる。

なお、上述の各装置は内部に、コンピュータシステムを有している。そして、上述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

コンテンツ付随情報表示装置の構成を示すブロック図である。 第一の実施形態によるコンテンツ付随情報表示装置の処理フローを示す図である。 第二の実施形態によるコンテンツ付随情報表示システムの構成を示すブロック図である。 第二実施形態によるコンテンツ付随情報表示装置の処理フローを示す図である。 第二実施形態による該当基準時刻特定装置の処理フローを示す図である。 第二実施形態による付随情報選択装置の処理フローを示す図である。 付随情報の表示例を示す図である。 付随情報のデータ例を示す図である。

符号の説明

１・・・コンテンツ付随情報表示装置
２・・・該当基準時刻特定装置
３・・・付随情報選択装置

Claims (8)

1. コンテンツの付随情報を表示するコンテンツ付随情報表示装置のコンテンツ付随情報表示方法であって、
   再生コンテンツの特徴データの抽出開始時刻となる基準時刻を取得する基準時刻取得過程と、
   再生コンテンツから特徴データを抽出する再生コンテンツ特徴抽出過程と、
   前記抽出された再生コンテンツの特徴データに基づいて、蓄積コンテンツ中の特徴データを探索し、再生コンテンツから導き出された特徴データに対応する前記蓄積コンテンツ中の時刻を該当基準時刻として特定する該当基準時刻特定過程と、
   前記再生コンテンツの現在の再生時刻を取得する再生時刻取得過程と、
   前記再生時刻と前記基準時刻の時間差を前記該当基準時刻に加えることにより、前記基準時刻から時間が経過した前記再生時刻に対応する前記蓄積コンテンツ中の時刻を計算して、その計算した時刻を再生該当基準時刻とする該当再生時刻計算過程と、
   前記蓄積コンテンツ中の時刻ごとに対応付けられた付随情報の中から前記再生該当基準時刻に対応する前記付随情報を選択する付随情報選択過程と、
   前記付随情報を表示する付随情報表示過程と、
   を有することを特徴とするコンテンツ付随情報表示方法。
2. コンテンツの付随情報を表示するコンテンツ付随情報表示装置と、該当基準時刻を特定する該当基準時刻特定装置と、付随情報を選択する付随情報選択装置と、を備えたコンテンツ付随情報表示システムにおける前記コンテンツ付随情報表示装置のコンテンツ付随情報表示方法であって、
   再生コンテンツの特徴データの抽出開始時刻となる基準時刻を取得する基準時刻取得過程と、
   再生コンテンツから特徴データを抽出する再生コンテンツ特徴抽出過程と、
   前記特徴データを前記該当基準時刻特定装置へ送信する特徴データ送信過程と、
   前記抽出された再生コンテンツの特徴データに基づいて、蓄積コンテンツ中の特徴データを探索し、再生コンテンツから導き出された特徴データに対応する前記蓄積コンテンツ中の時刻を該当基準時刻として特定する前記該当基準時刻特定装置より、前記該当基準時刻を受信する該当基準時刻受信過程と、
   前記再生コンテンツの現在の再生時刻を取得する再生時刻取得過程と、
   前記再生時刻と前記基準時刻の時間差を前記該当基準時刻に加えることにより、前記基準時刻から時間が経過した前記再生時刻に対応する前記蓄積コンテンツ中の時刻を計算して、その計算した時刻を再生該当基準時刻とする該当再生時刻計算過程と、
   前記再生該当基準時刻を前記付随情報選択装置へ送信する再生該当基準時刻送信手段と、
   前記蓄積コンテンツ中の時刻ごとに対応付けられた付随情報の中から前記再生該当基準時刻に対応する前記付随情報を選択する付随情報選択装置より、前記選択された付随情報を受信する付随情報受信過程と、
   前記付随情報を表示する付随情報表示過程と、
   を有することを特徴とするコンテンツ付随情報表示方法。
3. 前記該当再生時刻計算過程において、
   前記基準時刻である第１の基準時刻と他の基準時刻である第２の基準時刻との差に対する、それら２つの基準時刻に対応する第１の該当基準時刻と第２の該当基準時刻の差の割合を、前記再生時刻と前記第１の基準時刻の時間差に乗じて前記第１の基準時刻に対応する前記第１の該当基準時刻に加えることにより、前記第１の基準時刻から時間が経過した前記再生時刻に対応する前記蓄積コンテンツ中の時刻を計算して、その計算した時刻を再生該当基準時刻とする
   ことを特徴とする請求項１または請求項２に記載のコンテンツ付随情報表示方法。
4. コンテンツの付随情報を表示するコンテンツ付随情報表示装置であって、
   再生コンテンツの特徴データの抽出開始時刻となる基準時刻を取得する基準時刻取得手段と、
   再生コンテンツから特徴データを抽出する再生コンテンツ特徴抽出手段と、
   前記抽出された再生コンテンツの特徴データに基づいて、蓄積コンテンツ中の特徴データを探索し、再生コンテンツから導き出された特徴データに対応する前記蓄積コンテンツ中の時刻を該当基準時刻として特定する該当基準時刻特定手段と、
   前記再生コンテンツの現在の再生時刻を取得する再生時刻取得手段と、
   前記再生時刻と前記基準時刻の時間差を前記該当基準時刻に加えることにより、前記基準時刻から時間が経過した前記再生時刻に対応する前記蓄積コンテンツ中の時刻を計算して、その計算した時刻を再生該当基準時刻とする該当再生時刻計算手段と、
   前記蓄積コンテンツ中の時刻ごとに対応付けられた付随情報の中から前記再生該当基準時刻に対応する前記付随情報を選択する付随情報選択手段と、
   前記付随情報を表示する付随情報表示手段と、
   を備えることを特徴とするコンテンツ付随情報表示装置。
5. コンテンツの付随情報を表示するコンテンツ付随情報表示装置と、該当基準時刻を特定する該当基準時刻特定装置と、付随情報を選択する付随情報選択装置と、を備えたコンテンツ付随情報表示システムにおける前記コンテンツ付随情報表示装置であって、
   再生コンテンツの特徴データの抽出開始時刻となる基準時刻を取得する基準時刻取得手段と、
   再生コンテンツから特徴データを抽出する再生コンテンツ特徴抽出手段と、
   前記特徴データを前記該当基準時刻特定装置へ送信する特徴データ送信手段と、
   前記抽出された再生コンテンツの特徴データに基づいて、蓄積コンテンツ中の特徴データを探索し、再生コンテンツから導き出された特徴データに対応する前記蓄積コンテンツ中の時刻を該当基準時刻として特定する前記該当基準時刻特定装置より、前記該当基準時刻を受信する該当基準時刻受信手段と、
   前記再生コンテンツの現在の再生時刻を取得する再生時刻取得手段と、
   前記再生時刻と前記基準時刻の時間差を前記該当基準時刻に加えることにより、前記基準時刻から時間が経過した前記再生時刻に対応する前記蓄積コンテンツ中の時刻を計算して、その計算した時刻を再生該当基準時刻とする該当再生時刻計算手段と、
   前記再生該当基準時刻を前記付随情報選択装置へ送信する再生該当基準時刻送信手段と、
   前記蓄積コンテンツ中の時刻ごとに対応付けられた付随情報の中から前記再生該当基準時刻に対応する前記付随情報を選択する付随情報選択装置より、前記選択された付随情報を受信する付随情報受信手段と、
   前記付随情報を表示する付随情報表示手段と、
   を備えることを特徴とするコンテンツ付随情報表示装置。
6. 前記該当再生時刻計算手段において、
   前記基準時刻である第１の基準時刻と他の基準時刻である第２の基準時刻との差に対する、それら２つの基準時刻に対応する第１の該当基準時刻と第２の該当基準時刻の差の割合を、前記再生時刻と前記第１の基準時刻の時間差に乗じて前記第１の基準時刻に対応する前記第１の該当基準時刻に加えることにより、前記第１の基準時刻から時間が経過した前記再生時刻に対応する前記蓄積コンテンツ中の時刻を計算して、その計算した時刻を再生該当基準時刻とする
   ことを特徴とする請求項４または請求項５に記載のコンテンツ付随情報表示装置。
7. 前記請求項４〜６の何れかに記載のコンテンツ付随情報表示装置として、コンピュータを機能させるためのプログラム。
8. 前記請求項７に記載のプログラムを記憶するコンピュータ読み取り可能な記録媒体。

Images