JP4721066B2

JP4721066B2 - 情報処理装置、情報処理方法、およびプログラム

Info

Publication number: JP4721066B2
Application number: JP2007069295A
Authority: JP
Inventors: 俊司吉村; 立也楢原; 裕成岡本; 賢一郎小林
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-03-16
Filing date: 2007-03-16
Publication date: 2011-07-13
Anticipated expiration: 2027-03-16
Also published as: US8332403B2; JP2008236056A; US20080228760A1

Description

本発明は、情報処理装置、情報処理方法、およびプログラムに関し、例えば、テレビジョン番組に代表されるコンテンツの特徴量を、各放送回時の１つのコンテンツを処理単位とするだけでなく、第１回放送時から最終回放送時までの複数のコンテンツを処理単位として検出し、データベース化するようにした情報処理装置、情報処理方法、およびプログラムに関する。

テレビジョン番組に代表されるコンテンツのデジタルデータ化や記録媒体の大容量化に伴い、大量のコンテンツが蓄積される傾向にある。このように、大量のコンテンツを蓄積した場合、それらを分類、検索する方法として、名称、放送日時、出演者などの属性情報をコンテンツと対応付けて保存したり、コンテンツ自身の特徴量を検出して、コンテンツと対応付けて保存したりする方法がある。

コンテンツ自身の特徴量を検出する一例として、コンテンツの音声の時系列の変化を検出する方法がある（例えば、特許文献１参照）。

検出された特徴量は、例えばコンテンツのハイライトシーン（見せ場）だけを抽出したダイジェスト版の作成などに利用されている。

特開平９−２８４７０４号公報

ところで、コンテンツ自身の特徴量を検出する従来の方法は、各コンテンツを処理単位として完結するものであり、関連する複数のコンテンツからなるコンテンツ群を処理単位としてその特徴量を検出するようなことは行われていない。

具体的には、例えば連続ドラマのように毎週同じ曜日の同じ時刻に放送される番組に対し、各回の放送分をそれぞれ処理単位として、それぞれの特徴量を検出することは行われているが、第１回の放送分（第１話）から最終回の放送分（最終話）までを処理単位として、その特徴量を検出することは行われていない。

なお、本明細書において、関連する複数のコンテンツからなるコンテンツ群をシリーズとも称し、シリーズを構成する各コンテンツをエピソードとも称する。

本発明はこのような状況に鑑みてなされたものであり、複数のエピソードからなるシリーズの特徴量を検出し、データベース化することにより、コンテンツのシリーズ単位での分類や検索を容易に実行できるようにするものである。

本発明の一側面である情報処理装置は、複数のエピソードにそれぞれ対応するコンテンツから構成されるシリーズもののコンテンツ群の特徴量を検出する情報処理装置において、前記複数のエピソードにそれぞれ対応するコンテンツの時系列の特徴量を検出し、検出結果に基づいてエピソード内特徴量を生成する第１の生成手段と、生成された前記エピソード内特徴量の代表値を演算する演算手段と、前記複数のエピソードにそれぞれ対応して演算された前記代表値を時系列に配置し、前記シリーズもののコンテンツ群の時系列の特徴量を示すシリーズ内特徴量を生成する第２の生成手段と、生成された前記シリーズ内特徴量を前記シリーズのもののコンテンツ群に対応付けてデータベース化するデータベース手段とを含む。

前記第１の生成手段は、前記複数のエピソードにそれぞれ対応するコンテンツの時系列の特徴量として、音声レベルの変化、画面の変化、または字幕量の変化のうちの少なくとも１つを検出し、検出結果に基づいてエピソード内特徴量を生成するようにすることができる。

本発明の一側面である情報処理装置は、生成された前記シリーズ内特徴量に基づき、前記シリーズもののコンテンツ群を分類する分類手段をさらに含むことができ、前記データベース化手段は、前記分類手段による分類結果も前記シリーズもののコンテンツ群に対応づけてデータベース化するようにすることができる。

本発明の一側面である情報処理装置は、前記分類手段による分類結果を参照することにより、前記シリーズもののコンテンツ群を検索する検索手段をさらに含むことができる。

本発明の一側面である情報処理方法は、複数のエピソードにそれぞれ対応するコンテンツから構成されるシリーズもののコンテンツ群の特徴量を検出する情報処理装置の情報処理方法において、前記複数のエピソードにそれぞれ対応するコンテンツの時系列の特徴量を検出し、検出結果に基づいてエピソード内特徴量を生成し、生成された前記エピソード内特徴量の代表値を演算し、前記複数のエピソードにそれぞれ対応して演算された前記代表値を時系列に配置し、前記シリーズに対応するコンテンツ群の時系列の特徴量を示すシリーズ内特徴量を生成し、生成された前記シリーズ内特徴量を前記シリーズのもののコンテンツ群に対応付けてデータベース化するステップを含む。

本発明の一側面であるプログラムは、複数のエピソードにそれぞれ対応するコンテンツから構成されるシリーズもののコンテンツ群の特徴量を検出するコンピュータの制御用のプログラムであって、前記複数のエピソードにそれぞれ対応するコンテンツの時系列の特徴量を検出し、検出結果に基づいてエピソード内特徴量を生成し、生成された前記エピソード内特徴量の代表値を演算し、前記複数のエピソードにそれぞれ対応して演算された前記代表値を時系列に配置し、前記シリーズに対応するコンテンツ群の時系列の特徴量を示すシリーズ内特徴量を生成し、生成された前記シリーズ内特徴量を前記シリーズのもののコンテンツ群に対応付けてデータベース化するステップを含む処理をコンピュータに実行させる。

本発明の一側面においては、複数のエピソードにそれぞれ対応するコンテンツの時系列の特徴量が検出されて検出結果に基づいてエピソード内特徴量が生成され、生成されたエピソード内特徴量の代表値が演算され、複数のエピソードにそれぞれ対応して演算された代表値が時系列に配置されて、シリーズに対応するコンテンツ群の時系列の特徴量を示すシリーズ内特徴量が生成される。

本発明の一側面によれば、コンテンツの特徴量を検出し、データベース化することができる。また、本発明の一側面によれば、コンテンツの特徴量をシリーズ単位で検出し、データベース化することができる。よって、複数のコンテンツからなるシリーズを、その特徴量に応じて容易に分類したり、検索したりすることが可能となる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面である情報処理装置は、複数のエピソードにそれぞれ対応するコンテンツから構成されるシリーズもののコンテンツ群の特徴量を検出する情報処理装置（例えば、図１のコンテンツ特徴量検出装置１０）において、前記複数のエピソードにそれぞれ対応するコンテンツの時系列の特徴量を検出し、検出結果に基づいてエピソード内特徴量を生成する第１の生成手段（例えば、図１の盛り上がり検出部１２およびサンプリング部１３）と、生成された前記エピソード内特徴量の代表値を演算する演算手段（例えば、図１の代表値演算部１５）と、前記複数のエピソードにそれぞれ対応して演算された前記代表値を時系列に配置し、前記シリーズもののコンテンツ群の時系列の特徴量を示すシリーズ内特徴量を生成する第２の生成手段（例えば、図１のシリーズ内盛り上がりプロファイル生成部１６）と、生成された前記シリーズ内特徴量を前記シリーズのもののコンテンツ群に対応付けてデータベース化するデータベース手段（例えば、図１のシリーズ内盛り上がりプロファイルデータベース１７）とを含む。

本発明の一側面である情報処理装置は、生成された前記シリーズ内特徴量に基づき、前記シリーズもののコンテンツ群を分類する分類手段（例えば、図１のコンテンツ分類検索部１８）をさらに含むことができ、前記データベース化手段は、前記分類手段による分類結果も前記シリーズもののコンテンツ群に対応づけてデータベース化するようにすることができる。

本発明の一側面である情報処理装置は、前記分類手段による分類結果を参照することにより、前記シリーズもののコンテンツ群を検索する検索手段（例えば、図１のコンテンツ分類検索部１８）をさらに含むことができる。

本発明の一側面である情報処理方法およびプログラムは、複数のエピソードにそれぞれ対応するコンテンツから構成されるシリーズもののコンテンツ群の特徴量を検出する情報処理装置の情報処理方法において、前記複数のエピソードにそれぞれ対応するコンテンツの時系列の特徴量を検出し、検出結果に基づいてエピソード内特徴量を生成し（例えば、図２のステップＳ３）、生成された前記エピソード内特徴量の代表値を演算し（例えば、図２のステップＳ４）、前記複数のエピソードにそれぞれ対応して演算された前記代表値を時系列に配置し、前記シリーズに対応するコンテンツ群の時系列の特徴量を示すシリーズ内特徴量を生成し（例えば、図２のステップＳ６）、生成された前記シリーズ内特徴量を前記シリーズのもののコンテンツ群に対応付けてデータベース化するステップ（例えば、図２のステップＳ６）を含む。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

図１は、本発明の一実施の形態であるコンテンツ特徴量検出装置の構成例を示している。このコンテンツ特徴量検出装置１０は、テレビジョン番組に代表されるコンテンツの特徴量として時系列の盛り上がり具合を、エピソード単位で検出するだけでなく、シリーズ単位でも検出してデータベース化するものである。

なお、コンテンツは、テレビ番組だけに限定されるものではなく、例えば、インタネットや携帯電話網に代表されるネットワークを介して配信されたり、DVD(Digital Versatile Disc)などのパッケージメディアをして販売されたりする動画データ、楽曲データなども含む。

このコンテンツ特徴量検出装置１０は、シリーズを構成する複数のエピソードにそれぞれ対応するコンテンツ（映像データ、音声データ、字幕データなどを含む）を取得するコンテンツ取得部１１、各コンテンツの盛り上がり具合を検出する盛り上がり検出部１２、検出された盛り上がり具合を示す値を所定の周期でサンプリングしてエピソード内盛り上がりプロファイル２０を生成するサンプリング部１３、生成されたエピソード内盛り上がりプロファイル２０をエピソードに対応付けて記憶するエピソード内盛り上がりプロファイルデータベース（ＤＢ）１４、各エピソードに対応するエピソード内盛り上がりプロファイル２０の代表値を決定する代表値演算部１５、シリーズを構成する各エピソードの代表値からなるシリーズ内盛り上がりプロファイル３０を生成するシリーズ内盛り上がりプロファイル生成部１６、生成されたシリーズ内盛り上がりプロファイル３０をシリーズに対応付けて記憶するシリーズ内盛り上がりプロファイルデータベース（ＤＢ）１７、および、各エピソード内盛り上がりプロファイル２０や各シリーズ内盛り上がりプロファイル３０を分類したり、エピソードやシリーズを検索したりするコンテンツ分類検索部１８から構成される。

次に、コンテンツ特徴量検出装置１０による盛り上がりプロファイル生成処理について、図２のフローチャートを参照して説明する。

ステップＳ１において、コンテンツ取得部１１は、数多くのコンテンツが蓄積されているデータベース（不図示）などから、シリーズを構成する複数のエピソードにそれぞれ対応するコンテンツを取得する。ステップＳ２において、コンテンツ取得部１１は、取得した全てのシリーズを構成するコンテンツのうち、１つのエピソードを処理対象に決定し、決定したエピソードに対応するコンテンツを盛り上がり検出部１２に出力する。

ステップＳ３において、盛り上がり検出部１２は、コンテンツ取得部１１から入力されたコンテンツの時系列の盛り上がり具合のパラメータとし、時系列の音声レベル、画面変化（シーンチェンジなど）の回数、字幕の量などを検出し、サンプリング部１３に出力する。

なお、音声レベルが高かったり、画面変化の回数が多かったり、字幕の量が多かったりする場合、そのシーンはエピソード内で盛り上がっている部分と考えられる。

画面変化を検出するには、例えば特許第３５６０２１７号に記載されている方法を適用することができる。字幕情報の量を検出するには、既に特願２００６−３０４８３として本出願人が出願済みの方法を適用することができる。

サンプリング部１３は、図３Ａに示すように、盛り上がり検出部１２によって検出された盛り上がり具合を示す各項目（音声レベル、画面変化の回数、字幕情報の量）の値を所定の周期でサンプリングし、サンプリングした各項目の値をそれぞれ異なる次元の要素とするベクトル（いまの場合、３次元のベクトル）を生成し、生成したベクトルを時系列に配置してエピソード内盛り上がりプロファイル２０を生成する。生成されたエピソード内盛り上がりプロファイル２０は、エピソード内盛り上がりプロファイルデータベース１４に供給され、エピソードと対応付けて記憶される。

ステップＳ４において、代表値演算部１５は、図３Ｂに示すように、エピソード内盛り上がりプロファイルデータベース１４からエピソード内盛り上がりプロファイル２０を取得し、エピソード内盛り上がりプロファイル２０の代表値として、例えば、時系列のベクトルの平均値、最大値、分散値などを演算して、シリーズ内盛り上がりプロファイル生成部１６に出力する。

ステップＳ５において、コンテンツ取得部１１は、ステップＳ１の処理でコンテンツを取得したシリーズの全てのエピソードを処理対象に決定したか否かを判定し、全てのエピソードを処理対象に決定していない（処理対象としていないエピソードがまだ残っている）と判定した場合、処理をステップＳ２に戻す。そして、ステップＳ２乃至Ｓ５の処理が繰り返されて、シリーズを構成する全てのエピソードにそれぞれ対応するエピソード内盛り上がりプロファイル２０とその代表値が演算される。

そして、ステップＳ５において、ステップＳ１の処理でコンテンツを取得したシリーズの全てのエピソードを処理対象に決定した（処理対象としていないエピソードが残っていない）と判定された場合、処理はステップＳ６に進められる。

ステップＳ６において、シリーズ内盛り上がりプロファイル生成部１６は、図３Ｃに示すように、シリーズを構成する各エピソードの代表値を時系列に配置してシリーズ内盛り上がりプロファイル３０を生成する。生成されたシリーズ内盛り上がりプロファイル３０は、シリーズ内盛り上がりプロファイルデータベース１７に供給され、シリーズと対応付けて記憶される。

以上で、コンテンツ特徴量検出装置１０による盛り上がりプロファイル生成処理の説明を終了する。

以上説明したように、コンテンツ特徴量検出装置１０による盛り上がりプロファイル生成処理によれば、コンテンツの特徴量としてその時系列の盛り上がり具合をエピソード単位だけでなく、シリーズ単位で取得することができる。

なお、エピソード内盛り上がりプロファイルデータベース１４に記憶されたエピソード内盛り上がりプロファイル２０や、シリーズ内盛り上がりプロファイルデータベース１７に記憶されたシリーズ内盛り上がりプロファイル３０は、コンテンツ分類検索部１８によって様々な型に分類される。

すなわち、コンテンツ分類検索部１８は、エピソード内盛り上がりプロファイルデータベース１４に保持されている各エピソード内盛り上がりプロファイル２０を、例えば、平坦型、前半盛り上がり型、または後半盛り上がり型などに分類する。

分類する方法としては、各型に対応するエピソード内盛り上がりプロファイル２０のテンプレートを予め用意しておいて、各テンプレートと実際に生成されたエピソード内盛り上がりプロファイル２０との類似度を演算して比較し、最も類似している型に分類する方法、あるいは、実際に生成されたエピソード内盛り上がりプロファイル２０を直接解析する方法がある。

また、コンテンツ分類検索部１８は、シリーズ内盛り上がりプロファイルデータベース１７にアクセスし、シリーズ内盛り上がりプロファイルデータベース１７に保持されている各シリーズ内盛り上がりプロファイル３０を、例えば、平坦型、前半盛り上がり型、後半盛り上がり型、連続もの型、１話完結型などに分類する。

分類する方法としては、エピソード内盛り上がりプロファイル２０を分類する方法と同様に、テンプレートを用いる方法、直接解析する方法がある。

例えば、図４に示すように、シリーズを構成する各エピソードに対応するエピソード内盛り上がりプロファイル２０がそれぞれ大きく異なり、シリーズの終盤にかけて盛り上がり具合が上昇している場合、各エピソード間で話が継続している連続ドラマなどの連続もの型として分類できる。

また例えば、図５に示すように、シリーズを構成する各エピソードに対応するエピソード内盛り上がりプロファイル２０が類似しており、シリーズの全般に亘って盛り上がり具合が平坦である場合、各エピソード毎に話が完結する１話完結もの型として分類できる。

なお、エピソードに対する分類とシリーズに対する分類を組み合わせて分類してもよい。例えば、シリーズを構成する全エピソードのうちの半数以上の型が一致し、かつ、シリーズの型が平坦型である場合に当該シリーズを安定・１話完結型と分類し、シリーズを構成する全エピソードのうちの半数以上の型が一致し、かつ、シリーズの型が平坦型ではない場合に当該シリーズを安定・連続型と分類し、シリーズを構成する全エピソードのうちの半数以上の型が一致せず、かつ、シリーズの型が平坦型である場合には当該シリーズを毎回色々型と分類し、シリーズを構成する全エピソードのうちの半数以上の型が一致せず、かつ、シリーズの型が平坦型はない場合にはジェットコースタ・連続型などと分類したりする。

エピソードまたはシリーズの分類結果は、それぞれエピソード内盛り上がりプロファイルデータベース１４、またはシリーズ内盛り上がりプロファイルデータベース１７に記録され、コンテンツのエピソード単位、あるいはシリーズ単位での検索などに利用される。この検索は、コンテンツ分類検索部１８によって行われる。すなわち、コンテンツ分類検索部１８は、エピソード内盛り上がりプロファイルデータベース１４、またはシリーズ内盛り上がりプロファイルデータベース１７を参照することにより、所望の型に分類されるコンテンツをエピソード単位、あるいはシリーズ単位で検索する。

以上説明したように、コンテンツ特徴量検出装置１０による盛り上がりプロファイル生成処理によれば、コンテンツの特徴量としてその時系列の盛り上がり具合をエピソード単位だけでなく、シリーズ単位で検出することができる。また、検出した時系列の盛り上がり具合に基づいて、コンテンツの型をエピソード単位だけでなく、シリーズ単位で分類することができる。さらに、分類結果を参照することにより、コンテンツをエピソード単位だけでなく、シリーズ単位で検索することができる。

ところで、上述した一連の処理は、図１に示されたように構成されているハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

このコンピュータ５０において、CPU(Central Processing Unit)５１，ROM(Read Only Memory)５２，RAM(Random Access Memory）５３は、バス５４により相互に接続されている。

バス５４には、さらに、入出力インタフェース５５が接続されている。入出力インタフェース５５には、キーボード、マウスなどよりなる入力部５６、ディスプレイ、スピーカなどよりなる出力部５７、ハードディスクや不揮発性のメモリなどよりなる記憶部５８、ネットワークインタフェースなどよりなる通信部５９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどの記録媒体６１を駆動するドライブ６０が接続されている。

以上のように構成されるコンピュータ５０では、CPU５１が、例えば、記憶部５８に記憶されているプログラムを、入出力インタフェース５５およびバス５４を介して、RAM５３にロードして実行することにより、上述した一連の処理が行われる。

なお、コンピュータ５０が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用コンテンツ特徴量検出装置の構成例を示すブロック図である。盛り上がりプロファイル生成処理を説明するフローチャートである。盛り上がりプロファイル生成処理の概要を示す図である。連続もの型に分類されるコンテンツのプロファイルを示す図である。一話完結もの型に分類されるコンテンツのプロファイルを示す図である。汎用コンピュータの構成例を示すブロック図である。

符号の説明

１０コンテンツ特徴量検出装置，１１コンテンツ取得部，１２盛り上がり検出部，１３サンプリング部，１４エピソード内盛り上がりプロファイルＤＢ，１５代表値演算部，１６シリーズ内盛り上がりプロファイル生成部，１７シリーズ内盛り上がりプロファイルＤＢ，１８コンテンツ分類検索部，２０エピソード内盛り上がりプロファイル，３０シリーズ内盛り上がりプロファイル

Claims

複数のエピソードにそれぞれ対応するコンテンツから構成されるシリーズもののコンテンツ群の特徴量を検出する情報処理装置において、
前記複数のエピソードにそれぞれ対応するコンテンツの時系列の特徴量を検出し、検出結果に基づいてエピソード内特徴量を生成する第１の生成手段と、
生成された前記エピソード内特徴量の代表値を演算する演算手段と、
前記複数のエピソードにそれぞれ対応して演算された前記代表値を時系列に配置し、前記シリーズもののコンテンツ群の時系列の特徴量を示すシリーズ内特徴量を生成する第２の生成手段と、
生成された前記シリーズ内特徴量を前記シリーズのもののコンテンツ群に対応付けてデータベース化するデータベース手段と
を含む情報処理装置。
前記第１の生成手段は、前記複数のエピソードにそれぞれ対応するコンテンツの時系列の特徴量として、音声レベルの変化、画面の変化、または字幕量の変化のうちの少なくとも１つを検出し、検出結果に基づいてエピソード内特徴量を生成する
請求項１に記載の情報処理装置。
生成された前記シリーズ内特徴量に基づき、前記シリーズもののコンテンツ群を分類する分類手段をさらに含み、
前記データベース化手段は、前記分類手段による分類結果も前記シリーズもののコンテンツ群に対応づけてデータベース化する
請求項１に記載の情報処理装置。
前記分類手段による分類結果を参照することにより、前記シリーズもののコンテンツ群を検索する検索手段を
さらに含む請求項１に記載の情報処理装置。
複数のエピソードにそれぞれ対応するコンテンツから構成されるシリーズもののコンテンツ群の特徴量を検出する情報処理装置の情報処理方法において、
前記複数のエピソードにそれぞれ対応するコンテンツの時系列の特徴量を検出し、検出結果に基づいてエピソード内特徴量を生成し、
生成された前記エピソード内特徴量の代表値を演算し、
前記複数のエピソードにそれぞれ対応して演算された前記代表値を時系列に配置し、前記シリーズに対応するコンテンツ群の時系列の特徴量を示すシリーズ内特徴量を生成し、
生成された前記シリーズ内特徴量を前記シリーズのもののコンテンツ群に対応付けてデータベース化する
ステップを含む情報処理方法。
複数のエピソードにそれぞれ対応するコンテンツから構成されるシリーズもののコンテンツ群の特徴量を検出するコンピュータの制御用のプログラムであって、
前記複数のエピソードにそれぞれ対応するコンテンツの時系列の特徴量を検出し、検出結果に基づいてエピソード内特徴量を生成し、
生成された前記エピソード内特徴量の代表値を演算し、
前記複数のエピソードにそれぞれ対応して演算された前記代表値を時系列に配置し、前記シリーズに対応するコンテンツ群の時系列の特徴量を示すシリーズ内特徴量を生成し、
生成された前記シリーズ内特徴量を前記シリーズのもののコンテンツ群に対応付けてデータベース化する
ステップを含む処理をコンピュータに実行させるプログラム。