JP4532037B2

JP4532037B2 - Digest delivery system

Info

Publication number: JP4532037B2
Application number: JP2001290372A
Authority: JP
Inventors: 裕一小島; 隆子橋本; 由香利白田; 篤志飯沢
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2001-09-25
Filing date: 2001-09-25
Publication date: 2010-08-25
Anticipated expiration: 2021-09-25
Also published as: JP2003101986A

Description

【０００１】
【発明の属する技術分野】
本発明は、連続する複数のフレームからなる番組映像と共にその補足情報が番組付加情報として送信されている放送環境下において、該番組映像および番組付加情報を入力し、該番組映像および番組付加情報のダイジェストを生成して配信する配信サーバーと、配信サーバーから配信されたダイジェストを視聴するための受信端末と、を有するダイジェスト配信システムに関し、より詳細には、番組付加情報の受信や、映像内容の特徴量の変化といったイベントの発生をトリガーとしたイベント駆動型ダイジェスト生成を実現し、番組途中のある時点におけるダイジェストを動的に生成して配信することが可能なダイジェスト配信システムに関する。
【０００２】
【従来の技術】
近年、放送のデジタル化が世界的規模で急速に進展しており、日本でも２０００年１２月からＢＳ（ＢｒｏａｄｃａｓｔＳａｔｅｌｌｉｔｅ）デジタル放送が開始されており、地上デジタル放送も２００３年の開始を目処としている。これによりテレビの視聴形態も急激に変化し、従来のリアルタイム視聴だけでなく、蓄積型視聴およびノンリニア視聴形態も可能となる。
【０００３】
ここで、本出願人らが、これまで提案してきたノンリニア視聴形態におけるダイジェスト作成システムについて説明する。本出願人らは、まず、補足情報が映像インデックスなどの番組付加情報として付加された番組映像を対象として、その番組付加情報を用いて重要場面と想定される映像シーンを検索し、映像のダイジェスト版（ダイジェスト映像）を作成するダイジェスト作成システムを考案した。このダイジェスト作成システムにおいて、重要場面と判定された映像シーンには音声解説も含まれているため、断面的なインデックスの概要を説明文として生成するだけで十分であるという考えから映像内容の説明文生成処理を考えてきた。
【０００４】
なお、上記の技術の詳細は、以下の▲１▼〜▲５▼によって明らかにされている。
▲１▼ 橋本隆子、他：「番組インデックスを利用したダイジェスト視聴方式の検討」、映像情報メディア学会放送方式研究会予稿集、１９９９年３月、ｐｐ．７−１２。
▲２▼ 橋本隆子、他：「番組インデックスを利用したダイジェスト作成方式の試作」、データ工学ワークショップ（ＤＥＷＳ’９９）予稿集ＣＤ−ＲＯＭ、１９９９年３月。
▲３▼ 橋本隆子、他：「ＴＶ受信端末におけるダイジェスト作成方式の試作」、ＡＤＢＳ９９予稿集、１９９９年１２月。
▲４▼ 白田由香利、他：「ダイジェスト説明文生成方式についての検討」、情報処理学会ＤＢＳ研究会１２０−１５、２０００年１月、神戸。
▲５▼ 橋本隆子、他：「サッカー番組のダイジェスト作成システムの試作」、第１１回データ工学ワークショップ（ＤＥＷＳ’００）予稿集ＣＤ−ＲＯＭ、２０００年。
【０００５】
本出願人らは、これらの試作システムにおいて、番組映像に付加された基本的な補足情報としての番組付加情報を利用した映像内容の意味解析、利用者の嗜好を反映させた重要場面の判定および切り出し（映像の抽出）を可能とし、また、それに対する説明文の生成機能を実現している。
【０００６】
一方、ｉ−ｍｏｄｅ（商標、ＮＴＴ社）などの携帯端末を利用したサービスも盛んになっている。現在の携帯電話では、映像を受信しクリッピングすることはできないが、２００１年中に開始予定のＩＭＴ２０００による携帯電話サービスによれば動画像の受信／再生が可能となる予定である。携帯端末は利用者個々が持つ端末であり、パーソナルなアプリケーションがより有効となると考えられる。
【０００７】
このような状況において、本出願人らが研究してきたダイジェスト映像（番組映像のダイジェスト）およびその映像に関連する番組関連情報の配信方法を、携帯電話のサービスとして実現することを検討すると、その際のアプリケーションとしては、次のようなものが考えられる。なお、以降の説明で番組関連情報とは、番組映像に関連する全ての情報を示し、番組付加情報も番組関連情報の中の１つであり、また番組付加情報から生成された情報も番組関連情報となる。
【０００８】
第１の方法は、個人の嗜好を予めアプリケーションサービスプロバイダに登録しておき、プロバイダがダイジェストや番組関連情報を利用者個々人向けに生成して配信する方法（パーソナライズした情報のプッシュ型サービスの実現）。
第２の方法は、利用者がＷｅｂサイトにアクセスして自分の嗜好を登録し、その嗜好情報に基づいて利用者個々人向けのＷｅｂページが生成され、利用者がそのページをブラウズする方法（パーソナライズしたＷｅｂページのプル型サービスの実現）。
【０００９】
上記のようなアプリケーションが実現できれば、職場や移動中などＴＶを見る事ができないような状況においても、番組の概要および番組の関連情報を知る事が可能となる。また個人化された情報が配信されてくるため、個々の利用者にとって有効なサービスが実現できる。
【００１０】
そこで本出願人らは、上記第１の方法で、パーソナライズした情報のプッシュ型サービスを実現することを考えた。この場合に、対象としている配信コンテンツは番組映像のダイジェストシーンおよび番組に関連する情報（静止画、テキスト、動画像など）である。すなわち、連続する複数のフレームからなる番組映像と共にその補足情報が番組付加情報として送信されている放送環境下において、放送局から送信された番組映像および番組付加情報を受信してダイジェストを生成して配信する配信サーバーと、配信サーバーから配信されたダイジェストを視聴するための受信端末とから構成されるダイジェスト配信システムを実現することを考えた。
【００１１】
パーソナライズした情報のプッシュ型サービスを実現しようとした場合、配信する情報を如何に自動生成するか、情報をいつ配信するか（配信のタイミング）という仕組みを提供することが望まれる。配信する情報を如何に自動生成するかについては、本出願人らによって提供されている上記▲１▼〜▲５▼の技術を用いることによって実現できる。
【００１２】
【発明が解決しようとする課題】
しかしながら、上記▲１▼〜▲５▼の技術のみでは、個人の嗜好を予めアプリケーションサービスプロバイダ（配信サーバー）に登録しておくことにより、プロバイダでダイジェストや番組関連情報を利用者個々人向けに生成することはできるものの、生成した個人向けの情報をいつ配信するかという「配信のタイミング」についての技術は提供されていなかった。
【００１３】
本発明は上記に鑑みてなされたものであって、プロバイダがダイジェストや番組関連情報を利用者個々人向けに生成して配信するプッシュ型サービスにおいて、最適なタイミングで個人向けの情報を生成して配信可能なダイジェスト配信システムを提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記の目的を達成するために、請求項１に係るダイジェスト配信システムは、放送により送信された、連続する複数のフレームからなる番組映像と、前記番組情報の補足情報である番組付加情報とを入力し、前記番組映像および番組付加情報のダイジェストを生成して配信する配信サーバーと、前記配信サーバーから配信されたダイジェストを視聴するための受信端末と、を有するダイジェスト配信システムであって、前記受信端末は、前記番組映像に関する利用者の嗜好情報と、複数の番組付加情報の種類をグループ化した番組付加情報グループを指定した開始指定情報とを前記配信サーバーに対して設定する設定手段を備え、前記配信サーバーは、前記番組付加情報を入力すると、入力した番組付加情報の種類が、予め設定されている開始指定情報に含まれる複数の番組付加情報の種類のうちの何れか１つと一致するか否か判定し、一致する場合に、前記嗜好情報および開始指定情報に基づいてダイジェストを生成して配信する生成・配信手段を備え、前記設定手段は、予め設定された、重要度の低い番組付加情報グループがより重要度の高い番組付加情報グループを包含する複数の番組付加情報グループから１つを選択して前記開始指定情報に指定することを特徴とする。
【００１５】
この発明によれば、利用者が、受信端末の設定手段を介して、予め番組映像に関する嗜好情報と任意の番組付加情報の種類を指定した開始指定情報とを配信サーバーに対して設定すると、配信サーバーは、放送環境下において送信されたきた番組映像と番組付加情報とを入力した際に、入力した番組付加情報の種類が予め設定されている開始指定情報と一致するか否か判定し、一致する場合に、嗜好情報および開始指定情報に基づいてダイジェストを生成して配信する。
【００１６】
また、請求項２に係るダイジェスト配信システムは、請求項１に記載のダイジェスト配信システムにおいて、前記嗜好情報および開始指定情報が、それぞれ受信端末毎に個別に前記配信サーバーに設定可能であり、前記配信サーバーは、受信端末毎に個別に設定された前記嗜好情報および開始指定情報に基づいて、受信端末毎にダイジェストを生成して配信することを特徴とする。
【００１７】
この発明によれば、配信サーバーが、受信端末毎に個別に設定された嗜好情報および開始指定情報に基づいて、受信端末毎にダイジェストを生成して配信するので、受信端末毎、すなわち、利用者毎に、利用者の嗜好情報を反映したダイジェストを、利用者が開始指定情報で指定した配信のタイミングで生成して配信する。
【００２１】
【発明の実施の形態】
以下、本発明のダイジェスト配信システムの一実施の形態について、
〔本発明の概要〕
〔本実施の形態のダイジェスト配信システムの概略構成〕
〔本実施の形態で使用する各データの定義〕
〔本実施の形態の受信端末の嗜好情報・開始指定情報の設定画面〕
〔本実施の形態の配信サーバーの各モジュールの動作〕
〔受信イベントによるダイジェスト生成・配信処理の動作〕
の順に、添付の図面を参照して詳細に説明する。
【００２２】
〔本発明の概要〕
本発明のダイジェスト配信システムは、プロバイダがダイジェストや番組関連情報を利用者個々人向けに生成して配信するプッシュ型サービスにおいて、最適なタイミングで個人向けの情報を生成して配信可能とするものである。
【００２３】
なお、本発明のダイジェスト配信システムは、連続する複数のフレームからなる番組映像と共にその補足情報が番組付加情報として送信されている放送環境下において、番組映像および番組付加情報を入力してダイジェストを生成して配信する配信サーバーと、配信サーバーから配信されたダイジェストを視聴するための受信端末と、を有するダイジェスト配信システムを対象とする。
【００２４】
ただし、ここで、配信サーバーは、放送局から送信された番組映像および番組付加情報を必ずしもリアルタイムで受信する必要はなく、例えば、他の装置で受信した番組映像および番組付加情報をＣＤ、ＭＯ、ＤＶＤなどの各種メディアを介して入力する場合も含まれるものとする。
【００２５】
また、生成して配信するダイジェストは、番組映像のダイジェスのみの場合や、番組付加情報から生成した番組付加情報のダイジェストのみの場合、さらには番組映像および番組付加情報の両方のダイジェストの場合が考えられる。また、ダイジェストを配信する際に、生成したダイジェストに関連する情報を番組関連情報として追加しても良い。
【００２６】
また、本発明の受信端末は、番組映像に関する利用者の嗜好情報と任意の番組付加情報の種類を指定した開始指定情報とを配信サーバーに対して設定する設定手段を備えている。この嗜好情報および開始指定情報が、それぞれ受信端末毎に個別に配信サーバーに設定可能である。
【００２７】
また、配信サーバーは、番組付加情報を入力すると、入力した番組付加情報の種類が予め設定されている開始指定情報と一致するか否か判定し、一致する場合に、嗜好情報および開始指定情報に基づいてダイジェストを生成して配信する生成・配信手段を備えており、受信端末毎に個別に設定された嗜好情報および開始指定情報に基づいて、受信端末毎にダイジェストを生成して配信する。
【００２８】
〔本実施の形態のダイジェスト配信システムの概略構成〕
図１は、本実施の形態のダイジェスト配信システムの概略構成を示し、図示の如く、連続する複数のフレームからなる番組映像と共にその補足情報を番組付加情報として送信する放送局１００と、放送局１００から送信された番組映像および番組付加情報を受信してダイジェストを生成して配信する配信サーバー２００と、配信サーバー２００から配信されたダイジェストを視聴するための受信端末３００と、から構成される。
【００２９】
なお、放送局１００、配信サーバー２００および受信端末３００の数は特に限定するものではない。
【００３０】
また、受信端末３００としては、携帯電話、ディスクトップ型コンピュータ、ノート型コンピュータ、ＰＤＡ（携帯情報端末）等のように映像の送受信機能や、表示機能を有した装置を使用することができる。また、受信端末３００が基本的に有しているテンキー、表示画面、通信機能、および所定の専用プログラムが本発明の設定手段の役割を果している。
【００３１】
また、配信サーバー２００は、放送局１００から番組映像および番組付加情報を受信する場合を例として示しているが、過去に放送された番組映像および番組付加情報を記憶したメディアから直接入力する場合も、基本的に同一であり、本発明の範疇に含まれる。
【００３２】
〔本実施の形態で使用する各データの定義〕
次に、本実施の形態のダイジェスト配信システムの配信サーバー２００で使用する各データの定義について説明する。本実施の形態の配信サーバー２００は、リアルタイムに番組映像のダイジェストを生成する。また、配信サーバー２００は、イベント駆動型の処理方式に基づいた重要度判定により、映像上のある時点における重要度を動的に算出し、リアルタイムに重要シーン（Scene ）を抽出する。
【００３３】
配信サーバー２００の処理データは、以下に説明する番組映像であるFrame(f)と、番組付加情報であるPrimitive Descriptor(p) の２つである。この２つのデータは放送局１００により制作され放送される。配信サーバー２００はこれらのデータを受信し、ダイジェストの生成および配信を行う。
【００３４】
Frame(f)
番組映像は、静止画像である Frameｆ_iの列ｆ₁…ｆ_nである。各Frame は識別子となるフレーム番号ｆno、およびそのFrame が表現する経過時間（先頭Frame からの相対時間）を示すタイムコード timecode で構成される。以下では連続したFrame の部分列をFrame 列と呼ぶ。
【００３５】
Primitive Descriptor（p ）
放送局１００によって付加される基本的な番組付加情報を基本記述子 (以下P-Descriptorと記載する) と呼ぶ。各 P-Descriptor ｐ_iはその記述情報の開始時点となるFrame ｆ_jに対応付けられる。各ｐは以下のような組で表現される。
【００３６】

【００３７】
上記P-Descriptorの型typeは番組付加情報の種類を示す。例えば、野球中継の場合、"game ＿start"、 "inning＿start"、 "at＿bat"などの試合の区切りや、"pitch" 、"hit" 、"home ＿run"、"out" や"at ＿bat"などの動作やプレイの種類を示すP-Descriptorの型が考えられる。
【００３８】
attr₁, …, attr_nで示される属性はP-Descriptorの型typeによって決まる属性であり、各ｐ_iの属性値が設定される。例えば：P-Descriptor "pitch"の場合、"pitcher＿name" 、"batter ＿name" 、スコア情報などが属性となる。このP-Descriptorの型によって決まる属性をP-Descriptorのスキーマと呼ぶ。
【００３９】
なお、Frame ｆ_jと P-Descriptor ｐ_iの関係は１対多となる。１つのFrame に対して複数のP-Descriptorが対応付けられることもあり、P-Descriptorが対応付けられないFrame もある。図２にFrame とP-Descriptorとの関係を示す。
【００４０】
次に、上記処理データを用いて配信サーバー２００が生成するデータについて述べる。配信サーバー２００が生成するデータには、Scene （シーン）、P-DescriptorのAnnotation（アノテーション：複合情報）、Status Parameter（ステイタスパラメタ：意味的特徴量）がある。図２にFrame 、P-Descriptor、 Scene、Annotation、Status Parameterの関係を示す。
【００４１】
Scene(s)
Scene （シーン）とは意味的にまとまりのあるFrame 列である。Scene は以下のような組で表現できる。
【００４２】

【００４３】
ここで、Scene の型typeはScene の種類を示す。野球番組の場合、「イニング」 ("inning ＿start"イベントから次の"inning ＿start"イベントまで) 、「投球」("pitch"イベントから次の"pitch" まで) 、「逆転」などの各種のScene の型が考えられる。開始フレーム番号ffno、終了フレーム番号lfnoはScene に対応するFrame 列の先頭および終端Frame を示す。
【００４４】
Annotation(a)
配信サーバー２００は、複数のP-Descriptorの情報から、複合的な意味をもつ記述を自動的に生成し、特定の P-Descriptor の補足情報とする。これをAnnotation（アノテーション：複合情報）と呼ぶ。Annotation aは以下のような組で表現される。
【００４５】

【００４６】
Annotationの型typeは、Annotationの種類を表す。例えば野球番組の場合、「タイムリーヒット」、「逆転ホームラン」などのAnnotationが考えられる。それぞれP-Descriptor "hit"、"home ＿run"のAnnotationとなり、pid にはそのP-Descriptorを特定するためのIDが設定される。
【００４７】
Status Parameter(p)
Status Parameter （ステイタスパラメタ：意味的特徴量）は映像上のある時点における重要度を示す指標であり、予め設定されているステイタスパラメタ算出ルールに基づき算出される。番組の種別にもよるが一般に映像上の１つのFrame につき、Status Parameterは複数個算出される。なお、ステイタスパラメタ算出ルールは、 P-Descriptor およびAnnotationの生成によるイベント駆動で発火する。
【００４８】

【００４９】
Status Parameterの型typeは、重要度（意味的特徴量と同じ意味、以下、重要度と記載する場合がある）の種類を表す。例えば、野球番組の場合、攻撃的重要度を示す「攻撃レベル」、投手の調子を示す「投手レベル」などのStatus Parameterがある。fno で特定されるFrame のtimecodeで示される時点における重要度の値がvalue となる。
【００５０】
〔本実施の形態の受信端末の嗜好情報・開始指定情報の設定画面〕
図３は，本実施の形態の受信端末の嗜好情報・開始指定情報の設定画面を示し、利用者の嗜好情報としては、例えば、スポーツ映像の場合、好みのチーム名や選手名などである。また、ダイジェスト作成にあたり、利用者は、ダイジェストの検索条件（生成条件）を入力する。具体的には、設定画面３０１で示すように、
１．全体のダイジェスト映像の長さ
２．各シーンの長さ
３．攻撃的に重要なシーンを見たいか、守備的に重要なシーンを見たいか
４．どのような事象を中心に見たいか（たとえばHRシーンなど）
５．開始指定情報（どのイベントが発生した場合に配信するかを示す情報）
といったような条件である。上記の条件のうち、３、４が嗜好情報に相当する。配信されるダイジェスト情報は、その内容を説明するテキスト情報および該当するシーンの映像情報であるが、テキスト情報のみ、映像情報のみも可能である。映像情報を送信するか否かは、図示を省略するが所定の設定画面を介した利用者の指定に従うか、あるいは通信網の仕様に従う、などで決定される。
【００５１】
また、開始指定情報としては、特定のイベント（すなわち、特定の番組付加情報の種類）を指定することが可能である。例えば、野球番組の場合には、イニング終了イベント（この場合にはイニングが終わる毎に、ダイジェストの配信を指定したことになる）、打席イベント（この場合には打席毎に、ダイジェストの配信を指定したことになる）、ホームランイベント（この場合にはホームランがあるときに、ダイジェストの配信を指定したことになる）のように指定することができる。
【００５２】
また、開始指定情報として、複数の番組付加情報の種類をグループ化した番組付加情報グループを指定可能である。
例えば、番組付加情報グループとして、番組付加情報の内容の重要度に応じて、以下に示すような３つのグループを設定しておく。
第１の番組付加情報グループ：非常に重要な番組付加情報のグループ
（ホームラン、逆転）
第２の番組付加情報グループ：中程度に重要な番組付加情報のグループ
（ホームラン、逆転、加点、２塁打、３塁打）
第３の番組付加情報グループ：小程度に重要な番組付加情報のグループ
（ホームラン、逆転、加点、２塁打、３塁打、盗塁、ヒット、三振）
【００５３】
上記３つの番組付加情報グループは、それぞれ当該番組付加情報グループより重要度の高い番組付加情報グループを包含する関係にある。したがって、第３の番組付加情報グループを指定した場合には、自動的に第１および第２の番組付加情報グループが含まれることになる。
【００５４】
このように番組付加情報グループを設定することにより、番組付加情報グループの選択で配信のタイミング（配信の頻度）を調整（制御）することができる。
【００５５】
〔本実施の形態の配信サーバーの各モジュールの動作〕
次に、本実施の形態の配信サーバー２００の各モジュールの動作について説明する。図４は本実施の形態の配信サーバー２００の各モジュールの動作を示す説明図である。
【００５６】
本システム（配信サーバー２００）の処理モジュールとしては、以下のものがあり、これらのモジュールが本発明の生成・配信手段の役割を果たす。
＊シーン抽出モジュール
＊ステイタスパラメタ算出モジュール
＊ダイジェスト・番組関連情報生成モジュール
＊ダイジェスト・関連情報監視モジュール
＊ダイジェスト・番組関連情報生成イベント発行モジュール
＊配信タイミング・嗜好情報設定モジュール
【００５７】
また、配信サーバー２００において処理されるイベントには、次のものがある。
＊P-Descriptor受信イベント
＊シーン（Scene）抽出イベント
＊アノテーション（Annotation）生成イベント
＊ステイタスパラメタ（Status Parameter）算出イベント
＊ダイジェスト生成開始イベント
＊ダイジェスト関連情報変更イベント
【００５８】
ここで、図＊３を参照して、配信サーバー２００におけるダイジェスト生成・配信処理の処理概要を説明する。下記の番号と図中の番号は対応しており、それぞれの処理を示している。なお、図中のダイジェスト生成用ＤＢは、算出したステイタスパラメタ、生成したシーンおよびアノテーション、並びに個々の受信端末３００の配信タイミングを設定した利用プロファイルなどが記憶されている。
【００５９】
▲１▼ 放送局から放送された番組付加情報（P-Descriptor）が受信されると、P-Descriptor受信イベントが発生する。
▲２▼ P-Descriptor受信イベントの発生を受けて、シーン抽出モジュールにおいてシーン抽出ルールが発火し、シーン抽出（Scene抽出）を行い、シーン内の番組付加情報に対するアノテーション生成（Annotation生成）を行う。アノテーションが生成されるとAnnotation生成イベントがステイタスパラメタ算出モジュールおよびダイジェスト・番組関連情報生成モジュールに発行される。
【００６０】
▲３▼ ステイタスパラメタ算出モジュールでは、P-Descriptor受信イベントおよびAnnotation生成イベントの発生を受けて、ステイタスパラメタ算出ルールが発火し、ステイタスパラメタ（Status Parameter）の値が算出される。ステイタスパラメタの値が算出されると、ステイタスパラメタ算出イベントがダイジェスト・関連情報監視モジュールに発行される。
【００６１】
▲４▼ （ａ）ダイジェスト・番組関連情報生成に関するイベントを受信するか、（ｂ）アノテーションが生成されるか、または（ｃ）ステイタスパラメタの値が変更されると、ダイジェスト・関連情報監視モジュールは、ダイジェスト関連情報変更イベントをダイジェスト・番組関連情報生成イベント発行モジュールに発行する。ここで、ダイジェスト関連情報変更イベントは、シーン抽出イベントおよびステイタスパラメタ算出イベントの受信により発行される。また、ダイジェスト・関連情報監視モジュールが、上記（ａ）〜（ｃ）の何れに従ってダイジェスト関連情報変更イベントを発行するかは、後述する▲７▼で選択して設定することができる。なお、本実施の形態では、上記（ａ）を選択した場合を対象とする。
【００６２】
▲５▼ ダイジェスト・番組関連情報生成イベント発行モジュールは、ダイジェスト関連情報変更イベントを受信すると、その内容を解析して、利用者の個々のダイジェスト・番組関連情報を生成するためにダイジェスト生成開始イベントを発行する。
▲６▼ ダイジェスト・番組関連情報生成モジュールは、ダイジェスト生成開始イベントを受信すると、ダイジェストの生成を開始する。また生成されたダイジェストは、利用者個々（すなわち、それぞれの受信端末３００）に配信される。
【００６３】
▲７▼ 上記（ａ）〜（ｃ）の何れに従ってダイジェスト関連情報変更イベントを発行するかを選択して設定することは、配信タイミングを設定することと同じである。この３つの配信タイミングは、利用者が予め個々の受信端末３００を介して配信サーバー２００に設定することができる。本実施の形態では、常に上記（ａ）が選択されている場合を対象とする。
【００６４】
具体的には、利用者が受信端末３００の設定画面３０１を介して配信サーバー２００に、ダイジェストが欲しい配信タイミングを送信すると、配信サーバー２００の配信タイミング・嗜好情報設定モジュールが、ダイジェスト生成用ＤＢに記憶されている受信端末３００毎のプロファイル情報（利用プロファイル）に、それぞれの配信タイミングを設定する。
【００６５】
次に、「シーン抽出モジュール」、「ステイタスパラメタ算出モジュール」、「ダイジェスト・番組関連情報生成モジュール」の順に具体的に説明する。
【００６６】
「シーン抽出モジュール」
本実施の形態では、Sceneの抽出とAnnotationの生成を「シーン抽出ルール」として与える。このルールは予め定義してデータベース化しておく。シーン抽出ルールは、具体的には次のようなマークアップ言語で表現される。
【００６７】

ここで、Sceneタイプ、パターン、Annotation指定は非終端記号である。
【００６８】

ここで、開始P-Descriptor、終了P-Descriptor、P-Descriptorパターンは非終端記号である。
【００６９】

ここで、Annotationタイプ、P-Descriptor位置は非終端記号である。
【００７０】
受信したP-Descriptorにおいてパターンが成立した場合、Sceneタイプで示される型のSceneが生成される。
開始P-Descriptor、終了P-Descriptorは、Scene抽出のためのマッチングの範囲を規定するものである。開始P-Descriptorを受信すると、P-Descriptorパターンのマッチングが開始される。終了P-Descriptorが発生する前にP-Descriptorパターンのマッチが完了すれば、Sceneは抽出される。
【００７１】
パターンマッチの前に終了P-Descriptorを受信してしまった場合は、パターンマッチ処理は中止となる。開始P-Descriptor、終了P-Descriptorが省略された場合は、番組の開始から終了までの範囲でP-Descriptorパターンのマッチング処理が実行されることになる。
【００７２】
P-Descriptorパターンは、P-Descriptor ｐ_iの正規表現で表される。P-Descriptorパターンには、演算の優先度を指定する括弧"()"、Sceneの開始および終了P-Descriptorを表す """、 "$"も利用できる。また、P-Descriptorの属性データattrに関する各種の条件も角括弧 "［］" を用いて指定できる。イベントが１回以上発生することを示す演算子は"+"、０回以上の繰り返し演算子は"＊"。任意の型のイベントは"．”で表わす。
【００７３】
Scene抽出が完了すると、Annotation指定で指定されたAnnotationが、P-Descriptor位置で参照されているP-Descriptorに付加される。P-Descriptor位置の参照は、P-Descriptorパターンにおいて参照したいP-Descriptorを「$… $」で囲んでおき、その順番の番号で指定することとする。
【００７４】
以下にシーン抽出ルールの例を示す。

【００７５】
上記の例は、逆転Sceneを生成するためのルールである。P-Descriptor "inning＿start"の後に、"hit"、"four ＿ball"、"dead ＿ball" または "HR" を受信する。その際、攻撃チームの得点が守備チームより低く、その後、加点を示す"add＿score"を１回以上受信し、その直後のP-Descriptorにおいて攻撃チームの得点が高くなっているSceneを逆転Sceneとして抽出する。
【００７６】
Sceneが抽出されると、パターン内のP-Descriptor(hit、four＿ball 、dead＿ball またはHR、\1で参照される)にAnnotation「逆転のきっかけ」が生成付加される。さらに、次にマッチしたadd ＿score中で、最後のadd ＿score (\2[$]で参照される)にAnnotationが生成付加される。
【００７７】
このScene抽出およびAnnotation生成処理により、基本的な番組付加情報を受信しながら、映像の意味的なまとまりを発見し、複合的な意味を持つAnnotationを付加することが可能となる。また、Scene抽出ルールが補足情報の正規表現で定義されているので、Scene抽出を容易に行うことができる。また、抽出するSceneの指定および変更が容易であると共に、様々なSceneの抽出を行うことができる。
【００７８】
次に、「ステイタスパラメタ算出モジュール」について説明する。本実施の形態では、ステイタスパラメタの算出を「ステイタスパラメタ算出ルール」として与える。このルールも予め定義してデータベース化しておく。
【００７９】
映像上のあるFrame ｆ_iの意味的重要度（意味的特徴量）を判定するためには、ｆ_iの重要度を示すStatus Parameter ｐ₁、…ｐ_nを計算する。ここで、この計算処理について具体的に説明する。
【００８０】
Status Parameter ｐ_iの値は、以下のステイタスパラメタ算出ルールによって計算される。

ここで、トリガーイベント名、ルール指定は非終端記号である。
【００８１】
トリガーイベント名=
(P-Descriptorタイプ | Annotationタイプ)
ここで、P-Descriptorタイプ、 Annotationタイプは非終端記号である。
【００８２】

ここで、Status Parameterタイプ、演算子、値|式は非終端記号である。
【００８３】
上記トリガーイベント名には、P-Descriptorタイプ、Annotationタイプを指定する。指定されたP-Descriptorの受信イベント、あるいはAnnotation生成イベントを受け取ると、以降に記述されているルールが発火する。
【００８４】
ルール指定には、Status Parameterタイプの名前とその算出式（演算子と値または式）を定義する。本発明であるP-Descriptor受信イベントの場合、対応するFrameにおけるStatus Parameterの値を算出する。因みに、Annotation生成イベントの場合は、そのAnnotationが付加されているP-Descriptorに対応するFrameのStatus Parameterの値を算出する。演算子には、四則演算子を指定する。
【００８５】
このとき、該当Frameにおいて既にStatus Parameter値が算出されていた場合は、その値を基に新しい値を求める。算出されていない場合は、初期値０として値を求める。
【００８６】
以下にステイタスパラメタ算出ルールの例を示す。

【００８７】
上記は野球番組においてP-Descriptor "home＿run" の受信イベントを受け取った場合のStatus Parameter算出手続きを記述した例である。"home ＿run"受信イベントを受け取ると、（例１）に示すように該当するFrameにおける「攻撃レベル」パラメタの値が５加算される。
【００８８】
このイベント駆動型のStatus Parameterの算出処理により、番組付加情報を受信しながら動的な重要度の算出が可能となる。
【００８９】
次に、「ダイジェスト・番組関連情報生成モジュール」について説明する。ダイジェスト・番組関連情報生成モジュールは、以下に示すようなダイジェスト生成ルールに基づき、ダイジェストを生成する。
【００９０】

ここで、ダイジェスト生成範囲、抽出Sceneの型、Status Parameter式、ダイジェスト総時間、抽出指定値は非終端記号である。
【００９１】

ここで、開始タイムコード、終了タイムコードは非終端記号である。
【００９２】
上記ダイジェスト生成ルールは、利用者が受信端末３００の設定画面３０１を介して配信タイミング・嗜好情報設定モジュールに嗜好情報および開始指定情報（配信タイミング）を送信すると、配信タイミング・嗜好情報設定モジュールが自動的に生成する。ダイジェスト生成範囲には、対象とする映像においてダイジェストを生成するための範囲を指定する。終了タイムコードが省略されていた場合は、リアルタイムに受信しながらダイジェストを生成することを示す。抽出Sceneの型に従って、「ダイジェストの候補シーン」[s_i] が抽出される。
【００９３】
また、Status Parameterの式には、例えば次のような記述ができる。
（ア）攻撃レベル
（イ）攻撃レベル+ユーザ嗜好レベル*0.5
【００９４】
上記（ア）の指定は、攻撃レベル（ダイジェスト生成に使用する意味的特徴量の種類）だけを基にダイジェストを生成する指定となる。また、（イ）の指定は、攻撃レベルにユーザ嗜好レベル*0.5倍を足した値を基にダイジェストを生成する指定となる。
【００９５】
各候補シーン内のFrameに対して、Status Parameterの式に従って値を算出する。この値を各フレームの「重要度値」と呼ぶ。この重要度値に基づき以下の方針により、シーンが選択される。
【００９６】
ダイジェスト・番組関連情報生成モジュールを介してダイジェスト総時間が指定された場合は、指定されたダイジェスト総時間に等しくなるまで、より高い重要度値をもつSceneから順に選択される。
【００９７】
ダイジェスト・番組関連情報生成モジュールで抽出指定値が指定された場合は、指定された値以上の重要度値をもつシーンを選択し、時系列に再構成してダイジェストを生成する。
【００９８】
〔受信イベントによるダイジェスト生成・配信処理の動作〕
以上の構成において、ダイジェスト・番組関連情報生成に関するイベントを受信した際にダイジェストを生成・配信する場合について説明する。
例えば、次のようなイベントを受信した時に、映像のダイジェスト情報および番組関連情報を配信する場合を考える。なお、どのような種類のイベント（番組付加情報）を受信した場合にダイジェストを生成して配信するかは、図４の▲７▼で示したように、受信端末３００および配信タイミング・嗜好情報設定モジュールを介して、利用プロファイルに予め設定されている。ここでは、イニング開始イベント（ "inning＿start"）が本発明の開始指定情報として設定されているものとする。
【００９９】
イニング開始イベント（ "inning＿start"）
配信サーバー２００は、番組付加情報を受信すると、受信した番組付加情報の種類が開始指定情報（イニング開始イベント）と一致するか否かを判定し、一致する場合、ダイジェストを生成して配信する。
換言すれば、配信サーバー２００において、イニング開始イベントを受信すると、ダイジェスト・関連情報監視モジュールがダイジェスト関連情報変更イベントを発行する。それを受けて、ダイジェスト・番組関連情報生成イベント発行モジュールがダイジェスト・番組関連情報生成モジュールに向けて、ダイジェスト生成開始イベントを発行する。
【０１００】
ダイジェスト・番組関連情報生成モジュールは、 P-Descriptor （番組付加情報）、ステイタスパラメタ、アノテーションなどの情報を元にダイジェスト・番組関連情報を個々の利用者に向けて生成する。その際、対象とする利用者に既に情報を配信している場合は、差分情報のみを対象としてダイジェスト・番組関連情報を生成し配信する。
【０１０１】
図５は、１９９８年○月○日、巨仁対広鳥戦の２回裏までの試合解析の結果である。２回裏のイニングが終了し、３回表のイニング開始イベントを受信すると、ダイジェストが生成される。以下は、２回裏までに生成されるダイジェスト報および番組関連情報の例である。なお、図において、４０１は、横軸を番組映像の時間軸（ｔｉｍｅ）、縦軸をステイタスパラメタの値としたグラフを示し、４０２は、番組映像の構造を示している。グラフ４０１上の同一時間に複数のステイタスパラメタの値が存在することは、複数の種類のステイタスパラメタが同時に算出されて表示されていることによるものである。
【０１０２】
ダイジェスト情報（対応するダイジェスト映像のシーンを含む）
１回表広鳥江藤の犠打で先制
１回裏巨仁高橋のタイムリーヒットで逆転
２回裏巨仁川相のヒット
２回裏巨仁松井の３ランホームラン
【０１０３】
番組関連情報
選手プロファイル
打率情報
昨日のホームランシーン
今日の高橋
【０１０４】
上記のダイジェスト情報および番組関連情報が生成され、個々の利用者の受信端末３００に配信される。
【０１０５】
前述したように配信タイミングを指定する番組付加情報の種類（イベントの種類）は、予め個々の利用者が、それぞれの受信端末３００を用いて配信サーバー２００に送信して、ダイジェスト生成用ＤＢに記憶されている受信端末３００毎のプロファイル情報（利用プロファイル）に設定してあるので、配信サーバー２００では、利用プロファイルを参照して、受信端末３００毎に個別に設定された開始指定情報（番組付加情報の種類）に基づいて、個々の利用者が所望する配信タイミングでダイジェストを生成して配信することができる。
【０１０６】
また、１つの受信端末３００に対応した利用者プロファイル中に、複数の開始指定情報を設定することも可能である。例えば、上記の開始指定情報（イニング開始イベント）に加えて、開始指定情報（ホームランイベント）を設定しておく、ホームランが発生した場合にも、ダイジェストの生成および配信が行われる。
【０１０７】
さらに、開始指定情報として、複数の番組付加情報の種類をグループ化した番組付加情報グループを指定した場合には、その番組付加情報グループに含まれる番組付加情報の数に応じて、配信のタイミングおよび配信の頻度を調整することが可能である。
【０１０８】
例えば、第１の番組付加情報グループ（非常に重要な番組付加情報のグループ）を指定した場合には、「ホームラン」イベント、「逆転」イベントが発生した場合にのみ、ダイジェストが生成されて配信されるが、第３の番組付加情報グループ（小程度に重要な番組付加情報のグループ）を指定した場合には、「ホームラン」イベント、「逆転」イベントに加えて、「加点」イベント、「２塁打」イベント、「３塁打」イベント、「盗塁」イベント、「ヒット」イベント、「三振」イベントが発生した場合にダイジェストが配信されるので、配信頻度を高くすることができる。
【０１０９】
前述したように本実施の形態のダイジェスト配信システムを利用することにより、プロバイダがダイジェストや番組関連情報を利用者個々人向けに生成して配信するプッシュ型サービスにおいて、最適なタイミングで個人向けの情報を生成して配信することができる。
【０１１０】
なお、前述した実施の形態では、番組映像として野球番組を例として説明したがこれに限定されるものではなく、例えば、株式情報等を個人向けに配信する番組や、ニュース番組などから個人の必要とする情報のみをリアルタイムで配信する場合などのように、プロバイダがダイジェストや番組関連情報を利用者個々人向けに生成して配信する全てのプッシュ型サービスに適用可能なことは勿論である。
【０１１１】
【発明の効果】
以上説明したように、本発明のダイジェスト配信システムは、連続する複数のフレームからなる番組映像と共にその補足情報が番組付加情報として送信されている放送環境下において、番組映像および番組付加情報を入力し、番組映像および番組付加情報のダイジェストを生成して配信する配信サーバーと、配信サーバーから配信されたダイジェストを視聴するための受信端末と、を有するダイジェスト配信システムであって、受信端末は、番組映像に関する利用者の嗜好情報と任意の番組付加情報の種類を指定した開始指定情報とを配信サーバーに対して設定する設定手段を備え、配信サーバーは、番組付加情報を入力すると、入力した番組付加情報の種類が予め設定されている開始指定情報と一致するか否か判定し、一致する場合に、嗜好情報および開始指定情報に基づいてダイジェストを生成して配信する生成・配信手段を備えたため、プロバイダがダイジェストや番組関連情報を利用者個々人向けに生成して配信するプッシュ型サービスにおいて、最適なタイミングで個人向けの情報を生成して配信可能なダイジェスト配信システムを提供することができる。
【０１１２】
また、配信サーバーが、受信端末毎に個別に設定された嗜好情報および開始指定情報に基づいて、受信端末毎にダイジェストを生成して配信するので、受信端末毎、すなわち、利用者毎に、利用者の嗜好情報を反映したダイジェストを、利用者が開始指定情報で指定した配信のタイミングで生成して配信することができる。また、１つの番組付加情報グループで、複数の番組付加情報の種類を指定可能であるため、配信タイミングの設定が容易である。また、番組付加情報グループが複数グループ設定されており、かつ、ある番組付加情報グループは当該番組付加情報グループより重要度の高い番組付加情報グループを包含する関係にあるため、どの番組付加情報グループを設定するかによって、ダイジェストの生成および配信のタイミング（この場合、特に頻度）を調整することが可能である。
【図面の簡単な説明】
【図１】本実施の形態のダイジェスト配信システムの概略構成図である。
【図２】本実施の形態で使用する各データ（Frame 、P-Descriptor、 Scene、Annotation、Status Parameter）の関係を示す説明図である。
【図３】本実施の形態の受信端末の嗜好情報・開始指定情報の設定画面を示す説明図である。
【図４】本実施の形態の配信サーバーの各モジュールの動作を示す説明図である。
【図５】本実施の形態の配信タイミングによるダイジェストの生成および配信を示す説明図である。
【符号の説明】
１００放送局
２００配信サーバー
３００受信端末
３０１設定画面[0001]
BACKGROUND OF THE INVENTION
The present invention inputs the program video and the program additional information in a broadcast environment in which the supplementary information is transmitted as the program additional information together with the program video consisting of a plurality of continuous frames. The present invention relates to a digest distribution system having a distribution server that generates and distributes a digest, and a receiving terminal for viewing the digest distributed from the distribution server, and more specifically, reception of program additional information and characteristics of video content The present invention relates to a digest distribution system that realizes event-driven digest generation triggered by the occurrence of an event such as a change in amount, and can dynamically generate and distribute a digest at a certain point in the middle of a program.
[0002]
[Prior art]
In recent years, digitalization of broadcasting has rapidly progressed on a global scale, and BS (Broadcast Satellite) digital broadcasting has started in December 2000, and terrestrial digital broadcasting is also expected to start in 2003 . As a result, the viewing mode of the television changes rapidly, and not only conventional real-time viewing but also storage-type viewing and non-linear viewing modes are possible.
[0003]
Here, the digest creation system in the non-linear viewing mode proposed by the present applicants will be described. Applicants first search for a video scene that is assumed to be an important scene using the program additional information, with the supplemental information added as program additional information such as a video index, and then digest the video. A digest creation system was devised to create a version (digest video). In this digest creation system, audio descriptions are included in video scenes that are determined to be important scenes. Therefore, it is sufficient to generate an overview of a cross-sectional index as an explanatory text. I have considered the generation process.
[0004]
The details of the above technique are clarified by the following (1) to (5).
(1) Takako Hashimoto, et al .: “Examination of digest viewing method using program index”, Proceedings of the Institute of Image Information and Television Engineers Broadcasting System, March 1999, pp. 7-12.
(2) Takako Hashimoto, et al .: "Prototype of digest creation method using program index", Data Engineering Workshop (DEWS'99) Proceedings CD-ROM, March 1999.
(3) Takako Hashimoto, et al .: “Prototype of digest creation method for TV receivers”, ADBS99 Proceedings, December 1999.
(4) Yutaka Shirata, et al .: “Examination of digest description generation method”, DBS Study Group 120-15 of Information Processing Society of Japan, January 2000, Kobe.
(5) Takako Hashimoto, et al .: "Prototype of digest creation system for soccer program", 11th Data Engineering Workshop (DEWS'00) Proceedings CD-ROM, 2000.
[0005]
In these prototype systems, the applicants analyzed the semantics of video content using program additional information as basic supplemental information added to program video, determined important scenes reflecting user preferences, and Cutout (video extraction) is possible, and an explanatory text generation function is realized.
[0006]
On the other hand, services using portable terminals such as i-mode (trademark, NTT) are also popular. The current mobile phone cannot receive and clip video, but according to the mobile phone service by IMT2000 scheduled to start in 2001, it is scheduled to be able to receive / play moving images. The mobile terminal is a terminal that each user has, and it is considered that a personal application is more effective.
[0007]
In such a situation, when considering the digest video (digest of the program video) and the program-related information distribution method related to the video studied by the applicants as a mobile phone service, The following can be considered as the application. In the following description, program related information refers to all information related to program video, program additional information is one of the program related information, and information generated from program additional information is also program related. Information.
[0008]
In the first method, personal preferences are registered in advance with an application service provider, and the provider generates and distributes digests and program-related information for individual users (realization of a push-type service for personalized information). .
The second method is a method in which a user accesses a website and registers his / her preference, a web page for each user is generated based on the preference information, and the user browses the page (personalization). Web page pull-type service).
[0009]
If the application as described above can be realized, it is possible to know the outline of the program and the related information of the program even in a situation where the TV cannot be seen, such as at work or on the move. In addition, since personalized information is distributed, an effective service for each user can be realized.
[0010]
Therefore, the present applicants considered realizing a push-type service for personalized information by the first method. In this case, the target distribution content is a digest scene of the program video and information (still image, text, moving image, etc.) related to the program. That is, in a broadcast environment in which supplementary information is transmitted as program additional information together with a program video consisting of a plurality of consecutive frames, a digest is generated by receiving the program video and program additional information transmitted from the broadcasting station. We considered realizing a digest distribution system composed of a distribution server for distribution and a receiving terminal for viewing the digest distributed from the distribution server.
[0011]
When a personalized information push-type service is to be realized, it is desirable to provide a mechanism of how to automatically generate information to be distributed and when to distribute the information (delivery timing). How to automatically generate information to be distributed can be realized by using the techniques (1) to (5) provided by the applicants.
[0012]
[Problems to be solved by the invention]
However, with the techniques (1) to (5) described above, by registering personal preferences in advance in an application service provider (distribution server), the provider generates digests and program-related information for individual users. Although it is possible, no technology has been provided for the “delivery timing” of when the generated personal information is delivered.
[0013]
The present invention has been made in view of the above, and in a push-type service in which a provider generates and distributes digests and program-related information for individual users, information for individuals is generated and distributed at an optimal timing. An object is to provide a possible digest distribution system.
[0014]
[Means for Solving the Problems]
To achieve the above object, the digest distribution system according to claim 1, the input transmitted by the broadcast, the program image comprising a plurality of consecutive frames, and the program additional information is supplementary information of the program information A digest distribution system comprising: a distribution server that generates and distributes a digest of the program video and program additional information; and a receiving terminal for viewing the digest distributed from the distribution server, wherein the receiving terminal Comprises setting means for setting, on the distribution server, user preference information regarding the program video and start designation information designating a program additional information group obtained by grouping a plurality of types of program additional information , push server, entering the program additional information, the type of program additional information input is open, which is set in advance Any one kind of a plurality of program additional information to match whether determined in the specified information, if they match, distributes and generates a digest based on the preference information and the start designation information Generating / distributing means , wherein the setting means selects one of a plurality of program additional information groups including a program additional information group having a higher importance, which is set in advance. The start designation information is designated .
[0015]
According to the present invention, when the user sets the preference information related to the program video and the start designation information that specifies the type of arbitrary program additional information in advance for the distribution server via the setting unit of the receiving terminal, When the program video and the program additional information transmitted in the broadcast environment are input, the server determines whether or not the type of the input program additional information matches the preset start designation information. When doing so, a digest is generated and distributed based on the preference information and the start designation information.
[0016]
The digest distribution system according to claim 2 is the digest distribution system according to claim 1, wherein the preference information and the start designation information can be individually set in the distribution server for each receiving terminal. The server generates and distributes a digest for each receiving terminal based on the preference information and start designation information individually set for each receiving terminal.
[0017]
According to this invention, the distribution server generates and distributes the digest for each receiving terminal based on the preference information and start designation information individually set for each receiving terminal. Every time, a digest reflecting the user's preference information is generated and distributed at the distribution timing designated by the user with the start designation information.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the digest distribution system of the present invention,
[Outline of the Invention]
[Schematic Configuration of Digest Distribution System of the Present Embodiment]
[Definition of each data used in this embodiment]
[Setting screen of preference information / start specification information of receiving terminal of this embodiment]
[Operation of each module of distribution server of this embodiment]
[Operation of digest generation / distribution processing by received event]
A detailed description will be given in this order with reference to the accompanying drawings.
[0022]
[Outline of the Invention]
The digest distribution system according to the present invention enables a provider to generate and distribute personal information at an optimal timing in a push-type service in which a provider generates and distributes digests and program-related information for individual users. .
[0023]
The digest distribution system of the present invention generates a digest by inputting the program video and the program additional information in a broadcasting environment where the supplemental information is transmitted as the program additional information together with the program video consisting of a plurality of continuous frames. A digest distribution system having a distribution server that distributes and a receiving terminal for viewing the digest distributed from the distribution server is an object.
[0024]
However, here, the distribution server does not necessarily receive the program video and the program additional information transmitted from the broadcasting station in real time. For example, the distribution server receives the program video and the program additional information received by another device as CD, MO, The case of inputting via various media such as a DVD is also included.
[0025]
In addition, the digest generated and distributed may be a digest of only the program video, a digest of only the program additional information generated from the program additional information, or a digest of both the program video and the program additional information. It is done. Further, when the digest is distributed, information related to the generated digest may be added as program related information.
[0026]
The receiving terminal of the present invention further includes setting means for setting user preference information relating to a program video and start designation information designating a type of arbitrary program additional information to the distribution server. This preference information and start designation information can be set individually in the distribution server for each receiving terminal.
[0027]
In addition, when the program additional information is input, the distribution server determines whether or not the type of the input program additional information matches the preset start designation information. If they match, the distribution server sets the preference information and the start designation information. Based on preference information and start designation information individually set for each receiving terminal, a digest is generated and distributed for each receiving terminal.
[0028]
[Schematic Configuration of Digest Distribution System of the Present Embodiment]
FIG. 1 shows a schematic configuration of the digest distribution system of the present embodiment. As shown in the figure, a broadcast station 100 that transmits supplementary information as program additional information together with a program video composed of a plurality of continuous frames, and a broadcast station 100 The distribution server 200 that receives the program video and the program additional information transmitted from the distribution server 200 to generate and distribute the digest, and the receiving terminal 300 for viewing the digest distributed from the distribution server 200.
[0029]
Note that the numbers of the broadcasting station 100, the distribution server 200, and the receiving terminal 300 are not particularly limited.
[0030]
Further, as the receiving terminal 300, a device having a video transmission / reception function and a display function such as a mobile phone, a desktop computer, a notebook computer, and a PDA (personal digital assistant) can be used. The numeric keypad, display screen, communication function, and predetermined dedicated program that the receiving terminal 300 basically has serve as the setting means of the present invention.
[0031]
In addition, the distribution server 200 shows an example in which the program video and the program additional information are received from the broadcasting station 100. However, the distribution server 200 may directly input the program video and the program additional information broadcast in the past from a medium storing the program video. Are basically the same and fall within the scope of the present invention.
[0032]
[Definition of each data used in this embodiment]
Next, the definition of each data used in the distribution server 200 of the digest distribution system of this embodiment will be described. Distribution server 200 according to the present embodiment generates a digest of a program video in real time. Further, the distribution server 200 dynamically calculates the importance level at a certain point on the video by the importance level determination based on the event-driven processing method, and extracts the important scene (Scene) in real time.
[0033]
The processing data of the distribution server 200 is two types, Frame (f) which is a program video described below and Primitive Descriptor (p) which is program additional information. These two data are produced and broadcast by the broadcasting station 100. The distribution server 200 receives these data, and generates and distributes a digest.
[0034]
Frame (f)
The program video is a frame f _i sequence f ₁ ... F _n which is a still image. Each frame includes a frame number fno serving as an identifier and a time code timecode indicating an elapsed time (relative time from the first frame) represented by the frame. In the following, a continuous sequence of frames is called a frame sequence.
[0035]
Primitive Descriptor (p)
Basic program additional information added by the broadcasting station 100 is called a basic descriptor (hereinafter referred to as P-Descriptor). Each P-Descriptor p _i is associated with Frame f _j which is the start time of the description information. Each p is expressed by the following set.
[0036]

[0037]
The type type of the P-Descriptor indicates the type of program additional information. For example, in the case of a baseball broadcast, game breaks such as “game_start”, “inning_start”, “at_bat”, and actions such as “pitch”, “hit”, “home_run”, “out” and “at_bat” And P-Descriptor types that indicate the type of play.
[0038]
The attributes indicated by attr ₁ ,..., attr _n are attributes determined by the type type of the P-Descriptor, and the attribute value of each p _i is set. For example: In the case of P-Descriptor “pitch”, “pitcher_name”, “batter_name”, score information, and the like are attributes. The attribute determined by the P-Descriptor type is called a P-Descriptor schema.
[0039]
The relationship Frame f _j and P-Descriptor p _i is the one-to-many. A plurality of P-Descriptors may be associated with one Frame, and there are also Frames that are not associated with P-Descriptors. FIG. 2 shows the relationship between Frame and P-Descriptor.
[0040]
Next, data generated by the distribution server 200 using the processing data will be described. Data generated by the distribution server 200 includes Scene (scene), P-Descriptor Annotation (annotation: composite information), and Status Parameter (status parameter: semantic feature). FIG. 2 shows the relationship among Frame, P-Descriptor, Scene, Annotation, and Status Parameter.
[0041]
Scene (s)
A scene is a semantically organized frame sequence. Scene can be expressed in the following pairs.
[0042]

[0043]
Here, the scene type type indicates the type of the scene. For baseball programs, various scenes such as “Inning” (from “inning _start” event to the next “inning _start” event), “Throw” (from “pitch” event to the next “pitch”), “Reversal”, etc. Can be considered. The start frame number ffno and the end frame number lfno indicate the start and end frames of the frame sequence corresponding to the scene.
[0044]
Annotation (a)
The distribution server 200 automatically generates a description having multiple meanings from a plurality of pieces of P-Descriptor information, and uses it as supplementary information for a specific P-Descriptor. This is called Annotation (annotation: composite information). Annotation a is expressed in the following set.
[0045]

[0046]
Annotation type type indicates the type of Annotation. For example, in the case of a baseball program, Annotation such as “timely hit” and “reversing home run” can be considered. P-Descriptor “hit” and “home_run” are annotated respectively, and ID for specifying the P-Descriptor is set in pid.
[0047]
Status Parameter (p)
Status Parameter (Status Parameter: Semantic Feature) is an index indicating the importance level at a certain point on the video, and is calculated based on a preset status parameter calculation rule. Although it depends on the type of program, in general, a plurality of Status Parameters are calculated for each frame on the video. Note that the status parameter calculation rule is fired by event driven by generation of P-Descriptor and Annotation.
[0048]

[0049]
The type type of Status Parameter represents the type of importance (same meaning as the semantic feature value, hereinafter sometimes referred to as importance). For example, in the case of a baseball program, there are Status Parameters such as “attack level” indicating the degree of aggressiveness and “pitcher level” indicating the pitch of the pitcher. The value of importance at the time indicated by the timecode of the Frame specified by fno is value.
[0050]
[Setting screen of preference information / start specification information of receiving terminal of this embodiment]
FIG. 3 shows a setting screen for preference information / start designation information of the receiving terminal according to the present embodiment. Examples of user preference information include a favorite team name and a player name in the case of a sports video. Further, when creating a digest, the user inputs a digest search condition (generation condition). Specifically, as shown in the setting screen 301,
1. 1. Total digest video length 2. Length of each scene Do you want to see a scene that is offensive importance or a scene that is important to a defense? What events you want to see mainly (for example, HR scene)
5). Start specification information (information indicating which event will be delivered when it occurs)
The conditions are as follows. Of the above conditions, 3 and 4 correspond to preference information. The digest information to be distributed is text information explaining the contents and video information of the corresponding scene, but only text information or only video information is possible. Whether or not to transmit the video information is determined depending on the specification of the user via a predetermined setting screen or the specification of the communication network although not shown.
[0051]
Further, as the start designation information, it is possible to designate a specific event (that is, a specific type of program additional information). For example, in the case of a baseball program, an inning end event (in this case, each time the inning ends, the digest distribution is specified), a batting event (in this case, the digest distribution is specified for each batting) It can be specified as a home run event (in this case, when there is a home run, the digest delivery is specified).
[0052]
Further, a program additional information group obtained by grouping a plurality of types of program additional information can be specified as the start designation information.
For example, as the program additional information group, the following three groups are set according to the importance of the content of the program additional information.
First program additional information group: a group of very important program additional information (home run, reverse)
Second program additional information group: a group of moderately important program additional information (home run, reversal, additional points, 2 strikes, 3 strikes)
Third program additional information group: a group of minor additional program additional information (home run, reversal, additional points, 2 strikes, 3 strikes, stealing, hits, strikeouts)
[0053]
Each of the three program additional information groups includes a program additional information group that is more important than the program additional information group. Therefore, when the third program additional information group is designated, the first and second program additional information groups are automatically included.
[0054]
By setting the program additional information group in this way, the distribution timing (frequency of distribution) can be adjusted (controlled) by selecting the program additional information group.
[0055]
[Operation of each module of distribution server of this embodiment]
Next, the operation of each module of the distribution server 200 of this embodiment will be described. FIG. 4 is an explanatory diagram showing the operation of each module of the distribution server 200 of this embodiment.
[0056]
The processing modules of the present system (distribution server 200) include the following, and these modules serve as the generation / distribution means of the present invention.
* Scene extraction module * Status parameter calculation module * Digest / program related information generation module * Digest / related information monitoring module * Digest / program related information generation event issuing module * Distribution timing / preference information setting module
Further, the events processed in the distribution server 200 include the following.
* P-Descriptor reception event * Scene extraction event * Annotation generation event * Status parameter calculation event * Digest generation start event * Digest related information change event
Here, with reference to FIG. * 3, an outline of digest generation / distribution processing in the distribution server 200 will be described. The following numbers correspond to the numbers in the figure, and indicate the respective processes. Note that the digest generation DB in the figure stores a calculated status parameter, a generated scene and annotation, a usage profile in which the distribution timing of each receiving terminal 300 is set, and the like.
[0059]
(1) When program additional information (P-Descriptor) broadcast from a broadcasting station is received, a P-Descriptor reception event occurs.
(2) Upon receipt of a P-Descriptor reception event, a scene extraction rule is fired in the scene extraction module, scene extraction (Scene extraction) is performed, and annotation generation (Annotation generation) is performed on program additional information in the scene. When the annotation is generated, an Annotation generation event is issued to the status parameter calculation module and the digest / program related information generation module.
[0060]
(3) In the status parameter calculation module, in response to the occurrence of the P-Descriptor reception event and the Annotation generation event, the status parameter calculation rule is fired, and the value of the status parameter (Status Parameter) is calculated. When the value of the status parameter is calculated, a status parameter calculation event is issued to the digest / related information monitoring module.
[0061]
(4) When an event relating to the generation of digest / program related information is received, (b) an annotation is generated, or (c) the status parameter value is changed, the digest / related information monitoring module The digest related information change event is issued to the digest / program related information generation event issuing module. Here, the digest related information change event is issued upon reception of a scene extraction event and a status parameter calculation event. Also, according to any of the above (a) to (c), the digest / related information monitoring module issues the digest related information change event can be selected and set in (7) described later. In this embodiment, the case where (a) is selected is targeted.
[0062]
(5) When the digest / program related information generation event issuing module receives the digest related information change event, it analyzes the content and generates a digest generation start event to generate individual digest / program related information of the user. Issue.
(6) The digest / program related information generation module starts generating a digest when it receives a digest generation start event. Further, the generated digest is distributed to each user (that is, each receiving terminal 300).
[0063]
(7) Selecting and setting whether to issue a digest related information change event according to any of the above (a) to (c) is the same as setting the delivery timing. These three distribution timings can be set in the distribution server 200 in advance by the user via the individual receiving terminals 300. In the present embodiment, the case where (a) is always selected is targeted.
[0064]
Specifically, when a user transmits a distribution timing at which a digest is desired to the distribution server 200 via the setting screen 301 of the receiving terminal 300, the distribution timing / preference information setting module of the distribution server 200 is stored in the digest generation DB. Each distribution timing is set in the stored profile information (usage profile) for each receiving terminal 300.
[0065]
Next, the “scene extraction module”, “status parameter calculation module”, and “digest / program related information generation module” will be specifically described in this order.
[0066]
"Scene Extraction Module"
In this embodiment, Scene extraction and Annotation generation are given as “scene extraction rules”. This rule is defined in advance and stored in a database. The scene extraction rule is specifically expressed in the following markup language.
[0067]

Here, the Scene type, pattern, and Annotation designation are non-terminal symbols.
[0068]

Here, the start P-Descriptor, end P-Descriptor, and P-Descriptor pattern are non-terminal symbols.
[0069]

Here, the Annotation type and the P-Descriptor position are non-terminal symbols.
[0070]
When a pattern is established in the received P-Descriptor, a scene of the type indicated by the Scene type is generated.
The start P-Descriptor and the end P-Descriptor define a matching range for scene extraction. When the start P-Descriptor is received, matching of the P-Descriptor pattern is started. If the matching of the P-Descriptor pattern is completed before the end P-Descriptor is generated, the Scene is extracted.
[0071]
If the end P-Descriptor is received before the pattern match, the pattern match process is canceled. When the start P-Descriptor and the end P-Descriptor are omitted, P-Descriptor pattern matching processing is executed in the range from the start to the end of the program.
[0072]
P-Descriptor pattern in the regular expression for P-Descriptor p _i. For the P-Descriptor pattern, parentheses "()" that specify the priority of the operation, """and" $ "that indicate the start and end P-Descriptors of the Scene can also be used, and the attribute data attr of the P-Descriptor Can be specified using square brackets "[]", "+" is an operator that indicates that an event occurs more than once, "*" is an operator that repeats zero or more times, etc. The event is ". "
[0073]
When the scene extraction is completed, the Annotation designated by the Annotation designation is added to the P-Descriptor referenced at the P-Descriptor position. To refer to the P-Descriptor position, the P-Descriptor to be referred to in the P-Descriptor pattern is surrounded by “\ (... \)” and designated by the number in that order.
[0074]
Examples of scene extraction rules are shown below.

[0075]
The above example is a rule for generating a reverse scene. After the P-Descriptor “inning_start”, “hit”, “four_ball”, “dead_ball” or “HR” is received. At that time, the score of the attack team is lower than that of the defensive team, and after that, “add_score” indicating the score is received one or more times, and the scene where the score of the attack team is high in the P-Descriptor immediately after that is extracted as a reverse scene. To do.
[0076]
When a scene is extracted, an Annotation “Trigger for Reversal” is generated and added to the P-Descriptor (referenced by hit, four_ball, dead_ball or HR, \ 1) in the pattern. Furthermore, Annotation is generated and added to the last add_score (referenced by \ 2 [$]) in the next matched add_score.
[0077]
By this scene extraction and annotation generation processing, it is possible to discover a semantic group of videos and add an annotation having a complex meaning while receiving basic program additional information. Moreover, since the scene extraction rule is defined by a regular expression of supplementary information, scene extraction can be easily performed. In addition, the scene to be extracted can be easily specified and changed, and various scenes can be extracted.
[0078]
Next, the “status parameter calculation module” will be described. In the present embodiment, the calculation of the status parameter is given as a “status parameter calculation rule”. This rule is also defined in advance and stored in a database.
[0079]
To determine semantic importance of the Frame f _i with the upper image (the semantic feature amount), Status Parameter p ₁ indicating the importance of the f _i, compute the ... p _n. Here, the calculation process will be specifically described.
[0080]
The value of Status Parameter p _i is calculated by the following status parameters calculation rule.

Here, the trigger event name and the rule designation are non-terminal symbols.
[0081]
Trigger event name =
(P-Descriptor type | Annotation type)
Here, the P-Descriptor type and Annotation type are non-terminal symbols.
[0082]

Here, the Status Parameter type, operator, and value | expression are non-terminal symbols.
[0083]
Specify the P-Descriptor type and Annotation type for the trigger event name. When a specified P-Descriptor reception event or Annotation generation event is received, the rules described below are fired.
[0084]
In the rule specification, the name of the Status Parameter type and its calculation formula (operator and value or expression) are defined. In the case of the P-Descriptor reception event according to the present invention, the value of the Status Parameter in the corresponding Frame is calculated. Incidentally, in the case of an Annotation generation event, the value of the Status Parameter of the Frame corresponding to the P-Descriptor to which the Annotation is added is calculated. An arithmetic operator is specified as the operator.
[0085]
At this time, if the Status Parameter value has already been calculated for the frame, a new value is obtained based on the value. If not calculated, the value is determined as an initial value of 0.
[0086]
An example of the status parameter calculation rule is shown below.

[0087]
The above is an example in which a status parameter calculation procedure is described when a reception event of P-Descriptor “home_run” is received in a baseball program. When the “home_run” reception event is received, the value of the “attack level” parameter in the corresponding Frame is incremented by 5 as shown in (Example 1).
[0088]
This event-driven status parameter calculation process enables dynamic importance calculation while receiving program additional information.
[0089]
Next, the “digest / program related information generation module” will be described. The digest / program related information generation module generates a digest based on a digest generation rule as shown below.
[0090]

Here, the digest generation range, extraction scene type, status parameter expression, total digest time, and extraction designation value are non-terminal symbols.
[0091]

Here, the start time code and the end time code are non-terminal symbols.
[0092]
When the user sends preference information and start designation information (distribution timing) to the distribution timing / preference information setting module via the setting screen 301 of the receiving terminal 300, the distribution timing / preference information setting module automatically Generate automatically. In the digest generation range, a range for generating a digest in the target video is designated. If the end time code is omitted, it indicates that a digest is generated while receiving in real time. According to the extraction scene type, “digest candidate scenes” [s _i ] are extracted.
[0093]
Further, for example, the following description can be written in the status parameter expression.
(A) Attack level (B) Attack level + User preference level * 0.5
[0094]
The designation in (a) above is a designation for generating a digest based only on the attack level (the type of semantic feature quantity used for digest generation). The designation (A) is a designation for generating a digest based on an attack level plus a user preference level * 0.5 times.
[0095]
A value is calculated according to the status parameter formula for each frame in each candidate scene. This value is called “importance value” of each frame. A scene is selected according to the following policy based on this importance value.
[0096]
When the total digest time is specified via the digest / program related information generation module, the scenes having higher importance values are selected in order until the total digest time becomes equal to the specified total digest time.
[0097]
When an extraction specification value is specified by the digest / program related information generation module, a scene having an importance value equal to or higher than the specified value is selected, and a digest is generated by reconfiguring in time series.
[0098]
[Operation of digest generation / distribution processing by received event]
In the above configuration, a case where a digest is generated / distributed when an event related to generation of a digest / program related information is received will be described.
For example, consider the case where video digest information and program-related information are distributed when the following event is received. Note that what kind of event (program additional information) is received and the digest is generated and distributed is determined by the receiving terminal 300 and the distribution timing / preference information setting as shown by (7) in FIG. It is preset in the usage profile via the module. Here, it is assumed that an inning start event (“inning_start”) is set as start designation information of the present invention.
[0099]
Inning start event ("inning_start")
Upon receiving the program additional information, the distribution server 200 determines whether or not the type of the received program additional information matches the start designation information (inning start event). If they match, the distribution server 200 generates and distributes a digest.
In other words, when the distribution server 200 receives the inning start event, the digest / related information monitoring module issues a digest related information change event. In response, the digest / program related information generation event issuing module issues a digest generation start event to the digest / program related information generating module.
[0100]
The digest / program related information generation module generates digest / program related information for individual users based on information such as P-Descriptor (program additional information), status parameters, and annotations. At this time, if the information has already been distributed to the target user, the digest / program related information is generated and distributed only for the difference information.
[0101]
FIG. 5 shows the results of the game analysis up to the back of the second round of 1998-month-day, 1998. When the second inning is finished and the inning start event of the third table is received, a digest is generated. The following are examples of digest information and program-related information generated up to the second time. In the figure, 401 indicates a graph with the horizontal axis of the program video time axis and the vertical axis indicates the status parameter value, and 402 indicates the structure of the program video. The presence of a plurality of status parameter values at the same time on the graph 401 is due to the fact that a plurality of types of status parameters are simultaneously calculated and displayed.
[0102]
Digest information (including the corresponding digest video scene)
1 time Oto Hiroto Eto's sacrifice hit the first time 1 time behind Hitoshi Takahashi's timely hit 2 times back Hits Hitoshi River phase hit 2 times back Hitoshi Matsui's 3 run home run [0103]
Program related information Player profile batting information Yesterday's home run scene Today's Takahashi [0104]
The digest information and the program related information are generated and distributed to the receiving terminal 300 of each user.
[0105]
As described above, the types of program additional information (event types) for specifying the distribution timing are transmitted in advance by individual users to the distribution server 200 using the respective receiving terminals 300 and stored in the digest generation DB. Since the distribution server 200 refers to the usage profile, the start specification information (program additional information) individually set for each receiving terminal 300 is set in the profile information (usage profile) for each receiving terminal 300. The digest can be generated and distributed at a distribution timing desired by each user.
[0106]
It is also possible to set a plurality of start designation information in a user profile corresponding to one receiving terminal 300. For example, in addition to the above start specification information (inning start event), start specification information (home run event) is set. Even when a home run occurs, the digest is generated and distributed.
[0107]
Further, when a program additional information group in which a plurality of types of program additional information are grouped is specified as the start specifying information, the distribution timing and the number of program additional information included in the program additional information group are determined. It is possible to adjust the frequency of distribution.
[0108]
For example, when a first program additional information group (a group of very important program additional information) is designated, a digest is generated and distributed only when a “home run” event or a “reverse” event occurs. However, if a third program additional information group (a group of program additional information that is important to a small extent) is designated, in addition to the “home run” event and “reversal” event, the “additional” event, “two strikes” ”Event,“ 3 strikes ”event,“ stolen ”event,“ hit ”event, and“ struck out ”event, the digest is delivered, so the delivery frequency can be increased.
[0109]
As described above, by using the digest distribution system of the present embodiment, in a push type service in which a provider generates and distributes digests and program-related information for individual users, information for individuals is sent at the optimal timing. Can be generated and distributed.
[0110]
In the above-described embodiment, a baseball program has been described as an example of a program video. However, the present invention is not limited to this. For example, a program that distributes stock information or the like to individuals, a news program, etc. Needless to say, this is applicable to all push-type services in which a provider generates and distributes digests and program-related information for individual users, such as when delivering only information in real time.
[0111]
【The invention's effect】
As described above, the digest distribution system of the present invention inputs a program video and program additional information in a broadcast environment where the supplemental information is transmitted as program additional information together with a program video consisting of a plurality of continuous frames. A digest distribution system comprising: a distribution server that generates and distributes a digest of program video and program additional information; and a receiving terminal for viewing the digest distributed from the distribution server, wherein the receiving terminal Setting means for setting, for the distribution server, the user preference information and the start designation information designating the type of arbitrary program additional information, and the distribution server inputs the program additional information when the program additional information is input. It is determined whether or not the type matches the preset start specification information. Because it has a generation / distribution means that generates and distributes digests based on information and start designation information, the push-type service that generates and distributes digests and program-related information for individual users at the optimal timing A digest distribution system capable of generating and distributing information for individuals can be provided.
[0112]
In addition, since the distribution server generates and distributes a digest for each receiving terminal based on preference information and start designation information individually set for each receiving terminal, it is used for each receiving terminal, that is, for each user. A digest reflecting the user's preference information can be generated and distributed at the distribution timing designated by the user with the start designation information. In addition, since it is possible to specify a plurality of types of program additional information in one program additional information group, setting of distribution timing is easy. In addition, since a plurality of program additional information groups are set, and a certain program additional information group includes a program additional information group having higher importance than the program additional information group, which program additional information group is selected. Depending on the setting, digest generation and distribution timing (in this case, in particular, the frequency) can be adjusted.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram of a digest distribution system according to an embodiment.
FIG. 2 is an explanatory diagram showing a relationship among data (Frame, P-Descriptor, Scene, Annotation, Status Parameter) used in the present embodiment.
FIG. 3 is an explanatory diagram showing a setting screen for preference information / start designation information of a receiving terminal according to the present embodiment;
FIG. 4 is an explanatory diagram showing an operation of each module of the distribution server according to the present embodiment.
FIG. 5 is an explanatory diagram showing digest generation and distribution according to distribution timing according to the present embodiment;
[Explanation of symbols]
100 broadcast station 200 distribution server 300 receiving terminal 301 setting screen

Claims

Transmitted by the broadcast, the program image comprising a plurality of consecutive frames, the distribution server that the inputs the program additional information is supplementary information of the program information, distributes and generates a digest of the program video and program additional information And a digest distribution system having a receiving terminal for viewing the digest distributed from the distribution server,
The receiving terminal includes a setting unit configured to set, for the distribution server, user preference information regarding the program video and start designation information designating a program additional information group obtained by grouping a plurality of types of program additional information. Prepared,
The distribution server, entering the program additional information, the type of program additional information inputted coincides with any one type of the plurality of program additional information included in the start designation information set in advance And a generation / distribution means for generating and distributing a digest based on the preference information and the start designation information when they match ,
The setting means includes
A preset additional program information group having a lower importance level is selected from a plurality of additional program information groups including a higher importance program additional information group and designated as the start designation information. A digest distribution system characterized by this.

The preference information and start designation information can be set in the distribution server individually for each receiving terminal,
The digest distribution system according to claim 1, wherein the distribution server generates and distributes a digest for each receiving terminal based on the preference information and start designation information individually set for each receiving terminal. .