JP4192703B2 - コンテンツ処理装置、コンテンツ処理方法及びプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、コンテンツ処理装置、コンテンツ処理方法及びプログラムに関する。
【０００２】
【従来の技術】
近年、情報のマルチメディア化が進み、映像情報、音声情報およびテキスト情報等とを含むマルチメディアコンテンツの情報量は、急激に増大している。これらの情報を記憶しておき、後に必要に応じて再び呼び出すことにより、より有効に利用することができる。
【０００３】
このため、このようなマルチメディアコンテンツを有効に利用できるようにしたコンテンツ処理装置がある。
このコンテンツ処理装置は、映像情報に付加されている音声情報に基づいて音声認識を行い、音声認識結果であるテキスト情報と映像情報とを構造化する。
【０００４】
複数種類の情報を対応付けるシステムの一例として、原稿上の文字を文字認識して電子化した第１テキストと、音声情報を音声認識して電子化した第２テキストとから最適な第３テキストを生成して、デジタルデータのテキスト情報を得る電子化テキスト作成システムがある（例えば、特許文献１参照）。
【０００５】
また、映像情報に付加されている音声情報にもとづいて音声認識を行い、音声認識結果であるテキスト情報と映像情報とを構造化するシステムがある（例えば、特許文献２参照）。
【０００６】
さらに、映像情報、音声情報、テキスト情報等をデジタル化し、それらの情報と、それらの情報の時間的関連を示す時間情報とを保存するマルチメディア情報処理装置がある（例えば、特許文献３及び特許文献４参照）。
【０００７】
【特許文献１】
特開２００１−２８２７７９号公報（第３−８頁、図１）
【特許文献２】
特開２００２−１８９７２８号公報（第３頁、図１）
【特許文献３】
特開平８−２５３２０９号公報（第３−８頁、図５）
【特許文献４】
特開２００２−２７８９７４号報（第４頁−第６頁、１図）
【０００８】
【発明が解決しようとする課題】
しかし、特許文献１に記載されている従来のコンテンツ処理装置では、原稿と音声認識処理結果のテキストとのマッチング処理を行うので、より正確なテキスト情報を自動的に作成することができる。しかし、特許文献１には、映像情報等の他の情報との対応付けに関する開示がないので、特許文献１に記載された技術を映像情報、音声情報およびテキスト情報の構造化処理に適用する場合には、人為的に構造化処理を行わなくてはならない。
【０００９】
また、特許文献２に記載されている従来のコンテンツ処理装置では、映像情報と映像情報に付加されている音声情報とを構造化することができるが、特許文献２には、さらにテキスト情報を構造化することに関して何ら開示されていない。
【００１０】
さらに、特許文献３に記載されている従来のコンテンツ処理装置では、映像情報、音声情報およびテキスト情報等の各情報間の構造化処理を、入力された時間における時間情報を用いて行っているが、時間情報は、映像情報、音声情報およびテキスト情報等を作成するときに付加されている必要がある。従って、時間情報が付加されていない場合には、テキスト情報、映像情報および音声情報を自動的に対応付けることはできず、対応付けのために人手を要することになる。
【００１１】
特許文献４に記載されている従来のコンテンツ処理装置では、テキスト情報である映画やドラマ、演劇の台本に時間情報が記載されていることを想定し、映像情報の経過時間と比較することにより、テキスト情報と映像情報の対応付けを行っている。しかし、時間情報は台本に記載されていないことが多い。時間情報が記載されている場合でも、実際の撮影や編集によって台本と映像に時間的ズレがある場合が多い。特にテレビドラマのようにシーンが１秒以下で切り替わる場合には、これらのずれが大きく影響し、対応付けができなくなる可能性が高い。
【００１２】
さらに何れの従来のコンテンツ処理装置でも、音声認識に大きく依存しているが、実際のテレビ番組では、人物が登場していても発言の無いシーンや、音声環境が悪く、音声認識が困難である場合が多い。また、出演者のアドリブにより発言内容が台本と大きく異なってしまい、音声情報とテキスト情報を対応付けられない場合がある。
【００１３】
また、音声情報とテキスト情報との対応付けが困難であれば、利用可能なコンテンツを生成するには、時間を要することになり、コンテンツを利用するには、限界がある。
【００１４】
本発明は、このような従来の問題点に鑑みてなされたもので、コンテンツを容易に利用することが可能なコンテンツ処理装置、コンテンツ処理方法及びプログラムを提供することを目的とする。
【００１５】
【課題を解決するための手段】
この目的を達成するため、本発明の第１の観点に係るコンテンツ処理装置は、
映像情報及び音声情報を含むコンテンツと前記コンテンツの筋書きを文字データで表現した台本情報との対応付けを行うコンテンツ処理装置において、
前記コンテンツの認識処理を行って、前記コンテンツが含む各場面の特徴部分を文字データで表現した画像認識文字情報及び音声認識文字情報を生成する認識部と、
前記認識部が生成した画像認識文字情報及び音声認識文字情報の前記特徴部分をそれぞれ抽出して区切り、区切った各部分の開始時刻と終了時刻とを示すタイムコードを生成するタイムコード生成部と、
前記台本情報の特徴部分を取得して、取得した特徴部分に基づいて前記台本情報を各場面毎に区切り、前記認識部が生成した前記画像認識文字情報と前記音声認識文字情報とを、前記タイムコード生成部が生成したタイムコードが示す位置で分割し、分割した前記画像認識文字情報と前記音声認識文字情報とが一致しない場合でもそれぞれを正しいものと判断して、前記台本情報の各場面と分割した前記画像認識文字情報と前記音声認識文字情報との対応付けを行い、前記台本情報の各場面と分割した前記画像認識文字情報と前記音声認識文字情報との対応関係を示す対応情報を生成するマッピング部と、
前記マッピング部が生成した対応情報と前記タイムコード生成部が生成したタイムコードとに基づいて、前記台本情報の各場面と各場面のタイムコードとの関係を示す構造化情報を、必要なコンテンツを検索するための情報として生成する構造化処理部と、を備えたものである。
【００１８】
前記台本情報の画面構成を予測して、予測した画面構成を前記台本情報に付加して前記マッピング部に出力するシーン予測部を備えてもよい。
【００１９】
前記台本情報と、前記コンテンツと、前記タイムコード生成部が生成したタイムコードと、前記構造化処理部が生成した構造化情報と、を格納するためのデータ格納部を備えてもよい。
【００２０】
前記データ格納部は、
前記コンテンツを格納するコンテンツ格納部と、
前記台本情報と前記構造化情報とを格納するテキストファイル格納部と、
前記タイムコードを格納するタイムコード格納部と、を備えたものであってもよい。
【００２１】
前記構造化処理部は、前記テキストファイル格納部における前記台本情報を収納した台本情報ファイルと前記タイムコードを収納したタイムコードファイルとを生成し、前記台本情報ファイルの各区切りの開始アドレスと終了アドレスと、前記タイムコードファイルにおける各区切りのタイムコードの開始アドレスと終了アドレスとを示す管理情報を生成し、
前記データ格納部は、前記管理情報を格納する管理情報格納部を備えたものであってもよい。
【００２２】
前記データ格納部は、
前記台本情報をマークアップアップランゲージファイルとして記憶するマークアップアップランゲージファイル格納部を備えたものであってもよい。
【００２３】
前記データ格納部に格納された前記台本情報と前記コンテンツとを、入力された検索条件に基づいて同期させて出力する同期データ出力部を備えたものであってもよい。
【００２４】
前記同期データ出力部は、
前記台本情報とコンテンツとから必要な場面を抽出するための検索条件を入力し、前記検索条件に対応する場面の台本情報とコンテンツとを出力する入出力部と、
前記入出力部に入力された検索条件に対応する台本情報における場面を特定し、特定した前記場面に対応するタイムコードを抽出する検索制御部と、
抽出された前記タイムコードに対応するコンテンツの場面を特定し、特定した場面のコンテンツと検索条件に対応する台本情報とを同期させる同期処理部と、
前記同期処理部が同期した当該場面に対応するコンテンツと台本情報とを前記入出力部に出力する同期処理部と、を備えたものであってもよい。
【００２５】
本発明の第２の観点に係るコンテンツ処理方法は、
映像情報及び音声情報を含むコンテンツと前記コンテンツの筋書きを文字データで表現した台本情報との対応付けを行うコンテンツ処理方法であって、
前記コンテンツの認識処理を行って、前記コンテンツが含む各場面の特徴部分を文字データで表現した画像認識文字情報及び音声認識文字情報を生成するステップと、
前記生成された画像認識文字情報及び音声認識文字情報の前記特徴部分をそれぞれ抽出して区切り、区切った各部分の開始時刻と終了時刻とを示すタイムコードを生成するステップと、
前記台本情報の特徴部分を取得して、取得した特徴部分に基づいて前記台本情報を各場面毎に区切り、前記生成した前記画像認識文字情報と音声認識文字情報とを、生成した前記タイムコードが示す位置で分割し、分割した前記画像認識文字情報と前記音声認識文字情報とが一致しない場合でもそれぞれを正しいものと判断して、前記台本情報の各場面と分割した前記前記画像認識文字情報と前記音声認識文字情報との対応付けを行い、前記台本情報の各場面と分割した前記画像認識文字情報と前記音声認識文字情報との対応関係を示す対応情報を生成するステップと、
前記生成した対応情報と前記生成したタイムコードとに基づいて、前記台本情報の各場面と各場面のタイムコードとの関係を示す構造化情報を、必要なコンテンツを検索するための情報として生成するステップと、
前記台本情報、コンテンツ、タイムコード、構造化情報を記憶するステップと、を備えたものである。
【００２６】
本発明の第３の観点に係るプログラムは、
コンピュータに、
前記コンテンツに含まれている映像情報及び音声情報の認識処理を行って、前記コンテンツが含む各場面の特徴部分を文字データで表現した画像認識文字情報及び音声認識文字情報を生成する手順、
前記生成された画像認識文字情報及び音声認識文字情報の前記特徴部分をそれぞれ抽出して区切り、区切った各部分の開始時刻と終了時刻とを示すタイムコードを生成する手順、
前記コンテンツの筋書きを文字データで表現した台本情報の特徴部分を取得して、取得した特徴部分に基づいて前記台本情報を各場面毎に区切り、前記生成した前記画像認識文字情報と前記音声認識文字情報とを、生成した前記タイムコードが示す位置で分割し、分割した前記画像認識文字情報と前記音声認識文字情報とが一致しない場合でもそれぞれを正しいものと判断して、前記台本情報の各場面と分割した前記前記画像認識文字情報と前記音声認識文字情報との対応付けを行い、前記台本情報の各場面と分割した前記画像認識文字情報と前記音声認識文字情報との対応関係を示す対応情報を生成するステップと、
前記生成した対応情報と前記生成したタイムコードとに基づいて、前記台本情報の各場面と各場面のタイムコードとの関係を示す構造化情報を、必要なコンテンツを検索するための情報として生成する手順、
前記台本情報、コンテンツ、タイムコード、構造化情報を記憶する手順、
を実行させるためのものである。
【００２７】
【発明の実施の形態】
以下、本発明の実施の形態に係るコンテンツ処理装置を図面を参照して説明する。
本実施の形態に係るコンテンツ処理装置の構成を図１に示す。
コンテンツ処理装置は、同期データ生成部１と、データ格納部２と、同期データ出力部３と、からなる。
【００２８】
尚、コンテンツホルダ４は、映像情報と音声情報とが記録された映像メディア５と、映像情報に関連する文書が記載されているテキストメディア６とを保有しているホルダである。
【００２９】
映像メディア５、テキストメディア６は、外部記録媒体であって、磁気記録テープ、ＤＶＤ（Digital Versatile Disk）が用いられる。また、記録容量は少ないものの、映像メディア５、テキストメディア６に、フレキシブルディスク、ＭＤ（Mini Disc；登録商標）、ＭＯ（Magneto-Optic）、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）等を用いることもできる。
【００３０】
テレビ放送におけるドラマ番組の場合、テキストメディア６には、ドラマ番組の台本のデータがテキスト情報として記録される。このテキスト情報は、コンテンツの筋書きを文字データで表現したものである。また、映像メディア５には、ドラマ番組の映像情報と、台詞に従って発声した俳優の発声音等の音声情報と、が記録される。
【００３１】
コンテンツホルダ４から取り出された映像メディア５、テキストメディア６に記録されたデータは、同期データ生成部１に入力される。
【００３２】
同期データ生成部１は、映像メディア５とテキストメディア６とに記録されているデータを取り出してデータ処理を行い、同期したデータを生成するものである。
【００３３】
同期データ生成部１は、テキスト入力部１１と、シーン予測部１２と、映像音声入力部１３と、画像認識部１４と、音声認識部１５と、タイムコード生成部１６と、マッピング部１７と、構造化処理部１８と、を備えて構成される。
【００３４】
テキスト入力部１１は、テキストメディア６からテキスト情報を読み出すものである。尚、テキストメディア６がアナログデータを記録した記録媒体である場合、テキスト入力部１１は、このテキストメディア６からアナログデータを読み出すため、例えば、ＯＣＲ（光学式文字読み取り）装置と、デジタル−アナログ変換器と、を備える（図示せず）。テキスト入力部１１は、テキストメディア６から読み出したテキスト情報をシーン予測部１２に出力する。
【００３５】
シーン予測部１２は、テキスト入力部１１から出力されたテキスト情報に基づいて、各シーンの画面構成および音声構成を予測するものである。画面構成とは、画面内に映っている人物や物の名称や動きのことをいう。また、音声構成とは、シーン内の人物の声や物音、音楽や効果音のことをいう。
【００３６】
シーン予測部１２は、画面構成および音声構成を予測するため、ルール、例えば、台本内にカメラワークに対する指示が無い限り、台本記入の人物の顔が映っているといったルール、主語が省略されている場合は、前のシーンのト書きの主語を使うといったルールを予め蓄積する。
【００３７】
そして、シーン予測部１２は、蓄積したルールとテキスト入力部１１から出力されたテキスト情報とに基づいて、台本に記述されている各シーンの画面構成および音声構成を予測する。各シーンの画面構成および音声構成の予測については、台本に記述してある内容をシーン毎に羅列するだけで十分である。
【００３８】
記述があいまいな場合、例えば、テレビドラマの台本に、“人物Ａが部屋から出て行く”という記述がある場合、画面内に人物Ａがいなくなったと明記されていなくても、シーン予測部１２は、現在の場面設定と人物の行動とから、この人物Ａが画面から消えたと推測する。
シーン予測部１２は、予測した各シーンの画面構成及び音声構成を、テキスト情報に付加してマッピング部１７に出力する。
【００３９】
映像音声入力部１３は、映像メディア５から映像情報、音声トラックに記録されている音声情報を取り出すものである。尚、映像メディア５がアナログデータを記録した記録媒体の場合に映像メディア５からアナログデータを読み出すため、映像音声入力部１３は、ビデオキャプチャ等を備える。そして、映像音声入力部１３は、映像メディア５からアナログ映像情報、アナログ音声情報を読み出し、ビデオキャプチャ等を用いてＡＶＩ形式又はＭＰＥＧ形式のデジタル映像情報、デジタル音声情報に変換する。
映像音声入力部１３は、取り出した映像情報、音声情報を、それぞれ、画像認識部１４、音声認識部１５に出力する。
【００４０】
画像認識部１４は、映像音声入力部１３から出力された映像情報について画像認識処理を行い、画像認識結果として、画像認識文字情報を生成するものである。この画像認識文字情報は、映像情報が含む各場面の特徴部分を文字データで表現したものである。例えば、映像に登場人物として刑事Ａの顔が映っている場合、画像認識部１４は、画像認識結果として、「刑事Ａの顔」という画像認識文字情報を生成する。
【００４１】
画像認識部１４は、このような画像認識処理を行うため、映像情報から、カット、カメラワーク、照明環境、背景、登場人物、表情、顔の向き、年代、性別、髪型、化粧、人物の動作、画面内の物体、物体の動作について、全てのまたは一部の特徴部分を取り出す。そして、画像認識部１４は、取り出した特徴部分に基づいて区切って分割し、画像認識処理を行う。
【００４２】
また、画像認識部１４は、映像情報をタイムコード生成部１６に出力するとともに、映像情報の分割位置を示す情報をタイムコード生成部１６に出力する。
【００４３】
音声認識部１５は、映像音声入力部１３から出力された音声情報について音声認識処理を行い、音声認識結果として、音声認識文字情報を生成するものである。音声認識文字情報は、音声情報が含む各場面の特徴部分を文字データで表現したものである。例えば、音声に登場人物としての刑事Ａの声が含まれている場合、音声認識部１５は、音声認識結果として、「刑事Ａの声」という音声認識文字情報を生成する。
【００４４】
音声認識部１５は、このような音声認識処理を行うため、発言の内容、話者、音楽、効果音、その他の非言語音声、無音区間について、全てのまたは一部の特徴部分を取り出す。
【００４５】
また、音声認識部１５は、生成した音声認識文字情報について、単語切り出し処理を行い、音声情報を各単語に分割する。そして、音声認識部１５は、音声情報とともに、音声情報を各単語に分割したときの分割位置を示す情報をタイムコード生成部１６に出力する。
【００４６】
タイムコード生成部１６は、画像認識部１４、音声認識部１５から出力された情報に基づいて、画像、音声に関するタイムコードを生成するものである。タイムコードは、映像情報、音声情報の分割位置の開始と終了の時刻情報を示すものである。
【００４７】
タイムコード生成部１６は、画像に含まれている特徴部分に基づいて、以下のようなタイムコードを生成する。
（１）カットタイムコード：画像情報におけるカットの開始時刻と終了時刻とを示す。
（２）カメラワークタイムコード：カメラワークの開始時刻と終了時刻とを示す。
（３）照明環境タイムコード：照明環境の開始時刻と終了時刻とを示す。
（４）背景タイムコード：背景の開始時刻と終了時刻とを示す。
（５）登場人物タイムコード：登場人物の登場開始時刻と終了時刻とを示す。
（６）顔特徴タイムコード：人物の顔の向きや表情、化粧といった顔特徴の開始時刻と終了時刻とを示す。
（７）人物特徴タイムコード：年代、性別、髪型、化粧、衣服、背格好といった人物特徴の開始時刻と終了時刻とを示す。
（８）人物動作タイムコード：人物の動作の開始時刻と終了時刻とを示す。
（９）物体タイムコード：物体の登場開始時刻と終了時刻とを示す。
（１０）物体動作タイムコード：物体の動作の開始時刻と終了時刻とを示す。
【００４８】
また、タイムコード生成部１６は、音声に含まれている特徴部分に基づいて、以下のようなタイムコードを生成する。
（１１）単語タイムコード：音声情報における各単語の開始時刻と終了時刻とを示す。
（１２）話者タイムコード：音声情報における各話者の発言開始時刻と終了時刻とを示す。
（１３）非言語音声タイムコード：叫び声や笑い声、ため息などの音声情報における、非言語音声の開始時刻と終了時刻とを示す。
（１４）音楽タイムコード：音声情報における音楽の開始時刻と終了時刻とを示す。
（１５）効果音タイムコード：効果音の開始時刻と終了時刻とを示す。
（１６）無音区間タイムコード：無音区間の開始時刻と終了時刻とを示す。
【００４９】
タイムコード生成部１６は、生成した画像、音声に関するタイムコードのうち、これら全てのまたは一部のタイムコードを、それぞれ、画像認識部１４、音声認識部１５に出力する。
【００５０】
前述の画像認識部１４は、タイムコード生成部１６が出力したタイムコードのうち、全部又は一部のタイムコードを画像認識文字情報に付加して、タイムコードを付加した画像認識文字情報を、映像情報とともにマッピング部１７に出力する。
【００５１】
また、音声認識部１５は、タイムコード生成部１６が出力した各タイムコードの割り付けを行う。即ち、音声認識部１５は、単語タイムコードを各単語に割り付ける。音声認識部１５は、話者タイムコードを各発話に、非言語音声タイムコードを非言語音声に、音楽タイムコードを音楽に、効果音タイムコードを効果音に、無音区間タイムコードを無音区間に割り付ける。
【００５２】
そして、音声認識部１５は、タイムコード生成部１６が出力したタイムコードのうち、全部又は一部のタイムコードを音声認識文字情報に付加して、タイムコードを付加した音声認識文字情報を、音声情報とともにマッピング部１７に出力する。
【００５３】
マッピング部１７は、シーン予測部１２が出力したテキスト情報を予測したシーン（場面）毎に分割し、分割したテキスト情報と、画像認識部１４、音声認識部１５からそれぞれ出力された分割された画像認識文字情報、音声認識文字情報と、の対応付けを行うものである。
【００５４】
具体的には、マッピング部１７は、シーン予測部１２が出力したテキスト情報から、例えば、改行、インデント、人物名、固有名、地名等によって、話者の切り替わり、空白行、改行箇所等を、台本の区切り位置として検出する。マッピング部１７は、区切りを検出すると、検索しやすいように、その区切り位置でテキスト情報を区切る。
【００５５】
次に、マッピング部１７は、テキスト情報と、それぞれ、分割された画像認識文字情報、音声認識文字情報と、を比較する。
【００５６】
尚、比較には、例えば、ＤＰマッチングを用いる。ＤＰマッチングは、ＤＴＷ(Dynamic Time Warping)とも呼ばれるものであり、単語中の同じ音素同士が対応するように動的計画(Dymanic Programing)を用いて時間正規化を行い、単語と単語との類似距離を求める手法である。
【００５７】
次に、マッピング部１７は、これらの情報の対応付けを行い、対応情報を生成する。この対応情報は、図２に示すように、分割した画像認識文字情報及び音声認識文字情報と、テキスト情報と、の１対１の関係を示す情報である。
【００５８】
尚、テキスト情報と、画像認識文字情報と、音声認識文字情報と、が一致しなくても、マッピング部１７は、各々の認識結果は正しいと判断して対応付けを行う。
【００５９】
そして、マッピング部１７は、分割した画像認識文字情報、音声認識文字情報と、テキスト情報と、対応情報と、を構造化処理部１８に出力する。
【００６０】
構造化処理部１８は、タイムコードと対応情報とに基づいて、テキスト情報の区分けされた各シーン（場面）と各タイムコードとの対応付けを行い、構造化情報を生成するものである。構造化情報は、図２に示すように、対応付けされたテキスト情報の各シーンと各タイムコードとの１対１の関係を示す情報である。
【００６１】
構造化処理部１８は、分割された画像認識文字情報及び分割音声認識文字情報に付加されている各タイムコードから、テキスト情報の各区切りの開始時刻と終了時刻である各タイムコードを算出する。
【００６２】
具体的には、構造化処理部１８は、分割された画像認識文字情報に付加された前述のタイムコード（１）〜（１０）のうちの全て又は一部から、テキスト情報の各区切りに対応するタイムコードを算出する。構造化処理部１８は、各区切りの最初の単語の開始時刻と最後の単語の終了時刻とから、テキスト情報におけるト書きや台詞と対応付けを行う。
【００６３】
構造化処理部１８は、いずれのタイムコードも、状況説明や撮影条件を指示した、テキスト情報のト書き部分との対応付けに用いる。話者毎の台詞との対応付けについても、構造化処理部１８は、話者を示す人物タイムコードだけでなく、台詞の内容にある状況説明や固有名詞を利用することにより他のタイムコードとの対応付けを行う。
【００６４】
また、構造化処理部１８は、分割された音声認識文字情報に付加された前述のタイムコード（１１）〜（１６）の全て又は一部から、テキスト情報の各区切りに対応するタイムコードを算出する。
【００６５】
即ち、構造化処理部１８は、分割された音声認識文字情報に付加された話者タイムコードから、分割音声認識テキスト情報における話者の登場開始時刻と終了時刻であるタイムコードを算出し、台詞との対応付けを行う。また、構造化処理部１８は、音楽タイムコードや効果音タイムコードから、ト書きにおける音楽や効果音の開始時刻及び終了時刻と対応付けを行う。また、構造化処理部１８は、無音区間タイムコードから、テキスト情報内の話者の切り替わりやシーンの切り替わりとの対応付けを行う。
【００６６】
また、構造化処理部１８は、構造化情報に基づいてテキストメディアファイルおよびタイムコードファイルを、ト書きや話者毎の台詞に対応付けて生成する。テキストメディアファイルは、テキスト情報を保存するファイルであり、タイムコードファイルは、タイムコードを保存するファイルである。
【００６７】
構造化処理部１８は、各区切りに対応するタイムコードを、テキスト情報における登場順に、タイムコードファイルに格納する。尚、構造化処理部１８は、それぞれが各区切りに対応した複数のテキストメディアファイルと、タイムコードファイルとを生成することもできる。
【００６８】
データ格納部２は、映像メディア格納部２１と、タイムコード格納部２２と、テキストメディア格納部２３と、からなる。
【００６９】
映像メディア格納部２１、タイムコード格納部２２、テキストメディア格納部２３は、それぞれ、映像メディアファイル、タイムコードファイル、テキストメディアファイルを格納するためのものである。尚、映像メディア格納部２１、テキストメディア格納部２３は、それぞれ、映像情報格納部、テキストファイル格納部に相当する。
【００７０】
構造化処理部１８は、映像メディア格納部２１、タイムコード格納部２２、テキストメディア格納部２３に、それぞれ、映像メディアファイル、生成したタイムコードファイル、テキストメディアファイルを格納する。また、構造化処理部１８は、図２に示す構造化情報をテキストメディア格納部２３に格納する。
【００７１】
同期データ出力部３は、データ格納部２に格納されたデータの中から検索対象のデータを検索し、該当するデータを出力するものであり、入出力部３１と、検索制御部３２と、同期処理部３３と、を備えて構成される。
【００７２】
入出力部３１は、ユーザが要求する検索対象の入力を受け付けて、受け付けた検索対象の入力を検索情報として検索制御部３２に供給するとともに、検索の結果、得られた検索結果情報を出力するものである。検索情報としては、例えば、日時、番組タイトル、発言者、俳優名等のキーワード等がある。
【００７３】
検索制御部３２は、入出力部３１から供給された検索情報に従ってテキストメディア格納部２３に格納されているデータを検索するものであり、検索情報に該当するテキスト情報のシーン部分を入出力部３１に出力する。
【００７４】
具体的には、検索制御部３２は、検索情報に基づいて、ユーザによって選択された語句を含むテキスト情報をテキストメディア格納部２３からシーン毎に取り出す。また、検索制御部３２は、テキストメディア格納部２３に格納されている構造化情報に基づいて、ユーザによって選択されたテキスト情報の区切りのタイムコードを、タイムコード格納部２２から取り出し、取り出したタイムコードを同期処理部３３に出力する。
【００７５】
同期処理部３３は、検索制御部３２が出力したタイムコードが示す開始時刻、終了時刻を、それぞれ、映像情報出力の先頭時刻、最終時刻として、入出力部３１に、先頭時刻から最終時刻までの映像情報を出力する。また、同期処理部３３は、タイムコードに基づいてテキスト情報を加工し、加工したテキスト情報を入出力部３１に出力する。このときの加工方法としては、例えば、テキスト情報をスクロールさせるなどの方法がある。
【００７６】
次に、このようなコンテンツ処理装置を実現するハードウェア構成について説明する。
図１に示すコンテンツ処理装置は、図３に示すようなコンピュータシステムによって実現される。
【００７７】
即ち、コンピュータシステムは、端末４１、４３と、記憶装置４２と、を備える。端末４１、４３と、記憶装置４２とは、通信線４４を介して接続される。
【００７８】
尚、このコンテンツ処理装置は、図３に示すようなコンピュータシステム上に構築されてもよいし、あるいは、同一の端末上に構築されてもよい。図３に示すようなコンピュータシステムの場合、通信線４４には、ＬＡＮ（Local Area Network）、インターネット等を用い、端末４１，４３、記憶装置４２は、ネットワークで接続される。
【００７９】
端末４１，４３はコンピュータであり、それぞれ、同期データ生成部１、同期データ出力部３の機能を備える。また、記憶装置４２は、データ格納部２に対応し、磁気ディスク装置等によって構成される。
【００８０】
端末４１，４３は、図４に示すように、ＣＰＵ５１と、ＲＯＭ５２と、ＲＡＭ５３と、表示装置５４と、入力装置５５と、ＨＤＤ５６と、ドライブ装置５７と、を備える。
【００８１】
ＲＯＭ（Read Only Memory）５２は、ＣＰＵ５１を同期データ生成部１、同期データ出力部３として機能させるためのプログラム（データ）を記憶するためのメモリである。
ＣＰＵ（Central Processing Unit）５１は、ＲＯＭ５２に記憶されたプログラムを実行するものである。
【００８２】
ＲＡＭ（Random Access Memory）５３は、ＣＰＵ５１がプログラムを実行するのに必要なデータを記憶するためのメモリである。尚、端末４１のＲＡＭ５３は、シーン予測部１２が出力するテキスト情報を記憶するためにも用いられる。
【００８３】
表示装置５４は、データを表示する液晶ディスプレイ等からなるものである。入力装置５５は、データを入力するためのものであり、キーボード、マウス、マイク、イメージスキャナ、カメラ、ビデオキャプチャインターフェース等によって構成される。尚、端末４３の表示装置５４、入力装置５５が、同期データ出力部３の入出力部３１として機能する。
【００８４】
ＨＤＤ（Hard Disk Drive）５６は、データを記憶するための記憶装置である。
ドライブ装置５７は、映像メディア５，テキストメディア６のような外部記録媒体を装着し、外部記録媒体から、記録されているデータを読み出すためのものである。端末４１のドライブ装置５７は、同期データ生成部１のテキスト入力部１１、映像音声入力部１３として機能する。
【００８５】
次に、本実施の形態に係るコンテンツ処理装置の動作を図５に示すフローチャートに基づいて説明する。
同期データ生成部１の映像音声入力部１３、テキスト入力部１１は、映像メディア５，テキストメディア６から、それぞれ、映像音声情報、テキスト情報を入力する（ステップＳ１０１）。
テキスト入力部１１は、入力したテキスト情報がデジタルデータからなるものか否かを判定する（ステップＳ１０２）。
【００８６】
テキスト情報がデジタルデータからなると判定した場合（ステップＳ１０２においてＹｅｓ）、テキスト情報を、シーン予測部１２に出力する。
【００８７】
一方、テキスト情報がデジタルデータからなるものではない、即ち、アナログデータからなると判定した場合（ステップＳ１０２においてＮｏ）、テキスト入力部１１は、ＯＣＲ等を用いてテキストメディア６に記録されているテキスト情報をデジタル化する（ステップＳ１０３）。そして、テキスト入力部１１は、デジタル化したテキスト情報をシーン予測部１２に出力する。
【００８８】
シーン予測部１２は、テキスト入力部１１から出力されたテキスト情報に基づいて、各シーンの画面構成および音声構成を予測し、予測した各シーンの画面構成および音声構成をテキスト情報に付加してマッピング部１７に出力する（ステップＳ１０４）。
【００８９】
映像音声入力部１３は、映像情報、音声情報を、映像メディア５から入力し、入力した映像情報、音声情報がデジタルデータからなるか否かを判定する（ステップＳ１０５）。
【００９０】
映像情報、音声情報がデジタルデータからなると判定した場合（ステップＳ１０５においてＹｅｓ）、映像音声入力部１３は、映像情報、音声情報を、それぞれ、画像認識部１４、音声認識部１５に出力する。
【００９１】
一方、映像情報、音声情報がデジタルデータからなるものではない、即ち、アナログデータからなるものと判定した場合（ステップＳ１０５においてＮｏ）、映像音声入力部１３は、アナログ映像情報、アナログ音声情報を、ビデオキャプチャ等を用いて、ＡＶＩ形式又はＭＰＥＧ形式のデジタルデータからなる情報に変換する（ステップＳ１０６）。そして、映像音声入力部１３は、デジタル化した映像情報、音声情報を、それぞれ、画像認識部１４、音声認識部１５に出力する。
【００９２】
画像認識部１４は、映像音声入力部１３から供給された映像情報について画像認識処理を行い、画像認識文字情報を生成する（ステップＳ１０７）。画像認識部１４は、映像情報とともに映像情報の分割位置を示す情報をタイムコード生成部１６に出力する。
【００９３】
音声認識部１５は、映像音声入力部１３から出力された音声情報について音声認識処理を行い、音声認識処理の結果として、音声認識文字情報を生成する（ステップＳ１０８）。音声認識部１５は、音声情報とともに音声情報の分割位置を示す情報をタイムコード生成部１６に出力する。
【００９４】
タイムコード生成部１６は、画像認識部１４、音声認識部１５から出力された情報に基づいて、映像、音声に関する前述のタイムコード（１）〜（１６）の全部又は一部を生成する（ステップＳ１０９）。タイムコード生成部１６は、生成した映像、音声に関するタイムコードを、それぞれ、画像認識部１４、音声認識部１５に出力する。
【００９５】
画像認識部１４は、タイムコード生成部１６から出力された映像に関するタイムコードを画像認識文字情報に付加する（ステップＳ１１０）。音声認識部１５は、タイムコード生成部１６から出力された音声に関するタイムコードを音声認識文字情報に付加する（ステップＳ１１０）。画像認識部１４、音声認識部１５は、タイムコードを付加して分割した画像認識文字情報、音声認識文字情報を、それぞれ、映像情報、音声情報とともにマッピング部１７に出力する。
【００９６】
マッピング部１７は、シーン予測部１２が出力するテキスト情報を一時格納し、テキスト情報をト書きや話者毎の台詞に従って区切る。
また、マッピング部１７は、テキスト情報と分割した画像認識文字情報及び音声認識文字情報とを比較して、テキスト情報の段落区切り位置に基づいて、テキスト情報と分割した画像認識文字情報及び音声認識文字情報との対応付けを行う。
【００９７】
さらに、マッピング部１７は、テキスト情報の各段落と図２に示す対応情報とを生成し（ステップＳ１１１）、テキスト情報、分割した画像認識文字情報及び音声認識文字情報とともに、対応情報を構造化処理部１８に出力する。
【００９８】
構造化処理部１８は、分割された画像認識文字情報、音声認識文字情報に付加されたタイムコードに基づいて、図２に示す構造化情報を生成する（ステップＳ１１２）。構造化処理部１８は、構造化情報に基づいて、テキストメディアファイルとタイムコードファイルとを、ト書きや話者毎の台詞に対応付けて生成する。
【００９９】
構造化処理部１８は、生成したテキストメディアファイルをデータ格納部２のテキストメディア格納部２３に格納し、タイムコードファイルをタイムコード格納部２２に格納する、また、構造化処理部１８は、映像メディアファイルを映像メディア格納部２１に格納する（ステップＳ１１３）。
そして、同期データ生成部１は、この処理を終了させる。
【０１００】
次に、ユーザが検索条件を入力すると、同期データ出力部３は、データの検索を行い、検索したデータを出力する。この同期データ出力部３の同期データ出力処理を図６に示すフローチャートに基づいて説明する。
【０１０１】
ユーザが検索情報を入力すると、入出力部３１は、この入力操作に応答して、検索情報を検索制御部３２に出力する（ステップＳ２０１）。
【０１０２】
検索制御部３２は、入出力部３１から出力された検索条件に基づいてデータ格納部２に格納されているデータを検索する（ステップＳ２０２）。
【０１０３】
検索制御部３２は、検索条件に合致する該当データがあるか否かを判定する（ステップＳ２０３）。
該当データがないと判定した場合（ステップＳ２０３においてＮｏ）、検索制御部３２は、該当データがなかった旨を表示し、その旨の音声を出力する（ステップＳ２０６）。
【０１０４】
一方、該当データがあると判定した場合（ステップＳ２０３においてＹｅｓ）、検索制御部３２は、テキスト情報の段落を特定し、該当データをすべて取り出す（ステップＳ２０４）。
【０１０５】
検索制御部３２は、テキストメディア格納部２３に格納されている構造化情報に基づいて、ユーザによって選択されたテキスト情報の区切りのタイムコードを、タイムコード格納部２２から取り出し、取り出したタイムコードを同期処理部３３に出力する（ステップＳ２０４）。
【０１０６】
同期処理部３３は、検索制御部３２が出力したタイムコードの開始時刻、終了時刻を、それぞれ、テキスト情報の段落に対応する映像情報として、再生する先頭時刻、最終時刻とすることを入出力部３１に通知し、選択された段落のテキスト情報と、映像情報、音声情報を入出力部３１に供給する（ステップＳ２０５）。
【０１０７】
入出力部３１は、供給された情報に基づいて台本と映像とを表示し、音声を出力する（ステップＳ２０６）。
このようにして、同期データ出力部３は、ユーザにデータを提供する。
【０１０８】
次に、具体的な動作をさらに詳しく説明する。
映像メディア５，テキストメディア６は、例えば、ドラマ番組の制作を担当する制作会社のコンテンツホルダ４に格納され、このコンテンツホルダ４から取り出される。
【０１０９】
同期データ生成部１のテキスト入力部１１は、テキストメディア６から、コンテンツの筋書きを文字データで表現したテキスト情報を取り出す。テキスト入力部１１は、台詞に関するテキスト情報をシーン予測部１２に出力する。
【０１１０】
シーン予測部１２は、予め蓄積されたルールに従って、図７に示すように、シーン１からシーン７まで、順に、刑事Ａの顔、刑事Ａの顔、刑事課全員の顔、刑事Ｂの顔、刑事Ａと刑事Ｂの顔、顔なし、刑事Ａの顔（後で課長Ｃの顔が加わる）といった画面構成を予測する（図５のステップＳ１０４の処理）。シーン予測部１２は、この予測内容をテキスト情報に付加してマッピング部１７に出力する。
【０１１１】
画像認識部１４は、画像を認識し、音声認識部１５は、音声を認識して、それぞれ、図７に示すような画像認識結果、音声認識結果を生成する（ステップＳ１０７，１０８の処理）。
【０１１２】
タイムコード生成部１６は、例えば、画像認識部１４が生成した画像認識結果「刑事Ａの顔」のタイムコードとして、「00:00:02:13,00:00:02:26」を生成する（ステップＳ１０９の処理）。「00:00:02:13」、「00:00:02:26」は、それぞれ、画像認識結果「刑事Ａの顔」の開始時刻、終了時刻を示す。
【０１１３】
また、タイムコード生成部１６は、音声認識部１５が生成した音声認識結果として、刑事Ａの声「強盗」、「グレー」に、タイムコードとして、「00:00:02:15,00:00:02:26」を生成する（ステップＳ１０９の処理）。「00:00:02:15」、「00:00:02:26」は、それぞれ、音声認識結果、刑事Ａの声「強盗」、「グレー」の開始時刻、終了時刻を示す。
【０１１４】
マッピング部１７は、テキスト情報と、画像認識文字情報と、音声認識文字情報とを、ＤＰマッチングの手法を用いて順次比較する。そして、マッピング部１７は、図７に示すような対応付けを行う（ステップＳ１１１の処理）。
【０１１５】
例えば、図７に示すように、台本には、シーン１に、「刑事Ａ電話を受けて〜」と記載され、画像認識結果のタイムコード「00:00:02:13〜00:00:02:26」の画像認識文字情報には、「刑事Ａの顔」がある。また、音声認識結果のタイムコード「00:00:02:15〜00:00:02:26」の音声認識文字情報には、「刑事Ａの声〜」がある。台本のシーン１とこの画像認識結果と音声認識結果とでは、「刑事Ａ」が一致している。従って、マッピング部１７は、ＤＰマッチングを行うことにより、台本のシーン１とこの画像認識結果と音声認識結果との類似距離が近いと判定し、台本のシーン１とこの画像認識結果と音声認識結果との対応付けを行う。
【０１１６】
同様にして、マッピング部１７は、台本のシーン２〜７と、画像認識結果と音声認識結果との対応付けを、順次、行う。
【０１１７】
この場合、同じシーンでありながら、画像認識結果と音声認識結果として、刑事Ａの顔の出現時間と、刑事Ａの音声の出現時間が異なる場合、マッピング部１７は、シーンの時間が長くなるようにする。
【０１１８】
例えば、シーン１のように、出現開始時間が異なっている場合、マッピング部１７は、出現が早い時刻「00:00:02:13」の方を採用する。また、シーン５のように、出現終了時間が異なっている場合、マッピング部１７は、退出や消失が遅い時刻「00:00:02:38」の方を採用する。あるいは、マッピング部１７は、図７に示すように、画像認識結果については、ト書き部分、音声認識結果については台詞部分のタイムコードとみなすという方法をとることもできる。また、マッピング部１７は、同じシーンでも、シーン内の顔や物や声や物音といったシーン要素各々に対してタイムコードが存在するとみなすこともできる。
【０１１９】
登場人物については、マッピング部１７は、音声認識処理による音声認識結果に基づいて話者の同定を行うこともできる。マッピング部１７は、画像と音声とを同時に使うことによって、より頑強な人物同定を実現する。
【０１２０】
例えば、登場人物が無言であったり、音楽や周囲の雑音で音声認識が困難な状況でも、画像認識により、人物を同定することができる。反対に、逆光など照明条件が劣悪な場合や、登場人物が後ろ向きであったり下向きであったりして顔が見えない場合でも、音声認識により人物を同定することができる。
【０１２１】
また、画像情報と音声情報とテキスト情報とを比較してお互いに矛盾がある場合、マッピング部１７は、各々の認識結果が正しいと判断して対応付けを行う。例えば、あるシーンにおいて、画像認識では人物ＡとＢのみが検出され、音声認識では人物ＡとＣが検出された場合、マッピング部１７は、Ａ、Ｂ、Ｃ３名とも存在しているものとして対応付けを行う。
【０１２２】
例えば、シーン５のように、刑事Ａの顔が検出できなかった場合、マッピング部１７は、顔の出現順番の前後関係から対応づけすることができるし、ほぼ同じ時刻に音声認識で、刑事Ｂの声で「怪我」「無茶」という語を検出すると、この語で対応付けを行う。このようにして、より高い信頼度で対応付けが行われる。
【０１２３】
一方、このシーンで音声認識ができなくても、刑事Ａと刑事Ｂの顔が検出できていれば、マッピング部１７は、台本と画像認識結果と音声認識結果との対応付けを行うこともできる。更にこのシーンで画像認識も音声認識もできなかった場合でも、マッピング部１７は、前後シーンで顔や声の出現順番から対応付けできれば、認識できなかったシーンでも対応付けを行うことができる。
【０１２４】
但し、マッピング部１７は、全ての組み合わせについて対応付けを行うこともできる。例えば、この場合、マッピング部１７は、Ａ、Ｂ、Ｃ３名とも存在すると仮定した対応づけと、Ａ、Ｂの２名のみが存在すると仮定した対応付けと、Ａ、Ｃの２名のみが存在すると仮定した対応付けと、Ａのみが存在すると仮定した対応付けと、を行うこともできる。
【０１２５】
また、マッピング部１７は、カットやカメラワーク、背景、人物の動作、フレーム内の物体、物体の動作、台詞内の単語、音楽、効果音についても同様に対応関係をとり、区切り位置を検出することができる。これらについてもお互いに矛盾がある場合は、各々の認識結果が全て正しいとして対応付けしてもよいし、全ての組み合わせについて対応付けを行ってもよい。
【０１２６】
対応付けを行う場合、マッピング部１７は、単に順番だけでなく、台本の台詞の長さやト書きなどからシーンの長さを推定し、検出された顔の出現時間があらかじめ定めた範囲内（例えば推定したシーンの長さの０．５倍から１．５倍の範囲）にあるかどうかで、対応しているかどうかを判断することもできる。
【０１２７】
構造化処理部１８は、テキスト情報とタイムコードとを、以下のように対応付けして、テキストメディアファイルと、タイムコードファイルとを生成する（ステップＳ１１２の処理）。
【０１２８】
即ち、構造化処理部１８は、例えば、第１の台詞のテキストメディアファイルのファイル名を「台詞１．ｔｘｔ」、第１の台詞のタイムコードファイルのファイル名「時間１．ｔｘｔ」とする。
構造化処理部１８は、第１の台詞のファイルは、拡張子を除いたファイル名の末尾が「１」という対応付けを行う。
【０１２９】
同様に、構造化処理部１８は、第２の台詞同士をそれぞれ「台詞２．ｔｘｔ」と「時間２．ｔｘｔ」とすることで、第２段落のファイルを対応付けを行う。同様に、構造化処理部１８は、第３、第４段落以降も対応付けを行う。尚、ト書きがあれば、構造化処理部１８は、ト書きについても同様に対応付けを行う。
【０１３０】
そして、構造化処理部１８は、テキストメディアファイル、タイムコードファイルおよび映像メディアファイルをデータ格納部２に格納する（ステップＳ１１３）。
【０１３１】
次に、ユーザが、端末４３を操作して、格納したデータを検索する場合、端末４３は、この操作に応答して図８に示すような検索画面を表示装置５４に表示する。
【０１３２】
端末４３の表示装置５４は、この検索画面に、映像検索システムの検索条件入力画面として、日時と、番組タイトルと、発言者と、キーワードとの入力欄を表示する。また、端末４３の表示装置５４は、この検索画面に、検索実行を指定するための検索実行ボタンを表示する。
【０１３３】
ユーザが、表示された検索条件の入力画面に従って、例えば、キーワードとして「俳優Ｄ」を入力すると、端末４３の表示装置５４は、この操作に応答してキーワードの入力欄に「俳優Ｄ」を表示する。
【０１３４】
尚、検索する際に、全文一致検索や、各検索条件によるアンド検索といった一般的な検索処理を用いることができる。
【０１３５】
ユーザが、この検索実行ボタンをクリックすると、同期データ出力部３の入出力部３１は、この操作に応答して、検索情報を検索制御部３２に供給し（ステップＳ２０１の処理）、検索制御部３２は、検索を開始する（ステップＳ２０２の処理）。
【０１３６】
検索制御部３２は、入力された検索条件に基づいて、データ格納部２に格納されたデータの中から検索条件に合致するデータを有するテキスト情報の段落を特定する。
【０１３７】
検索制御部３２は、キーワードの語句として入力された「俳優Ｄ」を、台本内の配役表から、「刑事Ｂ」に変換する。そして、検索制御部３２は、「刑事Ｂ」に基づいてデータ格納部２に格納されたデータを検索する。
【０１３８】
「刑事Ｂ」に該当するデータが１２件あると、検索制御部３２は、該当する１２件のデータを取り出して、検索結果としてテキスト情報のシーンを入出力部３１に供給する（ステップＳ２０３，Ｓ２０４の処理）。
【０１３９】
また、同期処理部３３は、映像情報を再生する先頭時刻、最終時刻を入出力部３１に通知し、映像情報、音声情報を、選択された段落のテキスト情報と同期させて入出力部３１に供給する（ステップＳ２０５の処理）。
【０１４０】
端末４３の表示装置５４は、入出力部３１に供給された図９に示すような台本と映像とを表示し、音声を出力する（ステップＳ２０６の処理）。
【０１４１】
尚、映像情報を抽出する場合、端末４３の表示装置５４は、例えば、図８に示すように、テキスト情報とともに、代表的な画像をサムネイル画像として表示することもできる。また、表示装置５４は、静止画によらず、段落の開始時刻から終了時刻までの動画を表示することもできる。
【０１４２】
同期処理部３３は、例えば、図９に示すように、表示装置５４に表示された巻戻し、再生、停止、一時停止、早送り等の各スイッチ部が操作されると、この操作情報に従って動作する。
【０１４３】
例えば、ユーザが、先頭から２分３１秒の位置から映像メディア５を再生するように、端末４３の入力装置５５を操作すると、同期処理部３３は、映像情報の再生のタイミングに合わせて、テキスト情報をスクロールする処理を実行する。
【０１４４】
端末４３の表示装置５４は、映像情報の再生のタイミングに合わせて、選択された段落のテキスト情報として、例えば、「怪我治って」を含むテキスト情報の部分のスクロール表示を行う。
【０１４５】
また、端末４３の表示装置５４は、テキスト情報の再生箇所を、再生箇所であることを示すために、図９に示すように、アンダーラインを施し、斜体文字で表示する。
【０１４６】
以上説明したように、本実施の形態によれば、テキスト情報と、分割された画像認識文字情報及び音声認識文字情報と、を対応付けるようにしたので、タイムコードを介してテキスト情報と映像情報、音声情報とを、容易に構造化することができる。
【０１４７】
また、ユーザが入力した検索条件に合致するテキスト情報における分割部分を特定し、特定された分割部分に対応するタイムコードを抽出し、抽出されたタイムコードに対応する映像情報を特定して特定した映像情報をユーザに提供するようにした。このため、ユーザに、所望の映像情報を提供することができる。
【０１４８】
さらに画像情報と音声情報とを併用し、映像情報、音声情報のみで対応付けられなくても音声情報にて対応付けたり、映像情報にて対応付けたりすることで、テキスト情報と映像情報との構造化をより正確に行うことができる。
【０１４９】
尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施の形態に限られるものではない。
例えば、上記実施の形態では、映像情報を、映像音声入力部１３から、画像認識部１４、音声認識部１５、マッピング部１７および構造化処理部１８を介してデータ格納部２に供給するように構成された。しかし、映像情報を映像音声入力部１３から、直接、データ格納部２に供給するように構成されてもよい。
【０１５０】
また、構造化処理部１８は、テキストメディアファイルにおけるテキスト情報の各区切りの開始アドレスと終了アドレスと、タイムコードファイルにおける各区切りのタイムコードの開始アドレスと終了アドレスとを、管理情報として生成するように構成されてもよい。
【０１５１】
このようにするには、コンテンツ処理装置は、図１０に示すように、データ格納部２に、管理情報を格納する管理ファイル格納部２４を備える。この管理ファイル格納部２４は、管理情報格納部に相当するものである。そして、構造化処理部１８は、管理情報を管理ファイル格納部２４に格納する。
【０１５２】
また、コンテンツ処理装置は、図１１に示すように、テキスト情報とタイムコードとを結合して、構造化結果を生成するように構成されることもできる。この場合、データ格納部２は、図１２に示すように、映像メディア格納部２１とテキストメディア格納部２３と、を備える。構造化処理部１８は、テキスト情報とタイムコードとを結合して、タイムコードを含む構造化されたテキストメディアファイルを生成し、テキストメディア格納部２３に、生成したテキストメディアファイルを格納する。尚、データ格納部２は、タイムコード格納部２２を備える必要はない。
【０１５３】
さらに、コンテンツ処理装置は、図１３に示すようなＸＭＬ（エクステンシブルマークアップランゲージ）ファイルを生成して、格納しておくように構成されることもできる。ＸＭＬファイルは、拡張マークアップ言語であるＸＭＬ（エクステンシブルマークアップランゲージ）言語によるＭＰＥＧ７（ムービングピクチャーエキスパートグループ７）形式の構造的記述によるＸＭＬのファイルである。
【０１５４】
データ格納部２は、図１４に示すように、ＸＭＬファイル格納部２５を備える。この場合、データ格納部２は、タイムコード格納部２２と、テキストメディア格納部２３と、を備える必要はない。構造化処理部１８は、ＸＭＬファイルを生成する。
【０１５５】
構造化処理部１８は、図１５に示すフローチャートに従って、ＸＭＬファイルを生成する。
【０１５６】
即ち、構造化処理部１８は、タグを用いて、ＸＭＬテンプレートに、映像情報のコンピュータシステム内での格納位置（フォルダ位置）情報を挿入する（ステップＳ３０１）。
【０１５７】
構造化処理部１８は、タグを用いて、ＸＭＬテンプレートに、テキストメディア６に記載されている番組タイトル情報を挿入する（ステップＳ３０２）。
【０１５８】
構造化処理部１８は、タグを用いて、ＸＭＬテンプレートに、各段落の開始時間、終了時間情報を挿入する（ステップＳ３０３）。
【０１５９】
構造化処理部１８は、タグを用いて、ＸＭＬテンプレートに、登場人物情報を挿入する（ステップＳ３０４）。
【０１６０】
構造化処理部１８は、タグを用いて、ＸＭＬテンプレートに、テキスト情報を挿入する（ステップＳ３０５）。
【０１６１】
構造化処理部１８は、挿入した台詞の終了時間が、タイムコードの最終時間に達したか否かを判定する（ステップＳ３０６）。
最終時間に達していないと判定した場合（ステップＳ３０６においてＮｏ）、構造化処理部１８は、ＸＭＬテンプレートに、再度、各段落の開始時間、終了時間情報、登場人物情報、テキスト情報を挿入する（ステップＳ３０３〜Ｓ３０５）。
【０１６２】
最終時間に達したと判定した場合（ステップＳ３０６においてＹｅｓ）、構造化処理部１８は、データ格納部２のＸＭＬファイル格納部２５に、ＸＭＬファイルを格納する（ステップＳ３０７）。
【０１６３】
図１３に示すＸＭＬファイルにおいて、＜？ｘｍｌ＞、＜Ｍｐｅｇ７＞は、予め、ＭＰＥＧ７規格として定められているＸＭＬテンプレートである。
【０１６４】
＜Ｍｅｄｉａ Ｌｏｃａｔｏｒ＞タグ、および＜ＭｅｄｉａＵｒｉ＞タグは、映像情報の格納位置（フォルダ位置）を示すタグである。「Ｃ：￥メタ情報￥映像データ￥ドラマ映像０２０９１３．ｍｐｇ」は、構造化処理部１８が挿入した映像情報を格納しようとする映像メディア格納部２１における格納位置を示す（ステップＳ３０１の処理結果）。
【０１６５】
＜ＣｒｅａｔｉｏｎＩｎｆｏｒｍａｔｉｏｎ＞タグ内の＜Ｔｉｔｌｅ＞タグは、番組タイトル情報挿入用のタグである。「ドラマ番組０２０９１３」は、構造化処理部１８が挿入した番組タイトル情報を示す（ステップＳ３０２の処理結果）。
【０１６６】
＜ＭｅｄｉａＴｉｍｅ＞タグ、および＜ＭｅｄｉａＲｅｌＴｉｍｅＰｏｉｎｔ＞タグ、および＜ＭｅｄｉａＤｕｒａｔｉｏｎ＞タグは、各段落の開始時間と終了時間の情報挿入用のタグである。構造化処理部１８は、このタグを用いて各段落の開始時間と終了時間の情報を挿入する（ステップＳ３０３の処理結果）。
【０１６７】
＜Ｎａｍｅ＞タグ、および＜ＧｉｖｅｎＮａｍｅ＞タグ、および＜ＦａｍｉｌｙＮａｍｅ＞タグは、登場人物情報挿入用のタグである。「刑事Ａ」は、構造化処理部１８が挿入した登場人物情報である（ステップＳ３０４の処理結果）。
【０１６８】
＜ＴｅｘｔＡｎｎｏｔａｔｉｏｎ＞タグ、および＜ＦｒｅｅＴｅｘｔＡｎｎｏｔａｔｉｏｎ＞タグは、テキスト情報挿入用のタグである。「×××１丁目１番地で強盗事件」を含む台詞は、構造化処理部１８がこれらのタグを用いて挿入したテキスト情報である（ステップＳ３０５の処理結果）。
【０１６９】
挿入した台詞の終了時間が、タイムコードの最終時間に到達していなければ、構造化処理部１８は、次の台詞の各情報の挿入を行う（ステップＳ３０６）。台詞の終了時間がタイムコードの最終時間に達したときは、構造化処理部１８は、ＸＭＬファイルをデータ格納部２のＸＭＬファイル格納部２５にＸＭＬファイルを格納する（ステップＳ３０７の処理）。
【０１７０】
構造化処理部１８が、このようなＸＭＬファイルをＸＭＬファイル格納部２５に格納した後、ユーザが、同期データ出力部３にキーワードとなる語句を入力して所望の映像情報およびテキスト情報を要求するものとする。
【０１７１】
入出力部３１は、ユーザによって入力された語句を検索制御部３２に出力する。検索制御部３２は、その語句を含むテキスト情報の段落をＸＭＬファイル格納部２５に格納されているデータの中から検索し、該当するテキスト情報があれば、その段落部分を入出力部３１に出力する。
【０１７２】
ユーザが、あるテキスト情報の特定の範囲を選択すれば、入出力部３１は、ユーザが選択したテキスト情報と同期する映像情報を出力するように検索制御部３２に要求する。
【０１７３】
以上が図１３に示すようなＸＭＬ（エクステンシブルマークアップランゲージ）ファイルを生成して格納するように構成されたコンテンツ処理装置の応用例である。
【０１７４】
同期データ出力部３の入出力部３１は、ユーザが発話した音声を入力するように構成されることもできる。この場合、端末４３の入力装置５５に、ユーザの発話内容をテキストデータに変換する音声認識部を備える。音声認識部に対応する入出力部３１は、ユーザの発話内容から変換されたテキスト情報を検索制御部３２に出力する。
【０１７５】
また、同期データ出力部３は、検索対象となる人物の音声を入力することにより、話者を同定して、その人物名を検索制御部３２に出力するように構成されることもできる。
【０１７６】
さらに、同期データ出力部３は、所望のシーンと同じようなカット割の動画像や、同じようなカメラワークの動画像、背景の画像、人物の画像、人物の動作の動画像、物体の画像、物体の動作の動画像、音楽、効果音、同じような無音区間配置の音声の何れかが入力されて、各々を認識し、認識結果の全部または一部を検索制御部３２に出力するように構成されることもできる。
【０１７７】
本実施の形態では、タイムコード生成部１６が、生成したタイムコードを画像認識部１４及び音声認識部１５にそれぞれ出力し、画像認識部１４及び音声認識部１５が、それぞれ生成した画像認識文字情報、音声認識文字情報にタイムコードを付加するようにした。しかし、これに限られるものではなく、図１６に示すコンテンツ処理装置のように、タイムコード生成部１６が、構造化処理部１８に、生成したタイムコードを供給するようにしてもよい。
【０１７８】
このように構成された場合、画像認識部１４及び音声認識部１５が、それぞれ生成した画像認識文字情報及び音声認識文字情報にタイムコードを付加するのではなく、構造化処理部１８が、画像認識文字情報及び音声認識文字情報と各タイムコードとの対応関係に基づいて、各タイムコードとテキスト情報との対応関係を確定させる。
【０１７９】
また、コンピュータを、再生装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＭＤ、ＣＤ−ＲＯＭ、ＤＶＤなどのコンピュータ読み取り可能な記録媒体に格納して配布し、これをコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。
【０１８０】
さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。
【０１８１】
【発明の効果】
以上説明したように、本発明によれば、コンテンツを容易に利用することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係るコンテンツ処理装置の構成を示すブロック図である。
【図２】図１のコンテンツ処理装置が処理する各情報の関係を示す説明図である。
【図３】図１に示すコンテンツ処理装置のハードウェア構成を示すブロック図である。
【図４】図３に示す端末の構成を示すブロック図である。
【図５】図１の同期データ生成部の動作を示すフローチャートである。
【図６】図１の同期データ出力部の動作を示すフローチャートである。
【図７】図１のマッピング部の処理内容を示す説明図である。
【図８】図４に示す表示装置に表示された検索画面を示す説明図である。
【図９】図４に示す表示装置に表示された検索結果画面を示す説明図である。
【図１０】図１に示すデータ格納部の応用例（１）として、管理ファイル格納部を備えたデータ格納部の構成を示すブロック図である。
【図１１】図１の構造化処理部が構造化したデータの応用例を示す説明図である。
【図１２】図１に示すデータ格納部の応用例（２）として、映像メディア格納部とテキストメディア格納部とのみを備えた構成を示すブロック図である。
【図１３】図１に示すコンテンツ処理装置の応用例として、同期データ生成部が処理するＸＭＬファイルの記述例を示す説明図である。
【図１４】図１に示すデータ格納部の応用例（３）として、ＸＭＬファイル格納部を備えた構成を示すブロック図である。
【図１５】図１に示す同期データ生成部がＸＭＬファイルを生成する動作を示すフローチャートである。
【図１６】図１に示すコンテンツ処理装置を応用した構成を示すブロック図である。
【符号の説明】
１ 同期データ生成部
２ データ格納部
３ 同期データ出力部
１６ タイムコード生成部
１７ マッピング部
１８ 構造化処理部
３１ 入出力部
３２ 検索制御部
３３ 同期処理部

Claims (10)

1. 映像情報及び音声情報を含むコンテンツと前記コンテンツの筋書きを文字データで表現した台本情報との対応付けを行うコンテンツ処理装置において、
   前記コンテンツの認識処理を行って、前記コンテンツが含む各場面の特徴部分を文字データで表現した画像認識文字情報及び音声認識文字情報を生成する認識部と、
   前記認識部が生成した画像認識文字情報及び音声認識文字情報の前記特徴部分をそれぞれ抽出して区切り、区切った各部分の開始時刻と終了時刻とを示すタイムコードを生成するタイムコード生成部と、
   前記台本情報の特徴部分を取得して、取得した特徴部分に基づいて前記台本情報を各場面毎に区切り、前記認識部が生成した前記画像認識文字情報と前記音声認識文字情報とを、前記タイムコード生成部が生成したタイムコードが示す位置で分割し、分割した前記画像認識文字情報と前記音声認識文字情報とが一致しない場合でもそれぞれを正しいものと判断して、前記台本情報の各場面と分割した前記画像認識文字情報と前記音声認識文字情報との対応付けを行い、前記台本情報の各場面と分割した前記画像認識文字情報と前記音声認識文字情報との対応関係を示す対応情報を生成するマッピング部と、
   前記マッピング部が生成した対応情報と前記タイムコード生成部が生成したタイムコードとに基づいて、前記台本情報の各場面と各場面のタイムコードとの関係を示す構造化情報を、必要なコンテンツを検索するための情報として生成する構造化処理部と、を備えた、
   ことを特徴とするコンテンツ処理装置。
2. 前記台本情報の画面構成を予測して、予測した画面構成を前記台本情報に付加して前記マッピング部に出力するシーン予測部を備えた、
   ことを特徴とする請求項１に記載のコンテンツ処理装置。
3. 前記台本情報と、前記コンテンツと、前記タイムコード生成部が生成したタイムコードと、前記構造化処理部が生成した構造化情報と、を格納するためのデータ格納部を備えた、
   ことを特徴とする請求項１又は２に記載のコンテンツ処理装置。
4. 前記データ格納部は、
   前記コンテンツを格納するコンテンツ格納部と、
   前記台本情報と前記構造化情報とを格納するテキストファイル格納部と、
   前記タイムコードを格納するタイムコード格納部と、を備えた、
   ことを特徴とする請求項３に記載のコンテンツ処理装置。
5. 前記構造化処理部は、前記テキストファイル格納部における前記台本情報を収納した台本情報ファイルと前記タイムコードを収納したタイムコードファイルとを生成し、前記台本情報ファイルの各区切りの開始アドレスと終了アドレスと、前記タイムコードファイルにおける各区切りのタイムコードの開始アドレスと終了アドレスとを示す管理情報を生成し、
   前記データ格納部は、前記管理情報を格納する管理情報格納部を備えた、
   ことを特徴とする請求項４に記載のコンテンツ処理装置。
6. 前記データ格納部は、
   前記台本情報をマークアップアップランゲージファイルとして記憶するマークアップアップランゲージファイル格納部を備えた、
   ことを特徴とする請求項５に記載のコンテンツ処理装置。
7. 前記データ格納部に格納された前記台本情報と前記コンテンツとを、入力された検索条件に基づいて同期させて出力する同期データ出力部を備えた、
   ことを特徴とする請求項３乃至６のいずれか１項に記載のコンテンツ処理装置。
8. 前記同期データ出力部は、
   前記台本情報とコンテンツとから必要な場面を抽出するための検索条件を入力し、前記検索条件に対応する場面の台本情報とコンテンツとを出力する入出力部と、
   前記入出力部に入力された検索条件に対応する台本情報における場面を特定し、特定した前記場面に対応するタイムコードを抽出する検索制御部と、
   抽出された前記タイムコードに対応するコンテンツの場面を特定し、特定した場面のコンテンツと検索条件に対応する台本情報とを同期させる同期処理部と、
   前記同期処理部が同期した当該場面に対応するコンテンツと台本情報とを前記入出力部に出力する同期処理部と、を備えた、
   ことを特徴とする請求項７に記載のコンテンツ処理装置。
9. 映像情報及び音声情報を含むコンテンツと前記コンテンツの筋書きを文字データで表現した台本情報との対応付けを行うコンテンツ処理方法であって、
   前記コンテンツの認識処理を行って、前記コンテンツが含む各場面の特徴部分を文字データで表現した画像認識文字情報及び音声認識文字情報を生成するステップと、
   前記生成された画像認識文字情報及び音声認識文字情報の前記特徴部分をそれぞれ抽出して区切り、区切った各部分の開始時刻と終了時刻とを示すタイムコードを生成するステップと、
   前記台本情報の特徴部分を取得して、取得した特徴部分に基づいて前記台本情報を各場面毎に区切り、前記生成した前記画像認識文字情報と音声認識文字情報とを、生成した前記タイムコードが示す位置で分割し、分割した前記画像認識文字情報と前記音声認識文字情報とが一致しない場合でもそれぞれを正しいものと判断して、前記台本情報の各場面と分割した前記前記画像認識文字情報と前記音声認識文字情報との対応付けを行い、前記台本情報の各場面と分割した前記画像認識文字情報と前記音声認識文字情報との対応関係を示す対応情報を生成するステップと、
   前記生成した対応情報と前記生成したタイムコードとに基づいて、前記台本情報の各場面と各場面のタイムコードとの関係を示す構造化情報を、必要なコンテンツを検索するための情報として生成するステップと、
   前記台本情報、コンテンツ、タイムコード、構造化情報を記憶するステップと、を備えた、
   ことを特徴とするコンテンツ処理方法。
10. コンピュータに、
    前記コンテンツに含まれている映像情報及び音声情報の認識処理を行って、前記コンテンツが含む各場面の特徴部分を文字データで表現した画像認識文字情報及び音声認識文字情報を生成する手順、
    前記生成された画像認識文字情報及び音声認識文字情報の前記特徴部分をそれぞれ抽出して区切り、区切った各部分の開始時刻と終了時刻とを示すタイムコードを生成する手順、
    前記コンテンツの筋書きを文字データで表現した台本情報の特徴部分を取得して、取得した特徴部分に基づいて前記台本情報を各場面毎に区切り、前記生成した前記画像認識文字情報と前記音声認識文字情報とを、生成した前記タイムコードが示す位置で分割し、分割した前記画像認識文字情報と前記音声認識文字情報とが一致しない場合でもそれぞれを正しいものと判断して、前記台本情報の各場面と分割した前記前記画像認識文字情報と前記音声認識文字情報との対応付けを行い、前記台本情報の各場面と分割した前記画像認識文字情報と前記音声認識文字情報との対応関係を示す対応情報を生成する手順、
    前記生成した対応情報と前記生成したタイムコードとに基づいて、前記台本情報の各場面と各場面のタイムコードとの関係を示す構造化情報を、必要なコンテンツを検索するための情報として生成する手順、
    前記台本情報、コンテンツ、タイムコード、構造化情報を記憶する手順、
    を実行させるためのプログラム。

Images