JP4233982B2

JP4233982B2 - 画像処理装置、画像処理方法、画像処理プログラムおよびそれを記録した情報記録媒体

Info

Publication number: JP4233982B2
Application number: JP2003376457A
Authority: JP
Inventors: 直明堀内
Original assignee: Pioneer Corp
Current assignee: Pioneer Corp
Priority date: 2003-11-06
Filing date: 2003-11-06
Publication date: 2009-03-04
Anticipated expiration: 2023-11-06
Also published as: CN1615007A; US20050114392A1; EP1557783A2; JP2005142783A; EP1557783A3

Description

本願は、コンテンツデータを記録するとともに当該記録されたコンテンツデータを再生する画像処理装置の技術分野に属する。

近年、テレビジョン放送によって提供されたコンテンツデータを記録するとともに、当該記録されたコンテンツデータを再生するデータ記録再生装置が普及するにつれて、当該記録されたコンテンツデータを始めから終わりまで再生することなく、コンテンツデータにおける所望のシーン（場面）を検索し、当該検索されたシーンからコンテンツデータを再生するデータ記録再生装置が提案されている。

このような従来のデータ記録再生装置としては、例えば、野球、サッカー、テニス、ボクシングなどのスポーツの中継放送に関するコンテンツデータから、試合経過、選手紹介などの情報を示す画像データ（以下、「テロップ」という。）を検出し、当該検出されたテロップの位置を検索対象にすることにより、コンテンツデータにおける所望のシーンを検索するものが知られている（例えば、特許文献１参照）。
特開平１０−１１２８３４号公報（第３項、第５図）

しかしながら、上述した従来のデータ記録再生装置では、テロップの位置を検索対象にしているのみであり、テロップの内容までを検索対象にしていないので、競技に関する情報を検索キーにした検索態様を実用することができず、コンテンツデータにおける特徴的なシーンを迅速かつ的確に検索することができないものになっている。

そこで、本願は、上述した事情を鑑みてなされたものであり、その課題の一例として、テロップの内容を検索対象にすることができ、コンテンツデータにおける特徴的なシーンを迅速かつ的確に検索することができる画像処理装置を提供することを目的とする。

上述した課題を解決するために、請求項１に記載の画像処理装置は、時間経過に伴って進行する主画像データと前記主画像データに重畳され前記主画像データの進行態様に応じて変化する副画像データとによって構成された映像データを含むコンテンツデータを取得する取得手段と、前記映像データから前記副画像データを抽出する抽出手段と、前記抽出された副画像データの変化部位と前記変化部位の変化点とを検出する検出手段と、前記検出された変化部位の画像を用いて検索キーを生成する生成手段と、前記生成された検索キーと前記検出された変化点との対応関係を示す検索データを設定する設定手段と、前記生成された検索キーと前記主画像データの進行態様との対応関係を示す進行データを前記設定された検索データに付加する付加手段と、を備え、前記付加手段は、前記進行データを内部に格納し、前記検出手段が前記副画像データの変化部位を検出する際に当該進行データを読み出すとともに、前記検出手段に前記変化部位の意味を認識させ、前記生成手段は、当該変化部位の意味の情報に基づいて前記検索キーを生成することを特徴とする構成を有している。

また、請求項２に記載の画像処理装置は、時間経過に伴って進行する主画像データと前記主画像データに重畳され前記主画像データの進行態様に応じて変化する副画像データとによって構成された映像データを含むコンテンツデータを取得する取得手段と、前記映像データから前記副画像データを抽出する抽出手段と、前記抽出された副画像データの変化部位と前記変化部位の変化点とを検出する検出手段と、前記検出された変化部位の画像を用いて検索キーを生成する生成手段と、前記生成された検索キーと前記検出された変化点との対応関係を示す検索データを設定する設定手段と、前記生成された検索キーを選択するために用いられる選択手段と、前記選択された検索キーに対応する前記変化部位の変化点を前記設定された検索データに基づいて検索する検索手段と、前記検索された変化点を開始点として前記コンテンツデータを再生する再生手段と、前記生成された検索キーと前記主画像データの進行態様との対応関係を示す進行データを前記設定された検索データに付加する付加手段と、を備え、前記付加手段は、前記進行データを内部に格納し、前記検出手段が前記副画像データの変化部位を検出する際に当該進行データを読み出すとともに、前記検出手段に前記変化部位の意味を認識させ、前記生成手段は、当該変化部位の意味の情報に基づいて前記検索キーを生成することを特徴とする構成を有している。

また、請求項４に記載の画像処理方法は、時間経過に伴って進行する主画像データと前記主画像データに重畳され前記主画像データの進行態様に応じて変化する副画像データとによって構成された映像データを含むコンテンツデータを取得する取得工程と、前記映像データから前記副画像データを抽出する抽出工程と、前記抽出された副画像データの変化部位と前記変化部位の変化点とを検出する検出工程と、前記検出された変化部位の画像を用いて検索キーを生成する生成工程と、前記生成された検索キーと前記検出された変化点との対応関係を示す検索データを設定する設定工程と、前記生成された検索キーと前記主画像データの進行態様との対応関係を示す進行データを前記設定された検索データに付加する付加工程と、を有し、前記付加工程において、前記進行データを内部に格納し、検出手段が前記副画像データの変化部位を検出する際に当該進行データを読み出すとともに、前記検出手段に前記変化部位の意味を認識させ、前記生成工程において、当該変化部位の意味の情報に基づいて前記検索キーを生成することを特徴とする構成を有している。

また、請求項５に記載の画像処理方法は、時間経過に伴って進行する主画像データと前記主画像データに重畳され前記主画像データの進行態様に応じて変化する副画像データとによって構成された映像データを含むコンテンツデータを取得する取得工程と、前記映像データから前記副画像データを抽出する抽出工程と、前記抽出された副画像データの変化部位と前記変化部位の変化点とを検出する検出工程と、前記検出された変化部位の画像を用いて検索キーを生成する生成工程と、前記生成された検索キーと前記検出された変化点との対応関係を示す検索データを設定する設定工程と、前記生成された検索キーを選択するための選択工程と、前記選択された検索キーに対応する前記変化部位の変化点を前記設定された検索データに基づいて検索する検索工程と、前記検索された変化点を開始点として前記コンテンツデータを再生する再生工程と、前記生成された検索キーと前記主画像データの進行態様との対応関係を示す進行データを前記設定された検索データに付加する付加工程と、を有し、前記付加工程において、前記進行データを内部に格納し、検出手段が前記副画像データの変化部位を検出する際に当該進行データを読み出すとともに、前記検出手段に前記変化部位の意味を認識させ、前記生成工程において、当該変化部位の意味の情報に基づいて前記検索キーを生成することを特徴とする構成を有している。

また、請求項６に記載の画像処理プログラムは、時間経過に伴って進行する主画像データと前記主画像データに重畳され前記主画像データの進行態様に応じて変化する副画像データとによって構成された映像データを含むコンテンツデータを取得する取得手段、前記映像データから前記副画像データを抽出する抽出手段、前記抽出された副画像データの変化部位と前記変化部位の変化点とを検出する検出手段、前記検出された変化部位の画像を用いて検索キーを生成する生成手段、前記生成された検索キーと前記検出された変化点との対応関係を示す検索データを設定する設定手段、前記生成された検索キーと前記主画像データの進行態様との対応関係を示す進行データを前記設定された検索データに付加する付加手段と、としてコンピュータを機能させ、前記付加手段としての前記コンピュータを、更に、前記進行データを内部に格納し、前記検出手段が前記副画像データの変化部位を検出する際に当該進行データを読み出すとともに、前記検出手段に前記変化部位の意味を認識させ、前記生成手段としての前記コンピュータを、更に、当該変化部位の意味の情報に基づいて前記検索キーを生成させるように機能させることを特徴とする構成を有している。

また、請求項７に記載の画像処理プログラムは、時間経過に伴って進行する主画像データと前記主画像データに重畳され前記主画像データの進行態様に応じて変化する副画像データとによって構成された映像データを含むコンテンツデータを取得する取得手段、前記映像データから前記副画像データを抽出する抽出手段、前記抽出された副画像データの変化部位と前記変化部位の変化点とを検出する検出手段、前記検出された変化部位の画像を用いて検索キーを生成する生成手段、前記生成された検索キーと前記検出された変化点との対応関係を示す検索データを設定する設定手段、前記生成された検索キーを選択するために用いられる選択手段、前記選択された検索キーに対応する前記変化部位の変化点を前記設定された検索データに基づいて検索する検索手段、前記検索された変化点を開始点として前記コンテンツデータを再生する再生手段、前記生成された検索キーと前記主画像データの進行態様との対応関係を示す進行データを前記設定された検索データに付加する付加手段と、としてコンピュータを機能させ、前記付加手段としての前記コンピュータを、更に、前記進行データを内部に格納し、前記検出手段が前記副画像データの変化部位を検出する際に当該進行データを読み出すとともに、前記検出手段に前記変化部位の意味を認識させ、前記生成手段としての前記コンピュータを、更に、当該変化部位の意味の情報に基づいて前記検索キーを生成させるように機能させることを特徴とする構成を有している。

また、請求項８に記載の情報記録媒体は、請求項６に記載の画像処理プログラムをコンピュータに読み取り可能に記録したことを特徴とする構成を有している。

また、請求項９に記載の情報記録媒体は、請求項７に記載の画像処理プログラムをコンピュータに読み取り可能に記録したことを特徴とする構成を有している。

次に、本願を実施するための最良の形態について図面に基づいて説明する。なお、以下に説明する実施形態は、本願に係る画像処理装置をデータ記録再生装置に適用した場合の実施形態である。

具体的には、本実施形態におけるデータ記録再生装置は、テレビジョン放送によって提供されたコンテンツデータを記録するとともに、当該記録されたコンテンツデータを再生するようになっている。そして、データ記録再生装置は、当該記録されたコンテンツデータにおける特徴的なシーン（場面）を検索し、当該検索されたシーンからコンテンツデータを再生するようになっている。

なお、本実施形態において、コンテンツデータは、例えば、野球、サッカー、テニス、ボクシングなどのスポーツにおける中継放送に関するものであって、映像データと音声データとを含むものである。

また、映像データは、時間経過に伴って進行する主画像データと、主画像データに重畳され、主画像データの進行態様に応じて変化する副画像データとによって構成されている。すなわち、主画像データは、競技自体を映し出す画像データ（以下、「競技画像」という。）であり、副画像データは、文字、記号などの画像によって構成され、試合経過、選手紹介などの競技に関する情報を示す画像データ（以下、「テロップ」という。）である。

例えば、コンテンツデータが野球の中継放送に関するものである場合には、テロップは、両チームの得点、攻守の回数などの情報をユーザに提示するようになっている。このために、テロップが変化した時点は、得点が入った時点、攻守が交代した時点などの特徴的な時点になることが多い。そこで、本実施形態におけるデータ記録再生装置は、テロップの変化部位の画像を検索キーにしてコンテンツデータにおける特徴的なシーンを検索するようになっている。

まず、本実施形態におけるデータ記録再生装置の構成ついて図１から図６を用いて説明する。

なお、図１は、本実施形態におけるデータ記録再生装置の構成を示すブロック図であり、図２は、図１に示したデータ記録再生装置の要部の構成を示すブロック図である。また、図３は、図１に示したデータ記録再生装置によって抽出されたテロップの一例を示す図であり、図４は、図１に示したデータ記録再生装置によって検出された変化部位の一例を示す図である。さらに、図５は、図１に示したデータ記録再生装置によって設定された検索データの一例を示す図であり、図６は、図１に示したデータ記録再生装置によって生成されたメニュー画像の一例を示す図である。

本実施形態におけるデータ記録再生装置１００は、図１に示すように、受信部１０１と、放送データ記録部１０２と、補助データ記録部１０３と、映像出力部１０４と、モニタ１０５と、音声出力部１０６と、スピーカ１０７と、操作部１０８と、システム制御部２００とを備えており、各部はデータバス１０９によって相互に接続されている。

受信部１０１は、下述する録画制御部２０２から出力された制御信号に基づいて所定の録画日時に所定の放送局からの放送波を受信し、当該受信された放送波を復調して放送データを生成するようになっている。そして、受信部１０１は、当該生成された放送データをシステム制御部２００に出力するようになっている。

なお、例えば、本実施形態における受信部１０１は、本願に係る取得手段を構成している。

例えば、ＢＳ（Broadcasting Satellite）デジタル放送またはＣＳ（Communication Satellite）デジタル放送を受信する場合に、本実施形態の受信部１０１は、放送波を復調して放送データを生成する際に、上述したコンテンツデータと、コンテンツデータの属性を示す属性データとを分離し、コンテンツデータおよび属性データの各データを、それぞれ、システム制御部２００に出力するようになっている。

なお、ＢＳデジタル放送またはＣＳデジタル放送には、コンテンツデータの他に、コンテンツデータのジャンルなどの情報を示す番組配列情報（以下、「ＳＩ（Service Information）情報」という。）と呼ばれる属性データが含まれている。

放送データ記録部１０２は、ハードディスクなどの記録媒体によって構成されている。そして、放送データ記録部１０２には、下述する録画制御部２０２から出力されたプログラムストリームからなるコンテンツデータが記録されるようになっている。

補助データ記録部１０３は、ＲＡＭ（Random Access Memory）等の内部メモリ、ｘＤピクチャーカード（登録商標）等の外部メモリ、または、ＳＩＭ（Subscriber Identity Module）等のＩＣカードなどの記録媒体によって構成されており、下述する各部から出力された予約データ、検索データ、進行データなどのコンテンツデータの記録および再生に関するデータが記録されるようになっている。

映像出力部１０４は、下述する再生制御部２０３から出力されたＭＰＥＧ（Moving Picture Experts Group）フォーマットの映像データを変換して映像信号を生成し、当該生成された映像信号におけるモニタ１０５の表示動作を制御するようになっている。

具体的には、この映像出力部１０４は、生成された映像信号をバッファメモリに一時的に保存しつつ、当該保存された映像信号を所定のタイミングでモニタ１０５に出力するようになっている。

また、映像出力部１０４は、下述する表示制御部２１０から出力された表示データを変換して映像信号を生成し、当該生成された映像信号をモニタ１０５に出力するようになっている。

なお、映像信号が入力されたモニタ１０５は、映像出力部１０４から出力された映像信号に応じて映像を表示するとともに、映像出力部１０４から出力された映像信号に応じてメニュー画像を表示するようになっている。また、例えば、本実施形態における映像出力部１０４およびモニタ１０５は、本願に係る表示手段を構成している。

音声出力部１０６は、下述する再生制御部２０３から出力されたＡＣ−３（Audio Code number 3）フォーマットの音声データを変換して音声信号を生成し、当該生成された音声信号におけるスピーカ１０７の出力動作を制御するようになっている。

具体的には、この音声出力１０６は、生成された音声信号をバッファメモリに一時的に保存しつつ、当該保存された音声信号を所定のタイミングでスピーカ１０７に出力するようになっている。

なお、音声信号が入力されたスピーカ１０７は、音声出力部１０６からの音声信号に応じて音声を出力するようになっている。

操作部１０８は、複数のボタンが配設された操作パネルまたは遠隔操作用のリモートコントローラなどのユーザの操作をシステム制御部２００に指示するコントローラによって構成されている。そして、操作部１０８は、ユーザによって操作され、当該操作入力に対応する操作信号をシステム制御部２００に出力するようになっている。

また、操作部１０８は、下述するように、モニタ１０５に検索キーのメニュー画像が表示された際に、当該メニュー画面に連動して当該検索キーを選択するための操作が可能になっており、この操作部１０８は、ユーザによって操作されることにより、メニュー画面の検索キーが選択された場合に、当該メニュー画面に対応する操作信号を検索制御部２１１に出力するようになっている。

なお、例えば、本実施形態における操作部１０８は、本願に係る選択手段を構成している。

システム制御部２００は、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）と、を含むように構成されており、操作部１０８からの操作信号に応じて各種のプログラムを実行することによりデータ記録再生装置１００の全体の動作を制御するようになっている。

具体的には、システム制御部２００は、図２に示すように、予約制御部２０１と、録画制御部２０２と、再生制御部２０３と、ジャンル判別部２０４と、テロップ抽出部２０５と、変化部位検出部２０６と、変化点検出部２０７と、検索キー生成部２０８と、検索データ設定部２０９と、表示制御部２１０と、検索制御部２１１と、を備えており、各部はデータバス２１２によって相互に接続されている。

予約制御部２０１は、操作部１０８からの操作信号に応じて予約データを設定し、当該設定された予約データを補助データ記録部１０３に出力するようになっている。なお、この予約データは、コンテンツデータの録画日時、コンテンツデータの放送局などのコンテンツデータの予約録画を行うための情報を示すものである。

録画制御部２０２は、予約録画の際には受信補助データ記録部１０３に記録された予約データに基づいて、または、直接録画の際には操作部１０８からの操作信号に応じて、部１０１を制御するための制御信号を受信部１０１に出力するようになっている。

なお、これにより、受信部１０１は、録画制御部２０２から出力された制御信号に基づいて、所定の録画日時に所定の放送局からの放送波、または、現在放送されている放送波を受信するように制御される。

また、録画制御部２０２は、受信部１０１から出力されたコンテンツデータに含まれる映像データをＭＰＥＧフォーマットに変換するとともに、受信部１０１から出力されたコンテンツデータに含まれる音声データをＡＣ−３フォーマットに変換するようになっている。

さらに、この録画制御部２０２は、当該変換されたＭＰＥＧフォーマットの映像データおよびＡＣ−３フォーマットの音声データからプログラムストリームを生成し、当該生成されたプログラムストリームを放送データ記録部１０２に出力するようになっている。

なお、録画されているコンテンツデータをモニタ１０５およびスピーカ１０７に出力する際には、この録画制御部２０２は、ＭＰＥＧフォーマットの映像データおよびＡＣ−３フォーマットの音声データを映像出力部１０４および音声出力部１０６に出力するようになっている。

再生制御部２０３は、放送データ記録部１０２に記録されたプログラムストリームを読み出し、当該読み出されたプログラムストリームをＭＰＥＧフォーマットの映像データおよびＡＣ−３フォーマットの音声データに変換するようになっている。そして、再生制御部２０３は、当該変換された映像データを映像出力部１０４に出力するとともに、当該変換された音声データを音声出力部１０６に出力するようになっている。このようにして、再生制御部２０３は、放送データ記録部１０２に記録されたコンテンツデータを再生するようになっている。

また、再生制御部２０３は、コンテンツデータが放送データ記録部１０２に記録され、下述するジャンル判別部２０４がコンテンツデータのジャンルがスポーツであると判別した場合に、下述する検索キーを設定するための処理（以下、「検索データ設定処理」という。）を行うため、放送データ記録部１０２に記録されているプログラムストリームの形式を有するコンテンツデータを取得するとともに、当該取得されたプログラムストリームを映像データに変換し、当該変換された映像データをテロップ抽出部２０５に出力するようになっている。

さらに、再生制御部２０３は、下述するように、検索データに基づいて再生を行う際に、検索制御部２１１によって検索された変化点を開始点として放送データ記録部１０２に記録されたコンテンツデータを再生し、検索キー設定動作による再生を行うようになっている。

なお、例えば、本実施形態における再生制御部２０３は、本願に係る再生手段を構成している。

例えば、コンテンツデータが野球の中継放送に関するものであって、攻守の回数Cとして「９」回が選択された場合には、この再生制御部２０３は、図５に示すように、画像データ「telop-c9.gif」に対応する変化点「47127」を開始点としてコンテンツデータを再生するようになっている。

ジャンル判別部２０４は、受信部１０１から出力された属性データに含まれるＳＩ情報からＥＩＴ（Event Information Table）情報を抽出し、当該抽出されたＥＩＴ情報に基づいて放送データ記録部１０２に記録されたコンテンツデータのジャンルを判別するようになっている。

具体的には、ジャンル判別部２０４は、当該抽出されたＥＩＴ情報に基づいてコンテンツデータのジャンルがスポーツであるか否かを判別し、コンテンツデータのジャンルがスポーツである場合に、当該判別結果を示す制御信号を再生制御部２０３およびテロップ抽出部２０５に出力するようになっている。

テロップ抽出部２０５は、コンテンツデータのジャンルがスポーツであるという判別結果を示す制御信号が入力され、かつ、再生制御部２０３から再生制御部２０３から出力されたＭＰＥＧフォーマットの映像データが入力された場合に、当該入力された映像データを変換して映像信号を生成し、当該生成された映像信号からテロップを抽出するようになっている。

具体的には、テロップ抽出部２０５は、映像信号をフレーム毎に二値化し、テロップのエッジを検出することにより、映像信号から１または２以上のテロップを抽出するようになっている。

例えば、コンテンツデータが野球の中継放送に関するものである場合には、テロップ抽出部２０５は、図３に示すように、競技に関する情報を示すテロップ２２０を抽出するようになっている。

なお、上述したようにテロップ抽出部２０５がテロップのエッジを検出する場合には、映像データ構成する連続する数フレームの間にエッジが安定して出現することを条件としている。また、このように、本実施形態では、テロップ抽出部２０５は、テロップのエッジを検出することによりテロップを抽出するようになっているが、これに限らず、映像信号の色分布を検出することによりテロップを抽出するように構成してもよい。

また、このテロップ抽出部２０５は、当該抽出されたテロップ部分の映像信号を各フレーム毎にテロップデータとして変化部位検出部２０６に出力するようになっている。

変化部位検出部２０６は、テロップ抽出部２０５によって抽出されたテロップ、すなわち、入力されたフレーム毎のテロップデータに基づいて、テロップ内部の画像が変化する部位（以下、「変化部位」という。）を検出するようになっている。

具体的には、変化部位検出部２０６は、テロップデータによって示されるテロップ内部の輝度変化をフレーム毎に検出することにより、テロップから１または２以上の変化部位を検出するようになっている。

例えば、コンテンツデータが野球の中継放送に関するものである場合には、変化部位検出部２０６は、図４に示すように、両チームの得点A、B、攻守の回数C、攻守の表裏D、ストライクカウントE、ボールカウントF、および、アウトカウントGを示す変化部位を検出するようになっている。

なお、上述したように変化部位検出部２０６がテロップの輝度変化を検出する場合には、テロップ抽出部２０５と同様に、テロップデータを構成する連続する数フレームの間に輝度が同一になることを条件としている。また、このように、本実施形態では、変化部位検出部２０６は、テロップの輝度変化を検出することにより変化部位を検出するようになっているが、これに限らず、テロップの色変化を検出することにより変化部位を検出するように構成してもよい。

また、この変化部位２０６は、当該検出された各変化部位のテロップ内部の配置を示す位置データと各フレーム毎のテロップデータとを変化点検出部２０７に出力するようになっている。

変化点検出部２０７は、変化部位検出部２０６によって検出された変化部位の位置データと、各フレーム毎のテロップデータに基づいて、テロップ内部における各変化部位の画像が変化した時点（以下、「変化点」という。）を検出するようになっている。

具体的には、変化点検出部２０７は、位置データによって示された部位が変化した時点を各フレーム毎のテロップデータに基づいて、変化部位の画像が変化したときのフレームの数値を変化点として検出するようになっている。

また、この変化点検出部２０７は、変化部位が変化した時点を示すフレームの数値と、その変化点におけるテロップデータである画像データと、を検索キー生成部２０３に出力するようになっている。

なお、例えば、本実施形態におけるテロップ抽出部２０５は、本願に係る抽出手段を構成しており、本実施形態における変化部位検出部２０６および変化点検出部２０７は、本願に係る検出手段を構成している。

検索キー生成部２０８は、変化部位検出部２０６によって検出された変化部位が変化した時点を示すフレームの数値と、その変化点におけるテロップデータである画像データとを用いて検索キーを生成するようになっている。

具体的には、検索キー生成部２０８は、変化点検出部２０７によって検出された変化点毎にその時点のテロップデータから変化部位の画像を切り出し、当該切り出された画像を用いて検索キーを生成するとともに、当該変化部位の画像を切り出したフレームの数値を検出するようになっている。

例えば、コンテンツデータが野球の中継放送に関するものである場合には、攻守の回数Cについて、「１」〜「９」を示す９種類の画像が変化部位として検出され、その変化部位が変化した時点のフレームの数値と、その変化点の画像データとが入力されるので、検索キー生成部２０８は、「１」、「２」、「３」、「４」、「５」、「６」、「７」、「８」、および、「９」を示す９種類の画像の検索キーを生成するようになっている。

なお、例えば、本実施形態における検索キー生成部２０８は、本願に係る生成手段を構成している。

また、検索キー生成部２０８は、生成された検索キーの画像データと、その各画像データの変化点のフレーム数とを検索データ設定部２０９に出力するようになっている。

検索データ設定部２０９は、検索キー生成部２０８によって生成された検索キーの画像データとその各画像データのフレーム数とに基づいて、検索キーとその検索キーの変化点との対応関係を示す検索データを設定し、当該設定された検索データを補助データ記録部１０３に出力するようになっている。

具体的には、検索データ設定部２０９は、図５に示すように、検索キーを示す画像データと変化点を示すフレームとの対応関係を示すテーブルを生成し、この生成したテーブルのデータを補助データ記録部１０３に出力するようになっている。

例えば、検索データ設定部２０９は、コンテンツデータが野球の中継放送に関するものであって、攻守の回数Cが「８」回から「９」回に変化する場合には、画像「９」を示す画像データ「telop-c9.gif」と、画像「８」から画像「９」に変化したフレーム「47127」とが対応する検索データを設定、すなわち、検索キーを示す画像データ「telop-c9.gif」と変化点を示すフレーム「47127」との対応関係を示すテーブルを生成するようになっている。

なお、例えば、本実施形態における検索データ設定部２０９は、本願に係る設定手段を構成している。

表示制御部２１０は、検索キー生成部２０８によって生成された検索キーをテロップ抽出部２０５によって抽出されたテロップに合成することにより当該検索キーによって再生開始点を示すメニュー画像を生成し、当該生成されたメニュー画像を示す表示データを映像出力部１０４に出力するようになっている。

例えば、コンテンツデータが野球の中継放送に関するものであって、攻守の回数Cが検索キーになる場合には、図６に示すように、表示制御部２１０は、テロップ２２０の変化部位２２１を強調表示し、当該強調表示された変化部位２２１に検索キー２２２を合成表示するメニュー画像を生成するようになっている。

なお、メニュー画像は、検索キーである９種類の画像を一つずつ順番に表示する、いわゆる、トグル形式であってもよく、検索キーである９種類の画像を全て列状に表示する、いわゆる、メニュー形式であってもよい。

検索制御部２１１は、操作部１０８からの操作信号に応じて選択された検索キーを認識し、当該認識された検索キーに対応する変化点を補助データ記録部１０３に記録された検索データに基づいて検索し、該当する変化点を示すフレームの情報を再生制御部２０３に出力するようになっている。

例えば、コンテンツデータが野球の中継放送に関するものであって、攻守の回数Cとして「９」回が選択された場合には、検索制御部２１１は、図５に示すように、検索キーを示す画像データとして「telop-c9.gif」が認識され、変化点を示すフレームとして「47127」を検索するようになっている。

なお、例えば、本実施形態における検索制御部２１１は、本願に係る検索手段を構成している。

次に、本実施形態におけるデータ記録再生装置の動作について図７を用いて説明する。なお、図７は、本実施形態におけるデータ記録再生装置の検索データ設定処理の動作を示すフローチャートである。

なお、本動作では、放送データ記録部１０２には、既に検索データの設定の対象となる放送データがプログラムストリームとして記録されており、当該放送データのＳＩ情報が当該放送データに対応づけて記録されているものとする。

まず、放送データ記録部１０２におけるコンテンツデータの記録が終了すると、ジャンル判別部２０４は、ＥＩＴ情報に基づいて当該コンテンツデータのジャンルを判別し（ステップＳ１０１）、当該コンテンツデータのジャンルがスポーツである旨を再生制御部２０３およびテロップ抽出部２０５に出力する、または、操作部１０８に検索データを設定する旨が入力されると、操作部１０８は、その検索データを設定する旨に対応する操作信号を再生制御部２０３およびテロップ抽出部２０５に出力する。

次いで、再生制御部２０３に検索データを設定する旨が入力されると、当該再生制御部２０３は、放送データ記録部１０２から当該検索データの設定処理の対象となるコンテンツデータにおけるプログラムストリームを取得するとともに、上述のように、取得したプログラムストリームを映像データに変換し、当該変換された映像データをテロップ抽出部２０５に出力する（ステップＳ１０２）。

次いで、テロップ抽出部２０５に検索データを設定する旨が入力されるとともに、映像データが入力されると、当該テロップ抽出部２０５は、入力された映像データからテロップを抽出し、抽出されたテロップ部分の映像信号を各フレーム毎にテロップデータとして変化部位検出部２０６に出力する（ステップＳ１０３）。

具体的には、テロップ抽出部２０５は、上述のように、再生制御部２０３から出力されたＭＰＥＧフォーマットの映像データを変換して映像信号を生成するとともに、この生成された映像信号からテロップを抽出し、当該抽出されたテロップ部分の映像信号を各フレーム毎にテロップデータとして変化部位検出部２０６に出力する。

例えば、コンテンツデータが野球の中継放送に関するものである場合には、上述のように、テロップ抽出部２０５は、競技に関する情報を示すテロップ２２０を抽出する。

次いで、変化部位検出部２０６にフレーム毎のテロップデータが入力されると、当該変化部位検出部２０６は、入力されたテロップデータに基づいてテロップの変化部位を検出し、検出された各変化部位のテロップ内部の位置を示す位置データと各フレーム毎のテロップデータとを変化点検出部２０７に出力する（ステップＳ１０４）。

例えば、コンテンツデータが野球の中継放送に関するものである場合には、上述のように、変化部位検出部２０６は、両チームの得点A、B、攻守の回数C、攻守の表裏D、ストライクカウントE、ボールカウントF、および、アウトカウントGを示す変化部位を検出する。

次いで、変化点検出部２０７に各変化部位のテロップ内部の位置を示す位置データと各フレーム毎のテロップデータとが入力されると、当該変化点検出部２０７は、入力された位置データとテロップデータとに基づいて変化部位の変化点を検出し、変化部位が変化した時点を示すフレームの数値と、その変化点におけるテロップデータである画像データとを検索キー生成部２０３に出力する（ステップＳ１０５）。

具体的には、変化検出部２０７は、上述のように、位置データによって示された部位の変化する時点を各フレーム毎のテロップデータに基づいて、変化部位の画像が変化したときのフレームの数値を変化点として検出する。

次いで、検索キー生成部２０８に変化部位が変化した時点を示すフレームの数値と、その変化点におけるテロップデータである画像データとが入力されると、当該検索キー生成部２０８は、入力されたフレームの数値と変化点の画像データとに基づいて検索キーを生成し、当該生成された検索キーの画像データと、その各画像データの変化点のフレーム数値とを検索データ設定部２０９に出力する（ステップＳ１０６）。

具体的には、検索キー生成部２０８は、上述のように、変化点毎にその時点のテロップデータから変化部位の画像を切り出し、当該切り出された画像を用いて検索キーを生成する。

例えば、コンテンツデータが野球の中継放送に関するものである場合には、検索キー生成部２０８は、上述のように、攻守の回数Cについて、「１」、「２」、「３」、「４」、「５」、「６」、「７」、「８」、および、「９」を示す９種類の画像を用いて検索キーを生成する。

次いで、検索データ設定部２０９に検索キーの画像データと、その各画像データの変化点のフレーム数とが入力されると、当該検索データ設定部２０９は、検索キー生成部２０８によって生成された検索キーと変化点検出部２０７によって検出された変化点との対応関係を示す検索データを設定し、当該設定された検索データを補助データ記録部１０３に出力する（ステップＳ１０７）。

例えば、コンテンツデータが野球の中継放送に関するものであって、攻守の回数Cが「８」回から「９」回に変化する場合には、検索データ設定部２０９は、画像「９」を示す画像データ「telop-c9.gif」と、画像「８」から画像「９」に変化したフレーム「47127」とが対応するように検索データを設定する。

次いで、表示制御部２１０は、検索キー生成部２０８によって生成された検索キーをテロップ抽出部２０５によって抽出されたテロップに合成することにより、当該検索キーによって再生開始点を示すメニュー画像を生成し、当該生成されたメニュー画像を示す表示データを映像出力部１０４に出力する（ステップＳ１０８）。

例えば、コンテンツデータが野球の中継放送に関するものであって、攻守の回数Cが検索キーになる場合には、上述のように、表示制御部２１０は、テロップ２２０の変化部位２２１を強調表示し、当該強調表示された変化部位２２１に検索キー２２２を合成表示するようにメニュー画像を生成する。

次いで、映像出力部１０４は、表示制御部２１０から出力された表示データを変換して映像信号を生成し、当該生成された映像信号をモニタ１０５に出力し、当該生成された映像信号に応じてモニタ１０５にメニュー画像を表示させる（ステップＳ１０９）。

このとき、表示制御部２１０は、メニュー画像を示す表示データを映像出力部１０４に出力する旨を検索制御部２１１に出力し、当該検索制御部２１１にユーザによる操作部１０８における操作入力を待機させる。

次いで、操作部１０８がモニタ１０５に表示されたメニュー画像から検索キーを選択するためにユーザによって操作されると、当該操作部１０８は、当該操作入力に対応する操作信号を検索制御部２１１に出力する（ステップＳ１１０）。

次いで、検索制御部２１１に操作入力に対応する操作信号が入力されると、当該検索制御部２１１は、操作部１０８からの操作信号に応じて選択された検索キーを認識するとともに、当該認識された検索キーに対応する変化点を補助データ記録部１０３に記録された検索データに基づいて検索し、検索結果、すなわち、再生を開始すべき変化点のフレームの情報を再生制御部２０３に出力する（ステップＳ１１１）。

例えば、コンテンツデータが野球の中継放送に関するものであって、攻守の回数Cとして「９」回が選択された場合には、上述のように、検索制御部２１１は、検索キーを示す画像データとして「telop-c9.gif」を認識し、変化点を示すフレームとして「47127」を検索する。

最後に、再生制御部２０３に再生を開始すべき変化点のフレームの情報が入力されると、当該再生制御部２０３は、入力されたフレームの情報を開始点として放送データ記録部１０２に記録されたコンテンツデータの再生を開始して（ステップＳ１１２）、本動作を終了させる。

例えば、コンテンツデータが野球の中継放送に関するものであって、攻守の回数Cとして「９」回が選択された場合には、再生制御部２０３は、上述のように、画像データ「telop-c9.gif」に対応する変化点「47127」を開始点としてコンテンツデータを再生する。

以上説明したように、本実施形態では、データ記録再生装置１００は、時間経過に伴って進行する競技画像と競技画像に重畳され競技画像の進行態様に応じて変化するテロップとによって構成された映像データを含むコンテンツデータを取得する受信部１０１と、映像データからテロップを抽出するテロップ抽出部２０５と、抽出されたテロップの変化部位を検出する変化部位検出部２０６と、変化部位の変化点を検出する変化点検出部２０７と、検出された変化部位の画像を用いて検索キーを生成する検索キー生成部２０８と、生成された検索キーと検出された変化点との対応関係を示す検索データを設定する検索データ設定部２０９と、生成された検索キーを選択するために用いられる操作部１０８と、選択された検索キーに対応する変化部位の変化点を設定された検索データに基づいて検索する検索制御部２１１と、検索された変化点を開始点としてコンテンツデータを再生する再生制御部２０３とを備えたことを特徴とする構成を有している。

この構成により、本実施形態では、検索キー生成部２０８がテロップの変化部位の画像を用いて検索キーを生成し、当該生成された検索キーと検出された変化点との対応関係を示す検索データを設定する。

したがって、本実施形態では、検索キーを選択すれば、この検索キーに該当する変化点を開始点として検索し、当該開始点よりコンテンツデータを再生するので、テロップの内容を検索対象にすることができ、コンテンツデータにおける特徴的なシーンを迅速かつ的確に検索することができる。

この結果、本実施形態では、検索キーがテロップの変化部位の画像によって構成されているので、検索キーを生成する際に文字認識を行う必要がなく、ユーザの誤認識を防止することができるとともに、迅速かつ的確にユーザが所望するコンテンツデータの任意の時点から再生を行うことができる。

また、本実施形態では、データ記録再生装置１００は、生成された検索キーを表示するための表示制御部２１０、映像出力部１０４およびモニタ１０５を備えたことを特徴とする構成を有している。

この構成により、本実施形態では、モニタ１０５に検索キーとしてテロップの変化部位の画像が表示されるので、直感的に分かり易いメニュー画面をユーザに提供することができる。

なお、本実施形態では、データ記録再生装置１００は、図８に示すように、生成された検索キーと競技画像の進行態様との対応関係を示す進行データを、上述のように設定された検索データに付加する付加手段としての付加制御部２１３をシステム制御部２００に備えたことを特徴とする構成を有してもよい。

例えば、コンテンツデータが野球の試合の中継の場合に、テロップの変化部位において、回数が１回変化する間に、表裏の変化部位は２回変化することが想定される。また、このようなコンテンツデータが野球の試合の中継の場合に、当該テロップデータの変化部位において、攻守が切り替わる間には、アウトカウントは２回変化することが想定される。

したがって、付加制御部２１３は、これらの進行データを内部に格納し、変化部位検出部２０６がテロップの変化部位を検出する際に当該進行データを読み出すとともに、変化部位検出部２０６に変化部位の意味を認識させ、当該変化部位の意味の情報を、変化点検出部２０７を介して検索キー生成部２０８に出力させる。

また、この場合に、検索キー生成部２０８は、当該検索キーを表示する際に当該変化部位の意味の情報も表示させるよう当該変化部位の意味の情報に基づいて検索キーを生成する。

この構成により、本実施形態では、テロップの性質を利用して検索キーを生成するときに予め意味付けをすることによって、検索キーの意味に基づいて検索キーを表示することができ、さらに使い易いメニュー画面をユーザに提供することができる。

また、本実施形態では、予約制御部２０１、録画制御部２０２、再生制御部２０３、ジャンル判別部２０４、テロップ抽出部２０５、変化部位検出部２０６、変化点検出部２０７、検索キー生成部２０８、検索データ設定部２０９、表示制御部２１０、検索制御部２１１および付加制御部２１３がシステム制御部２００に含まれるように構成しているが、これに限らず、各部２０１〜２１１、２１３がシステム制御部２００から独立してデータバス１０９に接続されるとともに、システム制御部２００によってその動作を制御されるように構成してもよい。これにより、システム制御部２００を簡易に構成することができる。

また、本実施形態では、データ記録再生装置１００によって上述した検索データ設定処理を実行するように構成されているが、上述した検索データ設定処理を規定するプログラムが記録された記録媒体と、記録されたプログラムを読み取るコンピュータとを備え、コンピュータによって上述した検索データ設定処理を実行するように構成してもよい。

本願に係る一実施形態のデータ記録再生装置の構成を示すブロック図である。図１に示したデータ記録再生装置の要部の構成を示すブロック図である。図１に示したデータ記録再生装置によって抽出されたテロップの一例を示す図である。図１に示したデータ記録再生装置によって検出された変化部位の一例を示す図である。図１に示したデータ記録再生装置によって設定された検索データの一例を示す図である。図１に示したデータ記録再生装置によって生成されたメニュー画像の一例を示す図である。図１に示したデータ記録再生装置の検索データ設定処理を示すフローチャートである。図１に示したデータ記録再生装置の要部の構成を示すブロック図である。

符号の説明

１００データ記録再生装置
１０１受信部
１０２放送データ記録部
１０３補助データ記録部
１０４映像出力部
１０５モニタ
１０８操作部
２００システム制御部
２０３再生制御部
２０５テロップ抽出部
２０６変化部位検出部
２０７変化点検出部
２０８検索キー生成部
２０９検索データ設定部
２１０表示制御部
２１１検索制御部

Claims

時間経過に伴って進行する主画像データと前記主画像データに重畳され前記主画像データの進行態様に応じて変化する副画像データとによって構成された映像データを含むコンテンツデータを取得する取得手段と、
前記映像データから前記副画像データを抽出する抽出手段と、
前記抽出された副画像データの変化部位と前記変化部位の変化点とを検出する検出手段と、
前記検出された変化部位の画像を用いて検索キーを生成する生成手段と、
前記生成された検索キーと前記検出された変化点との対応関係を示す検索データを設定する設定手段と、
前記生成された検索キーと前記主画像データの進行態様との対応関係を示す進行データを前記設定された検索データに付加する付加手段と、
を備え、
前記付加手段は、前記進行データを内部に格納し、前記検出手段が前記副画像データの変化部位を検出する際に当該進行データを読み出すとともに、前記検出手段に前記変化部位の意味を認識させ、
前記生成手段は、当該変化部位の意味の情報に基づいて前記検索キーを生成することを特徴とする画像処理装置。
時間経過に伴って進行する主画像データと前記主画像データに重畳され前記主画像データの進行態様に応じて変化する副画像データとによって構成された映像データを含むコンテンツデータを取得する取得手段と、
前記映像データから前記副画像データを抽出する抽出手段と、
前記抽出された副画像データの変化部位と前記変化部位の変化点とを検出する検出手段と、
前記検出された変化部位の画像を用いて検索キーを生成する生成手段と、
前記生成された検索キーと前記検出された変化点との対応関係を示す検索データを設定する設定手段と、
前記生成された検索キーを選択するために用いられる選択手段と、
前記選択された検索キーに対応する前記変化部位の変化点を前記設定された検索データに基づいて検索する検索手段と、
前記検索された変化点を開始点として前記コンテンツデータを再生する再生手段と、
前記生成された検索キーと前記主画像データの進行態様との対応関係を示す進行データを前記設定された検索データに付加する付加手段と、
を備え、
前記付加手段は、前記進行データを内部に格納し、前記検出手段が前記副画像データの変化部位を検出する際に当該進行データを読み出すとともに、前記検出手段に前記変化部位の意味を認識させ、
前記生成手段は、当該変化部位の意味の情報に基づいて前記検索キーを生成することを特徴とする画像処理装置。
請求項１又は２に記載の画像処理装置において、
前記生成された検索キーを表示するための表示手段を備えたことを特徴とする画像処理装置。
時間経過に伴って進行する主画像データと前記主画像データに重畳され前記主画像データの進行態様に応じて変化する副画像データとによって構成された映像データを含むコンテンツデータを取得する取得工程と、
前記映像データから前記副画像データを抽出する抽出工程と、
前記抽出された副画像データの変化部位と前記変化部位の変化点とを検出する検出工程と、
前記検出された変化部位の画像を用いて検索キーを生成する生成工程と、
前記生成された検索キーと前記検出された変化点との対応関係を示す検索データを設定する設定工程と、
前記生成された検索キーと前記主画像データの進行態様との対応関係を示す進行データを前記設定された検索データに付加する付加工程と、
を有し、
前記付加工程において、前記進行データを内部に格納し、検出手段が前記副画像データの変化部位を検出する際に当該進行データを読み出すとともに、前記検出手段に前記変化部位の意味を認識させ、
前記生成工程において、当該変化部位の意味の情報に基づいて前記検索キーを生成することを特徴とする画像処理方法。
時間経過に伴って進行する主画像データと前記主画像データに重畳され前記主画像データの進行態様に応じて変化する副画像データとによって構成された映像データを含むコンテンツデータを取得する取得工程と、
前記映像データから前記副画像データを抽出する抽出工程と、
前記抽出された副画像データの変化部位と前記変化部位の変化点とを検出する検出工程と、
前記検出された変化部位の画像を用いて検索キーを生成する生成工程と、
前記生成された検索キーと前記検出された変化点との対応関係を示す検索データを設定する設定工程と、
前記生成された検索キーを選択するための選択工程と、
前記選択された検索キーに対応する前記変化部位の変化点を前記設定された検索データに基づいて検索する検索工程と、
前記検索された変化点を開始点として前記コンテンツデータを再生する再生工程と、
前記生成された検索キーと前記主画像データの進行態様との対応関係を示す進行データを前記設定された検索データに付加する付加工程と、
を有し、
前記付加工程において、前記進行データを内部に格納し、検出手段が前記副画像データの変化部位を検出する際に当該進行データを読み出すとともに、前記検出手段に前記変化部位の意味を認識させ、
前記生成工程において、当該変化部位の意味の情報に基づいて前記検索キーを生成することを特徴とする画像処理方法。
時間経過に伴って進行する主画像データと前記主画像データに重畳され前記主画像データの進行態様に応じて変化する副画像データとによって構成された映像データを含むコンテンツデータを取得する取得手段、
前記映像データから前記副画像データを抽出する抽出手段、
前記抽出された副画像データの変化部位と前記変化部位の変化点とを検出する検出手段、
前記検出された変化部位の画像を用いて検索キーを生成する生成手段、
前記生成された検索キーと前記検出された変化点との対応関係を示す検索データを設定する設定手段、
前記生成された検索キーと前記主画像データの進行態様との対応関係を示す進行データを前記設定された検索データに付加する付加手段と、
としてコンピュータを機能させ、
前記付加手段としての前記コンピュータを、更に、前記進行データを内部に格納し、前記検出手段が前記副画像データの変化部位を検出する際に当該進行データを読み出すとともに、前記検出手段に前記変化部位の意味を認識させ、前記生成手段としての前記コンピュータを、更に、当該変化部位の意味の情報に基づいて前記検索キーを生成させるように機能させることを特徴とする画像処理プログラム。
時間経過に伴って進行する主画像データと前記主画像データに重畳され前記主画像データの進行態様に応じて変化する副画像データとによって構成された映像データを含むコンテンツデータを取得する取得手段、
前記映像データから前記副画像データを抽出する抽出手段、
前記抽出された副画像データの変化部位と前記変化部位の変化点とを検出する検出手段、
前記検出された変化部位の画像を用いて検索キーを生成する生成手段、
前記生成された検索キーと前記検出された変化点との対応関係を示す検索データを設定する設定手段、
前記生成された検索キーを選択するために用いられる選択手段、
前記選択された検索キーに対応する前記変化部位の変化点を前記設定された検索データに基づいて検索する検索手段、
前記検索された変化点を開始点として前記コンテンツデータを再生する再生手段、
前記生成された検索キーと前記主画像データの進行態様との対応関係を示す進行データを前記設定された検索データに付加する付加手段と、
としてコンピュータを機能させ、
前記付加手段としての前記コンピュータを、更に、前記進行データを内部に格納し、前記検出手段が前記副画像データの変化部位を検出する際に当該進行データを読み出すとともに、前記検出手段に前記変化部位の意味を認識させ、前記生成手段としての前記コンピュータを、更に、当該変化部位の意味の情報に基づいて前記検索キーを生成させるように機能させることを特徴とする画像処理プログラム。
請求項６に記載の画像処理プログラムをコンピュータに読み取り可能に記録したことを特徴とする情報記録媒体。
請求項７に記載の画像処理プログラムをコンピュータに読み取り可能に記録したことを特徴とする情報記録媒体。