JP4772012B2

JP4772012B2 - 静止画抽出装置及び静止画抽出プログラム

Info

Publication number: JP4772012B2
Application number: JP2007211440A
Authority: JP
Inventors: 直樹河合; 昌巳藤田; 章中村
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2007-08-14
Filing date: 2007-08-14
Publication date: 2011-09-14
Anticipated expiration: 2027-08-14
Also published as: JP2009049511A

Description

本発明は、サムネイルを作成するために動画の中から静止画を抽出する静止画抽出装置及び静止画抽出プログラムに関する。

テレビジョン放送として放送される番組のデータには、映像データと音声データが含まれている。また、放送される番組データには、映像データとして含まれているため、ユーザ側で表示の可否を選択できない字幕（番組の題名やキャストなどの紹介、または、海外の作品における日本語字幕）が含まれている場合がある。また、放送される番組データには、表示させるか否かをユーザ側で選択可能な字幕データが含まれている場合がある。このような選択可能な字幕データは、一般にクローズドキャプション（Closed Caption）と称され、主に、聴覚障害者用に開発され、海外の作品における日本語字幕のように、出演者の会話だけではなく、例えば、ＢＧＭや効果音などの説明も含まれる。

例えば、ＮＴＳＣ（National Television System Committee）方式のアナログの地上波放送では、映像信号に５２５本の走査線が用いられており、この５２５本のうち、各フィールド（２フィールドで１フレームを構成）の最初の２１本相当は、ＶＢＩ（Vertical Blanking Interval：垂直帰線消去期間）と称される、走査を開始するためのインターバル用に割り当てられている。クローズドキャプションは、各フィールドのＶＢＩのうち、ＶＢＩの２１本目に文字コードを多重化することによって伝送される。そして、各フィールドを使って２種類の文字セットを毎秒約６０文字が伝送されている。

また、デジタルテレビ放送の字幕情報の伝送については、国内規定である地上デジタルテレビジョン放送運用規定・技術資料（ＡＲＩＢＴＲ−Ｂ１４）、ＢＳ／広帯域ＣＳデジタル放送運用規定・技術資料（ＡＲＩＢＴＲ−Ｂ１５）で規定されているように、字幕情報用のトランスポートストリームを使って映像情報の伝送と同時に字幕情報を伝送できるように構成されている。そして、デジタルテレビ放送用受信機において、字幕情報に対応する符号がデコードされ、字幕を構成する文字、図形が生成されて、映像に重畳されて表示される。デジタルテレビ放送において、字幕情報用のトランスポートストリームを使って映像情報の伝送と同時に伝送されたテキスト情報を、内部に保存したり、内部に保存したテキスト情報をテレビモニタでいつでも表示閲覧したりすることができるようにすることにより、ユーザが、表示された字幕のメモを取らなくても、字幕の情報を活用することができるようにした技術がある（例えば、特許文献１参照）。

テレビジョン放送は、近年、例えば、携帯電話やＰＤＡ（Personal Digital Assistant）などのユーザが携帯可能な端末でも閲覧することができるようになってきている。また、家庭内の録画装置で録画された番組を、携帯可能な装置に装着する記録媒体に記録し、その記録媒体から、記録された番組を再生するといったようなことも行われている。このように、放送される字幕データは、さまざまなサービスに利用され始めている。また、テレビジョン放送自体も、さまざまな装置で受信され、その受信された番組が閲覧できるような仕組みも設けられている。

しかしながら、テレビジョン放送は、さまざまな装置で受信され、そのテレビジョン放送で放送された番組は、所定の記録媒体に記録され携帯可能な装置で閲覧されるなどされているが、その番組を記録する記録媒体の容量には限度がある。また、携帯可能な装置に装着可能（内蔵可能）な記録媒体という条件が付加されると、さらに、利用できる記録媒体の容量は限定されてしまう。

そのため、携帯可能な装置で番組を閲覧すると、短い時間の番組しか閲覧できない（番組の一部分しか閲覧できない）、長い時間分の番組を記録するために圧縮率を高くすると、映像が荒くなり画質が低下してしまうといった問題があった。そのために普及しないといった問題もあった。そこで、携帯可能な装置でも長時間の番組や複数の番組を閲覧でき、かつ、画質が低下してしまうようなことを防ぎながら閲覧できる機能が望まれている。

このような問題を解決するため、携帯可能な装置においても、複数の番組や、長時間の番組を閲覧できるようにするために、携帯電話機により指示されたテレビジョン放送の番組を録画し、この録画された番組を時刻情報により関連付けたサムネイル画像データとテキストデータに変換して表示することにより、番組の内容を把握することができる情報処理装置が知られている（例えば、特許文献２参照）。
特開２００３−０７８８８９号公報特開２００６−２５３９６０号公報

ところで、放送番組などの映像コンテンツの内容を容易に理解できるように、映像に付随する字幕データ（テキストデータ）と、映像データから抽出した静止画（サムネイル画像）を表示することで、コンテンツの内容を閲覧あるいは検索することが可能となる。この場合、内容を理解するために過不足なく必要な量の静止画を映像から抽出する必要があるが、長時間の映像データから人手を使って静止画の抽出を行うのは現実的でない。また、コンテンツをダウンロードして閲覧するのに携帯端末等を用いる場合、電波が届く環境ではリアルタイムで配信することが可能であるが、ダウンロードした後に電波の届かない環境でも利用したい場合に、全静止画を記憶容量の少ない携帯端末に収めることができない可能性がある。このような場合、記憶容量の少ない携帯端末に収まるように、静止画の容量、すなわち静止画の枚数を制限してダウンロード用に用意し配信する必要がある。これは１枚の静止画容量が固定となる固定量符号化を用いた静止画では簡単であるが、１枚の静止画の容量が可変である可変量符号化を用いた静止画の場合には所定量の静止画容量とするのは困難であるという問題がある。

本発明は、このような事情に鑑みてなされたもので、映像データの内容を理解するために過不足なく、かつ記憶容量の少ない受信装置であっても必要な量の静止画を保存することができるように効率的に静止画の抽出を行うことができる静止画抽出装置及び静止画抽出プログラムを提供することを目的とする。

本発明は、サムネイルデータを作成するために、映像データから可変量符号化を用いた静止画を抽出する静止画抽出装置であって、前記サムネイルデータを記憶する記憶手段の空き記憶容量の情報を取得する記憶容量取得手段と、前記映像データから所定枚数の可変量符号化を用いた静止画を抽出する第１の静止画抽出手段と、前記第１の静止画抽出手段によって抽出された前記静止画の１枚当たりの平均データ容量を算出する平均容量算出手段と、前記第１の静止画抽出手段によって抽出された全ての静止画データ容量と前記空き記憶容量とに基づいて、前記静止画の超過データ容量を算出する超過容量算出手段と、前記超過容量算出手段によって算出された前記静止画の超過データ容量と、前記平均容量算出手段によって算出された前記１枚当たりの平均データ容量とから超過している静止画枚数を算出する超過枚数算出手段と、前記第１の静止画抽出手段によって抽出された前記静止画から、前記超過している静止画枚数分の静止画を省いて記憶するべき静止画を抽出して前記記憶手段に記憶する第２の静止画抽出手段とを備えたことを特徴とする。

本発明は、前記第２の静止画抽出手段は、時間軸上において一定の割合で前記超過している静止画枚数分の静止画を省くことを特徴とする。

本発明は、前記第２の静止画抽出手段は、連続する２枚の静止画の画像差分が少ない順に前記超過している静止画枚数分の静止画を省くことを特徴とする。

本発明は、サムネイルデータを作成するために、コンピュータによって映像データから可変量符号化を用いた静止画を抽出する静止画抽出プログラムであって、前記サムネイルデータを記憶する記憶手段の空き記憶容量の情報を取得する記憶容量取得ステップと、前記映像データから所定枚数の可変量符号化を用いた静止画を抽出する第１の静止画抽出ステップと、前記第１の静止画抽出ステップによって抽出された前記静止画の１枚当たりの平均データ容量を算出する平均容量算出ステップと、前記第１の静止画抽出ステップによって抽出された全ての静止画データ容量と前記空き記憶容量とに基づいて、前記静止画の超過データ容量を算出する超過容量算出ステップと、前記超過容量算出ステップによって算出された前記静止画の超過データ容量と、前記平均容量算出ステップによって算出された前記１枚当たりの平均データ容量とから超過している静止画枚数を算出する超過枚数算出ステップと、前記第１の静止画抽出ステップによって抽出された前記静止画から、前記超過している静止画枚数分の静止画を省いて記憶するべき静止画を抽出して前記記憶手段に記憶する第２の静止画抽出ステップとをコンピュータに行わせることを特徴とする。

本発明によれば、映像データの内容を理解するために過不足なく、かつ記憶容量の少ない受信装置であっても必要な量の静止画を保存することができるように効率的に静止画の抽出を行うことができるという効果が得られる。

以下、本発明の一実施形態による静止画抽出装置を図面を参照して説明する。初めに、本発明による静止画抽出装置が適用される受配信システムについて説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、映像、音声、テキストなどを配信する配信装置である。符号２は、配信装置１の処理動作を統括して制御する制御部である。符号３は、コンテンツデータの入力のほか、各種データの入出力を行う入力出力部である。符号４は、テキスト／サムネイル配信・表示ソフトウエア９、映像／音声／テキスト配信・表示ソフトウエア１０、コンテンツデータ１１、１２、１３、配信・表示部ソフトウェア管理データ１４、コンテンツ管理データ１５、ユーザ管理データ１６、コンテンツ・ユーザ付加データ１７等が記憶される記憶部である。符号５は、テキスト、サムネイルを配信するテキスト／サムネイル配信部である。符号６は、映像、音声、テキストの配信を行う映像／音声／テキスト配信部である。符号７は、ユーザがコンテンツに付与するコメント、評価などのデータを受信し、集約したデータを配信するコンテンツ・ユーザ付加データ受配信部である。符号８は、情報の放送または情報通信を行う通信部である。

テキスト／サムネイル配信・表示ソフトウエア９は、テキスト／サムネイルの配信・表示処理を実現するソフトウエアである。映像／音声／テキスト配信・表示ソフトウエア１０は、映像、音声、テキストの配信・表示処理を実現するソフトウェアである。コンテンツデータ１１は、映像、音声、テキスト、サムネイル、その他のデータで構成されるコンテンツデータであり、各データは配信装置１から通信部を介して配信される。コンテンツデータ１１は、時間的に切り替わる静止画像の集まりも含む映像データ（動画像データ）１８、映像に時間的に連動した音声データ１９、テレビ放送の字幕をテキストに変換したデータなどの映像、または音声に時間的に連動したテキストデータ２０、映像を縮小した静止画像データであるサムネイルデータ２１及びコンテンツ全体の名称、概要などの全体情報データと、コンテンツの一部のシーン説明、ＢＧＭ、タイトル名などの個別情報データに大別され、映像、または音声に時間的に連動するその他のデータ２２から構成する。

配信・表示ソフトウェア管理データ１４は、テキスト／サムネイル配信・表示部ソフトウエアおよび映像／音声／テキスト配信・表示ソフトウエアを管理するデータである。コンテンツ管理データ１５は、コンテンツデータ１１〜１３を管理するデータである。ユーザ管理データ１６は、ユーザ情報を管理するデータである。コンテンツ・ユーザ付加データ１７は、ユーザがコンテンツに付与するコメント、評価などのデータである。

符号２３は、配信装置１が配信した映像、音声、テキストなどを受信し、表示する受信装置であり、例えば、携帯電話端末等で構成する。符号２４は、受信装置２３の処理動作を統括して制御する制御部である。符号２５は、ダイヤルキーやファンクションキー等で構成し、ユーザとのマンマシンインタフェースを行う入力部である。符号２６は、ユーザに対して、コンテンツデータなどの表示を行うために液晶のディスプレイ等で構成する表示装置である。符号２７は、放送の受信、配信装置１との間で情報通信を行う通信部である。符号２８は、テキスト／サムネイル表示ソフトウエア３８、映像／音声／テキスト表示ソフトウエア３９、コンテンツデータ４０、４１、４２等が記憶される記憶部である。

符号２９は、テキスト／サムネイル表示ソフトウエア３８を用いて、コンテンツデータの中のテキストデータとサムネイルデータなどを、データバッファ３０を介して記憶部２８から読み出して表示装置２６に表示するテキスト／サムネイル表示部であり、テキスト表示部３１とサムネイル表示部３２とから構成する。テキスト表示部３１は、コンテンツデータの中のテキストデータを表示装置２６に表示する。テキストデータは記憶部２８に記憶されたデータや、通信部２７経由で取得されたデータを使用し、入力部２５における操作入力に応答する形で、行送りやページ送りなどの表示制御を行う。サムネイル表示部３２は、コンテンツデータの中のサムネイルデータやその他のデータを表示する。サムネイルデータやその他のデータは、記憶部２８に記憶されたデータや通信部２７経由で取得されたデータを使用する。サムネイルデータやその他のデータのうち、個別情報データについては、テキストデータに連動して表示する。

符号３３は、映像／音声／テキスト表示ソフトウエア３９を用いて、コンテンツデータの中の映像データ、音声データ、テキストデータなどを、データバッファ３４を介して記憶部２８から読み出して表示装置２６に表示する映像／音声／テキスト表示部であり、映像表示部、音声出力部、テキスト表示部からなる。映像表示部３５は、コンテンツデータの中の映像データを表示する。映像データは記憶部２８に記憶されたデータや通信部２７経由で取得されたデータを使用し、入力部２５における操作入力に応答する形で、再生、停止、早送り、巻き戻しなどの表示制御を行う。音声出力部３６は、コンテンツデータの中の音声データを表示する。音声データは記憶部２８に記憶されたデータや通信部２７経由で取得されたデータを使用する。音声データは、映像データに連動して出力されるか、または音声データが先行出力され、映像が追従する形で連動して表示される。テキスト表示部３７は、コンテンツデータの中のテキストデータやその他のデータを表示する。テキストデータやその他のデータは記憶部２８に記憶されたデータや通信部２７経由で取得されたデータを使用する。テキストデータやその他データのうち、個別情報データについては、映像データ、または音声データに連動して表示する。

テキスト／サムネイル表示ソフトウエア３８は、コンテンツデータの中のテキストデータとサムネイルデータなどを用いて、表示装置２６に表示する処理を実現するソフトウエアである。テキスト／サムネイル表示ソフトウエア３８は配信装置１から通信部２７経由で取得し記憶部２８に記憶する。ユーザからのリクエストに応じて、コンテンツデータをテキスト／サムネイル表示部２９により視聴する場合、このソフトウエアが呼び出され、使用される。テキスト／サムネイル表示ソフトウエア３８はバージョンアップにより改変され、最新のソフトウエアは配信装置１から通信部２７経由で逐次取得する。

映像／音声／テキスト表示ソフトウエア３９は、コンテンツデータの中の映像データ、音声データ、テキストデータなどを用いて、表示装置２６に表示する処理を実現するソフトウエアである。映像／音声／テキスト表示ソフトウエア３９は、配信装置１から通信部２７経由で取得され、記憶部２８に記憶する。ユーザからのリクエストに応じて、コンテンツデータを映像／音声／テキスト表示部３３により視聴する場合、このソフトウエアが呼び出され、使用される。映像／音声／テキスト表示部ソフトウエア３９はバージョンアップにより改変され、最新のソフトウエアは配信装置１から通信部２７経由で逐次取得する。

次に、図９を参照して、図１に示す受信装置２３におけるコンテンツ閲覧機能を説明する。図９は、図１に示す受信装置２３におけるコンテンツ閲覧機能を示す図である。受信装置２３は、メタデータ検索機能、読むモード機能及び見るモード機能の３つの機能を有している。

（１）メタデータ検索機能
キーワードの入力により、番組内の見たい箇所へピンポイントで到達することができる機能である。メタデータは、字幕データを利用して作成し、テキストとして提供される。例えば、検索キーワードとして「ていえん」と入力すると、全番組のメタデータをくまなく検索し、「日本の庭園」と番組内のシーンまでたどり着くことができる。

（２）読むモード機能
テキスト（字幕データ）と静止画（サムネイル）を関係付けて表示することにより、手早く情報の閲覧を行うことが可能な機能であり、スクロールとページ送りを行うことができる。テキストと静止画が事前にダウンロードされているため、電波が届かないところでも「いつでもどこでも」閲覧することが可能である。

（３）見るモード機能
読むモードにおいてテキスト部分をクリックすると、この時点からの動画を再生することが可能な機能であり、早送り／巻き戻し／サーチ機能を備えている。動画再生は、予め受信装置２３内に蓄積した映像コンテンツを再生する機能と、通信または放送を介してストリーミングで再生する機能を備えている。ストリーミングで再生する場合、長時間の動画再生が可能であり、視聴を中断した箇所を記憶しておき、簡単に視聴の再開が可能である。

読むモードと見るモードは、連動して切替えすることが可能であり、読むモードを見たい動画の検索に用いることができる。

次に、図２〜図５を参照して、図１に示す記憶部４に記憶されるコンテンツデータ１１のうち、サムネイルデータ２１を生成する静止画抽出方法を説明する。このサムネイルデータは、配信装置１内において生成してもよいが、配信装置１とは別のサーバ等において生成し、入力出力部３を介して入力して、記憶部４に記憶するようにしてもよい。ここでは、テキスト／サムネイル配信部５が、コンテンツデータ１１の映像データ１８とテキストデータ（字幕データ）２０を使用して、受信装置（携帯端末）２３の記憶容量に応じたサムネイルデータを生成するものとして説明する。

図２は、静止画のデータ容量と受信装置２３の空き記憶容量とに応じて、記憶するべき静止画を選択する機能を示すブロック図である。まず、受信装置２３の制御部２４は、配信装置１からサムネイルデータ２１を受信しようとする場合、記憶部２８の空き記憶容量を通信部２７を介して、配信装置１へ通知する。これを受けて、配信装置１の制御部２は、受信した空き記憶容量を記憶部４内に記憶し保持しておく。

次に、静止画抽出部５１は、映像データ１８を読み込み、一定時間間隔毎のフレームを抽出し、これらのフレームをＮ枚の静止画とする。一方、静止画枚数算出部５２は、記憶部４に記憶しておいた空き記憶容量を読み出し、記憶可能な静止画枚数Ｍを算出する。この静止画枚数Ｍは、空き記憶容量を１枚の静止画のデータ容量で除算することにより求めることができる。そして、静止画枚数算出部５２は、算出した静止画枚数Ｍを比率選択部５３へ出力する。これを受けて、比率選択部５３は、静止画抽出部５１が抽出した静止画のうち、静止画記憶部５４に記憶される静止画がＭ枚になるように、Ｍ／Ｎの比率で静止画抽出部５１が抽出した静止画を選択して、静止画記憶部５４に記憶する。

このように、１枚の静止画のデータ容量が一定となる固定量符号化の静止画の場合は、記憶容量に収まる制限後の静止画の枚数を計算することができるため、一度抽出した全枚数の静止画から制限後の枚数になるように、時間軸上で一定の割合で選択することにより、記憶容量に確実に収まるようにすることができる。

次に、図３を参照して、１枚の静止画のデータ容量が静止画の内容によって異なる可変量符号化を用いた静止画を時間軸上で選択して抽出する機能について説明する。図３は、１枚の静止画のデータ容量が静止画の内容によって異なる可変量符号化を用いた静止画を時間軸上で選択して抽出する機能を示すブロック図である。まず、受信装置２３の制御部２４は、配信装置１からサムネイルデータ２１を受信しようとする場合、記憶部２８の空き記憶容量を通信部２７を介して、配信装置１へ通知する。これを受けて、配信装置１の制御部２は、受信した空き記憶容量を記憶部４内に記憶し保持しておく。

次に、静止画抽出部５１は、映像データ１８を読み込み、一定時間間隔毎のフレームを抽出し、これらのフレームを静止画とする。１枚当たり平均符号化量算出部５５は、抽出した静止画の１枚当たりの容量を算出する。また、容量算出部５９は、静止画抽出部５１が抽出した静止画全体のデータ容量を算出し、このデータ容量を超過容量算出部５６へ出力する。超過容量算出部５６は、容量算出部５９が算出したデータ容量と記憶部４内に記憶されている空き記憶容量とを比較して、超過容量を算出する。判定部６０は、空き記憶容量よりデータ容量の方が小さい場合、抽出した静止画を静止画記憶部５４に記憶する。

一方、空き記憶容量よりデータ容量の方が大きい場合、超過枚数算出部５７は、超過容量算出部５６が算出した超過容量と、１枚当たり平均符号化量算出部５５が算出した１枚当たりの静止画容量とから超過している静止画枚数を算出して、超過枚数を比率選択部５８へ出力する。比率選択部５８は、静止画抽出部５１が抽出した静止画のうち、静止画記憶部５４に記憶される静止画が空き記憶容量になるように、超過枚数に基づいた一定の比率、あるいはより少ない比率から始めて、静止画抽出部５１が抽出した静止画を選択して省く。そして、容量算出部５９は、比率選択部５８が静止画を省いた後の静止画全体のデータ容量を算出し、このデータ容量と空き記憶容量とを比較して、超過容量が０または負の値になるまで処理を繰り返す。このとき、比率選択部５８の比率を繰り返す毎に上げていく。このようにして、データ容量が空き記憶容量以下になった時点で抽出した静止画を静止画記憶部５４に記憶する。

このように、時間軸上で一定の割合で静止画を省くようにしたため、データ容量を空き記憶容量以下にする処理を簡単に行うことが可能となる。

次に、図４を参照して、１枚の静止画のデータ容量が静止画の内容によって異なる可変量符号化を用いた静止画を画像差分で選択して抽出する機能について説明する。図４は、１枚の静止画のデータ容量が静止画の内容によって異なる可変量符号化を用いた静止画を画像差分で選択して抽出する機能を示すブロック図である。まず、受信装置２３の制御部２４は、配信装置１からサムネイルデータ２１を受信しようとする場合、記憶部２８の空き記憶容量を通信部２７を介して、配信装置１へ通知する。これを受けて、配信装置１の制御部２は、受信した空き記憶容量を記憶部４内に記憶し保持しておく。

一方、空き記憶容量よりデータ容量の方が大きい場合、映像差分調整部６２は、超過容量算出部５６が算出した超過容量と、１枚当たり平均符号化量算出部５５が算出した１枚当たりの静止画容量とから超過している静止画枚数を算出するとともに、それに対応する映像差分量を差分選択部６１へ出力する。差分選択部６１は、静止画抽出部５１が抽出した静止画のうち、連続する２枚の静止画の画像差分量に応じて静止画を省く。そして、容量算出部５９は、差分選択部６１が静止画を省いた後の静止画全体のデータ容量を算出し、このデータ容量と空き記憶容量とを比較して、超過容量が０または負の値になるまで処理を繰り返す。このとき、映像差分調整部の映像差分量を繰り返す毎に増やしていく。このようにして、データ容量が空き記憶容量以下になった時点で抽出した静止画を静止画記憶部５４に記憶する。

このように、画像の差分が少ない静止画の順に省くようにしたため、重要な映像シーンを残せる可能性を高くしつつ、データ容量を空き記憶容量以下にすることができる。

次に、図５を参照して、１枚の静止画のデータ容量が静止画の内容によって異なる可変量符号化を用いた静止画を字幕表示の間隔で選択して抽出する機能について説明する。図５は、１枚の静止画のデータ容量が静止画の内容によって異なる可変量符号化を用いた静止画を字幕表示の間隔で選択して抽出する機能を示すブロック図である。まず、受信装置２３の制御部２４は、配信装置１からサムネイルデータ２１を受信しようとする場合、記憶部２８の空き記憶容量を通信部２７を介して、配信装置１へ通知する。これを受けて、配信装置１の制御部２は、受信した空き記憶容量を記憶部４内に記憶し保持しておく。

一方、空き記憶容量よりデータ容量の方が大きい場合、字幕ページ数調整部６５は、字幕ページ数算出部６３が算出した、静止画抽出部５１で抽出した静止画と静止画の間の字幕ページ数を参照するとともに、超過容量算出部５６が算出した超過容量と、１枚当たり平均符号化量算出部５５が算出した１枚当たりの静止画容量とから超過している静止画枚数を算出するとともに、それに対応する字幕ページ数の量（字幕の更新回数）を字幕ページ数選択部６４へ出力する。字幕ページ数選択部６４は、静止画抽出部５１が抽出した静止画のうち、字幕表示の間隔に応じて省く。そして、容量算出部５９は、字幕ページ数選択部６４が静止画を省いた後の静止画全体のデータ容量を算出し、このデータ容量と空き記憶容量とを比較して、超過容量が０または負の値になるまで処理を繰り返す。このとき、字幕ページ数調整部６５の字幕ページ数の量（字幕の更新回数）を繰り返す毎に増やしていく。このようにして、データ容量が空き記憶容量以下になった時点で抽出した静止画を静止画記憶部５４に記憶する。

このように、字幕表示の間隔が長い箇所の順に省くようにしたため、字幕に付随する静止画を残せる可能性を高くしつつ、データ容量を空き記憶容量以下にすることができる。

なお、前述した説明においては、図２〜図５に示す静止画抽出部５１は、一定時間間隔による抽出する例を説明したが、時間軸上、画像差分、字幕表示に基づく静止画抽出を行うようにしてもよい。

以上説明したように、可変量符号化の静止画の場合、あらかじめ抽出した全枚数の静止画の容量から１枚の静止画の平均符号化量を算出することにより制限後の静止画枚数を計算し、その制限後の枚数に基づいて固定量符号化の場合のように静止画を省く処理を行なっても記憶容量に収まらない可能性があるが、記憶容量を超えた場合は超えた容量に相当する静止画の枚数を平均符号化量により計算し、さらに省くようにしたため、空き記憶容量に確実に収まるようにすることができる。

なお、図２〜７における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより静止画抽出処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

本発明の一実施形態の構成を示すブロック図である。図１に示すテキスト／サムネイル配信部５における静止画抽出の機能を示すブロック図である。図１に示すテキスト／サムネイル配信部５における静止画抽出の機能を示すブロック図である。図１に示すテキスト／サムネイル配信部５における静止画抽出の機能を示すブロック図である。図１に示すテキスト／サムネイル配信部５における静止画抽出の機能を示すブロック図である。図１に示す受信装置２３の機能を示す説明図である。

符号の説明

１・・・配信装置、２３・・・受信装置、４・・・記憶部、５・・・テキスト／サムネイル配信部、５１、５５、５６・・・フレーム抽出部、５２・・・静止画枚数算出部、５３、５８・・・比率選択部、５４・・・静止画記憶部、５５・・・１枚当たり平均符号化量算出部、５６・・・超過容量算出部、５７・・・超過枚数算出部、５９・・・容量算出部、６０・・・判定部、６１・・・差分選択部、６２・・・映像差分調整部、６３・・・字幕数算出部、６４・・・字幕数選択部、６５・・・字幕数調整部

Claims

サムネイルデータを作成するために、映像データから可変量符号化を用いた静止画を抽出する静止画抽出装置であって、
前記サムネイルデータを記憶する記憶手段の空き記憶容量の情報を取得する記憶容量取得手段と、
前記映像データから所定枚数の可変量符号化を用いた静止画を抽出する第１の静止画抽出手段と、
前記第１の静止画抽出手段によって抽出された前記静止画の１枚当たりの平均データ容量を算出する平均容量算出手段と、
前記第１の静止画抽出手段によって抽出された全ての静止画データ容量と前記空き記憶容量とに基づいて、前記静止画の超過データ容量を算出する超過容量算出手段と、
前記超過容量算出手段によって算出された前記静止画の超過データ容量と、前記平均容量算出手段によって算出された前記１枚当たりの平均データ容量とから超過している静止画枚数を算出する超過枚数算出手段と、
前記第１の静止画抽出手段によって抽出された前記静止画から、前記超過している静止画枚数分の静止画を省いて記憶するべき静止画を抽出して前記記憶手段に記憶する第２の静止画抽出手段と
を備えたことを特徴とする静止画抽出装置。
前記第２の静止画抽出手段は、時間軸上において一定の割合で前記超過している静止画枚数分の静止画を省くことを特徴とする請求項１に記載の静止画抽出装置。
前記第２の静止画抽出手段は、連続する２枚の静止画の画像差分が少ない順に前記超過している静止画枚数分の静止画を省くことを特徴とする請求項１に記載の静止画抽出装置。
前記第２の静止画抽出手段は、字幕表示の間隔が長い箇所の順に前記超過している静止画枚数分の静止画を省くことを特徴とする請求項１に記載の静止画抽出装置。
サムネイルデータを作成するために、コンピュータによって映像データから可変量符号化を用いた静止画を抽出する静止画抽出プログラムであって、
前記サムネイルデータを記憶する記憶手段の空き記憶容量の情報を取得する記憶容量取得ステップと、
前記映像データから所定枚数の可変量符号化を用いた静止画を抽出する第１の静止画抽出ステップと、
前記第１の静止画抽出ステップによって抽出された前記静止画の１枚当たりの平均データ容量を算出する平均容量算出ステップと、
前記第１の静止画抽出ステップによって抽出された全ての静止画データ容量と前記空き記憶容量とに基づいて、前記静止画の超過データ容量を算出する超過容量算出ステップと、
前記超過容量算出ステップによって算出された前記静止画の超過データ容量と、前記平均容量算出ステップによって算出された前記１枚当たりの平均データ容量とから超過している静止画枚数を算出する超過枚数算出ステップと、
前記第１の静止画抽出ステップによって抽出された前記静止画から、前記超過している静止画枚数分の静止画を省いて記憶するべき静止画を抽出して前記記憶手段に記憶する第２の静止画抽出ステップと
をコンピュータに行わせることを特徴とする静止画抽出プログラム。