JP2834148B2 - 動画検索装置及び動画処理装置 - Google Patents
動画検索装置及び動画処理装置Info
- Publication number
- JP2834148B2 JP2834148B2 JP63206307A JP20630788A JP2834148B2 JP 2834148 B2 JP2834148 B2 JP 2834148B2 JP 63206307 A JP63206307 A JP 63206307A JP 20630788 A JP20630788 A JP 20630788A JP 2834148 B2 JP2834148 B2 JP 2834148B2
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- scene
- search
- registering
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【発明の詳細な説明】 〔産業上の利用分野〕 本発明は動画像の処理装置及び処理方法における動画
の探索装置並びに場面を単位として属性を付与した動画
探索方法に関する。
の探索装置並びに場面を単位として属性を付与した動画
探索方法に関する。
従来、動画をシーケンスの途中において視聴者が選択
する方法において、特許出願公開昭60−12882号公報に
おいて論じられている。この動画の選択における欠点と
しては、動画のシーケンスの途中で設定している分岐点
は予め決められているものであり、視聴者が動画の内容
を基に任意に設定することはできない。従って、選択す
る画面は固定的であり、視聴者が情報を入手したいテー
マに関連した画面を選択することはできない。
する方法において、特許出願公開昭60−12882号公報に
おいて論じられている。この動画の選択における欠点と
しては、動画のシーケンスの途中で設定している分岐点
は予め決められているものであり、視聴者が動画の内容
を基に任意に設定することはできない。従って、選択す
る画面は固定的であり、視聴者が情報を入手したいテー
マに関連した画面を選択することはできない。
上記従来技術は、視聴者が入手したい情報が含まれて
いる場面を自動的に設定する手段について配慮がされて
おらず、動画の分岐点は予め番組を製作する時点で固定
的に決められているものであるため、視聴者が所望の場
面を検索することはできなかった。
いる場面を自動的に設定する手段について配慮がされて
おらず、動画の分岐点は予め番組を製作する時点で固定
的に決められているものであるため、視聴者が所望の場
面を検索することはできなかった。
本発明は、視聴者の所望する場面を動画の中から自動
的に検出することを目的としており、所望の動画の場面
を検索する装置を提供することを目的とする。従って、
本発明によれば、例えば、光ディスクに格納されている
ビデオ教育番組、映像会議などから所望の動画の場面を
容易に検索することができ、例えば、指定した人物が登
録する場面のみを検索することができる。また、動画の
なかで、音声の大きい場面のみを検索し表示することも
できる。このため、利用者が主体的に膨大な動画情報か
ら所望の情報を容易にかつ効率的に入手することができ
る。
的に検出することを目的としており、所望の動画の場面
を検索する装置を提供することを目的とする。従って、
本発明によれば、例えば、光ディスクに格納されている
ビデオ教育番組、映像会議などから所望の動画の場面を
容易に検索することができ、例えば、指定した人物が登
録する場面のみを検索することができる。また、動画の
なかで、音声の大きい場面のみを検索し表示することも
できる。このため、利用者が主体的に膨大な動画情報か
ら所望の情報を容易にかつ効率的に入手することができ
る。
上記目的を達成するために、記憶手段に記憶された動
画を検索する動画検索装置において、動画から場面を抽
出して場面ごとの属性を登録する登録部と、属性により
動画から特定の場面を検索する検索部とを有し、検索部
は、属性として動画の論理構造におけるその位置付けを
記憶し、動画の論理構造は場面を最小単位とする部分動
画の時間的な包含関係により表現される。また、登録部
は、動画に対応する音声データより背景音を除去して音
声を分離する音声分離部と、あらかじめ設定された特定
話者の音声の特徴を基準にして発生源を識別する話者識
別部と、発生源を属性として登録する話者統合部とを備
える。
画を検索する動画検索装置において、動画から場面を抽
出して場面ごとの属性を登録する登録部と、属性により
動画から特定の場面を検索する検索部とを有し、検索部
は、属性として動画の論理構造におけるその位置付けを
記憶し、動画の論理構造は場面を最小単位とする部分動
画の時間的な包含関係により表現される。また、登録部
は、動画に対応する音声データより背景音を除去して音
声を分離する音声分離部と、あらかじめ設定された特定
話者の音声の特徴を基準にして発生源を識別する話者識
別部と、発生源を属性として登録する話者統合部とを備
える。
動画探索装置は特定の動画を探索するように動作す
る。それは、動画の場面の特徴を自動的に抽出し、所望
の特徴を有する場面に属性を付与することになるので、
視聴者が任意に所望する場面を探索しかつ表示すること
ができる。
る。それは、動画の場面の特徴を自動的に抽出し、所望
の特徴を有する場面に属性を付与することになるので、
視聴者が任意に所望する場面を探索しかつ表示すること
ができる。
以下、本発明の一実施例を第１図により説明する。本
図は動画検索装置の構成を示す図である。利用者側に設
置されている動画像表示端末100は、計算機101に接続さ
れており、検索した動画を表示する。計算機101は、動
画の場面を探索する動画像探索装置102、及び利用者側
に設置されており動画を記憶する装置として磁気ディス
ク103、光ディスク104をそれぞれ制御している。中央側
にある大規模な動画検索装置とは、通信制御装置105、1
06を介して情報の送受を行なっている。中央側には、同
じく、計算機107が設定されており、動画像探索装置10
8、磁気ディスク109、110、111及び光ディスク112、11
3、114を制御する。なお、本図では、利用者側と中央側
にそれぞれ動画像探索装置102、108が設定されている
が、他の実施例としては、一つの動画探索装置から構成
される動画探索装置がある。
図は動画検索装置の構成を示す図である。利用者側に設
置されている動画像表示端末100は、計算機101に接続さ
れており、検索した動画を表示する。計算機101は、動
画の場面を探索する動画像探索装置102、及び利用者側
に設置されており動画を記憶する装置として磁気ディス
ク103、光ディスク104をそれぞれ制御している。中央側
にある大規模な動画検索装置とは、通信制御装置105、1
06を介して情報の送受を行なっている。中央側には、同
じく、計算機107が設定されており、動画像探索装置10
8、磁気ディスク109、110、111及び光ディスク112、11
3、114を制御する。なお、本図では、利用者側と中央側
にそれぞれ動画像探索装置102、108が設定されている
が、他の実施例としては、一つの動画探索装置から構成
される動画探索装置がある。
第２図は、動画像探索装置102の構成を説明する図で
ある。動画は場面を単位として処理され、場面の属性を
登録する場面属性登録部200と、指定した属性をもつ場
面を検索する場面検索部201と、場面の属性を更新する
場面属性更新部202よりなる。
ある。動画は場面を単位として処理され、場面の属性を
登録する場面属性登録部200と、指定した属性をもつ場
面を検索する場面検索部201と、場面の属性を更新する
場面属性更新部202よりなる。
第３図は、場面検索部201の一実施例の構成を示す図
である。当該場面検索部では、場面を単位として属性が
文字列として付与されており、属性として指定された文
字列を有する場面を検索する。検索属性テーブルメモリ
300には、場面ごとに属性が格納されており、これらの
属性は場面の位置をアドレスとして読み出すことができ
る。文字列照合部301では、属性として与えられている
文字列と、指定文字列設定部302で与えられた文字列と
の文字ごとの照合を行う。そして、照合結果格納部304
には、指定した属性を有する場面の抽出結果を格納す
る。ここには、場面の位置を示す番号が格納される。照
合制御部303は、検索属性テーブルメモリ300や指定文字
列設定部302などの全体の流れを制御する。なお、場面
検索部では、場面ごとの属性として、文字列で表現され
るもの、例えば、場面の登録人物や場面を文字列で表現
したキーワード群があるが、それ以外に場面の特徴を数
値で表現したものも属性として付与することができ、指
定した範囲内に特徴量がある場面を検索することも可能
である。
である。当該場面検索部では、場面を単位として属性が
文字列として付与されており、属性として指定された文
字列を有する場面を検索する。検索属性テーブルメモリ
300には、場面ごとに属性が格納されており、これらの
属性は場面の位置をアドレスとして読み出すことができ
る。文字列照合部301では、属性として与えられている
文字列と、指定文字列設定部302で与えられた文字列と
の文字ごとの照合を行う。そして、照合結果格納部304
には、指定した属性を有する場面の抽出結果を格納す
る。ここには、場面の位置を示す番号が格納される。照
合制御部303は、検索属性テーブルメモリ300や指定文字
列設定部302などの全体の流れを制御する。なお、場面
検索部では、場面ごとの属性として、文字列で表現され
るもの、例えば、場面の登録人物や場面を文字列で表現
したキーワード群があるが、それ以外に場面の特徴を数
値で表現したものも属性として付与することができ、指
定した範囲内に特徴量がある場面を検索することも可能
である。
第４図は場面属性登録部200の一実施例の構成図であ
る。当該場面属性登録部では、動画の時間軸における変
化量を算出し、変化の大きい画面を場面の開始あるいは
終了画面となるよう自動的に場面を抽出し登録する。画
面変化量算出部400は、動画像の時系列データにおける
前後の時刻の画像を比較し画像データの変化量を算出す
る。前後の時刻の画像を比較する簡単な方法としては画
像の差分を求める方法がある。フレーム送出制御部401
は、動画像のデータの送出動作を制御する。比較部402
では、所定変化量設定部403で設定された値と算出した
画面の変化量の値との大小を比較し、画面の変化量が所
定の値より大きれば、フレーム番号レジスタ404に画面
の番号が設定される。これらの番号は場面の開始及び終
了を示す位置情報として、場面検索に用いられる。
る。当該場面属性登録部では、動画の時間軸における変
化量を算出し、変化の大きい画面を場面の開始あるいは
終了画面となるよう自動的に場面を抽出し登録する。画
面変化量算出部400は、動画像の時系列データにおける
前後の時刻の画像を比較し画像データの変化量を算出す
る。前後の時刻の画像を比較する簡単な方法としては画
像の差分を求める方法がある。フレーム送出制御部401
は、動画像のデータの送出動作を制御する。比較部402
では、所定変化量設定部403で設定された値と算出した
画面の変化量の値との大小を比較し、画面の変化量が所
定の値より大きれば、フレーム番号レジスタ404に画面
の番号が設定される。これらの番号は場面の開始及び終
了を示す位置情報として、場面検索に用いられる。
第５図は場面属性登録部の他の実施例を説明する図で
ある。当該場面属性登録部では、音声データを基に動画
像の登場人物を識別し、その人物名を場面の属性として
登録する。音声分離部500では、音声データから背景音
を除去し音声を分離する。話者識別部501では、予め登
録音声設定部502で設定している特定の話者の音声の特
徴を基準にして話者の識別を行う。さらに、離者統合部
503では、複数回登場する同一話者を場面ごとに統合
し、話者の名称を属性として場面単位に記録する。
ある。当該場面属性登録部では、音声データを基に動画
像の登場人物を識別し、その人物名を場面の属性として
登録する。音声分離部500では、音声データから背景音
を除去し音声を分離する。話者識別部501では、予め登
録音声設定部502で設定している特定の話者の音声の特
徴を基準にして話者の識別を行う。さらに、離者統合部
503では、複数回登場する同一話者を場面ごとに統合
し、話者の名称を属性として場面単位に記録する。
第６図（ａ）は動画像の場面を管理するためのテーブ
ルの説明図である。動画データが格納されているファイ
ル613には複数の動画が存在する。それぞれの動画には
番号ｊに付けており、例えば、動画の１番は第６図
（ｂ）のファイル610に格納されており、動画のｊ番は
ファイル611に格納され、動画のＪはファイル612に格納
されていることになる。ここで、ｊ番の動画は、場面番
号の項600に示すように、場面ごとに（ｊ）,2（ｊ），
……,i（ｊ），……,I（ｊ）と場面場号が付与されてい
る。それぞれの場面には、601の項目で示すフレーム番
号の開始点の番号602と終了点の番号603が設定されるこ
とになる。例えば、場面番号ｉ（ｊ）604は、ｊ番の動
画の中でｉ番目の場面を示しているが、その開始フレー
ム番号はSi（ｊ）では、その終了フレーム番号Ei（ｊ）
で表す。このようにして、動画像の場面を番号で管理す
ることができる。
ルの説明図である。動画データが格納されているファイ
ル613には複数の動画が存在する。それぞれの動画には
番号ｊに付けており、例えば、動画の１番は第６図
（ｂ）のファイル610に格納されており、動画のｊ番は
ファイル611に格納され、動画のＪはファイル612に格納
されていることになる。ここで、ｊ番の動画は、場面番
号の項600に示すように、場面ごとに（ｊ）,2（ｊ），
……,i（ｊ），……,I（ｊ）と場面場号が付与されてい
る。それぞれの場面には、601の項目で示すフレーム番
号の開始点の番号602と終了点の番号603が設定されるこ
とになる。例えば、場面番号ｉ（ｊ）604は、ｊ番の動
画の中でｉ番目の場面を示しているが、その開始フレー
ム番号はSi（ｊ）では、その終了フレーム番号Ei（ｊ）
で表す。このようにして、動画像の場面を番号で管理す
ることができる。
第７図（ａ）は、場面の属性を格納するテーブルであ
り、第３図の検索属性テーブルメモリに、この内容が格
納されることになる。場面番号の項目700には、702、70
3、704で示すように場面番号１（ｊ）,2（ｊ），…,I
（ｊ）が格納されており、各場面番号に対応してキーワ
ードの項目701に示す文字列が格納されている。また、
場面を管理する他の実施例としては、動画は場面を単位
としてトリー状に論理構造を表現することができ、節点
で構成要素を構成要素間のリンクで親子関係をそれぞれ
示す。例えば第７図（ｂ）に示すように、動画710が大
きく711の部分動画と712の部分動画に分かれ、712の部
分動画は、723で示す場面n4にリンクしている。また、
部分動画711は部分動画714と713から構成されており、
部分動画713はさらに部分動画715と716で構成されてい
る。720で示す場面番号n1は部分動画714とリンクされて
おり、721で示す場面番号n2は部分動画1121に、722で示
す場面番号n3が部分動画1122にリンクされる。このよう
にトリー状に場面を管理することにより、論理構造の
内、例えば、映像議事録の結論部分の場面のみを検索す
るこや、ビデオ教育講座におい、背景説明の場面を検索
するこが可能である。
り、第３図の検索属性テーブルメモリに、この内容が格
納されることになる。場面番号の項目700には、702、70
3、704で示すように場面番号１（ｊ）,2（ｊ），…,I
（ｊ）が格納されており、各場面番号に対応してキーワ
ードの項目701に示す文字列が格納されている。また、
場面を管理する他の実施例としては、動画は場面を単位
としてトリー状に論理構造を表現することができ、節点
で構成要素を構成要素間のリンクで親子関係をそれぞれ
示す。例えば第７図（ｂ）に示すように、動画710が大
きく711の部分動画と712の部分動画に分かれ、712の部
分動画は、723で示す場面n4にリンクしている。また、
部分動画711は部分動画714と713から構成されており、
部分動画713はさらに部分動画715と716で構成されてい
る。720で示す場面番号n1は部分動画714とリンクされて
おり、721で示す場面番号n2は部分動画1121に、722で示
す場面番号n3が部分動画1122にリンクされる。このよう
にトリー状に場面を管理することにより、論理構造の
内、例えば、映像議事録の結論部分の場面のみを検索す
るこや、ビデオ教育講座におい、背景説明の場面を検索
するこが可能である。
第８図は場面を管理する他の実施例を説明する図であ
る。ここでは、テーマ別に複数の動画番組にまたがっ
て、場面を管理するテーブルを示している。このテーマ
別場面テーブルの800はテーマ番号の項目であり、803,8
04にそれぞれテーマを示す番号が付与されている。この
テーブルの項目801には動画番号が設定されている。ま
た、項目802には場面番号が設定されている。動画番号
の項目801には、動画番号ｊが設定され、さらに、その
動画の場面番号ｉが806の欄に設定されている。本テー
マ別場面テーブルを探索することにより指定したテーマ
に関連した場面を検索することができる。また、テーマ
番号ごとに、テーマを表すキーワード群を文字列として
用意しておき、テーマと類似した別のテーマ番号を決定
し、類似の場面を探索、表示することができる。このよ
うに、当該テーブルでは、指定したテーマごとに、異な
る動画番組の場面番号が格納されることになるため、あ
るテーマに関連した場面や、或いは、あるテーマに類似
した場面を検索することができる。
る。ここでは、テーマ別に複数の動画番組にまたがっ
て、場面を管理するテーブルを示している。このテーマ
別場面テーブルの800はテーマ番号の項目であり、803,8
04にそれぞれテーマを示す番号が付与されている。この
テーブルの項目801には動画番号が設定されている。ま
た、項目802には場面番号が設定されている。動画番号
の項目801には、動画番号ｊが設定され、さらに、その
動画の場面番号ｉが806の欄に設定されている。本テー
マ別場面テーブルを探索することにより指定したテーマ
に関連した場面を検索することができる。また、テーマ
番号ごとに、テーマを表すキーワード群を文字列として
用意しておき、テーマと類似した別のテーマ番号を決定
し、類似の場面を探索、表示することができる。このよ
うに、当該テーブルでは、指定したテーマごとに、異な
る動画番組の場面番号が格納されることになるため、あ
るテーマに関連した場面や、或いは、あるテーマに類似
した場面を検索することができる。
第９図は音声を利用した動画探索装置の構成図であ
る。動画表示端末900は、検索の条件を指定するととも
に検索結果である動画を画面に表示する。動画表示制御
部901は、動画表示端末900の動画を制御するもので、通
常計算機等で構成される。音声出力装置902は、検索し
た動画に対応する音声を出力する装置であり、通常電気
音響変換素子から構成されている。音声出力制御部903
は、音声出力装置を制御する部分である。動画像データ
ファイル904は、検索対象である動画データが格納され
ている。また、動画に対応した音声データが音声データ
ファイル905に格納されている。当該の音声を利用した
動画探索装置では、音声強度識別部906において、音声
データの強度を抽出し、一定強度以上の音声が存在する
場面を取り出す。また、指定音声識別部で907では、音
声データから指定した音声が発生された場面を抽出す
る。これらの場面は、場面位置登録部908において、場
面番号が登録され、場面検索部909における場面の検索
にこの登録した場面番号が用いられる。この音声を利用
した動画探索装置によって、例えば、視聴者がスポーツ
番組のビデオを観戦する場合において、音声強度の強く
なった場面のみを自動的に登録することができるため、
興味深い場面のみをスキップしながら動画番組を見るこ
とができる。また、予め指定した登場人物の名前が呼称
された場面のみを見ることもできる。
る。動画表示端末900は、検索の条件を指定するととも
に検索結果である動画を画面に表示する。動画表示制御
部901は、動画表示端末900の動画を制御するもので、通
常計算機等で構成される。音声出力装置902は、検索し
た動画に対応する音声を出力する装置であり、通常電気
音響変換素子から構成されている。音声出力制御部903
は、音声出力装置を制御する部分である。動画像データ
ファイル904は、検索対象である動画データが格納され
ている。また、動画に対応した音声データが音声データ
ファイル905に格納されている。当該の音声を利用した
動画探索装置では、音声強度識別部906において、音声
データの強度を抽出し、一定強度以上の音声が存在する
場面を取り出す。また、指定音声識別部で907では、音
声データから指定した音声が発生された場面を抽出す
る。これらの場面は、場面位置登録部908において、場
面番号が登録され、場面検索部909における場面の検索
にこの登録した場面番号が用いられる。この音声を利用
した動画探索装置によって、例えば、視聴者がスポーツ
番組のビデオを観戦する場合において、音声強度の強く
なった場面のみを自動的に登録することができるため、
興味深い場面のみをスキップしながら動画番組を見るこ
とができる。また、予め指定した登場人物の名前が呼称
された場面のみを見ることもできる。
第10図は映像の会議を記録し、その映像の議事録を作
成する装置の構成である。動画像入力部1001では、動画
をテレビカメラから入力する。また、画像表示部1002で
は、映像議事録を表示したり、所望の議事録の内容を検
索する。音声入力部1003は、マイクロフォン等から構成
されており、発言した音声を入力する。また、音声出力
部は音声データを出力する。文書入力部1005は、映像会
議において配布する文書をイメージデータとして入力す
る。また、静止画出力部1006は配布された文書を紙面に
印刷するイメージ出力装置である。動画像データファイ
ル1020には、映像会議の動画像データが格納されてい
る。また、音声データファイル1021には、映像会議での
発言内容が音声データとして格納されている。さらに、
静止画データファイル1022には、映像会議で配布された
文書イメージなどの静止画データが格納されている。映
像議事録編集部1023では、動画の特定場面を抽出し、要
約し、また特定の登場人物の発言内容を抽出する。ま
た、映像議事録登録部1024では、動画の特定場面を登録
する。また、映像議事録検索部1025では、所望の議事録
の内容をもつ場面を検索する。また、通信制御装置1017
と1018を介して動画像、音声、静止画の各データを相互
に送受することができる。映像会議の相手先には、同じ
く、動画像入力部1011、画像表示部1012、音声入力部10
13、音声出力部1014、文書入力部1015、静止画出力部10
16がそれぞれ設定されている。当該映像議事録作成装置
では、映像会議の内容を要約し、特定場面を抽出し映像
議事録を作成することができる。従って、指定した登録
人物のみの発言を映像議事録として聞くことができる。
また、特定場面のみを表示することができるため、容易
に所望の情報を入手することができる。
成する装置の構成である。動画像入力部1001では、動画
をテレビカメラから入力する。また、画像表示部1002で
は、映像議事録を表示したり、所望の議事録の内容を検
索する。音声入力部1003は、マイクロフォン等から構成
されており、発言した音声を入力する。また、音声出力
部は音声データを出力する。文書入力部1005は、映像会
議において配布する文書をイメージデータとして入力す
る。また、静止画出力部1006は配布された文書を紙面に
印刷するイメージ出力装置である。動画像データファイ
ル1020には、映像会議の動画像データが格納されてい
る。また、音声データファイル1021には、映像会議での
発言内容が音声データとして格納されている。さらに、
静止画データファイル1022には、映像会議で配布された
文書イメージなどの静止画データが格納されている。映
像議事録編集部1023では、動画の特定場面を抽出し、要
約し、また特定の登場人物の発言内容を抽出する。ま
た、映像議事録登録部1024では、動画の特定場面を登録
する。また、映像議事録検索部1025では、所望の議事録
の内容をもつ場面を検索する。また、通信制御装置1017
と1018を介して動画像、音声、静止画の各データを相互
に送受することができる。映像会議の相手先には、同じ
く、動画像入力部1011、画像表示部1012、音声入力部10
13、音声出力部1014、文書入力部1015、静止画出力部10
16がそれぞれ設定されている。当該映像議事録作成装置
では、映像会議の内容を要約し、特定場面を抽出し映像
議事録を作成することができる。従って、指定した登録
人物のみの発言を映像議事録として聞くことができる。
また、特定場面のみを表示することができるため、容易
に所望の情報を入手することができる。
本発明によれび、動画を構成要素である場面に分解
し、場面ごとに検索のための属性を付与することができ
るので所望の特徴を有する場面を検索することができ
る。また、関連する場面を登録することができるので、
指定のテーマに関連した場面を探索、表示することがで
きる。さらに、動画像から音声データ、画像データの特
徴を基にして自動的に属性を付与するため、視聴者の個
人の要望に合致した場面を検索し、所望の情報を入手す
ることができる。
し、場面ごとに検索のための属性を付与することができ
るので所望の特徴を有する場面を検索することができ
る。また、関連する場面を登録することができるので、
指定のテーマに関連した場面を探索、表示することがで
きる。さらに、動画像から音声データ、画像データの特
徴を基にして自動的に属性を付与するため、視聴者の個
人の要望に合致した場面を検索し、所望の情報を入手す
ることができる。
第１図は本発明の一実施例の動画検索装置の構成を示す
図、第２図は動画像探索装置の構成図、第３図は場面検
索部の構成図、第４図は場面属性登録部の一実施例の構
成図、第５図は場面属性登録部の他の一実施例、第６図
は場面別フレーム番号テーブルの説明図、第７図は場面
属性の格納方法を説明する図、第８図はテーマ別に場面
を管理するテーブルの説明図、第９図は音声利用動画探
索装置の構成図、第10図は映像議事録作成装置の構成
図、である。 符号の説明 101……動画像表示端末、102……動画像探索装置、104
……光ディスク、200……場面属性登録部、201……場面
検索部、202……場面属性更新部、300……検索属性テー
ブルメモリ、400……画面変化量算出部、501……話者識
別部、800……テーブル番号、906……音声強度識別部、
1020……動画像データファイル、1020……音声データフ
ァイル、1022……静止画データファイル、1023……映像
議事録編集部。
図、第２図は動画像探索装置の構成図、第３図は場面検
索部の構成図、第４図は場面属性登録部の一実施例の構
成図、第５図は場面属性登録部の他の一実施例、第６図
は場面別フレーム番号テーブルの説明図、第７図は場面
属性の格納方法を説明する図、第８図はテーマ別に場面
を管理するテーブルの説明図、第９図は音声利用動画探
索装置の構成図、第10図は映像議事録作成装置の構成
図、である。 符号の説明 101……動画像表示端末、102……動画像探索装置、104
……光ディスク、200……場面属性登録部、201……場面
検索部、202……場面属性更新部、300……検索属性テー
ブルメモリ、400……画面変化量算出部、501……話者識
別部、800……テーブル番号、906……音声強度識別部、
1020……動画像データファイル、1020……音声データフ
ァイル、1022……静止画データファイル、1023……映像
議事録編集部。
フロントページの続き (56)参考文献 安部，石橋，笠原，「物体の動きをキ ーとした動画像検索方法」，電子情報通 信学会技術研究報告（ＩＥ88−４），Ｖ ｏｌ．88，Ｎｏ．14，1988，ｐ25−30 （昭63−４−22) 原，田村，笠原，「ハイパーメディア 電子ブックにおけるトラバース主導型情 報検索方式」，電子情報通信学会技術研 究報告（ＤＥ88−17），Ｖｏｌ．88，Ｎ ｏ．127，1988，ｐ41−48（昭63−７− 20) 原，金子，「マルチメディア情報検索 システム」，電子通信学会技術研究報告 （ＤＥ86−２），Ｖｏｌ．86，Ｎｏ. 57，ｐ９−16（昭61−６−16) (58)調査した分野(Int.Cl.6，ＤＢ名) G06F 17/30 H04N 5/00 G06F 19/00 ＪＩＣＳＴ科学技術文献ファイル
Claims (8)
- 【請求項１】記憶手段に記憶された動画を検索する動画
検索装置において、 上記動画から場面を抽出して上記場面ごとの属性を登録
する登録部と、 上記属性により上記動画から特定の場面を検索する検索
部とを有し、 上記検索部は、上記属性として上記動画の論理構造にお
けるその位置付けを記憶し、上記動画の論理構造は上記
場面を最小単位とする部分動画の時間的な包含関係によ
り表現されることを特徴とする動画検索装置。 - 【請求項２】記憶手段に記憶された動画を検索する動画
検索装置において、 上記動画から場面を抽出して上記場面ごとの属性を登録
する登録部と、 上記属性により上記動画から特定の場面を検索する検索
部とを有し、 上記登録部は、上記動画に対応する音声データより背景
音を除去して音声を分離する音声分離部と、あらかじめ
設定された特定話者の音声の特徴を基準にして発声源を
識別する話者識別部と、上記発声源を上記属性として登
録する話者統合部とを備えたことを特徴とする動画検索
装置。 - 【請求項３】動画中の場面を抽出して登録する動画処理
装置において、 上記動画に対応する音声データの強度を識別し、一定強
度以上の音声データのある場面を抽出する手段と、 上記手段により抽出された場面を登録する手段とを有す
ることを特徴とする動画処理装置。 - 【請求項４】動画中の場面を抽出して登録する動画処理
装置において、 上記動画に対応する音声データより特定の音声を識別
し、上記特定の音声のある場面を抽出する手段と、 上記手段により抽出された場面を登録する手段とを有す
ることを特徴とする動画処理装置。 - 【請求項５】記憶手段に記憶された動画を検索する動画
検索方法において、 上記動画から場面を抽出して上記場面ごとの属性を登録
する第１のステップと、 上記属性により上記動画から特定の場面を検索する第２
のステップとを有し、 上記第２のステップにおいて、上記属性として記憶され
た上記動画の論理構造におけるその位置付けにより上記
特定の場面を検索し、上記動画の論理構造は上記場面を
最小単位とする部分動画の時間的な包含関係により表現
されていることを特徴とする動画検索方法。 - 【請求項６】記憶手段に記憶された動画を検索する動画
検索方法において、 上記動画から場面を抽出して上記場面ごとの属性を登録
する第１のステップと、 上記属性により上記動画から特定の場面を検索する第２
のステップとを有し、 上記第１のステップにおいて、上記動画に対応する音声
データより背景音を除去して音声を分離し、あらかじめ
設定された特定話者の音声の特徴を基準にして上記分離
された音声の発生源を識別し、上記発生源を上記属性と
して登録することを特徴とする動画検索方法。 - 【請求項７】動画中の場面を抽出して登録する動画処理
方法において、 上記動画に対応する音声データの強度を識別し、一定強
度以上の音声データのある場面を抽出し、 上記手段により抽出された場面を登録することを特徴と
する動画処理方法。 - 【請求項８】動画中の場面を抽出して登録する動画処理
方法において、 上記動画に対応する音声データより特定の音声を識別
し、上記特定の音声のある場面を抽出し、 上記手段により抽出された場面を登録することを特徴と
する動画処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63206307A JP2834148B2 (ja) | 1988-08-22 | 1988-08-22 | 動画検索装置及び動画処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63206307A JP2834148B2 (ja) | 1988-08-22 | 1988-08-22 | 動画検索装置及び動画処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0256069A JPH0256069A (ja) | 1990-02-26 |
| JP2834148B2 true JP2834148B2 (ja) | 1998-12-09 |
Family
ID=16521134
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP63206307A Expired - Lifetime JP2834148B2 (ja) | 1988-08-22 | 1988-08-22 | 動画検索装置及び動画処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2834148B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03292571A (ja) * | 1990-04-11 | 1991-12-24 | Matsushita Electric Ind Co Ltd | 画像操作情報設定方式 |
| EP0597798A1 (en) * | 1992-11-13 | 1994-05-18 | International Business Machines Corporation | Method and system for utilizing audible search patterns within a multimedia presentation |
| JP3340532B2 (ja) * | 1993-10-20 | 2002-11-05 | 株式会社日立製作所 | ビデオの検索方法および装置 |
| JP3373924B2 (ja) * | 1994-01-10 | 2003-02-04 | 日本電信電話株式会社 | マルチメディア情報処理方法および装置 |
-
1988
- 1988-08-22 JP JP63206307A patent/JP2834148B2/ja not_active Expired - Lifetime
Non-Patent Citations (3)
| Title |
|---|
| 原，田村，笠原，「ハイパーメディア電子ブックにおけるトラバース主導型情報検索方式」，電子情報通信学会技術研究報告（ＤＥ８８−１７），Ｖｏｌ．８８，Ｎｏ．１２７，１９８８，ｐ４１−４８（昭６３−７−２０） |
| 原，金子，「マルチメディア情報検索システム」，電子通信学会技術研究報告（ＤＥ８６−２），Ｖｏｌ．８６，Ｎｏ．５７，ｐ９−１６（昭６１−６−１６） |
| 安部，石橋，笠原，「物体の動きをキーとした動画像検索方法」，電子情報通信学会技術研究報告（ＩＥ８８−４），Ｖｏｌ．８８，Ｎｏ．１４，１９８８，ｐ２５−３０（昭６３−４−２２） |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0256069A (ja) | 1990-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3268545B2 (ja) | 映画をその基礎にあるソース情報とリンクし表示するシステムおよび方法 | |
| RU2440606C2 (ru) | Способ и устройство автоматического генерирования сводки множества изображений | |
| JP3310158B2 (ja) | 映画を表示しながら販売業者情報の提供と販売業者とのリンクの確立を行うシステムおよび方法 | |
| US5136655A (en) | Method and apparatus for indexing and retrieving audio-video data | |
| CN100545856C (zh) | 视频内容分析系统 | |
| US5664227A (en) | System and method for skimming digital audio/video data | |
| US8868585B2 (en) | Contents replay apparatus and contents replay method | |
| US7181757B1 (en) | Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing | |
| EP1058453B1 (en) | Method and apparatus for retrieving desired video and audio scene using voice recognition | |
| US7203366B2 (en) | Video retrieval method and apparatus | |
| JP3657206B2 (ja) | 個人用映画コレクションの作成を可能にするシステム | |
| US20050228665A1 (en) | Metadata preparing device, preparing method therefor and retrieving device | |
| JP2004533756A (ja) | 自動コンテンツ分析及びマルチメデイア・プレゼンテーションの表示 | |
| JP2000250944A (ja) | 情報提供方法、情報提供装置、情報受信装置、並びに情報記述方法 | |
| KR20090040758A (ko) | 영상 태깅 방법 및 이를 사용하는 영상 재생 장치. | |
| JP2001306581A (ja) | ミドルウェアおよびミドルウェアを用いたメディアデータ視聴機器 | |
| JP2012038240A (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
| JP2005101906A (ja) | 動画記録装置、動画記録方法、及びプログラム | |
| US7050110B1 (en) | Method and system for generating annotations video | |
| JP2002108892A (ja) | データ管理システム、データ管理方法、及び、記録媒体 | |
| CN110324702B (zh) | 视频播放过程中的信息推送方法和装置 | |
| JP4064902B2 (ja) | メタ情報生成方法、メタ情報生成装置、検索方法および検索装置 | |
| US8145034B2 (en) | Contents replay apparatus and contents replay method | |
| JP2834148B2 (ja) | 動画検索装置及び動画処理装置 | |
| JP3934780B2 (ja) | 放送番組管理装置、放送番組管理方法、及び放送番組管理処理プログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081002 Year of fee payment: 10 |
|
| EXPY | Cancellation because of completion of term |