JP4572024B2

JP4572024B2 - ナビゲーションシステム及びナビゲート方法

Info

Publication number: JP4572024B2
Application number: JP2000274129A
Authority: JP
Inventors: マークマクグラツ、ジョーン; レークスドリコット、マーチン; コリンズ、アンドリュー
Original assignee: Sony United Kingdom Ltd
Current assignee: Sony Europe BV United Kingdom Branch
Priority date: 1999-09-08
Filing date: 2000-09-08
Publication date: 2010-10-27
Anticipated expiration: 2020-09-08
Also published as: EP1083568A3; US6799180B1; JP2001155036A; GB2354105A; GB9921235D0; EP1083568A2

Description

【０００１】
【発明の属する技術分野】
本発明は、ソースコンテンツ（source content）をナビゲートする（navigate）ナビゲート装置及び方法、編集装置並びにコンピュータプログラムに関する。
ソースコンテンツは、例えばビデオ及び／又はオーディオ素材（video/audio material）である。
【０００２】
【従来の技術】
ソースコンテンツは、例えば編集や保管（archive）のためにレビュー（review）されるが、このレビューは、従来より負担が大きい作業である。通常、ソースコンテンツは、例えばビデオレコーダやディスクプレーヤのようなソースコンテンツを再生する機器に読み込まれ、ユーザは、通常、コンピュータベースの編集装置又は保管装置を介して、これらの機器と対話（interact）してレビューする。
【０００３】
【発明が解決しようとする課題】
ユーザは、編集又は保管する対象の素材を理解（familiarise）するためには、ソースコンテンツを編集する前、あるいは保管のためにソースコンテンツを準備する前に、通常、ソースコンテンツのレビュー、例えばどのような素材であり、その素材がソースコンテンツのどの位置あるかを知るためのレビューに、かなりの時間を費やさなければならない。このソースコンテンツを最初に理解するために費やされる時間によって、編集処理又は保管処理の効率は、明らかに低下する。ユーザは、素材を最初に理解するための工程（step）、及びこれに続く実際の編集等の工程において、ソースコンテンツの特定の部分間を移動しようするが、ソースコンテンツ内における特定の特徴を正確且つ効果的に見つけるためには、明らかに、かなりの時間を費やすことになる。
【０００４】
本発明は、上述の実情に鑑みて提案されるものであり、本発明の目的は、ソースコンテンツの特定の特徴を見つけ出す時間を短縮し、ソースコンテンツ内における移動を容易にするナビゲーション装置及び方法、編集装置並びにコンピュータプログラムを提供することである。
【０００５】
【課題を解決するための手段】
本発明は、ソースコンテンツをナビゲートしてソースコンテンツ、ソースコンテンツの部分（portion）に対応する意味ソースメタデータ(semantic source metadata)における所望の特徴（desired feature）を識別するナビゲーション装置において、所望の特徴の要求（request）を受け取る入力インターフェースと、要求から、意味メタデータ（semantic metadata）に関する所望の特徴を指定する検索要求（search request）を生成し、検索要求を処理して所望の特徴を示す意味ソースメタデータ（semantic source metadata）を識別するようにする処理手段と、所望の特徴として識別された意味ソースメタデータに対応するソースコンテンツの部分の表示を出力する出力インターフェースとを備える。
【０００６】
本発明は、ナビゲーション装置を操作してソースコンテンツをナビゲートし、ソースコンテンツ、ソースコンテンツの部分に対応する意味ソースメタデータにおける所望の特徴を特定するナビゲート方法を提供し、このナビゲート方法は、（ａ）所望の特徴の要求を受け取るステップと、（ｂ）要求から、意味メタデータに関する所望の特徴を指定する検索要求を生成するステップと、（ｃ）検索要求を処理して所望の特徴を示す意味ソースメタデータを特定するステップと、（ｄ）所望の特徴として識別された意味ソースメタデータに対応するソースコンテンツの部分の表示を出力するステップとを有する。
【０００７】
本発明は、ナビゲーション装置を操作し、ソースコンテンツをナビゲートしてソースコンテンツ、ソースコンテンツの部分に対応する意味ソースメタデータにおける所望の特徴を識別するコンピュータプログラムで、このコンピュータプログラムは、（ａ）所望の特徴の要求から、意味メタデータに関する所望の特徴を指定する検索要求を生成するステップと、（ｂ）検索要求を処理して所望の特徴を示す意味ソースメタデータを識別するステップと、（ｃ）所望の特徴として出力される意味ソースメタデータに対応するソースコンテンツの部分の表示を取り出すステップとをナビゲーション装置に実行させる。
【０００８】
【発明の実施の形態】
以下、本発明に係るナビゲーション装置及びナビゲート方法、編集装置並びにコンピュータプログラムについて、図面を参照しながら詳細に説明する。
【０００９】
図１は、本発明を適用した編集装置の具体的な構成を示すブロック図である。
この図１に示すように、編集装置１０は、ソースコンテンツ（source content）が供給され、ソースコンテントに編集操作を施して、編集されたコンテンツシーケンス（以下、単に編集コンテンツシーケンスという。）を作成する処理装置（processing unit）１２を備える。処理装置１２は、例えばマイクロプロセッサからなる。また、編集装置１２は、処理装置１２で実行されるソフトウェアと処理装置１２で用いられるデータを記憶するメモリ１４を備える。メモリ１４は、例えばリードオンリーメモリ（read only memory：ＲＯＭ）、ランダムアクセスメモリ（random access memory：ＲＡＭ）等からなる。
【００１０】
編集装置１０は、表示ドライバ１６を備え、表示ドライバ１６は、イネーブル表示信号（enable display signal）を、この編集装置１０に接続された表示装置２０に出力する。また、編集装置１０は、入出力インターフェース１８を備え、入出力インターフェース１８は、入力装置（input mechanism）２２、例えばキーボード、マウス、ジョグシャトルダイアル（jog-shuttle dial）、ペンとタブレットからなる描画ツール（drawing tool）等を編集装置１０に接続するためのものである。編集装置１０のユーザは、表示装置２０と入力装置２２を介した対話により、編集装置１０において編集処理を実行させることができる。
【００１１】
この具体例では、編集装置１０によって編集されるソースコンテンツは、デジタルカメラ３０で得られるオーディオ／ビデオ（audio/video: 以下、Ａ／Ｖという。）素材である。アナログカメラでは、Ａ／Ｖ素材は、アナログデータとして得られる。この場合、編集装置１０はデジタルデータを処理するようになっているので、アナログＡ／Ｖ素材は、デジタルデータに変換された後、編集装置１０に入力される。
【００１２】
デジタルカメラ３０によってＡ／Ｖ素材が生成されると、Ａ／Ｖ素材は、適切な媒体３２、例えばデジタルテープ又はデジタルディスクに格納される。最近のデジタル技術では、Ａ／Ｖ素材が最初に生成されるときに、メタデータ（metadata）がＡ／Ｖ素材に関連付けられ、この具体例では、このようなメタデータは、適切な媒体３４、例えばデジタルテープ又はデジタルディスクに格納される。なお、メタデータを、関連するＡ／Ｖ素材と同じ物理的記憶媒体（physical memory media）に格納しても、他の物理的記憶媒体に格納してもよい。
【００１３】
また、Ａ／Ｖ素材を編集装置１０に送る前に必要に応じて、例えばメタデータを手動で加えることによって、更なるメタデータ（metadata）を加えるようにしてもよい。
【００１４】
ここで、メタデータについて簡単に説明する。近年、メタデータ、すなわちコンテンツを記述するメタデータに関心が集まっている。実際、例えばＳＭＰＴＥ−ＥＢＵ（Society of Motion Picture and Television Engineers European Broadcast Union）、ＭＰＥＧ−７（Motion Pictures Expert Group）のように、多くの規格が提供されている。ここで、Motion Pictures Expert Groupは、ISO/IEC standards body SG29＼WG11を意味する。
【００１５】
ソースコンテンツに対応するメタデータには、表１に幾つかの例を示すように、多くの種類がある。
【００１６】
【表１】

【００１７】
例えば良好なショットを示すグッドショットマーカ（good shot marker）、どこで記録を開始／終了したかを示す記録マーク、ＧＰＳ（global positioning system）による位置、日時、固有素材識別子（unique material identifier：ＵＭＩＤ）、カメラ設定、焦点、ズーム等の所定量のメタデータは、自動的にソースに加えられる。
【００１８】
Ａ／Ｖ素材が編集されるとき、Ａ／Ｖ素材は、対応するメタデータ（以下、ソースメタデータと呼ぶ。）とともに入力Ａ／Ｖ記憶装置２４、例えばデジタルテーププレーヤ、ディジタルディスクプレーヤ、又はサーバに格納される。
【００１９】
なお、メタデータは、コンテンツが生成された後に、手動で追加することもできる。追加されるメタデータとしては、例えばカメラマン、ジャーナリストノート、注記、位置／割当コメントなどがある。また、導入（introduction）、完了（finish）、コメント、ボイスオーバ（voice over）などのショット識別がある。また、コンテンツからのメタデータの自動抽出の技術は大きく進歩している。
認識ツール、例えば顔及び特徴認識ツール、音声認識ツールなどを用い、コンテンツにおける特徴を識別し、コンテンツに適切なメタデータを加えることもできる。
【００２０】
上述したメタデータの例の幾つかは、「意味メタデータ（semantic metadata）」と呼ばれるメタデータのように、ソースコンテンツに含まれる実際のコンテンツの文脈情報／記述情報（contextual/descriptive information）を与えるものである。意味メタデータには、例えばショット識別情報、グッドショットマーカ、インタビューの質問の開始を識別する「インタビュー質問（interview question）」識別子、顔のショット、音声などを識別するのに用いられるメタデータがある。
【００２１】
本発明では、ソースコンテンツに対応するメタデータ、すなわち意味ソースメタデータの最近の発展を利用して、ソースコンテンツを正確で効果的にナビゲートし、ユーザが関心を持つ特徴を見つけるようにしている。
【００２２】
具体的には、編集装置１０には、ソースコンテンツにおける所望の特徴の要求が供給される。所望の特徴の要求は、絶対項（absolute term）であり、例えば要求は音声の開始、導入としてマークされたソースコンテンツの部分などである。なお、所望の特徴の要求を相対項（relative term）、例えば次の顔、次のトランジションなどの要求とすることもできる。
【００２３】
処理装置１２は、要求から、意味メタデータに関する所望の特徴を指定する検索要求を生成する。したがって、検索要求は、典型的には要求された所望の特徴を見つけるために用いられる意味メタデータの１以上の項目を識別する。例えば、要求が「インタビュー質問２」のような特定のインタビュー質問に対するものであるときは、適切な意味メタデータは、ソースコンテンツにおいて特定のインタビュー質問の開始を識別するのに用いられるインタビュー質問フラグである。
同様に、要求が次の顔であるときは、適切な意味メタデータは、ソースコンテンツの部分が顔を含むとして識別するメタデータである。
【００２４】
処理装置１２は、検索要求が一旦生成されると、検索要求を処理して、ソースコンテンツにおける特徴を示す意味ソースメタデータを識別する。これは、典型的には意味ソースメタデータにおける検索を含み、検索要求による特定に適合する意味ソースメタデータを特定する。編集装置１２は、検索要求が一旦処理されると、検索要求の処理の間に識別された意味ソースメタデータに対応するソースコンテンツの部分の表示を所望の特徴として出力する。
【００２５】
意味ソースメタデータは、ソースコンテンツとともに、又はソースコンテンツと別に、様々な異なった記憶媒体に格納される。具体的には、意味ソースメタデータはランダムアクセス可能な記憶媒体に格納され、処理装置１２は、ランダムアクセス可能な記憶媒体に記録された意味ソースメタデータに検索要求を適用する。意味ソースメタデータをランダムにアクセス可能な記憶媒体に格納することにより、意味ソースメタデータをノンリニアで検索することが可能になり、検索処理の速度を高めることができる。
【００２６】
ソースコンテンツは、ビデオ素材、少なくともソースコンテンツにおけるビデオ特徴（video feature）を識別する幾つかの意味ソースメタデータを有する。この具体例では、ビデオ特徴のアイコン表示（iconic representation）は、対応する意味ソースメタデータとともに格納され、出力インターフェースによる表示出力は、検索要求の処理の間に識別された意味ソースメタデータに対応するアイコン表示を有する。この方法によって、所望の特徴の要求に応じて識別されたソースコンテンツの部分の表示は、ソースコンテンツをスキャンしてソースコンテンツのその部分を取り出す必要なしに、ユーザに出力することができる。これによって、ナビゲート処理の速度は著しく向上する。特に、ソースコンテンツが例えばデジタルテープのようなリニアフォーマットで格納されているときに、効果的である。
【００２７】
また、ソースコンテンツは、オーディオ素材、ソースコンテンツにおいてオーディオ特徴を識別する少なくとも幾つかの意味ソースメタデータを有している。
ビデオ素材と同様に、オーディオ特徴（audio feature）のアイコン表示は対応する意味ソースメタデータとともに格納され、検索要求の処理に応じた出力インターフェースによる表示出力は、識別された意味ソースメタデータに対応するアイコン表示を有する。例えば、オーディオのアイコン表示は、波形の画像である。この画像は、専門家にはオーディオ素材のコンテンツについていくらかの情報を与える。
【００２８】
上述したように、意味ソースメタデータは、ソースコンテンツとともに格納される。なお、本具体例では、意味ソースメタデータは、ソースコンテンツとは別に格納され、ソースコンテンツとは時刻コード（time code）を介して対応している。
【００２９】
他の具体例では、意味ソースメタデータは、ソースコンテンツとともに記憶媒体に記録され、処理装置によって所望の特徴を示す意味ソースメタデータが特定されるように検索要求が処理されると、出力インターフェースはソースコンテンツの対応する部分を所望の特徴として出力するようになされている。この具体例では、検索要求を意味ソースメタデータに適用するとき、ナビゲーション装置は意味ソースメタデータ及び対応するソースコンテンツの両方をスキャンし、これに応じて検索要求の結果を示すソースコンテンツの対応する部分を出力することができる。
【００３０】
この具体例では、ナビゲートされるソースコンテンツは、効果的なナビゲーションを容易にする適切な意味ソースメタデータを既に含んでいる。なお、ナビゲーション装置を適切な認識ツールに接続し、関連する意味ソースメタデータの「作動中（on the fly）」での生成を可能にすることもできる。したがって、１つの具体例では、処理装置は、検索要求に応じて所定の認識ツールにアクセスして認識ツールにソースコンテンツをレビューさせ、検索要求を処理するのに必要な意味ソースメタデータを生成するようになされている。したがって、例えば受け取った要求が次の顔であれば、顔認識ツールが起動してソースコンテンツを現在の位置からスキャンし、ソースコンテンツにおいて次の顔が現れる位置の意味ソースメタデータを生成する。ここで、検索の結果は、意味ソースメタデータが生成されると同時に識別されることは明らかである。
【００３１】
第１の具体例では、入力インターフェースは描画ツールに接続され、所望の特徴はユーザによって描画ツールを介して入力される。所望の特徴は、描画ツールを介して入力される適切なジェスチャを定義することで識別されるものとされる。他の具体例では、入力インターフェースは、ジョグシャトル装置に接続され、所望の特徴の要求はユーザによってジョグシャトル装置を介して入力される。例えば、ジョグシャトル装置の個々のボタンは、顔、トランジション、音声などを識別するために用いられ、ジョグシャトル要素は「次」又は「前」のような相対情報を特定するのに用いられる。
【００３２】
この具体例では、ユーザは、入力装置２２を介して適切なコマンドを入力することによって、ソースＡ／Ｖ素材をナビゲートすることができる。したがって、ユーザは、特定の所望の特徴（feature）を要求することを指定（specify）するコマンドを入力することができる。要求コマンドとしては、例えばＡ／Ｖ素材における音声の開始の要求、導入部分（introduction）としてマークされたソースＡ／Ｖ素材の部分の要求、次の顔（next face）の要求、次のトランジション（transition）の要求などがある。これらのコマンドの入力には多くの方法がある。例えば、ユーザは、適切な所望の特徴を指定するコマンドを選択するために、表示装置２０に表示された多数のメニューをキーボード及び／又はマウスを用いてナビゲートすることができる。なお、入力装置２２は、例えば描画ツールであってもよく、この場合、編集装置１０は、特定の所望の特徴のコマンドとして、描画ツールを介して入力された所定のジェスチャを認識する認識ルーチンを有する。また、入力装置２２は、例えばジョグシャトル装置（jog-shuttle device）であってもよい。ジョグシャトル装置の個々のボタンは、顔、トランジション、音声のような所望の特徴を示すようにプログラムされている。そして、この場合、ジョグシャトルの各ボタンは、「次（next）」又は「前（previous）」のような相対的な情報（information）を指定するのに用いられる。
【００３３】
入力装置２２を介して入力された所望の特徴の要求は、入出力インターフェース１８を介して処理装置１２に供給される。そして、処理装置１２は、この要求から、意味メタデータ（semantic metadata）に関する所望の特徴を指定する検索要求（search request）を生成する。この具体例においては、処理装置１２は、データベースのように、メモリ１４又は外部記憶媒体に格納されたデータを参照し、所定数の所望の特徴のそれぞれに対して、所望の特徴を見つける（locate）のに用いられる意味メタデータの１つ以上の項目（item）を識別する。したがって、この具体例では、ユーザは、所定数の所望の特徴、例えば次の顔、次のトランジションなどの何れに基づいてもナビゲートすることができ、処理装置１２は、記憶装置から、所望の特徴の検索（retrieve）に用いられる適切な意味メタデータを検索する。
【００３４】
検索要求が一旦生成されると、所望の特徴を示す意味ソースメタデータを識別するために、検索要求は、ソースＡ／Ｖ素材に対応する意味ソースメタデータに適用される。元の要求が相対項、例えば次の顔、次のトランジションなどのときは、検索は、明らかにソースＡ／Ｖ素材内の現在位置から開始する必要がある。
入力Ａ／Ｖ記憶装置２４及び／又は処理装置１２は、ソースＡ／Ｖ素材内の現在位置の記録（record）を有し、この情報に従って、検索を開始する位置に対応した意味ソースメタデータを決定することができる。
【００３５】
上述したように、意味ソースデータは、ソースＡ／Ｖ素材とともに記録されているので、検索は、ソースＡ／Ｖ素材を格納している記憶媒体に対して直接行われる。なお、意味ソースメタデータは、ソースＡ／Ｖ素材とは物理的に別の記憶媒体に格納することもでき、この場合、検索は、同時に入力Ａ／Ｖ記憶装置２４でソースＡ／Ｖ素材を参照する（traverse）ことなく、意味ソースメタデータ上で行われる。
【００３６】
図２は、編集装置１０におけるソースコンテンツのナビゲーション処理を示すフローチャートである。すなわち、ステップＳ１１において、編集装置１０の処理装置１２は、上述した所望の特徴の要求が供給される。ステップＳ１２において、処理装置１２は、意味メタデータに関する所望の特徴を指定する検索要求を生成する。ステップＳ１３において、処理装置１２は、パラメータＴを０に設定する。ステップＳ１４において、処理装置１２は、検索要求を適用した後、ステップＳ１５に進む。なお、この具体例では、パラメータＴを０に設定するステップＳ１３は、ステップＳ１２とステップＳ１４の間、すなわち検索要求の生成の後であって、検索要求の適用の前に実行されるが、その実行時点は、ステップＳ１５に進む前ならば、何れの時点であってもよい。
【００３７】
ステップＳ１５において、処理装置１２は、検索要求を適用した結果、所望の特徴が検出されたかを判定する。検索要求を適用することによって、意味ソースメタデータが検索要求で指定される意味メタデータに適合（match）することが見いだされると、この判定が該当（ＹＥＳ）することになる。したがって、例えば次の顔の要求について、現在位置から開始し、この位置から前方に意味ソースメタデータをスキャンし、意味ソースメタデータが検索要求によって指定される意味メタデータに適合することが検出されると、すなわち例えば次の顔の識別子（identifier）が検出されると、意味ソースメタデータは、検索要求の結果として返され、所望の特徴が存在する（locate）ことが示される。
【００３８】
意味ソースメタデータがソースメタデータと別に格納されているか、ソースメタデータと一緒に格納されているかに関わらず、意味ソースメタデータの特定の項目とソースＡ／Ｖ素材の特定の部分間には直接的な相関がある。意味ソースメタデータがソースＡ／Ｖ素材と一緒に格納されているときは、この対応は、ソース素材内において意味ソースメタデータを検出することによって、示される。意味ソースメタデータがソース素材と別に格納されているときは、ソース素材の関連する部分を識別するための適切な情報が、意味ソースメタデータとともに格納されている。適切な情報としては、例えば時刻コード（time code）があり、時刻コードは、意味ソースメタデータに関連しており、ソースＡ／Ｖ素材内における特定の位置を示している。
【００３９】
ステップＳ１５において、所望の特徴が検出されると、処理はステップＳ１６に進み、ステップＳ１６において、処理装置１２は、所望の特徴のアイコン表示が利用できるかを判定する。該当するときは、処理装置１２は、意味ソースメタデータを、ソースＡ／Ｖ素材とは別に、例えばランダムアクセス可能な記憶媒体に格納する。この具体例では、上述したように所望の特徴のアイコン表示を意味ソースメタデータと一緒に格納することによって、検索要求を適用して検出された意味ソースメタデータに関するソースＡ／Ｖ素材の部分を識別するために、ソースＡ／Ｖ素材を順次処理する（sequence）必要性をなくしている。ビデオの特徴に対するアイコン表示は、例えばビデオ素材の部分を示す画像であり、オーディオの特徴に対するアイコン表示は、例えばオーディオコンテンツを示す波形画像である。
【００４０】
アイコン表示が利用可能であるときは、ステップＳ１８において、処理装置１２は、ユーザの要求に応じて、アイコン表示を読み出し、表示装置２０に出力する。そして、処理はステップＳ１１に戻り、処理装置１２は、ユーザがさらに要求するまで待機する。ユーザが、表示されたアイコン表示に基づいて、ソース素材を直接レビューしようと決定すると、処理装置１２は、入力Ａ／Ｖ記憶装置２４に命令を出し、入力Ａ／Ｖ記憶装置２４は、所望の特徴を含むソース素材の部分を頭出し（que up）し、この部分がユーザに出力される。
【００４１】
ステップＳ１６においてアイコン表示が利用できないときは、処理はステップＳ１７に進み、ステップＳ１７において、処理装置１２は、ソースＡ／Ｖ素材をスキャンして、検索の結果識別された意味ソースメタデータに対応するソースコンテンツの部分が検出し、ソースコンテンツのこの部分を、所望の特徴として表示装置７５に出力する。そして、処理は再びステップＳ１１に戻り、処理装置１２は、ユーザからの更なる要求を待つ。
【００４２】
ステップＳ１５において所望の特徴が検出されないとき、すなわち検索要求の適用によってどの意味ソースメタデータも検索基準（search criteria）に適合しないと判定されたときは、処理はステップＳ１９に進み、ステップＳ１９において、パラメータＴが０に等しいかが判定される。パラメータＴが０に等しいときは、すなわち処理が一回目であるときは、処理はステップＳ２０に進み、ステップＳ２０において、この具体例では、所定の認識ツール（recognition tool）を起動することを望むかの表示がなされ、ユーザが催促される。
【００４３】
この具体例では、編集装置１０は、多くの認識処理装置２６に接続することができる。認識処理装置２６は、例えば１以上のプラグイン認識ツール（plug-in recognition tool）からなる。これらの認識ツールは、この具体例では、検索要求が適用された際に、意味ソースメタデータを「高速（on the fly）」で生成するために補助するものである。例えば顔を検出する認識ツールは、ソースＡ／Ｖ素材をスキャンしてビデオに含まれる顔を探すのに用いられる。また、例えば、検索要求が次の顔を求めるものであるときは、この認識ツールは、起動され、ソースＡ／Ｖ素材において現在位置からビデオに含まれる次の顔の部分を検索して、ソースＡ／Ｖ素材内の次の顔を含む部分の位置を示す目印（indication）を、意味ソースメタデータとして返す。この具体例では、検索結果は、意味ソースメタデータが生成されると同時に確認される。
【００４４】
したがって、ステップＳ２０において、ユーザが適切な認識ツールを起動することを望むことを示すと、処理はステップＳ２１に進み、ステップＳ２１において、認識ツールは、ソースＡ／Ｖ素材を検索して、所望の特徴が認識される位置に達したときに意味ソースメタデータを生成するために、用いられる。認識ツールの出力は、実際には、検索要求の結果を示している。したがって、認識ツールは、ソースＡ／Ｖ素材内における検索基準に適合した部分の位置の表示を、意味ソースメタデータとして出力するか、又は所望の特徴は認識されないことを出力する。処理はステップＳ２２に進み、ステップＳ２２において、パラメータＴは１加算（インクリメント）され、処理はステップＳ１５に戻り、所望の特徴が検出されるかが判定される。
【００４５】
認識ツールを用いた結果、所望の特徴が検出されたときは、上述したように、処理はステップＳ１６を介してステップＳ１８に進む。所望の特徴がまだ検出されないときは、処理は再びステップＳ１９に進み、ステップＳ１９において、パラメータＴはもう０でないと判定され、したがって処理はステップＳ２３に分岐する。ステップＳ２３において、所望の特徴は検出されなかったという表示がなされ、ユーザに通知される。この表示は、様々な形で行うことができ、例えばテキストによるメッセージが表示装置２０に表示される。
【００４６】
なお、図２のフローチャートに示す検索要求処理は、一具体例にすぎず、検索要求処理は変更することができる。例えば、編集装置１０は、所望の特徴が検出されないイベント（event）に対しては、自動的に認識ツールを起動するようにしてもよく、また、編集装置１０は、例えば、所望の特徴が検出されないと判定する前に、ステップＳ１９，Ｓ２０，Ｓ２１，Ｓ２２からなるループを１回以上繰り返し実行するようにしてもよい。
【００４７】
図３は、編集装置１０を用いたソースＡ／Ｖ素材のナビゲーションを説明するための図である。シーケンス５０は、録画されたインタビューに関連するソースＡ／Ｖ素材の多数のフレームを示している。オーディオ表示５１は、オーディオ信号がＡ／Ｖ素材において存在することを示すためのものである。
【００４８】
編集装置１０のユーザは、ある時点で、表示装置６０にＡ／Ｖ素材の部分５２を表示しているものとする。ユーザは、ペン７１とタブレット７２からなる描画ツールのような入力装置を用いて、所望の特徴、例えばＡ／Ｖシーケンス５０内における次の顔の要求を入力する。図３に示すように、この要求はペン７１によってタブレット７２上に描かれる適切なジェスチャ（gesture）７３によって入力される。長方形のブロック７４は、通常のノンリニア編集装置（non-linear editing system）上で用いられるタイムライン表示（timeline display）であり、この具体例とは直接関係しない。
【００４９】
他の具体例では、入力インターフェースは、ジョグシャトル装置に接続され、所望の特徴の要求はユーザによってジョグシャトル装置を介して入力される。例えば、ジョグシャトル装置の個々のボタンは、顔、トランジション、音声などを識別するために用いられ、ジョグシャトル要素は「次」又は「前」のような相対情報を特定するのに用いられる。
【００５０】
このソースＡ／Ｖ素材が、次の顔を識別する適切な意味ソースメタデータに関連づけされているときは、検索要求が生成されてソースＡ／Ｖ素材の意味ソースメタデータに適用され、識別された部分５３に対応する意味ソースメタデータになる。この具体例では、次の顔を識別する意味ソースメタデータは、必ずしも次の異なった人物をＡ／Ｖシーケンス５０において識別する必要はないが、異なった顔のショット（shot）、すなわち同じ人物の異なったショット、又は異なった人物のショットをそれぞれ識別する。この具体例では、次の顔は、同じ人物の次のショット６１としているが、次のショット６１は、同じ人物のより接近した顔のショットである。
【００５１】
したがって、ユーザは、検索要求を適用した結果、Ａ／Ｖシーケンス５０内における所望の特徴を表す画像６１を、表示装置６０上で見ることができる。ユーザが、次の顔を検出するコマンドを繰り返すと、検索要求が生成されてソースＡ／Ｖ素材に適用され、図３に示すように、識別された部分５４に対応する意味ソースメタデータになる。したがって、部分５４の画像６２が表示装置６０上に表示される。
【００５２】
本発明を特定の具体例について説明してきたが、本発明は、これらには限定されるものでなく、本発明の趣旨を逸脱することなく、多くの変更や追加をすることができる。
【００５３】
すなわち、上述の具体例では、ソースコンテンツをナビゲートするナビゲーション装置は、編集装置に組み込まれているが、ナビゲーション装置を他の環境、例えば保管装置に組み込んで使用することもできる。
【００５４】
【発明の効果】
上述のように、本発明によると、ソースコンテンツの特定の特徴を見つける時間が短縮され、ソースコンテンツにおけるナビゲーションが容易になる。これによって、ソースコンテンツの編集の際のユーザの負担が軽減される。
【図面の簡単な説明】
【図１】図１は、本発明を適用した編集装置の具体的な構成を示すブロック図である。
【図２】図２は、本発明を適用した編集装置の動作を示すフローチャートである。
【図３】図３は、本発明を適用した編集装置を用いたソースＡ／Ｖ素材におけるナビゲーションを説明する図である。
【符号の説明】
１０編集装置、１２処理装置、１４メモリ、１６表示ドライバ、１８入出力インターフェース、２０表示装置、２２入力装置、２４入力Ａ／Ｖ記憶装置、２６認識処理装置、２８出力Ａ／Ｖ記憶装置、３０デジタルビデオカメラ

Claims

ソースコンテンツに含まれるコンテンツの文脈情報／記述情報を与えるソースメタデータに関連付けられる各部分を有するソースコンテンツをナビゲートして、上記ソースコンテンツの所望の特徴を識別するナビゲーションシステムにおいて、
上記ソースコンテンツ及び上記ソースメタデータを生成し、上記ソースコンテンツが生成されたときに、上記ソースコンテンツの上記部分と、上記ソースメタデータとを関連付ける生成部と、
上記所望の特徴の要求が供給される入力インターフェースと、上記要求から、上記ソースメタデータに関する所望の特徴を指定する検索要求を生成し、該検索要求を処理して、上記所望の特徴を示す上記ソースメタデータを識別し、かつ、上記ソースコンテンツの上記所望の特徴を識別することができなかった場合に、上記検索要求に応じて、上記ソースコンテンツの上記所望の特徴を識別するための認識処理装置にアクセスして上記認識処理装置に上記ソースコンテンツを走査させ、前記検索要求を処理するように求められた追加的なソースメタデータを生成する処理手段と、上記処理手段で識別された上記ソースメタデータまたは上記追加的なソースメタデータに関連付けられた上記ソースコンテンツの上記部分の表示を、上記所望の特徴として出力する出力インターフェースとを有する編集装置と
を備え、
上記ソースメタデータは、ランダムにアクセス可能な記憶媒体に格納され、
上記処理手段は、上記検索要求を上記記憶媒体に格納された上記ソースメタデータに適用する
ナビゲーションシステム。
上記ソースコンテンツは、ビデオ素材と、上記ソースコンテンツにおけるビデオ特徴を識別する上記ソースメタデータとを含む
ことを特徴とする請求項１に記載のナビゲーションシステム。
上記ビデオ特徴のアイコン表示は、対応する上記ソースメタデータとともに格納され、上記出力インターフェースによる上記表示出力は、識別された上記ソースメタデータに対応するアイコン表示を含む
ことを特徴とする請求項２に記載のナビゲーションシステム。
上記ソースコンテンツは、オーディオ素材と、上記ソースコンテンツにおけるオーディオ特徴を識別する上記ソースメタデータとを含む
ことを特徴とする請求項１に記載のナビゲーションシステム。
上記オーディオ特徴のアイコン表示は、対応する上記ソースメタデータとともに格納され、
上記出力インターフェースによる表示出力は、識別された上記ソースメタデータに対応する上記アイコン表示を含む
ことを特徴とする請求項４に記載のナビゲーションシステム。
上記ソースメタデータは、上記ソースコンテンツとは別に格納され、上記ソースコンテンツには時刻コードを介して関連付けられている
ことを特徴とする請求項１に記載のナビゲーションシステム。
上記ソースメタデータは、上記ソースコンテンツとともに上記記憶媒体に格納され、
上記処理手段は、上記検索要求を処理して上記所望の特徴を示す上記ソースメタデータを指定し、
上記出力インターフェースは、上記関連付けられた上記ソースコンテンツの上記部分を上記所望の特徴として出力するようになされている
ことを特徴とする請求項１に記載のナビゲーションシステム。
上記入力インターフェースは、ペンタブレットに接続可能であり、上記所望の特徴の要求はユーザによって上記ペンタブレットを介して入力される
ことを特徴とする請求項１に記載のナビゲーションシステム。
上記入力インターフェースは、ジョグシャトル装置に接続可能であり、上記所望の特徴の上記要求はユーザによって上記ジョグシャトル装置を介して入力される
ことを特徴とする請求項１に記載のナビゲーションシステム。
ソースコンテンツを編集する編集システムにおいて、ソースコンテンツに含まれるコンテンツの文脈情報／記述情報を与えるソースメタデータが関連付けられる各部分を有するソースコンテンツをナビゲートして、上記ソースコンテンツの所望の特徴を識別するナビゲーションシステムを備え、
上記ナビゲーションシステムは、
上記ソースコンテンツ及び上記ソースメタデータを生成し、上記ソースコンテンツが生成されたときに、上記ソースコンテンツの上記部分と、上記ソースメタデータとを関連付ける生成部と、
上記所望の特徴の要求が供給される入力インターフェースと、上記要求から、上記ソースメタデータに関する所望の特徴を指定する検索要求を生成し、該検索要求を処理して、上記所望の特徴を示す上記ソースメタデータを識別し、かつ、上記ソースコンテンツの上記所望の特徴を識別することができなかった場合に、上記検索要求に応じて、上記ソースコンテンツの上記所望の特徴を識別するための認識処理装置にアクセスして上記認識処理装置に上記ソースコンテンツを走査させ、前記検索要求を処理するように求められた追加的なソースメタデータを生成する処理手段と、上記処理手段で識別された上記ソースメタデータまたは上記追加的なソースメタデータに関連付けられた上記ソースコンテンツの部分の表示を、上記所望の特徴として出力する出力インターフェースとを有する編集装置と
を有し、
上記ソースメタデータは、ランダムにアクセス可能な記憶媒体に格納され、
上記処理手段は、上記検索要求を上記記憶媒体に格納された上記ソースメタデータに適用する
編集システム。
生成部と、処理手段とを有し、ソースコンテンツに含まれるコンテンツの文脈情報／記述情報を与えるソースメタデータに関連付けられる各部分を有するソースコンテンツをナビゲートして、上記ソースコンテンツの所望の特徴を識別するナビゲーションシステムによるナビゲート方法において、
（ａ）上記生成部が、上記ソースコンテンツ及び上記ソースメタデータを生成するステップと、
（ｂ）上記生成部が、上記ソースコンテンツが生成されたときに、上記ソースコンテンツの上記部分と、上記ソースメタデータとを関連付けるステップと、
（ｃ）上記処理手段が、入力インターフェースを介して上記所望の特徴の要求を受信するステップと、
（ｄ）上記処理手段が、上記要求から、上記ソースメタデータに関する所望の特徴を指定する検索要求を生成するステップと、
（ｅ）上記処理手段が、上記検索要求を、ランダムにアクセス可能な記録媒体に格納された上記ソースメタデータに適用することで、上記所望の特徴を示す上記ソースメタデータを識別するステップと、
（ｆ）上記処理手段が、上記ソースコンテンツの上記所望の特徴を識別することができなかった場合に、上記検索要求に応じて、上記ソースコンテンツの上記所望の特徴を識別するための認識処理装置にアクセスして上記認識処理装置に上記ソースコンテンツを走査させ、前記検索要求を処理するように求められた追加的なソースメタデータを生成するステップと、
（ｇ）上記処理手段が、上記識別された上記ソースメタデータまたは上記追加的なソースメタデータに関連付けられた上記ソースコンテンツの上記部分の表示を上記所望の特徴として出力インターフェースを介して出力するステップと
を有するナビゲート方法。
ソースコンテンツに含まれるコンテンツの文脈情報／記述情報を与えるソースメタデータに関連付けられる各部分を有するソースコンテンツをナビゲートし、上記ソースコンテンツの所望の特徴を識別するナビゲーションシステムが備えるコンピュータに、
（ａ）上記ソースコンテンツ及び上記ソースメタデータを生成するステップと、
（ｂ）上記ソースコンテンツが生成されたときに、上記ソースコンテンツの上記部分と、上記ソースメタデータとを関連付けるステップと、
（ｃ）入力インターフェースを介して上記所望の特徴の要求を受信するステップと、
（ｄ）上記要求から、上記ソースメタデータに関する所望の特徴を指定する検索要求を生成するステップと、
（ｅ）上記検索要求を、ランダムにアクセス可能な記録媒体に格納された上記ソースメタデータに適用することで、上記所望の特徴を示す上記ソースメタデータを識別するステップと、
（ｆ）上記ソースコンテンツの上記所望の特徴を識別することができなかった場合に、上記検索要求に応じて、上記ソースコンテンツの上記所望の特徴を識別するための認識処理装置にアクセスして上記認識処理装置に上記ソースコンテンツを走査させ、前記検索要求を処理するように求められた追加的なソースメタデータを生成するステップと、
（ｇ）上記識別された上記ソースメタデータまたは上記追加的なソースメタデータに関連付けられた上記ソースコンテンツの上記部分の表示を上記所望の特徴として出力インターフェースを介して出力するステップと
を実行させるプログラム。