JP3566894B2

JP3566894B2 - Video index assigning method, computer-readable recording medium recording a program for causing a computer to execute the method, video index distribution device, and video index storage device

Info

Publication number: JP3566894B2
Application number: JP2000035945A
Authority: JP
Inventors: 由香利吉浦; 隆子橋本; 篤志飯沢
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2000-02-14
Filing date: 2000-02-14
Publication date: 2004-09-15
Anticipated expiration: 2020-02-14
Also published as: JP2001230993A

Description

【０００１】
【発明の属する技術分野】
本発明は、時間的に先に映像に付与した映像インデックスを、後の映像の状態に応じて無効にしたり、修正することが可能な映像インデックス付与方法、その方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、映像インデックス配信装置および映像インデックス保存装置に関する。
【０００２】
【従来の技術】
近年、コンピュータ・ハードウェア技術、情報処理技術の進歩や、インターネット、デジタル衛星放送の普及に伴って、日常的に様々な映像を利用することが可能となっている。このため、映像の有する情報としての価値・多様性・娯楽性がさらに重要な意味を持つようになり、従来から利用されているテレビジョン放送やビデオの再生等のように、映像を連続的に再生して視聴することに加えて、インデックスを付与して構造化した映像から所望の映像データを検索して視聴したり、情報を収集したり、ダイジェスト版を作成する等、多彩な利用方法が提案されている。
【０００３】
ところで、従来においては映像を効率的に検索するために、通常は、時間的に連続した映像データの集合である映像をより小さいユニット（区間）に分割して利用している。また、この際、映像データを所定の単位時間で分割したり、映像データの量で分割する等のように物理的に分割するのではなく、予め定めた条件を満足する映像データの集合として論理的に分割することが一般的である。この論理的な分割を行った後、それにインデックスを付加することにより、分割された映像データを再利用可能な意味的な纏まりとして扱うことができる。
【０００４】
この論理的な分割方法としては、例えば、映像を目でみて、人手（手作業）によって映像を分割した後、映像にインデックスを付与する方法や、リアルタイムオーサリング（リアルタイム内容記述）の手法の一つとして、論理的分割の開始点にあたる点をインデックス（構造インデックス）として指定し、次の論理的分割の開始点（すなわち、次の開始点を終了点とする）までを分割の区間として判定する方法が考えられている。
【０００５】
一方、上記の分割する区間を表す構造インデックスの他に、映像のインデックスとして、映像上で起こった事象を表す事象インデックスというものも考えられている。これは、上記の論理的な構造インデックスが映像の論理的な区間（Ｄｕｒａｔｉｏｎ：継続時間）を示すものに対し、基本的に区間を持たないインデックスである。この事象インデックスを利用した検索による論理的な区間の切り出しが映像検索の処理である。換言すれば、事象インデックスとして設定されている用語と一致する問い合わせを用いることにより、所望の映像部分を検索することが可能となる。
【０００６】
ただし、このような方法を用いてインデックスの付与を行っただけでは、構造インデックスまたは事象インデックスとして設定されている用語と一致する問い合わせに対して映像の検索を行うことはできるものの、映像の内容の意味について検索することはできないという不都合がある。
【０００７】
換言すれば、映像に対して断片的なインデックスしか付与することができないため、断片的なインデックスを頼りに論理的な構造の単位で検索を行い、映像部分を取り出すことは可能であるが、時間の進行と共に事象が変化する映像において、事象の変化の状態（事象の遷移状態）によって意味付けされる「映像の内容の意味」について検索することはできないという不都合がある。
【０００８】
なお、説明を明確にするために本明細書中において「映像の内容の意味」を以下のように定義する。映像の内容の意味とは、人が映像を見て、その映像の内容を抽象的・概念的に理解することにより、特定の区間に対して生成される情報である。すなわち、人間の主観を使って初めて発見できるような意味を持つ情報である。また、映像の内容の意味とは、映像の内容が映像上で起こった事象を断片的に表すものであるのに対して、映像上で起こった事象の変化の状態および事象の変化によって起こった結果となる事象の状態に基づいて、ある区間の映像の内容を総合的に人が判断して意味付けを行ったものである。したがって、映像の内容の意味は、ある区間の映像の内容が明らかになって初めて意味が成立するものである。
【０００９】
従来の技術を用いて映像の内容の意味による検索を支援するためには、例えば、時間の進行と共に事象が変化する映像に対して、ある意味が発生した映像の区間毎に、その区間の映像の内容の意味を表す情報（映像インデックス）を的確に付与しておけば良い。このとき、映像の内容の意味を表す情報は、映像の経過（映像上の事象の結果）によって左右されることが多く、結果を見なければ情報（映像インデックス）を付与することはできないため、換言すれば、期待した結果を表す事象が起こった場合に初めて「映像の内容の意味」が成立するため、映像の内容の意味を表す情報（映像インデックス）を的確に付与するためには、常に結果を表す事象を確認した後、成立した映像の内容の意味に基づいて、映像を時間的に遡り（時間的に戻り）、該当する正しい場所にその意味を表す情報（映像インデックス）を付与する必要がある。
【００１０】
したがって、従来の技術においても、映像内容記述者の負荷は大きいものの、手作業で映像をチェックし、十分な時間をかけて映像の内容の意味を表す情報（映像インデックス）を予め的確に付与しておくことにより、映像の内容の意味による検索を可能とすることができ、利用者が真に欲する映像部分の検索を行うことができるようになる。
【００１１】
【発明が解決しようとする課題】
しかしながら、上記映像の内容の意味を映像インデックスとして付与する方法によれば、映像を見ながら何度も映像の内容の意味を表す情報（映像インデックス）を付与したり、または訂正するための十分な時間がある場合には有効であるが、映像をリアルタイムに放送する場合や、映像に対するインデックス付けをリアルタイムに行いたい場合には、映像を戻して先に付与した映像インデックスを訂正することができなくなるため、映像の内容の意味を表す情報（映像インデックス）を的確に付与することができないという問題点があった。
【００１２】
また、リアルタイムに映像の内容をチェックして、映像インデックスを付与する場合、映像の内容の意味が成立したときに、前に戻って映像インデックスを付加することは時間的に難しいため、リアルタイムに映像の内容の意味を映像インデックスとして付与することが可能な映像インデックス付与方法は提供されていなかった。特に、従来の技術では、映像の内容の意味が成立したときに、前に戻って該当する映像の位置に映像インデックスを付与しなければならないため、映像上で起こった事象の変化の状態および事象の変化によって起こった結果となる事象の状態に基づいて、ある区間の映像の内容を総合的に人が判断して意味付けを行う必要がある「映像の内容の意味」を、リアルタイムに付与するという発想そのものが困難であった。
【００１３】
また、上記従来の技術によれば、映像の内容の意味が成立したときに、前に戻って映像インデックスを付加する時間が十分にある場合でも、訂正するために映像を戻して作業を行うことは、映像内容記述者の負担が大きく、また作業が煩雑になって時間が掛かるため、映像の内容の意味を記述するためのコストが高くなるという問題点があった。
【００１４】
本発明は上記に鑑みてなされたものであって、映像の内容の意味をリアルタイムに記述できるようにすることを目的とする。
【００１５】
また、本発明は上記に鑑みてなされたものであって、映像を戻して作業を行うことなく、記述した映像インデックスの訂正を行えるようにして、作業時間の短縮を図り、低コストで記述できるようにすることを目的とする。
【００１６】
【課題を解決するための手段】
上記の目的を達成するために、請求項１に係る映像インデックス付与方法は、時間の進行と共に事象が変化する映像に対して、少なくとも映像中で発生した事象の内容および場所を特定するための事象インデックスを含む映像インデックスを付与する映像インデックス付与方法において、予め、複数の事象が連続して発生することによって意味が成立する複合型事象の開始位置を示す事象開始インデックスおよび前記複合型事象の終了位置を示す事象終了インデックスと、前記複合型事象の意味が成立するために必要な複数の事象インデックスの入力列を用いて前記複合型事象を定義した状態遷移パターンとを、前記複合型事象毎に対応させた状態遷移テーブルを設定しておき、映像内容記述者が前記時間の進行と共に事象が変化する映像を観察して、任意の観察時点で最も相応しいと判断した事象インデックスまたは事象開始インデックスを前記任意の観察時点の映像の位置に付与すると、前記付与された事象インデックスおよび事象開始インデックスに基づいて前記状態遷移テーブルを参照し、前記付与された事象開始インデックス以降の事象インデックスの付与順序と前記付与された事象開始インデックスに対応する状態遷移パターンの複数の事象インデックスの入力列とが一致するか否かを判定し、一致した場合に、前記事象開始インデックスに対応する複合型事象の意味が成立したと判定して、成立した時点の映像の位置に前記事象開始インデックスに対応する事象終了インデックスを付与し、一致しない場合に前記事象開始インデックスに対応する複合型事象の意味が不成立したと判定し、不成立した時点の映像の位置に前記付与された事象開始インデックスを無効にする無効インデックスを付与することにより前記付与した事象開始インデックスを無効にするものである。
【００１７】
また、請求項２に係るコンピュータ読み取り可能な記録媒体は、前記請求項１に記載の映像インデックス付与方法をコンピュータに実行させるためのプログラムを記録したものである。
【００１８】
また、請求項３に係る映像インデックス配信装置は、請求項１に記載の映像インデックス付与方法を用いて映像インデックスが付与された映像を配信する映像インデックス配信装置であって、前記映像に付与された映像インデックスのうち、無効インデックスまたは／および修正インデックスを解釈して、該当する映像インデックスの無効処理または／および修正処理を行うと共に、無効処理または修正処理を終えた無効インデックスおよび修正インデックスを無効にして、有効な映像インデックスのみを抽出する有効インデックス抽出手段と、映像に付与された映像インデックスを配信する際に、前記映像インデックスを付与後、配信までの間に時間差がないリアルタイム配信の場合には、前記映像に付与された映像インデックスを全て配信し、前記映像インデックスを付与後、配信までの間に時間差が存在する場合には、前記有効インデックス抽出手段を介して有効な映像インデックスのみを抽出し、有効なインデックスのみを配信する配信制御手段と、を備えたものである。
【００１９】
また、請求項４に係る映像インデックス保存装置は、請求項１に記載の映像インデックス付与方法を用いて映像に付与された映像インデックスを保存する映像インデックス保存装置であって、前記映像に付与された映像インデックスのうち、無効インデックスまたは／および修正インデックスを解釈して、該当する映像インデックスの無効処理または／および修正処理を行うと共に、無効処理または修正処理を終えた無効インデックスおよび修正インデックスを無効にして、有効な映像インデックスのみを抽出する有効インデックス抽出手段と、映像インデックスを保存する際に、前記有効インデックス抽出手段を介して有効な映像インデックスのみを抽出し、有効なインデックスのみを保存する保存制御手段と、を備えたものである。
【００２０】
また本発明の映像インデックス付与方法は、時間の進行と共に事象が変化する映像に対して、映像を意味的な纏まりで分割するための構造インデックスや、映像中で発生した事象の内容および場所を特定するための事象インデックス等の映像インデックスを付与する映像インデックス付与方法において、映像内容記述者が前記時間の進行と共に事象が変化する映像を観察して、任意の観察時点で最も相応しいと判断した映像インデックスを前記任意の観察時点の映像の位置に付与し、前記映像インデックスを付与した後、前記時間の進行と共に事象が変化する映像を観察して、過去に付与した映像インデックスが相応しくないと判断した場合に、相応しくないと判断した時点の映像の位置に無効インデックスを付与することにより前記過去に付与した映像インデックスを無効にするものである。
【００２１】
また本発明の映像インデックス付与方法は、無効インデックスが、無効にする前記過去に付与した映像インデックスとは、前記無効インデックスの１つ前に付与された過去の映像インデックスであるものである。
【００２２】
また本発明の映像インデックス付与方法は、無効インデックスが、前記過去に付与した映像インデックスを特定するための特定情報を有し、前記無効インデックスの特定情報に基づいて、該当する前記過去に付与した映像インデックスを無効にするものである。
【００２３】
また本発明の映像インデックス付与方法は、特定情報は、映像インデックスの種類を指定する情報であり、前記無効インデックスが、無効にする前記過去に付与した映像インデックスとは、前記特定情報で指定された種類の映像インデックスのうち、前記無効インデックスと最も近い位置に付与された映像インデックスであるものである。
【００２４】
また本発明の映像インデックス付与方法は、時間の進行と共に事象が変化する映像に対して、映像を意味的な纏まりで分割するための構造インデックスや、映像中で発生した事象の内容および場所を特定するための事象インデックス等の映像インデックスを付与する映像インデックス付与方法において、映像内容記述者が前記時間の進行と共に事象が変化する映像を観察して、任意の観察時点で最も相応しいと判断した映像インデックスを前記任意の観察時点の映像の位置に付与し、前記映像インデックスを付与した後、前記時間の進行と共に事象が変化する映像を観察して、過去に付与した映像インデックスが相応しくないと判断した場合に、相応しくないと判断した時点の映像の位置に修正インデックスを付与することにより前記過去に付与した映像インデックスを修正するものである。
【００２５】
また本発明の映像インデックス付与方法は、前記修正インデックスが、修正にする前記過去に付与した映像インデックスとは、前記修正インデックスの１つ前に付与された過去の映像インデックスであるものである。
【００２６】
また本発明の映像インデックス付与方法は、修正インデックスが、前記過去に付与した映像インデックスを特定するための特定情報を有し、前記修正インデックスの特定情報に基づいて、該当する前記過去に付与した映像インデックスを修正するものである。
【００２７】
また本発明の映像インデックス付与方法は、特定情報は、映像インデックスの種類を指定する情報であり、前記修正インデックスが、修正する前記過去に付与した映像インデックスとは、前記特定情報で指定された種類の映像インデックスのうち、前記修正インデックスと最も近い位置に付与された映像インデックスであるものである。
【００２８】
また本発明の映像インデックス付与方法は、修正インデックスによる修正とは、修正する前記過去に付与した映像インデックスそのものを別の映像インデックスで置き換えるものである。
【００２９】
また本発明の映像インデックス付与方法は、修正インデックスによる修正とは、修正する前記過去に付与した映像インデックスの内容にさらに情報を付加するものである。
【００３０】
【発明の実施の形態】
以下、本発明の映像インデックス付与方法、その方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、映像インデックス配信装置および映像インデックス保存装置について、〔本発明の概略〕、〔実施の形態１〕、〔実施の形態２〕の順に、添付の図面を参照して詳細に説明する。
【００３１】
〔本発明の概略〕
映像を検索対象した場合、映像の内容の意味についての検索を行うためには、映像の内容を付加情報（映像インデックス）として記述できる仕組みが必要である。また、映像の内容を記述するためには、意味のあるシーケンス（映像中の事象の遷移状態）を映像上に発見することが必要である。意味のあるシーケンスを発見するためには、映像上の客観的な事象から意味のあるシーケンスの開始点と終了点を判定する方法が考えられる。
【００３２】
この方法は、例えば、野球映像のように試合の構造がある程度構造化されており、映像上の事象がある一定の数値、範囲で表すことができ、事象の遷移状態の予想も可能であるような映像にとっては、ある程度、意味のあるシーケンス（映像中の事象の遷移状態）の開始点と終了点を判定することが可能であるため有効である。ところが、サッカー映像のように試合の構造が明確でなく、先の展開が読めない映像においては、客観的に事象の遷移状態を予想することが困難であり、意味のあるシーケンスの開始点、終了点も判定しにくい。
【００３３】
例えば、サッカー映像に対して、映像の内容の意味として次のような内容記述をしたいという要望がある。
・重要な攻撃シーン（「重要攻撃開始」から「重要攻撃終了」までのシーン）
野球であるならば、上記のような内容記述は、結果として効果的な攻撃を行った打席シーンをシーケンスとして判定し、該当する打席シーンの映像インデックスとして「重要な攻撃シーン」を記述することで実現できる。ところが、サッカーの場合、試合の構造が明確でないだけに、重要な攻撃シーンの開始点と終了点を、ボールを蹴る、シュートする、といった客観的な事象だけから判定することは難しい。
【００３４】
重要な攻撃シーンを映像上のどこのシーケンスとするかということの判定は、映像上の一連の事象が経過し、その結果が判明し、意味が成立した後でなければ判定できない。また、「重要な攻撃シーン」は、結果として攻撃が成功してもあるいは失敗しても有効な効果をあげなければ、映像の内容の意味として成立しない。このような映像上の意味付けは、機械的に映像インデックスを振ることでは実現できない。だからと言って、手作業で映像をチェックし、内容記述をしていては内容記述者の負荷も大きく、時間もかかってしまう。特に、現在では、リアルタイムに映像内容の記述を行いたい、という要求が一般的になっており、リアルタイムに判定できる映像の事象を利用して、簡単に映像内容を記述し、意味のあるシーケンスを発見できるようにしたい。
【００３５】
そこで、本発明では、映像内容の記述（映像インデックスの付与）にあたり、映像上の事象をその場で判定して、意味のあるシーケンスの開始点を可能性のある場所に記述していく方法を提案する。映像内容記述者は、後から無効または修正しても良いから、即時的に上記の意味が始まる可能性のある映像上の場所に、その情報を映像インデックスとして付加する。付加された映像インデックスは、必要に応じてリアルタイムまたは一定の時間差をおいて配信しても良い。
【００３６】
映像上の事象の経過により、結果が判明し、先に付加した映像インデックスが無効になった場合、あるいは、より内容の意味に近い、適当な場面が後から発生した場合は、先に付加した映像インデックスが無効となることを示す無効インデックス（ＵＮＤＯ）を付加、配信し、先の映像インデックスを無効とする。
【００３７】
また、無効としなくても、映像インデックスの示す内容の意味を変更したい場合にも、その修正内容を示す修正インデックスを付加、配信し、先の映像インデックスの内容を修正する。
【００３８】
このようにしてリアルタイムで映像インデックスが付与された映像は、リアルタイムに配信され、受信側装置において、無効インデックスや修正インデックスを含めた映像インデックスが解釈され、例えば、最終的な「重要攻撃開始」から「重要攻撃終了」までのシーケンスを判定し、その間のシーンを重要な攻撃シーンとする。
【００３９】
また、映像インデックスを配信する場合、映像内容記述者側で、配信までに時間的な余裕があれば、配信側装置で無効インデックスや修正インデックスを含む映像インデックスを解釈して、無効インデックスに基づく無効処理や、修正インデックスに基づく修正処理を行って有効な映像インデックスのみを抽出して配信する。
【００４０】
また、リアルタイムに配信された場合でも、受信側装置で映像を一旦保存（記憶）する場合には、無効インデックスや修正インデックスを含む映像インデックスを解釈して、無効インデックスに基づく無効処理や、修正インデックスに基づく修正処理を行って有効な映像インデックスのみを抽出して保存する。
【００４１】
本発明では、映像内容記述者は、映像インデックスを付加した後から無効インデックスまたは修正インデックスを用いて先に付加した映像インデックスを訂正できるので、映像の内容の意味を示す映像インデックスを可能性のある場所に付加することができる。したがって、先の展開の見えない映像の流れに対しても、映像上の内容の意味を付加していくことができる。
【００４２】
すなわち、前述したサッカー映像で、「重要攻撃開始」などの意味を示す映像インデックスを付加しようとする場合、従来ならば、攻撃が有効であった結果を受けて、その原因となった事象に戻って、「重要攻撃開始」を示す映像インデックスを付与しているため、リアルタイムに内容を記述していく場合には時間的に難しかったが、本発明では、「重要攻撃開始」を示す映像インデックスを即時的に判定して付与し、映像の流れ（結果）が変わって「重要攻撃開始」の意味が不成立となった場合は、無効インデックスまたは修正インデックスを配信することができるので、リアルタイムに内容を記述する場合でも映像の内容の意味を記述することができる。
【００４３】
また、映像の事象の経過に従い、より意味的に適当な場面が発生したら、無効インデックスを配信し、新たに「重要攻撃開始」を示す映像インデックスを付与することができる。これにより先に付与した「重要攻撃開始」の映像インデックスが無効となり、新しく振られた映像インデックスが有効となる。
【００４４】
〔実施の形態１〕
図１は、実施の形態１の映像インデックス付与・配信システムのイメージ構成図を示す。映像インデックス付与・配信システムは、大別して、入力した映像に映像インデックスを付与し、有線または無線通信で配信するインデックス付与・配信装置１００と、インデックス付与・配信装置１００から配信された映像（映像インデックスを含む）を受信して保存または／および再生するインデックス受信装置２００とから構成される。
【００４５】
インデックス付与・配信装置１００およびインデックス受信装置２００のハード構成としては、少なくともＣＰＵ（中央演算処理装置）、ディスプレー、キーボード、磁気ディスク、通信機能を有する装置であれば良く、例えば、パーソナルコンピュータを利用することができる。
【００４６】
なお、インデックス付与・配信装置１００は、本発明の映像インデックス付与方法を実現するための要部となるインデックス付与部１０１と、本発明の映像インデックス配信装置に相当するインデックス配信部１０２と、本発明の映像インデックス保存装置に相当する二次記憶アクセス制御部１０３と、映像および映像インデックスを記憶するための磁気ディスク等の二次記憶部１０４と、を備えている。これら各部は専用のハード構成であっても良いし、プログラムとして実装されていても良い。
【００４７】
また、インデックス受信装置２００は、映像および映像インデックスを受信するインデックス受信部２０１と、受信した映像インデックスを解釈し、有効な映像インデックスのみを抽出する機能を有したインデックス解釈部２０２と、本発明の映像インデックス保存装置に相当する二次記憶アクセス制御部２０３と、映像および映像インデックスを記憶するための磁気ディスク等の二次記憶部２０４と、を備えている。これら各部は専用のハード構成であっても良いし、プログラムとして実装されていても良い。
【００４８】
次に、実施の形態１で使用する映像インデックスのタイプおよび定義について説明する。実施の形態１では、映像インデックスのタイプとして、構造インデックス、事象インデックス、無効インデックスおよび修正インデックスの４種類のタイプを定義して使用する。
【００４９】
図２および図３は、構造インデックスと事象インデックスとの関係を示す説明図である。図において、例えば、構造１の構造インデックスで示される区間の映像データが１つの映像全体を表すものとした場合、この映像は、構造１の下位に構造２−ａ、構造２−ｂ、構造２−ｃ…等の複数の構造インデックスを有している。ここで、構造２−ａ、構造２−ｂ、構造２−ｃ…等の各構造インデックスで示される区間は、構造１で示される映像全体を分割した区間であり、かつ、これらの分割された区間を全て繋げると上位の区間である映像全体の区間と一致する。
【００５０】
また、構造２−ａの下位には、構造３−ａａ、構造３−ａｂ、構造３−ａｃ…等の複数の構造インデックスが設けられている。同様に、構造３−ａａ、構造３−ａｂ、構造３−ａｃ…等の各構造インデックスで示される区間は、構造２−ａで示される区間を分割した区間であり、かつ、これらの分割された区間を全て繋げると上位の区間である構造２−ａの区間と一致する。
【００５１】
なお、最上位の構造１の構造インデックスで示される区間が、映像全体を示す構造単位となり、次の構造２−ａ、構造２−ｂ、構造２−ｃ…等の各構造インデックスで示される区間が、構造２レベルの構造単位となり、さらに下位の構造３−ａａ、構造３−ａｂ、構造３−ａｃ…等の各構造インデックスで示される区間が、構造３レベルの構造単位となる。
【００５２】
このように映像（構造１）は、構造インデックスで分割された区間の映像データを映像の構造単位とし、かつ、複数の階層化した構造単位を用いて構造化されている。
【００５３】
上記映像の構造を表す構造インデックスに対して、事象インデックスは、映像上で起こった事象を表すものである。前述したように構造インデックスが映像の論理的な区間を示すのに対して、事象インデックスは基本的に区間を持たないインデックスである。この事象インデックスは、基本的には、映像中で事象が発生した場所にその事象の内容を示す情報として付与される。例えば、図３のように、映像の流れ（時系軸での変化）において事象の発生した時に事象インデックス３ａａ−１〜３ａａ−４のように付与しても良いし、図２のように、事象の発生した構造インデックス３ａａに事象インデックス３ａａ−１〜３ａａ−４を付与しても良い。なお、構造インデックスおよび事象インデックスで構成される構造化されたインデックス情報の部分と、実際の映像の部分とをそれぞれ別々に保存したり、管理したりすることができるのは勿論である。
【００５４】
また、事象インデックスには、映像中に発生する事象の種類に応じて複数種類の事象インデックスが準備されている。例えば、野球映像を例とすると、打席に入った選手を特定する事象インデックス、打席・守備の結果（ヒット、ホームラン、アウト等）を示す事象インデックス、加点を示す事象インデックス、複数の事象が連続して発生することによって意味が成立する複合型事象の開始位置を示す事象開始インデックス、複合型事象の終了位置を示す事象終了インデックス等のように多数の事象インデックスが存在する。なお、これらの事象インデックスは必要に応じて加点インデックス、打席インデックス等のように事象の種類を特定する特定情報を用いて記述する。
【００５５】
また、無効インデックスは、過去に付与した事象インデックスを無効にするものであり、実施の形態１では次の２種類の無効インデックスが存在している。
第１無効インデックス：
無効インデックスが付与された位置から１つ前に付与された過去の事象インデックスを無効にする。
第２無効インデックス：
過去に付与した事象インデックスを特定するための特定情報を有し、過去に付与した事象インデックスで特定情報と一致する事象インデックスを無効にする。
【００５６】
また、修正インデックスは、過去に付与した事象インデックスを修正するものであり、実施の形態１では次の４種類の修正インデックスが存在している。
第１修正インデックス：
修正インデックスが付与された位置から１つ前に付与された過去の映像インデックスを修正する。
第２修正インデックス：
過去に付与した事象インデックスを特定するための特定情報を有し、過去に付与した事象インデックスで特定情報と一致する事象インデックスを修正する。
第３修正インデックス（以降、置換インデックスと記載する）：
過去に付与した事象インデックスそのものを別の事象インデックスで置き換える。
第４修正インデックス（以降、強調インデックスと記載する）：
過去に付与した事象インデックスの内容にさらに情報を付加することで事象インデックスの内容を強調する。
【００５７】
以上の構成において、図１の概略構成図、図４〜図６のフローチャートおよび図７〜図１０の具体的動作例を用いて、その動作を説明する。
先ず、映像内容記述者は、対象となる映像に映像インデックスを付与する前に、映像をリアルタイムで配信するか、所定の時間差をおいて映像を配信するか、それとも映像を保存するかをインデックス付与・配信装置１００に設定する。ここで、所定の時間差とは、後述する有効インデックスの抽出処理を実行するだけの時間があるか否かによって決まる時間であり、対象となる映像の内容や、映像の全時間範囲、また使用する映像インデックスの種類によっても異なる時間範囲となるが、例えば、対象となる映像が１時間番組である場合に、配信までの時間が１時間以上あれば、有効インデックスの抽出処理を実行する時間を十分に確保することができる。
【００５８】
インデックス付与・配信装置１００は、インデックス付与部１０１、インデックス配信部１０２および二次記憶アクセス制御部１０３の準備を行った後、図４に示す映像インデックスの付与・配信・保存処理を起動する。
【００５９】
映像インデックスの付与・配信・保存処理では、先ず、リアルタイム配信か否かを判定し（Ｓ４０１）、リアルタイム配信であれば、入力した映像に対してリアルタイムに映像インデックスを付与し、直ぐに配信するための映像インデックスの付与・配信処理（Ｓ４０２）へ進む。
【００６０】
一方、リアルタイム配信でなければ、映像を保存するか否かを判定し（Ｓ４０３）、映像を保存しない場合、換言すれば、時間差をおいて映像を配信する場合には、ステップＳ４０４において、入力した全ての映像に対して映像インデックスを付与する映像インデックスの付与処理を実行し、次にステップＳ４０５において、映像中の全ての映像インデックスを対象として、有効インデックスのみを抽出する有効インデックスの抽出処理を実行し、ステップＳ４０６において、有効インデックスのみとなった映像インデックスを配信する映像インデックスの配信処理を実行する。
【００６１】
一方、ステップＳ４０３で映像を保存する場合には、ステップＳ４０７において、入力した全ての映像に対して映像インデックスを付与する映像インデックスの付与処理を実行し、次にステップＳ４０８において、映像中の全ての映像インデックスを対象として、有効インデックスのみを抽出する有効インデックスの抽出処理を実行し、ステップＳ４０９において、有効インデックスのみとなった映像インデックスを二次記憶部１０４へ保存する映像インデックスの保存処理を実行する。
【００６２】
図５は、上記ステップＳ４０２の映像インデックスの付与・配信処理のフローチャートを示し、図１のインデックス付与部１０１とインデックス配信部１０２の処理に対応する。リアルタイムで配信する場合には、先ず、インデックス付与部１０１は、映像入力・表示処理を実行して、入力した映像をリアルタイムで表示画面に表示する（Ｓ５０１）。
【００６３】
映像内容記述者は、表示画面に表示された映像の内容を見て、映像上の事象の解釈を行い、事象が発生した映像の位置または事象が発生した可能性ある映像の位置に映像インデックスを付与する（Ｓ５０２）。このとき、映像内容記述者は、映像中に発生する事象の種類に応じて、前述した構造インデックスおよび複数種類の事象インデックスの中から該当するものを付与する。映像内容記述者が映像インデックスを付与すると、ステップＳ５０３へ進み、インデックス配信部１０２によってリアルタイムに映像インデックスがインデックス受信装置２００へ配信される。このとき、映像は映像インデックスの有無に関係なく、常にリアルタイムで配信されている。
【００６４】
その後、映像が終了か否かを判定し（Ｓ５０４）、終了するまでステップＳ５０１〜Ｓ５０３を繰り返す。
【００６５】
図６（ａ）は、図４に示したステップＳ４０４，Ｓ４０７の映像インデックスの付与処理のフローチャートを示し、図６（ｂ）は、図４に示したステップＳ４０５，Ｓ４０８の有効インデックスの抽出処理のフローチャートを示す。ここでは、時間差をおいて映像を配信する場合を例として説明するが、映像を保存する場合も処理の内容は同じである。時間差をおいて映像を配信する場合には、先ず、インデックス付与部１０１は、映像入力・表示処理を実行して、入力した映像をリアルタイムで表示画面に表示する（Ｓ６０１）。
【００６６】
映像内容記述者は、表示画面に表示された映像の内容を見て、映像上の事象の解釈を行い、事象が発生した映像の位置または事象が発生した可能性ある映像の位置に映像インデックスを付与する（Ｓ６０２）。映像内容記述者が映像インデックスを付与すると、映像が終了か否かを判定し（Ｓ６０３）、終了するまでステップＳ６０１，Ｓ６０２を繰り返す。なお、ステップＳ６０２で付与された映像インデックスおよび映像は、ステップＳ６０３の映像の終了をまたずに、二次記憶アクセス制御部１０３へ送られ、ステップＳ６０４以降の有効インデックスの抽出処理が実行される。
【００６７】
二次記憶アクセス制御部１０３は、インデックス付与部１０１から映像インデックスを逐次入力すると（Ｓ６０４）、先ず、無効インデックスか否かを判定し（Ｓ６０５）、無効インデックスであれば、映像インデックスの無効処理を実行する（Ｓ６０６）。
【００６８】
ここで、図７（ａ），（ｂ）および図８（ａ），（ｂ）を参照して無効インデックスに基づく映像インデックスの無効処理について具体的に説明する。図７（ａ），（ｂ）は、無効インデックスとして、無効インデックスが付与された位置から１つ前に付与された過去の事象インデックスを無効にする第１無効インデックスを使用した場合の例を示し、図８（ａ），（ｂ）は、無効インデックスとして、過去に付与した事象インデックスを特定するための特定情報を有し、過去に付与した事象インデックスで特定情報と一致する事象インデックスを無効にする第２無効インデックスを使用した場合の例を示す。
【００６９】
図７（ａ）は、サッカー映像を例とした時の映像上の事象の発生例を表している。図７（ｂ）は、映像の流れにおける各映像インデックスの付与位置を示すイメージ図である。図７（ａ）において、映像内容記述者は、映像中の事象の発生を解釈し、Ａチームの重要攻撃開始インデックスを２回付与しているが、１回目の重要攻撃開始インデックス７０１は、事象２においてＢチームの選手がカットしてＡチームの重要攻撃という意味が成立しなくなった時点で、第１無効インデックス７０２によって無効化されている。前述したように第１無効インデックス７０２は、１つ前に付与された過去の映像インデックスを無効にする機能を有しているため、ここでは重要攻撃開始インデックス７０１が無効になる。
【００７０】
その後、２回目に付与された重要攻撃開始インデックス７０３が、真の重要攻撃開始インデックスとなる。ここで、重要攻撃開始インデックス７０３が真の重要攻撃開始インデックスであるか否かは、重要攻撃開始インデックス７０３以降に重要攻撃開始インデックス７０３を無効にする無効インデックスがあるか否かで決定される。換言すれば、重要攻撃開始インデックス７０３を無効にする無効インデックスが検出されるまで、真の重要攻撃開始インデックスとして処理される。
【００７１】
また、重要攻撃終了インデックス７０４に関しては、ＢチームのＧＫ（ゴールキーパー）によるゴール阻止（事象１２）の時点で重要攻撃終了であると考えたが、すぐにＡチームの選手がボールをカットしたため（事象１４）、最初の重要攻撃終了インデックス７０４を第１無効インデックス７０５によって無効化し、最終的にＡチームの選手のゴール（事象１５）が重要攻撃終了インデックス７０６となる。
【００７２】
図８（ａ）は、サッカー映像を例とした時の映像上の事象の発生例を表している。図８（ｂ）は、映像の流れにおける各映像インデックスの付与位置を示すイメージ図である。図８（ａ）において、映像内容記述者は、事象１０でＡチームの選手２がパスを出し、事象１１でＡチームの選出３がゴールを決めた時点で、Ａチームが加点したと判断し、加点インデックス（事象インデックスの１つ）８０１を付与し、続いてＡチームの攻撃が終了したと判断して、重要攻撃終了インデックス８０２を付与したが、その直後に、審判によってオフサイドの判定（事象１２）があり、この時点で、先に付与した重要攻撃終了インデックス８０２は正しいが、その前に付与した加点インデックス８０１が誤りであることが分かったので、第２無効インデックス（特定情報：加点）８０３を付与して加点インデックス８０１を無効化にする。なお、加点インデックス８０１より前に（過去に）複数の加点インデックスが存在する場合も考えられるが、第２無効インデックス（特定情報：加点）８０３は、最も近い位置に付与された加点インデックスを無効にする。
【００７３】
図６において、ステップＳ６０６の映像インデックスの無効処理が終了すると、ステップＳ６０７へ進み、現時点での不要な映像インデックスの削除処理を行って、全ての映像インデックスの処理が終了か否か判定し（Ｓ６１４）、終了していなければステップＳ６０４へ戻り、終了していれば処理を終了する。なお、ここで、不要な映像インデックスとは、処理の終了した無効インデックスや、無効インデックスによって無効化された事象インデックス、さらに処理の終了した修正インデックス、強調インデックスおよび置換インデックス等が該当する。
【００７４】
一方、ステップＳ６０５において、無効インデックスでなければ、修正インデックスか否かを判定し（Ｓ６０８）、修正インデックスであれば、映像インデックスの修正処理を実行する（Ｓ６０９）。ここで、図９（ａ），（ｂ）を参照して修正インデックスに基づく映像インデックスの修正処理について具体的に説明する。
【００７５】
図９（ａ）は、野球映像を例とした時の映像上の事象の発生例を表している。図９（ｂ）は、映像の流れにおける各映像インデックスの付与位置を示すイメージ図である。映像内容記述者は、バッターボックスに松井が登場したので、打席インデックス（松井）９０１を付与し、その打席で松井がヒットを打ったのでヒットインデックス９０２を付与し、ヒットによって３塁のランナーが一人ホームインして１点加点したので松井のヒットによる加点として加点インデックス（＋１点）９０３を付与した。ところが、さらに２塁のランナーの好走によってもう１点加点し、松井のヒットによる加点が２点となったので、第１修正インデックス（加点：＋２点）９０４を付与して、直前の加点インデックス（＋１点）９０３の（＋１点）を（＋２点）に修正した。さらに、ヒットによって加点されたので、第２修正インデックス（ヒット：タイムリーヒット）９０５を用いてヒットインデックス（ヒット）９０２の（ヒット）を（タイムリーヒット）に修正した。
【００７６】
前述したようにステップＳ６０９の映像インデックスの修正処理が終了すると、図６のステップＳ６０７へ戻って、現時点での不要な映像インデックスの削除処理を行って、全ての映像インデックスの処理が終了か否か判定し（Ｓ６１４）、終了していなければステップＳ６０４へ戻り、終了していれば処理を終了する。
【００７７】
一方、ステップＳ６０８において、修正インデックスでなければ、強調インデックスか否かを判定し（Ｓ６１０）、強調インデックスであれば、映像インデックスの強調処理を実行する（Ｓ６１１）。また、強調インデックスでなければ、置換インデックスであるか否かを判定し（Ｓ６１２）、置換インデックスであれば、映像インデックスの置換処理を実行し（Ｓ６１３）、置換インデックスでなければ、ステップＳ６０７へ進む。
【００７８】
ここで、図１０（ａ），（ｂ）を参照して強調インデックスおよび置換インデックスに基づく映像インデックスの強調処理および置換処理について具体的に説明する。
【００７９】
図１０（ａ）は、野球映像を例とした時の映像上の事象の発生例を表している。図１０（ｂ）は、映像の流れにおける各映像インデックスの付与位置を示すイメージ図である。映像内容記述者は、バッターボックスに清原が登場したので、打席インデックス（清原）９１１を付与し、その打席で松井がホームランを打ったのでホームランインデックス９１２を付与し、ホームランによって１点加点したので加点インデックス（＋１点）９１３を付与した。その後、事象４〜２９を経て事象３０でゲームが終了した。この時点で清原のホームランによる加点が決勝点となったことが判明したので、強調インデックス（清原、加点：決勝点）９１８を付与して、先に付与した加点インデックス（＋１点）９１３の内容を強調し、加点インデックス（＋１点：決勝点）と修正した。なお、各事象インデックスの後の（）内に記述された情報は、事象インデックスの内容を示す情報や、事象インデックスを特定するための特定情報を表している。
【００８０】
また、事象８でバッターボックスに高橋が登場したので、打席インデックス（高橋）９１４を付与し、その打席で高橋がゴロを打ったのでゴロインデックス９１５を付与し、その結果、高橋はアウトとなったのでアウトインデックス９１６を付与した。ところが、直ぐに審判の判定が訂正されてセーフとなったので、置換インデックス（アウト：セーフ）９１７を付与して、アウトインデックス９１６をセーフインデックスに置換した。この置換インデックス９１７の機能は、無効インデックスとセーフインデックスを続けて付与したことと同一と考えることもできる。
【００８１】
時間差をおいて映像を配信する場合、図４に戻って、ステップＳ４０４における映像インデックスの付与処理、ステップＳ４０５における有効インデックスの抽出処理が終了すると、映像インデックスの配信処理（Ｓ４０６）を実行する。このとき、映像インデックスおよび映像は、映像の配信時間に応じて、一旦、二次記憶アクセス制御部１０３から二次記憶部１０４へ一時記憶させた後、読み出して配信しても良く、または二次記憶アクセス制御部１０３から直接、インデックス配信部１０２へ送って配信しても良い。
【００８２】
一方、映像を保存する場合には、ステップＳ４０７における映像インデックスの付与処理、ステップＳ４０８における有効インデックスの抽出処理が終了すると、映像インデックスの保存処理（Ｓ４０９）を実行して、二次記憶アクセス制御部１０３から映像インデックスおよび映像を二次記憶部１０４へ送って記憶・保存する。
【００８３】
前述したように実施の形態１によれば、映像内容記述者が映像を観察して映像インデックスを付与する際に、誤った映像インデックスを付与して映像上の時間が経過した後でも、映像上の任意の位置に無効インデックスを付与することで、誤った映像インデックスを無効とすることができるので、リアルタイムに映像内容の記述を行うことが可能となる。また、映像を戻して作業を行うことなく、記述した映像インデックスの訂正を行えるので、作業時間の短縮を図り、低コストで記述することが可能となる。
【００８４】
すなわち、映像上の事象の経過により、結果が判明し、先に付加した映像インデックスが無効になった場合、あるいは、より内容の意味に近い、適当な場面が後から発生した場合は、先に付加した映像インデックスが無効となることを示す無効インデックスを付加、配信し、先の映像インデックスを無効とするので、付与した映像インデックスの整合性を保つことができ、映像の内容の意味をリアルタイムに記述することができる。
【００８５】
また、無効としなくても、映像インデックスの示す内容の意味を変更したい場合にも、その修正内容を示す修正インデックスを付加、配信し、先の映像インデックスの内容を修正することができるので、リアルタイムに映像インデックスを付与する際に、映像の内容に相応しい映像インデックスを確実に付与することができる。
【００８６】
また、実施の形態１によれば、映像内容記述者は、映像インデックスを付加した後から無効インデックスまたは修正インデックスを用いて先に付加した映像インデックスを訂正できるので、映像の内容の意味を示す映像インデックスを可能性のある場所に付加することができる。したがって、先の展開の見えない映像の流れに対しても、映像上の内容の意味をリアルタイムに付加していくことができる。
【００８７】
〔実施の形態２〕
実施の形態２の映像インデックス付与方法は、映像内容記述者が、意味のあるシーケンスの開始点の可能性のある位置に開始点を示す映像インデックス（事象開始インデックス）を付与すると、自動的に意味のあるシーケンスの開始点の正否を判定して、開始点を無効にしたり、終了点を付与することにより、さらにリアルタイムに映像インデックスを付与する際の作業性・利便性の向上を図れるようにしたものである。
【００８８】
実施の形態２の映像インデックス付与方法では、予め、複数の事象が連続して発生することによって意味が成立する意味のあるシーケンス（以降、複合型事象と記述する）の開始位置を示す事象開始インデックスおよび意味のあるシーケンスの終了位置を示す事象終了インデックスと、複合型事象の意味が成立するために必要な複数の事象インデックスの入力列を用いて複合型事象を定義した状態遷移パターンとを、複合型事象毎に対応させた状態遷移テーブルを設定しておく。次に、映像内容記述者が時間の進行と共に事象が変化する映像を観察して、任意の観察時点で最も相応しいと判断した事象インデックスまたは事象開始インデックスを任意の観察時点の映像の位置に付与すると、付与された事象インデックスおよび事象開始インデックスに基づいて状態遷移テーブルを参照し、付与された事象開始インデックス以降の事象インデックスの付与順序と付与された事象開始インデックスに対応する状態遷移パターンの複数の事象インデックスの入力列とが一致するか否かを判定し、一致した場合に、事象開始インデックスに対応する複合型事象の意味が成立したと判定して、成立した時点の映像の位置に事象開始インデックスに対応する事象終了インデックスを付与し、一致しない場合に事象開始インデックスに対応する複合型事象の意味が不成立したと判定し、不成立した時点の映像の位置に付与された事象開始インデックスを無効にする無効インデックスを付与することにより付与した事象開始インデックスを無効にする。
【００８９】
図１１は、実施の形態２の重要な要素である状態遷移テーブルの構造を示す。状態遷移テーブル２の状態遷移テーブルは、複数の複合型事象と、各複合型事象の意味が成立するために必要な複数の事象インデックスの入力列を定義した状態遷移パターンと、各複合型事象の事象開始インデックスおよび事象終了インデックスと、を有している。
【００９０】
複合型事象としては、例えば、『重要攻撃シーン』や、『オフサイドトラップシーン』等のように切っ掛けとなる特定の事象が発生してから幾つかの事象が発生し、その結果として発生した最終的な事象を見て初めて、意味が成立する事象を予め準備しておく。
【００９１】
状態遷移パターンは、上記複合型事象を定義する複数の事象インデックスの入力列、換言すれば、複合型事象の意味が成立するために必要な複数の事象インデックスの遷移状態（入力列）を定義したものであり、例えば、図１１において、『重要攻撃シーン』の複合型事象の場合、事象１が発生してから、その後に事象２が発生し、最後に事象３が発生した場合に、重要攻撃シーンの意味が成立すると定義されている。また、『オフサイドトラップシーン』の複合型事象の場合、事象１が発生してから、その後に事象２が発生し、最後に事象４が発生した場合に、オフサイドトラップシーンの意味が成立すると定義されている。
【００９２】
また、事象開始インデックスおよび事象終了インデックスは、対応する複合型事象の開始点と終了点を示す事象インデックスであり、図１１において、『重要攻撃シーン』の複合型事象の場合、重要攻撃開始インデックスと重要攻撃終了インデックスが定義されており、『オフサイドトラップシーン』の複合型事象の場合、オフサイドトラップ開始インデックスおよびオフサイドトラップ終了インデックスが定義されている。
【００９３】
次に、図１２を参照して、状態遷移パターンを用いた複合型事象の成立判定の方法について説明する。映像内容記述者が映像を見て、複合型事象の開始点の可能性があると判定した位置に、該当する複合型事象の事象開始インデックスＡを付与すると、図１１の状態遷移テーブルを参照して、付与された事象開始インデックスＡと対応する複合型事象の状態遷移パターンを特定し、事象開始インデックスＡが付与された以降に、付与された事象インデックスに基づいて発生した事象を特定し（事象１，事象２等）、この事象の変化（入力列）が前記状態遷移パターンと一致するか否かを判定する。
【００９４】
例えば、事象開始インデックスＡが重要攻撃開始インデックスであった場合、付与された事象インデックスで特定された事象の遷移状態が、図１２に示すように、事象１→事象２→事象３であると、『重要攻撃シーン』の状態遷移パターンと一致するので、『重要攻撃シーン』の複合型事象が成立したと判定し、対応する重要攻撃終了インデックスを事象３の発生後の位置に付与する。一方、付与された事象インデックスで特定された事象の遷移状態が、事象１→事象２→事象４であると、『重要攻撃シーン』の状態遷移パターンと一致しないので、『重要攻撃シーン』の複合型事象は成立しないと判定し、重要攻撃開始インデックスを無効にするための無効インデックスを自動的に付与する。
【００９５】
なお、実施の形態２では、事象開始インデックスＡで特定される複合型事象が成立しない場合に、無条件に無効インデックスを付与して事象開始インデックスＡを無効とするようにしたが、例えば、状態遷移テーブルで定義されている複合型事象の状態遷移パターンの中に、事象開始インデックスＡが付与された以降の事象の遷移状態と一致するものがあれば、実施の形態１で示した置換インデックスの機能を用いて該当する複合型事象の事象開始インデックスで事象開始インデックスＡを置換するようにしてもよい。
【００９６】
具体的には、例えば、図１２における事象開始インデックスＡが重要攻撃開始インデックスであった場合に、その後の状態遷移が、事象１→事象２→事象４であると、『重要攻撃シーン』の状態遷移パターンとは一致しないが、『オフサイドトラップシーン」の状態遷移パターンと一致するので、無効インデックスの付与に代えて、重要攻撃開始インデックスをオフサイドトラップ開始インデックスに置換し、さらに事象終了インデックスとしてオフサイドトラップ終了インデックスを付与する。
【００９７】
前述したように実施の形態２の映像インデックス付与方法によれば、複合型事象の開始点を事象開始インデックスで指定するだけで、該当する複合型事象が成立するか否かを判定し、成立した場合に事象終了インデックスを自動的に付与し、成立しない場合に事象開始インデックスで自動的に無効化するので、映像内容記述者のインデックスの付与に係る負担を軽減することができ、時間の短縮、コストの低減を図ることができる。
【００９８】
映像内容記述者は事象開始インデックスを付与した後、複合型事象が成立するか否かを必ずしも観察していなくとも良いので、可能性のある複数の事象開始インデックスを連続して付与することも可能となり、即時の判断が求められるリアルタイムの映像インデックス付与の作業において効果的である。
【００９９】
以上説明した本発明に係る映像インデックス付与方法は、前述した実施の形態１，２の説明および各フローチャートに示した手順に従って、予めプログラムをコンピュータで実行することによって実現される。このプログラムは、ハードディスク、フロッピーディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、このプログラムは、上記記録媒体を介して、またはネットワークを介して配布することができる。
【０１００】
以上説明したように、本発明の映像インデックス付与方法は、映像内容記述者が時間の進行と共に事象が変化する映像を観察して、任意の観察時点で最も相応しいと判断した映像インデックスを任意の観察時点の映像の位置に付与し、映像インデックスを付与した後、時間の進行と共に事象が変化する映像を観察して、過去に付与した映像インデックスが相応しくないと判断した場合に、相応しくないと判断した時点の映像の位置に無効インデックスを付与することにより過去に付与した映像インデックスを無効にするため、映像の内容の意味をリアルタイムに記述することができる。また、映像を戻して作業を行うことなく、記述した映像インデックスの訂正を行えるようにして、作業時間の短縮を図り、低コストで記述できる。
【０１０１】
また、本発明の映像インデックス付与方法は、無効インデックスが、過去に付与した映像インデックスを特定するための特定情報を有し、無効インデックスの特定情報に基づいて、該当する過去に付与した映像インデックスを無効にするため、多数の映像インデックスを付与した後でも所望の映像インデックスを的確に無効インデックスを付与することができ、リアルタイムに映像インデックスを付与する際の作業性・操作性の向上を図ることができる。
【０１０２】
また、本発明の映像インデックス付与方法は、特定情報が、映像インデックスの種類を指定する情報であり、無効インデックスが、無効にする過去に付与した映像インデックスとは、特定情報で指定された種類の映像インデックスのうち、無効インデックスと最も近い位置に付与された映像インデックスであるため、リアルタイムに映像インデックスを付与する際の作業性・操作性の向上を図ることができる。
【０１０３】
また、本発明の映像インデックス付与方法は、映像内容記述者が時間の進行と共に事象が変化する映像を観察して、任意の観察時点で最も相応しいと判断した映像インデックスを任意の観察時点の映像の位置に付与し、映像インデックスを付与した後、時間の進行と共に事象が変化する映像を観察して、過去に付与した映像インデックスが相応しくないと判断した場合に、相応しくないと判断した時点の映像の位置に修正インデックスを付与することにより過去に付与した映像インデックスを修正するため、映像の内容の意味をリアルタイムに、かつ、低コストで記述することができる。
【０１０４】
また、本発明の映像インデックス付与方法は、修正インデックスが、過去に付与した映像インデックスを特定するための特定情報を有し、修正インデックスの特定情報に基づいて、該当する過去に付与した映像インデックスを修正するため、多数の映像インデックスを付与した後でも所望の映像インデックスを的確に修正インデックスを付与することができ、リアルタイムに映像インデックスを付与する際の作業性・操作性の向上を図ることができる。
【０１０５】
また、本発明の映像インデックス付与方法は、特定情報は、映像インデックスの種類を指定する情報であり、修正インデックスが、修正する過去に付与した映像インデックスとは、特定情報で指定された種類の映像インデックスのうち、修正インデックスと最も近い位置に付与された映像インデックスであるため、リアルタイムに映像インデックスを付与する際の作業性・操作性の向上を図ることができる。
【０１０６】
また、本発明の映像インデックス付与方法は、修正インデックスによる修正とは、修正する過去に付与した映像インデックスそのものを別の映像インデックスで置き換えものであるため、過去に付与した映像インデックスを無効にすると同時に修正を行うことができ、リアルタイムに映像インデックスを付与する際の作業性・操作性の向上を図ることができる。
【０１０７】
また、本発明の映像インデックス付与方法は、修正インデックスによる修正とは、修正する過去に付与した映像インデックスの内容にさらに情報を付加するものであるため、過去に付与した映像インデックスに詳細な情報を追加することができ、リアルタイムに映像インデックスを付与する際の作業性・操作性の向上を図ることができる。
【０１０８】
【発明の効果】
本発明の映像インデックス付与方法（請求項１）は、予め、複数の事象が連続して発生することによって意味が成立する複合型事象の開始位置を示す事象開始インデックスおよび複合型事象の終了位置を示す事象終了インデックスと、複合型事象の意味が成立するために必要な複数の事象インデックスの入力列を用いて複合型事象を定義した状態遷移パターンとを、複合型事象毎に対応させた状態遷移テーブルを設定しておき、映像内容記述者が時間の進行と共に事象が変化する映像を観察して、任意の観察時点で最も相応しいと判断した事象インデックスまたは事象開始インデックスを任意の観察時点の映像の位置に付与すると、付与された事象インデックスおよび事象開始インデックスに基づいて状態遷移テーブルを参照し、付与された事象開始インデックス以降の事象インデックスの付与順序と付与された事象開始インデックスに対応する状態遷移パターンの複数の事象インデックスの入力列とが一致するか否かを判定し、一致した場合に、事象開始インデックスに対応する複合型事象の意味が成立したと判定して、成立した時点の映像の位置に事象開始インデックスに対応する事象終了インデックスを付与し、一致しない場合に事象開始インデックスに対応する複合型事象の意味が不成立したと判定し、不成立した時点の映像の位置に付与された事象開始インデックスを無効にする無効インデックスを付与することにより付与した事象開始インデックスを無効にするため、映像の内容の意味をリアルタイムに記述できる。また、映像を戻して作業を行うことなく、記述した映像インデックスの訂正を行えるようにして、作業時間の短縮を図り、低コストで記述できる。さらに映像内容記述者は過去に付与した映像インデックスの成立・不成立を意識することなく、映像インデックスの付与を行えるので、さらにリアルタイムに映像インデックスを付与する際の作業性・操作性の向上を図ることができる。
【０１０９】
また、本発明のコンピュータ読み取り可能な記録媒体（請求項２）は、請求項１に記載の映像インデックス付与方法をコンピュータに実行させるためのプログラムを記録したため、このプログラムをコンピュータで読み出して実行することにより、映像の内容の意味をリアルタイムに、かつ、低コストで記述することができる。
【０１１０】
また、本発明の映像インデックス配信装置（請求項３）は、請求項１に記載の映像インデックス付与方法を用いて映像インデックスが付与された映像を配信する映像インデックス配信装置であって、映像に付与された映像インデックスのうち、無効インデックスまたは／および修正インデックスを解釈して、該当する映像インデックスの無効処理または／および修正処理を行うと共に、無効処理または修正処理を終えた無効インデックスおよび修正インデックスを無効にして、有効な映像インデックスのみを抽出する有効インデックス抽出手段と、映像に付与された映像インデックスを配信する際に、映像インデックスを付与後、配信までの間に時間差がないリアルタイム配信の場合には、映像に付与された映像インデックスを全て配信し、映像インデックスを付与後、配信までの間に時間差が存在する場合には、有効インデックス抽出手段を介して有効な映像インデックスのみを抽出し、有効なインデックスのみを配信する配信制御手段と、を備えたため、映像の内容の意味をリアルタイムに、かつ、低コストで記述した映像インデックスを含む映像を効率的に配信することができる。
【０１１１】
また、本発明の映像インデックス保存装置（請求項４）は、請求項１に記載の映像インデックス付与方法を用いて映像に付与された映像インデックスを保存する映像インデックス保存装置であって、映像に付与された映像インデックスのうち、無効インデックスまたは／および修正インデックスを解釈して、該当する映像インデックスの無効処理または／および修正処理を行うと共に、無効処理または修正処理を終えた無効インデックスおよび修正インデックスを無効にして、有効な映像インデックスのみを抽出する有効インデックス抽出手段と、映像インデックスを保存する際に、有効インデックス抽出手段を介して有効な映像インデックスのみを抽出し、有効なインデックスのみを保存する保存制御手段と、を備えたため、映像の内容の意味をリアルタイムに、かつ、低コストで記述した映像インデックスを含む映像を効率的に保存することができる。
【図面の簡単な説明】
【図１】実施の形態１の映像インデックス付与・配信システムのイメージ構成図である。
【図２】構造インデックスと事象インデックスとの関係を示す説明図である。
【図３】構造インデックスと事象インデックスとの関係を示す説明図である。
【図４】実施の形態１の映像インデックスの付与・配信・保存処理のフローチャートである。
【図５】実施の形態１の映像インデックスの付与・配信処理のフローチャートである。
【図６】同図（ａ）は、上記ステップＳ４０４の映像インデックスの付与処理のフローチャートであり、同図（ｂ）は上記ステップＳ４０５の有効インデックスの抽出処理のフローチャートである。
【図７】実施の形態１における第１無効インデックスに基づく映像インデックスの無効処理を具体的に示す説明図である。
【図８】実施の形態１における第２無効インデックスに基づく映像インデックスの無効処理を具体的に示す説明図である。
【図９】実施の形態１における第１修正インデックスおよび第２修正インデックスに基づく映像インデックスの修正処理を具体的に示す説明図である。
【図１０】実施の形態１における強調インデックスおよび置換インデックスに基づく映像インデックスの強調処理および置換処理を具体的に示す説明図である。
【図１１】実施の形態２の重要な要素である状態遷移テーブルの構造を示す説明図である。
【図１２】実施の形態２の状態遷移パターンを用いた複合型事象の成立判定の方法を示す説明図である。
【符号の説明】
１００インデックス付与・配信装置
１０１インデックス付与部
１０２インデックス配信部
１０３二次記憶アクセス制御部
１０４二次記憶部
２００インデックス受信装置
２０１インデックス受信部
２０２インデックス解釈部
２０３二次記憶アクセス制御部
２０４二次記憶部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention provides a video index assigning method capable of invalidating or modifying a video index given to a video earlier in time according to the state of a subsequent video, and a program for causing a computer to execute the method The present invention relates to a computer-readable recording medium having recorded thereon, a video index distribution device, and a video index storage device.
[0002]
[Prior art]
In recent years, with the advance of computer hardware technology and information processing technology, and the spread of the Internet and digital satellite broadcasting, it has become possible to use various images on a daily basis. For this reason, the value, diversity, and recreational value of the information possessed by the video become even more important. In addition to playback and viewing, there are a variety of usage methods such as searching for and viewing desired video data from structured videos with an index, collecting information, and creating a digest version. Proposed.
[0003]
In the related art, in order to efficiently search for a video, a video, which is a set of temporally continuous video data, is usually divided into smaller units (sections) and used. Also, at this time, the video data is not physically divided such as divided by a predetermined unit time or divided by the amount of the video data, but is logically defined as a set of video data satisfying a predetermined condition. It is common to divide it into two. After the logical division, an index is added to the logical division, so that the divided video data can be treated as a reusable semantic group.
[0004]
The logical division method is, for example, one of a method of visually dividing an image, manually dividing the image, and adding an index to the image, and a method of real-time authoring (real-time content description). A method of designating a point corresponding to a start point of a logical division as an index (structure index) and determining a start point of the next logical division (that is, the next start point as an end point) as a division section Is considered.
[0005]
On the other hand, in addition to the structure index indicating the section to be divided, an event index indicating an event that has occurred on the video has been considered as an index of the video. This is an index basically having no section, whereas the above-mentioned logical structure index indicates a logical section (Duration: duration) of the video. The extraction of a logical section by the search using the event index is a video search process. In other words, it is possible to search for a desired video portion by using an inquiry that matches a term set as the event index.
[0006]
However, by simply assigning an index using such a method, it is possible to search for a video in response to a query that matches a term set as a structure index or an event index, but the content of the video is not There is a disadvantage that it is not possible to search for meaning.
[0007]
In other words, since only a fragmentary index can be assigned to a video, it is possible to perform a search in units of a logical structure based on the fragmentary index and extract the video portion, but There is a disadvantage that it is not possible to search for the "meaning of the contents of the video" which is defined by the state of the change of the event (the transition state of the event) in the video in which the event changes as the event progresses.
[0008]
In addition, in order to clarify the description, “the meaning of the contents of the video” is defined as follows in this specification. The meaning of the content of the video is information generated for a specific section when a person views the video and understands the content of the video abstractly and conceptually. That is, it is information having a meaning that can be discovered only by using human subjectivity. In addition, the meaning of the content of the video means that the content of the video fragmentally represents the event that occurred on the video, whereas the meaning of the change of the event that occurred on the video and the change of the event occurred. Based on the state of the resulting event, a person comprehensively judges and gives meaning to the contents of the video in a certain section. Therefore, the meaning of the content of the video is meaningful only after the content of the video in a certain section becomes clear.
[0009]
In order to support a search based on the meaning of the content of a video using conventional technology, for example, for a video in which an event changes with time, for each video segment in which a certain meaning occurs, The information (video index) representing the meaning of the content of the content may be appropriately added. At this time, the information representing the meaning of the content of the video is often influenced by the progress of the video (the result of the event on the video), and the information (video index) cannot be added without looking at the result. In other words, the "meaning of the content of the video" is established only when an event representing the expected result occurs, so that information (video index) representing the meaning of the content of the video must always be appropriately added. After confirming the event representing the result, the video is traced back (temporarily returned) based on the meaning of the content of the established video, and information (video index) indicating the meaning is given to the appropriate place. There is a need.
[0010]
Therefore, even in the conventional technique, although the load of the video content writer is large, the video is manually checked and sufficient information (video index) representing the meaning of the video content is given in advance with sufficient time. By doing so, it is possible to perform a search based on the meaning of the content of the video, and it is possible to search for a video portion that the user really wants.
[0011]
[Problems to be solved by the invention]
However, according to the above-described method of assigning the meaning of the content of a video as a video index, there is not enough information for adding or correcting information (video index) representing the meaning of the content of the video many times while watching the video. It is effective when there is time, but if you want to broadcast the video in real time or if you want to index the video in real time, you can not return the video and correct the video index added earlier Therefore, there is a problem that information (video index) representing the meaning of the content of the video cannot be accurately given.
[0012]
In addition, when checking the contents of a video in real time and assigning a video index, it is difficult to return to the front and add a video index when the meaning of the video content is established. A video index assigning method capable of assigning the meaning of the content as a video index has not been provided. In particular, according to the conventional technology, when the meaning of the content of a video is established, it is necessary to go back and add a video index to the position of the relevant video. The meaning of the video content, which requires a person to comprehensively judge the content of the video in a certain section based on the state of the event resulting from the change of the video and give a meaning, is given in real time. The idea itself was difficult.
[0013]
Further, according to the above-mentioned conventional technique, when the meaning of the content of the video is established, even if there is sufficient time to go back and add a video index, it is necessary to return the video for correction and work. However, there is a problem that the burden on the video content writer is large, and the work becomes complicated and time-consuming, so that the cost for describing the meaning of the video content increases.
[0014]
The present invention has been made in view of the above, and an object of the present invention is to enable the meaning of the contents of a video to be described in real time.
[0015]
Further, the present invention has been made in view of the above, and it is possible to correct the described video index without returning the video and performing the work, thereby shortening the working time and describing at low cost. The purpose is to be.
[0016]
[Means for Solving the Problems]
In order to achieve the above object, a video index assigning method according to claim 1 comprises:In a video index assigning method for assigning a video index including an event index for identifying at least the content and location of an event that has occurred in a video to a video in which an event changes with time, a plurality of events are determined in advance. An event start index indicating the start position of a composite event whose meaning is established by successive occurrences, and an event end index indicating the end position of the composite event, and necessary for the meaning of the composite event to be established. A state transition table in which the composite event is defined by using a plurality of event index input columns and a state transition table in which the composite event is associated with each of the composite events is set. Observing the video in which the event changes along with the event index or the event index determined to be most suitable at any observation time When the elephant start index is added to the position of the video at the arbitrary observation time point, the state transition table is referred to based on the added event index and event start index, and the event index of the event index after the given event start index is added. It is determined whether or not the input sequence and the input sequence of the plurality of event indexes of the state transition pattern corresponding to the provided event start index match, and if they match, the composite type corresponding to the event start index is determined. It is determined that the meaning of the event has been established, and an event end index corresponding to the event start index is added to the position of the video at the time of establishment, and if they do not match, the composite type event corresponding to the event start index It is determined that the meaning is not established, and the assigned event starts at the position of the video at the time when the meaning is not established. It is intended to disable the event starting index described above imparted by imparting an invalid index to disable index.
[0017]
Further, according to claim 2A computer-readable recording medium stores a program for causing a computer to execute the video index assigning method according to claim 1.
[0018]
A video index according to claim 3A distribution device, which is a video index distribution device that distributes a video to which a video index is assigned using the video index assignment method according to claim 1, wherein an invalid index or / and / or a video index among the video indexes assigned to the video. In addition, by interpreting the modified index and performing the invalidation processing and / or modification processing of the corresponding video index, the invalidation index and the modified index after the invalidation processing or the modification processing are invalidated, and only the valid video index is extracted. Effective index extraction means, when distributing the video index assigned to the video, after the video index is assigned, in the case of real-time distribution with no time difference between the delivery, the video index assigned to the video After delivering all and adding the video index, If the time difference between the time signal is present, the extracts only valid video index through the effective index extraction means, in which and a distribution control means for distributing only the valid index.
[0019]
A video index according to claim 4A storage device is a video index storage device that stores a video index assigned to a video using the video index assignment method according to claim 1, wherein an invalid index or / and / or an invalid index among the video indexes assigned to the video. And interpreting the modified index, and invalidating the corresponding video index and / or Effective index extracting means for performing invalidation and modification indexes after performing invalidation processing or modification processing, and extracting only a valid video index, and storing the video index. Storage means for extracting only valid video indexes via the extraction means and storing only valid indexes.
[0020]
AlsoThe video index assigning method of the present invention specifies a structure index for dividing a video into a semantic group and a content and location of an event that has occurred in the video, for a video in which an event changes with time. In a video index assigning method for assigning a video index such as an event index for, the video content writer observes the video whose event changes with the progress of the time, and determines the video index determined to be most suitable at any observation time. When the video index is added to the position of the arbitrary observation point and after the video index is added, the video in which the event changes with the progress of time is observed, and it is determined that the video index applied in the past is not appropriate. Is assigned in the past by assigning an invalid index to the position of the video at the time when it is judged to be inappropriate Is intended to disable the video index was.
[0021]
AlsoIn the video index assigning method according to the present invention, the previously assigned video index to be invalidated by the invalid index is a past video index assigned immediately before the invalid index.
[0022]
AlsoIn the video index assigning method of the present invention, the invalid index has specific information for specifying the video index assigned in the past, and based on the specific information of the invalid index, the corresponding video index assigned in the past. Is to invalidate.
[0023]
AlsoIn the video index assigning method of the present invention, the specific information is information for specifying a type of the video index, and the invalid index is the video index to be invalidated, and the previously assigned video index is the type specified by the specific information. Is the video index assigned to the position closest to the invalid index.
[0024]
AlsoThe video index assigning method of the present invention specifies a structure index for dividing a video into a semantic group and a content and location of an event that has occurred in the video, for a video in which an event changes with time. In a video index assigning method for assigning a video index such as an event index for, the video content writer observes the video whose event changes with the progress of the time, and determines the video index determined to be most suitable at any observation time. When the video position at the arbitrary observation point is added, the video index is added, and then the video whose event changes with the progress of the time is observed, and when it is determined that the video index applied in the past is not appropriate. Is assigned to the past by assigning a modified index to the position of the video at the time when it is judged to be inappropriate And it is intended to correct the video index.
[0025]
AlsoIn the video index assigning method according to the present invention, the previously assigned video index to be modified by the modification index is a past video index assigned immediately before the modification index.
[0026]
AlsoIn the video index assigning method of the present invention, the modified index has identification information for identifying the video index assigned in the past, and based on the identification information of the modified index, the corresponding video index assigned in the past. Is to correct.
[0027]
AlsoIn the video index assigning method of the present invention, the specific information is information for specifying a type of the video index, and the correction index is the video index assigned in the past to be corrected, and the type of the video index specified by the specific information is In the video index, the modified index This is the video index assigned to the position closest to the video index.
[0028]
AlsoIn the video index assigning method of the present invention, the correction by the correction index is to replace the previously added video index itself to be corrected with another video index.
[0029]
AlsoIn the video index adding method according to the present invention, the correction using the correction index means that information is further added to the content of the video index previously added to be corrected.
[0030]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, a video index assigning method of the present invention, a computer-readable recording medium storing a program for causing a computer to execute the method, a video index distribution device, and a video index storage device will be described. Embodiment 1] and [Embodiment 2] will be described in detail with reference to the accompanying drawings.
[0031]
(Summary of the present invention)
When a video is searched, a mechanism capable of describing the content of the video as additional information (video index) is required in order to search for the meaning of the content of the video. Also, in order to describe the contents of a video, it is necessary to find a meaningful sequence (transition state of an event in the video) on the video. In order to find a meaningful sequence, a method of determining a start point and an end point of a meaningful sequence from an objective event on a video can be considered.
[0032]
In this method, for example, the structure of a game is structured to some extent like a baseball video, events on the video can be represented by a certain numerical value and range, and it is possible to predict the transition state of the event. This is effective for a simple video because it is possible to determine the start and end points of a meaningful sequence (transition state of an event in the video) to some extent. However, in a video such as a soccer video in which the structure of the game is not clear and the progress of the game cannot be read, it is difficult to objectively predict the transition state of the event. Points are also difficult to determine.
[0033]
For example, there is a demand for the following content description of a soccer video as the meaning of the content of the video.
・ Important attack scene (scene from “significant attack start” to “significant attack end”)
If it is baseball, the above content description is to determine the at-bat scene that resulted in an effective attack as a sequence and describe "important attack scene" as a video index of the corresponding at-bat scene. realizable. However, in the case of soccer, since the structure of the game is not clear, it is difficult to determine the starting point and the ending point of an important attack scene only from objective events such as kicking and shooting a ball.
[0034]
The determination of the sequence of the important attack scene on the video can be made only after a series of events on the video have passed and the result has been determined and the meaning has been established. Further, the “significant attack scene” does not hold as the meaning of the content of the video even if the attack succeeds or fails as a result unless an effective effect is obtained. Such meaning on a video cannot be realized by mechanically assigning a video index. That being said, if the user manually checks the video and describes the content, the burden on the content writer is large and it takes time. In particular, at present, there is a general demand to describe video content in real time, and by using video events that can be determined in real time, video content can be easily described and meaningful sequences can be described. I want to be able to discover.
[0035]
Therefore, in the present invention, in describing the video content (adding a video index), a method of judging an event on the video on the spot and describing the start point of a meaningful sequence at a possible place is described. suggest. Since the video content writer may invalidate or modify the content later, the information is immediately added as a video index to a location on the video where the above meaning may start. The added video index may be distributed in real time or with a certain time difference as needed.
[0036]
If the result of the event on the video is known and the previously added video index becomes invalid, or if a suitable scene that is closer to the meaning of the content occurs later, it is added first. An invalid index (UNDO) indicating that the video index becomes invalid is added and distributed, and the preceding video index is invalidated.
[0037]
Even if the meaning of the content indicated by the video index is to be changed without invalidating, a correction index indicating the content of the correction is added and distributed, and the content of the previous video index is corrected.
[0038]
The video to which the video index is added in real time in this manner is distributed in real time, and the receiving device interprets the video index including the invalid index and the modified index, for example, from the final “significant attack start” The sequence up to the “significant attack end” is determined, and a scene during the sequence is determined as an important attack scene.
[0039]
Also, when distributing the video index, if the video content writer has enough time before the distribution, the distribution-side device interprets the video index including the invalid index and the modified index, and invalidates it based on the invalid index. Processing and correction processing based on the correction index are performed to extract and distribute only valid video indexes.
[0040]
In addition, even when the video is distributed in real time, when the receiving apparatus temporarily stores (stores) the video, the video index including the invalid index and the modified index is interpreted, and invalidation processing based on the invalid index and the modified index are performed. Then, only a valid video index is extracted and saved by performing a correction process based on the video index.
[0041]
In the present invention, since the video content writer can correct the video index previously added using the invalid index or the modified index after adding the video index, the video index indicating the meaning of the video content may be provided. Can be added to places. Therefore, the meaning of the content on the video can be added to the flow of the video in which the development is not visible.
[0042]
In other words, if an attempt is made to add a video index indicating a meaning such as "significant attack start" to the soccer video described above, conventionally, the result of the effective attack is returned to the event that caused the attack. Therefore, it was difficult to describe the content in real time because the video index indicating “start of important attack” was assigned. If the meaning of “significant attack start” is not established due to the change of the video flow (result), the invalid index or the modified index can be distributed, so the contents can be distributed in real time. Even in the case of description, the meaning of the content of the video can be described.
[0043]
Further, when a more semantically appropriate scene occurs according to the progress of the video event, an invalid index can be distributed, and a new video index indicating “start of important attack” can be added. As a result, the video index of “important attack start” given earlier becomes invalid, and the newly assigned video index becomes valid.
[0044]
[Embodiment 1]
FIG. 1 shows an image configuration diagram of the video index assignment / distribution system according to the first embodiment. The video index assigning / distributing system is roughly divided into an index assigning / distributing device 100 that assigns a video index to input video and distributes the video by wire or wireless communication, and a video (video index) distributed from the index assigning / distributing device 100. And an index receiving device 200 that receives, stores, and / or reproduces the received index.
[0045]
The hardware configuration of the indexing / distributing device 100 and the index receiving device 200 may be any device having at least a CPU (Central Processing Unit), a display, a keyboard, a magnetic disk, and a communication function. For example, a personal computer is used. be able to.
[0046]
The index assigning / distributing device 100 includes an index assigning unit 101 as a main part for realizing the video index assigning method of the present invention, an index distributing unit 102 corresponding to the video index delivering device of the present invention, A secondary storage access control unit 103 corresponding to a video index storage device, and a secondary storage unit 104 such as a magnetic disk for storing videos and video indexes. These units may have a dedicated hardware configuration or may be implemented as a program.
[0047]
Further, the index receiving apparatus 200 includes an index receiving unit 201 that receives a video and a video index, an index interpreting unit 202 having a function of interpreting the received video index and extracting only a valid video index, A secondary storage access control unit 203 corresponding to a video index storage device, and a secondary storage unit 204 such as a magnetic disk for storing video and video index are provided. These units may have a dedicated hardware configuration or may be implemented as a program.
[0048]
Next, the type and definition of the video index used in the first embodiment will be described. In the first embodiment, four types of image indexes are defined and used: a structure index, an event index, an invalid index, and a correction index.
[0049]
2 and 3 are explanatory diagrams showing the relationship between the structure index and the event index. In the figure, for example, if the video data of the section indicated by the structure index of the structure 1 represents an entire video, this video is provided below the structure 1 by the structures 2-a, 2-b, and 2 −c... Etc. Here, the section indicated by each structure index such as the structure 2-a, the structure 2-b, the structure 2-c... Is a section obtained by dividing the entire video shown by the structure 1, and these sections are divided. When all sections are connected, they match the section of the entire video which is a higher section.
[0050]
Further, a plurality of structure indexes such as a structure 3-aa, a structure 3-ab, a structure 3-ac... Are provided below the structure 2-a. Similarly, the section indicated by each structure index such as the structure 3-aa, the structure 3-ab, the structure 3-ac... Is a section obtained by dividing the section indicated by the structure 2-a, and When all of the sections are connected, they match the section of the structure 2-a, which is the upper section.
[0051]
The section indicated by the structure index of the top structure 1 is a structure unit indicating the entire video, and the section indicated by each structure index such as the following structure 2-a, structure 2-b, structure 2-c, etc. Is a structural unit of the structure 2 level, and a section indicated by each structure index such as a lower structure 3-aa, a structure 3-ab, a structure 3-ac... Becomes a structural unit of the structure 3 level.
[0052]
As described above, the video (structure 1) is structured using the video data of the section divided by the structure index as the video structural unit and using a plurality of hierarchical structural units.
[0053]
In contrast to the structure index representing the structure of the video, the event index represents an event that has occurred on the video. As described above, the structure index indicates a logical section of a video, whereas the event index is basically an index having no section. This event index is basically attached to a place where an event occurs in a video as information indicating the content of the event. For example, as shown in FIG. 3, when an event occurs in the flow of the video (change in the time axis), the event index may be assigned as event indexes 3aa-1 to 3aa-4, or as shown in FIG. The event index 3aa-1 to 3aa-4 may be added to the structure index 3aa where the event has occurred. It is needless to say that a portion of structured index information composed of a structure index and an event index and a portion of an actual video can be separately stored and managed.
[0054]
In the event index, a plurality of types of event indexes are prepared according to the types of events occurring in the video. For example, if a baseball video is taken as an example, an event index that specifies a player who has hit a turn at bat, an event index that indicates the result of a turn at bat / defence (hit, home run, out, etc.), an event index that indicates an additional point, and a plurality of events There are a large number of event indexes, such as an event start index indicating the start position of a composite event that is meaningful when it occurs and an event end index indicating an end position of the composite event. These event indexes are described using specific information that specifies the type of event, such as an additional point index or a turn at bat index, if necessary.
[0055]
The invalid index is used to invalidate the event index assigned in the past. In the first embodiment, the following two types of invalid indexes exist.
First invalid index:
Invalidates the past event index that was assigned immediately before the position where the invalid index was assigned.
Second invalid index:
It has specific information for specifying the event index assigned in the past, and invalidates the event index that matches the specific information in the event index assigned in the past.
[0056]
The modified index is for modifying an event index that has been assigned in the past, and in the first embodiment, the following four types of modified indexes exist.
First modified index:
The previous video index added one position before the position where the correction index was added is corrected.
Second modified index:
It has specific information for specifying the event index assigned in the past, and modifies the event index that matches the specific information with the event index assigned in the past.
Third modified index (hereinafter referred to as replacement index):
The event index that was previously assigned is replaced with another event index.
Fourth revised index (hereinafter referred to as the emphasis index):
The content of the event index is emphasized by adding more information to the content of the event index assigned in the past.
[0057]
The operation of the above configuration will be described with reference to the schematic configuration diagram of FIG. 1, the flowcharts of FIGS. 4 to 6, and the specific operation examples of FIGS.
First, before assigning a video index to a target video, the video content writer assigns an index as to whether to distribute the video in real time, distribute the video at a predetermined time difference, or save the video. -Set in the distribution device 100. Here, the predetermined time difference is a time determined by whether or not there is enough time to execute an effective index extraction process described later. The predetermined time difference is the content of the target video, the entire time range of the video, and The time range varies depending on the type of the video index. For example, when the target video is a one-hour program, if the time until the distribution is one hour or more, the time for executing the effective index extraction process is sufficient. Can be secured.
[0058]
After preparing the index assigning unit 101, the index distributing unit 102, and the secondary storage access control unit 103, the index assigning / distributing apparatus 100 activates the video index assigning / distributing / storing process illustrated in FIG.
[0059]
In the process of assigning, distributing, and storing the video index, first, it is determined whether or not the distribution is real-time distribution (S401). The process proceeds to the video index assignment / distribution process (S402).
[0060]
On the other hand, if it is not the real-time distribution, it is determined whether or not to store the video (S403). If the video is not stored, in other words, if the video is to be distributed with a time difference, the input is made in step S404. A video index assigning process of assigning a video index to all the videos is performed, and then, in step S405, a valid index extracting process of extracting only a valid index is performed on all the video indexes in the video. Then, in step S406, a video index distribution process of distributing the video index including only the valid index is performed.
[0061]
On the other hand, if the video is to be stored in step S403, a video index assigning process is performed to assign a video index to all input videos in step S407, and then in step S408, all video in the video are assigned. For the video index, a valid index extraction process for extracting only the valid index is executed, and in step S409, a video index storage process for storing the video index, which has only the valid index, in the secondary storage unit 104 is executed. .
[0062]
FIG. 5 shows a flowchart of the video index assigning / distributing process in step S402, and corresponds to the process of the index assigning unit 101 and the index distributing unit 102 in FIG. When distributing in real time, first, the indexing unit 101 executes a video input / display process to display the input video on a display screen in real time (S501).
[0063]
The video content writer views the content of the video displayed on the display screen, interprets the event on the video, and assigns the video index to the location of the video where the event occurred or the location of the video where the event may have occurred. It is provided (S502). At this time, the video content writer assigns a corresponding one of the above-mentioned structure index and a plurality of types of event indexes according to the type of event occurring in the video. When the video content writer assigns the video index, the process proceeds to step S503, and the video index is distributed to the index receiving device 200 in real time by the index distribution unit 102. At this time, the video is always distributed in real time regardless of the presence or absence of the video index.
[0064]
Thereafter, it is determined whether or not the video ends (S504), and steps S501 to S503 are repeated until the video ends.
[0065]
FIG. 6A shows a flowchart of the video index assigning process of steps S404 and S407 shown in FIG. 4, and FIG. 6B shows the valid index extracting process of steps S405 and S408 shown in FIG. 3 shows a flowchart. Here, a case will be described as an example in which a video is delivered with a time difference, but the content of the processing is the same when a video is stored. When distributing a video with a time lag, first, the index assigning unit 101 executes a video input / display process to display the input video on a display screen in real time (S601).
[0066]
The video content writer views the content of the video displayed on the display screen, interprets the event on the video, and assigns the video index to the location of the video where the event occurred or the location of the video where the event may have occurred. It is provided (S602). When the video content writer assigns a video index, it is determined whether or not the video is completed (S603), and steps S601 and S602 are repeated until the video is completed. The video index and the video assigned in step S602 are sent to the secondary storage access control unit 103 without ending the video in step S603, and the extraction process of the effective index after step S604 is performed.
[0067]
Upon successively inputting the video index from the index assigning unit 101 (S604), the secondary storage access control unit 103 first determines whether or not the video index is an invalid index (S605). Execute (S606).
[0068]
Here, the invalidation processing of the video index based on the invalid index will be specifically described with reference to FIGS. 7A and 7B and FIGS. 8A and 8B. FIGS. 7A and 7B show an example in which a first invalid index that invalidates a past event index that is provided immediately before the position where the invalid index is provided is used as the invalid index. 8 (a) and 8 (b) have specific information for specifying an event index assigned in the past as an invalid index, and invalidate an event index that matches the specific information in the event index assigned in the past. An example in which a second invalid index is used is shown.
[0069]
FIG. 7A shows an example of occurrence of an event on a video when a soccer video is taken as an example. FIG. 7B is an image diagram showing a position where each video index is assigned in a video flow. In FIG. 7A, the video content writer interprets the occurrence of an event in the video and assigns the team A a critical attack start index twice. At the point when the player of team B cuts in 2 and the meaning of the important attack of team A is no longer established, it is invalidated by the first invalidation index 702. As described above, since the first invalid index 702 has a function of invalidating the past video index assigned immediately before, the important attack start index 701 is invalidated here.
[0070]
After that, the second important attack start index 703 is the true important attack start index. Here, whether or not the important attack start index 703 is a true important attack start index is determined based on whether or not there is an invalid index that invalidates the important attack start index 703 after the important attack start index 703. In other words, it is processed as a true important attack start index until an invalid index that invalidates the important attack start index 703 is detected.
[0071]
Regarding the important attack end index 704, it is considered that the important attack has ended when the goal is stopped by the GK (goal keeper) of Team B (Event 12), but since the player of Team A cut the ball immediately ( Event 14), the first important attack end index 704 is invalidated by the first invalidation index 705, and finally the goal of the player of Team A (Event 15) becomes the important attack end index 706.
[0072]
FIG. 8A shows an example of occurrence of an event on a video when a soccer video is taken as an example. FIG. 8B is an image diagram showing a position where each video index is assigned in a video flow. In FIG. 8 (a), the video content writer determines that team A has scored when team 2 player 2 passes in event 10 and team 3 selection 3 has scored a goal in event 11. , An additional point index (one of the event indexes) 801 was added, and subsequently, it was determined that the attack of Team A had ended, and an important attack end index 802 was added. Immediately thereafter, an offside determination (event 12), and at this point, the important attack end index 802 assigned earlier is correct, but the additional index 801 assigned earlier is found to be incorrect, so the second invalid index (specific information: additional information) 803 is added to invalidate the point addition index 801. Although there may be a case where a plurality of additional indexes exist before (in the past) the additional index 801, the second invalid index (specific information: additional point) 803 invalidates the additional index assigned to the nearest position. I do.
[0073]
In FIG. 6, when the process of invalidating the video index in step S606 ends, the process proceeds to step S607, and a process of deleting unnecessary video indexes at the present time is performed, and it is determined whether or not the processing of all video indexes is completed (S614). If not, the process returns to step S604; if completed, the process ends. Here, the unnecessary video index corresponds to an invalid index that has been processed, an event index that has been invalidated by the invalid index, a modified index, an emphasis index, and a replacement index that have been processed.
[0074]
On the other hand, in step S605, if the index is not an invalid index, it is determined whether or not the index is a modified index (S608). If the index is a modified index, a process of modifying a video index is executed (S609). Here, with reference to FIGS. 9A and 9B, a process of modifying the video index based on the modified index will be specifically described.
[0075]
FIG. 9A illustrates an example of occurrence of an event on a video when a baseball video is taken as an example. FIG. 9B is an image diagram showing a position where each video index is assigned in a video flow. When Matsui appeared in the batter's box, the video content writer gave a hitting index (Matsui) 901 and given a hit at that time, giving him a hit index 902. Since one point was added after home-in, an additional point index (+1 point) 903 was added as an additional point due to Matsui's hit. However, the runner on the second base ran well and added one more point, and Matsui's hit added two more points. The first modified index (additional point: +2 points) 904 was added, and the immediately preceding additional index was added. (+1 point) 903 (+1 point) was corrected to (+2 point). Furthermore, since the points were added by the hit, the (hit) of the hit index (hit) 902 was corrected to (timely hit) using the second corrected index (hit: timely hit) 905.
[0076]
As described above, when the process of correcting the video index in step S609 is completed, the process returns to step S607 in FIG. 6 to delete the unnecessary video index at the present time and determine whether or not the processing of all video indexes is completed. It is determined (S614), and if not completed, the process returns to step S604, and if completed, the process is terminated.
[0077]
On the other hand, in step S608, if the index is not the correction index, it is determined whether or not the index is an enhancement index (S610). If the index is an enhancement index, a process of enhancing the video index is executed (S611). If it is not a replacement index, it is determined whether or not it is a replacement index (S612). If it is a replacement index, a video index replacement process is executed (S613). If it is not a replacement index, the process proceeds to step S607. .
[0078]
Here, with reference to FIGS. 10A and 10B, the video index enhancement process and the replacement process based on the enhancement index and the replacement index will be specifically described.
[0079]
FIG. 10A illustrates an example of occurrence of an event on a video when a baseball video is taken as an example. FIG. 10B is an image diagram showing a position where each video index is assigned in a video flow. Since Kiyohara appeared in the batter's box, the video content writer assigned a batting index (Kiyohara) 911, and given that Matsui hit a home run at that batter, assigned a home run index 912. An index (+1 point) 913 was given. Thereafter, the game ends at event 30 after events 4 to 29. At this point, it was found that the point added by Kiyohara's home run became the final point, so the emphasis index (Kiyohara, additional point: final point) 918 was added, and the content of the additional point index (+1 point) 913 previously assigned was added. Emphasis was added to the point index (+1 point: final point). Note that the information described in parentheses after each event index indicates information indicating the content of the event index and specific information for specifying the event index.
[0080]
In addition, Takahashi appeared in the batter's box in Event 8, so a bat index (Takahashi) 914 was given, and since Takahashi hit the ground at that bat, a goro index 915 was given, and as a result, Takahashi was out. Therefore, an out index 916 was given. However, since the judgment of the referee was corrected immediately and the safe was obtained, the replacement index (out: safe) 917 was added, and the out index 916 was replaced with the safe index. The function of the replacement index 917 can be considered to be the same as the fact that the invalid index and the safe index are successively added.
[0081]
In the case of distributing the video with a time difference, returning to FIG. 4, when the process of assigning the video index in step S404 and the process of extracting the effective index in step S405 are completed, the process of distributing the video index (S406) is executed. At this time, the video index and the video may be temporarily stored in the secondary storage access control unit 103 in the secondary storage unit 104 and then read out and distributed according to the video distribution time. The data may be sent directly from the storage access control unit 103 to the index distribution unit 102 for distribution.
[0082]
On the other hand, when storing the video, when the process of assigning the video index in step S407 and the process of extracting the effective index in step S408 are completed, the process of storing the video index (S409) is executed, and the secondary storage access control unit is executed. From 103, the video index and the video are sent to the secondary storage unit 104 for storage and storage.
[0083]
As described above, according to the first embodiment, when a video content writer observes a video and assigns a video index, even when a time on the video has elapsed after an incorrect video index has been assigned, the video content writer may have a By assigning an invalid index to an arbitrary position of, an erroneous video index can be invalidated, so that it is possible to describe video contents in real time. In addition, the described video index can be corrected without returning the video and performing the operation, so that the operation time can be reduced and the description can be performed at low cost.
[0084]
In other words, if the result of the event on the video becomes clear and the previously added video index becomes invalid, or if an appropriate scene closer to the meaning of the content occurs later, An invalid index indicating that the added video index becomes invalid is added and distributed, and the previous video index is invalidated, so that the consistency of the added video index can be maintained and the meaning of the video content can be determined in real time. Can be described.
[0085]
Also, even if the meaning of the content indicated by the video index is to be changed without invalidating, a correction index indicating the content of the correction can be added and distributed, and the content of the previous video index can be corrected. When assigning a video index to a video, it is possible to reliably assign a video index appropriate to the content of the video.
[0086]
Further, according to the first embodiment, since the video content writer can correct the video index previously added by using the invalid index or the modified index after adding the video index, the video indicating the meaning of the video content can be corrected. Indexes can be added where possible. Therefore, the meaning of the content on the video can be added in real time to the video flow in which the development cannot be seen.
[0087]
[Embodiment 2]
In the video index assigning method according to the second embodiment, when a video content writer assigns a video index (event start index) indicating a start point to a position that may be a start point of a meaningful sequence, the meaning is automatically set. By determining whether the start point of a certain sequence is correct or not, disabling the start point, or adding an end point, it is possible to further improve the workability and convenience when assigning a video index in real time. Things.
[0088]
In the video index assigning method according to the second embodiment, an event start index indicating a start position of a meaningful sequence (hereinafter, referred to as a composite event) in which a meaning is established by a plurality of consecutive events occurring in advance. The event end index indicating the end position of the meaningful sequence and the state transition pattern that defines the composite event using the input sequence of multiple event indices necessary to realize the meaning of the composite event are combined A state transition table corresponding to each type event is set. Next, the video content writer observes the video in which the event changes with the progress of time, and assigns the event index or event start index determined to be most suitable at any observation time to the position of the video at any observation time. , Referring to the state transition table based on the assigned event index and the event start index, and assigning the event indexes after the assigned event start index and a plurality of events of the state transition pattern corresponding to the assigned event start index It is determined whether or not the input sequence of the index matches, and if they match, it is determined that the meaning of the composite event corresponding to the event start index has been established, and the event start index is located at the position of the video at the time of the establishment. Is assigned to the event end index, and if they do not match, the event start index Meaning of composite events for response is determined to have satisfied, disabling the event start index imparted by applying an invalid index to disable event starting index assigned to the position of the image of the time of the not satisfied.
[0089]
FIG. 11 shows a structure of a state transition table which is an important element of the second embodiment. The state transition table of the state transition table 2 includes a plurality of complex type events, a state transition pattern defining input columns of a plurality of event indexes necessary for the meaning of each complex type event to be satisfied, and a state transition pattern of each complex type event. An event start index and an event end index.
[0090]
As a composite event, for example, after a specific event that triggers, such as “important attack scene” or “offside trap scene”, several events occur, and as a result, Only after seeing a proper event, an event that makes sense is prepared in advance.
[0091]
The state transition pattern defines an input sequence of a plurality of event indices defining the above-mentioned composite event, in other words, a transition state (input sequence) of a plurality of event indices necessary for the meaning of the composite event to be established. For example, in FIG. 11, in the case of the composite event of the “important attack scene”, when the event 1 occurs, the event 2 occurs after that, and the event 3 finally occurs, the important attack scene It is defined that the meaning of the scene holds. Further, in the case of the composite event of the “offside trap scene”, it is defined that the meaning of the offside trap scene is established when the event 1 occurs, the event 2 occurs after that, and the event 4 finally occurs. ing.
[0092]
The event start index and event end index are event indexes indicating the start point and end point of the corresponding composite event. In FIG. 11, in the case of the composite event of “important attack scene”, the important attack start index and An important attack end index is defined, and in the case of a composite event of “offside trap scene”, an offside trap start index and an offside trap end index are defined.
[0093]
Next, a method of determining the establishment of a composite event using a state transition pattern will be described with reference to FIG. When the video content writer views the video and assigns the event start index A of the corresponding composite event to the position where it is determined that there is a possibility of the start point of the composite event, the state transition table of FIG. 11 is referred to. Then, the state transition pattern of the composite event corresponding to the assigned event start index A is specified, and the event that has occurred based on the assigned event index after the event start index A was assigned is specified (event 1, event 2, etc.), and it is determined whether or not the change in the event (input sequence) matches the state transition pattern.
[0094]
For example, when the event start index A is the important attack start index, if the transition state of the event specified by the assigned event index is event 1 → event 2 → event 3, as shown in FIG. Since it matches the state transition pattern of the "important attack scene", it is determined that the composite event of the "important attack scene" has been established, and the corresponding important attack end index is added to the position after the occurrence of event 3. On the other hand, if the transition state of the event specified by the assigned event index is event 1 → event 2 → event 4, the state transition pattern of the “important attack scene” does not match. It is determined that the type event does not hold, and an invalid index for invalidating the important attack start index is automatically added.
[0095]
In the second embodiment, when the composite event specified by the event start index A does not hold, an invalid index is unconditionally assigned to invalidate the event start index A. If any of the composite type event state transition patterns defined in the transition table match the transition state of the event after the event start index A is assigned, the replacement index of the replacement index shown in the first embodiment is used. A function may be used to replace the event start index A with the event start index of the corresponding composite event.
[0096]
Specifically, for example, if the event start index A in FIG. 12 is the important attack start index and the subsequent state transition is event 1 → event 2 → event 4, the state of the “important attack scene” Although it does not match the transition pattern, it matches the state transition pattern of the "offside trap scene", so instead of adding an invalid index, the important attack start index is replaced with the offside trap start index, and the offside trap as the event end index Assign end index.
[0097]
As described above, according to the video index assigning method of the second embodiment, it is determined whether or not the corresponding composite event is established by simply designating the start point of the composite event by the event start index, and is established. In this case, the event end index is automatically assigned, and if not established, the event start index is automatically invalidated, so that the burden of assigning the index of the video content writer can be reduced, shortening the time, Cost can be reduced.
[0098]
After assigning the event start index, the video content writer does not necessarily have to observe whether or not a composite event is established, so it is possible to assign multiple possible event start indexes in succession This is effective in real-time video index assignment work that requires immediate judgment.
[0099]
The video index assigning method according to the present invention described above is realized by executing a program in advance by a computer according to the procedures described in the first and second embodiments and the flowcharts. This program is recorded on a computer-readable recording medium such as a hard disk, a floppy disk, a CD-ROM, an MO, and a DVD, and is executed by being read from the recording medium by the computer. Further, this program can be distributed via the recording medium or via a network.
[0100]
Less thanAs described above, the video indexing method of the present inventionThe law isThe video content writer observes the video in which the event changes with the progress of time, and assigns the video index determined to be most suitable at any observation time to the position of the video at any observation time, and assigns the video index. Later, by observing the video whose events change with the progress of time, if it is determined that the video index assigned in the past is not appropriate, the invalid index is added to the position of the video at the time when it is determined that it is not appropriate, In order to invalidate the video index given to the user, the meaning of the content of the video can be described in real time. In addition, it is possible to correct the described video index without returning the video and performing the work.You.
[0101]
In addition, the video index assigning method of the present inventionThe law is nothingThe effective index has specific information for specifying the video index assigned in the past, and based on the specific information of the invalid index, a large number of video indexes are assigned in order to invalidate the corresponding video index assigned in the past. Even after this, a desired video index can be accurately assigned to an invalid index, and workability and operability when assigning a video index in real time can be improved.
[0102]
In addition, the video index assigning method of the present inventionThe law is specialThe fixed information is information that specifies the type of video index, and the invalid index is the video index that has been previously invalidated and the position closest to the invalid index among the video indexes of the type specified by the specific information. Since the video index is assigned to the video index, the workability and operability when assigning the video index in real time can be improved.
[0103]
In addition, the video index assigning method of the present inventionThe law isThe video content writer observes the video in which the event changes with the progress of time, and assigns the video index determined to be most suitable at any observation time to the position of the video at any observation time, and assigns the video index. Later, by observing the video whose events change with the progress of time, if it is determined that the video index given in the past is not appropriate, the past index is added by assigning a correction index to the position of the video at the time when it is determined to be inappropriate. Since the video index assigned to the video is corrected, the meaning of the video content can be described in real time and at low cost.
[0104]
In addition, the video index assigning method of the present inventionLawThe primary index has specific information for specifying the video index assigned in the past, and based on the specific information of the modified index, a large number of video indexes are assigned to modify the corresponding video index assigned in the past. The correction index can be accurately assigned to a desired video index even afterwards, and workability and operability when assigning a video index in real time can be improved.
[0105]
In addition, the video index assigning method of the present inventionThe law is specialThe fixed information is information that specifies the type of the video index, and the modified index is different from the previously assigned video index to be modified in the position closest to the modified index among the video indexes of the type specified by the specific information. Since the video index is assigned, workability and operability in assigning the video index in real time can be improved.
[0106]
In addition, the video index assigning method of the present inventionLawCorrection by the positive index means that the previously assigned video index itself is replaced with another video index, so that the previously assigned video index can be invalidated and modified at the same time. Operability and operability at the time of imparting the information can be improved.
[0107]
In addition, the video index assigning method of the present inventionLawCorrection by the positive index means that additional information is added to the content of the video index that was added in the past to be corrected, so detailed information can be added to the video index that was added in the past, and the video index can be updated in real time. Workability and operability at the time of application can be improved.
[0108]
【The invention's effect】
BookVideo index assigning method of the invention1) Indicates in advance an event start index indicating the start position of the composite event and the event end index indicating the end position of the composite event, the meaning of which is established when a plurality of events occur consecutively, and the meaning of the composite event A state transition table is defined for each composite type event, with a state transition pattern that defines a composite type event using an input sequence of multiple event indexes necessary to establish When observing a video in which events change with the progress of time, and assigning an event index or event start index determined to be most suitable at any observation time to the position of the video at any observation time, the assigned event index and Refers to the state transition table based on the event start index, and the event index after the assigned event start index Determines whether the input sequence and the input sequence of multiple event indexes of the state transition pattern corresponding to the assigned event start index match, and if they match, the meaning of the composite event corresponding to the event start index Is determined, the event end index corresponding to the event start index is added to the position of the video at the time of the establishment, and if they do not match, it is determined that the meaning of the composite event corresponding to the event start index is not satisfied. By invalidating the event start index assigned to the position of the video at the time of the failure, the event start index assigned by invalidating the invalid index can be described in real time. In addition, the described video index can be corrected without returning the video and performing the operation, so that the operation time can be reduced and the description can be performed at low cost. Furthermore, since the video content writer can assign the video index without being aware of the establishment or non-establishment of the previously assigned video index, the workability and operability in assigning the video index in real time should be further improved. Can be.
[0109]
Further, the computer-readable recording medium of the present invention (claim2) Is the claim1Since the program for causing the computer to execute the video indexing method described in (1) is recorded, by reading and executing the program by the computer, the meaning of the content of the video can be described in real time and at low cost. .
[0110]
Also, the video index distribution device of the present invention (claim3) Is the claim1A video index distribution device that distributes a video to which a video index has been assigned using the video index assignment method described in the above, and among the video indexes assigned to the video, interprets an invalid index or / and a modified index, Valid index extracting means for performing invalidation processing and / or correction processing of a corresponding video index, invalidating the invalidity index and correction index after the invalidation processing or correction processing, and extracting only a valid video index; When distributing the assigned video index, after assigning the video index, in the case of real-time distribution with no time difference between the distribution, distribute all the video indexes assigned to the video, after assigning the video index, If there is a time difference before delivery And distribution control means for extracting only valid video indexes through valid index extraction means and distributing only valid indexes, so that the meaning of the contents of the video is described in real time and at low cost. The video including the index can be efficiently distributed.
[0111]
Also, the video index storage device of the present invention (claim4) Is the claim1A video index storage device that stores a video index assigned to a video using the video index assignment method described in the above, among the video indexes assigned to the video, interprets an invalid index or / and a modified index, Valid index extracting means for performing invalidation processing and / or correction processing of a corresponding video index, invalidating the invalidity index and correction index after the invalidation processing or correction processing, and extracting only a valid video index; Storage means for extracting only a valid video index through a valid index extraction means and storing only a valid index when storing the content of the video, so that the meaning of the content of the video is reduced in real time and low. Video index described by cost It is possible to save the image efficiently, including.
[Brief description of the drawings]
FIG. 1 is an image configuration diagram of a video index assignment / distribution system according to a first embodiment.
FIG. 2 is an explanatory diagram showing a relationship between a structure index and an event index.
FIG. 3 is an explanatory diagram showing a relationship between a structure index and an event index.
FIG. 4 is a flowchart of a process of assigning, distributing, and storing a video index according to the first embodiment.
FIG. 5 is a flowchart of a process of assigning / distributing a video index according to the first embodiment.
FIG. 6A is a flowchart of the video index assigning process in step S404, and FIG. 6B is a flowchart of the effective index extracting process in step S405.
FIG. 7 is an explanatory diagram specifically showing a process of invalidating a video index based on a first invalid index in the first embodiment.
FIG. 8 is an explanatory diagram specifically showing a process of invalidating a video index based on a second invalid index in the first embodiment.
FIG. 9 is an explanatory diagram specifically showing a video index correction process based on a first correction index and a second correction index in the first embodiment.
FIG. 10 is an explanatory diagram specifically showing enhancement processing and replacement processing of a video index based on the enhancement index and the replacement index in the first embodiment.
FIG. 11 is an explanatory diagram showing a structure of a state transition table which is an important element of the second embodiment.
FIG. 12 is an explanatory diagram showing a method for determining the establishment of a composite event using a state transition pattern according to the second embodiment;
[Explanation of symbols]
100 Indexing and distribution device
101 Index assigning unit
102 Index distribution unit
103 Secondary storage access control unit
104 Secondary storage unit
200 index receiving device
201 Index receiving unit
202 Index interpreter
203 Secondary storage access control unit
204 Secondary storage unit

Claims

A video indexing method for providing a video index including an event index for identifying at least the content and location of an event that has occurred in the video, for a video in which an event changes with time,
In advance, an event start index indicating the start position of the composite event and the event end index indicating the end position of the composite event, the meaning of which is established by a plurality of consecutive events, and the meaning of the composite event A state transition pattern that defines the composite event using an input sequence of a plurality of event indexes necessary to be established, and a state transition table corresponding to each composite event are set,
When the video content writer observes the video in which the event changes with the progress of the time, and assigns the event index or the event start index determined to be most suitable at any observation time to the position of the video at the arbitrary observation time,
Referring to the state transition table based on the assigned event index and event start index, the assignment order of the event index after the assigned event start index and the state transition pattern corresponding to the assigned event start index Determine whether the input columns of multiple event indexes match,
If they match, it is determined that the meaning of the composite event corresponding to the event start index has been established, and an event end index corresponding to the event start index is added to the position of the video at the time of establishment,
When it does not match, it is determined that the meaning of the composite event corresponding to the event start index is not established, and by assigning an invalid index that invalidates the assigned event start index to the position of the video at the time of the failure. A video index assigning method, wherein the assigned event start index is invalidated.

A computer-readable recording medium on which a program for causing a computer to execute the video index assigning method according to claim 1 is recorded.

A video index distribution device that distributes a video to which a video index has been assigned using the video index assignment method according to claim 1 ,
Of the video indices assigned to the video, an invalid index or / and a correction index are interpreted to perform invalid processing or / and correction processing of the corresponding video index, and an invalid index and / or an invalid index that has been subjected to the invalidation processing or correction processing. Effective index extracting means for invalidating the modified index and extracting only an effective video index;
When distributing a video index assigned to a video, in the case of real-time distribution with no time lag between the distribution of the video index and the distribution of the video index, the entire video index assigned to the video is distributed. After the index is added, if there is a time difference before the distribution, a valid video index is extracted only through the valid index extracting unit, and a distribution control unit that distributes only the valid index,
A video index distribution device comprising:

A video index storage device that stores a video index assigned to a video using the video index assignment method according to claim 1 ,
Of the video indices assigned to the video, an invalid index or / and a correction index are interpreted to perform invalid processing or / and correction processing of the corresponding video index, and an invalid index and / or an invalid index that has been subjected to the invalidation processing or correction processing. Effective index extracting means for invalidating the modified index and extracting only an effective video index;
When saving the video index, only a valid video index is extracted through the valid index extraction unit, and a storage control unit that stores only the valid index,
A video index storage device comprising: