JP5273042B2 - 画像音響区間群対応付け装置と方法およびプログラム - Google Patents

Description

（関連出願についての記載）
本願は、先の日本特許出願２００７−１３９３３３号（２００７年５月２５日出願）の優先権を主張するものであり、前記先の出願の全記載内容は、本書に引用をもって繰込み記載されているものとみなされる。
本発明は、画像音響区間群対応付け装置、画像音響区間群対応付け方法および画像音響区間群対応付けプログラムに関し、特に、入力映像を構成する画像データから得られる複数の画像区間群と、音声データから得られる複数の音響区間群とを対応付けるための画像音響区間群対応付け装置、画像音響区間群対応付け方法および画像音響区間群対応付けプログラムに関する。

画像区間群と音響区間群の対応付け方式の関連技術の一例として、特許文献１（特開２００４−５６２８６号公報）には、画像人物と音声の対応付けの精度を向上させ、音声を文字化したデータを精度よくその話者に対応させて表示することを目的として、画像データ中から人物領域を抽出し、その画像特徴量を算出し、該画像特徴量により人物を推定するとともに、音声データから音声特徴量を算出し、該音声特徴量により人物を推定し、画像データから推定された人物と、音声データから推定された人物とが同一シーン内に同時に発生する状況の統計をとり、統計結果に基づいて音声データを発生した人物を特定し、音声データを文字化して表示画面上で前記特定された人物の近くに表示する画像表示方法が開示されている。

特許文献１では、入力映像中の画像区間群を出現する人物ごとに分類した人物区間群と、音響区間群を出現する人物ごとに分類した音声区間群とを、それぞれが同一シーン内に同時に発生する状況の統計をもとに対応付ける。

たとえば、人物Ｎ人の各人物区間群と、音響データから推定された人物Ｍ人の各音声区間群とで、同一シーンの同一時刻に出現する回数を各々集計し、集計結果から出現箇所の相関の高い人物区間群と音声区間群とを対応付ける。そのための構成として、図１７に示すように、入力映像の画像データから人物を検出して画像特徴量を抽出する人物抽出手段６００と、音響データから人声を検出して音声特徴量を抽出する音声抽出手段６０１と、画像特徴量をもとに人物が検出された区間を分類する人物区間分類手段６０２と、音響特徴量をもとに人声が検出された区間を分類する音声区間分類手段６０３と、人物区間群と音声区間群が同時に発生する状況の統計をとる同時発生統計手段６０４と、統計量をもとに人物区間群と音声区間群とを対応付ける人物特定手段６０５とを備えている。

また、画像区間と音響区間とを個別に対応付ける方式の関連技術の一例が非特許文献１に記載されている。非特許文献１では、予め時間的に同期がとれていないマルチメディアデータ（台本中のテキスト、映像、音声）の同期をとることを目的として、音声と映像をＤＰマッチングにより対応付ける手法が開示されている。非特許文献１では、入力映像中で、予め同一の対象に対する観測結果として抽出された画像区間群と音響区間群について、各区間群の出現パターンを非線形に伸縮して最適なマッチングを行うことにより、各画像区間と各音響区間とを対応付ける。たとえば、予め取得した特定人物の画像特徴量と音声特徴量をもとに、入力映像の画像データから得られる『特定人物がいるかいないかのパターン』と音声データから得られる『特定人物がいるかいないかのパターン』とで、各パターンを非線形に伸縮して最適なマッチングを行うことにより、各画像区間と各音響区間とを対応付ける。そのための構成として、図１６に示すように、入力映像の画像データから特定人物の登場する画像区間を抽出する画像区間抽出手段５００と、音声データから特定人物の音声区間を抽出する音声区間抽出手段５０１と、画像区間の出現パターンおよび音声区間の出現パターンを非線形に伸縮して最適なマッチングを行うことで各画像区間と各音響区間とを対応付けるＤＰマッチング手段５０２とを備えている。

特開２００４−５６２８６号公報 柳沼良知 坂内正夫著、"ＤＰマッチングを用いたドラマ映像・音声・シナリオ文書の対応付け手法の一提案"、電子情報通信学会論文誌Ｄ−ＩＩ Ｖｏｌ．Ｊ．７９−Ｄ−ＩＩ Ｎｏ．５ １９９６年５月 ｐｐ．７４７−７５５ 岩井、勞、山口、平山、"画像処理による顔検出と顔認識"、情報処理学会研究報告（ＣＶＩＭ−１４９）、２００５年 ｐｐ．３４３〜３６８ 赤松茂、"コンピュータによる顔の認識―サーベイ―"、電子情報通信学会論文誌 Ｖｏｌ．Ｊ８０−Ａ Ｎｏ．８ ｐｐ．１２１５〜１２３０ １９９７年８月

以上の特許文献１及び非特許文献１〜３の開示事項は、本書に引用をもって繰り込み記載されているものとする。以下に本発明による関連技術の分析を与える。

上記関連技術においては、音響区間群の発生パターンと類似する発生パターンの画像区間群が複数存在する場合に、複数の画像区間群が互いに異なる対象に関する区間であっても同じ音響区間に誤って対応付けられる場合がある。

その理由は、上記関連技術では、ある音響区間群とある画像区間群との対応を判定する際に、該音響区間群と該画像区間群の発生パターンのみをもとに判定し、該音響区間群と他の画像区間群との発生パターンの相関を考慮しないためである。

上記関連技術においては、時間的に近接して出現する互いに異なる対象に関する画像区間群と音響区間群とを誤って対応付けてしまう場合がある。

その理由は、上記関連技術では、ある音響区間群とある画像区間群との対応を判定する際に、各区間群を非線形に伸縮した出現パターンについての全体的な類似性のみをもとに判定しており、映像中で画像区間群と音響区間群が同時に存在する時間を考慮しないためである。

本発明の目的は、入力映像を構成する画像データから得られる複数の画像区間群との対応付けにおいて、上記の問題点を解決する装置、方法、プログラムを提供することにある。

前記課題を解決する手段を提供する本発明は、概略以下の構成とされる。

本発明の１つのアスペクトに係る方法（装置、プログラム）においては、
（ａ）入力映像を分析して、同一対象を含む画像区間群からなる画像区間グループを複数生成する画像区間分類ステップ（手段、処理）と、
（ｂ）入力映像を分析して、同一対象を含む音響区間群からなる音響区間グループを複数生成する音響区間分類ステップ（手段、処理）と、
（ｃ）画像区間グループと音響区間グループが同時に存在する時間をもとに、各画像区間グループと各音響区間グループの類似性のスコアを算出する区間グループ間スコア算出ステップ（手段、処理）と、
（ｄ）前記スコア群を利用して、画像区間グループ中の対象と音響区間グループ中の対象の同一性を判定する区間グループ対応判定ステップ（手段、処理）と、
を含み、入力映像中の画像区間群と音響区間群とを対応付ける。

前記（ａ）のステップ（手段、処理）において、入力映像中の各画像区間から対象物の画像特徴量を抽出し、対象物の画像特徴量が類似する複数の画像区間を同一の画像区間グループに分類する、ようにしてもよい。

前記（ｂ）のステップ（手段、処理）において、入力映像中の各音響区間から対象物の音響特徴量を抽出し、対象物の音響特徴量が類似する複数の音響区間を同一の音響区間グループに分類する、ようにしてもよい。

前記（ａ）のステップ（手段、処理）において、入力映像中の各画像区間がそれぞれ１つの画像区間グループに属し、重複して複数の画像区間グループに属さないように分類する、ようにしてもよい。

前記（ｂ）のステップ（手段、処理）において、入力映像中の各音響区間がそれぞれ１つの音響区間グループに属し、重複して複数の音響区間グループに属さないように分類する、ようにしてもよい。

前記（ａ）のステップ（手段、処理）において、入力映像中の画像区間群を、前記ステップ（ｂ）において生成される音響区間グループと同じ個数の画像区間グループに分類する、ようにしてもよい。

前記（ｂ）のステップ（手段、処理）において、入力映像中の音響区間群を、前記ステップ（ａ）において生成される画像区間グループと同じ個数の音響区間グループに分類する、ようにしてもよい。

前記（ｃ）のステップ（手段、処理）において、画像区間グループと音響区間グループとで一方のみが存在する時間をもとに、各画像区間グループと各音響区間グループの類似性のスコアを算出する、ようにしてもよい。

前記（ｃ）のステップ（手段、処理）において、各画像区間グループと各音響区間グループの類似性のスコアと、区間から抽出された画像特徴量あるいは音響特徴量のいずれか一方またはそれらの組み合わせによって算出された重みを利用して、各画像区間グループと各音響区間グループの類似性のスコアを算出する、ようにしてもよい。

前記（ｄ）のステップ（手段、処理）において、前記スコア群をもとに画像区間グループに含まれる対象と音響区間グループに含まれる対象の同一性を判定し、画像区間グループと音響区間グループとを１対１で対応付ける、ようにしてもよい。

前記（ｄ）のステップ（手段、処理）において、前記スコア群をもとに画像区間グループに含まれる対象と音響区間グループに含まれる対象の同一性を判定し、画像区間グループと音響区間グループとを１対多で対応付ける、ようにしてもよい。

前記（ｄ）のステップ（手段、処理）において、前記スコア群をもとに画像区間グループに含まれる対象と音響区間グループに含まれる対象の同一性を判定し、画像区間グループと音響区間グループとを多対多で対応付ける、ようにしてもよい。

前記（ｄ）のステップ（手段、処理）において、前記スコア群の中で、最大スコアを算出する画像区間グループと音響区間グループの組から順に画像区間グループに含まれる対象と音響区間グループに含まれる対象の同一性を判定し、画像区間グループと音響区間グループとを１対１で対応付ける、ようにしてもよい。

前記（ｄ）のステップ（手段、処理）において、前記スコア群の中で、最大スコアを算出する画像区間グループと音響区間グループの組から順にスコアが所定閾値以上の組について、画像区間グループに含まれる対象と音響区間グループに含まれる対象の同一性を判定し、画像区間グループと音響区間グループとを１対１で対応付ける、ようにしてもよい。

前記（ｄ）のステップ（手段、処理）において、画像区間グループを構成する画像区間群の時間長の長い順あるいは区間数の多い順に、各画像区間グループと、前記画像区間グループとの間のスコアが最大でかつ他の画像区間グループと対応付けられていない音響区間グループとを対応付ける、ようにしてもよい。

前記（ｄ）のステップ（手段、処理）において、音響区間グループを構成する音響区間群の時間長の長い順あるいは区間数の多い順に、各音響区間グループと、前記音響区間グループとの間のスコアが最大でかつ他の音響区間グループと対応付けられていない画像区間グループとを対応付ける、ようにしてもよい。

前記（ｄ）のステップ（手段、処理）において、画像区間グループを構成する画像区間群の時間長の長い順あるいは区間数の多い順に、各画像区間グループと、前記画像区間グループとの間のスコアが最大でかつ他の画像区間グループとのスコアが所定の閾値以下となる音響区間グループとを対応付ける、ようにしてもよい。

前記（ｄ）のステップ（手段、処理）において、音響区間グループを構成する音響区間群の時間長の長い順あるいは区間数の多い順に、各音響区間グループと、前記音響区間グループとの間のスコアが最大でかつ他の音響区間グループとのスコアが所定の閾値以下となる画像区間グループとを対応付ける、ようにしてもよい。

前記（ｄ）のステップ（手段、処理）において、複数の各画像区間グループについての各スコア群と、複数の各音響区間グループについての各スコア群について、それぞれ最大スコアを算出する画像区間グループと音響区間グループとを対応付ける、ようにしてもよい。

前記（ｄ）のステップ（手段、処理）において、画像区間グループまたは音響区間グループが、いずれの音響区間グループまたは画像区間グループとの間でも所定の閾値以下のスコアを算出する場合には、いずれの音響区間グループまたは画像区間グループとも同一の対象を含まないと判定し、対応付けない、ようにしてもよい。

前記画像区間は、人物の顔の出現と消滅によって映像を区切ることで生成された区間としてもよい。

前記音響区間は、人物の声の出現と消滅によって映像を区切ることで生成された区間としてもよい。

前記画像区間は、同一画像フレーム中に複数の顔が存在する場合に、各顔の出現と消滅によって映像を区切ることで生成された区間としてもよい。

前記音声区間は、同時刻に複数の人物の声が発声される場合に、各声の出現と消滅によって映像を区切ることで生成された区間としてもよい。

本発明の別のアスペクトに係る方法（装置、プログラム）においては、
（ｅ）入力映像を分析して、同一人物の顔を含む画像区間群からなる顔区間グループを複数生成する顔区間分類ステップ（手段、処理）と、
（ｆ）入力映像を分析して、同一人物の声を含む音響区間群からなる音声区間グループを生成する音声区間分類ステップ（手段、処理）と、
（ｇ）顔区間グループと音声区間グループが同時に存在する時間をもとに、各顔区間グループと各音声区間グループの類似性のスコアを算出する区間グループ間スコア算出ステップ（手段、処理）と、
（ｈ）前記スコア群を利用して、顔区間グループ中の人物と音声区間グループ中の人物の同一性を判定する区間グループ対応判定ステップ（手段、処理）を含む。

前記（ｇ）のステップ（手段、処理）において、顔区間グループと音声グループが同時に存在する時間と、各画像区間から抽出された顔の位置、顔の大きさ、顔の向き、あるいは各音響区間から抽出された声の大きさ、声の明瞭性のいずれかまたはそれらの組み合わせを利用して、各顔区間グループと各音声区間グループの類似性のスコアを算出する、ようにしてもよい。

本発明の別のアスペクトに係る方法（装置、プログラム）においては、
（ｉ）映像を顔の出現および消滅によって区切ることで生成された画像区間群を分類して、同一人物の顔を含む画像区間群からなる顔区間グループを生成する顔区間分類ステップ（手段、処理）と、
（ｊ）映像を声の出現および消滅によって区切ることで生成された音響区間群を分類して、同一人物の声を含む音響区間群からなる音声区間グループを生成する音声区間分類ステップ（手段、処理）と、
（ｋ）画像区間グループと音声区間グループが同時に存在する時間をもとに、各顔区間グループと各音声区間グループの類似性のスコアを算出する区間グループ間スコア算出ステップ（手段、処理）と、
（ｌ）前記スコア群の中で最大スコアを算出する顔区間グループと音声区間グループの組から順に、顔区間グループ中の人物と音声区間グループ中の人物の同一性を判定し、顔区間グループと音声区間グループとを１対１で対応付ける区間対応ステップ（手段、処理）を含む。

本発明によれば、音響区間群の発生パターンと類似する発生パターンの画像区間群が複数存在する場合に、同一対象についての音響区間群と画像区間群を対応付けられる。

その理由は、本発明では、ある音響区間群とある画像区間群との対応を判定する際に、前記ある画像区間群と他の音響区間群との間で算出されるスコアを考慮した上で対応付けるためである。

第１の実施の形態の構成を示すブロック図である。 第１の実施の形態の動作を示す流れ図である。 （ａ）、（ｂ）は、第１の実施の形態における画像区間分類手段と音響区間分類手段の動作を説明する図である。 第１の実施の形態における区間グループ間スコア算出手段の動作を説明する図である。 第２の実施の形態の構成を示すブロック図である。 第２の実施の形態の動作を示す流れ図である。 第２の実施の形態における区間グループ対応判定手段の動作を説明する図である。 第３の実施の形態の構成を示すブロック図である。 第４の実施の形態の構成を示すブロック図である。 実施例１の構成を示すブロック図である。 実施例１の画像区間分類手段による分類結果の一例である。 実施例２の構成を示すブロック図である。 （ａ）、（ｂ）は、第１の実施の形態における画像区間入力手段が入力する各画像区間の時刻情報の一例と音響区間入力手段が入力する各音響区間の時刻情報の一例を示した図である。 第１の実施の形態における区間グループ間スコア算出手段によって算出されるスコア群の一例を示した図である。 第１の実施の形態における判定結果出力手段によって出力される判定結果の一例を示した図である。 非特許文献１に開示された構成を示すブロック図である。 特許文献１に開示された構成を示すブロック図である。

符号の説明

１００、２００ データ処理装置（パーソナルコンピュータ）
３００、４００ データ処理装置
１０１、２０１ 画像区間分類手段（映像入力端子）
１０２、２０２ 音響区間分類手段（音声入力端子）
１０３、２０３ 区間グループ間スコア算出手段
１０４、２０４ 区間グループ対応判定手段
１１０、２１０、３１０、４１０ 画像区間入力手段
１２０、２２０、３２０、４２０ 音響区間入力手段
１３０、３３０ 判定結果出力手段
２３０、４３０ 記憶手段
２３１ 判定結果記憶手段
３４０、４４０ 画像音響区間群対応付け用プログラム
５００ 画像区間抽出手段
５０１ 音声区間抽出手段
５０２ ＤＰマッチング手段
６００ 人物抽出手段
６０１ 音声抽出手段
６０２ 人物区間分類手段
６０３ 音声区間分類手段
６０４ 同時発生統計手段
６０５ 人物特定手段

本発明においては、画像区間グループと音響区間グループが同時に存在する時間をもとに算出されるスコア群をもとに、画像区間グループ中の対象と音響区間グループ中の対象の同一性を判定する。このため、音響区間群の発生パターンと類似する発生パターンの画像区間群が複数存在する場合に、同一対象についての音響区間群と画像区間群を対応付けることができる

本発明によれば、画像区間グループと音響区間グループが、映像中で同時に存在する時間をもとに算出されるスコア群を利用して対応付ける。このため、時間的に近接して出現する異なる対象に関する画像区間群と音響区間群とを、誤って対応付けるのを防ぐことができる。

本発明の実施例について図面を参照して詳細に説明する。

図１は、本発明の第１の実施例の構成を示す図である。図１を参照すると、本発明の第１の実施の形態は、
プログラム制御により動作するデータ処理装置１００と、
入力映像中の各画像区間の情報を入力する画像区間入力手段１１０と、
入力映像中の各音響区間の情報を入力する音響区間入力手段１２０と、
画像区間グループと音響区間グループとの対応判定結果を出力する判定結果出力手段１３０と、
を備えている。

データ処理装置１００は、
画像区間分類手段１０１と、
音響区間分類手段１０２と、
区間グループ間スコア算出手段１０３と、
区間グループ対応判定手段１０４を含む。

画像区間入力手段１１０は、入力映像中の各画像区間の画像データと、入力映像における各画像区間の開始点と終了点の時間位置を、画像区間分類手段１０１に入力する。

画像区間は、例えばカメラのオン・オフによって区切られたショットを用いてもよい。あるいは、画像区間は、撮影セットの変わり目で区切られたシーンを用いてもよい。あるいは、画像区間は、同一の対象に関するか否かで区切られた区間であってもよい。あるいは、画像区間は、対象の出現点と消滅点を区切りとした区間であってもよい。

対象は、画像データを構成する各フレームであってもよい。対象は、車やボールのように同一の動き成分を持つ動領域であってもよい。あるいは、対象は、空や地面のように同一の色成分を持つ静止領域であってもよい。あるいは、対象は、人物や動物のようにあるパターンを持った画像領域のようなフレームの一部分であってもよい。

音響区間入力手段１２０は、入力映像中の各音響区間の音響データと入力映像における各音響区間の開始点と終了点の時間位置を音響区間分類手段１０２に入力する。

音響区間は、例えば音量の大小によって区切られた区間を用いてもよい。

あるいは、音響区間は、ＢＧＭの変化点で区切られた区間を用いてもよい。あるいは、音響区間は、同一の対象に関する音響か否かで区切られた区間であってもよい。あるいは、音響区間は、対象に関する音響の出現点と消滅点を区切りとした区間であってもよい。

対象に関する音響は、対象と予め関連付けられた効果音であってもよい。あるいは、動領域や静止領域が発する音であってもよい。あるいは、人物や動物の声であってもよい。

画像区間分類手段１０１は、画像区間入力手段１１０から受け取った複数の画像区間の画像データをもとに、画像区間を分類し、複数の画像区間からなる複数の画像区間グループを生成する。

画像区間分類手段１０１は、区間グループ間スコア算出手段１０３に、各画像区間グループに分類された画像区間群の開始点と終了点の時間位置、および画像区間群の各画像データを供給する。

画像区間分類手段１０１における画像区間の分類方法として、各画像区間から選択したフレームを比較して、フレーム間差分の小さい画像フレームを有する画像区間を同一の画像区間グループに分類するようにしてもよい。

あるいは、分類方法として、画像区間に含まれる対象の画像特徴量を抽出し、対象の画像特徴量が類似する画像区間を、同一の画像区間グループに分類するようにしてもよい。

画像区間は、それぞれ１つの画像グループのみに分類されてもよいし、複数の画像区間グループに分類されてもよい。例えば、複数の観光スポットに関するビデオクリップについて、対象が画像フレーム、画像区間の単位がショット、観光スポットごとに映像区間を分類する場合のように、各画像区間に含まれる対象が１種の場合には、各画像区間は１つの画像グループのみに分類される。

また、複数の人物を含む監視映像について、対象が人物、画像区間の単位が人物の出現点と消滅点で区切られた区間で、人物ごとに画像区間を分類する場合のように、各画像区間に含まれる対象が複数種になり得る場合には、各画像区間は複数の画像区間グループに分類される。

生成される画像区間グループの個数は、予め定めた個数であってもよい。

生成される画像区間グループの個数は、音響区間分類手段１０２の結果得られる音響区間グループの個数と同数であっても異なっていてもよい。

音響区間分類手段１０２は、音響区間入力手段１２０から受け取った複数の音響区間の音響データをもとに、音響区間を分類し、複数の音響区間からなる複数の音響区間グループを生成する。

音響区間分類手段１０２は、区間グループ間スコア算出手段１０３に、各音響区間グループに分類された音響区間群の開始点と終了点の時間位置、および音響区間群の各音響データを供給する。

音響区間分類手段１０２における、音響区間の分類方法としては、音量の類似した音響区間を同一の音響区間グループに分類する方式であっても、楽器やメロディの類似する区間を同一のグループに分類するようにしてもよい。

あるいは、声紋や話速の類似する区間を同一の音響区間グループに分類するようにしてもよい。

音響区間は、それぞれ１つの音響区間グループにのみ分類されてもよい。

あるいは、複数の音響区間グループに分類されてもよい。例えば、複数の観光スポットの紹介ビデオで各スポットに関連するＢＧＭが用いられる映像について、対象がメロディ、音響区間がＢＧＭの開始点と終了点で区切られた区間で、メロディの類似性で区間を分類する場合のように、各音響区間に含まれる対象が１種の場合には、各音響区間は１つの音響グループのみに分類される。

また、複数の人物が登場し発話するドラマ映像について、対象が声、音響区間の単位が発声の開始点と終了点で区切られた区間で、話者ごとに音響区間を分類する場合のように、各音響区間に含まれる対象が複数種になり得る場合には、各音響区間は複数の音響区間グループに分類される。

生成される音響区間グループの個数は、予め定めた個数であってもよい。あるいは、画像区間分類手段の結果得られる画像区間グループの個数と同数であっても異なっていてもよい。

区間グループ間スコア算出手段１０３は、画像区間分類手段１０１から受け取った各画像区間グループに分類された画像区間群の各開始点と終了点の時間位置と、音響区間分類手段１０２から受け取った各音響区間グループに分類された音響区間群の開始点と終了点の時間位置を利用して、画像区間グループと音響区間グループの各組み合わせについて類似性のスコアを算出する。

区間グループ対応判定手段１０４に、画像区間グループに属する画像区間群の時間位置および画像データ、音響区間グループに属する音響区間群の時間位置および音響データ、および画像区間グループと音響区間グループの各組み合わせで算出されたスコア群を入力する。

区間グループ対応判定手段１０４において算出するスコアとして、各画像区間グループに属する画像区間群の開始点と終了点と、各音響区間グループに属する音響区間群の開始点と終了点から得られる、画像区間と音響区間が同時に存在する時間長を用いてもよい。

あるいは、スコアとして、前記時間長が各画像区間グループの時間長に占める割合を用いてもよい。

あるいは、スコアとして、画像区間グループに属する画像区間群と音響区間グループに属する音響区間群のいずれか一方のみが出現する時間長をもとに算出してもよい。

あるいは、区間グループ対応判定手段１０４が、画像区間分類手段１０１あるいは音響区間分類手段１０２から受け取った各画像区間グループの画像データ、あるいは各音響グループの音響データをもとにした重みを付加してスコアを算出しても良い。重みは、画像データから得られる対象の画像位置・大きさ・向きや音響データから得られる対象の発する音響の明瞭性・大きさをもとに算出しても良い。

区間グループ対応判定手段１０４は、区間グループ間スコア算出手段１０３から受け取った複数の画像区間グループと複数の音響区間グループとの間で算出されたスコア群をもとに、画像区間グループ中の対象と音響区間グループ中の対象の同一性を判定する。

判定結果出力手段１３０に、画像区間グループに属する画像区間群の時間位置および画像データと、音響区間グループに属する音響区間群の時間位置および音響データと、画像区間グループと音響区間グループとの判定結果を入力する。

対応関係の判定方法の一例として、
画像区間グループを構成する画像区間群の時間長の総計が長い順、あるいは区間数の多い順に、
各画像区間グループと、
その画像区間グループとのスコアが最大であり、かつ、他の画像区間グループとのスコアが所定の閾値以下となる音響区間グループと、
を、同一の対象を含む区間グループとして対応付けても良い。

また、別の判定方法としては、
音響グループを構成する音響区間群の時間長の総計が長い順あるいは区間数の多い順に、
各音響区間グループと、
その音響区間グループとのスコアが最大であり、かつ、他の音響区間グループとのスコアが所定の閾値以下となる画像区間グループと、
を、同一の対象を含む区間グループとして対応付けても良い。

また、いずれの画像区間グループあるいは音響区間グループとも所定の閾値以下のスコアを算出する場合には、いずれの音響区間グループあるいは画像区間グループとも同一の対象を含まないとして、対応付けなくてもよい。

判定結果出力手段１３０は、区間グループ対応判定手段１０４から入力された判定結果を出力する。

出力の形式は、画像区間群と音響区間群の各開始点および終了点の時間情報をまとめて対応付けた表を提示するようにしてもよい。あるいは、区間グループ対応判定手段１０４から入力された各画像区間グループに属する画像区間群の画像データと各音響区間グループに属する音響区間群の音響データをもとに、対応付けられた画像区間グループと音響区間グループの画像データと音響データを合成して新規映像を生成し、生成映像をハードディスクに蓄積してもディスプレイに出力するようにしてもよい。

次に、図１及び図２のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。

まず、画像区間入力手段１１０は、画像区間分類手段１０１に、入力映像を構成する各画像区間の情報として、画像データと入力映像における開始点と終了点の時間位置を入力する（図２のステップＡ０１）。

図１３（ａ）に、画像区間入力手段１１０が入力する各画像区間の情報の一例として、画像区間ＡからＫの画像区間群の情報を表にして示す。各画像区間の情報は、図１３（ａ）で示す形式であっても、他の形式であっても構わない。

音響区間入力手段１２０は、音響区間分類手段１０２に入力映像を構成する各音響区間の音響データと入力映像における開始点と終了点の時間位置を入力する（図２のステップＡ０２）。

図１３（ｂ）に、音響区間入力手段１２０が入力する各音響区間の情報の一例として、音響区間Ａ’からＩ’の画像区間群の情報を、表にして示す。各音響区間の情報は、図１３（ｂ）で示す形式であっても、他の形式であっても構わない。

画像区間分類手段１０１は、画像区間入力手段１１０から受け取った複数の画像区間の画像データをもとに画像区間を分類し、複数の画像区間からなる複数の画像区間グループを生成する（ステップＡ０３）。

画像区間分類手段１０１の動作について、図３（ａ）を用いて説明する。

今、画像区間入力手段１１０からの図１３（ａ）に示した画像区間群の情報が入力されたとする。画像区間群は、対象の出現点と消滅点を区切りとした区間であるとする。

各画像区間に含まれる対象の各画像特徴量を抽出した結果、画像特徴量１から画像特徴量１２が抽出されたとする。

画像特徴量としては、予め画像区間分類手段１０１が保持しているテンプレートをもとに画像区間の代表フレームから検出された対象の各画像領域から抽出された色、形状、テクスチャ、大きさのいずれかひとつまたはその組み合わせに基づく特徴量ベクトルを用いても良い。

あるいは、テンプレートを元に画像区間の各フレームから対象の画像領域を検出し、各画像領域から特徴量ベクトルを抽出し、画像区間内の全フレームから抽出された特徴量ベクトルを類似性に基づいて分類し、分類ごとに特徴量ベクトルの平均をとることで生成された特徴量ベクトルを用いても良い。

画像特徴量は、画像区間から検出された１つまたは複数の各対象について抽出される。

画像区間分類手段１０１は、画像特徴量１から１２の類似性をもとに、画像区間ＡからＫを分類し、画像区間グループを生成する。

例えば、画像特徴量の類似性を判定した結果、
画像特徴量が（１、２、４、１２）、（３、５）、（６、７、１１）、（８）、（９、１０）の５つに分類された場合、
画像区間Ａ、Ｃ、Ｄ、Ｊによって、画像区間グループ（１）を生成し、
画像区間Ｃ、Ｄによって画像区間グループ（２）を生成し、
画像区間Ｄ、Ｅ、Ｈによって画像区間グループ（３）を生成し、
画像区間Ｅによって画像区間グループ（４）を生成し、
画像区間Ｇ、Ｈによって画像区間グループ（５）を生成する。

音響区間分類手段１０２は、音響区間入力手段１２０から受け取った複数の音響区間の音響データをもとに音響区間を分類し、複数の音響区間からなる複数の音響区間グループを生成する（ステップＡ０４）。

音響区間分類手段１０２の動作について、図３（ｂ）を用いて説明する。

今、音響区間入力手段１２０からの図１３（ｂ）に示した画像区間群の情報が入力されたとする。

音響区間群は、対象に関する音響の出現点と消滅点を区切りとした区間であるとする。 各音響区間に含まれる対象の各音響特徴量を抽出した結果、音響特徴量１’から音響特徴量１０’が抽出されたとする。

音響特徴量としては、予め音響区間分類手段１０２が保持しているテンプレート波形をもとに抽出された、対象に関する音響の各周波数成分を特徴量ベクトルとして用いても良い。

音響特徴量は、音響区間から検出された１つまたは複数の各対象に関する音響について抽出される。

音響区間分類手段１０２は、音響特徴量１’から１０’の類似性をもとに画像区間Ａ’からＩ’を分類し、音響区間グループを生成する。例えば、音響特徴量の類似性を判定した結果、音響特徴量が（１’、２’、４’、９’）、（３’、５’、７’、８’）、（６’ 、１０’）の３つに分類された場合、
音響区間Ｂ’、Ｄ’、Ｆ’、Ｈ’によって音響区間グループ（１）’を生成し、
音響区間Ｄ’、Ｆ’、Ｇ’、Ｈ’によって音響区間グループ（２）’を生成し、
音響区間Ｆ’、Ｉ’によって音響区間グループ（３）’を生成する。

区間グループ間スコア算出手段１０３は、画像区間グループに属する画像区間群の開始点および終了点の時間位置と音響区間グループに属する音響区間群の開始点および終了点の時間位置から得られる、画像区間グループと音響区間グループが同時に存在する時間をもとに、各画像区間グループと各音響区間グループの類似性のスコアを算出する（ステップＡ０５）。

区間グループ間スコア算出手段１０３の動作を、図４を用いて説明する。

画像区間グループ（１）と音響区間グループ（１）’との間で算出されるスコアは、
（ＴＣ’―ＴＣ）＋（ＴＥ−ＴＤ’）
となる。

また、画像区間グループ（１）と音響区間グループ（３）’との間で算出されるスコアは、
（ＴＫ−ＴＪ）
となる。

同様にして他の画像区間グループと音響区間グループとの間で算出されるスコアを、図１４に示す。

また、図１４に、同一順位のスコアを破線で囲み、各スコアの順位を示す。

区間グループ対応判定手段１０４は、区間グループ間スコア算出手段１０３から入力されたスコア群をもとに、画像区間グループに含まれる対象と音響区間グループに含まれる対象の同一性を判定し、同一対象を含むと判定された画像区間グループと音響区間グループとを対応付ける（ステップＡ０６）。

区間グループ対応判定手段１０４に、図４で示した画像区間グループと音響区間グループと、図１４で示したスコア群が入力された場合の動作を説明する。

画像区間グループは、画像区間群の時間長の総計が長い順に、（１）→（３）→（５）→（２）→（４）であるので、この順で音響区間グループと対応付ける。

まず、画像区間グループ（１）は、音響区間グループ（１）’と最大スコアを算出する。

しかし、音響区間グループ（１）’は画像区間グループ（３）とのスコアのほうが高いため、画像区間グループ（１）とは対応付けない。

そこで、画像区間グループ（１）は、次にスコアが高く、他の画像区間グループとのスコアが低い音響区間グループ（３）’と対応付ける。

画像区間グループ（３）は、音響区間グループ（２）’と最大スコアを算出するが、音響区間グループ（２）’は画像区間グループ（５）とのスコアのほうが高いため対応付けない。

そこで、次にスコアの高い音響区間グループ（１）’と対応付ける。

画像区間グループ（５）は、最大スコアを算出する音響区間グループ（２）’と対応付ける。

画像区間グループ（２）は、音響区間グループ（１）’と最大スコアを算出するが、音響区間グループ（１）’は画像区間グループ（３）とのスコアのほうが高いため対応付けない。また、他のどの音響区間グループともスコアが低いため、どの音響区間グループとも対応付けない。

音響区間グループ（４）は、どの音響区間グループともスコアが低いため、どの音響区間グループとも対応付けない。

判定結果出力手段１３０は、区間グループ対応判定手段１０４から入力された各画像区間グループと各音響区間グループの対応判定結果を出力する（ステップＡ０７）。

出力の形式は、図１５に示すように、画像区間群と音響区間群を対応付けた表を提示しても良い。あるいは、対応付けられた画像区間群と音響区間群を合成して生成した新規映像を提示あるいは蓄積してもよいし、他の形式であっても構わない。

次に、本実施の形態の効果について説明する。

上記関連技術では、ある音響区間群とある画像区間群との対応を判定する際にその音響区間群とその画像区間群の発生パターンのみをもとに判定し、その音響区間群と他の画像区間群との発生パターンの相関を考慮しないため、音響区間群の発生パターンと類似する発生パターンの画像区間群が複数存在する場合に、複数の画像区間群が互いに異なる対象に関する区間であっても同じ音響区間に誤って対応付けていた。

これに対して、本実施の形態では、音響区間群と同時に出現する画像区間群を対応付ける際に、その画像区間群と他の音響区間群との間で算出されるスコアを考慮して対応付ける。

これにより、音響区間群の発生パターンと類似する発生パターンの画像区間群が複数存在する場合に、同一対象についての音響区間群と画像区間群を対応付けられるという効果がある。

また、関連技術においては、時間的に近接して出現する異なる対象に関する画像区間群と音響区間群とを、誤って対応付けてしまう。

これに対し、本実施の形態では、画像区間グループと音響区間グループが、映像中で同時に存在する時間をもとに算出されるスコア群をもとに対応付ける。これにより、時間的に近接して出現する異なる対象に関する画像区間群と音響区間群との誤った対応付けを防げるという効果がある。

＜第２の実施の形態＞
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。

図５を参照すると、本発明の第２の実施の形態は、記憶手段２３０を有する点で第１の実施の形態と異なる。記憶手段２３０は、判定結果記憶手段２３１を備えている。

判定結果記憶手段２３１は、区間グループ対応判定手段２０４から逐次入力される各画像区間グループと各音響区間グループとの対応判定の結果を記憶する。

また、判定結果記憶手段２３１は、記憶した対応判定の結果を、区間グループ対応判定手段２０４に入力する。

区間グループ対応判定手段２０４は、区間グループ間スコア算出手段２０３から受け取ったスコア群と、判定結果記憶手段２３１から入力される各画像区間群と各音響区間群との対応判定結果をもとに、画像区間グループと音響区間グループとの対応関係を判定する。判定結果を、判定結果記憶手段２３１に入力する。

対応関係の判定方法としては、複数の画像区間グループ群と複数の音響区間グループ群との間で算出されたスコア群の中で、最大スコアを算出する画像区間グループに含まれる対象と音響区間グループに含まれる対象の同一性を判定し、画像区間グループと音響区間グループとを１対１で対応付けてもよい。

また、画像区間グループを構成する画像区間群の長い順あるいは区間数の多い順に、各画像区間グループと、その画像区間グループとのスコアが所定の閾値以上でかつ他の画像区間グループと同一対象を含むとして対応付けられていない音響区間グループとを対応付けても良い。

また、各画像区間グループとその画像区間グループについてのスコア群の中で最大かつ所定の閾値以上のスコアを算出する音響区間グループとを対応付け、各音響区間グループとその音響グループについてのスコア群の中で最大かつ所定の閾値以上のスコアを算出する画像区間グループとを対応付けた結果をもとに、音響区間グループと対応付けられた画像区間グループと、その画像区間グループが対応付けられた音響区間グループとを対応付けることによって、画像区間グループ群と音響区間グループ群を対応付けてもよい。

上記の対応関係の判定方法を利用して、画像区間グループと音響区間グループとを１対１で対応付けても、１対多で対応付けても、多対多で対応付けても良い。

次に、図５及び図６のフローチャートを参照して、本実施の形態の全体の動作について詳細に説明する。

図６のステップＢ０１―Ｂ０５およびＢ０９で示される本実施の形態における画像区間入力手段２１０、音響区間入力手段２２０、画像区間分類手段２０１、音響区間分類手段２０２、区間グループ間スコア算出手段２０３の動作は、第１の実施の形態の各手段１１０、１２０、１０１、１０２、１０３の動作と同一のため、説明は省略する。

区間グループ対応判定手段２０４は、まず、対応関係を判定する画像区間グループと音響区間グループの組を選択し、選択された区間グループが既に他の区間グループと対応付けられているか否かを判定結果記憶手段２３１から読み出す（ステップＢ０６）。

区間グループ対応判定手段２０４は、区間グループ間スコア算出手段２０３から入力された各画像区間グループと各音響区間グループとの対応関係のスコアと、判定結果記憶手段２３１から入力された各画像区間グループと各音響区間グループとの対応付け結果をもとに、選択した画像区間グループと音響区間グループの組みの対応関係を判定する（ステップＢ０７）。

区間グループ対応判定手段２０４は、選択した画像区間グループと音響区間グループの組みの対応関係を判定結果記憶手段２３１に入力し、判定結果記憶手段２３１は入力された判定結果を記憶する（ステップＢ０８）。

区間グループ対応判定手段２０４は、画像区間分類手段２０１および音響区間分類手段２０２の分類精度に応じて、以下のように対応関係の判定方式を変更してもよい。

（A）画像区間分類および音響区間分類の性能がともに良い場合、図４および図１４に示した画像区間グループおよび音響区間グループとスコア群が入力されたとする。

画像区間分類および音響区間分類の性能が良いので、画像区間グループ（１）から（５）は互いに異なる対象についての区間グループであり、音響区間グループ（１）’から（３）’は互いに異なる対象についての区間グループである。

これらの区間グループ群の間で算出されたスコア群をもとに、最大スコアを算出する画像区間グループと音響区間グループの組から順に１対１で対応付ける。

まず、最大スコアを算出する画像区間グループ（５）と音響区間グループ（２）’とを対応付け、判定結果記憶手段２３１に記憶する。

２番目に大きいスコアの画像区間グループ（３）と音響区間グループ（２）’の組については、判定結果記憶手段２３１より音響区間グループ（２）’が既に画像区間グループ（５）と対応付けられているため、対応付けを行わない。

３番目に大きいスコアの画像区間グループ（３）と音響区間グループ（１）’と対応付けて判定結果記憶手段２３１に記憶する。

４番目に大きいスコアの画像区間グループ（１）と音響区間グループ（１）’および画像区間グループ（２）と音響区間グループ（１）’については、判定結果記憶手段２３１より音響区間グループ（１）’が既に画像区間グループ（３）と対応付けられているため、対応付けを行わない。

５番目に大きいスコアの画像区間グループ（１）と音響区間グループ（３）’とを対応付けて判定結果記憶手段２３１に記憶する。これで、全ての音響区間グループについて対応付けが完了したので、処理を終了する。

上記の処理により、画像区間グループと音響区間グループを１対１で対応付けられる。これにより、ある画像区間グループと同一対象に関する音響区間として対応付けられた音響区間グループを、他の画像区間グループと対応付けることを防げるため、異なる対象に関する区間グループの誤った対応付けを防ぐ効果がある。

（B）画像区間分類および音響区間分類のいずれか一方の分類性能が良い場合、画像区間分類の性能が良い場合について説明する。

図４および図１４に示した画像区間グループおよび音響区間グループとスコア群が入力されたとする。

画像区間分類の性能が良いので、画像区間グループ（１）から（５）は互いに異なる対象についての区間グループである。

一方、画像区間分類の性能が悪く、音響区間グループ（１）’と（２）’は、同じ対象に関する区間グループであるとする。

これらの画像区間グループについて、画像区間グループを構成する画像区間群の長い順に、その画像区間グループとのスコアが閾値以上でかつ他の画像区間グループと対応付けられていない音響区間グループとを対応付ける。

スコアの閾値は、区間の対応付けを制御するもので、値を大きくするにつれて誤った対応付けを減らすことができる。

画像区間グループは、画像区間群の時間長の総計が長い順に、（１）→（３）→（５）→（２）→（４）であるので、この順で音響区間グループと対応付ける。

まず、画像区間グループ（１）は、音響区間グループ（１）’と最大スコアを算出するが、スコアが閾値以下であるために対応付けを行わない。

画像区間グループ（３）は、音響区間グループ（１）’と（２）’の間で閾値以上のスコアを算出する。

そこで、画像区間グループ（３）は音響区間グループ（１）’と（２）’を対応付け、判定結果記憶手段２３１に記憶する。

画像区間グループ（５）は音響区間グループ（２）’と閾値以上のスコアを算出するが、判定結果記憶手段２３１より音響区間グループ（２）’は既に画像区間グループ（５）と対応付けられているため、対応付けない。

画像区間グループ（２）と（４）は、いずれの音響区間とも閾値以上のスコアを算出しないため対応付けない。

これで、全ての画像区間グループについて対応付けが完了したので、処理を終了する。

上記の処理により、画像区間グループと音響区間グループを１対多で対応付けられる。

これにより、同一の対象についての音響区間グループ群を、同一の対象に関する画像区間グループに対応付けることができる。

また、スコアの閾値を制御することにより、異なる対象に関する区間グループの誤った対応付けを防ぐことができる。

（C）画像区間分類および音響区間分類がともに分類性能が悪い場合、図４および図１４に示した画像区間グループおよび音響区間グループとスコア群が入力されたとする。

画像区間分類の性能が悪く、画像区間グループ（３）と（５）は、同じ対象に関する区間グループであるとする。

また、音響区間グループ（１）’と（２）’は、同じ対象に関する区間グループであるとする。

これらの各画像区間グループとその画像区間グループについてのスコア群の中で最大かつ所定の閾値以上のスコアを算出する音響区間グループとを対応付け、各音響区間グループとその音響グループについてのスコア群の中で最大かつ所定の閾値以上のスコアを算出する画像区間グループとを対応付けた結果をもとに、音響区間グループと対応付けられた画像区間グループと、その画像区間グループが対応付けられた音響区間グループとを対応付ける。

スコアの閾値は、区間の対応付けを制御するもので、値を大きくするにつれて誤った対応付けを減らすことができる。

図７を参照して、対応判定の流れを説明する。

まず、各画像区間グループについて、最大スコアを算出する音響区間グループと対応付ける。

画像区間グループ（１）は、最大かつ閾値以上のスコアを算出する音響区間グループがないので、いずれの音響区間グループとも対応付けない。同様に、画像区間グループ（２）、（４）も対応付けない。

画像区間グループ（３）は、閾値以上かつ最大スコアを算出する音響区間グループ（２）’と対応付け、判定結果記憶手段２３１に記憶する。

画像区間グループ（５）は、閾値以上かつ最大スコアを算出する音響区間グループ（２）’と対応付け、判定結果記憶手段２３１に記憶する。

図７では、以上の対応関係を実線矢印で示す。

次に、各音響区間グループについて、最大スコアを算出する画像区間グループと対応付け、判定結果記憶手段２３１に記憶する。

音響区間グループ（１）’は画像区間グループ（３）と対応付け、
音響区間グループ（２）’は画像区間グループ（５）と対応付け、
判定結果記憶手段２３１に記憶する。

音響区間グループ（３）’はいずれの画像区間グループとも対応付けない。

図７では、以上の対応関係を破線矢印で示す。

判定結果記憶手段２３１に記憶された対応関係によって結び付けられた区間グループ群、すなわち、図７において矢印で結び付けられた画像区間グループ群（３）と（５）および音響区間グループ群（１）’と（２）’は、同一対象の区間グループとして対応付ける。

以上で、判定処理を終了する。

上記の処理により、画像区間グループと音響区間グループを多対多で対応付けられる。これにより、同一の対象についての画像区間グループ群および音響区間グループ群を対応付けることができる。

また、スコアの閾値を制御することにより、異なる対象に関する区間グループの誤った対応付けを防ぐことができる。

次に、本発明の第２の実施の形態の作用効果について説明する。

関連技術では、ある音響区間群とある画像区間群との対応を判定する際に、その音響区間群とその画像区間群の発生パターンのみをもとに判定し、その音響区間群と他の画像区間群との発生パターンの相関を考慮しないため、音響区間群の発生パターンと類似する発生パターンの画像区間群が複数存在する場合に、複数の画像区間群が互いに異なる対象に関する区間であっても同じ音響区間に誤って対応付けていた。

これに対し、本実施の形態では、音響区間群と同時に出現する画像区間群を対応付ける際に、その画像区間群と他の音響区間群との間で算出されるスコアを考慮して対応付ける。これにより、音響区間群の発生パターンと類似する発生パターンの画像区間群が複数存在する場合に、同一対象についての音響区間群と画像区間群を対応付けられるという効果がある。

また、関連技術では、時間的に近接して出現する異なる対象に関する画像区間群と音響区間群とを、誤って対応付けてしまう。これに対し、本実施の形態では、画像区間グループと音響区間グループが、映像中で同時に存在する時間をもとに算出されるスコア群をもとに対応付ける。これにより、時間的に近接して出現する異なる対象に関する画像区間群と音響区間群との誤った対応付けを防げるという効果がある。

また、関連技術では、画像区間群同士の相関および音響区間同士の相関を考慮しない。そのため、画像区間分類あるいは音響区間分類の結果、同一対象に関する画像区間群が複数生成される場合や音響区間群が複数生成される場合に、同一対象に関する複数の画像区間群と複数の音響区間群を対応付けられなかった。

これに対し、本実施の形態では、複数の画像区間群と複数の音響区間群との間で算出されるスコア群を利用して、音響区間グループと画像区間グループまたは音響区間グループと音響区間グループとを対応付けて、画像区間グループ群および音響区間グループ群を生成し、生成された画像区間グループ群と音響区間グループ群とを対応付ける。

これにより、画像区間分類あるいは音響区間分類の結果、同一対象に関する画像区間群が複数生成される場合や音響区間群区間が複数生成される場合であっても、同一対象に関する複数の画像区間群と複数の音響区間群とを対応付けられるという効果がある。

＜第３の実施の形態＞
次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。図８を参照すると、本発明の第３の実施の形態は、本発明の第１の実施の形態と同様に、画像区間入力手段、音響区間入力手段、データ処理装置、判定結果出力手段を備える。

画像音響区間群対応付け用プログラム３４０は、データ処理装置３００に読み込まれ、データ処理装置３００の動作を制御し、画像区間入力手段３１０と音響区間入力手段３２０から入力される画像区間群と音響区間群をもとに、データ処理装置３００の手段によって得られた判定結果を、判定結果出力手段３３０に出力する。データ処理装置３００は、画像音響区間群対応付け用プログラム３４０の制御により第１の実施の形態におけるデータ処理装置１００による処理と同一の処理を実行する。

＜第４の実施の形態＞
次に、本発明の第４の実施の形態について図面を参照して詳細に説明する。図９を参照すると、本発明の第４の実施の形態は、本発明の第２の実施の形態と同様に、画像区間入力手段、音響区間入力手段、データ処理装置、記憶手段を備える。

画像音響区間群対応付け用プログラム４４０は、データ処理装置４００に読み込まれ、データ処理装置４００の動作を制御し、画像区間入力手段４１０と音響区間入力手段４２０から入力される画像区間群と音響区間群をもとに、データ処理装置４００の手段によって得られた判定結果を、記憶手段４３０に出力する。データ処理装置４００は、画像音響区間群対応付け用プログラム４４０の制御により第２の実施の形態におけるデータ処理装置２００による処理と同一の処理を実行する。

次に、具体的な実施例を用いて本発明を実施するための実施の形態の動作を説明する。 実施例１は、前記第１の実施の形態に対応するものである。

実施例１では、本発明の画像音響区間群対応付け装置を、複数の観光スポットに関するビデオクリップについて、各観光スポットに関する画像区間と各観光スポットに関する音響との対応付けに利用した例を示す。本実施例において対応付けるとは、ある観光スポットに関する画像区間群と、ある観光スポットに関する音響区間群について、画像区間群と音響区間群とが同一の観光スポットに関する区間か否かを判定することを指す。

図１０に示すように、本実施例では、図１の画像区間入力手段１１０として映像入力端子を、音響区間入力手段１２０として音響入力端子を、データ処理装置１００としてパーソナル・コンピュータを、判定結果出力手段１３０としてディスプレイを備えている。

データ処理装置１００をなすパーソナル・コンピュータは、画像区間分類手段１０１と音響区間分類手段１０２と区間グループ間スコア算出手段１０３と区間グループ対応判定手段１０４として機能する中央演算装置を有している。

今、映像入力端子１１０から画像区間群が、音響入力端子１２０から音響区間群が、それぞれ入力映像における開始時刻および終了時刻の情報とともに入力されたとする。

画像区間群と音響区間群はそれぞれ同一のビデオクリップを構成する画像情報と音響情報であり、各画像区間は入力映像をカットで分割することで生成された区間であり、各音響区間は入力映像を無音点で分割した単位音響とする。

画像区間分類手段１０１は、入力された各画像区間から代表画像を選択し、代表画像の類似性に基づいて画像区間群を分類して、画像区間グループを生成する。各画像区間グループに属する画像区間群の開始点および終了点の時間位置および画像データを、区間グループ間スコア算出手段１０３に入力する。

代表画像の選択方法および類似性判定の方式として、たとえば画像区間の中で最も動きが小さくボケの小さい鮮明な画像を選択し、画像を領域分割し、分割された領域間の色や形状や動きの類似性をもとに画像区間群を分類するようにしてもよい。

動きの大小は、連続フレーム間で共通する特徴点の推移から動きベクトルを検知し、動きベクトルの大小によって判定する。

ボケの大小は、部分領域中に含まれる高周波成分の量によって判定する。こうして選択された領域分割に適した画像の各領域間の類似性を利用することで、画像区間群を精度よく分類できる。

また別の方式として、区間の中で最も頻度の多く現れる画像領域を含む画像フレームを選択し、抽出された画像領域の類似性をもとに画像区間群を分類するようにしてもよい。

頻度の多く現れる画像領域は、例えば画像区間を構成するフレーム群を領域分割し、各領域を各画像特徴量の類似性を利用して分類し、最も多くの画像フレームから検出された領域とする。

例えば、ヤシの木と海が各ショットに出現するハワイの映像と、ビルと車が各ショットに出現するニューヨークの映像によって構成されたビデオクリップについては、ハワイの画像区間群からは青色の静止領域と緑色と茶色が上下に位置した静止領域が抽出され、ニューヨークの画像区間群からは灰色の静止した矩形領域や、様々な色の動領域が抽出される。この領域の色や形状や動きに基づく特徴量の類似性から、画像区間を分類できる。画像区間群の分類手法として上記の例を用いても、他の手法を適用しても構わない。

上記の方式を用いた場合、海、ヤシの木、ビル、車の領域が検出できない場合や、領域から抽出される色、形状、動きなどの画像特徴量がショットによって異なる場合には、画像区間グループが必ずしも正しく分類できない。

分類結果の１例を、図１１に示す。図１１において、入力映像中でハワイおよびニューヨークの内容を表す映像区間を白抜き矢印で示す。

音響区間分類手段１０２は、入力された各音響区間から抽出された音響特徴量の類似性をもとに音響区間群を分類して、音響区間グループを生成する。

各音響区間グループに属する音響区間群の開始点および終了点の時間位置および音響データを、区間グループ間スコア算出手段１０３に入力する。

音響区間の類似判定としては、たとえば、音響区間からナレーターの声を除去してＢＧＭを抽出し、ＢＧＭのリズム、主要な楽器、メロディをもとに、類似性の高い区間を分類する。たとえば、ＢＧＭに主要楽器がウクレレでテンポの緩やかな楽曲が使われているハワイの映像と、ＢＧＭに主要楽器がピアノでテンポの速い楽曲が使われているニューヨークの映像によって構成されたビデオクリップについては、周波数特性やリズムの速度によってニューヨークおよびハワイの音響区間群を分類できる。音響区間群の分類手法として上記の例を用いても、他の手法を適用しても構わない。

上記の手法を用いた場合、区間長が短い場合に十分な特徴量が得られず、図１１のように、音響区間分類が失敗する場合がある。

区間グループ間スコア算出手段１０３は、画像区間グループに属する画像区間群の開始点および終了点の時間位置と音響区間グループに属する音響区間群の開始点および終了点の時間位置から得られる、画像区間グループと音響区間グループが同時に存在する時間をもとに、各画像区間グループと各音響区間グループの類似性のスコアを算出し、算出したスコア群を、区間グループ対応判定手段１０４に入力する。

区間グループ対応判定手段１０４は、区間グループ間スコア算出手段１０３から入力されるスコア群を利用して、画像区間グループ中の対象と音響区間グループの対象の同一性を判定する。

区間グループ対応判定手段１０４は、対象の同一性をもとに画像区間グループと音響区間グループを対応付け、対応付けられた各グループに属する区間群の出現時間および画像データを、ディスプレイ１３０に出力する。

区間グループ間スコア算出手段１０３から、図１１のような画像区間グループ群と音響区間グループ群が入力されたとする。画像区間グループは、画像区間群の時間長の総計が長い順に、（４）→（１）→（５）→（２）→（３）であるので、この順で音響区間グループと対応付ける。

まず、画像区間グループ（４）は、最大スコアを算出しかつ他の画像区間グループとのスコアが所定閾値以下である音響区間グループ（２）’と対応付ける。

画像区間グループ（１）も同様に、音響区間グループ（１）’と対応付ける。

画像区間グループ（５）は、音響区間グループ（２）’と最大スコアを算出するが、音響区間グループ（２）’は画像区間グループ（４）と閾値以上のスコアを算出するので対応付けない。

画像区間グループ（２）は、音響区間グループ（１）’と最大スコアを算出する。

音響区間グループ（１）’は他のいずれの画像区間とのスコアも閾値以下なので、画像区間グループ（２）と音響区間グループ（１）’を対応付ける。

同様に、画像区間グループ（３）と音響区間グループ（１）’を対応付ける。

結果として、画像区間グループ（１）、（２）、（３）を音響区間グループ（１）’と、画像区間グループ（５）を音響区間グループ（２）’と対応付ける。

ディスプレイ１３０は、区間グループ対応判定手段１０４から画像区間グループと音響区間グループの対応判定結果をもとに、対応付けられた画像区間と音響区間の時間を表示する。

図１５で示した表形式でも良いし、他の表示形式を用いても良い。

また、図１５をもとに対応付けされた画像区間グループと音響区間グループについて、その画像区間グループに属する画像データとその音響区間グループに属する音響データとを合成して新規映像を生成することによって、各観光スポットについての要約映像を容易に生成し視聴できる。

実施例２では、本発明の画像音響区間群対応付け装置を、複数の出演者が登場するドラマ映像について、各出演者に関する画像区間群と各出演者に関する音響区間群とを対応付けるために利用した例を示す。

本実施例において「対応付ける」とは、ある出演者の顔画像を含む画像フレームで構成された画像区間群と、ある出演者の声を含む音響区間群について、画像区間群と音響区間群とが同一の出演者に関する区間か否かを判定することを指す。

図１２に示すように、本実施例では、画像区間入力手段２１０として映像入力端子を、音響区間入力手段２２０として音声入力端子を、データ処理装置２００としてパーソナル・コンピュータを、記憶手段２３０としてハードディスクを備えている。

パーソナル・コンピュータ１００は、画像区間分類手段（顔区間分類手段）２０１と、音響区間分類手段（音声区間分類手段）２０２と区間グループ間スコア算出手段２０３と区間グループ対応判定手段２０４として機能する中央演算装置を有している。

今、映像入力端子２１０から画像区間群が、音声入力端子２２０から音響区間群が、それぞれ区間の開始時刻および終了時刻の情報とともに入力されたとする。

画像区間群と音響区間群はそれぞれ同一の番組を構成する画像情報と音響情報であり、各画像区間は映像の画像情報を人物の顔の出現点と消滅点によって区切ることで生成された区間であり、各音響区間は映像を人物の声の出現点と消滅点によって区切ることで生成された区間とする。

画像区間分類手段２０１は、各画像区間の代表フレームから１人または複数人の顔を検出し、検出された顔の類似性をもとに画像区間を分類して顔区間グループを生成する。各画像区間は複数の顔区間グループに分類されてもよい。

画像区間分類手段２０１は、各顔区間グループに属する画像区間群の開始点および終了点の時間位置および画像データを、区間グループ間スコア算出手段２０３に入力する。

顔検出として、顔画像全体から得られる情報を利用する手法がある。例えば様々な人物の顔画像をテンプレートとして記憶し、各画像フレームの部分領域を幾何学変換してテンプレートの差分がある閾値以下になるとき、その部分領域を顔と判定する手法が挙げられる。また、肌色などの色情報や、エッジの方向や密度を組み合わせた顔モデルを予め記憶しておき、画像フレームからモデルに類似した領域が検出された場合に、その領域を顔と判定する手法を用いてもよい。

また、非特許文献２に示されるように、顔（頭部）の輪郭が楕円、目や口が細長の形状をしていることを利用して作成したテンプレートを用いて顔を検出する手法や、頬や額の部分は輝度が高く、目や口の部分の輝度は低いという輝度分布の特性を利用する手法や、顔の対称性や肌色領域と位置を利用する手法を用いてもよい。

また、大量の人物顔と非顔の学習サンプルから得られた特徴量分布を統計的に学習し、入力画像から得られる特徴量が顔と非顔のどちらの分布に属するかを判定する手法として、ニューラルネットやサポートベクターマシン、ＡｄａＢｏｏｓｔ法などを利用した手法が挙げられる。上記の例あるいは他の手法を用いることで、画像フレームから人物の顔を検出できる。

顔の検出手法として、上記の例を利用しても他の手法を適用してもよいことは勿論である。

各画像区間から検出された顔の類似性は、たとえば各顔から抽出された顔特徴量ベクトルの差分によって求められる。特徴量ベクトルとして、非特許文献３に示されるように、顔の構造に関する知識を活用して目・鼻・口の形状や位置関係などを数値的に記述した特徴ベクトルや、顔の各画素の濃淡値の２次元配列として表現される特徴ベクトル、顔の各特徴点においてウェーブレット変換を施すことで得られるパターンの局所的な周期性とその方向性を表現可能なＧａｂｏｒ ｊｅｔと呼ばれる特徴ベクトルなどが挙げられる。顔の特徴量として、上述の例を利用しても他の手法を適用してもよい。

音響区間分類手段２０２は、各音響区間から人物の声を検出し、検出された音声の類似性をもとに音声区間を分類して音声区間グループを生成する。各音響区間は複数の音声区間グループに分類されてもよい。

各音声区間グループに属する音響区間群の開始点および終了点の時間位置および音響データを、区間グループ間スコア算出手段に入力する。

声の検出には、音声認識を利用した方式が挙げられる。例えば、様々な人の声の音声信号と、様々な楽曲の音声信号をもとに、人の声と楽曲の違いを学習し、入力された音声区間を特性の似ている方に分類する。

別の方式として、予めドラマ映像で用いられる挿入歌やＢＧＭなどの音響を保持しておく。

人の声とＢＧＭが重畳した音声信号が入力された際には、入力信号に含まれる周波数特性と最も類似するＢＧＭを選択し入力信号との差分をとることによって、人の声を検出できる。声の類似性は、各音響区間から抽出された声紋、話速、性別推定結果、年齢推定結果などの声特徴量をもとに判定できる。声の検出および類似性判定に、上記の手法を用いても他の手法を適用してもよい。

区間グループ間スコア算出手段２０３は、顔区間グループに属する画像区間群の開始点および終了点の時間情報と音声区間グループに属する音響区間群の開始点および終了点から得られる、顔区間グループと音声区間グループが同時に存在する時間をもとに、各顔区間グループと各音声区間グループの類似性のスコアを算出する。

画像区間分類手段２０１から得られる顔情報や、音響区間分類手段２０２から得られる声情報をもとにスコアを重み付けても良い。

顔情報としては、画像区間分類手段において分類の基準となった顔の画像フレーム上の位置、大きさ、向きが挙げられる。声情報としては、音響区間分類手段２０２において分類の基準となった声の大きさ、明瞭性が挙げられる。

例えば、画面上でのサイズが大きく、向きが正面の顔の人物が、その時刻に検出された明瞭な声の話者である可能性が高いことから、上記に挙げた顔情報および声情報をもとにスコアを重み付けることにより、顔区間グループと音声区間グループの対応付け精度の向上が期待できる。

算出されたスコア群と、顔区間グループおよび音声区間グループの時間位置および画像データを、区間グループ対応判定手段に入力する。

区間グループ対応判定手段２０４は、区間グループ間スコア算出手段２０３から入力されるスコア群の中で最大スコアを算出する顔区間グループと音声区間グループの組から順に区間グループに含まれる対象の同一性を判定し、顔区間グループと音声区間グループとを１対１で対応付ける。

顔区間グループと音声区間グループの対応判定結果と、各顔区間グループに属する顔区間群の画像データと各音声区間グループに属する音響区間群の音響データを判定結果記憶手段２３１に入力する。

判定結果記憶手段２３１は、区間グループ対応判定手段２０４から入力される各区間グループの対応判定結果を保存する。対応判定結果は、例えば図１５に示したように対応する画像区間群と音響区間群を対応表にまとめたものであっても、他の形式であっても構わない。

利用者は、同一の出演者を含むとして対応付けられた画像区間グループと音響区間グループの画像データと音響データをもとに、各出演者の顔と声の検索用辞書を作成することができる。この辞書を利用して、映像から指定人物の顔や声の出現箇所を容易に検索できる。

また、利用者は、同一の出演者を含むとして対応付けられた画像区間グループと音声区間グループの画像データと音響データを合成して新規映像を生成し、出演者把握用のショートクリップとして視聴することができる。

さらに、各出演者についての顔区間に含まれる顔画像の位置、大きさ、向きや、音響区間に含まれる声の明瞭性、大きさをもとに、代表区間を選択して新規映像を生成することによって、より短くて顔と声の把握に効果的なショートクリップを実現できる。

また、利用者は、同一の出演者を含むとして対応付けられた画像区間グループと音声区間グループの各組み合わせについて、画像データと音響データを合成してそれぞれ新規映像を生成し、各新規映像から選択された代表画像を表示することによって、出演者の一覧を生成することができる。

また、利用者が指定した代表画像が抽出された新規映像を再生することにより、利用者に所望の出演者のショートクリップを提供できる。

本発明によれば、映像中の対象に関する画像と音響を把握可能なショートクリップを生成するため、画像および音響を利用した対象の検索用辞書を生成するために、同一対象に関する画像と音響を対応付ける画像音響区間群対応付け装置や、画像音響区間群対応付け装置をコンピュータに実現するためのプログラムといった用途に適用できる。また、ドラマ映像において、各出演者の顔と声を把握できる出演者紹介用ショートクリップの生成や、各出演者を含む画像の一覧の生成や、出演者の顔と声を対応付けた出演者の検索用辞書の生成にも利用できる。

なお、上記の特許文献、非特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。

Claims (27)

1. （ａ）入力映像を分析して、同一対象を含む画像区間群からなる画像区間グループを複数生成する画像区間分類ステップと、
   （ｂ）前記入力映像を分析して、同一対象を含む音響区間群からなる音響区間グループを複数生成する音響区間分類ステップと、
   （ｃ）前記画像区間グループと前記音響区間グループの少なくとも一方が存在する時間をもとに、各画像区間グループと各音響区間グループの類似性のスコアを算出する区間グループ間スコア算出ステップと、
   （ｄ）前記スコア群を利用して、前記画像区間グループ中の対象と前記音響区間グループ中の対象の同一性を判定する区間グループ対応判定ステップを含む、ことを特徴とする画像音響区間群対応付け方法。
2. 前記ステップ（ｃ）において、前記画像区間グループと前記音響区間グループが同時に存在する時間をもとに、各画像区間グループと各音響区間グループの類似性のスコアを算出する、ことを特徴とする請求項１記載の画像音響区間群対応付け方法。
3. 前記ステップ（ａ）において、前記入力映像中の各画像区間から、対象物の画像特徴量を抽出し、対象物の画像特徴量が類似する複数の画像区間を同一の画像区間グループに分類し、
   前記ステップ（ｂ）において、前記入力映像中の各音響区間から、対象物の音響特徴量を抽出し、対象物の音響特徴量が類似する複数の音響区間を同一の音響区間グループに分類する、ことを特徴とする請求項１又は２に記載の画像音響区間群対応付け方法。
4. 前記ステップ（ａ）において、前記入力映像中の各画像区間がそれぞれ１つの画像区間グループに属し、重複して複数の画像区間グループに属さないように分類し、
   前記ステップ（ｂ）においては、前記入力映像中の各音響区間がそれぞれ１つの音響区間グループに属し、重複して複数の音響区間グループに属さないように分類する、ことを特徴とする請求項１乃至３のいずれか1項に記載の画像音響区間群対応付け方法。
5. 前記ステップ（ａ）において、前記入力映像中の画像区間群を分類して生成される画像区間グループの個数と、
   前記ステップ（ｂ）において、前記入力映像中の音響区間群を分類し生成される音響区間グループの個数と、
   が互いに等しい、ことを特徴とする請求項１乃至４のいずれか1項に記載の画像音響区間群対応付け方法。
6. 前記ステップ（ｃ）において、 前記画像区間グループに属する画像区間群と前記音響区間グループに属する音響区間群の一方のみが存在する時間をもとに、各画像区間グループと各音響区間グループの類似性のスコアを算出する、ことを特徴とする請求項１乃至５のいずれか1項に記載の画像音響区間群対応付け方法。
7. 前記ステップ（ｃ）において、各画像区間グループと各音響区間グループの類似性のスコアと、区間から抽出された画像特徴量又は音響特徴量のいずれか一方、又は、これらの組み合わせによって算出された重みを利用して、各画像区間グループと各音響区間グループの類似性のスコアを算出する、ことを特徴とする請求項１乃至６のいずれか1項に記載の画像音響区間群対応付け方法。
8. 前記ステップ（ｄ）において、前記スコア群をもとに、前記画像区間グループに含まれる対象と前記音響区間グループに含まれる対象の同一性を判定し、
   前記画像区間グループと前記音響区間グループとを、
   １対１、１対多、多対多
   の少なくとも１つで対応付ける、ことを特徴とする請求項１乃至７のいずれか1項に記載の画像音響区間群対応付け方法。
9. 前記ステップ（ｄ）において、前記スコア群の中で、
   最大スコアを算出する画像区間グループと音響区間グループの組から順に、又は、
   最大スコアを算出する画像区間グループと音響区間グループの組から順にスコアが所定閾値以上の組について、
   前記画像区間グループに含まれる対象と前記音響区間グループに含まれる対象の同一性を判定し、
   前記画像区間グループと前記音響区間グループとを１対１で対応付ける、ことを特徴とする請求項１乃至８のいずれか１項に記載の画像音響区間群対応付け方法。
10. 前記ステップ（ｄ）において、前記画像区間グループを構成する画像区間群の時間長の長い順または区間数の多い順に、
    各画像区間グループと、
    前記画像区間グループとの間のスコアが最大であり、かつ、他の画像区間グループと対応付けられていないか、あるいは、
    前記画像区間グループとの間のスコアが最大であり、かつ、他の画像区間グループとのスコアが所定の閾値以下となる、音響区間グループと、
    を対応付ける、ことを特徴とする請求項１乃至９のいずれか１項に記載の画像音響区間群対応付け方法。
11. 前記ステップ（ｄ）において、前記音響区間グループを構成する音響区間群の時間長の長い順または区間数の多い順に、
    各音響区間グループと、
    前記音響区間グループとの間のスコアが最大であり、かつ、他の音響区間グループと対応付けられていないか、あるいは、
    前記音響区間グループとの間のスコアが最大であり、かつ、他の音響区間グループとのスコアが所定の閾値以下となる、画像区間グループと、
    を対応付ける、ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像音響区間群対応付け方法。
12. 前記ステップ（ｄ）において、
    複数の各画像区間グループについての各スコア群と、複数の各音響区間グループについての各スコア群について、
    それぞれ最大スコアを算出する画像区間グループと音響区間グループとを対応付ける、ことを特徴とする請求項１乃至１１のいずれか１項に記載の画像音響区間群対応付け方法。
13. 前記ステップ（ｄ）において、前記画像区間グループまたは前記音響区間グループが、いずれの音響区間グループまたは画像区間グループとの間でも所定の閾値以下のスコアを算出する場合には、いずれの音響区間グループまたは画像区間グループとも同一の対象を含まないと判定し、いずれの音響区間グループまたは画像区間グループとも対応付けない、ことを特徴とする請求項１乃至１２のいずれか１項に記載の画像音響区間群対応付け方法。
14. 前記画像区間は、人物の顔の出現と消滅によって映像を区切ることで生成された区間であり、
    前記音響区間は、人物の声の出現と消滅によって映像を区切ることで生成された区間である、ことを特徴とする請求項１乃至１３のいずれか１項に記載の画像音響区間群対応付け方法。
15. 前記画像区間は、同一画像フレーム中に複数の顔が存在する場合に、各顔の出現と消滅によって映像を区切ることで生成された区間であり、
    前記音声区間は、同時刻に複数の人物の声が発声される場合に、各声の出現と消滅によって映像を区切ることで生成された区間である、ことを特徴とする請求項１乃至１４のいずれか１項に記載の画像音響区間群対応付け方法。
16. 前記ステップ（ａ）において、前記入力映像を分析して、同一人物の顔を含む画像区間群からなる顔区間グループを前記画像区間グループとして複数生成し、
    前記ステップ（ｂ）において、前記入力映像を分析して、同一人物の声を含む音響区間群からなる音声区間グループを生成し、
    前記ステップ（ｃ）において、前記顔区間グループと前記音声区間グループが同時に存在する時間をもとに、各顔区間グループと各音声区間グループの類似性のスコアを算出し、
    前記ステップ（ｄ）において、前記スコア群を利用して、顔区間グループ中の人物と音声区間グループ中の人物の同一性を判定する、
    ことを特徴とする請求項１乃至１５のいずれか１項に記載の画像音響区間群対応付け方法。
17. 前記ステップ（ｃ）では、
    顔区間グループと音声グループが同時に存在する時間と、
    各画像区間から抽出された、顔の位置、顔の大きさ、顔の向きの少なくとも１つ、及び、
    各音響区間から抽出された、声の大きさ、声の明瞭性の少なくとも１つを利用して、
    各顔区間グループと各音声区間グループの類似性のスコアを算出する、ことを特徴とする請求項１６記載の画像音響区間群対応付け方法。
18. 前記ステップ（ａ）において、映像を顔の出現および消滅によって区切ることで生成された画像区間群を分類して、同一人物の顔を含む画像区間群からなる顔区間グループを前記画像区間グループとして複数生成し、
    前記ステップ（ｂ）において、映像を声の出現および消滅によって区切ることで生成された音響区間群を分類して、同一人物の声を含む音響区間群からなる音声区間グループを生成し、
    前記ステップ（ｃ）において、前記顔区間グループと前記音声区間グループが同時に存在する時間をもとに、各顔区間グループと各音声区間グループの類似性のスコアを算出し、
    前記ステップ（ｄ）において、前記スコア群の中で最大スコアを算出する顔区間グループと音声区間グループの組から順に、顔区間グループ中の人物と音声区間グループ中の人物の同一性を判定し、顔区間グループと音声区間グループとを１対１で対応付ける、ことを特徴とする請求項１乃至１７のいずれか１項に記載の画像音響区間群対応付け方法。
19. 請求項１乃至１８のいずれか１項に記載の方法のステップを実行する手段を備えた画像音響区間群対応付け装置。
20. 入力映像を分析して、同一対象を含む画像区間群からなる画像区間グループを複数生成する画像区間分類手段と、
    前記入力映像を分析して、同一対象を含む音響区間群からなる音響区間グループを複数生成する音響区間分類手段と、
    各画像区間グループと各音響区間グループの類似性のスコアを算出する区間グループ間スコア算出手段と、
    前記スコア群を利用して、前記画像区間グループ中の対象と前記音響区間グループ中の対象の同一性を判定する区間グループ対応判定手段と、
    を備える、ことを特徴とする画像音響区間群対応付け装置。
21. 前記入力映像中の各画像区間の情報を入力する画像区間入力手段と、
    前記入力映像中の各音響区間の情報を入力する音響区間入力手段と、
    前記画像区間グループと前記音響区間グループとの対応判定結果を出力する判定結果出力手段と、をさらに含み、
    前記画像区間入力手段は、前記入力映像中の各画像区間の画像データと、前記入力映像における各画像区間の開始点と終了点の時間位置を、前記画像区間分類手段に入力し、
    前記音響区間入力手段は、前記入力映像中の各音響区間の音響データと前記入力映像における各音響区間の開始点と終了点の時間位置を前記音響区間分類手段に入力し、
    前記画像区間分類手段は、前記画像区間入力手段から受け取った複数の画像区間の画像データをもとに、画像区間を分類し、複数の画像区間からなる複数の画像区間グループを生成し、前記区間グループ間スコア算出手段に、各画像区間グループに分類された画像区間群の開始点と終了点の時間位置、および画像区間群の各画像データを供給し、
    前記音響区間分類手段は、前記音響区間入力手段から受け取った複数の音響区間の音響データをもとに、音響区間を分類し、複数の音響区間からなる複数の音響区間グループを生成し、前記区間グループ間スコア算出手段に、各音響区間グループに分類された音響区間群の開始点と終了点の時間位置、および音響区間群の各音響データを供給し、
    前記区間グループ間スコア算出手段は、前記画像区間分類手段から受け取った各画像区間グループに分類された画像区間群の各開始点と終了点の時間位置と、前記音響区間分類手段から受け取った各音響区間グループに分類された音響区間群の開始点と終了点の時間位置を利用して、前記画像区間グループと前記音響区間グループの各組み合わせについて類似性のスコアを算出し、前記区間グループ対応判定手段に、前記画像区間グループに属する画像区間群の時間位置および画像データ、前記音響区間グループに属する音響区間群の時間位置および音響データ、および、前記画像区間グループと前記音響区間グループの各組み合わせで算出されたスコア群を供給し、
    前記区間グループ対応判定手段は、前記区間グループ間スコア算出手段から受け取った複数の画像区間グループと複数の音響区間グループとの間で算出されたスコア群をもとに、前記画像区間グループ中の対象と前記音響区間グループ中の対象の同一性を判定し、
    前記判定結果出力手段に、前記画像区間グループに属する画像区間群の時間位置および画像データと、前記音響区間グループに属する音響区間群の時間位置および音響データと、画像区間グループと音響区間グループとの対応判定結果を入力し、
    前記判定結果出力手段は、前記対応判定結果を受けて出力する、ことを特徴とする請求項２０記載の画像音響区間群対応付け装置。
22. 前記区間グループ対応判定手段は、前記区間グループ間スコア算出手段から受け取ったスコア群と、前記判定結果記憶手段から入力される各画像区間群と各音響区間群との対応判定結果をもとに、前記画像区間グループと前記音響区間グループとの対応関係を判定し、判定結果を、前記判定結果記憶手段に入力する、ことを特徴とする請求項２０又は２１記載の画像音響区間群対応付け装置。
23. 前記画像区間分類手段が、前記入力映像を分析して、同一人物の顔を含む画像区間群からなる顔区間グループを前記画像区間グループとして複数生成し、
    前記音響区間分類手段が、前記入力映像を分析して、同一人物の声を含む音響区間群からなる音声区間グループを生成し、
    前記区間グループ間スコア算出手段が、顔区間グループと音声区間グループが同時に存在する時間をもとに、各顔区間グループと各音声区間グループの類似性のスコアを算出し、
    前記区間グループ対応判定手段が、前記スコア群を利用して、前記顔区間グループ中の人物と前記音声区間グループ中の人物の同一性を判定する、ことを特徴とする請求項２０乃至２２のいずれか１項に記載の画像音響区間群対応付け装置。
24. 前記区間グループ間スコア算出手段は、
    前記顔区間グループと前記音声グループが同時に存在する時間と、
    各画像区間から抽出された、顔の位置、顔の大きさ、顔の向きの少なくとも１つ、及び、
    各音響区間から抽出された、声の大きさ、声の明瞭性の少なくとも１つを利用して、
    前記各顔区間グループと前記各音声区間グループの類似性のスコアを算出する、ことを特徴とする請求項２３記載の画像音響区間群対応付け装置。
25. 前記画像区間分類手段が、映像を顔の出現および消滅によって区切ることで生成された画像区間群を分類して、同一人物の顔を含む画像区間群からなる顔区間グループを前記画像区間グループとして生成し、
    前記音響区間分類手段が、映像を声の出現および消滅によって区切ることで生成された音響区間群を分類して、同一人物の声を含む音響区間群からなる音声区間グループを生成し、
    前記区間グループ間スコア算出手段が、前記顔区間グループと前記音声区間グループが同時に存在する時間をもとに、各顔区間グループと各音声区間グループの類似性のスコアを算出し、
    前記区間グループ対応判定手段が、前記スコア群の中で最大スコアを算出する顔区間グループと音声区間グループの組から順に、顔区間グループ中の人物と音声区間グループ中の人物の同一性を判定し、顔区間グループと音声区間グループとを１対１で対応付けることを特徴とする請求項２０乃至２４のいずれか１項に記載の画像音響区間群対応付け装置。
26. 請求項１乃至１８のいずれか１項に記載の方法のステップをデータ処理装置に実行させるプログラム。
27. 入力映像を分析して、同一対象を含む画像区間群からなる画像区間グループを複数生成する画像区間分類処理と、
    前記入力映像を分析して、同一対象を含む音響区間群からなる音響区間グループを複数生成する音響区間分類処理と、
    各画像区間グループと各音響区間グループの類似性のスコアを算出する区間グループ間スコア算出処理と、
    前記スコア群を利用して、前記画像区間グループ中の対象と前記音響区間グループ中の対象の同一性を判定する区間グループ対応判定処理と、
    をデータ処理装置に実行させるプログラム。

Images