JP5276609B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、画像処理装置及びプログラムに関し、特に、スポーツ映像を分析する画像処理分野に関する。

従来、スポーツ映像を分析することにより、選手の行為（例えば、シュート、フリーキック）、チームのフォーメーション、チームの戦術等による分類及び検索を実現する画像処理技術の開発が進められている（非特許文献１，２，３を参照）。

このような画像処理技術のうち、スポーツ選手を自動追跡する手法が知られている。例えば、非特許文献３の手法は、スポーツ選手の配置データを生成するにあたり、ハフ変換によりライン類を抽出し、ワイヤフレーム変形によりラインのフィッティングを行う。しかしながら、この手法では、ハフ変換及びワイヤフレーム変形の計算コストが高く、例えば３秒間の映像処理に対し９０分の計算時間を要してしまう。そこで、計算コストの軽減を目的にした離散的検索により、ライン及びカメラアングルを特定し、スポーツ選手の配置データを生成する手法が提案されている（非特許文献４を参照）。

一般に、スポーツ選手を自動追跡する手法では、カメラの切り替わり、カメラの動きの急激な変化等を考慮する必要があるため、映像データのうちの数１０フレーム程度のみを対象にして選手を追跡するに過ぎず、数１０フレーム毎に追跡を初期化しながら選手の配置データを生成する。つまり、選手の位置及び選手の動きベクトルからなる選手配置データは、数１０フレーム毎に生成される。

T.Watanabe et.al,"A soccer field tracking method with wire frame model from tv images",ICIP 2004,pp.III-1633-1636. 島脇、その他、"シーン検索システムのための長時間サッカー中継映像の解析"、情処会研究報告、2004-CVIM-144、pp.125-132. 中川、その他、"サッカー映像の自動ゲーム分析"、情処会研究報告、2001-DPS-106、pp.193-198 望月貴裕、藤井真人、他３名、"ラインとカメラアングルの離散的探索によるサッカー選手配置高速特定法"、ＦＩＴ２００８第７回情報科学技術フォーラム、Ｉ−０４５、第３分冊、ｐ．２８９−２９０

ところで、スポーツの生中継映像またはアーカイブス映像を、ＷＥＢにより配信可能なプラットフォームを用いて提示するサービスがある。このサービスにより、ユーザはスポーツ映像を視聴することができる。しかしながら、スポーツを分析する解説者、評論家等のように、スポーツに強い興味を持つユーザにとっては、スポーツ映像を単に視聴するのみでは不十分である。そこで、スポーツに強い興味を持つユーザの要求に対応するため、スポーツ映像を提示するだけでなく、有用な情報（例えば、チームのフォーメーションデータ、特定のフォーメーションに類似するシーンの検索結果）を提示するサービスが求められている。

このようなサービスを実現するためには、例えば、分単位の長い映像区間において、フィールド全体を大域的に捉えた、選手のフォーメーションをデータ化する必要がある。従来の手法は、数１０フレーム程度（数秒）の映像区間において、選手配置データを生成するものであり、分単位の長い映像区間を対象にしておらず、選手のフォーメーションをデータ化するものでもない。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、スポーツ映像を分析して得られた情報を提示するサービスにおいて、スポーツに強い興味を持つユーザに対し、有用な情報を提示可能な画像処理装置及びプログラムを提供することにある。

前記目的を達成するため、本発明は、スポーツの試合が撮影されたスポーツ映像、及び前記スポーツ映像における所定時間毎の選手の位置及び動きのデータを含む選手配置データが格納された記憶手段を備え、前記選手配置データに基づいて、前記試合が行われるフィールドを所定数に分割した分割領域毎に、選手数及び選手の動きを示すフォーメーションデータを生成する画像処理装置において、前記記憶手段から選手配置データを読み出し、前記選手配置データに含まれる選手の位置のデータに基づいて、所定の映像区間毎に、前記分割領域毎の選手数を算出する選手数算出手段と、前記記憶手段から選手配置データを読み出し、前記選手配置データに含まれる選手の動きのデータに基づいて、前記所定の映像区間毎に、前記分割領域毎の選手の動きベクトルを算出する動きベクトル算出手段と、前記選手数算出手段により算出された選手数、及び前記動きベクトル算出手段により算出された動きベクトルに基づいて、前記所定の映像区間毎に、前記分割領域毎の選手数及び動きベクトルを含むフォーメーションデータを生成し、前記記憶手段に格納するフォーメーションデータ生成手段と、前記記憶手段から、第１の映像区間についてのスポーツ映像に対する第１のフォーメーションデータ、及び、第２の映像区間についての、前記スポーツ映像と同じスポーツの他の試合が撮影されたスポーツ映像に対する第２のフォーメーションデータを読み出し、前記第１のフォーメーションデータに含まれる前記第１の映像区間における前記分割領域毎の選手数と、前記第２のフォーメーションデータに含まれる前記第２の映像区間における前記分割領域毎の選手数との間の差を算出し、両フォーメーションデータ間で選手数が類似する度合いを示す選手数類似度を算出する選手数類似度算出手段と、前記第１のフォーメーションデータに含まれる前記第１の映像区間における前記分割領域毎の動きベクトルと、前記第２のフォーメーションデータに含まれる前記第２の映像区間における前記分割領域毎の動きベクトルとの間の差を算出し、両フォーメーションデータ間で動きベクトルが類似する度合いを示す動きベクトル類似度を算出する動きベクトル類似度算出手段と、前記選手数類似度算出手段により算出された選手数類似度、及び前記動きベクトル類似度算出手段により算出された動きベクトル類似度に基づいて、前記第１の映像区間における前記第１のフォーメーションデータと、前記第２の映像区間における前記第２のフォーメーションデータとの間の類似度を算出する類似度算出手段と、を備えたことを特徴とする。

また、本発明の画像処理装置は、前記記憶手段から、前記フォーメーションデータを読み出し、前記所定の映像区間の前記分割領域毎に、前記フォーメーションデータに含まれる選手数に応じた選手数表示データを算出する選手数表示算出手段と、前記映像区間の前記分割領域毎に、前記フォーメーションデータに含まれる動きベクトルに応じた動きベクトル表示データを算出する動きベクトル表示算出手段と、前記選手数表示算出手段により算出された選手数表示データ、及び前記動きベクトル表示算出手段により算出された動きベクトル表示データを、前記フィールドが分割された前記分割領域毎に、所定の形態で表示する表示手段と、を備えたことを特徴とする。

さらに、本発明の画像処理プログラムは、コンピュータを、前記画像処理装置として機能させることを特徴とする。

以上のように、本発明によれば、選手配置データに基づいて、一定時間毎の映像区間について、フィールドを分割した分割領域毎に、選手数及び選手の動きを示す動きベクトルを含むフォーメーションデータを生成するようにした。また、本発明によれば、フォーメーションデータに含まれる選手数及び動きベクトルを、フィールドを分割した分割領域毎に画面表示するようにした。また、本発明によれば、所定の映像区間についてのスポーツ映像に対する第１のフォーメーションデータと、所定の映像区間についての、他の試合のスポーツ映像に対する第２のフォーメーションデータとの間の類似度を算出するようにした。これにより、スポーツ映像を分析して得られた情報を提示するサービスにおいて、スポーツに強い興味を持つユーザに対し、有用な情報を提示することが可能となる。

本発明の実施形態による画像処理装置のハードウェア構成を示す図である。 画像処理装置に備えた制御部の機能構成を示すブロック図である。 フォーメーションデータ生成部の構成を示すブロック図である。 グラフィカル提示部の構成を示すブロック図である。 類似度計算部の構成を示すブロック図である。 フォーメーションデータ生成部の処理を示すフローチャートである。 グラフィカル提示部の処理を示すフローチャートである。 類似度計算部の処理を示すフローチャートである。 映像区間に含まれる選手配置データを説明する図である。 フィールドの分割例を説明する図である。 選手配置データからフォーメーションデータを生成する処理を説明する図である。 選手配置データを説明する図である。 フォーメーションデータを説明する図である。 フォーメーションデータのグラフィカル提示画面例を示す図である。 表示画面例を示す図である。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔画像処理装置〕
図１は、本発明の実施形態による画像処理装置１のハードウェア構成を示す図である。この画像処理装置１のハード構成としては、通常のコンピュータを使用することができる。画像処理装置１は、ＣＰＵ１０１と、各種のプログラム及びデータを記憶するＲＯＭ及びＲＡＭからなる記憶部１０２と、各種のプログラム及びデータ等を記憶する記憶装置（ハードディスク装置）１０３と、インターネット等のネットワークを介してデータ等の送受信を行うネットワークインターフェース１０４と、マウス、キーボード等の操作器１０８に対するユーザによる操作に伴い、データを入力制御する操作・入力インターフェース１０５、ユーザにキー操作を促すための表示データ、映像データ、フォーメーションデータ等を表示器１０９へ出力制御する表示インターフェース１０６とを備えて構成され、これらの構成要素はシステムバス１０７を介して相互に接続される。

記憶装置１０３には、画像処理装置１の基本的な機能を提供するためのＯＳ（オペレーティングシステム）及び各種アプリケーションのプログラム、並びに、映像データ１２６、選手配置データ１２７及びフォーメーションデータ１２８等が記憶されている。尚、これらのプログラム及びデータは、画像処理装置１が処理を行うときに、ＣＰＵ１０１により記憶装置１０３から記憶部１０２のＲＡＭに読み出される。図１には、オペレーティングシステム及び各種アプリケーションのプログラムが記憶装置１０３から記憶部１０２に読み出された状態が示されており、記憶部１０２には、オペレーティングシステム１２０、フォーメーションデータ生成プログラム１２１、グラフィカル提示プログラム１２２及び類似度計算プログラム１２３が記憶されている。尚、フォーメーションデータ生成プログラム１２１等のアプリケーションプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することができ、ネットワークに接続された外部のサーバからネットワークインターフェース１０４を介して記憶装置１０３にダウンロードすることができる

ここで、オペレーティングシステム１２０は、ＣＰＵ１０１が記憶装置１０３から読み出して実行することにより、画像処理装置１の基本的な機能として、記憶部１０２、記憶装置１０３、ネットワークインターフェース１０４、操作・入力インターフェース１０５及び表示インターフェース１０６を管理する。そして、このオペレーティングシステム１２０がＣＰＵ１０１によって実行された状態で、前述のフォーメーションデータ生成プログラム１２１、グラフィカル提示プログラム１２２及び類似度計算プログラム１２３等が実行される。

制御部１１０は、ＣＰＵ１０１及び記憶部１０２により構成され、ＣＰＵ１０１が記憶部１０２及び記憶装置１０３に記憶された各種プログラムを読み出して実行することにより、画像処理装置１全体を統括制御する。このように、画像処理装置１は、図１に示したハードウェア構成により、制御部１１０がフォーメーションデータ生成プログラム１２１、グラフィカル提示プログラム１２２及び類似度計算プログラム１２３等に従って各種処理を行う。

以下、映像データ１２６を、サッカーの試合が撮影された映像データとして説明する。また、選手配置データ１２７は、例えば前述した非特許文献４の手法により、映像データ１２６を画像処理して生成されているものとする。選手配置データ１２７及びフォーメーションデータ１２８の詳細については後述する。

図２は、画像処理装置１に備えた制御部１１０の機能構成を示すブロック図であり、図１に示した制御部１１０がフォーメーションデータ生成プログラム１２１、グラフィカル提示プログラム１２２及び類似度計算プログラム１２３により各種処理を実行する際の機能構成を示している。この制御部１１０は、フォーメーションデータ生成部１０、グラフィカル提示部２０及び類似度計算部３０を備えており、記憶部１０２には、映像データ１２６、選手配置データ１２７及びフォーメーションデータ１２８が記憶されている。尚、映像データ１２６、選手配置データ１２７及びフォーメーションデータ１２８は、図１に示した記憶装置１０３に記憶された各データにそれぞれ対応し、図１は、制御部１１０により、その一部または全部のデータが記憶部１０２に読み出された状態を示している。また、フォーメーションデータ１２８は、フォーメーションデータ生成部１０により、記憶部１０２を介して記憶装置１０３に格納される。

フォーメーションデータ生成部１０は、記憶部１０２から選手配置データ１２７を読み出し、ユーザにより設定された映像区間において、予め設定された分割領域毎に、選手配置データに基づいてチーム毎の平均選手数及び平均動きベクトルを算出し、平均選手数及び平均動きベクトルを含むフォーメーションデータを生成し、フォーメーションデータ１２８として記憶部１０２に格納する。フォーメーションデータ生成部１０の詳細については後述する。

グラフィカル提示部２０は、記憶部１０２から映像データ１２６及びフォーメーションデータ１２８を読み出し、映像データ１２６を画面表示すると共に、映像データ１２６に同期した時刻に従って、ユーザにより設定された映像区間において、予め設定された分割領域毎に、平均選手数及び平均動きベクトルを含むフォーメーションデータを、チーム毎に画面表示する。また、グラフィカル提示部２０は、類似度計算部３０から類似度計算結果を入力し、記憶部１０２から、類似度の高い映像データ１２６及びフォーメーションデータ１２８を読み出し、画面表示する。グラフィカル提示部２０の詳細については後述する。

類似度計算部３０は、記憶部１０２から、参照（検索クエリー）となるフォーメーションデータ１２８及び類似度計算の検索対象となるフォーメーションデータ１２８を読み出し、選手数類似度及び動きベクトル類似度を算出し、２つのフォーメーションデータ間の類似度を算出する。また、類似度計算部３０は、類似度計算結果として、参照（検索クエリー）となるフォーメーションデータを特定するための情報、類似度計算の検索対象となるフォーメーションデータを特定するための情報及び類似度をグラフィカル提示部２０に出力する。類似度計算部３０の詳細については後述する。

〔フォーメーションデータ生成部〕
まず、図２に示したフォーメーションデータ生成部１０について詳細に説明する。図３は、フォーメーションデータ生成部１０の構成を示すブロック図である。このフォーメーションデータ生成部１０は、選手数算出手段１１、動きベクトル算出手段１２及びフォーメーションデータ生成手段１３を備えている。前述のとおり、フォーメーションデータ生成部１０は、ユーザにより設定された映像区間において、予め設定された分割領域毎に、選手配置データに基づいて平均選手数及び平均動きベクトルを算出し、平均選手数及び平均動きベクトルを含むフォーメーションデータを生成する。

選手数算出手段１１は、記憶部１０２から選手配置データ１２７を読み出し、ユーザにより設定された映像区間において、予め設定された分割領域毎に、チーム毎の平均選手数（その映像区間の分割領域において、１つの選手配置データに対応する時間に存在していた選手の平均数）を算出し、フォーメーションデータ生成手段１３に出力する。

動きベクトル算出手段１２は、記憶部１０２から選手配置データ１２７を読み出し、ユーザにより設定された映像区間において、予め設定された分割領域毎に、チーム毎の平均動きベクトル（その映像区間の分割領域における代表的な選手の動きベクトル）を算出し、フォーメーションデータ生成手段１３に出力する。

フォーメーションデータ生成手段１３は、選手数算出手段１１から、所定の映像区間の分割領域におけるチーム毎の平均選手数を入力し、動きベクトル算出手段１２から、所定の映像区間の分割領域におけるチーム毎の平均動きベクトルを入力し、平均選手数及び平均動きベクトルを含むフォーメーションデータを生成し、フォーメーションデータ１２８として記憶部１０２に格納する。

（フォーメーションデータ生成部／処理）
次に、図３に示したフォーメーションデータ生成部１０の処理について詳細に説明する。図６は、フォーメーションデータ生成部１０の処理を示すフローチャートである。フォーメーションデータ生成部１０は、ユーザにより設定（選択）された映像データ（ユーザが視聴する映像データ）の選手配置データ１２７を読み出し（ステップＳ６０１）、ユーザのキー操作に従って、フォーメーションデータの生成単位となる単位分Ｔｕの時間データを入力する（ステップＳ６０２）。これにより、単位時間Ｔｕ毎にフォーメーションデータが生成される。

図１２は、選手配置データ１２７を説明する図である。選手配置データ１２７は、１試合のデータにより構成され、映像データであるサッカーの試合を特定するための識別子を示すゲームＩＤ（ｇａｍｅＩＤ）、チーム名（ｔ１，ｔ２）、及び、複数レコードの選手配置データにより構成される。１レコードの選手配置データは、所定フレーム数の画像に対するデータであり、開始フレームＮｏ、終了フレームＮｏ、チームｔ１の選手数、チームｔ１における選手毎の位置座標及び動きベクトル、チームｔ２の選手数、チームｔ２における選手毎の位置座標及び動きベクトルから構成される。図１２の例では、第１レコードの選手配置データは、開始フレームＮｏ＝６４８８、終了フレームＮｏ＝６５４５の画像に対し、チームｔ１の選手数＝０、チームｔ２の選手数＝２、チームｔ２における第１の選手の位置座標（５１，２）及び動きベクトル（−８．０９７７７８，−９．４９８２７６）、チームｔ２における第２の選手の位置座標（３９，８５）及び動きベクトル（−１１．４７０１５４，−８．２３１０４９）から構成される。位置座標は、フィールドを平面で表した場合のｘ，ｙ座標の位置を示し、動きベクトルは、フィールドをｘ，ｙの平面で表した場合の動きの方向及び大きさを示す。

図６に戻って、フォーメーションデータ生成部１０は、サッカーのフィールドを、予め設定されたＤｘ×Ｄｙ個の領域に分割し、フィールド内の分割領域（ｉ，ｊ）＝（１，１）〜（Ｄｘ，Ｄｙ）を設定する（ステップＳ６０３）。

図１０は、フィールドの分割例を説明する図であり、Ｄｘ＝Ｄｙ＝５の分割例を示している。図１０に示すように、フォーメーションデータ生成部１０は、サッカーのフィールドを２５個の領域に分割し、フィールド内の分割領域（１，１）（１，２）〜（５，５）を設定する。

図６に戻って、フォーメーションデータ生成部１０は、映像区間の初期開始時刻としてＴｓ＝０を設定する（ステップＳ６０４）。そして、フォーメーションデータ生成部１０は、後述のように、映像の開始から終了までの間、ステップＳ６０５からステップＳ６１１までの処理を行い、単位時間Ｔｕ（開始時刻Ｔｓ及び終了時刻Ｔｓ＋Ｔｕにより定められる映像区間）における分割領域（ｉ，ｊ）毎に、平均選手数及び平均動きベクトルを算出する。

フォーメーションデータ生成部１０は、初期分割領域として（ｉ，ｊ）＝（１，１）を設定する（ステップＳ６０５）。そして、フォーメーションデータ生成部１０は、後述のように、全ての分割領域（ｉ，ｊ）について、ステップＳ６０６からステップＳ６０９までの処理を行い、平均選手数及び平均動きベクトルを算出する。

フォーメーションデータ生成部１０の選手数算出手段１１は、選手配置データ１２７から、映像区間Ｔｓ〜Ｔｓ＋Ｔｕに含まれる選手配置データを抽出し、以下の式により、平均選手数Ｎｐ（ｉ，ｊ）をチーム毎に算出する（ステップＳ６０６）。

ここで、平均選手数Ｎｐ（ｉ，ｊ）は、映像区間Ｔｓ〜Ｔｓ＋Ｔｕにおいて、分割領域（ｉ，ｊ）に存在していた、１つの選手配置データあたりの平均選手数を示す。Ｎｓｕは、映像区間Ｔｓ〜Ｔｓ＋Ｔｕに含まれる選手配置データの数を示す。ｎ_ｐ ^（ｋ）（ｉ，ｊ）は、映像区間Ｔｓ〜Ｔｓ＋Ｔｕに含まれるＮｓｕ個の選手配置データのうちのｋ番目の選手配置データにおける、領域（ｉ，ｊ）内の選手数を示す。

図９は、映像区間Ｔｓ〜Ｔｓ＋Ｔｕに含まれるＮｓｕ個の選手配置データを説明する図である。映像区間Ｔｓ〜Ｔｓ＋Ｔｕ（開始時刻Ｔｓから終了時刻Ｔｕまでの間の映像区間）には、Ｎｓｕ個の選手配置データが含まれており、この映像区間に含まれるＮｓｕ個の選手配置データが、選手数算出手段１１及び動きベクトル算出手段１２により選手配置データ１２７から抽出される。

図６に戻って、動きベクトル算出手段１２は、選手配置データ１２７から、映像区間Ｔｓ〜Ｔｓ＋Ｔｕに含まれる選手配置データを抽出し、以下の式により、平均動きベクトルＶｐ（ｉ，ｊ）をチーム毎に算出する（ステップＳ６０７）。

ここで、平均動きベクトルＶｐ（ｉ，ｊ）は、映像区間Ｔｓ〜Ｔｓ＋Ｔｕの分割領域（ｉ，ｊ）に存在していた選手のうち、Ｍ方向動きヒストグラムにより度数（選手数）が最大となる方向の動きベクトルを有する選手について、その選手の平均動きベクトル（分割領域（ｉ，ｊ）における代表的な選手の動きベクトル）を示す。ｎ_ＰＭＶは、映像区間Ｔｓ〜Ｔｓ＋Ｔｕに含まれるＮｓｕ個の選手配置データにおける分割領域（ｉ，ｊ）の動きベクトルから求めた、Ｍ方向ヒストグラムの最大度数（最大選手数）を示す。Ｖ_ＰＭＶは、ｎ_ＰＭＶ（最大度数）の方向に属する選手の動きベクトルについて、要素毎に合計した動きベクトルを示す。

具体的には、動きベクトル算出手段１２は、映像区間Ｔｓ〜Ｔｓ＋Ｔｕに含まれるＮｓｕ個の選手配置データを用いて、分割領域（ｉ，ｊ）の動きベクトルから、Ｍ方向ヒストグラム（例えば、Ｍ＝６方向として、方向と度数との関係を示したグラフ）を生成し、各方向に対応した度数（選手数）のうち最大の度数をｎ_ＰＭＶとして求める。また、動きベクトル算出手段１２は、最大度数ｎ_ＰＭＶの方向に属する選手の動きベクトルを抽出し、各動きベクトルの要素を合計し、合計動きベクトルＶ_ＰＭＶを求める。そして、動きベクトル算出手段１２は、前記式により、合計動きベクトルＶ_ＰＭＶを最大度数ｎ_ＰＭＶで除算し、平均動きベクトルＶｐ（ｉ，ｊ）を求める。

このようにして、映像区間Ｔｓ〜Ｔｓ＋Ｔｕにおける分割領域（ｉ，ｊ）について、選手数算出手段１１により平均選手数Ｎｐ（ｉ，ｊ）がチーム毎に算出され、動きベクトル算出手段１２により平均動きベクトルＶｐ（ｉ，ｊ）が算出される。映像区間Ｔｓ〜Ｔｓ＋Ｔｕ毎の平均選手数Ｎｐ（ｉ，ｊ）及び平均動きベクトルＶｐ（ｉ，ｊ）は、記憶部１０２に格納される（図示せず）。

フォーメーションデータ生成部１０は、全ての分割領域（ｉ，ｊ）について平均選手数Ｎｐ（ｉ，ｊ）及び平均動きベクトルＶｐ（ｉ，ｊ）を算出したか否かを判定する（ステップＳ６０８）。

フォーメーションデータ生成部１０は、ステップＳ６０８において、全ての分割領域（ｉ，ｊ）について平均選手数Ｎｐ（ｉ，ｊ）及び平均動きベクトルＶｐ（ｉ，ｊ）を算出していないと判定した場合（ステップＳ６０８：Ｎ）、ｉ＝ｉ＋１またはｊ＝ｊ＋１の演算を行い、新たな分割領域（ｉ，ｊ）を設定し（ステップＳ６０９）、ステップＳ６０６へ移行し、新たな分割領域（ｉ，ｊ）について処理を行う。

一方、フォーメーションデータ生成部１０は、ステップＳ６０８において、全ての分割領域（ｉ，ｊ）について平均選手数Ｎｐ（ｉ，ｊ）及び平均動きベクトルＶｐ（ｉ，ｊ）を算出したと判定した場合（ステップＳ６０８：Ｙ）、Ｔｓ＝Ｔｓ＋Ｔｕの演算を行い、映像の開始時刻ＴｓをＴｕだけ進め、新たな映像区間を定めるために、新たな開始時刻Ｔｓを設定する（ステップＳ６１０）。そして、フォーメーションデータ生成部１０は、新たな開始時刻Ｔｓが映像の終了時刻を超えているか否かを判定する（ステップＳ６１１）。

フォーメーションデータ生成部１０は、ステップＳ６１１において、新たな開始時刻Ｔｓが映像の終了時刻を超えていないと判定した場合（ステップＳ６１１：Ｎ）、ステップＳ６０５へ移行し、選手数算出手段１１及び動きベクトル算出手段１２が、新たな映像区間Ｔｓ〜Ｔｓ＋Ｔｕにおける分割領域（ｉ，ｊ）毎に、平均選手数Ｎｐ（ｉ，ｊ）及び平均動きベクトルＶｐ（ｉ，ｊ）を算出する。

一方、フォーメーションデータ生成部１０は、ステップＳ６１１において、新たな開始時刻Ｔｓが映像の終了時刻を超えていると判定した場合（ステップＳ６１１：Ｙ）、フォーメーションデータ生成手段１３は、選手数算出手段１１から、映像区間Ｔｓ〜Ｔｓ＋Ｔｕにおける分割領域（ｉ，ｊ）毎の平均選手数Ｎｐ（ｉ，ｊ）を入力し、動きベクトル算出手段１２から、映像区間Ｔｓ〜Ｔｓ＋Ｔｕにおける分割領域（ｉ，ｊ）毎の平均動きベクトルＶｐ（ｉ，ｊ）を入力し、フォーメーションデータを生成し、フォーメーションデータ１２８として記憶部１０２を介して記憶装置１０３に格納する（ステップＳ６１２）。これにより処理は終了する。この場合、映像区間Ｔｓ〜Ｔｓ＋Ｔｕ毎の平均選手数Ｎｐ（ｉ，ｊ）及び平均動きベクトルＶｐ（ｉ，ｊ）は、記憶部１０２から読み出される。

図１１は、選手配置データからフォーメーションデータを生成する処理を説明する図である。図１１（ａ）に示すように、映像区間の単位分Ｔｕが５分の場合、５分間に含まれるＮｓｕ個の選手配置データから、チーム毎（チームＡ，チームＢ）のフォーメーションデータが生成される。また、図１１（ｂ）に示すように、映像区間の単位分Ｔｕが１５分の場合、１５分間に含まれるＮｓｕ個の選手配置データから、チーム毎（チームＡ，チームＢ）のフォーメーションデータが生成される。すなわち、フォーメーションデータは、単位分Ｔｕ毎かつチーム毎に生成される。

図１３は、フォーメーションデータ１２８を説明する図である。フォーメーションデータ１２８は、１試合のデータにより構成され、映像データであるサッカーの試合映像を特定するための識別子を示すゲームＩＤ（ｇａｍｅＩＤ）、映像区間の開始時刻Ｔｓ及び終了時刻Ｔｓ＋Ｔｕ（ｔｉｍｅ（ｍｉｎ））、チーム名、及び、分割領域（ｉ，ｊ）毎の平均選手数Ｎｐ（ｉ，ｊ）及び平均動きベクトルＶｐ（ｉ，ｊ）を１レコードとして、複数の映像区間及び各チームに対応した複数レコードにより構成される。図１３の例では、第１レコードのａは、試合映像ＩＤ＝６２、映像区間０〜５、チーム＝日本における分割領域（ｉ，ｊ）毎の平均選手数Ｎｐ（ｉ，ｊ）及び平均動きベクトルＶｐ（ｉ，ｊ）から構成され、第２レコードのｂは、ａと同じ試合映像ＩＤ＝６２、同じ映像区間０〜５、チーム＝ブラジルにおける分割領域（ｉ，ｊ）毎の平均選手数Ｎｐ（ｉ，ｊ）及び平均動きベクトルＶｐ（ｉ，ｊ）により構成され、第３レコードのｃは、ａ，ｂと同じ試合映像ＩＤ＝６２、映像区間５〜１０、チーム＝日本における分割領域（ｉ，ｊ）毎の平均選手数Ｎｐ（ｉ，ｊ）及び平均動きベクトルＶｐ（ｉ，ｊ）により構成される。このようなレコード単位のデータが、チーム毎に、かつ映像の終了時刻までの映像区間毎に存在する。

以上のように、本発明の実施形態による画像処理装置１によれば、フォーメーションデータ生成部１０が、選手配置データ１２７に基づいて、所定の映像区間Ｔｓ〜Ｔｓ＋Ｔｕにおける分割領域（ｉ，ｊ）毎に、その映像区間Ｔｓ〜Ｔｓ＋Ｔｕの分割領域（ｉ，ｊ）に存在していた選手の平均選手数Ｎｐ（ｉ，ｊ）を算出し、その映像区間Ｔｓ〜Ｔｓ＋Ｔｕの分割領域（ｉ，ｊ）における代表的な選手の平均動きベクトルＶｐ（ｉ，ｊ）を算出し、フォーメーションデータを生成するようにした。このフォーメーションデータが表示器１０９に表示されることにより、ユーザは、フィールド全体を大域的に捉えた選手のフォーメーションを把握することができる。また、スポーツの生中継映像またはアーカイブス映像をＷＥＢにより配信可能なプラットフォームを用いたサービスにおいて、スポーツに強い興味を持つユーザに対し、スポーツ映像を提示するだけでなく、チームの戦術等を分析するための有用な情報を提示することが可能となる。

〔グラフィカル提示部〕
次に、図２に示したグラフィカル提示部２０について詳細に説明する。図４は、グラフィカル提示部２０の構成を示すブロック図である。このグラフィカル提示部２０は、選手数表示算出手段２１、動きベクトル表示算出手段２２及びグラフィカル提示手段（表示手段）２３を備えている。前述のとおり、グラフィカル提示部２０は、映像データを画面表示すると共に、映像データに同期した時刻に従って、所定の映像区間における分割領域毎に、チーム毎のフォーメーションデータを画面表示する。また、類似度計算部３０から類似度算出結果を入力し、類似度の高い映像データ及びフォーメーションデータを画面表示する。

選手数表示算出手段２１は、記憶部１０２からフォーメーションデータ１２８を読み出し、映像区間Ｔｓ〜Ｔｓ＋Ｔｕにおける分割領域（ｉ，ｊ）について、平均選手数Ｎｐ（ｉ，ｊ）から、その数に応じた表示形態を数値化するために、選手数表示データをチーム毎に算出し、グラフィカル提示手段２３に出力する。

動きベクトル表示算出手段２２は、記憶部１０２からフォーメーションデータ１２８を読み出し、映像区間Ｔｓ〜Ｔｓ＋Ｔｕにおける分割領域（ｉ，ｊ）について、平均動きベクトルＶｐ（ｉ，ｊ）から、その動きベクトルに応じた表示形態を数値化するために、方向及び大きさからなる動きベクトル表示データをチーム毎に算出し、グラフィカル提示手段２３に出力する。

グラフィカル提示手段２３は、記憶部１０２から映像データ１２６を読み出して表示器１０９に表示すると共に、選手数表示算出手段２１から、映像区間Ｔｓ〜Ｔｓ＋Ｔｕにおける分割領域（ｉ，ｊ）の選手数表示データを入力し、動きベクトル表示算出手段２２から、映像区間Ｔｓ〜Ｔｓ＋Ｔｕにおける分割領域（ｉ，ｊ）の動きベクトル表示データを入力し、映像データ１２６に同期した時刻の選手数表示データ及び動きベクトル表示データを、表示器１０９にグラフィカルに表示する。また、グラフィカル提示手段２３は、類似度計算部３０から類似度算出結果を入力し、類似度の高い映像データ１２６、選手数表示算出手段２１及び動きベクトル表示算出手段２２により算出された、その映像データ１２６の選手数表示データ及び動きベクトル表示データを表示器１０９にグラフィカルに表示する。

（グラフィカル提示部／処理）
次に、図４に示したグラフィカル提示部２０の処理について詳細に説明する。図７は、グラフィカル提示部２０の処理を示すフローチャートである。グラフィカル提示部２０は、記憶部１０２から、ユーザが視聴する映像データ１２６を読み出して画面表示すると共に、記憶部１０２から、その映像データ１２６のフォーメーションデータ１２８を読み出す（ステップＳ７０１）。

グラフィカル提示部２０は、映像データ１２６に同期した初期開始時刻Ｔｓ＝０を設定し（ステップＳ７０２）、フォーメーションデータ１２８から映像区間Ｔｓ〜Ｔｓ＋Ｔｕ（０〜５）の平均選手数Ｎｐ（ｉ，ｊ）及び平均動きベクトルＶｐ（ｉ，ｊ）を抽出する（ステップＳ７０３）。図１３に示したフォーメーションデータ１２８の例では、映像データ１２６の開始時点に対応する映像区間は映像区間０〜５であり、チーム＝日本の場合は、第１レコードａから平均選手数Ｎｐ（ｉ，ｊ）及び平均動きベクトルＶｐ（ｉ，ｊ）が抽出され、チーム＝ブラジルの場合は、第２レコードｂから平均選手数Ｎｐ（ｉ，ｊ）及び平均動きベクトルＶｐ（ｉ，ｊ）が抽出される。そして、グラフィカル提示部２０は、後述のように、映像の開始から終了までの間、ステップＳ７０３からステップＳ７１１までの処理を行い、映像時刻の間隔Ｔｕ（開始時刻Ｔｓ及び終了時刻Ｔｓ＋Ｔｕにより定められる映像区間）における分割領域（ｉ，ｊ）毎に、平均選手数Ｎｐ（ｉ，ｊ）及び平均動きベクトルＶｐ（ｉ，ｊ）をグラフィカルに画面表示する。

グラフィカル提示部２０は、初期分割領域として（ｉ，ｊ）＝（１，１）を設定する（ステップＳ７０４）。そして、グラフィカル提示部２０は、後述のように、全ての分割領域（ｉ，ｊ）について、ステップＳ７０５からステップＳ７０８までの処理を行い、平均選手数Ｎｐ（ｉ，ｊ）から画面表示用の選手数表示データを算出し、平均動きベクトルＶｐ（ｉ，ｊ）から画面表示用の動きベクトル表示データを算出する。

グラフィカル提示部２０の選手数表示算出手段２１は、平均選手数Ｎｐ（ｉ，ｊ）を青色濃度の色で画面表示する場合、その色を示すＲＧＢ値（２５５，２５５，Ｃ（ｉ，ｊ））について、以下の式により、選手数表示データＣ（ｉ，ｊ）をチーム毎に算出する（ステップＳ７０５）。
Ｃ（ｉ，ｊ）＝２５５−２５５×（Ｎｐ（ｉ，ｊ）／Ｎｍａｘ）
ここで、Ｃ（ｉ，ｊ）は、０より小さくなった場合、０に置き換えられる。また、Ｎｍａｘは、予め設定された定数を示す。

動きベクトル表示算出手段２２は、平均動きベクトルＶｐ（ｉ，ｊ）を矢印にて画面表示する場合、平均動きベクトルＶｐ（ｉ，ｊ）の単位ベクトルを矢印の方向とし、かつ、以下の式により矢印の長さを算出し、矢印の方向及び矢印の長さからなる動きベクトル表示データを、チーム毎に求める（ステップＳ７０６）。
矢印の長さ＝｜Ｖｐ（ｉ，ｊ）｜×Ｒ_ｆｌｄ
ここで、Ｒ_ｆｌｄは、グラフィカル表示するフィールド想定画像と、元のフォーメーションデータ１２８の座標空間フィールドとの間のスケール比を示す。このスケール比は、グラフィカル表示するフィールド想定画像のスケールを分子とし、フォーメーションデータ１２８の座標空間フィールドのスケールを分母として求められる。

このようにして、映像区間Ｔｓ〜Ｔｓ＋Ｔｕにおける分割領域（ｉ，ｊ）について、選手数表示算出手段２１により、平均選手数Ｎｐ（ｉ，ｊ）の選手数表示データがチーム毎に算出され、動きベクトル表示算出手段２２により、平均動きベクトルＶｐ（ｉ，ｊ）の動きベクトル表示データがチーム毎に算出される。映像区間Ｔｓ〜Ｔｓ＋Ｔｕにおける分割領域（ｉ，ｊ）の選手数表示データ及び動きベクトル表示データは、記憶部１０２に格納される（図示せず）。

グラフィカル提示部２０は、全ての分割領域（ｉ，ｊ）について選手数表示データ及び動きベクトル表示データを算出したか否かを判定する（ステップＳ７０７）。

グラフィカル提示部２０は、ステップＳ７０７において、全ての分割領域（ｉ，ｊ）について選手数表示データ及び動きベクトル表示データを算出していないと判定した場合（ステップＳ７０７：Ｎ）、ｉ＝ｉ＋１またはｊ＝ｊ＋１の演算を行い、新たな分割領域（ｉ，ｊ）を設定し（ステップＳ７０８）、ステップＳ７０５へ移行し、新たな分割領域（ｉ，ｊ）について処理を行う。

一方、グラフィカル提示部２０は、ステップＳ７０７において、全ての分割領域（ｉ，ｊ）について選手数表示データ及び動きベクトル表示データを算出したと判定した場合（ステップＳ７０７：Ｙ）、グラフィカル提示手段２３は、映像区間Ｔｓ〜Ｔｓ＋Ｔｕにおける分割領域（ｉ，ｊ）の色を、その分割領域（ｉ，ｊ）の選手数表示データに基づいた青色濃度の色で表示する（ステップＳ７０９）。これにより、ユーザは、表示器１０９に画面表示されたフィールドにおける分割領域（ｉ，ｊ）の色から、濃い青色で表示された領域は選手数が多く、薄い青色で表示された領域は選手数が少ないことを把握できる。また、グラフィカル提示手段２３は、映像区間Ｔｓ〜Ｔｓ＋Ｔｕにおける分割領域（ｉ，ｊ）内の矢印を、その分割領域（ｉ，ｊ）の動きベクトル表示データに基づいた方向及び長さで表示する（ステップＳ７０９）。これにより、ユーザは、表示器１０９に画面表示されたフィールドにおける分割領域（ｉ，ｊ）内の矢印の方向及び長さから、代表的な選手の動きを把握することができる。この場合、映像区間Ｔｓ〜Ｔｓ＋Ｔｕにおける分割領域（ｉ，ｊ）の選手数表示データ及び動きベクトル表示データは、記憶部１０２から読み出される（図示せず）。

図１４は、フォーメーションデータのグラフィカル提示画面例を示す図である。図１４に示すように、グラフィカル提示手段２３は、表示器１０９に表示するグラフィカル提示用のフィールド想定画像を生成し、分割領域（ｉ，ｊ）＝（１，１）〜（Ｄｘ，Ｄｙ）に対応した領域を設定する。そして、グラフィカル提示手段２３は、その映像区間Ｔｓ〜Ｔｓ＋Ｔｕの分割領域（ｉ，ｊ）に存在していた選手の平均選手数Ｎｐ（ｉ，ｊ）を、その数に応じた色でチーム毎に着色する。また、グラフィカル提示手段２３は、その映像区間Ｔｓ〜Ｔｓ＋Ｔｕの分割領域（ｉ，ｊ）における代表的な選手の平均動きベクトルＶｐ（ｉ，ｊ）を、矢印の方向及び長さでチーム毎に描画する。

図７に戻って、グラフィカル提示部２０は、映像データ１２６に同期した開始時刻Ｔｓ＝Ｔｓ＋Ｔｕを更新し、新たな開始時刻Ｔｓを設定する（ステップＳ７１０）。そして、グラフィカル提示部２０は、新たな映像区間を定める新たな開始時刻Ｔｓが映像の終了時刻を超えているか否かを判定する（ステップＳ７１１）。

グラフィカル提示部２０は、ステップＳ７１１において、新たな開始時刻Ｔｓが映像の終了時刻を超えていないと判定した場合（ステップＳ７１１：Ｎ）、ステップＳ７０３へ移行し、新たな映像区間Ｔｓ〜Ｔｓ＋Ｔｕについて、分割領域（ｉ，ｊ）毎に、選手数表示データ及び動きベクトル表示データを算出し、画面表示する。

一方、グラフィカル提示部２０は、ステップＳ７１１において、新たな開始時刻Ｔｓが映像の終了時刻を超えていると判定した場合（ステップＳ７１１：Ｙ）、処理を終了する。

尚、グラフィカル提示手段２３は、類似度計算部３０から類似度算出結果を入力し、類似度の高い映像データ及びフォーメーションデータを画面表示する。この処理については後述する。

以上のように、本発明の実施形態による画像処理装置１によれば、グラフィカル提示部２０が、映像データ１２６を画面表示すると共に、映像データ１２６に同期した時刻の映像区間Ｔｓ〜Ｔｓ＋Ｔｕについて、分割領域（ｉ，ｊ）毎に、フォーメーションデータ１２８に含まれる平均選手数Ｎｐ（ｉ，ｊ）の選手数表示データ及び平均動きベクトルＶｐ（ｉ，ｊ）の動きベクトル表示データを算出し、グラフィカルに画面表示するようにした。これにより、ユーザは、フィールド全体を大域的に捉えた選手のフォーメーションを把握することができる。また、スポーツの生中継映像またはアーカイブス映像をＷＥＢにより配信可能なプラットフォームを用いたサービスにおいて、スポーツに強い興味を持つユーザに対し、スポーツ映像を提示するだけでなく、チームの戦術等を分析するための有用な情報を提示することが可能となる。

〔類似度計算部〕
次に、図２に示した類似度計算部３０について詳細に説明する。図５は、類似度計算部３０の構成を示すブロック図である。この類似度計算部３０は、選手数類似度算出手段３１、動きベクトル類似度算出手段３２及び類似度算出手段３３を備えている。前述のとおり、類似度計算部３０は、参照（検索クエリー）となるフォーメーションデータと類似度計算の検索対象となるフォーメーションデータとの間の選手数類似度及び動きベクトル類似度を算出し、２つのフォーメーションデータ間の類似度を算出する。

選手数類似度算出手段３１は、記憶部１０２から、参照（検索クエリー）となるフォーメーションデータ１２８（ＦＤＱ）及び類似度計算の検索対象となるフォーメーションデータ１２８（ＦＤＴ）を読み出し、フォーメーションデータＦＤＱにおける所定の映像区間の平均選手数Ｎｐ（ｉ，ｊ）と、フォーメーションデータＦＤＴにおける所定の映像区間の平均選手数Ｎｐ（ｉ，ｊ）とに基づいて、選手数類似度Ｓｐｎ（Ｑ，Ｔ）を算出する。ここで、所定の映像区間は、フォーメーションデータＦＤＱ，ＦＤＴに含まれる映像区間のうちのいずれかの映像区間を示し、ユーザにより予め設定される区間であってもよい。また、フォーメーションデータＦＤＱにおける所定の映像区間の時間長と、フォーメーションデータＦＤＴにおける所定の映像区間の時間長とが異なっていてもよい。そして、選手数類似度算出手段３１は、選手数類似度Ｓｐｎ（Ｑ，Ｔ）を類似度算出手段３３に出力する。

動きベクトル類似度算出手段３２は、選手数類似度算出手段３１と同様に、記憶部１０２からフォーメーションデータＦＤＱ及びフォーメーションデータＦＤＴを読み出し、フォーメーションデータＦＤＱにおける所定の映像区間の平均動きベクトルＶｐ（ｉ，ｊ）と、フォーメーションデータＦＤＴにおける所定の映像区間の平均動きベクトルＶｐ（ｉ，ｊ）とに基づいて、動きベクトル類似度Ｓｍｖ（Ｑ，Ｔ）を算出する。そして、動きベクトル類似度算出手段３２は、動きベクトル類似度Ｓｍｖ（Ｑ，Ｔ）を類似度算出手段３３に出力する。

類似度算出手段３３は、選手数類似度算出手段３１から選手数類似度Ｓｐｎ（Ｑ，Ｔ）を入力し、動きベクトル類似度算出手段３２から動きベクトル類似度Ｓｍｖ（Ｑ，Ｔ）を入力し、選手数類似度Ｓｐｎ（Ｑ，Ｔ）及び動きベクトル類似度Ｓｍｖ（Ｑ，Ｔ）に基づいて、所定の映像区間のフォーメーションデータＦＤＱと、所定の映像区間のフォーメーションデータＦＤＴとの間の類似度Ｓ（Ｑ，Ｔ）を算出し、類似度Ｓ（Ｑ，Ｔ）を表示器１０９に画面表示し、フォーメーションデータＦＤＱ及びその映像区間を特定するための情報、フォーメーションデータＦＤＴ及びその映像区間を特定するための情報、並びに類似度Ｓ（Ｑ，Ｔ）をグラフィカル提示部２０に出力する。

尚、類似度計算部３０は、グラフィカル提示部２０からフォーメーションデータＦＤＱ及びその映像区間を特定するための情報を入力するようにしてもよい。この場合、選手数類似度算出手段３１及び動きベクトル類似度算出手段３２は、これらの情報に基づいて、記憶部１０２からフォーメーションデータＦＤＱを読み出して選手数類似度Ｓｐｎ（Ｑ，Ｔ）及び動きベクトル類似度Ｓｍｖ（Ｑ，Ｔ）を算出する。また、類似度算出手段３３は、フォーメーションデータＦＤＱ及びその映像区間を特定するための情報をグラフィカル提示部２０に出力しないで、フォーメーションデータＦＤＴ及びその映像区間を特定するための情報、並びに類似度Ｓ（Ｑ，Ｔ）のみをグラフィカル提示部２０に出力する。

（類似度計算部／処理）
次に、図５に示した類似度計算部３０の処理について詳細に説明する。図８は、類似度計算部３０の処理を示すフローチャートである。類似度計算部３０は、記憶部１０２から、参照（検索クエリー）となるフォーメーションデータ１２８（ＦＤＱ）及び類似度計算の検索対象となるフォーメーションデータ１２８（ＦＤＴ）を読み出す（ステップＳ８０１）。

選手数類似度算出手段３１は、フォーメーションデータＦＤＱから、所定の映像区間の平均選手数Ｎｐ^（Ｑ）（ｉ，ｊ）を抽出し、フォーメーションデータＦＤＴから、所定の映像区間の平均選手数Ｎｐ^（Ｔ）（ｉ，ｊ）を抽出する。そして、選手数類似度算出手段３１は、分割領域（ｉ，ｊ）毎に平均選手数Ｎｐ（ｉ，ｊ）の差を算出し（ステップＳ８０２）、以下の式により、フォーメーションデータＦＤＱとフォーメーションデータＦＤＴとの間の、選手分布に関する類似度を示す選手数類似度Ｓｐｎ（Ｑ，Ｔ）を算出する（ステップＳ８０３）。

ここで、Ｃｐｎは、選手数類似度Ｓｐｎ（Ｑ，Ｔ）を０〜１の範囲の値にするために、予め設定された定数である。Ｄｘ，Ｄｙは、分割領域（ｉ，ｊ）におけるｉ，ｊの最大値を示す。

動きベクトル類似度算出手段３２は、選手数類似度算出手段３１と同様に、フォーメーションデータＦＤＱから、所定の映像区間の平均動きベクトルＶｐ^（Ｑ）（ｉ，ｊ）を抽出し、フォーメーションデータＦＤＴから、所定の映像区間の平均動きベクトルＶｐ^（Ｔ）（ｉ，ｊ）を抽出する。そして、動きベクトル類似度算出手段３２は、分割領域（ｉ，ｊ）毎に平均動きベクトルＶｐ（ｉ，ｊ）の差を算出し（ステップＳ８０４）、以下の式により、フォーメーションデータＦＤＱとフォーメーションデータＦＤＴとの間の、選手の動きに関する類似度を示す動きベクトル類似度Ｓｍｖ（Ｑ，Ｔ）を算出する（ステップＳ８０５）。

ここで、ｗ_ｉｊは、フォーメーションデータＦＤＱにおける選手の動きが大きい分割領域（ｉ，ｊ）の動きベクトルを、動きベクトル類似度Ｓｍｖ（Ｑ，Ｔ）に強く反映させるための重みを示し、以下の式により算出される。

また、ｄ_Ｅ（Ｖｐ^（Ｑ）（ｉ，ｊ），Ｖｐ^（Ｔ）（ｉ，ｊ））は、平均動きベクトルＶｐ^（Ｑ）（ｉ，ｊ）と平均動きベクトルＶｐ^（Ｔ）（ｉ，ｊ）との間のユークリッド距離を示し、Ｃｍｖは、動きベクトル類似度Ｓｍｖ（Ｑ，Ｔ）を０〜１の範囲の値にするために、予め設定された定数を示す。

所定の映像区間のフォーメーションデータＦＤＱと、所定の映像区間のフォーメーションデータＦＤＴとの間の選手数類似度Ｓｐｎ（Ｑ，Ｔ）及び動きベクトル類似度Ｓｍｖ（Ｑ，Ｔ）は、記憶部１０２に格納される（図示せず）。

類似度算出手段３３は、選手数類似度Ｓｐｎ（Ｑ，Ｔ）、動きベクトル類似度Ｓｍｖ（Ｑ，Ｔ）、及び予め設定された重みλに基づいて、以下の式により、類似度Ｓ’（Ｑ，Ｔ）を算出する。
Ｓ’（Ｑ，Ｔ）＝λＳｐｎ（Ｑ，Ｔ）+（１−λ）Ｓｍｖ（Ｑ，Ｔ）
ここで、λは、選手数類似度Ｓｐｎ（Ｑ，Ｔ）及び動きベクトル類似度Ｓｍｖ（Ｑ，Ｔ）の類似度Ｓ（Ｑ，Ｔ）に対する反映度合いを定める重み（０〜１の範囲の値）を示す。

そして、類似度算出手段３３は、所定の映像区間のフォーメーションデータＦＤＱと、所定の映像区間のフォーメーションデータＦＤＴとの間の類似度Ｓ（Ｑ，Ｔ）を算出し（ステップＳ８０６）、処理を終了する。
Ｓ（Ｑ，Ｔ）＝ＭＡＸ（Ｓ’（Ｑ，Ｔ），Ｓ’（Ｑ，Ｔ^ｔ））
ここで、ＭＡＸ（Ａ，Ｂ）はＡとＢのうちの大きい方の値を示す。Ｔ^ｔは、フォーメーションデータＦＤＴの分割領域（ｉ，ｊ）の配置、平均選手数Ｎｐ（ｉ，ｊ）及び平均動きベクトルＶｐ（ｉ，ｊ）を、フィールドの中心にて点対称にしたフォーメーションデータを示す。類似度Ｓ（Ｑ，Ｔ）を算出する際に、フォーメーションデータＦＤＱと、フォーメーションデータＦＤＴに対しフィールドの中心にて点対称にしたフォーメーションデータとの間の類似度Ｓ’（Ｑ，Ｔ^ｔ）も算出するのは、反対方向の攻撃（「左サイド」「右サイド」の概念も、上下左右が逆になるから「点対称」になる）を考慮するためである。

さらに、類似度計算部３０は、フォーメーションデータＦＤＴにおける映像区間を変更し、所定の映像区間のフォーメーションデータＦＤＱと、変更後の新たな映像区間のフォーメーションデータＦＤＴとの間の類似度Ｓ（Ｑ，Ｔ）を算出する。例えば、Ｔｕ＝５の場合は、類似度計算部３０は、まず、フォーメーションデータＦＤＴの映像区間０〜５において、所定の映像区間のフォーメーションデータＦＤＱと、映像区間０〜５のフォーメーションデータＦＤＴとの間の類似度Ｓ（Ｑ，Ｔ）を算出し、次に、所定の映像区間のフォーメーションデータＦＤＱと、映像区間５〜１０のフォーメーションデータＦＤＴとの間の類似度Ｓ（Ｑ，Ｔ）を算出し、全ての映像区間Ｔｓ〜Ｔｓ＋Ｔｕ（５）のフォーメーションデータＦＤＴとの間の類似度Ｓ（Ｑ，Ｔ）を算出する。また、他の映像データ１２６のフォーメーションデータＦＤＴについても同様に、所定の映像区間のフォーメーションデータＦＤＱと、全ての映像区間のフォーメーションデータＦＤＴとの間の類似度Ｓ（Ｑ，Ｔ）を算出する。

このように、類似度計算部３０の処理によって、ユーザは、ある映像データ１２６における所定の映像区間及び所定のチームのフォーメーションに類似する他のチームのフォーメーションに関する情報を取得することができる。具体的には、ユーザは、ある映像データ１２６に対して設定した映像区間及びチームのフォーメーションデータＦＤＱについて、類似する他の複数のフォーメーションデータＦＤＴを、類似度Ｓ（Ｑ，Ｔ）と共に取得することができる。

以上のように、本発明の実施形態による画像処理装置１によれば、類似度計算部３０が、参照（検索クエリー）となるフォーメーションデータＦＤＱと、類似度計算の検索対象となるフォーメーションデータＦＤＴとの間の選手数類似度Ｓｐｎ（Ｑ，Ｔ）及び動きベクトル類似度Ｓｍｖ（Ｑ，Ｔ）を算出し、２つのフォーメーションデータ間の類似度Ｓ（Ｑ，Ｔ）を算出するようにした。これにより、フィールド全体を大域的に捉えた選手のフォーメーションデータの類似性に基づいて、ユーザが指定する映像に類似するシーンを検索することができる。また、スポーツの生中継映像またはアーカイブス映像をＷＥＢにより配信可能なプラットフォームを用いたサービスにおいて、スポーツに強い興味を持つユーザに対し、スポーツ映像を提示するだけでなく、チームの戦術等を分析するための有用な情報を提示することが可能となる。

〔画面表示例〕
次に、図１に示した画像処理装置１の表示器１０９に表示される画面例について説明する。図１５は、表示器１０９に表示される画面例を示す図である。画面上部は、ユーザにより設定（選択）された映像データ等（参照映像）が表示される領域であり、画面下部は、画面上部に表示された映像データのフォーメーションに対し、それに類似するフォーメーションの映像データ等（検索映像）が表示される領域である。

グラフィカル提示部２０は、ユーザのキー操作により、映像データ１２６が設定され、ｂの領域にてチーム（スイス）が設定され、ｃの領域にて時間単位（５分単位）が設定され、ｄの領域にて時刻（前半２５分−３０分）が設定され、これらの設定データを入力すると、グラフィカル提示手段２３は、映像データ１２６から映像区間２５〜３０に相当するフレームを抽出し、ａの領域に表示する。そして、選手数表示算出手段２１は、その映像データ１２６のフォーメーションデータ１２８から、映像区間２５〜３０におけるスイスのチームの平均選手数Ｎｐ（ｉ，ｊ）を抽出し、選手数表示データを算出する。また、動きベクトル表示算出手段２２は、その映像データ１２６のフォーメーションデータ１２８から、映像区間２５〜３０におけるスイスのチームの平均動きベクトルＶｐ（ｉ，ｊ）を抽出し、動きベクトル表示データを算出する。そして、グラフィカル提示手段２３は、選手数表示データを分割領域（ｉ，ｊ）毎に色で表し、動きベクトル表示データを分割領域（ｉ，ｊ）毎に矢印で表し、映像区間２５〜３０におけるスイスのチームのフォーメーションデータとして領域ｅに表示する。

尚、フォーメーションデータ生成部１０は、ユーザにより設定された映像データ１２６の選手配置データ１２７を読み出し、図６に示した処理により、選手配置データ１２７に基づいてフォーメーションデータ１２８を生成し、グラフィカル提示部２０は、フォーメーションデータ生成部１０により生成されたフォーメーションデータ１２８を用いて、選手数表示データ及び動きベクトル表示データを算出し、画面表示するようにしてもよい。

これにより、ユーザは、キー操作により設定した前半２５分〜３０分の映像データ１２６を視聴しながら、フィールド全体を大域的に捉えて、その時間帯におけるスイスの選手のフォーメーションを把握することができる。また、ユーザは、スポーツ映像を視聴するだけでなく、チームの戦術等を分析することができる。

また、グラフィカル提示部２０は、ユーザのキー操作により、類似度計算の検索対象となる映像データ１２６が設定され、検索処理の開始を入力すると、グラフィカル提示手段２３は、類似度計算の検索対象となる映像データ１２６を特定するための情報、画面上部に表示されている参照となる映像データ１２６を特定するための情報、並びにチーム（スイス）及び映像区間（２５〜３０）を特定するための情報を類似度計算部３０に出力する。類似度計算部３０は、グラフィカル提示部２０から、これらの情報を入力する。

選手数類似度算出手段３１は、参照となる映像データ１２６のフォーメーションデータ１２８（ＦＤＱ）のうちの、映像区間２５〜３０におけるスイスのチームの平均選手数Ｎｐ（ｉ，ｊ）を読み出し、類似度計算の検索対象となる映像データ１２６のフォーメーションデータ１２８（ＦＤＴ）のうちの、映像区間０〜５における所定のチームの平均選手数Ｎｐ（ｉ，ｊ）を読み出す。そして、選手数類似度算出手段３１は、選手数類似度を算出する。また、動きベクトル類似度算出手段３２は、フォーメーションデータＦＤＱのうちの、映像区間２５〜３０におけるスイスのチームの平均動きベクトルＶｐ（ｉ，ｊ）を読み出し、フォーメーションデータＦＤＴのうちの、映像区間０〜５における所定のチームの平均動きベクトルＶｐ（ｉ，ｊ）を読み出す。そして、動きベクトル類似度算出手段３２は、動きベクトル類似度を算出する。

そして、類似度算出手段３３は、選手数類似度及び動きベクトル類似度に基づいて、フォーメーションデータＦＤＱとフォーメーションデータＦＤＴとの間の類似度Ｓ（Ｑ，Ｔ）を算出する。また、類似度計算部３０は、参照となる映像データ１２６における他の映像区間、及び、参照となる他の映像データ１２６についても類似度Ｓ（Ｑ，Ｔ）を算出する。すなわち、参照となる複数の映像データ１２６における全ての映像区間の類似度Ｓ（Ｑ，Ｔ）を算出する。類似度算出手段３３は、類似度Ｓ（Ｑ，Ｔ）と共に、類似度計算の検索対象となる映像データ１２６を特定するための情報、チーム及び映像区間を特定するための情報を組として、類似度検索結果をグラフィカル提示部２０のグラフィカル提示手段２３に出力する。

グラフィカル提示部２０のグラフィカル提示手段２３は、類似度計算部３０の類似度算出手段３３から類似度検索結果を入力すると、検索結果として、類似度Ｓ（Ｑ，Ｔ）の高い順に、類似度計算の検索対象となる映像データ１２６、チーム、映像区間等の情報をｈの領域に表示する。

グラフィカル提示手段２３は、ユーザの操作により、ｈの領域に表示された複数の映像データ１２６から１つの映像データ１２６が選択されると、選択された映像データ１２６をｆの領域に表示する。また、グラフィカル提示手段２３は、選手数表示算出手段２１及び動きベクトル表示算出手段２２に、選択された映像データ１２６のチーム及び映像区間について、選手数表示データ及び動きベクトル表示データを算出させ、選手数表示データを分割領域（ｉ，ｊ）毎に色で表し、動きベクトル表示データを分割領域（ｉ，ｊ）毎に矢印で表し、領域ｇに表示する。

これにより、ユーザは、キー操作により設定した前半２５分〜３０分の映像データ１２６を視聴しながら、そのフォーメーションを把握することができると共に、さらに、そのフォーメーションに類似する他のフォーメーションの映像データ１２６を視聴することができ、類似する他のフォーメーションも把握することができる。したがって、ユーザは、フィールド全体を大域的に捉えて、類似するフォーメーションを比較することができる。つまり、ユーザは、スポーツ映像を視聴するだけでなく、チームの戦術等を、他のチームの戦術等と比較しながら分析することができる。

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、グラフィカル提示部２０は、図１４に示したように、フォーメーションデータをグラフィカル表示する際に、平均選手数Ｎｐ（ｉ，ｊ）に応じた色で着色し、平均動きベクトルＶｐ（ｉ，ｊ）に応じて矢印の方向及び長さで描画するようにしたが、本発明は、フォーメーションデータの表示をこのような表示形態に限定するものではなく、他の形態にて表示するようにしてもよい。例えば、分割領域（ｉ，ｊ）毎に、平均選手数Ｎｐ（ｉ，ｊ）に応じて棒グラフで表示したり、平均動きベクトルＶｐ（ｉ，ｊ）の方向及び大きさに応じてグラデーションで表示するようにしてもよい。

また、前記実施形態は、映像データ１２６としてサッカー映像データを例にして説明したが、本発明は、サッカー映像データに限定するものではなく、映像データ１２６は、他のスポーツの映像データであってもよい。

１ 画像処理装置
１０ フォーメーションデータ生成部
１１ 選手数算出手段
１２ 動きベクトル算出手段
１３ フォーメーションデータ生成手段
２０ グラフィカル提示部
２１ 選手数表示算出手段
２２ 動きベクトル表示算出手段
２３ グラフィカル提示手段
３０ 類似度計算部
３１ 選手数類似度算出手段
３２ 動きベクトル類似度算出手段
３３ 類似度算出手段
１０１ ＣＰＵ
１０２ 記憶部
１０３ 記憶装置
１０４ ネットワークインターフェース
１０５ 操作・入力インターフェース
１０６ 表示インターフェース
１０７ システムバス
１０８ 操作器
１０９ 表示器
１１０ 制御部
１２０ オペレーティングシステム
１２１ フォーメーションデータ生成プログラム
１２２ グラフィカル提示プログラム
１２３ 類似度計算プログラム
１２６ 映像データ
１２７ 選手配置データ
１２８ フォーメーションデータ

Claims (3)

1. スポーツの試合が撮影されたスポーツ映像、及び前記スポーツ映像における所定時間毎の選手の位置及び動きのデータを含む選手配置データが格納された記憶手段を備え、前記選手配置データに基づいて、前記試合が行われるフィールドを所定数に分割した分割領域毎に、選手数及び選手の動きを示すフォーメーションデータを生成する画像処理装置において、
   前記記憶手段から選手配置データを読み出し、前記選手配置データに含まれる選手の位置のデータに基づいて、所定の映像区間毎に、前記分割領域毎の選手数を算出する選手数算出手段と、
   前記記憶手段から選手配置データを読み出し、前記選手配置データに含まれる選手の動きのデータに基づいて、前記所定の映像区間毎に、前記分割領域毎の選手の動きベクトルを算出する動きベクトル算出手段と、
   前記選手数算出手段により算出された選手数、及び前記動きベクトル算出手段により算出された動きベクトルに基づいて、前記所定の映像区間毎に、前記分割領域毎の選手数及び動きベクトルを含むフォーメーションデータを生成し、前記記憶手段に格納するフォーメーションデータ生成手段と、
   前記記憶手段から、第１の映像区間についてのスポーツ映像に対する第１のフォーメーションデータ、及び、第２の映像区間についての、前記スポーツ映像と同じスポーツの他の試合が撮影されたスポーツ映像に対する第２のフォーメーションデータを読み出し、前記第１のフォーメーションデータに含まれる前記第１の映像区間における前記分割領域毎の選手数と、前記第２のフォーメーションデータに含まれる前記第２の映像区間における前記分割領域毎の選手数との間の差を算出し、両フォーメーションデータ間で選手数が類似する度合いを示す選手数類似度を算出する選手数類似度算出手段と、
   前記第１のフォーメーションデータに含まれる前記第１の映像区間における前記分割領域毎の動きベクトルと、前記第２のフォーメーションデータに含まれる前記第２の映像区間における前記分割領域毎の動きベクトルとの間の差を算出し、両フォーメーションデータ間で動きベクトルが類似する度合いを示す動きベクトル類似度を算出する動きベクトル類似度算出手段と、
   前記選手数類似度算出手段により算出された選手数類似度、及び前記動きベクトル類似度算出手段により算出された動きベクトル類似度に基づいて、前記第１の映像区間における前記第１のフォーメーションデータと、前記第２の映像区間における前記第２のフォーメーションデータとの間の類似度を算出する類似度算出手段と、
   を備えたことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記記憶手段から、前記フォーメーションデータを読み出し、前記所定の映像区間の前記分割領域毎に、前記フォーメーションデータに含まれる選手数に応じた選手数表示データを算出する選手数表示算出手段と、
   前記映像区間の前記分割領域毎に、前記フォーメーションデータに含まれる動きベクトルに応じた動きベクトル表示データを算出する動きベクトル表示算出手段と、
   前記選手数表示算出手段により算出された選手数表示データ、及び前記動きベクトル表示算出手段により算出された動きベクトル表示データを、前記フィールドが分割された前記分割領域毎に、所定の形態で表示する表示手段と、
   を備えたことを特徴とする画像処理装置。
3. コンピュータを、請求項１または２に記載の画像処理装置として機能させるための画像処理プログラム。

Images