JP6941769B2 - 動画分割方法、動画分割装置および動画処理システム - Google Patents

Description

本開示は、スポーツ映像等の動画像に対する処理を行う動画分割方法、動画分割装置および動画処理システムに関する。

近年では、例えばサッカー等のスポーツ動画像に基づいて、試合を通じて競技者やボール等の位置情報の追跡を行い、競技者毎に姿勢解析や行動解析、位置の追跡等を行い、トレーニングや次試合の戦術にフィードバックすることが行われている。

動画像を構成する多くの画像に対して、人が手動で解析を行う場合、多大な労力、時間、あるいは人手を要する。このため、例えば非特許文献１には、コンピュータによって自動で画像解析処理を行い、コンピュータが誤った場合には人の手による修正を受け付けることによって、即時的に解析を行うことができ、かつ人の労力を低減したスポーツ映像解析システムが開示されている。

田靡雅基、他５名、「スポーツ映像解析ソリューション」、Panasonic Technical Journal Vol. 61 No. 2 Nov. 2015, p. 78-83

非特許文献１に開示された技術では、動画像を所定時間ずつファイル分割し、コンピュータが分割したそれぞれのファイルに画像解析を行い、画像解析が行われた分割ファイルのそれぞれに対して複数の修正者が修正を行った後、分割ファイルを結合する。コンピュータが行う画像解析には、例えば競技者やボール等の位置を追跡する処理や、競技者の姿勢を検出する処理等が含まれる。非特許文献１に開示された技術では、このような動作により、画像解析処理とその修正とに要する時間を低減している。

しかしながら、複雑な動きを含むファイルと、単調な動きを含むファイルとに分割された場合、複雑な動きを含むファイルの方が修正が多くなる可能性が高い。このため、同一の長さの、複雑な動きを含むファイルと、単調な動きを含むファイルと、に対する修正を、同等の修正技術を有する複数の修正者が同時に行ったとしても、解析者によって修正に要する時間にばらつきが生じうる。修正者によって修正に要する時間にばらつきが生じると、ファイルを分割してから修正が完了したファイルを合成するまでの作業時間を短縮することが難しくなるため、修正に要する時間のばらつきを低減することが要望されている。

本開示は、動画像を所定時間ずつ分割し、分割した動画像に対して画像処理装置が所定の処理を行う場合に、処理に要する時間のばらつきを低減することができる動画分割方法、動画分割装置および動画処理システムを提供する。

本開示における動画分割方法は、プロセッサが、動画像を構成する複数フレームの画像のそれぞれについて、各フレームの画像に含まれる背景以外の領域である前景領域の大きさに対する、画像の特定領域内に含まれる前景領域の大きさの割合を抽出し、画像を編集作業する際の難易度を、前景領域の大きさの割合が所定割合より大きい場合は、前景領域の大きさの割合が所定割合より小さい場合よりも高くなるように決定し、動画像を構成する画像を、所定数フレームの画像毎に複数グループに分割し、分割した１のグループを構成する画像の難易度に基づいて、１のグループの送信先となる画像処理装置を決定する。

本開示によれば、動画像を所定時間ずつ分割し、分割した動画像に対して画像処理装置が所定の処理を行う場合に、処理に要する時間のばらつきを低減することができる。

図１は、動画処理システムの構成の一例を示す図である。 図２は、動画分割装置（あるいは画像処理装置）の構成の一例を示す図である。 図３は、動画処理システムの全体の動作の流れを説明するためのシーケンス図である。 図４は、背景情報の抽出処理において、表示部に表示される画面の例を示す図である。 図５は、分割送信処理における動画分割装置の動作を説明するためのフローチャートである。 図６は、パック形成処理における動画分割装置の動作を説明するためのフローチャートである。 図７は、難易度判定処理における動画分割装置の動作を説明するためのフローチャートである。 図８は、負荷値の設定方法を例示した図である。 図９は、負荷値累積情報について説明するための図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。必要以上に詳細な説明とは、例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明等である。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、以下の説明および参照される図面は、当業者が本開示を理解するために提供されるものであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。

［１．１ 構成］
図１は、動画処理システム１の構成の一例を示す図である。図１に示すように、動画処理システム１は、動画分割装置１００と、複数の画像処理装置２００Ａ、２００Ｂ、２００Ｃ・・・と、カメラ３００と、を有する。動画分割装置１００とカメラ３００、および動画分割装置１００と複数の画像処理装置２００Ａ、２００Ｂ、２００Ｃ・・・とは、それぞれ互いに通信可能に接続されている。なお、以下では、複数の画像処理装置２００Ａ、２００Ｂ、２００Ｃ・・・をまとめて画像処理装置２００と記載する場合がある。

動画分割装置１００および画像処理装置２００は、例えばＰＣやワークステーション等のコンピュータにより構成される。図２は、動画分割装置１００（あるいは画像処理装置２００）の構成の一例を示す図である。図２に示すように、動画分割装置１００（あるいは画像処理装置２００）は、プロセッサ１０１（２０１）と、記憶部１０２（２０２）と、入力部１０３（２０３）と、表示部１０４（２０４）と、通信部１０５（２０５）と、バス１０６（２０６）とを有する。

プロセッサ１０１（２０１）は演算を行うことで動画分割装置１００（あるいは画像処理装置２００）の他の構成要素を制御する。

記憶部１０２（２０２）は情報を一時的に、あるいは恒久的に記憶する。記憶部１０２（２０２）は動画分割装置１００（あるいは画像処理装置２００）のＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等に相当する。図２に示す例では、動画分割装置１００（あるいは画像処理装置２００）は記憶部１０２（２０２）を１つのみ有しているが、必要性に応じて記憶部１０２（２０２）を複数有していてもよい。記憶部１０２（２０２）は、例えばＨＤＤ（Hard Disk Drive）やＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）、ＳＳＤ（Solid State Drive）等により構成されればよい。

入力部１０３（２０３）は外部からの入力を受け付ける。入力部１０３（２０３）は、例えばマウスやキーボード、トラックボール等の入力デバイス等により構成されればよい。

表示部１０４（２０４）は外部へ情報を表示する。表示部１０４（２０４）は、例えば液晶ディスプレイ、有機ＥＬディスプレイ等の表示デバイスにより構成されればよい。

通信部１０５（２０５）は外部との情報の送受信を行う。通信部１０５（２０５）は、例えば通信ポートや無線通信デバイス等の通信インターフェースにより構成されればよい。動画分割装置１００は、通信部１０５を介して、画像処理装置２００との情報の送受信を行うことができる。また、画像処理装置２００は、通信部２０５を介して、動画分割装置１００との情報の送受信を行うことができる。

バス１０６（２０６）は動画分割装置１００（あるいは画像処理装置２００）を構成する各要素を、接続する経路である。プロセッサ１０１（２０１）にバス１０６（２０６）を統合することでプロセッサ１０１（２０１）の内部にバス１０６（２０６）を構成することもできる。バス１０６（２０６）は各要素を有線で接続してもよいし、各要素を無線で接続してもよい。

上記した動画分割装置１００（あるいは画像処理装置２００）の構成は一例である。従って、動画分割装置１００（あるいは画像処理装置２００）は、上記した構成に別の構成要素を追加することによって構成されてもよい。また、動画分割装置１００（あるいは画像処理装置２００）は、上記した構成から構成要素の一部を必要に応じて削除することによって構成されてもよい。また、動画分割装置１００（あるいは画像処理装置２００）は、上記した構成要素を互いに統合することによって構成されてもよい。また、動画分割装置１００（あるいは画像処理装置２００）は、上記した構成要素の一部によって構成されてもよい。

カメラ３００は、撮影対象を撮影して画像を生成し、動画分割装置１００に対して送信する。本開示の動画処理システム１において、カメラ３００が撮影する画像は、例えば秒間３０フレーム、すなわち１秒間に３０枚の静止画像を含む動画像である。

［１．２ 動作］
次に、動画処理システム１の動作について説明する。以下の説明において、動画分割装置１００の動作は、主としてプロセッサ１０１が動画分割装置１００の他の各構成要素と協働して行われるものである。

動画処理システム１は、カメラ３００によって撮影されたスポーツ競技の動画像によって構成されるスポーツ映像に基づいて、動画像に映る競技者やスポーツ用具（ボール等）等の位置を追跡する。本開示において、スポーツ競技とは、例えばサッカーやアメリカンフットボール等、複数の競技者が同時に競技するものを想定しているが、例えばゴルフ等、１度に競技する競技者が１人であるものであってもよい。

スポーツ映像は、１台のカメラ３００が撮影した動画像により構成されてもよいし、複数台のカメラ３００が撮影した動画像を結合したものにより構成されてもよい。特にサッカーのようにフィールドが広い競技を撮影する場合には、複数台のカメラ３００が撮影した動画像を結合することが望ましい。動画像を結合する技術については本開示では特に限定しない。

図３は、動画処理システム１の全体の動作の流れを説明するためのシーケンス図である。

ステップＳ３０１において、動画分割装置１００は、スポーツ映像を分割するための事前処理を行う。事前処理は、例えば動画像において競技者と背景（例えば競技場等）とを区別するために、背景に相当する領域を予め（例えば試合開始前に）設定し背景情報を取得する処理である。事前処理の詳細については後述する。

ステップＳ３０２において、動画分割装置１００は、ステップＳ３０１における事前処理で得た情報を用いて動画像を複数に分割し、複数の画像処理装置２００に対して送信する分割送信処理を行う。分割送信処理の詳細については後述する。

ステップＳ３０３において、複数の画像処理装置２００は、それぞれ動画分割装置１００から受信した、分割された動画像に対して、動画像に映る競技者やボール等の位置を追跡する追跡処理と、画像処理装置２００が行った追跡処理における誤りの編集作業を受け付ける編集受付処理と、を行う。画像処理装置２００における追跡処理は、例えば従来の移動体追跡技術を利用することができる。

追跡処理における誤りの編集作業とは、例えば以下のようなものである。動画像内で競技者が密集して動いている状態等において、従来の移動体追跡技術では、例えば隣接して動く２人の競技者を取り違えたり、競技者の足をボールと誤認識したりする事態が生じうる。このような事態が生じると、競技者の正常な追跡を行うことができないので、人間の目で追跡処理の結果を確認して修正を行う必要がある。上記した編集受付処理は、このように追跡処理の結果を目視した人間（以下、修正者と称する）による編集作業を受け付ける処理である。具体的には、画像処理装置２００は、例えば追跡処理の結果をほぼリアルタイムで表示部２０４に表示し、追跡処理が誤っているか否かを修正者に判定させる。そして、誤っている場合には入力部２０３を介して修正者による修正を受け付ける。画像処理装置２００は、このようにして編集受付処理を行う。

ステップＳ３０４において、画像処理装置２００は、ステップＳ３０３における追跡処理の結果（編集作業を反映済みのもの）を動画分割装置１００に送信する。

ステップＳ３０５において、動画分割装置１００は、ステップＳ３０４において画像処理装置２００から送信された、分割された動画像における追跡処理の結果を結合し、動画像を通じた追跡結果を生成する。

このような動作により、動画処理システム１は、スポーツ映像における競技者やボール等の追跡処理を、短時間で精度よく行うことができる。

［１．２．１ 事前処理］
以下では、図３のステップＳ３０１において動画分割装置１００が行う事前処理について詳細に説明する。事前処理には、背景情報の抽出処理と、難易度判定領域の設定処理とが含まれる。以下では、背景情報の抽出処理と、難易度判定領域の設定処理とについて個別に説明する。

（１）背景情報の抽出処理
背景領域は、スポーツ映像の動画像を構成する静止画像において、競技者やボール以外が映った領域である。すなわち、背景領域は、例えば、スポーツ競技が行われる競技場が映った領域である。

背景情報の抽出処理において、動画分割装置１００は、まず、これから撮影されるスポーツ映像の対象となるスポーツの競技場が映った画像をカメラ３００から取得し、表示部１０４に表示する。

図４は、背景情報の抽出処理において、表示部１０４に表示される画面の例を示す図である。図４は、スポーツ競技の一例としてサッカーのフィールド４００を試合開始前に撮影した画像を表示した画面である。

図４に示すように、事前処理において、表示部１０４に表示される画面は、競技者等が映っていない背景領域を設定するために、競技者が少ない、あるいは競技者が競技場全体に散らばっていない画像であることが望ましい。このため、事前処理は、例えば試合開始直前等に行われる。

事前処理の開始時に、動画分割装置１００は、表示部１０４に競技場の画像を表示し、続けて、操作者に対して背景領域を選択する旨の指示メッセージを表示する。この指示メッセージを見た操作者が、入力部１０３を介して、表示部１０４に表示された競技場の画像に対して、背景領域を選択する選択操作を行うと、動画分割装置１００はこの選択操作を受け付ける。これにより、動画分割装置１００は、背景領域を設定する。なお、操作者とは、例えば表示部１０４を見ながら事前処理における操作を行う人間である。

図４において、実線で囲まれた領域４０１は、操作者によって選択された背景領域を例示している。操作者は、入力部１０３を構成する、例えばマウス、トラックボール、あるいはタッチパネル等の操作デバイスを用いて、図４に例示する領域４０１を指定する。動画分割装置１００は、操作者に背景領域を選択する旨の指示メッセージを表示する際に、競技者あるいはボール等、試合中に動く可能性がある物体を含まない領域を背景領域として設定するように指示する。操作者がこの指示に従うことで、動画分割装置１００は、競技者あるいはボール等を含まない領域４０１を背景領域として設定することができる。図４においては、競技場の画像内に人物等が存在するため、当該人物を避けるように領域４０１が操作者によって指定されている。競技場の画像内に人物等が存在しない場合はフィールド全体を領域４０１と指定してもよい。

動画分割装置１００は、操作者により設定された領域４０１毎に、その領域の各画素が有する情報を抽出し、背景情報として記憶部１０２に格納する。動画分割装置１００が背景情報として抽出するのは、例えば、領域４０１が取り得る色相（Hue）値の範囲である。なお、動画分割装置１００は、色相だけでなく、彩度（Saturation）および／または明度（Value）の値を背景情報として抽出するようにしてもよい。

（２）難易度判定領域の設定処理
動画分割装置１００は、事前処理として、上記した背景情報の抽出処理に加えて、難易度判定領域の設定処理を行う。難易度判定領域とは、画像処理装置２００が行う追跡処理の結果に対して修正者が行う編集作業を受け付ける編集受付処理において、編集作業の難易度が高いか否かを判定するために設定される領域である。本実施の形態の難易度判定領域は、本開示の特定領域に相当する。

なお、事前処理において、上記した背景情報の抽出処理と、難易度判定領域の設定処理とが行われる順序は、本開示では限定されない。すなわち、背景情報の抽出処理が先に行われてもよいし、難易度判定領域の設定処理が先に行われてもよいし、背景情報の抽出処理と難易度判定領域の設定処理とが同時に行われてもよい。

編集作業の難易度が高いか否かは、例えば動画像を構成する各フレームの画像（静止画像）から抽出される特徴量に基づいて判定されればよい。画像から抽出される特徴量として、本実施の形態では、例えば画像全体に対する、競技者に対応する領域の占める割合を採用した場合について説明する。

難易度判定領域の設定処理において、動画分割装置１００は、操作者に対して難易度領域を設定する旨の指示メッセージを表示部１０４に表示する。この指示メッセージを見た操作者が、表示部１０４に表示された競技場の画像に対して、入力部１０３を介して難易度判定領域を選択する選択操作を行うと、動画分割装置１００はこの選択操作を受け付ける。これにより、動画分割装置１００は、難易度判定領域を設定する。

具体的には、操作者は、入力部１０３を構成する、例えばマウス、トラックボール、あるいはタッチパネル等の操作デバイスを用いて、例えば図４に例示する領域４０２を指定する。なお、動画分割装置１００は、操作者に難易度判定領域を設定する旨の指示メッセージを表示する際に、例えば試合中に競技者が多数存在する可能性がある領域を難易度判定領域として設定するように指示する。操作者がこの指示に従うことで、動画分割装置１００は、試合中に競技者が多数存在する可能性がある領域４０２を難易度判定領域として設定することができる。

図４において、点線で囲まれた領域４０２は、操作者によって選択された難易度判定領域を例示している。図４では、一例として、サッカーのフィールドにおけるペナルティエリア付近が難易度判定領域として選択された場合を示している。ペナルティエリア付近は得点に絡むプレイが行われやすい領域であり、ボールがペナルティエリア内にある場合には競技者が密集しやすいことから、難易度判定領域として設定されることが望ましい領域である。なお、本開示では、難易度判定領域はペナルティエリア付近には限定されない。例えばフィールドの他の領域が難易度判定領域として選択および設定されてもよいし、他のスポーツ競技の場合にはその競技に特有の、競技者が密集しやすい領域が範囲度判定領域として選択および設定されてもよい。

なお、操作者が難易度判定領域として選択する領域４０２は、１つだけでなく、複数であってもよい。

動画分割装置１００は、操作者により設定された領域４０２毎に、その領域の位置を難易度判定領域位置情報として記憶部１０２に格納する。なお、難易度判定領域位置情報は、例えば静止画像内に任意の座標系を設定し、その座標系において難易度判定領域の位置を示す座標を含む情報等とすればよい。

［１．２．２ 分割送信処理］
次に、図３のステップＳ３０２における分割送信処理について詳細に説明する。図５は、分割送信処理における動画分割装置１００の動作を説明するためのフローチャートである。

ステップＳ５０１において、動画分割装置１００は、カメラ３００により撮影された動画像に対してパック（Pack）形成処理を行う。パック形成処理とは、動画像を分割し、複数のグループ（以下パックと称する）を形成する処理である。

ここで、複数のパックとは、カメラ３００が撮影した動画像を所定数フレーム毎に分割したものである。具体的には、カメラ３００が撮影する動画像が、例えば１秒間に３０フレームの静止画像によって構成されている場合に、各パックは、例えば７５０フレームの静止画像を含むように分割される。

［１．２．２．１ パック形成処理］
以下、パック形成処理の詳細について説明する。図６は、パック形成処理における動画分割装置１００の動作を説明するためのフローチャートである。図６に示すパック形成処理の処理対象は、カメラ３００から入力された動画像を構成する各静止画像である。

ステップＳ６０１において、動画分割装置１００は、パック形成処理において使用するパラメータの初期化を行う。パック形成処理において使用されるパラメータは、フレーム数ｆと、フレーム数ｆに対応する静止画像の難易度Ｄ＿ｌｅｖｅｌである。ステップＳ６０１の初期化によって、フレーム数ｆ＝０に、難易度Ｄ＿ｌｅｖｅｌ＝Ｌｏｗに、それぞれ初期化される。

ステップＳ６０２において、動画分割装置１００は、カメラ３００から入力された動画像のｆフレーム目の静止画像を取得する。そして、ステップＳ６０３において、動画分割装置１００は、ステップＳ６０２において取得した静止画像から前景領域を抽出する。

前景領域とは、静止画像における背景領域以外の領域である。すなわち、本ステップＳ６０３において、動画分割装置１００は、上記した事前処理にて抽出された背景情報に基づいて、前景画像を抽出する。具体的には背景情報として抽出した色相等の情報を、静止画像中における各画素の色相等の情報と比較することで、当該比較の結果乖離が大きい画素からなる画像を前景画像であるとして抽出する。そして、動画分割装置１００は、ｆフレーム目の静止画像において、背景領域を構成する画素の画素値を０（黒）に、前景領域を構成する画素の画素値を２５５（白）に、それぞれ設定した二値化画像を生成する。以下では、本ステップＳ６０３において動画分割装置１００が生成する二値化画像を、前景画像と称する。

ステップＳ６０４において、動画分割装置１００は、ステップＳ６０３において生成した前景画像を用いてラベリング処理を行う。ラベリング処理とは、画素値が２５５（白）である部分が連続した画素に同じ番号を割り振る処理である。すなわち、ラベリング処理によって、独立した前景領域毎にそれぞれ異なる番号を付与している。以下の説明において、ラベリング処理された前景領域をラベリング領域、前景画像におけるラベリング領域の数をラベリング数と称する。ステップＳ６０４において、動画分割装置１００は、ラベリング領域の位置に関するラベリング領域位置情報を生成し、記憶部１０２に格納する。

ステップＳ６０５において、動画分割装置１００は、難易度判定処理を行う。難易度判定処理は、画像処理装置２００が行う追跡処理の結果に対して修正者が行う編集作業を受け付ける編集受付処理において、編集作業の難易度が高いか否かを判定する処理である。

［１．２．２．１．１ 難易度判定処理］
以下、難易度判定処理の詳細について説明する。図７は、難易度判定処理における動画分割装置１００の動作を説明するためのフローチャートである。

ステップＳ７０１において、動画分割装置１００は、処理対象であるｆフレーム目の静止画像において、ステップＳ６０４のラベリング処理によって決定されたラベリング数Ｌ＿ｎｕｍを取得する。

ステップＳ７０２において、動画分割装置１００は、難易度判定処理において使用するパラメータの初期化を行う。難易度判定処理において使用されるパラメータは、静止画像内において何番目のラベリング領域であるかを示すカウンタ値ｘと、難易度判定領域内の前景量Ｄ＿ｓｉｚｅと、静止画像全体の前景量ＡＬＬ＿ｓｉｚｅとである。なお、前景量とは、前景領域のサイズ、具体的には、例えば画素数を示す量である。

ステップＳ７０３において、動画分割装置１００は、ｘ番目のラベリング領域のサイズＳ＿ｘを取得する。そして、ステップＳ７０４において、動画分割装置１００は、静止画像全体の前景量ＡＬＬ＿ｓｉｚｅにｘ番目のラベリング領域のサイズＳ＿ｘを加算する。

ステップＳ７０５において、動画分割装置１００は、ｘ番目のラベリング領域が難易度判定領域内であるか否かの判定を行う。本ステップＳ７０５における判定は、難易度判定領域位置情報とラベリング領域位置情報とに基づいて行われればよい。ステップＳ７０５においてｘ番目のラベリング領域が難易度判定領域内であると判定された場合（ステップＳ７０５：Ｙｅｓ）、処理はステップＳ７０６に進み、そうでない場合（ステップＳ７０５：Ｎｏ）、ステップＳ７０７に進む。

ステップＳ７０６において、動画分割装置１００は、難易度判定領域内の前景量Ｄ＿ｓｉｚｅにｘ番目のラベリング領域のサイズＳ＿ｘを加算する。そして、処理はステップＳ７０７に進む。

ステップＳ７０７において、動画分割装置１００は、カウンタ値ｘを１インクリメントし、ステップＳ７０８に進む。

ステップＳ７０８において、動画分割装置１００は、カウンタ値ｘがラベリング数Ｌ＿ｎｕｍに達していないか否かを判定する。ステップＳ７０８において、カウンタ値ｘがラベリング数Ｌ＿ｎｕｍに達していないと判定された場合（ステップＳ７０８：Ｙｅｓ）、処理はステップＳ７０３に戻り、そうでない場合（ステップＳ７０８：Ｎｏ）、ステップＳ７０９に進む。

ステップＳ７０９において、動画分割装置１００は、難易度判定領域内の前景量Ｄ＿ｓｉｚｅが静止画像全体の前景量ＡＬＬ＿ｓｉｚｅに所定の割合ｒａｔｅを乗算した値より大きいか否かを判定する。所定の割合ｒａｔｅは、編集作業の難易度が高いか否かを決定するために予め設定される割合であり、例えば６割である。ステップＳ７０９において、難易度判定領域内の前景量Ｄ＿ｓｉｚｅが静止画像全体の前景量ＡＬＬ＿ｓｉｚｅに所定の割合ｒａｔｅを乗算したものより大きいと判定された場合（ステップＳ７０９：Ｙｅｓ）、処理はステップＳ７１０に進み、そうでない場合（ステップＳ７０９：Ｎｏ）、ステップＳ７１１に進む。

ステップＳ７１０において、動画分割装置１００は、処理対象であるｆフレーム目の静止画像の難易度Ｄ＿ｌｅｖｅｌをＨｉｇｈと判定する。

一方、ステップＳ７１１において、動画分割装置１００は、ｆフレーム目の静止画像の難易度Ｄ＿ｌｅｖｅｌをＬｏｗと判定する。

すなわち、図７に示す難易度判定処理では、ｆフレーム目の静止画像において、難易度判定領域内の前景量Ｄ＿ｓｉｚｅが静止画像全体の前景量ＡＬＬ＿ｓｉｚｅに所定の割合ｒａｔｅを乗算した値より大きい場合には、画像内における競技者が多いことが想定されるため、難易度が高いと判定される。

図６の説明に戻る。ステップＳ６０６において、動画分割装置１００は、ステップＳ６０５の難易度判定処理において難易度Ｄ＿ｌｅｖｅｌがＨｉｇｈであると判定されたか否かを判定する。ステップＳ６０６において、難易度Ｄ＿ｌｅｖｅｌがＨｉｇｈであると判定された場合（ステップＳ６０６：Ｙｅｓ）、処理はステップＳ６０７に進み、そうでない場合（ステップＳ６０６：Ｎｏ）、ステップＳ６０８に進む。

ステップＳ６０７において、動画分割装置１００は、ｆフレーム目の静止画像の難易度Ｄ＿ｌｅｖｅｌをＨｉｇｈに更新する。

ステップＳ６０８において、動画分割装置１００は、処理対象の静止画像のフレーム数ｆが所定フレーム数、例えば７４９フレームに達したか否かを判定する。ステップＳ６０８において、フレーム数ｆが所定フレーム数に達したと判定された場合（ステップＳ６０８：Ｙｅｓ）、処理はステップＳ６１０に進み、そうでない場合（ステップＳ６０８：Ｎｏ）、ステップＳ６０９に進む。

ステップＳ６０９において、動画分割装置１００は、フレーム数ｆを１インクリメントしてステップＳ６０２に戻る。

ステップＳ６１０において、動画分割装置１００は、ｆ＝０からｆ＝（所定フレーム数）までの静止画像を１つのグループ（パック）としてパック形成を行う。これにより、例えば所定フレーム数が７４９フレームであった場合、７５０フレームの静止画像を含むパックを形成することができる。

ステップＳ６１１において、動画分割装置１００は、ステップＳ６１０において形成したパックの負荷値を算出する。負荷値とは、画像処理装置２００において、修正者がパックの編集作業を行う際の負荷を示す度合いである。負荷値は、例えば、パックに含まれる静止画像のうち、難易度Ｄ＿ｌｅｖｅｌがＨｉｇｈである静止画像が占める割合に基づいて設定される。

図８は、負荷値の設定方法を例示した図である。図８において、左側の欄は、パック全体に対する難易度Ｄ＿ｌｅｖｅｌがＨｉｇｈである静止画像の比率を示しており、右側の欄は、比率に応じた負荷値の例を示している。図８に示す例では、パック全体に対する難易度Ｈｉｇｈのフレーム数の割合が０である場合、負荷値は１に設定されている。また、パック全体に対する難易度Ｈｉｇｈのフレーム数の割合が０より大きく０．２５未満である場合、負荷値は２に設定されている。また、パック全体に対する難易度Ｈｉｇｈのフレーム数の割合が０．２５以上０．５未満である場合、負荷値は３に設定されている。また、パック全体に対する難易度Ｈｉｇｈのフレーム数の割合が０．５以上０．７５未満である場合、負荷値は４に設定されている。また、パック全体に対する難易度Ｈｉｇｈのフレーム数の割合が０．７５以上１．０以下である場合、負荷値は５に設定されている。

すなわち、パック全体に対する難易度Ｈｉｇｈのフレーム数の割合が低いほど負荷値は低く、パック全体に対する難易度Ｈｉｇｈのフレーム数の割合が高いほど負荷値は高く設定される。なお、図８に示す例では、負荷値は５段階に設定されているが、本開示はこれには限定されない。負荷値は例えば２段階など、図８に例示した５段階より少ない段階を有していてもよいし、５段階より多い段階を有していてもよい。負荷値が２段階の場合には、例えば難易度Ｈｉｇｈのフレームが１つでもあった場合に負荷値１とし、難易度Ｈｉｇｈのフレーム数が０であった場合に負荷値０とすればよい。

図５の説明に戻る。ステップＳ５０２において、動画分割装置１００は、ステップＳ５０１において形成した複数のパックの送信先の候補である複数の画像処理装置２００毎の負荷値累積情報を取得する。

図９は、負荷値累積情報について説明するための図である。図９には、パックの送信先候補である画像処理装置２００の識別情報（ＩＤ）と、負荷値累積情報とを示す表９０１〜９０４が例示されている。表９０１〜９０４における負荷値累積情報は、時間の経過とともに更新されている。

表９０１は、ＩＤ．１〜ＩＤ．３のいずれの画像処理装置２００にもパックが送信されていない、初期状態の負荷値を示している。負荷値の初期値は１であり、ＩＤ．１からＩＤ．３の３台の画像処理装置２００の負荷値累積情報はそれぞれ１である。なお、以下では簡単のため、例えばＩＤ．１の画像処理装置２００の負荷値累積情報をＩＤ．１の負荷値のように記載する。

表９０２は、表９０１から時間が経過し、負荷値３を有する１つ目のパックが送信された状態の負荷値を示している。ＩＤ．１に対して負荷値３のパックが送信されたため、表９０２では、ＩＤ．１の負荷値が４に更新されている。

さらに、表９０３は、表９０２から時間が経過し、負荷値１を有する２つ目のパックが送信された状態の負荷値を示している。ＩＤ．２に対して負荷値１のパックが送信されたため、表９０３では、ＩＤ．２の負荷値が２に更新されている。

そして、表９０４は、表９０３からさらに時間が経過し、負荷値２を有する３つ目のパックが送信された状態の負荷値を示している。ＩＤ．３に対して負荷値２のパックが送信されたため、表９０４では、ＩＤ．３の負荷値が３に更新されている。

このように、負荷値累積情報は、現時点より以前に複数の画像処理装置２００のうちのいずれかに対して送信したパックの負荷値を、画像処理装置２００毎に累積した値である。

図５の説明に戻る。ステップＳ５０３において、動画分割装置１００は、ステップＳ５０２において取得した負荷値累積情報に基づいて、ステップＳ５０１において生成したパックを送信する送信先となる画像処理装置２００を決定する。

送信先の決定方法としては、例えばステップＳ５０２において取得した負荷値累積情報を参照して、負荷値の累積値が最も小さい画像処理装置２００を送信先とする方法がある。まだパックが送信されていない状態等、同じ負荷値累積情報を有する画像処理装置２００が複数存在する場合は、例えばＩＤが最も小さい画像処理装置２００を送信先として決定すればよい。

ステップＳ５０４において、動画分割装置１００は、ステップＳ５０３において決定した送信先に対して、ステップＳ５０１において生成したパックを送信する。

そして、ステップＳ５０５において、動画分割装置１００は、送信先の画像処理装置２００に対応する負荷値累積情報を更新する。具体的には、送信先の画像処理装置２００の負荷値累積情報にステップＳ６１１において算出した負荷値を加算して更新する。

ステップＳ５０６において、動画分割装置１００は、ステップＳ５０１において生成したパックで動画像が終了したか否かを判定する。なお、動画像が終了したとは、例えばカメラ３００が撮影していたスポーツ競技の試合が終了した等の理由により、カメラ３００が動画像の撮影を止めたことを意味する。ステップＳ５０６において、動画像が終了したと判定された場合（ステップＳ５０６：Ｙｅｓ）、処理は終了し、そうでない場合（ステップＳ５０６：Ｎｏ）、処理はステップＳ５０１に戻って次のパックの形成処理を行う。

［１．２．３ その後の処理］
図５に示すステップＳ５０４において動画分割装置１００から画像処理装置２００に対してパックが送信されると、図３に示すように、画像処理装置２００はパックを受信し、受信したパックに対して追跡処理を行う。そして、画像処理装置２００は追跡処理の結果をほぼリアルタイムで表示部２０４に表示し、追跡処理が誤っているか否かを修正者に判定させ、誤っている場合には入力部２０３を介して修正者による修正を受け付ける編集受付処理を行う（ステップＳ３０３）。これらの追跡処理および編集受付処理は、主としてプロセッサ２０１が画像処理装置２００の他の各構成要素と協働して行われるものである。

追跡処理は、具体的には、画像における競技者に対応する領域を抽出する競技者検出処理、パックの先頭の画像において競技者の初期姿勢を付与する姿勢付与処理、抽出した競技者の色等に基づいて競技者が属するチームを識別するチーム識別処理、競技者やボール等のスポーツ器具の位置を追跡する位置追跡処理等が含まれる。これらの競技者検出処理、姿勢付与処理、チーム識別処理、位置追跡処理および編集受付処理の詳細な説明は、例えば非特許文献１に開示されている。

画像処理装置２００は、追跡処理および編集受付処理が完了すると、パックに含まれる各静止画像での競技者の位置をリスト化した追跡結果を生成する。画像処理装置２００が生成した追跡結果は、動画分割装置１００に送信される（図３のステップＳ３０４）。動画分割装置１００は、画像処理装置２００から受信した追跡結果を、順番に結合することによって、各競技者の１試合分の移動情報を生成する（図３のステップＳ３０５）。このように生成された１試合分の移動情報は、動画像に重畳して表示することにより、例えば競技者の運動量や運動性を客観的に評価したり、試合を通じた戦略を構築したりするために有用である。

［１．３ 効果等］
上記したように、本実施の形態において、動画処理システム１は、動画分割装置１００と、画像処理装置２００と、カメラ３００とを有する。動画分割装置１００は、カメラ３００が撮影する動画像を構成する画像（静止画像）から特徴量を抽出し、特徴量に基づいて、画像に対する編集作業を行う際の難易度を決定する。本実施の形態では、特徴量として、画像全体に対する、競技者に対応する領域の占める割合を採用している。また、編集作業とは、画像処理装置２００が自動的に行う、画像内の競技者やボール等の位置を追跡する追跡処理における誤りを修正者が修正および編集する作業である。

そして、動画分割装置１００は、カメラ３００が撮影する動画像を、所定フレーム数の長さを有する複数のグループ（パック）に分割し、パックに含まれる画像の難易度に基づいて、パックを送信する画像処理装置２００を決定する。より詳細には、動画分割装置１００は、パックの送信先となる画像処理装置２００を決定する際に、パックに含まれる難易度が高い画像の割合に基づいてパック毎に負荷値を算出し、以前に送信されたパックの負荷値の累積値が最も小さい画像処理装置２００を送信先として決定する。

このような構成により、動画分割装置１００は、カメラ３００が撮影した画像からパックを形成した時点で負荷が小さい画像処理装置２００を、形成したパックの送信先として決定することができる。このため、負荷が小さい画像処理装置２００に対して優先的にパックを送信することができるようになるので、画像処理装置２００毎の編集作業の負荷が分散され、動画像における競技者やボール等の位置の追跡処理を効率よく行うことができる。すなわち、修正者が行うべき編集作業の負荷を全ての画像処理装置２００に対して均一化することができるので、試合全体において画像処理装置２００毎の編集作業時間のばらつきを抑えることができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示としての実施の形態を説明した。しかしながら、本開示の技術は、上記した実施の形態に限定されず、変更、置き換え、付加、省略等を行った他の実施の形態にも適用できる。また上記した実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

以下では、他の実施の形態を例示する。上記した実施の形態では、動画分割装置１００は、各フレームの静止画像について、編集作業の難易度を、ＨｉｇｈかＬｏｗかの２段階に設定していた。しかしながら、動画分割装置１００は、例えば各フレームの静止画像における難易度をより多段階、すなわち例えば５段階などに設定するようにしてもよい。この場合、その後の処理、例えば図６に示すステップＳ６０６等において、難易度ＨｉｇｈかＬｏｗかを判定する代わりに、難易度が所定の段階以上か否かを判定すればよい。

上記した実施の形態では、カメラ３００が撮影した画像から特徴量を抽出し、特徴量に基づいて、編集作業の難易度を決定していた。上記した実施の形態では、特徴量として、本実施の形態では、例えば画像全体に対する、競技者に対応する領域の占める割合を採用していた。

しかしながら、特徴量は、画像内における競技者の特徴を示す要素であればどのようなものでもよい。すなわち、特徴量の具体例としては、例えば、色、輝度、頂点の位置、形状等が挙げられる。また、画像内における競技者の特徴を示すものであれば、公知の他の特徴量を利用してもよい。

また、上記した実施の形態では、難易度判定領域（特定領域）内に含まれる前景領域の割合に基づいて難易度を判定していた。難易度判定領域は、動画処理システム１の操作者により設定された、競技者が多いことが予想される領域であるため、難易度判定領域に内に含まれる前景領域の割合が高いことは、競技者が一箇所に密集していることを意味する。しかしながら、本開示では、難易度判定領域（特定領域）内に含まれる前景領域の割合に基づいて難易度を判定するのではなく、動画分割装置１００が難易度判定領域内の競技者の数を計数し、競技者の数が多い場合には少ない場合より難易度が高いと判定してもよい。難易度判定領域内の競技者の数を計数する方法については、公知の技術を利用すればよい。

また、上記した実施の形態では、動画分割装置１００は、画像処理装置２００に対して以前に送信されたパックの負荷値の累積値に基づいて、送信先となる画像処理装置２００を決定していた。しかしながら、例えば編集作業に要する時間が修正者によって異なる場合や、試合終盤等では、各画像処理装置２００に未処理のパックが残ったままの状態となっていることが考えられる。このような場合には、これまでの累積負荷値に基づいて送信先の画像処理装置２００を決定するよりも、今後の編集作業に要する時間を考慮して送信先を設定した方が望ましい。

従って、既に送信され、かつ処理の完了が通知されていないパック（未処理パック）の負荷値の画像処理装置２００毎の合計値を動画分割装置１００が算出し、この合計値に基づいて送信先を設定するようにしてもよい。この場合、１つのパックに対して追跡処理および編集受付処理を完了した画像処理装置２００が、動画分割装置１００に対して完了を通知し、動画分割装置１００は完了を通知されたパックの負荷値を、上記した負荷値累積情報から減じることで、未処理パックの負荷値の合計値を算出すればよい。

また、上記した実施の形態では、画像処理装置２００は、パックに含まれる各静止画像での競技者の位置をリスト化した追跡結果を動画分割装置１００に送信し、画像処理装置２００が複数の画像処理装置２００から受信した追跡結果を結合して競技者の１試合分の移動情報を生成していた。しかしながら、競技者の１試合分の移動情報を生成するために画像処理装置２００が動画分割装置１００に送信する情報はこの形式に限定されない。画像処理装置２００が動画分割装置１００に送信する情報は競技者の１試合分の移動情報を生成するために有益な情報であればよい。例えば、画像処理装置２００が、パックに含まれる各静止画像に競技者の位置を示すマーカ等を重畳して位置情報付加パックを生成し、生成した位置情報付加パックを、動画分割装置１００に送信してもよい。このようにしても、動画分割装置１００は複数の画像処理装置２００から受信したパックを結合して競技者の１試合分の移動情報を生成することができる。また、複数の画像処理装置２００が生成した追跡結果もしくは位置情報付加パックを結合し、競技者の１試合分の移動情報を生成するのは動画分割装置１００でなくてもよい。例えば、複数の画像処理装置２００は、それぞれ生成した追跡結果もしくは位置情報付加パックを、他の動画結合装置に送信し、当該動画結合装置が複数の追跡結果もしくは位置情報付加パックを結合して競技者の１試合分の移動情報を生成するようにしてもよい。

また、上記した実施の形態では、動画分割装置１００および画像処理装置２００をそれぞれ異なる構成として記載した。しかしながら、例えば動画分割装置１００の機能と、画像処理装置２００の機能とを少数のＰＣやワークステーション等のコンピュータに搭載してもよい。このような場合、修正作業を行うための表示部および入力部を修正者の人数分用意することにより、動画分割装置１００と複数の画像処理装置２００の機能を、例えば１台等、ごく少数のコンピュータで実現することができる。これにより、動画処理システム１の設置コストを低減することができるようになる。

なお、上記した実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において、種々の変更、置き換え、付加、省略等が行われてもよい。例えば、上述した実施の形態においては動画像の一例としてスポーツ競技の試合を撮影したスポーツ映像を構成する動画像を用いる例を説明した。しかし、本開示に用いられる動画像はスポーツ競技の試合を撮影したスポーツ映像を構成する動画像に限られない。本開示に用いられる動画像としては、広く解析の対象となる動画像全てが含まれ得る。解析の対象となる動画像の例としては人物の振る舞いを収録した動画像が含まれる。本開示を人物の振る舞いを収録した動画像に適用する場合は、動画像を構成する画像中の特定領域に存在する人物が多ければ、前記特定領域に存在する人物が少ない場合よりも、難易度が高いと決定するようにすると良い。また、アイドルのコンサート映像を収録した動画像も本開示に用いられる動画像に含まれる。本開示をアイドルのコンサート映像を収録した動画像に適用する場合は動画像を構成する画像中の特定領域に存在するアイドルが多ければ、前記特定領域に存在するアイドルが少ない場合よりも、難易度が高いと決定すると良い。

本開示は、動画像を分割し、分割した動画像に対する編集作業の負荷がほぼ均等となるように送信先を決定する動画分割方法、動画分割装置および動画処理システムに適用可能である。

１ 動画処理システム
１００ 動画分割装置
１０１ プロセッサ
１０２ 記憶部
１０３ 入力部
１０４ 表示部
１０５ 通信部
１０６ バス
２００，２００Ａ，２００Ｂ，２００Ｃ 画像処理装置
２０１ プロセッサ
２０２ 記憶部
２０３ 入力部
２０４ 表示部
２０５ 通信部
２０６ バス
３００ カメラ
４００ フィールド
４０１，４０２ 領域
９０１，９０２，９０３，９０４ 表

Claims (6)

1. プロセッサが、
   動画像を構成する複数フレームの画像のそれぞれについて、各フレームの画像に含まれる背景以外の領域である前景領域の大きさに対する、前記画像の特定領域内に含まれる前記前景領域の大きさの割合を抽出し、
   前記画像を編集作業する際の難易度を、前記前景領域の大きさの割合が所定割合より大きい場合は、前記前景領域の大きさの割合が所定割合より小さい場合よりも高くなるように決定し、
   前記動画像を構成する画像を、所定数フレームの画像毎に複数グループに分割し、
   前記分割した１のグループを構成する画像の難易度に基づいて、前記１のグループの送信先となる画像処理装置を決定する、
   動画分割方法。
2. 前記プロセッサは、
   既に送信した前記グループを構成する画像の難易度に基づいて、前記１のグループの送信先となる画像処理装置を決定する、
   請求項１に記載の動画分割方法。
3. 前記画像処理装置が、前記グループに含まれる全ての画像に対して所定の画像処理が完了したことを条件に、前記プロセッサに対して処理が完了したグループの通知を行う場合に、
   前記プロセッサは、
   前記複数の画像処理装置のそれぞれに対して、既に送信され、かつ前記処理の完了が通知されていないグループを構成する画像の難易度に基づいて、前記１のグループの送信先となる画像処理装置を決定する、
   請求項１に記載の動画分割方法。
4. 前記動画像は、スポーツ競技を撮影した動画像であって、
   前記プロセッサは、更に、前記特定領域に存在する競技者が多ければ、前記特定領域に存在する競技者が少ない場合よりも、難易度が高いと決定する、
   請求項１に記載の動画分割方法。
5. プロセッサを有する動画分割装置であって、
   前記プロセッサが、
   動画像を構成する複数フレームの画像のそれぞれについて、各フレームの画像に含まれる背景以外の領域である前景領域の大きさに対する、前記画像の特定領域内に含まれる前記前景領域の大きさの割合を抽出し、
   前記画像を編集作業する際の難易度を、前記前景領域の大きさの割合が所定割合より大きい場合は、前記前景領域の大きさの割合が所定割合より小さい場合よりも高くなるように決定し、
   前記動画像を構成する画像を、所定数フレームの画像毎に複数グループに分割し、
   前記分割した１のグループを構成する画像の難易度に基づいて、前記１のグループの送信先となる画像処理装置を決定する、
   動画分割装置。
6. プロセッサを有する動画分割装置と、前記動画分割装置が送信した動画像に対して所定の画像処理を行う複数の画像処理装置と、を有する動画処理システムであって、
   前記プロセッサは、
   動画像を構成する複数フレームの画像のそれぞれについて、各フレームの画像に含まれる背景以外の領域である前景領域の大きさに対する、前記画像の特定領域内に含まれる前記前景領域の大きさの割合を抽出し、
   前記画像を編集作業する際の難易度を、前記前景領域の大きさの割合が所定割合より大きい場合は、前記前景領域の大きさの割合が所定割合より小さい場合よりも高くなるように決定し、
   前記動画像を構成する画像を、所定数フレームの画像毎に複数グループに分割し、
   前記分割した１のグループを構成する画像の難易度に基づいて、前記複数の画像処理装置のうち、前記１のグループの送信先となる画像処理装置を決定する、
   動画処理システム。

Images