JP7632301B2 - 情報処理装置、情報処理方法、プログラム - Google Patents

Description

本技術は情報処理装置、情報処理方法、プログラムに関し、特に二つの画像を組み合わせたコンテンツを生成する技術に関する。

例えばスポーツ競技などを観戦する場合に、複数の被写体についてのパフォーマンスを同時に視認することは難しい。これに対し、特許文献１では、複数台のテレビカメラで撮影したストリームデータを合成して一つの合成ストリームデータを生成し、その合成ストリームデータを視聴者端末からの要求に応じて、ネットワークを介して配信することが開示されている。

特開２００３－１８５８３号公報

しかし、例えばレース競技など、他者との比較が重要な競技においては、競技全体の動きと個々の選手の動きの関係を一度に見たいという要望がある。

そこで、本技術では、全体の中での被写体の動きを把握するための適切なコンテンツを生成することを目的とする。

本技術に係る情報処理装置は、第１の撮像装置により撮像された第１画像と、前記第１の撮像装置または他の撮像装置により撮像され前記第１画像の被写体のうちの一部を被写体とした第２画像と、を組み合わせて表示用コンテンツを生成するコンテンツ生成部を備えたものである。
複数の被写体を撮影する場合に、被写体ごとの画像や画角を変えた画像を同時に記録したいという要望や閲覧したいという要望がある。

上記した情報処理装置においては、前記第１画像と前記第２画像を同期させる同期処理を行う同期処理部を備えていてもよい。
これにより、第１画像と第２画像を組み合わせた表示用コンテンツをユーザ端末などに送信することが可能とされる。

上記した情報処理装置においては、前記第１画像と前記第２画像を同期させる同期処理部を備えていてもよい。
これにより、第１画像と第２画像がそれぞれ別の画角で撮影されたものであっても、時間的な関係を把握することができる。

上記した情報処理装置において、前記表示用コンテンツは、重畳情報を含んでいてもよい。
重畳情報とは、例えば、文字（テキスト）情報や画像情報などである。

上記した情報処理装置において、前記重畳情報は、前記第１画像または前記第２画像についての説明情報とされてもよい。
説明情報とは、例えば、レース画像であれば、開催日時、開催場所、レース名、出場者名など、画像を閲覧する上で理解の助けになるような説明となる情報である。

上記した情報処理装置において、前記重畳情報は、前記第２画像の被写体に対する比較情報とされてもよい。
比較情報とは、例えば、第２画像の被写体である選手の目標記録との差異を示す情報である。具体的には、目標記録に対してどの程度先行しているか、或いは遅れているかを示す情報である。

上記した情報処理装置において、前記比較情報は、前記第２画像の被写体についての成績を示す情報とされてもよい。
第２画像の被写体についての成績とは、例えば、第２画像の被写体の選手自身の過去の記録などである。

上記した情報処理装置において、前記比較情報は、前記第２画像の被写体以外の人物の成績を示す情報とされてもよい。
第２画像の被写体以外の人物の成績とは、例えば、同じレースに出場している他選手の中で最も成績のよい選手の記録などである。或いは、日本記録や世界記録などの成績などでもよい。

上記した情報処理装置においては、前記第２画像の被写体についての画像解析を行い前記第２画像の被写体の成績に影響を及ぼす特徴量を抽出する分析処理部を備え、前記重畳情報は、前記特徴量に関する情報とされてもよい。
第２画像の被写体の成績に影響を及ぼす特徴量とは、例えば、水泳であれば、息継ぎ回数や頻度、或いは手を掻く回数などである。

上記した情報処理装置においては、受信したユーザ情報に基づいてユーザ認証を行う認証処理部を備え、前記送信処理部は、認証結果に基づいて前記表示用コンテンツを選択して送信してもよい。
表示用コンテンツは、個人情報を含む画像コンテンツである。そのようなコンテンツがユーザ認証に成功した場合に限り送信される。

上記した情報処理装置においては、表示用コンテンツごとに開示範囲を設定するコンテンツ管理部を備えていてもよい。
表示用コンテンツは、被写体の選手によって閲覧制限を設けたい場合とそうでない場合がある。

上記した情報処理装置においては、受信したユーザ情報に基づいてユーザ認証を行う認証処理部を備え、前記送信処理部は、認証結果と前記開示範囲とに基づいて前記表示用コンテンツの送信を行ってもよい。
例えば、ユーザ認証によってユーザを特定し、表示用コンテンツに設定された開示範囲に基づいて該ユーザの要求を受諾するか否かの判定を行う。

上記した情報処理装置において、前記同期処理では、前記第１画像と前記第２画像の画像比較を行ってもよい。
例えば、第１画像と第２画像が動画像である場合に、両画像の一部同士を比較して一致度を算出することにより、同期処理を行う。

上記した情報処理装置における前記送信処理部はストリーミング配信を行ってもよい。
例えば、競技において全体を俯瞰で撮像した公式の第１画像と特定の選手に着目した公式の第２画像を組み合わせてストリーミング配信を行う。

本技術の情報処理方法は、第１の撮像装置により撮像された第１画像と、前記第１の撮像装置または他の撮像装置により撮像され前記第１画像の被写体のうちの一部を被写体とした第２画像と、を組み合わせて表示用コンテンツを生成する情報処理装置が実行するものである。

本技術のプログラムは、第１の撮像装置により撮像された第１画像と、前記第１の撮像装置または他の撮像装置により撮像され前記第１画像の被写体のうちの一部を被写体とした第２画像と、を組み合わせて表示用コンテンツを生成する生成処理を情報処理装置に実行させるものである。
これにより、全体の中での被写体の動きを把握するための適切なコンテンツを生成することができる。

実施の形態の配信システムの構成を示す図である。 実施の形態の情報処理装置のブロック図である。 実施の形態で配信サーバ装置の機能ブロック図である。 実施の形態の配信コンテンツの一例である。 実施の形態の配信コンテンツの別の例である。 実施の形態の配信コンテンツ生成処理の一例を示すフローチャートである。 実施の形態のコーチング情報抽出処理の一例を示すフローチャートである。 実施の形態の要求対応処理の一例を示すフローチャートである。 実施の形態の配信コンテンツ送信処理の一例を示すフローチャートである。 実施の形態のコーチング情報送信処理の一例を示すフローチャートである。 実施の形態のライブ配信処理の一例を示すフローチャートである。 実施の形態の撮像画像データの編集例の変形例１を説明するための図である。 実施の形態の配信コンテンツ生成要求受信処理の一例を示すフローチャートである。

以下、実施の形態を次の順序で説明する。
<１．システム構成>
<２．配信サーバ装置の構成>
<３．撮像画像データの編集例>
<４．配信サーバ装置における処理例>
<４－１．配信コンテンツ生成処理>
<４－２．コーチング情報抽出処理>
<４－３．要求対応処理>
<５．ライブ配信>
<６．変形例>
<６－１．撮像画像データの編集例の変形例１>
<６－２．撮像画像データの編集例の変形例２>
<７．まとめ>
<８．本技術>

<１．システム構成>

本実施の形態における配信システム１の構成について、図１を参照して説明する。なお、以下の説明においては、配信システム１の一例として、スポーツ競技としての競泳に関する画像を配信するシステムを挙げる。ここでいう「画像」とは、動画像及び静止画の双方を含むものとする。

配信システム１は、通信ネットワーク２を介して配信サーバ装置３とチーム端末４と個人端末５とが相互通信可能に接続されて成る。
また、配信サーバ装置３は、会場設備システム６と通信可能とされている。会場設備システム６は、複数の撮像装置７を含んで構成されている。

通信ネットワーク２は、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）、衛星通信網、その他の各種のネットワークが想定される。

配信サーバ装置３は、例えば、競泳についての各種大会やイベントを運営する運営団体が管理する情報処理装置とされ、ＰＣ（Personal Computer）やワークステーションなどによって構成される。

配信サーバ装置３は、競泳の大会やイベントなどのスケジュール管理や競技種目の管理及び参加者（選手）の管理等を行う。配信サーバ装置３は、スケジュール情報や競技種目及び参加者についての情報をチーム端末４や個人端末５に送信する。
また、配信サーバ装置３は、大会へのエントリー要求を受信し、大会へのエントリー処理を実行する。

配信サーバ装置３は、競泳会場に設置された撮像装置７で撮像した画像をチーム端末４や個人端末５に配信する装置とされる。配信サーバ装置３は、会場設備システム６が備える撮像装置７と通信可能とされている。

なお、配信サーバ装置３と撮像装置７の通信は、ネットワークを介して可能とされていてもよいし、直接接続されることにより可能とされていてもよい。また、会場設備システム６が各撮像装置７を統括的に管理する管理端末を備えており、配信サーバ装置３は管理装置を介して撮像装置７と通信可能とされていてもよい。
更には、会場設備システム６が通信ネットワーク２に接続されており、配信サーバ装置３は通信ネットワーク２を介して撮像装置７と通信可能とされていてもよい。

配信サーバ装置３は、撮像装置７から取得した撮像画像データを用いて配信用のコンテンツ（以降、「配信コンテンツ」と記載）を生成する。配信コンテンツは、例えば、複数の撮像装置７から取得した撮像画像データを組み合わせた画像データとされ、更に、キャプション情報やメタデータなどのテキスト情報や画像データを重畳させてもよい。
配信コンテンツは、各情報処理装置において表示されるコンテンツであるため、表示用コンテンツとも換言できる。

配信サーバ装置３で生成された配信コンテンツは、チーム端末４や個人端末５に適宜配信される。

配信サーバ装置３は、大会開催期間中に一時的に会場内に設置される情報処理装置とされてもよい。またその場合には、運営団体が所有する情報処理装置であってスケジュール管理や選手情報の管理やエントリー処理等、大会開催期間外において恒常的に実行される各種処理を実行する常設型の情報処理装置と、会場内に一時的に設置される情報処理装置であって撮像装置７の制御や撮像画像データについての処理等、特に大会開催期間中において実行される各種処理を実行する一時設置型の情報処理装置が連携することにより配信サーバ装置３を構成してもよい。

以降の例においては、配信サーバ装置３が常設型の情報処理装置と一時設置型の情報処理装置の双方を含んで構成される例について説明する。

チーム端末４は、競泳チームやクラブチームが所有する情報処理装置とされ、例えば、ＰＣやＰＤＡ（Personal Digital Assistant）などである。チーム端末４は、例えば競泳チームに所属しているユーザ（スタッフや競技者）のみが使用可能とされ、配信サーバ装置３に対して各種の要求を行うことが可能とされている。各種の要求とは、例えば、配信コンテンツの送信要求や大会情報の送信要求などである。
また、チーム端末４は、大会と種目と競技者を指定することにより大会へのエントリー要求を配信サーバ装置３へ送信することが可能とされる。

チーム端末４は、競泳チームの所属競技者についての情報を管理する。チーム端末４は、例えば、個人端末５からの要求に応じて、所属競技者についての成績や参加情報などを送信可能とされている。

個人端末５は、競技者が所有する情報処理装置であり、例えば、スマートフォンやタブレット等の携帯端末装置、携帯電話機、ＰＣ、ゲーム機器、ビデオ機器、ＰＤＡなど、通信機能を備えた装置とされる。

個人端末５は、チーム端末４に対して大会成績や個人情報の取得要求を送信し、各情報を得ることが可能とされている。また、個人端末５は、配信サーバ装置３から大会情報や配信コンテンツを受信可能に構成されていてもよい。
また、個人端末５は、チーム端末４や配信サーバ装置３に対してログイン要求を送信可能とされていてもよい。例えば、各種の情報を取得するためにログイン情報としてＩＤ（Identification）とパスワードを各装置に送信することにより、各装置において認証処理が実行される。

会場設備システム６は、競泳会場に設置された撮像装置７を備えている。上述したように、各撮像装置７を統括的に管理する管理端末を備えて構成されていてもよい。

撮像装置７は、競泳会場に設置されたビデオカメラ等であり、例えば、プール全体を撮像する撮像装置７や、レーンごとの画像を撮影する撮像装置７や、電光掲示板を撮影する撮像装置７や、観客席を撮影する撮像装置７などとして設けられている。

<２．配信サーバ装置の構成>

配信サーバ装置３の構成について説明する。上述したように、ここでは、配信サーバ装置３は競泳会場に設置された撮像装置７の管理機能を備えている例を説明する。例えば、配信サーバ装置３は、複数の情報処理装置によって構成されている。
複数の情報処理装置のそれぞれは、例えば、図２に示すような構成を備えている。
情報処理装置のＣＰＵ７１は、ＲＯＭ７２に記憶されているプログラム、または記憶部７９からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インタフェース７５も接続されている。

入出力インタフェース７５には、操作子や操作デバイスよりなる入力部７６が接続される。
例えば入力部７６としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。

また入出力インタフェース７５には、ＬＣＤ或いは有機ＥＬパネルなどよりなる表示部７７や、スピーカなどよりなる音声出力部７８が一体又は別体として接続される。
表示部７７は各種表示を行う表示部であり、例えば配信サーバ装置３の筐体に設けられるディスプレイデバイスや、配信サーバ装置３に接続される別体のディスプレイデバイス等により構成される。
表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部７７はＣＰＵ７１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。

入出力インタフェース７５には、ハードディスクや固体メモリなどより構成される記憶部７９や、モデムなどより構成される通信部８０が接続される場合もある。

通信部８０は、インターネット等の伝送路を介しての通信処理や、各種機器との有線／無線通信、バス通信などによる通信を行う。
本実施の形態の場合、通信部８０は、撮像装置７との間で通信を行う機能を備える。

入出力インタフェース７５にはまた、必要に応じてドライブ８２が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体８１が適宜装着される。
ドライブ８２により、リムーバブル記録媒体８１からは各種のコンピュータプログラムなどを読み出すことができる。リムーバブル記録媒体８１から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。

この配信サーバ装置３では、例えば本開示の処理のためのソフトウエアを、通信部８０によるネットワーク通信やリムーバブル記録媒体８１を介してインストールすることができる。或いは当該ソフトウエアは予めＲＯＭ７２や記憶部７９等に記憶されていてもよい。

例えばこのようなソフトウエア（アプリケーションプログラム）によって、図３のような機能構成が配信サーバ装置３のＣＰＵ７１において構築される。
配信サーバ装置３は、カメラコントローラ１１、スイッチャー１２、選手情報管理部１３、コンテンツ管理部１４、画像編集処理部１５、分析処理部１６、同期処理部１７、認証処理部１８及び配信制御部１９などの各機能を有して構成されている。

カメラコントローラ１１は、会場内に設置されている撮像装置７についての制御を行う。具体的には、撮像装置７にパン方向やチルト方向の回動動作を実行させる制御や、ズームイン動作やズームアウト動作を実行させるための制御や、画質や色味など撮像画像データの品質を変更するための制御などである。また、カメラコントローラ１１は、撮像装置７で撮像した撮像画像データを送信させる制御なども行うことができる。

スイッチャー１２は、複数の撮像装置７の画像を切り換えることにより、ライブ配信画像を変更する処理や、会場内に設置された大型ディスプレイに表示する画像を切り換える処理などを実行する。

なお、カメラコントローラ１１やスイッチャー１２は、それぞれ単独の装置として実現されてもよい。

選手情報管理部１３は、運営団体所属の選手に関する各種情報の管理を行う。例えば、選手名、選手ＩＤ、所属チーム情報、住所、連絡先、生年月日、大会時点の満年齢などの個人を特定するための情報と、参加した大会情報、記録情報などが選手情報とされる。

コンテンツ管理部１４は、配信するために生成された画像コンテンツ情報についての管理を行う。画像コンテンツは、例えば複数の撮像装置７から取得した撮像画像データを組み合わせて生成されたコンテンツであり、チーム端末４や個人端末５に配信するための配信コンテンツであり、各端末で表示される表示用コンテンツでもある。
コンテンツ管理部１４は、画像コンテンツとそれに紐付けられるメタデータやキャプション情報を管理する。メタデータやキャプション情報とは、例えば、画像コンテンツに関する被写体名（選手名）、大会名、大会開催場所、撮影日時、競泳種目、選手が使用したコース番号、競泳記録、順位等である。また、選手を撮影した撮像装置７を特定するための情報や撮像装置７の撮影設定などが記録されていてもよい。

コンテンツ管理部１４は、画像コンテンツごとに公開範囲を設定して記憶する。公開範囲は、例えば、「被写体の選手本人にのみ配信可」、「選手の所属チームに配信可」、「誰にでも配信可」などの設定が考えられる。

画像編集処理部１５は、撮像装置７から取得した撮像画像データについての編集処理を行う。編集処理は各種考えられ、例えば、複数の撮像装置７から取得した複数の撮像画像データを合成し一つの画像データを生成する処理や、テキスト情報や画像を重畳させる処理や、取得した撮像画像データから所定範囲の画像を切り出す処理などである。

重畳させるテキスト情報としては、例えば、選手情報や大会情報や競泳記録などが考えられる。また、重畳させる画像としては、取得した撮像画像データの被写体としての選手の過去の成績を視覚的に示すための画像や、各種大会や国のレコード情報を視覚的に示すための画像などである。

分析処理部１６は、撮像装置７から取得した撮像画像データに対して画像解析を施し、コーチング情報を取得する処理部である。例えば、競泳であれば、５０ｍを泳ぐ間に行った息継ぎの回数や、水を掻いた回数や、水を蹴る回数などを画像解析により取得する。また、選手の位置とその時の速度（泳速）を画像解析により算出してもよい。
これらの情報は、コーチングに使用可能なコーチング情報とされる。コーチング情報の抽出においては、例えば、ＣＮＮ（Convolutional Neural Network）などのディープラーニング手法が用いられてもよい。

同期処理部１７は、複数の撮像画像データを合成して一つの配信コンテンツを生成する場合に、複数の撮像画像データを同期させる処理を行う。

認証処理部１８は、チーム端末４や個人端末５などの他の端末から受信したＩＤ情報とパスワード情報に基づいて会員であるか否かを判定する認証処理を行う。
なお、認証処理が成功したユーザや端末に対しては、会員であることを示す情報として例えば２次元バーコードなどを認証処理部１８が送信するように構成してもよい。例えば、２次元バーコード情報を受信したユーザは、会場などに設置された読み取り機などに２次元バーコードをかざすことにより、会場への入場や関係者エリアへの入場をスムーズに行うことができる。また、競泳会場において撮影許可を得る際にも２次元バーコードを利用することができる。

配信制御部１９は、画像コンテンツをデータベースから取得し、画像コンテンツの配信依頼を送信してきた端末に対して画像コンテンツを配信する配信制御を行う。また、配信制御部１９は、画像コンテンツの公開範囲に基づいて配信制御を行ってもよい。

また、配信制御部１９は、競泳会場で撮像した撮像画像データをリアルタイムでライブ配信するための制御を行ってもよい。例えば、競泳会場に来場している家族の一員としてのユーザに対して、ライブ画像を配信してもよい。その際には、ユーザごとに異なるライブ画像を配信してもよい。具体的には、例えば、プール全体を俯瞰で撮像する撮像装置７からの撮像画像データ（全体画像）と選手個人をズームアップして撮像する撮像装置７からの撮像画像データ（アップ画像、個人画像）を画像編集処理部１５において合成し、これによって得られた選手ごとに個別の画像コンテンツをライブ画像として各ユーザに配信してもよい。これにより、ユーザは自身の子供について特別に作成された画像コンテンツを受信することができる。

なお、上述した配信サーバ装置３が備える各種の機能は、少なくとも一部の機能がクラウドコンピューティングによって提供される機能であってもよい。
また、例えば、競泳会場に配信サーバ装置３を設置すること無く、運営団体が所有している据え置き型のサーバ装置として配信サーバ装置３が設けられ、該配信サーバ装置３が各種の機能を備えていてもよい。

<３．撮像画像データの編集例>

配信サーバ装置３の画像編集処理部１５によって編集された画像コンテンツの例について説明する。
ユーザは、自身に関係のある選手をズームアップで撮像した競技中の画像と、レース全体を俯瞰で撮像した画像、更に、レースに関する記録が表示される電光掲示板の情報を同時に視認したい場合がある。この要望に応えるために、撮像装置７から取得した撮像画像データを編集することにより、例えば、図４に示すような画像コンテンツを生成する。

図４はユーザに配信するために生成された画像コンテンツについての一場面を表したものである。
画像コンテンツは、複数の領域を有して構成されている。例えば、第１領域ＡＲ１は、レース全体の成り行きを視認するための画像が表示される領域であって、プール全体を撮像する撮像装置７から取得した撮像画像データが表示される。以降では、このように複数の画像データを合成して生成した画像データを「合成画像データ」と記載する。

第２領域ＡＲ２は、選手個人のアップ画像を撮像している撮像装置７から取得した撮像画像データが表示される。
なお、プール全体を撮像した画像が十分に高解像度である場合には、第１領域ＡＲ１に表示する画像における選手個人が撮像された特定領域を切り取って拡大した画像が第２領域ＡＲ２に表示されてもよい。即ち、１台の撮像装置７から取得した撮像画像データを用いて第１領域ＡＲ１及び第２領域ＡＲ２にそれぞれ画像を表示してもよい。

図４は、撮像画像データが表示される二つの領域が設けられていたが、もちろんこれは一例であり、三つ以上の領域が設けられていてもよい。その場合には、例えば、図４に示すように、第１領域ＡＲ１と第２領域ＡＲ２に加えて、電光掲示板を撮像した撮像装置７から取得した撮像画像データが表示される第３領域ＡＲ３が設けられていてもよい。
また、それぞれの領域は、同じ大きさに設定されていてもよいし、異なる大きさに設定されていてもよい。また、ある領域が他の領域に重畳されるように配置されていてもよい。

なお、画像の代わりに文字情報を表示させてもよい。その例を図５に示す。文字情報は、例えば画像を説明するための説明情報などとされる。
図５は、全体を俯瞰で捉えた画像が表示される第１領域ＡＲ１及び選手個人をアップで撮像した画像が表示される第２領域ＡＲ２に加えて、電光掲示板に表示されている情報から抽出したテキスト情報を表示するための第３領域ＡＲ３が設けられている例である。

第３領域ＡＲ３は、第２領域ＡＲ２に重畳表示される領域とされる。
第３領域ＡＲ３に説明情報として表示するテキスト情報は、例えば、電光掲示板を撮像した撮像画像データを画像解析することにより取得してもよい。電光掲示板の撮像画像データから文字認識を行い、テキスト情報を得る。或いは、電光掲示板の表示のために送信されるテキスト情報を取得し、そこから説明情報として表示するテキスト情報を抽出してもよい。

また、競技に参加している参加者情報をデータベースから取得し競泳の途中経過情報（例えば５０ｍごとのラップタイム情報）を管理している装置からタイム情報を取得し、それらの取得した情報からテキスト情報を生成してもよい。
他にも、大会名、大会開催場所、撮影日時、競泳種目、第２領域ＡＲ２に表示される選手の選手名、当該選手が使用したコース番号、競泳記録、順位、自己ベスト情報などをテキスト情報として取得してもよい。

テキスト情報を表示する場合は、図４に示す合成画像データとテキスト情報を分けてチーム端末４や個人端末５などの他の端末に送信し、他の端末の処理によってテキスト情報が合成画像データに重畳して表示されるように構成してもよい。この場合には、テキスト情報を重畳させる位置をユーザが自由に設定できるようにすることやテキスト情報の表示と非表示の切り換えを設定できるようにすることが容易となる。

或いは、配信サーバ装置３の画像編集処理部１５によって予めテキスト情報が画像情報として合成画像データに組み込まれた状態で他の端末に送信してもよい。
また、第３領域ＡＲ３を設けずにテキスト情報が表示されるように構成してもよい。例えば、第２領域ＡＲ２に表示する撮像画像データにテキスト情報を組み込むことにより、テキスト情報を表示するための第３領域ＡＲ３を設けなくて済む。

<４．配信サーバ装置における処理例>
<４－１．配信コンテンツ生成処理>

配信サーバ装置３が実行する各種処理について説明する。
先ず、配信コンテンツを生成する処理について図６を参照して説明する。配信コンテンツ生成処理は、例えば競泳の大会後に実行される処理であって、選手ごとに個別の配信コンテンツを生成する処理である。

配信コンテンツ生成処理において、配信サーバ装置３はステップＳ１０１で一人の選手を選択する。配信コンテンツ生成処理は、例えば、複数の撮像装置７から取得した撮像画像データを用いて大会終了後に実行される処理である。従って、ステップＳ１０１では、大会に参加していた選手の中から一人を選択する処理である。なお、一つの大会において複数のレースに出場している選手がいる場合、例えば予選と決勝の両方に出場した選手がいる場合などは、レースと選手の双方を選択する処理をステップＳ１０１で実行する。

配信サーバ装置３はステップＳ１０２において、全体画像を選択する処理を実行する。具体的には、全体を俯瞰で撮影していた撮像装置７から取得した撮像画像データを選択する。また、取得する撮像画像データは、ステップＳ１０１で選択した選手が出場した特定のレースのものとされる。

配信サーバ装置３はステップＳ１０３において、選手の個人画像を選択する処理を実行する。この処理は、ステップＳ１０１で特定した選手についての撮像画像データである。複数のレースに参加している選手である場合には、ステップＳ１０１で選択したレース情報に基づいて一つの撮像画像データを選択する。

配信サーバ装置３はステップＳ１０４において、テキスト情報を取得する。この処理は、例えば、図５の第３領域ＡＲ３に表示するためのテキスト情報を取得するために行うものである。取得する情報は、例えば、競泳会場情報や大会名、レース情報や選手が競技の際に使用したコース番号、選手名、ラップタイムなどのこのレースにおける成績情報、自己ベストなどの情報である。
なお、テキスト情報を利用しない場合は、ステップ１０４の処理を実行しなくてよい。

配信サーバ装置３はステップＳ１０５において、撮像画像データの合成処理を行う。この処理により、図４や図５に示すような配信コンテンツが生成される。

生成された配信コンテンツは、ステップＳ１０６の処理を配信サーバ装置３が実行することにより記憶部７９等に記憶される。

配信サーバ装置３はステップＳ１０７において、大会に出場していた選手全員分について上述した各種の処理が終了したか否かを判定する。まだ未処理の選手がいる場合、配信サーバ装置３はステップＳ１０１の処理へと戻る。
一方、未処理の選手がいない場合、配信サーバ装置３は図６に示す一連の処理を終了する。

図６に示す配信コンテンツ生成処理を実行することにより、大会に出場した選手ごとに異なる配信コンテンツが生成される。
なお、大会に出場した全選手に対して図６に示す処理を実行する例を示したが、一部の選手に対して実行してもよい。また、チーム端末４や個人端末５から配信コンテンツの配信要求を受信した際に適宜実行してもよい。配信要求の受信に応じて図６に示す配信コンテンツ生成処理を実行する場合には、不要な処理を実行しなくてよいため、配信サーバ装置３の処理負担の軽減が図られる。

<４－２．コーチング情報抽出処理>

配信サーバ装置３が実行するコーチング情報抽出処理について、図７を参照して説明する。コーチング情報抽出処理は、撮像装置７から取得した撮像画像データを解析することにより、コーチングに用いられる情報を抽出する処理である。コーチング情報抽出処理は、例えば、大会後に実行される処理である。

配信サーバ装置３はステップＳ２０１において、一人の選手を選択する。この処理は、図６のステップＳ１０１の処理と同様の処理であり、大会に出場した選手を一人選択する処理である。

配信サーバ装置３はステップＳ２０２において、選手の個人画像を選択する。この処理は、図６のステップＳ１０２の処理と同様の処理である。

配信サーバ装置３はステップＳ２０３において、画像分析処理を行う。画像分析処理は、ステップＳ２０２で選択した撮像画像データを分析し特徴量を抽出する処理である。分析においては、例えば、ＣＮＮなどのディープラーニング手法が用いられてもよい。

配信サーバ装置３はステップＳ２０４において、コーチング情報を抽出する。この処理は、先の画像分析処理の分析結果に基づいてコーチング情報としての息継ぎ回数や水を掻いた回数や、水を蹴る回数などを抽出する。また、競技開始から終了までの泳速の変化などを抽出してもよい。

配信サーバ装置３はステップＳ２０５において、コーチング情報を記憶する処理を実行する。具体的には、選手が出場した大会やレース等に紐付けてコーチング情報が記憶される。
配信サーバ装置３はステップＳ２０６において、大会に出場していた選手全員分について上述した各種の処理が終了したか否かを判定する。まだ未処理の選手がいる場合、配信サーバ装置３はステップＳ２０１の処理へと戻る。
一方、未処理の選手がいない場合、配信サーバ装置３は図７に示す一連の処理を終了する。

図７に示すコーチング情報抽出処理を実行することにより、大会に出場した選手ごとのコーチング情報が抽出される。
なお、大会に出場した全選手に対して図７に示す処理を実行する例を示したが、一部の選手に対して実行してもよい。また、チーム端末４や個人端末５からコーチング情報の送信要求を受信した際に適宜実行してもよい。送信要求の受信に応じて図７に示すコーチング情報抽出処理を実行する場合には、不要な処理を実行しなくてよいため、配信サーバ装置３の処理負担の軽減が図られる。

なお、ここで抽出したコーチング情報は、図５に示す第３領域ＡＲ３にテキスト情報として表示してもよい。

<４－３．要求対応処理>

配信サーバ装置３は、チーム端末４や個人端末５から各種の要求を受信する。従って、配信サーバ装置３は各種の要求の受信を確認し、要求ごとに対応する処理を実行する。
配信サーバ装置３が実行する要求対応処理の一例について、図８に示す。

配信サーバ装置３はステップＳ３０１において、会員登録要求を受信したか否かを判定する。会員登録要求を受信したと判定した場合、対応する処理として配信サーバ装置３はステップＳ３０２の会員登録処理を実行する。

会員登録処理では、例えば、要求を送信した他の情報処理装置に対して、会員登録用のウェブページデータを送信する。これにより、他の情報処理装置において会員登録用のウェブページが表示される。
また、会員登録処理では、他の情報処理装置において入力された会員情報を受信し、入力情報に不備が無いかを確認する処理や、不備があった場合に再入力を促す処理や、入力情報に問題が無い場合に会員データベースに新規会員情報を登録する処理などを実行する。
また、会員登録処理では、各種サービスを利用可能とするためのログインを行うためのＩＤとパスワードを発行する処理なども実行される。

配信サーバ装置３はステップＳ３０２の処理を実行した後、再度ステップＳ３０１の処理へと戻る。

ステップＳ３０１において会員登録要求を受信していないと判定した場合、配信サーバ装置３はステップＳ３０３において大会エントリー要求を受信したか否かを判定する。大会エントリー要求を受信したと判定した場合、対応する処理として配信サーバ装置３はステップＳ３０４の大会エントリー処理を実行する。

大会エントリー処理では、例えば、要求を受信した他の情報処理装置に対して、大会エントリーを申請するためのウェブページデータを送信する。これにより、他の情報処理装置において大会エントリー申請を行うためのウェブページが表示される。

大会エントリー申請を行うためのウェブページでは、例えば、エントリー対象の大会を選択する操作や、エントリーする選手名や選手ＩＤなどを入力する操作が可能とされている。配信サーバ装置３は、入力された各情報を受信し、大会に参加する選手を管理しているデータベースに登録することにより大会エントリーを完了する。

また、成績等により大会にエントリーできなかった場合には、エントリーができなかった旨を通知するためのウェブページデータを他の情報処理装置に対して送信する。

配信サーバ装置３はステップＳ３０４の処理を実行した後、再度ステップＳ３０１の処理へと戻る。

ステップＳ３０３において、大会エントリー要求を受信していないと判定した場合、配信サーバ装置３はステップＳ３０５において配信コンテンツ送信要求を受信したか否かを判定する。配信コンテンツ送信要求を受信したと判定した場合、対応する処理として配信サーバ装置３はステップＳ３０６の配信コンテンツ送信処理を実行する。

配信コンテンツ送信処理の一例について、図９を参照して説明する。
配信サーバ装置３はステップＳ４０１において、配信コンテンツの送信を要求してきたユーザがログイン状態であるか否かを判定する。

ログイン状態でない場合、配信サーバ装置３はステップＳ４０２においてログイン処理を実行する。
ログイン処理では、要求を行ったユーザが使用している他の情報処理装置からＩＤとパスワードを受信し、ログイン用のデータベースに記憶されている情報と照合を行い、ログインの可否を判定する。
ログインの可否は、要求を行った他の情報処理装置に対して送信される。これにより、他の情報処理装置において、ログインの成否情報が表示される。

ログイン処理が正常に終了した後、或いはステップＳ４０１で既にログイン状態にあるユーザであると判定した場合、配信サーバ装置３はステップＳ４０３において配信コンテンツ選択情報を受信する。配信コンテンツ選択情報は、複数ある配信コンテンツから一つの配信コンテンツを選択するための情報であり、例えば、どの選手のどの大会のどのレースの配信コンテンツを送信して欲しいかについてユーザが指定した情報である。

配信コンテンツ選択情報を受信した後、配信サーバ装置３はステップＳ４０４において、指定された配信コンテンツの開示範囲情報を取得する処理を実行する。開示範囲情報は、例えば、配信コンテンツに紐付けられてデータベースに記憶されている情報である。

配信サーバ装置３はステップＳ４０５において、指定された配信コンテンツを送信してよいか否かを判定する。送信可否の判定は、送信要求を行った要求ユーザと開示範囲情報に基づいて行われる。例えば、配信要求を行ったユーザは選手本人である場合には、開示範囲に要求ユーザが含まれているとして配信コンテンツの送信を許可する。
また、要求ユーザが選手の家族であり、開示範囲が家族も含めて許可されている場合は、配信コンテンツの送信を許可する。
一方、要求ユーザが選手とは関係のない他人であり、開示範囲が本人のみや所属チームまでとなっている場合には、要求ユーザが開示範囲に含まれていないとして配信コンテンツの送信を許可しない。
なお、開示範囲が全ユーザとなっている場合には、要求ユーザによらず配信コンテンツの送信を許可する。

配信コンテンツの送信を許可した場合、配信サーバ装置３はステップＳ４０６において、配信コンテンツの送信を行う。一方、配信コンテンツの送信を許可しない場合、配信サーバ装置３はステップＳ４０７において、配信コンテンツの送信が許可されなかったことを要求を行った情報処理装置に送信する処理を行う。

図８の説明に戻る。
ステップＳ３０６において配信コンテンツ送信処理を実行した後、配信サーバ装置３はステップＳ３０１の処理へと戻り、各種の要求を受信したか否かを判定する。

配信コンテンツ送信要求を受信していないと判定した場合、配信サーバ装置３はステップＳ３０７において、コーチング情報送信要求を受信したか否かを判定する。コーチング情報送信要求を受信したと判定した場合、対応する処理として配信サーバ装置３はステップＳ３０８のコーチング情報送信処理を実行する。

コーチング情報送信処理の一例について、図１０を参照して説明する。
配信サーバ装置３はステップＳ５０１において、コーチング情報の送信を要求してきたユーザがログイン状態であるか否かを判定し、必要に応じてステップＳ５０２のログイン処理を実行する。これらの処理は、図９のステップＳ４０１及びステップＳ４０２の各処理と同様の処理である。

ログイン処理が正常に終了した場合、或いはステップＳ５０１で既にログイン状態にあるユーザであると判定した場合、配信サーバ装置３はステップＳ５０３において、コーチング情報の種別を選択するためのコーチング情報選択情報を受信する。この情報は、ユーザがどのようなコーチング情報を所望しているかを特定するための情報であり、少なくとも、大会名やレース名や選手名など、何れのパフォーマンスを対象としているかを特定することができる情報とされる。

また、コーチング情報選択情報は、スタートにおける入水位置、息継ぎ回数、水を掻いた回数、水を蹴る回数、ターンのために手を伸ばし始めるタイミング、ターンの開始位置、泳速の変化などの各項目の中からユーザがどの項目を選択したかを特定するための情報を含んでいてもよい。

これらのコーチング情報選択情報を受信することにより、配信サーバ装置３は複数あるコーチング情報の中から何れの情報を送信すればよいか把握することができる。

配信サーバ装置３はステップＳ５０４においてステップＳ５０３で受信した情報に基づいてコーチング情報を取得する。
続いて、配信サーバ装置３はステップＳ５０５において、コーチング情報を送信する。

なお、コーチング情報に開示範囲が設定されていてもよい。その場合には、ステップＳ５０３の後に、特定したコーチング情報を送信してよいか否かを判定する処理、例えば、図９におけるステップＳ４０４及びステップＳ４０５の処理を実行すればよい。そして、送信可能と判定した場合に限り、ステップＳ５０４及びステップＳ５０５の処理を実行すればよい。

図８の説明に戻る。
配信サーバ装置３はステップＳ３０８のコーチング情報送信処理を実行した後、再度ステップＳ３０１の処理へと戻る。

コーチング情報送信要求を受信していないと判定した配信サーバ装置３は、ステップＳ３０９において、エントリー情報要求を受信したか否かを判定する。エントリー情報の要求は、例えば、大会に参加予定の選手が行うものであり、参加予定の大会についての各種情報などの送信を要求するものである。

エントリー情報要求を受信したと判定した場合、配信サーバ装置３はステップＳ３１０において、エントリー情報送信処理を実行する。エントリー情報送信処理では、要求を行ったユーザに応じて必要な情報を他の情報処理装置に送信する処理である。なお、個人情報保護の観点から、エントリー情報の送信対象を制限してもよい。この場合には、対象外のユーザから送信要求を受信しても、エントリー情報の送信を行わない。

エントリー情報要求を受信した後、或いはエントリー情報要求を受信していないと判定した後、配信サーバ装置３はステップＳ３０１の処理へと戻る。
配信サーバ装置３は図８に示すステップＳ３０１，Ｓ３０３，Ｓ３０５，Ｓ３０７，Ｓ３０９の各処理を繰り返し実行することにより、他の情報処理装置から各種の要求を受信していないかを判定し、適宜対応する処理を実行する。

なお、図８に示す以外にも、選手情報の変更要求の受信や、退会要求の受信を監視してもよい。

<５．ライブ配信>

配信サーバ装置３は、大会当日にライブ配信（ストリーミング配信）を行う機能を備えていてもよい。その場合に、配信サーバ装置３がライブ配信のために実行する処理の一例について、図１１を参照して説明する。

配信サーバ装置３はステップＳ６０１において、ライブ配信を要求したユーザがログイン状態であるか否かを判定し、ステップＳ６０２において適宜ログイン処理を行う。これらの処理は、図９のステップＳ４０１，Ｓ４０２の各処理と同様の処理である。

要求ユーザがログイン状態となった後、配信サーバ装置３はステップＳ６０３において、選手選択情報を受信する。選手選択情報は、現在競技中の選手の中から、ライブ配信を希望する選手を選択する情報であり、例えば要求ユーザによって指定される。

選手選択情報を受信した後、配信サーバ装置３はステップＳ６０４において、撮像画像データの合成処理を行う。これにより、例えば、図４や図５に示すような合成画像データが生成される。

合成された画像データは、ステップＳ６０５において配信サーバ装置３により各ユーザに配信される。配信対象の端末は、例えば、要求ユーザが使用するチーム端末４や個人端末５である。

配信サーバ装置３はステップＳ６０６において、ライブ配信を終了するか否かを判定する。ライブ配信は、例えば、競技が終わると終了する。或いは、ユーザが配信終了のための操作を行うことによりライブ配信が終了する。

ライブ配信を終了しない場合、配信サーバ装置３は再びステップＳ６０４及びＳ６０５の各処理を実行する。
ステップＳ６０４及びＳ６０５の処理は例えば撮像画像データにおけるフレームごとに実行される。

一方、ライブ配信を終了すると判定した場合、配信サーバ装置３はステップＳ６０７においてライブ配信を終了させる処理を実行する。

なお、ライブ配信については、４Ｇ（4th Generation）などの回線と比較して、高速、大容量、低遅延、他接続の通信が可能な例えば５Ｇ（5th Generation）などの回線を用いることが望ましい。これにより、快適な視聴を行うことができる。
また、競技会場内にいるユーザに対してライブ配信を行うことが好ましい場合がある。例えば、会場内に設置された大型のモニタには競技中はトップの選手が表示されることが多くなり、それ以外の選手の関係者にとっては見たい画像が見られないことになる。従って、見たい選手の競技を肉眼で観戦することが考えられるが、選手との距離が遠いために見難かったり、競泳の場合の水しぶきなどの影響により見難かったりすることがある。そこで、競技会場内にいるユーザに対してもライブ配信を行うことが考えられる。
会場内にいるユーザ限定でライブ配信を行う場合には、会場内などの限定的な範囲において構築されたローカル５Ｇ（プライベート５Ｇ）の回線、またはローカル４Ｇ／ＬＴＥ（プライベート４Ｇ／ＬＴＥ）の回線などを利用することが好適である。これにより、通信事業者のネットワークを用いずとも、高速且つセキュアな配信を行うことができる。

なお、ライブ配信については、選手ごとに異なる撮像画像データや合成画像データが送信されるが、配信対象を限定してもよい。例えば、ある選手についての合成画像データは、その家族に対してのみ配信されるように構成してもよい。その場合には、ステップＳ６０３で配信する選手の選択情報を受信した後、現在ログインしているユーザがその配信対象として適切か否かを判定する処理を実行し、適切と判定した場合にのみ、ステップＳ６０４以降の各処理を実行するように構成してもよい。

<６．変形例>
<６－１．撮像画像データの編集例の変形例１>

図４及び図５を用いて撮像画像データの編集例を説明したが、ここでは、別の編集例について図１２を参照して説明する。

図１２は、選手をアップで撮像した画像に目標記録や参考記録を示すための画像Ｇ１を重畳表示させたものである。画像Ｇ１は、目標記録や参考記録を示すための線であり、被写体の選手の進行方向前方や後方などに表示される。或いは、当該レースにおいてトップの位置で競技している選手の位置を示す線を画像Ｇ１としてもよい。

図１２に示す例は、選手の目標記録を示す画像Ｇ１としての線が選手の前方に表示されており、配信コンテンツを閲覧したユーザは画像Ｇ１と選手の位置関係を確認することにより、選手が目標記録よりも遅れていることが理解できる。

画像Ｇ１を重畳させるためには、先ず、画像Ｇ１の重畳位置を算出することが必要である。具体的には、目標記録や参考記録などの記録のラップタイムやゴールタイムと被写体となっている選手の現在位置とスタートからの経過時刻から画像Ｇ１の重畳位置を算出する。これにより、例えば、被写体である選手よりも前方に１ｍ進んだ位置が重畳位置と算出される。

次に、前方に１ｍ進んだ位置が画像におけるどの位置なのかを把握する。画像の重畳位置を算出するために、例えば、撮像画像を撮像した撮像装置７から取得した情報を用いてもよいし、画像解析を行ってもよい。

このようにして、画像Ｇ１の重畳位置を算出する。
画像Ｇ１を重畳して生成した画像は画像コンテンツとしてユーザに提供される。例えば、図９の配信コンテンツ送信処理においてユーザが本例のように画像Ｇ１が重畳表示された配信コンテンツを選択することが可能なようにされていてもよい。また、図１０に示すコーチング情報送信処理においてユーザが本例のように画像Ｇ１が重畳表示された画像コンテンツをコーチング情報として選択することが可能なようにされていてもよい。
或いは、図１１のライブ配信処理において、画像Ｇ１が重畳されたコンテンツがライブ配信されてもよい。

なお、図１２では、選手をアップで撮像した画像に画像Ｇ１を重畳させる例を説明したが、図４の第１領域ＡＲ１や図５の第１領域ＡＲ１に表示されるプール全体を撮像した画像に画像Ｇ１を重畳表示させてもよい。もちろん、第１領域ＡＲ１に表示されるプール全体を撮像した画像と第２領域ＡＲ２に表示される選手のアップ画像の双方に画像Ｇ１を重畳させてもよい。また、先ずは、第２領域ＡＲ２に表示される選手のアップ画像に画像Ｇ１を重畳させるが、選手の現在の位置と参考記録や目標記録に基づく位置が乖離してしまい第２領域ＡＲ２に表示するアップ画像に画像Ｇ１を重畳させることができなくなってしまった場合に、第１領域ＡＲ１に表示される全体画像に画像Ｇ１を重畳させるように切り換えてもよい。

なお、目標記録や参考記録を示すための画像Ｇ１を重畳させる代わりに、複数の画像を表示させてもよい。例えば、選手の自己ベスト達成時の泳ぎを撮像した撮像画像データと同じ選手の今回のレースの撮像画像データが並べて表示されるように画像の合成を行ってもよい。これにより、呼吸のタイミングの違いや手を掻くタイミングの違いを見つけることが可能となる。
もちろん、他の選手の撮像画像データが並べて表示されるように画像の合成を行ってもよい。例えば、ある選手の泳ぎを撮像した撮像画像データと世界のトップスイマーの泳ぎを撮像した撮像画像データを合成することにより、ある選手についてのコーチング情報が得られるように構成してもよい。

<６－２．撮像画像データの編集例の変形例２>

上述した各例では、会場内に設置された撮像装置７から取得した撮像画像データを用いて例えば図４や図５に示す画像コンテンツを生成する例を説明した。
本変形例では、ユーザが個人で所有している撮像装置で撮影した撮像画像データを用いて画像コンテンツを生成する例について説明する。

図１３に配信サーバ装置３が実行する処理の一例を示す。
配信サーバ装置３はステップＳ７０１において、配信コンテンツ生成要求を受信したか否かを判定する。この要求は、ユーザ個人で撮影した撮像画像データを用いた配信コンテンツを生成することを要求するものである。

要求を受信していない場合、配信サーバ装置３は再度ステップＳ７０１の処理を実行する。
一方、このような配信コンテンツの生成要求を受信したと判定した場合、配信サーバ装置３はステップＳ７０２において、ユーザが撮影した撮像画像データを取得する。これにより、要求を送信した個人端末５などの情報処理装置は、撮像画像データを配信サーバ装置３にアップロードする処理を行う。なお、撮像画像データの取得は、ステップＳ７０１の要求受信と共に行ってもよい。

次に、配信サーバ装置３はステップＳ７０３において、対象レースを特定する情報を取得する。この情報は、例えばユーザが対象レースを選択する操作を行うことにより個人端末５などから配信サーバ装置３へ送信される。なお、この情報は、配信サーバ装置３から受信する代わりにアップロードされた撮像画像データに含まれるメタデータなどから解析してもよい。具体的には撮影日時やＧＰＳ（Global Positioning System）情報から対象の大会やレースを特定してもよい。

配信サーバ装置３はステップＳ７０４において、対象レースの全体画像を取得する。全体画像は、会場に設置されていた撮像装置７から取得した撮像画像データのうち、ステップＳ７０３によって特定した対象レースについての撮像画像データであり、例えば、プール全体を撮像した画像である。

配信サーバ装置３はステップＳ７０５において、同期処理を行う。配信コンテンツの生成に用いられるそれぞれの撮像画像データが会場に設定されている撮像装置７から取得したものであれば、各撮像装置７の時間情報を合わせることなどにより同期させることが可能である。しかし、本例においては、少なくとも一部の撮像画像データはユーザ個人により撮影されたものであり、撮像装置同士の同期はなされていない。
従って、ステップＳ７０５の同期処理が必要となる。

同期処理においては、取得した各撮像画像データを画像解析することにより、被写体の特徴的な動きや水しぶき、或いは観客やプールサイドに配置された係員などの動きから同じシーンと思われるタイミングを抽出し同期させることが考えられる。
或いは、各撮像画像データに音声データが含まれている場合には、音声データを解析することにより同期させてもよい。

各撮像画像データの同期処理を行った後、配信サーバ装置３はステップＳ７０６において、テキスト情報の取得を行う。この処理は、図６のステップＳ１０４の処理と同様の処理である。

配信サーバ装置３はステップＳ７０７において、合成処理を行う。合成処理は、ステップＳ７０５で行った同期処理の処理結果に基づいて行われる。即ち、例えば、図４や図５に示す第１領域ＡＲ１に表示する撮像画像データと第２領域ＡＲ２に表示する撮像画像データが同期して表示されるように合成処理が行われる。

配信サーバ装置３は、図１３に示す一連の処理を実行することにより、個人で撮影した撮像画像データと公式に撮影された撮像画像データなどを同期させて一つの配信コンテンツを生成することができる。

<７．まとめ>

各種の例を用いて説明したように、配信サーバ装置３は、第１の撮像装置（撮像装置７）により撮像された第１画像と、第１の撮像装置（撮像装置７）または他の撮像装置（個人端末５などでもよい）により撮像され第１画像の被写体のうちの一部を被写体とした第２画像と、を組み合わせて表示用コンテンツ（配信コンテンツ）を生成するコンテンツ生成部（コンテンツ管理部１４）を備えている。
複数の被写体を撮影する場合に、被写体ごとの画像や画角を変えた画像を同時に記録したいという要望や閲覧したいという要望がある。
被写体ごとの画像とは、例えば、競泳の画像であれば、第１レーンで競技中の選手と第８レーンで競技中の選手のそれぞれのアップ画像などである。
また、画角を変えた画像とは、例えば、レース画像であれば、レース全体を撮像した画角と当該レースに参加している一人の選手のみを撮像するための画角などである。
しかし、撮影環境や撮影者の不足により、このような複数種類の画像を記録画像として残すことは個人のユーザにとって難しい。
上述した各構成によれば、レース全体を撮影した公式のレース画像と個人で撮影した選手一人のレース画像を組み合わせた表示用コンテンツが生成されるため、レース全体を撮影するための機材と撮影対象の選手を撮影するための機材の双方を個人で用意する必要がない。また、撮影対象の選手の画像についても公式の画像が用意されている場合には、個人で撮影を行う必要が無く、利便性の向上を図ることができる。
また、レース全体を撮影した公式のレース画像が十分に高解像度である場合には、全体画像からの切り出しを行うことで撮影対象の選手のアップ画像を生成することができる。これにより、必要な撮影機材を最小限にすることができ、コスト削減に寄与することができる。
また、全体画像と選手個人の画像を組み合わせることで、選手個人の特徴や改善点などを把握することができ、コーチング情報の抽出に役立てることができる。

配信サーバ装置３は、表示用コンテンツを送信する送信処理部（配信制御部１９）を備えていてもよい。
これにより、第１画像と第２画像を組み合わせた表示用コンテンツ（例えば図４や図５に示す配信コンテンツ）をユーザ端末などに送信することが可能とされる。

配信サーバ装置３は、撮像画像データの編集例の変形例２で説明したように、第１画像と第２画像を同期させる同期処理を行う同期処理部１７を備えていてもよい。
これにより、第１画像と第２画像がそれぞれ別の画角で撮影されたものであっても、時間的な関係を把握することができる。
例えば、レース画像などにおいて、全体の画像と選手個人の画像が同期されることにより、レース全体の中での選手の位置などが把握しやすくされる。

撮像画像データの編集例（図４、図５）において説明したように、表示用コンテンツ（配信コンテンツ）は、重畳情報を含んでいてもよい。
重畳情報とは、例えば、文字（テキスト）情報や画像情報などである。
第１画像と第２画像を組み合わせたものに文字情報や画像情報を重畳させて表示用コンテンツを生成することで、表示用コンテンツに含まれる情報量を増やすことができ、コンテンツの内容をより深く理解することができる。

撮像画像データの編集例（図５）で説明したように、重畳情報は、第１画像または第２画像についての説明情報とされてもよい。
説明情報とは、例えば、レース画像であれば、開催日時、開催場所、レース名、出場者名などである。
これらの情報が重畳表示されることで、例えば似たような表示用コンテンツがあったとしても、撮影内容を容易に把握することが可能とされる。

撮像画像データの編集例の変形例１において説明したように、重畳情報は、第２画像の被写体に対する比較情報とされてもよい。
比較情報とは、例えば、第２画像の被写体である選手の目標記録との差異を示す情報（例えば画像Ｇ１）である。具体的には、目標記録に対してどの程度先行しているか、或いは遅れているかを示す情報である。
このような情報を重畳表示することで、会場では分からなかった選手のペース配分などを把握することができる。

撮像画像データの編集例の変形例１において説明したように、比較情報は、第２画像の被写体についての成績を示す情報とされてもよい。
第２画像の被写体についての成績とは、例えば、第２画像の被写体の選手自身の過去の記録などである。
即ち、画像を介して過去の自己ベストの記録と今回の記録を比較することができる。また、例えば、自己ベストの記録を示すラインなどの画像を重畳表示させることで、レース中の優れていた部分と劣っていた部分を視覚的に把握することができ、今後のトレーニングなどに生かすことができる。

撮像画像データの編集例の変形例１において説明したように、比較情報は、第２画像の被写体以外の人物（例えば世界のトップスイマー）の成績を示す情報とされてもよい。
第２画像の被写体以外の人物の成績とは、例えば、同じレースに出場している他選手の中で最も成績のよい選手の記録などである。或いは、日本記録や世界記録などの成績などでもよい。
これにより、選手の目標とする成績と今回のレースの成績を比較することができる。特に、上述したように、目標記録に基づいたライン表示などを行うことにより、選手の弱点等を視覚的に把握することができる。

コーチング情報抽出処理で説明したように、第２画像の被写体についての画像分析を行い第２画像の被写体の成績に影響を及ぼす特徴量を抽出する分析処理部１６を備え、重畳情報（例えば第３領域ＡＲ３に表示するテキスト情報）は、特徴量に関する情報とされてもよい。
第２画像の被写体の成績に影響を及ぼす特徴量とは、例えば、水泳であれば、息継ぎ回数や頻度、或いは手を掻く回数や息継ぎの回数などである。
成績に影響のある特徴量を抽出して重畳表示することにより、更に細かく選手の動きを解析することができ、成績向上のためのコーチング情報を得ることができる。

配信コンテンツ送信処理（図９）などの各例で説明したように、受信したユーザ情報に基づいてユーザ認証を行う認証処理部１８を備え、送信処理部（配信制御部１９）は、認証結果に基づいて表示用コンテンツ（配信コンテンツ）を選択して送信してもよい。
表示用コンテンツは、個人情報を含む画像コンテンツである。そのようなコンテンツがユーザ認証に成功した場合に限り送信される。
これにより、個人情報の保護を図ることができる。

配信コンテンツ送信処理（図９）で説明したように、表示用コンテンツ（配信コンテンツ）ごとに開示範囲を設定するコンテンツ管理部１４を備えていてもよい。
表示用コンテンツは、被写体の選手によって閲覧制限を設けたい場合とそうでない場合がある。
開示範囲の設定が可能とされていることで、ユーザの意図を汲んだコンテンツ管理を行うことができる。

配信コンテンツ送信処理（図９）で説明したように、受信したユーザ情報に基づいてユーザ認証を行う認証処理部１８を備え、送信処理部（配信制御部１９）は、認証結果と前記開示範囲とに基づいて表示用コンテンツ（配信コンテンツ）の送信を行ってもよい。
例えば、ユーザ認証によってユーザを特定し、表示用コンテンツに設定された開示範囲に基づいて該ユーザの要求を受諾するか否かの判定を行う。
これにより、ユーザの意図に沿ったコンテンツ管理を行うと共に、コンテンツを適切に配信することができる。

撮像画像データの編集例の変形例２（図１３）で説明したように、同期処理部１７が行う同期処理では、第１画像（例えば第１領域ＡＲ１に表示する画像）と第２画像（例えば第２領域ＡＲ２に表示する画像）の画像比較を行ってもよい。
例えば、第１画像と第２画像が動画像である場合に、両画像の一部同士を比較して一致度を算出することにより、同期処理を行う。
これにより、タイムスタンプ情報が画像に紐付けられていなくても、両画像を同期させることができる。また、タイムスタンプ情報が画像に紐付けられていたとしても、同期していない撮像装置で撮像されている場合には、タイムスタンプ情報から両画像を同期させることは難しい。そのような場合であっても、本構成により画像処理によって一致点を検索して同期させることが可能となる。

ライブ配信（図１１）で説明したように、送信処理部（配信制御部１９）はストリーミング配信を行ってもよい。
例えば、競技において全体を俯瞰で撮像した公式の第１画像と特定の選手に着目した公式の第２画像を組み合わせてストリーミング配信を行う。
更に、第２画像を選手ごとに異なる画像とすることにより、選手ごとに異なる表示用コンテンツがストリーミング配信される。これにより、ユーザごとに所望する画像が異なる状況においてユーザごとに適切な表示用コンテンツをストリーミング配信することが可能となる。

前述の通り、ライブ配信においては５Ｇ／ローカル５Ｇ（或いはローカル４Ｇ／ＬＴＥ）の回線を利用することができる。この場合、ネットワークを仮想化してネットワークリソースを分割（スライス）し、通信する情報の用途や優先度に応じてスライスを使い分けるネットワークスライシングの技術を用いることも可能である。
具体的には、例えば、会場内に設置されており、会場内においてローカル５Ｇの通信環境を構築し、通信を制御している基地局を介して、配信サーバ装置３が、各種データや画像データを配信対象の各端末に配信する。この場合、例えば各端末において、画像データを合成し、または画像データに対して各種データを重畳する処理を行ってもよい。
このとき、配信サーバ装置３は、配信するデータの用途や特性に応じて、割り当てられるべきスライスを特定するための情報を生成し、データと、当該信号が割り当てられるべきスライスを特定するための情報（メタデータ）を関連付けて基地局に送信する。
基地局は、受信した各データをそれぞれのメタデータにより特定されるスライスに割り当てることで、割り当てられたスライスを用いて各データを配信対象の各端末に送信する。
ここで、スライス割り当ての一例として、遅延なく視聴できることが好ましい画像データを低遅延送信のためのスライスに割り当てることが考えられる。また、目視でのレース観戦をメインで行っている場合など画像データの遅延を許容できるケースにおいては、例えば画像データを大容量送信のためのスライスに割り当て、タイムリーに把握することが好ましい画像データに重畳されている各種情報（例えばラップタイムなどの経過情報など）を低遅延送信のためのスライスに割り当てることが考えられる。

なお、上述した例では競泳を例に挙げたが、それ以外の競技を対象としても構わない。例えば、１００ｍ走や１１０ｍハードルなどの陸上競技でもよいし、シンクロナイズドスイミングなどの団体競技であってもよい。また、競技以外にも、吹奏楽の演奏会やオーケストラの演奏会などにも適用できる。
具体的には、団体競技であれば、団体全員を撮像した撮像画像データを全体画像とし、その中の一人の競技者をアップで撮像した撮像画像データをアップ画像とし、それらを合成することにより配信コンテンツを生成してもよい。
或いは、吹奏楽の演奏会であれば、演奏者全員を撮像した撮像画像データを全体画像とし、その中の一人の演奏者をアップで撮像した撮像画像データをアップ画像とし、それらを合成することにより配信コンテンツを生成してもよい。
即ち、複数人で行うパフォーマンスや競技において、上述した各種の構成を適用することが可能である。

実施の形態のプログラムは、図６、図７、図８、図９、図１０、図１１、図１３の各図に示す各処理を、例えばＣＰＵ、ＤＳＰ等、或いはこれらを含むデバイスに実行させるプログラムである。
即ち、実施の形態のプログラムは、第１の撮像装置により撮像された第１画像と、前記第１の撮像装置または他の撮像装置により撮像され前記第１画像の被写体のうちの一部を被写体とした第２画像と、を組み合わせて表示用コンテンツを生成する生成処理を配信サーバ装置３の制御部に実行させる。
このようなプログラムにより、上述した配信サーバ装置３を実現できる。

このような配信サーバ装置３を実現するプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
或いはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

またこのようなプログラムによれば、実施の形態の配信サーバ装置３の広範な提供に適している。例えばスマートフォンやタブレット等の携帯端末装置、携帯電話機、パーソナルコンピュータ、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等のカメラ機能を備えた機器にプログラムをダウンロードすることで、当該スマートフォン等を、本開示の配信サーバ装置３として機能させることができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

<８．本技術>
（１）
第１の撮像装置により撮像された第１画像と、前記第１の撮像装置または他の撮像装置により撮像され前記第１画像の被写体のうちの一部を被写体とした第２画像と、を組み合わせて表示用コンテンツを生成するコンテンツ生成部を備えた
情報処理装置。
（２）
前記表示用コンテンツを送信する送信処理部を備えた
上記（１）に記載の情報処理装置。
（３）
前記第１画像と前記第２画像を同期させる同期処理を行う同期処理部を備えた
上記（１）から上記（２）の何れかに記載の情報処理装置。
（４）
前記表示用コンテンツは、重畳情報を含む
上記（１）から上記（３）の何れかに記載の情報処理装置。
（５）
前記重畳情報は、前記第１画像または前記第２画像についての説明情報とされた
上記（４）に記載の情報処理装置。
（６）
前記重畳情報は、前記第２画像の被写体に対する比較情報とされた
上記（４）から上記（５）の何れかに記載の情報処理装置。
（７）
前記比較情報は、前記第２画像の被写体についての成績を示す情報とされた
上記（６）に記載の情報処理装置。
（８）
前記比較情報は、前記第２画像の被写体以外の人物の成績を示す情報とされた
上記（６）から上記（７）の何れかに記載の情報処理装置。
（９）
前記第２画像の被写体についての画像解析を行い前記第２画像の被写体の成績に影響を及ぼす特徴量を抽出する分析処理部を備え、
前記重畳情報は、前記特徴量に関する情報とされた
上記（４）から上記（８）の何れかに記載の情報処理装置。
（１０）
受信したユーザ情報に基づいてユーザ認証を行う認証処理部を備え、
前記送信処理部は、認証結果に基づいて前記表示用コンテンツを選択して送信する
上記（２）に記載の情報処理装置。
（１１）
表示用コンテンツごとに開示範囲を設定するコンテンツ管理部を備えた
上記（２）に記載の情報処理装置。
（１２）
受信したユーザ情報に基づいてユーザ認証を行う認証処理部を備え、
前記送信処理部は、認証結果と前記開示範囲とに基づいて前記表示用コンテンツの送信を行う
上記（２）に記載の情報処理装置。
（１３）
前記同期処理では、前記第１画像と前記第２画像の画像比較を行う
上記（３）に記載の情報処理装置。
（１４）
前記送信処理部はストリーミング配信を行う
上記（２）、上記（１０）、上記（１１）または上記（１２）に記載の情報処理装置。
（１５）
第１の撮像装置により撮像された第１画像と、前記第１の撮像装置または他の撮像装置により撮像され前記第１画像の被写体のうちの一部を被写体とした第２画像と、を組み合わせて表示用コンテンツを生成する
情報処理装置が実行する情報処理方法。
（１６）
第１の撮像装置により撮像された第１画像と、前記第１の撮像装置または他の撮像装置により撮像され前記第１画像の被写体のうちの一部を被写体とした第２画像と、を組み合わせて表示用コンテンツを生成する生成処理を
情報処理装置に実行させるプログラム。

３ 配信サーバ装置
７ 撮像装置
１４ コンテンツ管理部
１６ 分析処理部
１７ 同期処理部
１８ 認証処理部
１９ 配信制御部（送信処理部）

Claims (14)

1. 第１の撮像装置により撮像された第１画像と、前記第１の撮像装置または他の撮像装置により撮像され前記第１画像の被写体のうちの一部を被写体とした第２画像と、を組み合わせて表示用コンテンツを生成するコンテンツ生成部と、
   前記第２画像の被写体についての画像解析を行い前記第２画像の被写体の成績に影響を及ぼす特徴量を抽出する分析処理部を備え、
   前記表示用コンテンツは、重畳情報を含み、
   前記重畳情報は、前記特徴量に関する情報とされた
   情報処理装置。
2. 前記表示用コンテンツを送信する送信処理部を備えた
   請求項１に記載の情報処理装置。
3. 前記第１画像と前記第２画像を同期させる同期処理を行う同期処理部を備えた
   請求項１に記載の情報処理装置。
4. 前記重畳情報は、前記第１画像または前記第２画像についての説明情報とされた
   請求項１に記載の情報処理装置。
5. 前記重畳情報は、前記第２画像の被写体に対する比較情報とされた
   請求項１に記載の情報処理装置。
6. 前記比較情報は、前記第２画像の被写体についての成績を示す情報とされた
   請求項５に記載の情報処理装置。
7. 前記比較情報は、前記第２画像の被写体以外の人物の成績を示す情報とされた
   請求項５に記載の情報処理装置。
8. 受信したユーザ情報に基づいてユーザ認証を行う認証処理部を備え、
   前記送信処理部は、認証結果に基づいて前記表示用コンテンツを選択して送信する
   請求項２に記載の情報処理装置。
9. 表示用コンテンツごとに開示範囲を設定するコンテンツ管理部を備えた
   請求項２に記載の情報処理装置。
10. 受信したユーザ情報に基づいてユーザ認証を行う認証処理部を備え、
    前記送信処理部は、認証結果と前記開示範囲とに基づいて前記表示用コンテンツの送信を行う
    請求項９に記載の情報処理装置。
11. 前記同期処理では、前記第１画像と前記第２画像の画像比較を行う
    請求項３に記載の情報処理装置。
12. 前記送信処理部はストリーミング配信を行う
    請求項２に記載の情報処理装置。
13. 第１の撮像装置により撮像された第１画像と、前記第１の撮像装置または他の撮像装置により撮像され前記第１画像の被写体のうちの一部を被写体とした第２画像と、を組み合わせて表示用コンテンツを生成し、
    前記第２画像の被写体についての画像解析を行い前記第２画像の被写体の成績に影響を及ぼす特徴量を抽出し、
    前記表示用コンテンツは、重畳情報を含み、
    前記重畳情報は、前記特徴量に関する情報とされた
    情報処理装置が実行する情報処理方法。
14. 第１の撮像装置により撮像された第１画像と、前記第１の撮像装置または他の撮像装置により撮像され前記第１画像の被写体のうちの一部を被写体とした第２画像と、を組み合わせて表示用コンテンツを生成する生成処理と、
    前記第２画像の被写体についての画像解析を行い前記第２画像の被写体の成績に影響を及ぼす特徴量を抽出する処理と、を含み、
    前記表示用コンテンツは、重畳情報を含み、
    前記重畳情報は、前記特徴量に関する情報とされた
    情報処理装置に実行させるプログラム。

Images