JP6648003B2 - 情報処理装置，情報処理装置の制御方法及び制御プログラム - Google Patents

Description

本発明は、ムービーからフレームを抽出して出力する情報処理システムに関する。
本発明は、特に、ムービーからフレームと音声を抽出し、当該音声に対応するテキストを当該フレームに重畳表示する情報処理システムに関する。

音声付き動画から注目静止画を自動的に抽出して写真アルバムを作成する方法が知られている（例えば、特許文献１参照）。
具体的には、音声付き動画データを構成する音声データの波形データ又はテキストデータの中から指定波形又は指定テキストに一致する注目部分を特定し、当該音声付き動画データを構成する動画データから当該注目部分に対応する静止画を注目静止画として抽出し、注目静止画に注目部分の音声のテキストが付加された写真アルバムを作成する（特許文献１の［請求項４］［請求項６］等）。

特開２００６−３３３０６５号公報

静止画像にオブジェクトを重畳配置する場合、オブジェクトの配置態様を静止画像の表示内容に応じて設定できれば都合がよい。特許文献１には、注目静止画に対してテキストをどのように付加するか具体的な配置態様が開示されていない。

本発明が解決しようとする課題は、ムービーから抽出される音声に対応するテキストを当該ムービーから抽出されるフレームに訴求力の高い態様で重畳配置することである。

〔Ａ〕上記課題を解決するため、本発明の一態様である「情報処理装置」は、ムービーの指定範囲に包含される指定フレームとの関係で該指定範囲に包含される指定音声の音源の位置を特定する特定手段と、前記指定音声に対応し前記指定フレームに重畳配置される重畳テキストの配置態様を前記特定手段により特定される音源の位置を加味して設定する設定手段と、を備える。
〔Ｂ〕上記課題を解決するため、本発明の一態様である「情報処理装置の制御方法」は、ムービーの指定範囲に包含される指定フレームとの関係で該指定範囲に包含される指定音声の音源の位置を特定する特定ステップと、前記指定音声に対応し前記指定フレームに重畳配置される重畳テキストの配置態様を前記特定ステップにおいて特定される音源の位置を加味して設定する設定ステップと、を含む。
〔Ｃ〕上記課題を解決するため、本発明の一態様である「制御プログラム」は、ムービーの指定範囲に包含される指定フレームとの関係で該指定範囲に包含される指定音声の音源の位置を特定する特定機能と、前記指定音声に対応し前記指定フレームに重畳配置される重畳テキストの配置態様を前記特定機能により特定される音源の位置を加味して設定する設定機能と、を情報処理装置のコンピュータに実現させる。
〔Ｄ〕上記課題を解決するため、本発明の一態様である「コンピュータ読取り可能な記録媒体」に記録される制御プログラムは、ムービーの指定範囲に包含される指定フレームとの関係で該指定範囲に包含される指定音声の音源の位置を特定する特定機能と、前記指定音声に対応し前記指定フレームに重畳配置される重畳テキストの配置態様を前記特定機能により特定される音源の位置を加味して設定する設定機能と、を情報処理装置のコンピュータに実現させる。

上記〔Ａ〕の「情報処理装置」には、下記の技術的限定を加えてもよい。また、同様の技術的限定を、上記〔Ｂ〕の「制御方法」，上記〔Ｃ〕の「制御プログラム」及び上記〔Ｄ〕の「記録媒体」が記録する制御プログラムに加えてもよい。
・前記設定手段が、前記特定手段により特定される音源の位置と前記指定フレームの表示範囲との関係に応じて前記配置態様を設定する。
・前記設定手段が、前記音源の位置が前記表示範囲の内部である場合に前記重畳テキストが該音源に関連付けて配置されるように前記配置態様を設定し、前記音源の位置が前記表示範囲の外部である場合に前記重畳テキストが該音源に関連付けずに配置されるように前記配置態様を設定する。
・前記特定手段が、位置指定と領域指定とを兼ねるユーザ操作により指定される位置に応じて前記音源の位置を特定し、前記設定手段が、前記ユーザ操作により指定される領域に応じて前記重畳テキストの配置領域を設定する。
・前記ユーザ操作は閉図形を描く操作であり、前記特定手段が、前記ユーザ操作の端点の位置に応じて前記音源の位置を特定し、前記設定手段が、前記ユーザ操作が描く閉図形が形成する閉領域の位置に応じて前記重畳テキストの配置領域を設定する。
・複数の候補範囲をすくなくとも含む候補リストの中からユーザにより選択される指定数の範囲を前記指定範囲として指定する指定手段をさらに備え、前記特定手段が、前記指定手段により指定される指定範囲ごとに、該指定範囲に包含される指定音声の音源の位置を特定し、前記設定手段が、前記指定手段により指定される指定範囲ごとに、該指定範囲に包含される指定フレームに重畳配置される重畳テキストの配置態様を前記特定手段により特定される該指定範囲に包含される指定音声の音源の位置を加味して設定する。
・前記指定手段が、前記ムービーに包含される音声のまとまりにそれぞれ対応する複数の候補テキストにそれぞれ関連付けられた複数の前記候補範囲を含む前記候補リストをユーザに提示し前記指定数の範囲を該ユーザに選択させる。

本明細書では、下記のように用語を用いる。
・「ムービー」は、複数のフレームと音声データとを少なくとも包含する。
・「指定範囲」とは、「ムービー」のタイムラインにおいて指定される時間的範囲をいう。
・「フレーム」とは、「ムービー」を構成する静止画像をいう。
・「指定音声」の音源の位置は、「指定フレーム」が表示する範囲の内側又は外側に存在する。
・「重畳テキスト」とは、例えば、「指定音声」から変換された変換テキスト，「指定音声」の検出位置に補充された補充テキスト，変換テキスト又は補充テキストに編集が加えられた編集テキストなど、「指定音声」に由来するテキストをいう。
・「配置態様」とは、「重畳テキスト」の配置の仕方をいう。
・「ユーザ操作」は、画面上の指示位置を連続的に入力する位置入力装置（例えば、タッチパネル，マウス，タッチパッド等）を用いて行われる。

本発明は、指定フレームに重畳配置される重畳テキストの配置態様を当該指定フレームとの関係で特定される指定音声の音源の位置に応じて設定する。
よって、本発明によれば、ムービーから抽出される音声に対応するテキストを当該ムービーから抽出されるフレームに訴求力の高い態様で重畳配置することが可能になる。

重畳テキストの配置態様の説明図である。（実施例） 重畳テキストの配置態様の説明図である。（実施例） ネットワーク構成例の説明図である。（実施例） ユーザ装置のハードウェア構成例の説明図である。（実施例） サーバ装置のハードウェア構成例の説明図である。（実施例） 画像生成システムの機能構成例の説明図である。（実施例） 画像生成手順の説明図である。（実施例） 管理データの項目例の説明図である。（実施例） 編集画面Ａの表示例の説明図である。（実施例） 編集データの項目例の説明図である。（実施例） 編集画面Ｂの表示例の説明図である。（実施例） サムネイル画像の表示例の説明図である。（実施例） サムネイル画像の表示例の説明図である。（実施例） 重畳テキストの配置態様の説明図である。（変形例） 重畳テキストの配置態様の説明図である。（変形例）

［１．実施形態］
［１−１．概要］
本実施形態は、ムービーからフレームと音声を抽出し当該音声に対応するテキストを当該フレームに重畳配置して出力する情報処理システムに関する。
本実施形態では、ムービーから抽出される音声に対応するテキストを当該ムービーから抽出されるフレームに訴求力の高い態様で重畳配置するため、フレームに重畳配置されるテキストの配置態様を指定音声の音源の位置に応じて設定する構成が採用されている。

［１−２．情報処理装置］
本実施形態に係る情報処理システムを構成する情報処理装置は、ムービーの指定範囲に包含される指定フレームとの関係で該指定範囲に包含される指定音声の音源の位置を特定する特定手段と、前記指定音声に対応し前記指定フレームに重畳配置される重畳テキストの配置態様を前記特定手段により特定される音源の位置を加味して設定する設定手段と、を備える。

［２．実施例］
［２−１．概要］
本実施例は、ムービーからフレームと音声を抽出し当該音声に対応するテキストを当該フレームに重畳配置した複数の画像をレイアウトして合成したサムネイル画像を生成する画像生成サービスを提供する画像生成システムに関する。
画像生成サービスでは、ムービーから抽出されるフレームや音声は、画像生成サービスを利用するユーザによりそれぞれ指定される。

画像生成サービスでは、ムービーから抽出される音声に対応するテキストを当該ムービーから抽出されるフレームに訴求力の高い態様で重畳配置するため、フレームに重畳配置される重畳テキストの配置態様が指定音声の音源の位置とフレームの表示範囲との関係に応じて設定される。
また、画像生成システムでは、位置指定と領域指定とを兼ねるユーザ操作により指定される位置に応じて音源の位置が特定され、当該ユーザ操作により指定される領域に応じて重畳テキストの配置領域が設定される。

図１を参照し、重畳テキストの配置態様の一例を説明する。図１では、指定音声の音源の位置がフレームの表示範囲の内部である場合が想定される。
フレーム１１０には被写体１２０が含まれる。フレーム１１０を包含する画面に閉図形を描くユーザ操作がなされると、軌跡１３０が形成される。このとき、軌跡１３０の始点１３１の位置に応じて音源の位置が特定され、軌跡１３０が形成する閉領域１３２の位置に応じてテキストの配置領域が設定される。
指定音声の音源の位置がフレームの表示範囲の内部である場合、重畳テキストは、閉領域１３２に応じた領域に始点１３１の位置に応じた音源の位置に関連付けて配置される吹き出し１４０の内部に配置される。

図２を参照し、重畳テキストの配置態様の他の例を説明する。図２では、指定音声の音源の位置がフレームの表示範囲の外部である場合が想定される。
フレーム２１０には被写体２２０が含まれる。フレーム２１０を包含する画面に閉図形を描くユーザ操作がなされると、軌跡２３０が形成される。このとき、軌跡２３０の始点２３１の位置に応じて音源の位置が特定され、軌跡２３０が形成する閉領域２３２の位置に応じてテキストの配置領域が設定される。
指定音声の音源の位置がフレームの表示範囲の外部である場合、重畳テキストは、閉領域２３２に応じた領域に始点２３１の位置に応じた音源の位置に関連付けずに配置される領域２４０の内部に配置される。

［２−２．ネットワーク構成］
図３は、実施例のシステムのネットワーク構成例を示す。
本実施例のシステムは、ユーザが使用するユーザ端末１０と、画像生成サービスを提供する画像生成システム２０と、を含む。
画像生成システム２０は、ユーザ管理サーバ２１とデータ処理サーバ２２とデータ管理サーバ２３とファイル管理サーバ２４とストレージ２５とを含む。

ユーザ端末１０とユーザ管理サーバ２１とは、通信ネットワーク３０を通じてそれぞれデータの授受が可能である。ユーザ管理サーバ２１及びデータ処理サーバ２２は、データ管理サーバ２３を介して、ストレージ２５に記憶されるデータにそれぞれアクセス可能である。また、ユーザ管理サーバ２１及びデータ処理サーバ２２は、ファイル管理サーバ２４を介して、ストレージ２５に記憶されるデータにそれぞれアクセス可能である。
通信ネットワーク３０は、既存のネットワーク（例えば、インターネット（Internet），携帯電話網，無線ＷＡＮ（Wireless Wide Area Network），無線ＬＡＮ（Wireless Local Area Network），イーサネット（Ethernet）（登録商標）などのうち少なくともいずれか）を含んでいてよい。

［２−２−１．ユーザ端末］
ユーザ端末１０は、所定のＷｅｂブラウザプログラムがインストールされたユーザ装置（コンピュータ）である。
本実施例のシステムでは、ユーザ装置として、Ｗｅｂブラウザプログラムをインストール可能な汎用の携帯装置（例えば、携帯電話，スマートフォン（smartphone），タブレット（tablet）端末，タブレットＰＣ（personal computer），ウェアラブルデバイス（wearable device）など）や汎用の処理装置（例えば、ＰＣ（personal computer）など）を用いることができる。

［２−２−２．画像生成システム］
画像生成システム２０は、ユーザ管理サーバ２１とデータ処理サーバ２２とデータ管理サーバ２３とファイル管理サーバ２４とストレージ２５とを含む。
ユーザ管理サーバ２１は、Ｗｅｂサーバプログラム（ＨＴＴＰデーモン（HyperText Transfer Protocol Daemon）ともいう。）がインストールされたサーバ装置（コンピュータ）である。
ユーザ管理サーバ２１は、ユーザ端末１０からの要求（リクエスト）に応じて、データ管理サーバ２３を介してストレージ２５から必要なデータを読み出し、ユーザ端末１０に提供（レスポンス）する。また、ユーザ管理サーバ２１は、ユーザ端末１０からの要求（リクエスト）に応じて、ユーザ端末１０から取得したデータを、データ管理サーバ２３を介してストレージ２５に書き込み、処理結果をユーザ端末１０に提供（レスポンス）する。
なお、複数のサーバ装置を連携させてサーバシステムを構成し、ユーザ管理サーバ２１の機能を分担させ又はユーザ管理サーバ２１にかかる負荷を分散させてもよい。

データ処理サーバ２２は、アプリケーションプログラムがインストールされたサーバ装置（コンピュータ）である。
データ処理サーバ２２は、データ管理サーバ２３を介してストレージ２５から必要なデータを読み出し、これに演算・加工を施し、演算・加工済みのデータをデータ管理サーバ２３を介してストレージ２５に書き込む。また、データ処理サーバ２２は、ファイル管理サーバ２４を介してストレージ２５から必要なデータを読み出し、これに演算・加工を施し、演算・加工済みのデータをファイル管理サーバ２４を介してストレージ２５に書き込む。
なお、複数のサーバ装置を連携させてサーバシステムを構成し、データ処理サーバ２２の機能を分担させ又はデータ処理サーバ２２にかかる負荷を分散させてもよい。

データ管理サーバ２３は、ＤＢ（Database）サーバプログラムがインストールされたサーバ装置（コンピュータ）である。データ管理サーバ２３は、内蔵する又は外部の接続可能なストレージ２５とともにＤＢＭＳ（Database Management System）を構成する。
データ管理サーバ２３は、例えば、データの格納要求に応じ要求元から取得されるデータをストレージ２５に格納する機能と、データの抽出要求に応じストレージ２５から抽出されるデータを要求元に応答する機能とを有する。
なお、複数のサーバ装置を連携させてサーバシステムを構成し、データ管理サーバ２３の機能を分担させ又はデータ管理サーバ２３にかかる負荷を分散させてもよい。

ファイル管理サーバ２４は、ファイルサーバプログラムがインストールされたサーバ装置（コンピュータ）である。
ファイル管理サーバ２４は、例えば、データの格納要求に応じ要求元から取得されるデータをストレージ２５に格納する機能と、データの抽出要求に応じストレージ２５から抽出されるデータを要求元に応答する機能とを有する。
なお、複数のサーバ装置を連携させてサーバシステムを構成し、ファイル管理サーバ２４の機能を分担させ又はファイル管理サーバ２４にかかる負荷を分散させてもよい。

ストレージ２５は、管理データ及びファイルデータを記憶する記憶装置である。
なお、複数の記憶装置を用意し、ストレージ２５が記憶するデータの種類ごとに別々に記憶させてもよい。またストレージ２５が記憶するデータを複数の記憶装置に分散配置することも可能である。

［２−３．ハードウェア構成］
［２−３−１．ユーザ装置のハードウェア構成］
図４は、ユーザ装置のハードウェア構成例を示す。
典型的なユーザ装置は、制御処理部を構成するＭＰＵ（Micro-Processing Unit）４１１と、主記憶部を構成するＲＡＭ（Random Access Memory）４２１と、補助記憶部を構成するＲＯＭ（Read Only Memory）４２２及びＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）４２３と、入力部及び表示部を構成するタッチパネルディスプレイ４３１と、音声出力部を構成するスピーカ４３２と、通信制御部を構成するＮＩＣ（Network Interface Controller）４４１及び無線ＬＡＮ（Local Area Network）チップ４４２と、を少なくとも有する。

ＲＡＭ４２１と、ＲＯＭ４２２と、ＥＥＰＲＯＭ４２３と、タッチパネルディスプレイ４３１と、スピーカ４３２と、ＮＩＣ４４１と、無線ＬＡＮチップ４４２とは、バスラインを介してＭＰＵ４１１と接続される。
ＭＰＵ４１１は、（１）ＲＯＭ４２２又はＥＥＰＲＯＭ４２３に記憶されたプログラムをＲＡＭ４２１上に読み込み、（２）プログラムの指示に従ってタッチパネルディスプレイ４３１とＥＥＰＲＯＭ４２３とＮＩＣ４４１と無線ＬＡＮチップ４４２との少なくともいずれかからデータを取得し、（３）取得したデータをプログラムに規定される手順で演算・加工した上で、（４）演算済み・加工済みのデータをＥＥＰＲＯＭ４２３とタッチパネルディスプレイ４３１とスピーカ４３２とＮＩＣ４４１と無線ＬＡＮチップ４４２との少なくともいずれかに提供する。

［２−３−２．サーバ装置のハードウェア構成］
図５は、サーバ装置のハードウェア構成例を示す。
典型的なサーバ装置は、ＭＰＵやＲＯＭを含む制御処理装置５１０と、ＲＡＭを含む主記憶装置５２０と、ＨＤＤ（Hard Disc Drive）を含む補助記憶装置５３０と、マウスやキーボードを含む入力装置５４０と、ディスプレイやスピーカを含む出力装置５５０と、ネットワークカード（Network Interface Card）を含む通信制御装置５６０と、を有する。

主記憶装置５２０、補助記憶装置５３０、入力装置５４０、出力装置５５０及び通信制御装置５６０は、バスラインを介して制御処理装置５１０とそれぞれ接続される。
制御処理装置５１０は、（１）補助記憶装置５３０に記憶されたプログラムを主記憶装置５２０上に読み込み、（２）プログラムの指示に従って入力装置５４０と補助記憶装置５３０と通信制御装置５６０との少なくともいずれかからデータを取得し、（３）取得したデータをプログラムに規定される手順で演算・加工した上で、（４）演算済み・加工済みのデータを補助記憶装置５３０と出力装置５５０と通信制御装置５６０との少なくともいずれかに提供する。

［２−４．機能構成］
図６は、画像生成システムの機能構成例を示す。
図６に例示されるように、ユーザ管理サーバ２１は、受付部６１１と、作成部６１２と、提供部６１３と、を含む。また、データ処理サーバ２２は、抽出部６２１と、変換部６２２と、指定部６２３と、特定部６２４と、設定部６２５と、生成部６２６と、を含む。

ユーザ管理サーバ２１が担う機能は、サーバ装置向けＯＳ（Operating System）と当該ＯＳ上で動作するＷｅｂサーバプログラムとがサーバ装置にそれぞれインストールされることにより実現される。
データ処理サーバ２２が担う機能は、サーバ装置向けＯＳと当該ＯＳ上で動作するアプリケーションプログラムとがサーバ装置にそれぞれインストールされることにより実現される。
サーバ装置にインストールされるべきプログラムは、各種の記録媒体（例えば、ＣＤ（Compact Disc），ＤＶＤ（Digital Versatile Disk），ＭＯディスク（Magneto-Optical disk），フラッシュメモリ（flash memory）など）に記録された状態で配布され当該記録媒体からサーバ装置に読み込まれてもよいし、通信ネットワークを介し搬送波に重畳させてサーバ装置に供給されてもよい。

受付部６１１は、ユーザ端末１０から要求（リクエスト）を受け付ける。
作成部６１２は、受付部６１１により受け付けられた要求（リクエスト）に応じたＷｅｂページを作成する。
提供部６１３は、作成部６１２により作成されたＷｅｂページをユーザ端末１０に提供（レスポンス）する。

抽出部６２１は、指定ムービーからフレームと音声を抽出する。抽出されたフレーム及び音声は、ファイル管理サーバ２４に格納される。
変換部６２２は、抽出部６２１により抽出される音声に音声認識処理を施して変換テキストを生成する。なお、有効な音声認識が不可能である場合は、認識不可能な音声であることを示す補充テキストを生成する。生成されたテキストは、データ管理サーバ２３に格納される。

指定部６２３は、抽出部６２１により指定ムービーから抽出される音声のまとまりにそれぞれ対応する複数の候補テキスト（変換テキスト又は補充テキスト）にそれぞれ関連付けられた複数の候補範囲を含む候補リストをユーザに提示して単数又は複数の範囲を選択させ、選択された範囲を指定範囲としてそれぞれ指定する。
また、指定範囲に包含される音声を指定音声として指定するとともに、指定範囲に包含されるいずれかのフレームを指定フレームとして指定する。指定フレームの指定は自動的に行ってもよいし、ユーザの指定に応じて行ってもよい。

特定部６２４は、位置指定と領域指定とを兼ねるユーザ操作の始点の位置に応じて、指定範囲に包含される指定フレームとの関係で当該指定範囲に包含される指定音声の音源の位置を特定する。本実施例では、音源の位置は指定範囲ごとに特定される。
設定部６２５は、特定部６２４により特定される音源の位置が指定フレームの表示範囲の内部である場合に重畳テキストが当該音源に関連付けて配置されるように配置態様を設定し、音源の位置が表示範囲の外部である場合に重畳テキストが当該音源に関連付けずに配置されるように配置態様を設定する。いずれの場合にも、位置指定と領域指定とを兼ねるユーザ操作が描く閉図形が形成する閉領域の位置に応じて重畳テキストの配置領域を設定する。
生成部６２６は、サムネイル画像を生成する。生成されたサムネイル画像は、ファイル管理サーバ２４を介してストレージ２５に格納され、Ｗｅｂサーバにて公開される。

［２−５．画像生成手順］
図７は、画像生成手順を例示する。画像生成システム２０は、下記の手順によりサムネイル画像を生成する。
〔Ｓ７０２〕
ユーザ管理サーバ２１が、ユーザ端末１０からムービー指定データを取得する。ムービー指定データは、指定ムービーファイルがユーザ端末１０の補助記憶部に記憶されている場合は当該指定ムービーファイルを特定するファイルパス、指定ムービーファイルが他のサーバ装置にて管理されている場合は当該指定ムービーファイルを特定するＵＲＬ（Uniform Resource Locator）である。

〔Ｓ７０４〕
ユーザ管理サーバ２１又はデータ処理サーバ２２が、指定ムービーファイルを取得する。指定ムービーファイルは、ユーザ端末１０又は他のサーバ装置から取得する。
取得された指定ムービーファイルは、ファイル管理サーバ２４を介してストレージ２５に格納される。また、取得された指定ムービーファイルを管理するムービー管理情報が、データ管理サーバ２３を介してストレージ２５に格納される。

図８（ａ）は、ムービー管理情報の項目例を示す。
図８（ａ）に例示されるように、ムービー管理情報は、キー項目である「ムービーＩＤ」と、指定ムービーファイルのストレージ２５における格納位置を示す「ファイルパス」，指定ムービーに基づくサムネイル画像の生成をリクエストしたユーザを特定する「ユーザＩＤ」，指定ムービーに基づくサムネイル画像の生成リクエストを受け付けた時期を特定可能な「受付時期」，指定ムービーの「再生時間」と、を含む。

〔Ｓ７０６〕
データ処理サーバ２２が、指定ムービーから抽出される音声データに音声認識処理を施して変換テキストを生成する。なお、有効な音声認識が不可能である場合は、認識不可能な音声であることを示す補充テキストを生成する。生成されたテキストを管理するテキスト管理情報が、データ管理サーバ２３に格納される。

図８（ｂ）は、テキスト管理情報の項目例を示す。
図８（ｂ）に例示されるように、テキスト管理情報は、キー項目である「ムービーＩＤ」と、範囲の先頭を特定可能な「先頭位置」，範囲の末尾を特定可能な「末尾位置」，当該範囲に包含される音声に対する音声認識結果である「変換テキスト又は補充テキスト」と、を含む。

〔Ｓ７０８〕
データ処理サーバ２２が、指定ムービーから仮フレームを抽出する。具体的には、指定ムービーから抽出される音声のまとまりにそれぞれ対応する複数の候補テキスト（変換テキスト又は補充テキスト）にそれぞれ関連付けられた複数の候補範囲ごとに、当該候補範囲に包含されるいずれかのフレームを仮フレームとして抽出する。

〔Ｓ７１０〕
ユーザ管理サーバ２１が、編集画面Ａをユーザ端末１０に提示する。
図９は、編集画面Ａの表示例である。
図９に例示されるように、編集画面Ａ９００は、指定ムービーのタイムライン９１０に対応付けて複数の候補範囲９２０（９２０ａ〜９２０ｆ）を配置したものである。複数の候補範囲９２０には、テキストボックス９２２（９２２ａ〜９２２ｆ），再生ボタン９２４（９２４ａ〜９２４ｆ），仮フレーム９２６（９２６ａ〜９２６ｆ），チェックボックス９２８（９２８ａ〜９２８ｆ）がそれぞれ対応付けて表示される。
編集画面Ａ９００において、タイムライン９１０は、ムービー管理情報（図８（ａ））の「再生時間」に対応する。

候補範囲９２０は、テキスト管理情報（図８（ｂ））の「先頭位置」から「末尾位置」までの範囲に対応する。テキストボックス９２２に表示されるテキストは、テキスト管理情報（図８（ｂ））の「変換テキスト又は補充テキスト」に対応する。
再生ボタン９２４がタップされると、ユーザ端末１０はテキスト管理情報（図８（ｂ））の「先頭位置」から「末尾位置」までの候補範囲の音声の再生をユーザ管理サーバ２１にリクエストする。
ユーザが必要に応じて音声を再生させつつ必要に応じてテキストボックス９２２のテキストを編集し、単数又は複数（図９の表示例では４つ）の候補範囲にそれぞれ対応するチェックボックス９２８にチェックを入れてボタン９３０をタップすると、ユーザ端末１０は編集データＡをユーザ管理サーバ２１に送信する。

〔Ｓ７１２〕
ユーザ管理サーバ２１が、ユーザ端末１０から編集データＡを取得する。取得された編集データＡは、データ管理サーバ２３を介してストレージ２５に蓄積される。
図１０（ａ）は、編集データＡの項目例を示す。
図１０（ａ）に例示されるように、編集データＡは、「ムービーＩＤ」と、候補範囲の先頭を特定可能な「先頭位置」と、候補範囲の末尾を特定可能な「末尾位置」と、当該候補範囲に対応する「編集テキスト」と、当該候補範囲が選択されている場合に有意とする「選択フラグ」と、を含む。

〔Ｓ７１４〕
ユーザ管理サーバ２１が、編集画面Ｂをユーザ端末１０に提示する。
図１１は、編集画面Ｂの表示例である。
図１１に例示されるように、編集画面Ｂ１１００は、領域１１１０，領域１１２０，領域１１３０，ボタン１１４０を含む。

領域１１１０には、選択された範囲ごとに仮フレーム１１１２（１１１２ａ〜１１１２ｄ）と編集テキスト１１１４（１１１４ａ〜１１１４ｄ）と領域１１１６（１１１６ａ〜１１１６ｄ）が表示される。
仮フレーム１１１２の上方に表示される矢印がタップされると、当該仮フレームの直前又はそれより前の他のフレームに更新される。同様に、仮フレーム１１１２の下方に表示される矢印がタップされると、当該仮フレームの直後又はそれより後の他のフレームに更新される。
仮フレーム１１１２を包含する領域１１１６において図１及び図２を参照して説明したように閉図形を描くユーザ操作がなされると、軌跡が形成される。

領域１１２０では、サムネイル画像のレイアウトが選択される。図１１の表示例では、２行２列とするか、４行１列とするかを選択させている。
領域１１３０では、サムネイル画像の出力形態が選択される。図１１の表示例では、ＪＰＥＧ（Joint Photographic Experts Group）形式のＷｅｂ表示用データとするか、ＰＤＦ（Portable Document Format）形式の印刷用データとするかを選択させている。
ユーザが必要に応じてフレームを選択し、選択されたフレームに対してユーザ操作を行い、レイアウト及び出力形態を選択し、ボタン１１４０をタップすると、ユーザ端末１０は編集データＢ及び選択情報（レイアウト選択情報及び出力形態選択情報）をユーザ管理サーバ２１に送信する。

〔Ｓ７１６〕
ユーザ管理サーバ２１が、ユーザ端末１０から編集データＢを取得する。取得された編集データＢは、データ管理サーバ２３を介してストレージ２５に蓄積される。
図１０（ｂ）は、編集データＢの項目例を示す。
図１０（ｂ）に例示されるように、編集データＢは、「ムービーＩＤ」と、候補範囲の先頭を特定可能な「先頭位置」と、候補範囲の末尾を特定可能な「末尾位置」と、当該候補範囲に包含される「選択フレーム」と、当該候補範囲に対応する「軌跡情報」と、を含む。

〔Ｓ７１８〕
データ処理サーバ２２が、サムネイル画像を生成する。生成されたサムネイル画像は、ファイル管理サーバ２４を介してストレージ２５に格納され、Ｗｅｂサーバにて公開される。
具体的には、データ処理サーバ２２は次の手順でサムネイル画像を生成する。
・編集データＡ（図１０（ａ））において「選択フラグ」が有意の範囲を指定範囲としてそれぞれ指定する。
・指定範囲に対応する編集データＡ（図１０（ａ））の「編集テキスト」を重畳テキストに指定する。
・指定範囲に対応する編集データＢ（図１０（ｂ））の「選択フレーム」を指定フレームに指定する。

・指定範囲に対応する編集データＢ（図１０（ｂ））の「軌跡情報」から特定される軌跡の始点の位置に応じて、指定フレームとの関係で当該指定範囲に包含される指定音声の音源の位置を特定する。音源の位置が指定フレームの表示範囲の内部である場合に重畳テキストが当該音源に関連付けて配置されるように配置態様を設定し、音源の位置が表示範囲の外部である場合に重畳テキストが当該音源に関連付けずに配置されるように配置態様を設定する。
・指定範囲に対応する編集データＢ（図１０（ｂ））の「軌跡情報」から特定される軌跡が形成する閉領域の位置に応じて重畳テキストの配置領域を設定する。
・指定フレーム内の設定された配置領域に設定された配置態様で重畳テキストを重畳配置した画像を生成する。
・上記の手順で生成された指定範囲ごとの画像を、レイアウト選択情報により特定されるレイアウトで配置し、出力形態選択情報により特定される形式で出力する。

〔Ｓ７２０〕
ユーザ管理サーバ２１が、ユーザ端末１０にサムネイル画像を提供する。
図１２は、サムネイル画像の表示例である。サムネイル画像１２００は、編集画面Ｂ１１００において２行２列のレイアウト及びＷｅｂ表示用データがそれぞれ選択された場合に生成されるデータである。
サムネイル画像１２００を構成する指定フレームには、重畳テキストがそれぞれ重畳配置されている。各指定フレームには、対応する指定範囲のムービーを再生させるハイパーリンクが設定されていてもよい。

図１３は、サムネイル画像の表示例である。サムネイル画像１３００は、編集画面Ｂ１１００において４行１列のレイアウト及び印刷用データがそれぞれ選択された場合に生成されるデータである。
サムネイル画像１３００を構成する指定フレームには、重畳テキストがそれぞれ重畳配置されている。各指定フレームの隅には、対応する指定範囲のムービーを再生させるＵＲＬを変換した２次元コードを配置してもよい。

［２−６．実施例のシステムが奏する効果］
何らかの情報を他のユーザに知らせる手段としてＳＮＳ（Social Networking Service）がしばしば用いられる。ＳＮＳは情報を拡散させる用途に利用される性質上、静的な情報（例えば、テキスト，静止画像等）との親和性が高い。
新たなムービー（動画像）がインターネット上で視聴可能になった場合にも、その事実を知らせる手段としてＳＮＳを利用することは可能である。しかし、ムービー（動画像）の視聴にはまとまった時間がかかることから、ＳＮＳで紹介するには視聴した上でその内容を静的に示す投稿が必要であった。

本実施例のシステムは、指定ムービーの指定範囲に包含される指定フレームに重畳表示させる重畳テキストを、指定音声の音源の位置が指定フレームの表示範囲の内部である場合に重畳テキストを該音源に関連付けて配置し、指定音声の音源の位置が指定フレームの表示範囲の外部である場合に重畳テキストを音源に関連付けずに配置する。音源の位置は、閉図形を描くユーザ操作の端点（始点）の位置に応じて特定される。また、重畳テキストの配置領域は、閉図形が形成する閉領域の位置に応じて設定される。
これらの処理が指定範囲ごとに行われ、テキストがそれぞれ重畳配置された複数の指定フレームをレイアウトしたサムネイル画像が最終的に出力される。
よって、実施例のシステムによれば、ムービーから抽出される指定音声に対応するテキストを当該ムービーから抽出される指定フレームに、より簡便な操作でより訴求力の高い態様で重畳配置することが可能になる。

［３．変形例］
［３−１．データ連携の変形例］
上記実施例では、編集データＡ及び編集データＢを同期通信でそれぞれ取得する構成が採用されている。データの伝送には、例えばHTTPプロトコルのPOSTメソッドが利用される。
これに対し、編集データＡの項目及び編集データＢの項目を非同期通信で順次取得する構成が採用されてもよい。データの伝送には、例えばXMLHttpRequestオブジェクトが利用されるとよい。

［３−２．処理主体の変形例］
上記実施例では、サムネイル画像の生成に関するデータ処理を画像生成システム２０（特にデータ処理サーバ２２）が実行する構成が採用されている。ユーザ端末１０は、画像生成システム２０の入出力装置に相当する役割を担っている。
これに対し、サムネイル画像の生成に関するデータ処理の少なくとも一部をユーザ端末１０が実行する構成が採用されてもよい。例えば音声認識処理をＰＣ等のユーザ端末１０に実行させれば画像生成システム２０（データ処理サーバ２２）の処理負荷を抑えることが可能になる。

［３−３．判断主体の変形例］
上記実施例では、指定範囲の指定，指定フレームの指定，音源の位置の特定，重畳テキストの配置領域の指定等をユーザの操作に基づいて行う構成が採用されている。
これに対し、これらの処理の少なくとも一部を、画像生成システム２０（例えば、データ処理サーバ２２）がユーザの操作に基づかないで行う構成が採用されてもよい。例えば擬似乱数に基づいてランダムに指定・特定してもよいし、所定の条件に基づいて指定・特定してもよい。

［３−４．ユーザ操作の変形例］
上記実施形態では、位置指定と領域指定とを兼ねるユーザ操作により指定される位置に応じて音源の位置が特定され、当該ユーザ操作により指定される領域に応じて重畳テキストの配置領域が設定される。上記実施例では、画面に閉図形を描くユーザ操作の軌跡の始点の位置に応じて音源の位置を特定し、軌跡が形成する閉領域の位置に応じてテキストの配置領域を設定する構成が採用されている。
これに対し、画面に線を描くユーザ操作の軌跡の始点の位置に応じて音源の位置を特定し、軌跡の終点の位置を包含する一定領域にテキストの配置領域を設定する構成が採用されてもよい。なお、テキストの配置領域は、テキストが他の被写体に重ならないように設定するのが好ましい。

図１４を参照し、重畳テキストの配置態様の一例を説明する。図１４では、指定音声の音源の位置がフレームの表示範囲の内部である場合が想定される。
フレーム１４１０には被写体１４２０が含まれる。フレーム１４１０を包含する画面に線を描くユーザ操作がなされると、軌跡１４３０が形成される。このとき、軌跡１４３０の始点１４３１の位置に応じて音源の位置が特定され、軌跡１４３０の終点１４３２の位置に応じてテキストの配置領域が設定される。
指定音声の音源の位置がフレームの表示範囲の内部である場合、重畳テキストは、終点１４３２の位置に応じた領域に始点１４３１の位置に応じた音源の位置に関連付けて配置される吹き出し１４４０の内部に配置される。

図１５を参照し、重畳テキストの配置態様の他の例を説明する。図１５では、指定音声の音源の位置がフレームの表示範囲の外部である場合が想定される。
フレーム１５１０には被写体１５２０が含まれる。フレーム１５１０を包含する画面に線を描くユーザ操作がなされると、軌跡１５３０が形成される。このとき、軌跡１５３０の始点１５３１の位置に応じて音源の位置が特定され、軌跡１５３０の終点１５３２の位置に応じてテキストの配置領域が設定される。
指定音声の音源の位置がフレームの表示範囲の外部である場合、重畳テキストは、終点１５３２の位置に応じた領域に始点１５３１の位置に応じた音源の位置に関連付けずに配置される領域１５４０の内部に配置される。

１０ ユーザ端末
２０ 画像生成システム
２１ ユーザ管理サーバ
２２ データ処理サーバ（情報処理装置の一例）
２３ データ管理サーバ
２４ ファイル管理サーバ
２５ ストレージ
３０ 通信ネットワーク

Claims (12)

1. ムービーにおいてユーザが指定する指定範囲に包含されるフレームとの関係で該指定範囲に包含される音声の音源の位置をユーザ操作に基づいて特定する特定手段と、
   前記音声に対応し前記フレームに重畳配置される重畳テキストの配置態様を前記特定手段により特定される音源の位置とユーザ操作により描いた軌跡とに基づいて設定する設定手段と、
   を備える情報処理装置。
2. 前記ユーザ操作は閉図形を描く操作であり、
   前記特定手段が、前記軌跡の端点の位置に応じて前記音源の位置を特定し、
   前記設定手段が、前記閉図形が形成する閉領域の位置に応じて前記重畳テキストの配置領域を設定する、
   請求項１に記載の情報処理装置。
3. ムービーから抽出される音声にそれぞれ対応する当該ムービーの複数の候補範囲を少なくとも含む候補リストの中からユーザに選択される範囲を指定範囲として指定する指定手段と、
   前記指定範囲に包含されるフレームとの関係で該指定範囲に包含される前記音声の音源の位置を特定する特定手段と、
   前記音声に対応し前記フレームに重畳配置される重畳テキストの配置態様を前記特定手段により特定される音源の位置に基づいて設定する設定手段と、
   を備える情報処理装置。
4. 前記設定手段が、前記特定手段により特定される音源の位置と前記フレームの表示範囲との関係に応じて前記配置態様を設定する、
   請求項３に記載の情報処理装置。
5. 前記設定手段が、前記音源の位置が前記表示範囲の内部である場合に前記重畳テキストが該音源に関連付けて配置されるように前記配置態様を設定し、前記音源の位置が前記表示範囲の外部である場合に前記重畳テキストが該音源に関連付けずに配置されるように前記配置態様を設定する、
   請求項４に記載の情報処理装置。
6. 前記特定手段が、位置指定と領域指定とを兼ねるユーザ操作により指定される位置に応じて前記音源の位置を特定し、
   前記設定手段が、ユーザ操作により指定される領域に応じて前記重畳テキストの配置領域を設定する、
   請求項４または５に記載の情報処理装置。
7. 前記特定手段が、前記指定手段により指定される指定範囲ごとに、該指定範囲に包含される音声の音源の位置を特定し、
   前記設定手段が、前記指定手段により指定される指定範囲ごとに、該指定範囲に包含されるフレームに重畳配置される前記重畳テキストの配置態様を前記特定手段により特定される該指定範囲に包含される音声の音源の位置に基づいて設定する、
   請求項３ないし６のいずれかに記載の情報処理装置。
8. 前記指定手段が、前記ムービーに包含される音声のまとまりにそれぞれ対応する複数の候補テキストにそれぞれ関連付けられた複数の前記候補範囲を含む前記候補リストを前記ユーザに提示し指定数の範囲を該ユーザに選択させる、
   請求項７に記載の情報処理装置。
9. ムービーにおいてユーザが指定する指定範囲に包含されるフレームとの関係で該指定範囲に包含される音声の音源の位置をユーザ操作に基づいて特定する特定ステップと、
   前記音声に対応し前記フレームに重畳配置される重畳テキストの配置態様を前記特定ステップにおいて特定される音源の位置と前記ユーザ操作により描いた軌跡とに基づいて設定する設定ステップと、
   を含む、情報処理方法。
10. ムービーから抽出される音声にそれぞれ対応する当該ムービーの複数の候補範囲を少なくとも含む候補リストの中からユーザに選択される範囲を指定範囲として指定する指定ステップと、
    前記指定範囲に包含されるフレームとの関係で該指定範囲に包含される前記音声の音源の位置を特定する特定ステップと、
    前記音声に対応し前記フレームに重畳配置される重畳テキストの配置態様を前記特定ステップにおいて特定される音源の位置を加味して設定する設定ステップと、
    を含む、情報処理方法。
11. ムービーにおいてユーザが指定する指定範囲に包含されるフレームとの関係で該指定範囲に包含される音声の音源の位置をユーザ操作に基づいて特定する特定機能と、
    前記音声に対応し前記フレームに重畳配置される重畳テキストの配置態様を前記特定機能により特定される音源の位置と前記ユーザ操作により描いた軌跡とに基づいて設定する設定機能と、
    を情報処理装置のコンピュータに実現させる制御プログラム。
12. ムービーから抽出される音声にそれぞれ対応する当該ムービーの複数の候補範囲を少なくとも含む候補リストの中からユーザに選択される範囲を指定範囲として指定する指定機能と、
    前記指定範囲に包含されるフレームとの関係で該指定範囲に包含される前記音声の音源の位置を特定する特定機能と、
    前記音声に対応し前記フレームに重畳配置される重畳テキストの配置態様を前記特定機能により特定される音源の位置を加味して設定する設定機能と、
    を情報処理装置のコンピュータに実現させる制御プログラム。

Images