JP7632816B2 - ビデオ生成方法、装置、電子機器および記憶媒体 - Google Patents

Description

本願は、２０２１年０１月１５日に中国専利局に提出された出願番号が２０２１１００５７５８１．２である中国特許出願に対して優先権を主張するものであり、該出願の全ての内容を引用により本願に援用する。

本開示は、コンピュータ技術分野に関し、例えば、ビデオ生成方法、装置、電子機器および記憶媒体に関する。

ショートビデオアプリケーションは、一般的に、ユーザにショートビデオの作成・投稿機能を提供する。

ユーザは、ビデオを作成する時に通常、ビデオ素材を手動で撮影したり選択してから、複数のビデオ素材の配列順を設定し、選択したビデオ素材に適当なバックグラウンドミュージックを設定し、その後、ショートビデオアプリケーションにより、選択した素材とバックグラウンドミュージックをビデオに合成する必要がある。

しかし、関連技術において、ショートビデオ作成のハードルが高く、作成が完了するまで長い時間がかかり、ユーザの作成体験は良くない。

本開示は、ショートビデオ作成のハードルを低減し、ショートビデオの作成にかかる時間を短縮するためのビデオ生成方法、装置、電子機器および記憶媒体を提供する。

本開示は、
目標音楽を用いてビデオを生成する第１トリガ操作を受信することと、
前記第１トリガ操作に応答して、前記目標音楽の第１音楽特徴情報に基づき、自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とし、前記目標候補素材に従い、前記目標音楽をバックグラウンドミュージックとする目標ビデオを生成することと、を含む、
ビデオ生成方法を提供する。

本開示は、
目標音楽を用いてビデオを生成する第１トリガ操作を受信するように構成される第１受信モジュールと、
前記第１トリガ操作に応答して、前記目標音楽の第１音楽特徴情報に基づき、自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とし、前記目標候補素材に従い、前記目標音楽をバックグラウンドミュージックとする目標ビデオを生成するように構成されるビデオ生成モジュールと、を備える、
ビデオ生成装置を更に提供する。

本開示は、
１つまたは複数のプロセッサと、
１つまたは複数のプログラムを記憶するように構成されるメモリとを備える電子機器であって、
前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサにより実行されると、前記１つまたは複数のプロセッサは、上記ビデオ生成方法を実現する、
電子機器を更に提供する。

本開示は、
コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、
該プログラムがプロセッサにより実行されると、上記ビデオ生成方法を実現する、
コンピュータ可読記憶媒体を更に提供する。

本開示の実施例に係るビデオ生成方法のフローチャートである。 本開示の実施例に係る音楽詳細ページの模式図である。 本開示の実施例に係る素材通知ウィンドウの模式図である。 本開示の実施例に係る権限開放ウィンドウの模式図である。 本開示の実施例に係る別のビデオ生成方法のフローチャートである。 本開示の実施例に係るロードページの模式図である。 本開示の実施例に係るプレビューページの模式図である。 本開示の実施例に係るテンプレートウィンドウの模式図である。 本開示の実施例に係る素材ウィンドウの模式図である。 本開示の実施例に係る素材編集ウィンドウの模式図である。 本開示の実施例に係るビデオ編集ページの模式図である。 本開示の実施例に係るビデオ生成装置の構成ブロック図である。 本開示の実施例に係る電子機器の構造模式図である。

以下、図面を参照しながら本開示の実施例についてより詳細に説明する。図面に本開示のいくつかの実施例が示されるが、本開示は、様々な形式で実現でき、ここで記述される実施例に限定されるものと解釈されるべきではなく、本開示をより明瞭かつ完全に理解するために、これらの実施例を提供する。本開示の図面および実施例は、例示的なものに過ぎない。

本開示の方法の実施形態に記載される各ステップは、異なる順序で実行されてもよいし、および／または並行に実行されてもよい。また、方法の実施形態は、追加のステップおよび／または実行が省略されて示されたステップを含んでもよい。本開示の範囲は、この点で限られない。

本発明で使用される「含む」という用語およびその変形は、開放的な包含であり、即ち、「含むが、これらに限定されない」。「基づく」という用語は、「少なくとも部分的に基づく」という意味である。「１つの実施例」という用語は、「少なくとも１つの実施例」を表す。「別の実施例」という用語は、「少なくとも１つの別の実施例」を表す。「いくつかの実施例」という用語は、「少なくともいくつかの実施例」を表す。他の用語の関連定義は、以下の記述で与えられる。

なお、本開示に言及される「第１」、「第２」等の概念は、装置、モジュールまたはユニットを区分するためのものに過ぎず、これらの装置、モジュールまたはユニットが実行する機能の順序または相互依存関係を限定するためのものでもない。

なお、本開示に言及される「１つ」、「複数」という修飾は、模式的なものであるが、限定的なものではなく、当業者は、文脈が明確に例外を示さない限り、「１つまたは複数」として理解されるべきであることを理解すべできる。

本開示の実施形態における複数の装置間でインタラクションされるメッセージまたは情報の名称は、説明するためのものに過ぎず、これらのメッセージまたは情報の範囲を限定するためのものではない。

図１は、本開示の実施例に係るビデオ生成方法のフローチャートである。該方法は、ビデオ生成装置により実行でき、ここで、該装置は、ソフトウェアおよび／またはハードウェアにより実現でき、携帯電話機またはタブレットコンピュータのような電子機器に構成され得る。本開示の実施例に係るビデオ生成方法は、ビデオを自動的に生成するシーンに適用され、特に、音楽ビデオを自動的に生成するシーンに適用される。図１に示すように、本実施例に係るビデオ生成方法は、以下のステップを含んでもよい。

Ｓ１０１において、目標音楽を用いてビデオを生成する第１トリガ操作を受信する。

第１トリガ操作は、１つの音楽を用いてビデオを自動的に生成するように電子機器に指示するためのトリガ操作と理解でき、例えば、ビデオ生成コントロールをクリックするトリガ操作等であり、該ビデオ生成コントロールは、音楽リストページ、音楽詳細ページ、音楽再生ページおよび／またはビデオ再生ページ等のページに表示することができる。それに対応し、目標音楽は、ユーザがそれをバックグラウンドミュージックとしてビデオを作成したい音楽であり、例えば、ユーザが第１トリガ操作を実行する時に音楽リストページにおける選択状態にある音楽であり、音楽詳細ページに対応する音楽、音楽再生ページにおける現在再生している音楽、またはビデオ再生ページにおける現在再生しているビデオに使用されたバックグラウンドミュージック等である。以下、第１トリガ操作を、音楽詳細ページにおけるビデオ生成コントロールに作用するトリガ操作とすることを例として説明する。

本実施例において、図２に示すように、１つの音楽の音楽詳細ページには、該音楽の音楽情報（例えば、該音楽の音楽サムネイル２０、音楽名、投稿者のユーザ名、再生回数等）およびビデオ生成コントロール２１が表示されてもよく、これにより、ユーザは、該ビデオ生成コントロール２１をトリガすることで、該音楽をバックグラウンドミュージックとするビデオを自動的に生成し、例えば、該音楽をバックグラウンドミュージックとする音楽ビデオを生成するように電子機器に指示する。再生／一時停止コントロール２２、お気に入りコントロール２３および／または同タイプ撮影コントロール２４が設定されてもよく、これにより、ユーザは、再生／一時停止コントロール２２をクリックすることにより、該音楽の再生を再生／一時停止するように電子機器に指示し、お気に入りコントロール２３をクリックすることにより、該音楽をお気に入りに登録し、および／または、同タイプ撮影コントロール２４をクリックすることにより、現在の表示ページを該音楽の音楽詳細ページからビデオ撮影ページに切り替えてカメラをオンにするように電子機器に指示し、ユーザは、該音楽をバックグラウンドミュージックとするビデオを撮影することができる。また、ユーザが音楽詳細ページに初めて入った場合、ユーザがビデオ生成コントロール２１の作用を明確にすることができるように、音楽詳細ページには、提示用の動画、写真および／またはテキスト等のようなビデオ生成コントロール２１についての提示情報２５が表示されてもよい。

例示的には、電子機器は１つの音楽の音楽詳細ページを展示し、ユーザは、該音楽を用いてビデオを自動的に生成するように電子機器に指示したい場合、該音楽詳細ページに表示されたビデオ生成コントロールをクリックすることができ、それに対応し、電子機器は、ユーザが音楽詳細ページにおけるビデオ生成コントロールをクリックしたことを監視した場合、該音楽詳細ページに対応する音楽を目標音楽と確定し、目標音楽を用いてビデオを生成する第１トリガ操作を受信したと確定できる。

ユーザがビデオ生成コントロールを初めてクリックした場合、および／またはユーザがユーザの素材にアクセスする権限を開放していない場合、電子機器は、ユーザの素材を読み取ることをユーザに知らせ、および／またはその素材にアクセスする権限を開放することをユーザに提示するために、対応するウィンドウを表示することができる。この場合、それに対応し、第１トリガ操作は、展示されたウィンドウ内の対応するコントロールをトリガする操作であってもよい。

図２に示すように、電子機器は、１つの音楽の音楽詳細ページを表示し、ユーザが該音楽詳細ページにおけるビデオ生成コントロール２１をクリックしたことを監視した場合、該ユーザがビデオ生成コントロール２１を初めてクリックしたか否かを判断することができ、ユーザが初めてクリックした場合、図３に示すように、素材通知ウィンドウ３０を表示し、該素材通知ウィンドウ３０により、ビデオを自動的に生成する時にユーザの素材を読み取ることをユーザに知らせ、ユーザが素材通知ウィンドウ３０内のクローズコントロール３１をクリックしたことを監視した場合、該素材通知ウィンドウ３０の表示を停止し、ユーザが素材通知ウィンドウ３０内の体験開始コントロール３２をクリックしたことを監視した場合、ユーザがその素材にアクセスする権限を開放したか否かを判断する。それに対応し、ユーザが初めてクリックしたことでない場合、ユーザがその素材にアクセスする権限を開放したか否かを直接判断することができる。これにより、ユーザがその素材にアクセスする権限を開放したと判断した場合、第１トリガ操作を受信したと確定でき、ユーザがその素材にアクセスする権限を開放していないと判断した場合、図４に示すように、権限開放ウィンドウ４０を表示し、その素材にアクセスする権限を開放することをユーザに提示することができ、且つ、ユーザが該権限開放ウィンドウ４０内の許可コントロール４１をクリックしたことを監視した場合、ユーザの素材にアクセスする権限を開放し、第１トリガ操作を受信したと確定し、ユーザが該権限開放ウィンドウ４０内の不許可コントロール４２をクリックしたことを監視した場合、権限提示ウィンドウ４０の表示を停止する。

Ｓ１０２において、前記第１トリガ操作に応答して、前記目標音楽の第１音楽特徴情報に基づき、自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とし、前記目標候補素材に従い、前記目標音楽をバックグラウンドミュージックとする目標ビデオを生成する。

第１音楽特徴情報は、目標音楽の音楽特徴情報であってもよく、例えば、目標音楽の歌詞情報、リズム情報および／または音楽スタイル情報等である。目標ビデオは、電子機器が目標音楽を用いて生成したビデオと理解できる。候補素材は、電子機器が目標ビデオを生成するために使用可能な素材と理解でき、ユーザのローカルアルバムおよび／またはクラウドアルバム内の全ての素材であってもよいし、ユーザのローカルアルバムおよび／またはクラウドアルバム内の一部の素材であってもよく、例えば、ユーザのローカルアルバムおよび／またはクラウドアルバム内の撮影品質が高い素材であってもよく、該素材は、写真および／またはビデオ等を含んでもよく、一実施形態において、該素材は、ユーザが撮影、ダウンロード、導入、スクリーンショットまたは録画により予め取得できる写真およびビデオを含む。

電子機器は、第１トリガ操作を受信した場合、ユーザの候補素材セットを取得し、目標音楽の第１音楽特徴情報に基づき、予め設定された選択規則に従い、該候補素材セットから目標音楽に合致する候補素材を選択して目標候補素材とし、選択した全ての目標候補素材を目標ビデオに合成し、これにより、ユーザは、目標音楽を選択すれば目標ビデオを自動的に生成することができ、例えば、ユーザが１つのビデオを見る時、該ビデオ内のバックグラウンドミュージックを好む場合、現在の表示ページを該バックグラウンドミュージックのビデオ詳細ページに切り替えて該ビデオ詳細ページにおけるビデオ生成コントロールをクリックすれば、該バックグラウンドミュージックをバックグラウンドミュージックとするビデオを生成することができ、ユーザは、ビデオテンプレートおよびビデオ素材を選択する必要がなく、更にビデオ作成の難易度を低減し、ユーザがビデオを作成するためにかかる時間を短縮することができる。ここで、目標候補素材の選択規則は、開発者が必要に応じて設定でき、例えば、目標音楽の第１音楽特徴情報に従い、画面スタイルが該第１音楽特徴情報に類似した候補素材を選択して目標候補素材としてもよいし、バックグラウンドミュージックの第２音楽特徴情報が目標音楽の第１音楽特徴情報に合致するビデオテンプレートを目標ビデオテンプレートとし、素材主題が該目標ビデオテンプレートのテンプレート本体に類似した候補素材を選択して目標候補素材としてもよく、本実施例は、これについて限定しない。

一実施形態において、生成した目標ビデオの品質を向上させるために、候補素材セット内の候補素材は、ユーザのローカルアルバムおよび／またはクラウドアルバム内の撮影品質が良い素材であってもよく、例えば、前記自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とする前に、ローカルアルバムおよび／または関連するクラウドアルバムを含むユーザのアルバム内の素材を取得することと、素材の美的スコアに従い、前記アルバムから複数の素材を選別し、ユーザの候補素材セットを形成することとを更に含む。

関連するクラウドアルバムは、ユーザがログインしたアカウントに関連するクラウドアルバムと理解できる。ユーザが素材を取得するアルバムは、ユーザのローカルアルバムおよび／またはユーザに関連するクラウドアルバムを含んでもよく、ユーザに関連するクラウドアルバムがないまたはユーザがクラウドアルバムにアクセスする権限を開放していない場合、該アルバムは、ローカルアルバムのみを含んでもよく、即ち、電子機器は、ユーザのローカルアルバム内の素材のみを取得してもよい。ユーザに関連するクラウドアルバムがあり、且つユーザがクラウドアルバムにアクセスする権限を開放した場合、該アルバムは、ローカルアルバムおよび関連するクラウドアルバムを含んでもよく、即ち、電子機器は、ユーザのローカルアルバム内の素材およびユーザに関連するクラウドアルバム内の素材を取得してもよい。

例示的には、電子機器は、まず、ユーザアルバム内の全ての素材を取得し、予め設定された美的評価規則に従い、または事前にトレーニングされた美的評価モデルを用いて全ての素材を美的評価し、全ての素材の美的スコアを取得し、その後、美的スコアが予め設定されたスコア閾値よりも大きい素材を選択して候補素材とし、または、美的スコアの大きい順に、予め設定された数（例えば、３０個または５０個等）の素材を選択して候補素材とし、ユーザの候補素材セットを構成することができる。

上記実施形態において、電子機器がユーザアルバム内の素材を取得し、全ての素材の美的スコアに従って候補素材セットを構築するタイミングは、必要に応じて柔軟に設定することができ、例えば、電子機器は、第１トリガ操作を受信した場合に上記操作を実行してもよいし、目標音楽の属するアプリケーションの起動が完了し、目標音楽の属するアプリケーションの起動が完了してからの予め設定された時間（例えば、１０ｓ）に、またはユーザが目標音楽の属するアプリケーションにより電子機器のカメラをオンにしたことを監視した場合に、上記操作を実行してもよい。

本実施例に係るビデオ生成方法は、目標音楽を用いてビデオを生成する第１トリガ操作を受信し、該第１トリガ操作に応答して、目標音楽の第１音楽特徴情報に基づき、自ユーザの候補素材セットから目標音楽に合致する候補素材を選択して目標候補素材とし、該目標候補素材に従い、目標音楽をバックグラウンドミュージックとする目標ビデオを生成する。本実施例は、上記技術案を採用することにより、ユーザが選択した音楽に基づき、該音楽に合致する素材を用いてビデオを自動的に生成することができ、ビデオ作成のハードルを低減し、ユーザがビデオを作成するためにかかる時間を短縮することができ、且つ、生成したビデオとユーザが選択した音楽との合致度を高め、生成したビデオの品質を向上させることができる。

図５は、本開示の実施例に係る別のビデオ生成方法のフローチャートである。本実施例における形態は、上記実施例における１つまたは複数の好ましい形態と組み合わせることができる。好ましくは、前記目標音楽の第１音楽特徴情報に基づき、自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とすることは、各ビデオテンプレートのバックグラウンドミュージックの第２音楽特徴情報を取得し、第２音楽特徴情報が前記目標音楽の第１音楽特徴情報に合致するビデオテンプレートを選択して目標ビデオテンプレートとすることと、ユーザの候補素材セット内の各候補素材の素材主題と前記目標ビデオテンプレートのテンプレート主題との間の関連性に基づいて目標候補素材を確定することとを含む。

好ましくは、前記目標ビデオテンプレートは、素材を充填するための複数の素材スロットを含み、前記ユーザの候補素材セット内の各候補素材の素材主題と前記目標ビデオテンプレートのテンプレート主題との間の関連性に基づいて目標候補素材を確定した後、前記目標ビデオテンプレートの各素材スロットの充填条件を満たす目標候補素材を順次取得して前記素材スロットの充填待ち素材とし、前記充填待ち素材を前記素材スロットに充填することを更に含み、前記目標候補素材に従って目標ビデオを生成することは、前記充填待ち素材を充填した後の目標ビデオテンプレートに従って目標ビデオを生成することを含む。

好ましくは、前記充填待ち素材を前記素材スロットに充填した後、プレビューページを表示し、前記プレビューページに、前記目標ビデオテンプレートにおける前記充填待ち素材を含む合成待ち素材を展示することを更に含む。好ましくは、前記プレビューページを表示した後、前記プレビューページにおけるテンプレートコントロールに作用する第２トリガ操作を受信することと、前記第２トリガ操作に応答して、複数のビデオテンプレートのテンプレート情報が表示されたテンプレートウィンドウを表示することと、前記テンプレートウィンドウ内に表示されたテンプレート情報に作用する第３トリガ操作を受信することと、前記第３トリガ操作に応答して、前記目標ビデオテンプレートを前記第３トリガ操作に対応するテンプレート情報の属するビデオテンプレートに切り替え、前記目標ビデオテンプレートにおける合成待ち素材を更新することとを更に含む。

それに対応し、図５に示すように、本実施例に係るビデオ生成方法は、以下のステップを含む。

Ｓ２０１において、目標音楽を用いてビデオを生成する第１トリガ操作を受信する。

Ｓ２０２において、前記第１トリガ操作に応答して、各ビデオテンプレートのバックグラウンドミュージックの第２音楽特徴情報を取得し、第２音楽特徴情報が前記目標音楽の第１音楽特徴情報に合致するビデオテンプレートを選択して目標ビデオテンプレートとする。

ビデオテンプレートは、ビデオを作成するためのテンプレートと理解できる。第２音楽特徴情報は、ビデオテンプレートに付加する必要があるバックグラウンドミュージックの音楽特徴情報であってもよく、例えば、バックグラウンドミュージックのリズム情報および／または音楽スタイル情報等である。

例示的には、電子機器は、第１トリガ操作を受信した場合、現在の表示ページを音楽詳細ページからロードページに切り替えることができ、図６に示すように、各ビデオテンプレートのバックグラウンドミュージックの音楽特徴情報を取得し、バックグラウンドミュージックの音楽特徴情報が目標音楽の音楽特徴情報に合致するビデオテンプレートを選択して目標ビデオテンプレートとする。

本実施例において、図６に示すように、ロードページには、現在のロード進行状況およびキャンセルコントロール６０が表示されてもよく、これにより、ユーザは、該キャンセルコントロール６０をトリガすることにより、後続の操作の実行を停止するように電子機器に指示し、現在の表示ページをロードページから目標音楽の音楽詳細ページに切り替えることができる。目標ビデオテンプレートの確定方式は、必要に応じて設定することができ、例えば、電子機器は、目標ビデオテンプレートを確定する時、予め設定された合致度計算規則を直接用い、または事前にトレーニングされた合致度計算モデルを用い、テンプレートライブラリ内の各ビデオテンプレートのバックグラウンドミュージックの第２音楽特徴情報と目標音楽の第１音楽特徴情報との間の合致度を計算し、合致度が最も高いビデオテンプレートを選択して目標ビデオテンプレートとしてもよいし、まず、第１トリガ操作を実行するユーザおよび／または他のユーザが投稿したビデオに、目標音楽をバックグラウンドミュージックとしてビデオを生成する時にビデオテンプレートを使用したビデオがあるか否かを判断し、目標音楽をバックグラウンドミュージックとしてビデオを生成する時にビデオテンプレートを使用したビデオがある場合、該ビデオに使用されたビデオテンプレートを取得して目標ビデオテンプレートとし、目標音楽をバックグラウンドミュージックとしてビデオを生成する時にビデオテンプレートを使用したビデオがない場合、テンプレートライブラリ内の各ビデオテンプレートのバックグラウンドミュージックの第２音楽特徴情報と目標音楽の第１音楽特徴情報との間の合致度を計算し、合致度が最も高いビデオテンプレートを選択して目標ビデオテンプレートとしてもよい。

また、目標バックグラウンドミュージックをバックグラウンドミュージックとするビデオに使用されたテンプレートが複数ある場合、または、合致度が最も高いビデオテンプレートが複数ある場合、１つのビデオテンプレートをランダムに選択して目標ビデオテンプレートとしてもよいし、ユーザが投稿および／または再生したビデオのビデオスタイル等のようなユーザのパーソナライズ情報に従い、ユーザのパーソナライズ情報に最も合わせるビデオテンプレートを選択して目標ビデオテンプレートとしてもよい。または、目標ビデオテンプレートを確定する時、目標音楽を用いてバックグラウンドミュージックとするビデオまたは各テンプレートのバックグラウンドミュージックの音楽特徴情報と目標音楽の音楽特徴情報との間の合致度に従って予め設定された数（例えば、５個または１０個等）のビデオテンプレートを選択し、該予め設定された数のビデオテンプレートからユーザのパーソナライズ情報に最も合わせるビデオテンプレートを選択して目標ビデオテンプレートとしてもよい。これにより、生成した目標ビデオをユーザのパーソナライズニーズに更に合わせ、ユーザの体験を向上させる。

Ｓ２０３において、ユーザの候補素材セット内の各候補素材の素材主題と前記目標ビデオテンプレートのテンプレート主題との間の関連性に基づいて目標候補素材を確定する。

素材主題は、素材の主題と理解でき、例えば、候補素材セット内の候補素材の主題であり、素材の画面内容に応じて確定できる。テンプレート主題は、ビデオテンプレートの主題と理解でき、例えば、目標ビデオテンプレートの主題であり、１つの素材／ビデオテンプレートの主題は、例えば、植物、建物、風景、人物、旅行またはグルメ等であってもよい。

本実施例において、目標ビデオテンプレートのテンプレート主題に基づき、候補素材セット内の素材主題が目標ビデオテンプレートのテンプレート主題に類似（例えば、合致度が予め設定された合致度閾値よりも大きい））した素材を選択して目標候補素材としてもよいし、予め各候補素材の素材主題に従い、候補素材セットを素材主題が異なる複数のサブ候補素材セットに分けてもよく、これにより、目標ビデオテンプレートを確定した後、素材主題が目標ビデオテンプレートのテンプレート主題に類似したサブ候補素材セット内の候補素材を選択して目標候補素材とすることができる。ここで、目標候補素材を選択する時、素材主題が目標ビデオテンプレートのテンプレート主題に類似した全ての候補素材をいずれも目標候補素材と確定してもよいし、素材主題が目標ビデオテンプレートのテンプレート主題に類似した予め設定された数（例えば、２０個または５０個等）の候補素材を選択して目標候補素材としてもよく、本実施例は、これについて限定しない。

Ｓ２０４において、前記目標ビデオテンプレートの各素材スロットの充填条件を満たす目標候補素材を順次取得して前記素材スロットの充填待ち素材とし、前記充填待ち素材を前記素材スロットに充填し、ここで、前記目標ビデオテンプレートは、素材を充填するための複数の素材スロットを含む。

該充填条件は、充填する必要がある素材のアスペクト比（例えば、１６：９等）、素材タイプ（例えば、ビデオまたは写真等）および／または素材の最大時間長等を含んでもよい。

充填条件が素材のアスペクトであることを例とし、電子機器は、目標候補素材を確定した後、目標ビデオテンプレートの１つの素材スロットを選択して現在の素材スロットとしてもよく、例えば、目標ビデオテンプレートの最初の素材スロットを選択して現在の素材スロットとし、充填待ち素材と確定されていない目標候補素材から、現在の素材スロットのアスペクト比要求を満たす１つの目標候補素材を選択して現在の素材スロットの充填待ち素材とし、該充填待ち素材を現在の素材スロットに充填し、目標候補素材の次の素材スロットを現在の素材スロットと確定し、次の素材スロットがないまで、充填待ち素材と確定されていない目標候補素材から選択する操作に戻って実行する。

本ステップにおいて、現在の素材スロットの充填条件を満たす目標候補素材が１つのみある場合、該目標候補素材を該素材スロットの充填待ち素材と確定することができ、現在の素材スロットの充填条件を満たす目標候補素材が複数存在する場合、生成した目標ビデオの品質を向上させるために、該複数の目標候補素材から１つのビデオタイプの目標候補素材をランダムに選択して現在の素材スロットの充填待ち素材とすることができ、該複数の目標候補素材にビデオタイプの目標候補素材がない場合、１つの目標候補素材をランダムに選択して現在の素材スロットの充填待ち素材とすることができる。また、充填待ち素材が、時間長が現在の素材スロットに充填できる素材の最大時間長よりも大きいビデオタイプの目標候補素材であれば、該充填待ち素材を現在の素材スロットに充填する時、該充填待ち素材から時間長が該最大時間長に合わせるキーとなるビデオを切り出し、切り出した該キーとなるビデオを現在の素材スロットに充填することができる。

ロードに失敗した場合、例えば、ネットワークに起因して目標ビデオテンプレートが正常にロードできない場合、または、素材主題が目標ビデオテンプレートのテンプレート主題に類似した素材の数が少なすぎる（例えば、目標ビデオテンプレートに含まれる素材スロットの数よりも少ない）場合、または１つまたは複数の素材スロットの充填条件を満たす目標候補素材がない場合、電子機器は、ロードを停止することができ、現在の表示ページをロードページから目標音楽の音楽詳細ページに切り替え、ロードに失敗したことをユーザに提示することができ、例えば、ユーザがビデオ生成の失敗原因を明確にするように、「ビデオ生成に失敗しました。後で再試行してください」または「素材が足りないため、補充した後で再試行してください」等をユーザに提示する。

Ｓ２０５において、プレビューページを表示し、前記プレビューページに、前記目標ビデオテンプレートにおける前記充填待ち素材を含む合成待ち素材を展示する。

合成待ち素材は、目標ビデオテンプレートにおけるユーザが目標ビデオに合成する素材（例えば、ビデオまたは写真）と理解でき、目標ビデオテンプレートにおける各素材スロットに充填された充填待ち素材を含んでもよいし、シーンチェンジ素材を更に含んでもよく、該シーンチェンジ素材は、目標ビデオテンプレートに担持されてもよいし、電子機器が充填待ち素材を目標ビデオテンプレートに充填してから隣接する充填待ち素材に基づいて生成されて隣接する充填待ち素材間に充填されてもよい。

例示的には、目標ビデオテンプレートおよび目標ビデオテンプレートの各素材スロットに対応する素材のロードがいずれも完了した後、図７に示すように、現在の表示ページをロードページからプレビューページに切り替えることができ、該プレビューページに、目標ビデオテンプレートにおける合成待ち素材を展示し、例えば、ユーザが目標ビデオを生成するための素材および全ての素材の配列順を明確にするように、目標ビデオテンプレートにおける全ての合成待ち素材の順に従い、全ての合成待ち素材を順次展示し、または、ユーザの切り替え操作に従い、プレビューページに現在展示されている合成待ち素材を切り替える。

Ｓ２０６において、前記プレビューページにおけるテンプレートコントロールに作用する第２トリガ操作を受信する。

Ｓ２０７において、前記第２トリガ操作に応答して、複数のビデオテンプレートのテンプレート情報が表示されたテンプレートウィンドウを表示する。

第２トリガ操作は、プレビューページに表示されたテンプレートコントロールをトリガするための操作であってもよく、例えば、該テンプレートコントロールに作用するクリック操作等である。ビデオテンプレートのテンプレート情報は、該ビデオテンプレートの関連情報であってもよく、例えば、ビデオテンプレートのテンプレートサムネイルおよび／またはテンプレート名等である。テンプレートウィンドウは、テンプレートリストを表示することに使用でき、該テンプレートリストにテンプレートライブラリ内の全てのビデオテンプレートが含まれてもよい。バックグラウンドミュージックの第２音楽特徴情報と目標音楽の第１音楽特徴情報との間の合致度が設定された合致度閾値よりも大きいテンプレートのみを含んでもよく、本実施例は、これについて限定しない。

本実施例において、図７に示すように、プレビューページには、テンプレートウィンドウを表示するようにユーザが電子機器に指示するためのテンプレートコントロール７０が設定されてもよく、これにより、ユーザは、目標ビデオを生成する時に使用する目標ビデオテンプレートを変更したい場合、該テンプレートコントロール７０をクリックすることができる。それに対応し、電子機器は、ユーザが該テンプレートコントロール７０をクリックしたことを監視した場合、第２トリガ操作を受信したと確定でき、該第２トリガ操作に応答して、テンプレートウィンドウ８０を表示し、該テンプレートウィンドウ８０に各ビデオテンプレートのテンプレート情報を表示し、例えば、図８に示すように、テンプレートウィンドウ内に各ビデオテンプレートのテンプレートサムネイルおよび／またはテンプレート名を表示する。ここで、各ビデオテンプレートは、ランダムにまたはバックグラウンドミュージックの第２音楽特徴情報と目標音楽の第１音楽特徴情報との間の合致度の大きい順にテンプレートウィンドウ８０に展示できる。

Ｓ２０８において、前記テンプレートウィンドウ内に表示されたテンプレート情報に作用する第３トリガ操作を受信する。

Ｓ２０９において、前記第３トリガ操作に応答して、前記目標ビデオテンプレートを前記第３トリガ操作に対応するテンプレート情報の属するビデオテンプレートに切り替え、前記目標ビデオテンプレートにおける合成待ち素材を更新する。

第３トリガ操作は、テンプレートウィンドウ内の１つのビデオテンプレートのテンプレート情報の表示領域内に作用する操作と理解でき、例えば、テンプレートウィンドウ内に表示された１つのビデオテンプレートのテンプレートサムネイルをクリックする操作等である。

図８に示すように、ユーザは、目標ビデオテンプレートを他のビデオテンプレートに切り替えたい場合、テンプレートウィンドウ８０内に表示された該ビデオテンプレートのサムネイルをクリックすることができ、それに対応し、電子機器は、ユーザがビデオテンプレート内に表示された１つのビデオテンプレートのテンプレートサムネイルをクリックしたことを監視した場合、第３トリガ操作を受信したと確定でき、目標ビデオテンプレートを該ビデオテンプレートに切り替え、ユーザの候補素材セット内の各候補素材の素材主題と該ビデオテンプレートのテンプレート主題との間の関連性に基づいて該ビデオテンプレートの目標候補テンプレートを確定し、該ビデオテンプレートの各素材スロットの充填条件を満たす目標候補素材を順次取得して該素材スロットの充填待ち素材とし、各素材スロットの充填待ち素材を対応する素材スロットに充填し、且つ、ユーザが更新後の合成待ち素材を閲覧するように、プレビューページに展示された合成待ち素材を該ビデオテンプレートにおける合成待ち素材に更新する。且つ、電子機器は、第３トリガ操作を受信した場合、該トリガ操作に応答して、ダウンロード提示ウィンドウ８１を表示して現在ダウンロード中のテンプレートをユーザに提示してもよい。この場合、それに対応し、プレビューページに更新後の合成待ち素材を展示する時、ユーザが更新後の合成待ち素材を閲覧することを妨げないようにするために、該提示ウィンドウ８１の表示を停止してもよい。

また、図８を参照し続け、目標ビデオテンプレートを切り替えた後、プレビューページに第１セーブコントロール８２および第１キャンセルコントロール８３を表示してもよく、これにより、ユーザが該第１セーブコントロール８２をクリックしたことを監視した場合、切り替えた後の目標ビデオテンプレートおよび合成待ち素材をセーブすることができ、且つ、テンプレートウィンドウ８０を閉じることができ、図７に示すとおりである。ユーザが該第１キャンセルコントロール８３をクリックしたことを監視した場合、切り替えた後の目標ビデオテンプレートおよび合成待ち素材を前の目標ビデオテンプレートおよび合成待ち素材に切り替えることができ、且つ、テンプレートウィンドウ８０を閉じることができ、図７に示すとおりである。

一実施形態において、図７を参照し続け、プレビューページに素材コントロール７１が表示されてもよく、ユーザがプレビューページに初めて入った時、素材コントロール７１の機能についての紹介情報７２を表示することができる。ユーザは、目標ビデオテンプレートに充填された充填待ち素材を交換したい場合、該素材コントロール７１をクリックすることができる。それに対応し、電子機器は、ユーザが素材コントロール７１をクリックしたことを監視した場合、図９に示すように、素材ウィンドウ９０を表示し、該素材ウィンドウ９０に、ユーザの素材、候補素材または目標候補素材の素材情報、例えば、素材サムネイルを表示してもよい。プレビューページに第２セーブコントロール９１および第２キャンセルコントロール９２を表示してもよい。

これにより、ユーザは、プレビューページに現在表示されている素材を他の素材に置き換えたい場合、素材ウィンドウ９０に表示された該他の素材のサムネイルをクリックすることができ、電子機器は、ユーザが素材ウィンドウ９０に表示された１つの素材の素材サムネイルをクリックしたことを監視した場合、該素材が写真であれば、現在時刻にプレビューページに表示されている素材を該写真に置き換えることができ、該素材がビデオであれば、図１０に示すように、ユーザが該ビデオ内の一部を選択して素材とするように、ビデオ素材編集ウィンドウ１００を表示することができ、且つ、ユーザがビデオ素材編集ウィンドウ１００内の確定コントロール１０２をクリックしたことを監視した場合、現在時刻にプレビューページに表示されている素材をユーザが選択した部分に置き換え、ユーザがビデオ素材編集ウィンドウ１００内のキャンセルコントロール１０１をクリックしたことを監視した場合、ユーザが選択した部分をキャンセルし、且つ、ユーザがビデオ素材編集ウィンドウ１００内の素材交換コントロール１０３をクリックしたことを監視した場合、ユーザが素材を交換するように、ビデオ素材編集ウィンドウ１００を閉じて素材ウィンドウ９０を表示する。

ユーザは、素材に対する修正をセーブしたい場合、第２セーブコントロール９１をクリックすることができ、それに対応し、電子機器は、ユーザが第２セーブコントロール９１をクリックしたことを監視した場合、修正後の充填待ち素材をセーブすることができ、且つ、素材ウィンドウ９０を閉じることができる。ユーザは、素材に対する修正をキャンセルしたい場合、第２キャンセルコントロール９２をクリックすることができ、それに対応し、電子機器は、ユーザが第２キャンセルコントロール９２をクリックしたことを監視した場合、修正後の合成待ち素材を前の合成待ち素材に切り替えることができ、且つ、素材ウィンドウ９０を閉じすることができ、図７に示すとおりである。

また、素材ウィンドウ９０には、ユーザが目標テンプレートに担持されたテキストを編集するためのテキスト編集コントロール９３が表示されてもよい。電子機器は、充填待ち素材を目標ビデオテンプレートに充填する時、目標ビデオテンプレートに担持された、ビデオに表示する必要があるテキストを対応する写真またはビデオプレートに同期充填することができ、ユーザが素材ウィンドウ９０内のテキスト編集コントロール９３をクリックしたことを監視した場合、ユーザが写真またはビデオプレートに付加された、目標ビデオテンプレートに担持されたテキストを編集するように、テキスト編集ウィンドウを表示する。

Ｓ２１０において、前記充填待ち素材を充填した後の目標ビデオテンプレートに従って目標ビデオを生成する。

例示的には、電子機器は、目標ビデオテンプレートの各素材スロットの充填待ち素材の充填が完了した後、充填後の目標ビデオテンプレートに基づいて目標ビデオを自動的に生成することができ、例えば、目標ビデオテンプレートにおける全ての充填待ち素材／合成待ち素材の順に従い、全ての充填待ち素材／合成待ち素材を目標ビデオに合成することができる。目標ビデオテンプレートの全ての素材スロットの充填待ち素材の充填が完了した後、ユーザが目標ビデオテンプレートおよび目標ビデオテンプレートにおける充填待ち素材／合成待ち素材を閲覧して修正するように、プレビューページを表示し、且つ、ユーザがプレビューページにおけるビデオ合成コントロールをトリガしたことを監視した場合、目標ビデオテンプレートにおける全ての充填待ち素材／合成待ち素材を目標ビデオに合成し、例えば、前記充填待ち素材を充填した後の目標ビデオテンプレートに従って目標ビデオを生成することは、前記プレビューページにおけるビデオ合成コントロールに作用する第４トリガ操作を受信した場合、前記目標音楽を用いてバックグラウンドミュージックとし、前記目標ビデオテンプレートにおける全ての合成待ち素材の順に従い、前記全ての合成待ち素材を目標ビデオに合成することを含む。

例示的には、図７を参照し続け、電子機器は、プレビューページにビデオ合成コントロール７３を表示し、ユーザは、目標ビデオテンプレートにおける合成待ち素材を目標ビデオに合成したい場合、該ビデオ合成コントロール７３をクリックすることができる。それに対応し、電子機器は、ユーザがビデオ合成コントロール７３をクリックしたことを監視した場合、第４トリガ操作を受信したと確定でき、該第４トリガ操作に応答して、目標音楽をバックグラウンドミュージックとし、目標ビデオテンプレートにおける全ての合成待ち素材の順に従い、全ての合成待ち素材を目標ビデオに合成し、且つ、図１１に示すように、ユーザが、目標ビデオのバックグラウンドミュージックを交換したり、目標ビデオにテキスト、ステッカー、エフェクトおよび／またはフィルターを付加したり、目標ビデオを画質補正したりする等、合成した目標ビデオを編集するように、現在の表示ページをプレビューページからビデオ編集ページに切り替えることができる。且つ、ユーザがビデオ編集ページにおけるストーリーズコントロール１１０をクリックしたことを監視した場合、目標ビデオを投稿し、目標ビデオを予め設定された日数（例えば、１日または１週間）内にのみ見られるように設定することができる。ユーザがビデオ編集ページにおける次へコントロール１１１をクリックしたことを監視した場合、ユーザが目標ビデオのタイトル、投稿位置および公開範囲を編集するように、現在の表示ページをビデオ編集ページから投稿ページに切り替え、目標ビデオを投稿するか、または目標ビデオセーブを下書き内に記憶する。ここで、合成待ち素材がビデオタイプの素材であれば、合成時に、得た目標ビデオに目標音楽以外の音が突然現れたり消えたりすることを回避するために、該合成待ち素材のオーディオデータを削除したり該合成待ち素材をミュートしたりしてもよい。

また、図７に示すように、プレビューページに第１戻りコントロール７４が表示されてもよく、これにより、ユーザは、目標音楽の音楽詳細ページに戻りたい場合、該第１戻りコントロール７４をクリックすることができ、それに対応し、電子機器は、ユーザが第１戻りコントロール７４をクリックしたことを監視した場合、第１セーブ提示ウィンドウ（図７で示されていない）を表示して戻ると現在の効果がなくなることをユーザに提示することができ、ユーザが第１セーブ提示ウィンドウ内の第１確認コントロールをクリックしたことを監視した場合、現在の表示ページをプレビューページから目標音楽の音楽詳細ページに切り替える。図１１に示すように、ビデオ編集ページに第２戻りコントロール１１２が表示されてもよい。これにより、ユーザは、プレビューページに戻りたい場合、該第２戻りコントロール１１２をクリックすることができ、それに対応し、電子機器は、ユーザが第２戻りコントロール１１２をクリックしたことを監視した場合、第２セーブ提示ウィンドウ（図１１で示されていない）を表示してビデオ編集ページ内で編集した内容がセーブされないことをユーザに提示することができ、ユーザが第２セーブ提示ウィンドウ内の第２確認コントロールをクリックしたことを監視した場合、現在の表示ページをビデオ編集ページからプレビューページに切り替える。

本実施例に係るビデオ生成方法は、目標ビデオの音楽特徴に従って目標ビデオテンプレートを選択し、目標ビデオテンプレートの主題に従って目標候補素材を確定し、且つ、ユーザが目標ビデオテンプレートを変更した後、目標ビデオテンプレート内に充填された素材を同期更新し、ユーザが選択した音楽に従ってビデオを自動的に生成することができるだけでなく、生成した目標ビデオの品質を向上させ、生成した目標ビデオをユーザの意図に更に合わせ、ユーザの使用体験を向上させることもできる。

図１２は、本開示の実施例に係るビデオ生成装置の構成ブロック図である。該装置は、ソフトウェアおよび／またはハードウェアにより実現でき、携帯電話機またはタブレットコンピュータのような電子機器に構成され得て、ビデオ生成方法を実行することによりビデオを生成することができる。図１２に示すように、本実施例に係るビデオ生成装置は、第１受信モジュール１２０１およびビデオ生成モジュール１２０２を備えてもよい。

第１受信モジュール１２０１は、目標音楽を用いてビデオを生成する第１トリガ操作を受信するように構成され、ビデオ生成モジュール１２０２は、前記第１トリガ操作に応答して、前記目標音楽の第１音楽特徴情報に基づき、自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とし、前記目標候補素材に従い、前記目標音楽をバックグラウンドミュージックとする目標ビデオを生成するように構成される。

本実施例に係るビデオ生成装置は、第１受信モジュール１２０１により、目標音楽を用いてビデオを生成する第１トリガ操作を受信し、ビデオ生成モジュール１２０２により、該第１トリガ操作に応答して、目標音楽の第１音楽特徴情報に基づき、自ユーザの候補素材セットから目標音楽に合致する候補素材を選択して目標候補素材とし、該目標候補素材に従い、目標音楽をバックグラウンドミュージックとする目標ビデオを生成する。本実施例は、上記技術案を採用することにより、ユーザが選択した音楽に基づき、該音楽に合致する素材を用いてビデオを自動的に生成することができ、ビデオ作成のハードルを低減し、ユーザがビデオを作成するためにかかる時間を短縮することができ、且つ、生成したビデオとユーザが選択した音楽との合致度を高め、生成したビデオの品質を向上させることができる。

上記形態において、前記ビデオ生成モジュール１２０２は、各ビデオテンプレートのバックグラウンドミュージックの第２音楽特徴情報を取得し、前記第２音楽特徴情報が前記目標音楽の第１音楽特徴情報に合致するビデオテンプレートを選択して目標ビデオテンプレートとするように構成されるテンプレート取得ユニットと、ユーザの候補素材セット内の各候補素材の素材主題と前記目標ビデオテンプレートのテンプレート主題との間の関連性に基づいて目標候補素材を確定するように構成される素材確定ユニットとを備えてもよい。

上記形態において、前記目標ビデオテンプレートは、素材を充填するための複数の素材スロットを含んでもよく、前記ビデオ生成モジュール１２０２は、前記ユーザの候補素材セット内の各候補素材の素材主題と前記目標ビデオテンプレートのテンプレート主題との間の関連性に基づいて目標候補素材を確定した後、前記目標ビデオテンプレートの各素材スロットの充填条件を満たす目標候補素材を順次取得して前記素材スロットの充填待ち素材とし、前記充填待ち素材を前記素材スロットに充填するように構成される素材充填ユニットと、前記充填待ち素材を充填した後の目標ビデオテンプレートに従って目標ビデオを生成するように構成されるビデオ生成ユニットとを更に備えてもよい。

上記形態において、前記ビデオ生成モジュール１２０２は、前記充填待ち素材を前記素材スロットに充填した後、プレビューページを表示し、前記プレビューページに、前記目標ビデオテンプレートにおける前記複数の充填待ち素材を含む合成待ち素材を展示するように構成される素材展示ユニットを更に備えてもよい。

上記形態において、前記ビデオ生成モジュール１２０２は、前記プレビューページを表示した後、前記プレビューページにおけるテンプレートコントロールに作用する第２トリガ操作を受信するように構成される第１受信ユニットと、前記第２トリガ操作に応答して、複数のビデオテンプレートのテンプレート情報が表示されたテンプレートウィンドウを表示するように構成されるテンプレート表示ユニットと、前記テンプレートウィンドウ内に表示されたテンプレート情報に作用する第３トリガ操作を受信するように構成される第２受信ユニットと、前記第３トリガ操作に応答して、前記目標ビデオテンプレートを前記第３トリガ操作に対応するテンプレート情報の属するビデオテンプレートに切り替え、前記目標ビデオテンプレートにおける合成待ち素材を更新するように構成される素材更新ユニットとを更に備えてもよい。

上記形態において、前記ビデオ生成ユニットは、前記プレビューページにおけるビデオ合成コントロールに作用する第４トリガ操作を受信した場合、前記目標音楽を用いてバックグラウンドミュージックとし、前記目標ビデオテンプレートにおける全ての合成待ち素材の順に従い、前記全ての合成待ち素材を目標ビデオに合成するように構成されてもよい。

本実施例に係るビデオ生成装置は、前記自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とする前に、ローカルアルバムおよび／または関連するクラウドアルバムを含むユーザのアルバム内の素材を取得するように構成される素材取得モジュールと、素材の美的スコアに従い、前記アルバムから複数の素材を選別し、ユーザの候補素材セットを形成するように構成される素材選別モジュールとを更に備えてもよい。

本開示の実施例に係るビデオ生成装置は、本開示のいずれかの実施例に係るビデオ生成方法を実行することができ、ビデオ生成方法の実行に対応する機能モジュールおよび効果を備える。本実施例で詳しく説明されていない技術詳細は、本開示のいずれかの実施例に係るビデオ生成方法を参照することができる。

以下、図１３を参照し、本開示の実施例を実現するために適した電子機器（例えば、端末機器）１３００の構造模式図を示す。本開示の実施例における端末機器は、携帯電話機、ノートパソコン、デジタル放送受信機、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、タブレットコンピュータ（ＰＡＤ）、ポータブルマルチメディアプレイヤー（Ｐｏｒｔａｂｌｅ Ｍｅｄｉａ Ｐｌａｙｅｒ、ＰＭＰ）、車載端末（例えば、車載ナビゲーション端末）等のようなモバイル端末、およびデジタル（Ｔｅｌｅｖｉｓｉｏｎ、ＴＶ）、デスクトップ型コンピュータ等のような固定端末を含んでもよいが、これらに限定されない。図１３に示す電子機器は一例に過ぎず、本開示の実施例の機能および使用範囲に何かの制限を与えるものではない。

図１３に示すように、電子機器１３００は、処理装置（例えば、中央プロセッサ、グラフィックプロセッサ等）１３０１を備えてもよく、読み出し専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）１３０２に記憶されたプログラム、または記憶装置１３０８からランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）１３０３にロードされたプログラムに基づき、様々な適当な動作および処理を実行することができる。ＲＡＭ １３０３には、電子機器１３００の操作に必要な様々なプログラムおよびデータが更に記憶されている。処理装置１３０１、ＲＯＭ １３０２およびＲＡＭ １３０３は、バス１３０４を介して互いに接続されている。入力／出力（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ、Ｉ／Ｏ）インターフェース１３０５もバス１３０４に接続されている。

通常、例えば、タッチパネル、タッチパッド、キーボード、マウス、カメラ、マイク、加速度計、ジャイロスコープ等を含む入力装置１３０６、例えば、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）、スピーカ、バイブレータ等を含む出力装置１３０７、例えば、磁気テープ、ハードディスク等を含む記憶装置１３０６、および通信装置１３０９は、Ｉ／Ｏインターフェース１３０５に接続することができる。通信装置１３０９は、電子機器１３００が他の機器と無線または有線通信してデータを交換することを可能にする。図１３は、様々な装置を備える電子機器１３００を示したが、全ての示された装置を実施または具備することが必要ではないことが理解されるべきである。代わりに、より多いまたはより少ない装置を実施または具備してもよい。

本開示の実施例によれば、上記フローチャートを参照して記述した過程は、コンピュータソフトウェアプログラムとして実現され得る。例えば、本開示の実施例は、非一時的コンピュータ可読媒体に担持されたコンピュータプログラムを含むコンピュータプログラム製品を含み、該コンピュータプログラムは、フローチャートに示す方法を実行するためのプログラムコードを含む。このような実施例において、該コンピュータプログラムは、通信装置１３０９によりネットワークからダウンロードされてインストールされてもよいし、記憶装置１３０６からインストールされてもよいし、ＲＯＭ １３０２からインストールされてもよい。該コンピュータプログラムが処理装置１３０１により実行されると、本開示の実施例の方法で限定される上記機能を実行する。

なお、本開示に記載されたコンピュータ可読媒体は、コンピュータ可読信号媒体であってもよいし、コンピュータ可読記憶媒体であってもよいし、上記両者の任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、例えば、電気の、磁気の、光の、電磁気の、赤外線の、または半導体のシステム、装置またはデバイス、あるいは以上の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体の更なる具体的な例は、１つまたは複数のリード線を有する電気的接続、ポータブルコンピュータディスク、ハードディスク、ＲＡＭ、ＲＯＭ、消去可能なプログラマブル読み出し専用メモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、または上記内容の任意の適当な組み合わせを含んでもよいが、これらに限定されない。本開示において、コンピュータ可読記憶媒体は、命令実行システム、装置またはデバイスに使用され得る、または命令実行システム、装置またはデバイスと合わせて使用され得るプログラムを含有または記憶する任意の有形的な媒体であってもよい。本開示において、コンピュータ可読信号媒体は、ベースバンドでまたは搬送波の一部として伝搬されるデータ信号を含んでもよく、その中にコンピュータ可読プログラムコードが担持されている。このような伝搬されるデータ信号は、様々な形式を採用することができ、電磁信号、光信号または上記内容の任意の適当な組み合わせを含んでもよいが、これらに限定されない。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよく、該コンピュータ可読信号媒体は、命令実行システム、装置またはデバイスに使用される、または命令実行システム、装置またはデバイスと合わせて使用されるプログラムを送信、伝搬または伝送することができる。コンピュータ可読媒体に含まれるプログラムコードは、任意の適当な媒体で伝送でき、電線、光ケーブル、無線周波数（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、ＲＦ）等、または上記内容の任意の適当な組み合わせを含んでもよいが、これらに限定されない。

いくつかの実施形態において、クライアント、サーバは、ハイパーテキストトランスファープロトコル（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ、ＨＴＴＰ）のような、任意の現在知られているまたは将来研究開発されるネットワークプロトコルを利用して通信することができ、且つ、任意の形式または媒体のデジタルデータ通信（例えば、通信ネットワーク）と相互接続できる。通信ネットワークの例は、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＬＡＮ）、ワイドエリアネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＷＡＮ）、ネットワークオフネットワーク（例えば、インターネット）およびピアツーピアネットワーク（例えば、ａｄ ｈｏｃピアツーピアネットワーク）、および任意の現在知られているまたは将来研究開発されるネットワークを含む。

上記コンピュータ可読媒体は、上記電子機器に含まれるものであってもよいし、単独で存在して該電子機器に取り付けられていないものであってもよい。

上記コンピュータ可読媒体に１つまたは複数のプログラムが担持され、上記１つまたは複数のプログラムが該電子機器により実行されると、該電子機器は、目標音楽を用いてビデオを生成する第１トリガ操作を受信し、前記第１トリガ操作に応答して、前記目標音楽の第１音楽特徴情報に基づき、自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とし、前記目標候補素材に従い、前記目標音楽をバックグラウンドミュージックとする目標ビデオを生成する。

１種または複数種のプログラミング言語またはその組み合わせで本開示の操作を実行するためのコンピュータプログラムコードを記述することができ、上記プログラミング言語は、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋のようなオブジェクト指向プログラミング言語を含み、「Ｃ」言語のような通常の手続型プログラミング言語または類似するプログラミング言語を更に含む。プログラムコードは、完全にユーザのコンピュータで実行されてもよいし、部分的にユーザのコンピュータで実行されてもよいし、１つの独立したソフトウェアパッケージとして実行されてもよいし、部分的にユーザのコンピュータで部分的にリモートコンピュータで実行されてもよいし、完全にリモートコンピュータまたは業務サーバで実行されてもよい。リモートコンピュータに関する場合、リモートコンピュータは、ＬＡＮまたはＷＡＮを含む任意の種類のネットワークを介してユーザのコンピュータに接続することができ、または、外部コンピュータ（例えば、インターネットサービスプロバイダを利用してインターネットを介して接続する）に接続することができる。

図面におけるフローチャートおよびブロック図は、本開示の様々な実施例による方法およびコンピュータプログラム製品の実現可能なアーキテクチャ、機能および操作を示す。この点で、フローチャートまたはブロック図における各ブロックは、１つのモジュール、プログラム、またはコードの一部を表すことができ、該モジュール、プログラム、またはコードの一部は、所定のロジック機能を実現するための１つまたは複数の実行可能命令を含む。なお、代替としてのいくつかの実現において、ブロックに記載された機能は、図面に記載された順序と異なる順序で発生してもよい。例えば、接続されているように示された２つのブロックは、関する機能によって、実際にほぼ並行して実行してもよいし、逆の順序で実行してもよい。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、所定の機能または操作を実行する専用のハードウェアに基づくシステムで実現してもよいし、専用のハードウェアとコンピュータ命令との組み合わせで実現してもよい。

本開示の実施例に係るユニットは、ソフトウェアの方式で実現されてもよいし、ハードウェアの方式で実現されてもよい。ここで、モジュールの名称は、ある場合、ユニット自体を限定するものではない。

本開示に係る機能は、少なくとも部分的に１つまたは複数のハードウェアロジックコンポーネントにより実行されてもよい。例えば、非限定的に、使用可能な例示的なタイプのハードウェアロジックコンポーネントは、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、特定用途向け標準パーツ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｓｔａｎｄａｒｄ Ｐａｒｔｓ、ＡＳＳＰ）、システムオンチップのシステム（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ、ＳＯＣ）、複合プログラマブルロジックデバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ、ＣＰＬＤ）等を含む。

本発明の明細書において、機器可読媒体は、命令実行システム、装置またはデバイスに使用される、または命令実行システム、装置またはデバイスと合わせて使用されるプログラムを含有または記憶できる有形的な媒体であってもよい。機器可読媒体は、機器可読信号媒体または機器可読記憶媒体であってもよい。機器可読媒体は、電子の、磁気の、光の、電磁気の、赤外線の、または半導体のシステム、装置またはデバイス、または上記内容の任意の適当な組み合わせを含んでもよいが、これらに限定されない。機器可読記憶媒体の更なる具体的な例は、１つまたは複数の線による電気的接続、ポータブルコンピュータディスク、ハードディスク、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭまたはフラッシュメモリ、ＣＤ－ＲＯＭ、光記憶デバイス、磁気記憶デバイス、または上記内容の任意の適当な組み合わせを含む。

本開示の１つまたは複数の実施例によれば、例１は、
目標音楽を用いてビデオを生成する第１トリガ操作を受信することと、
前記第１トリガ操作に応答して、前記目標音楽の第１音楽特徴情報に基づき、自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とし、前記目標候補素材に従い、前記目標音楽をバックグラウンドミュージックとする目標ビデオを生成することと、を含む、
ビデオ生成方法を提供する。

本開示の１つまたは複数の実施例によれば、例２は、例１に記載の方法に基づき、前記目標音楽の第１音楽特徴情報に基づき、自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とすることは、
各ビデオテンプレートのバックグラウンドミュージックの第２音楽特徴情報を取得し、第２音楽特徴情報が前記目標音楽の第１音楽特徴情報に合致するビデオテンプレートを選択して目標ビデオテンプレートとすることと、
前記ユーザの候補素材セット内の各候補素材の素材主題と前記目標ビデオテンプレートのテンプレート主題との間の関連性に基づいて目標候補素材を確定することと、を含む。

本開示の１つまたは複数の実施例によれば、例３は、例２に記載の方法に基づき、前記目標ビデオテンプレートは、素材を充填するための複数の素材スロットを含み、前記ユーザの候補素材セット内の各候補素材の素材主題と前記目標ビデオテンプレートのテンプレート主題との間の関連性に基づいて目標候補素材を確定した後、
前記目標ビデオテンプレートの各素材スロットの充填条件を満たす目標候補素材を順次取得して前記素材スロットの充填待ち素材とし、前記充填待ち素材を前記素材スロットに充填することを更に含み、
前記目標候補素材に従って目標ビデオを生成することは、
前記充填待ち素材を充填した後の目標ビデオテンプレートに従って前記目標ビデオを生成することを含む。

本開示の１つまたは複数の実施例によれば、例４は、例３に記載の方法に基づき、前記充填待ち素材を前記素材スロットに充填した後、
プレビューページを表示し、前記プレビューページに、前記目標ビデオテンプレートにおける前記充填待ち素材を含む合成待ち素材を展示することを更に含む。

本開示の１つまたは複数の実施例によれば、例５は、例４に記載の方法に基づき、前記プレビューページを表示した後、
前記プレビューページにおけるテンプレートコントロールに作用する第２トリガ操作を受信することと、
前記第２トリガ操作に応答して、複数のビデオテンプレートのテンプレート情報が表示されたテンプレートウィンドウを表示することと、
前記テンプレートウィンドウ内に表示されたテンプレート情報に作用する第３トリガ操作を受信することと、
前記第３トリガ操作に応答して、前記目標ビデオテンプレートを前記第３トリガ操作に対応するテンプレート情報の属するビデオテンプレートに切り替え、前記目標ビデオテンプレートにおける合成待ち素材を更新することと、を更に含む。

本開示の１つまたは複数の実施例によれば、例６は、例４または５に記載の方法に基づき、前記充填待ち素材を充填した後の目標ビデオテンプレートに従って前記目標ビデオを生成することは、
前記プレビューページにおけるビデオ合成コントロールに作用する第４トリガ操作を受信した場合、前記目標音楽を用いてバックグラウンドミュージックとし、前記目標ビデオテンプレートにおける全ての合成待ち素材の順に従い、前記全ての合成待ち素材を前記目標ビデオに合成することを含む。

本開示の１つまたは複数の実施例によれば、例７は、例１から５のいずれか１項に記載の方法に基づき、前記自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とする前に、
ローカルアルバムおよび／または関連するクラウドアルバムを含むユーザのアルバム内の素材を取得することと、
素材の美的スコアに従い、前記アルバムから複数の素材を選別し、前記ユーザの候補素材セットを形成することと、を更に含む。

本開示の１つまたは複数の実施例によれば、例８は、
目標音楽を用いてビデオを生成する第１トリガ操作を受信するように構成される第１受信モジュールと、
前記第１トリガ操作に応答して、前記目標音楽の第１音楽特徴情報に基づき、自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とし、前記目標候補素材に従い、前記目標音楽をバックグラウンドミュージックとする目標ビデオを生成するように構成されるビデオ生成モジュールと、を備える、
ビデオ生成装置を提供する。

本開示の１つまたは複数の実施例によれば、例９は、
１つまたは複数のプロセッサと、
１つまたは複数のプログラムを記憶するように構成されるメモリと
を備える電子機器であって
前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサにより実行されると、前記１つまたは複数のプロセッサは、例１から例７のいずれか１項に記載のビデオ生成方法を実現する、
電子機器を提供する。

本開示の１つまたは複数の実施例によれば、例１０は、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、該プログラムがプロセッサにより実行されると、例１から例７のいずれか１項に記載のビデオ生成方法を実現する、コンピュータ可読記憶媒体を提供する。

特定の順番で複数の操作を記述したが、これらの操作を示された特定の順番または正方向順番で実行する必要があると理解されるべきではない。一定の環境において、マルチタスクおよび並行処理が有利である可能性がある。同様に、以上の検討に複数の具体的な実現詳細が含まれているが、これらは本開示の範囲を限定するものと理解されるべきではない。単独な実施例の説明に記述された一部の特徴は、組み合わせて単一の実施例で実現されてもよい。逆に、単一の実施例の説明に記述された様々な特徴は、単独で、または任意の適当なサブ組み合わせの方式で複数の実施例で実現されてもよい。

Claims (9)

1. 目標音楽を用いてビデオを生成する第１トリガ操作を受信することと、
   前記第１トリガ操作に応答して、前記目標音楽の第１音楽特徴情報に基づき、自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とし、前記目標候補素材に従い、前記目標音楽をバックグラウンドミュージックとする目標ビデオを生成することと、を含む、
   前記目標音楽の第１音楽特徴情報に基づき、自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とすることは、
   各ビデオテンプレートのバックグラウンドミュージックの第２音楽特徴情報を取得し、第２音楽特徴情報が前記目標音楽の第１音楽特徴情報に合致するビデオテンプレートを選択して目標ビデオテンプレートとすることと、
   前記ユーザの候補素材セット内の各候補素材の素材主題と前記目標ビデオテンプレートのテンプレート主題との間の関連性に基づいて目標候補素材を確定することと、を含む、
   ビデオ生成方法。
2. 前記目標ビデオテンプレートは、素材を充填するための複数の素材スロットを含み、前記ユーザの候補素材セット内の各候補素材の素材主題と前記目標ビデオテンプレートのテンプレート主題との間の関連性に基づいて目標候補素材を確定した後、
   前記目標ビデオテンプレートの各素材スロットの充填条件を満たす目標候補素材を順次取得して前記素材スロットの充填待ち素材とし、前記充填待ち素材を前記素材スロットに充填することを更に含み、
   前記目標候補素材に従って目標ビデオを生成することは、
   前記充填待ち素材を充填した後の目標ビデオテンプレートに従って前記目標ビデオを生成することを含む、
   請求項１に記載の方法。
3. 前記充填待ち素材を前記素材スロットに充填した後、
   プレビューページを表示し、前記プレビューページに、前記目標ビデオテンプレートにおける前記充填待ち素材を含む合成待ち素材を展示することを更に含む、
   請求項２に記載の方法。
4. 前記プレビューページを表示した後、
   前記プレビューページにおけるテンプレートコントロールに作用する第２トリガ操作を受信することと、
   前記第２トリガ操作に応答して、複数のビデオテンプレートのテンプレート情報が表示されたテンプレートウィンドウを表示することと、
   前記テンプレートウィンドウ内に表示されたテンプレート情報に作用する第３トリガ操作を受信することと、
   前記第３トリガ操作に応答して、前記目標ビデオテンプレートを前記第３トリガ操作に対応するテンプレート情報の属するビデオテンプレートに切り替え、前記目標ビデオテンプレートにおける合成待ち素材を更新することと、を更に含む、
   請求項３に記載の方法。
5. 前記充填待ち素材を充填した後の目標ビデオテンプレートに従って前記目標ビデオを生成することは、
   前記プレビューページにおけるビデオ合成コントロールに作用する第４トリガ操作を受信した場合、前記目標音楽を用いてバックグラウンドミュージックとし、前記目標ビデオテンプレートにおける全ての合成待ち素材の順に従い、前記全ての合成待ち素材を前記目標ビデオに合成することを含む、
   請求項３または４に記載の方法。
6. 前記自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とする前に、
   ローカルアルバムおよび関連するクラウドアルバムのうちの少なくとも１つを含むユーザのアルバム内の素材を取得することと、
   素材の美的スコアに従い、前記アルバムから複数の素材を選別し、前記ユーザの候補素材セットを形成することと、を更に含む、
   請求項１から４のいずれか１項に記載の方法。
7. 目標音楽を用いてビデオを生成する第１トリガ操作を受信するように構成される第１受信モジュールと、
   前記第１トリガ操作に応答して、前記目標音楽の第１音楽特徴情報に基づき、自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とし、前記目標候補素材に従い、前記目標音楽をバックグラウンドミュージックとする目標ビデオを生成するように構成されるビデオ生成モジュールと、を備え、
   前記目標音楽の第１音楽特徴情報に基づき、自ユーザの候補素材セットから前記目標音楽に合致する候補素材を選択して目標候補素材とすることは、
   各ビデオテンプレートのバックグラウンドミュージックの第２音楽特徴情報を取得し、第２音楽特徴情報が前記目標音楽の第１音楽特徴情報に合致するビデオテンプレートを選択して目標ビデオテンプレートとすることと、
   前記ユーザの候補素材セット内の各候補素材の素材主題と前記目標ビデオテンプレートのテンプレート主題との間の関連性に基づいて目標候補素材を確定することと、を含む、
   ビデオ生成装置。
8. 少なくとも１つのプロセッサと、
   少なくとも１つのプログラムを記憶するように構成されるメモリとを備える電子機器であって、
   前記少なくとも１つのプログラムが前記少なくとも１つのプロセッサにより実行されると、前記少なくとも１つのプロセッサは、請求項１から６のいずれか１項に記載のビデオ生成方法を実現する、
   電子機器。
9. コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、
   前記コンピュータプログラムがプロセッサにより実行されると、請求項１から６のいずれか１項に記載のビデオ生成方法を実現する、
   コンピュータ可読記憶媒体。