JP7823992B2 - ビデオ生成方法、装置、端末機器および記憶媒体 - Google Patents

Description

関連出願の相互参照
本出願は2022年8月26日に提出された国際特許出願PCT/CN2022/115065に基づいており、2021年9月14日に提出された中国特許出願202111074707.3の優先権と利益を要求する。上記特許出願のすべての内容はここで参考として導入する。

技術分野
本開示は、データ処理の分野に関し、特に、ビデオ生成方法、装置、端末機器および記憶媒体に関する。

ショートビデオ技術の継続的な発展に伴い、人々のビデオ作成への関心は、ますます高まっており、ビデオ作成画面をいかに豊かにさせ、ビデオコンテンツをより鮮やかにするかが、ビデオ作成者の追求する目標である。

Ｅｍｏｊｉ（絵文字）アイコンは、視覚的な感情シンボルとしても知られており、現在オンラインで人気のある絵文字であり、ビデオ編集段階で、ビデオ作成者は、ビデオ画面にＥｍｏｊｉアイコンを手動で追加することにより、ビデオ画面のコンテンツを豊かにしていたが、ビデオ画面にＥｍｏｊｉアイコンを手動で追加することにより、ビデオコンテンツを豊かにするには、効率が低い。

上記の技術的問題を解決するために、または上記の技術的問題を少なくとも部分的に解決するために、本開示の実施例は、ビデオ画面コンテンツを豊かにする効率を向上可能なビデオ生成方法、装置、端末機器、および記憶媒体を提供する。

第１態様において、本開示は、
撮影装置の現在の入力データを取得するステップであって、前記現在の入力データがオーディオ入力データおよび／または画像入力データを含み、前記オーディオ入力データが、前記撮影装置の現在の入力オーディオフレームを終了フレームとする、プリセット時間の連続したオーディオフレームデータを含み、前記画像入力データが、前記撮影装置の現在の撮影画面を終了フレームとする、プリセット数の連続したビデオフレーム画面を含む、ステップと、
前記現在の入力データに基づいて、レンダリング対象のアイコンを決定するステップと、
ターゲット撮影画面上に前記レンダリング対象のアイコンをレンダリングして、撮影効果画面を取得するステップであって、前記ターゲット撮影画面は、前記撮影装置の現在の撮影画面を開始フレームとする、プリセット数の連続したビデオフレーム画面を含む、ステップと、
前記撮影効果画面に基づいて、ターゲットビデオを生成するステップとを含む、ビデオ生成方法を提供する。

第２態様において、本開示は、
撮影装置の現在の入力データを取得するための取得モジュールであって、前記現在の入力データがオーディオ入力データおよび／または画像入力データを含み、前記オーディオ入力データが、前記撮影装置の現在の入力オーディオフレームを終了フレームとする、プリセット時間の連続したオーディオフレームデータを含み、前記画像入力データが、前記撮影装置の現在の撮影画面を終了フレームとする、プリセット数の連続したビデオフレーム画面を含む、取得モジュールと、
前記現在の入力データに基づいて、レンダリング対象のアイコンを決定するための決定モジュールと、
ターゲット撮影画面上に前記レンダリング対象のアイコンをレンダリングして、撮影効果画面を取得するためのレンダリングモジュールであって、前記ターゲット撮影画面は、前記撮影装置の現在の撮影画面を開始フレームとする、プリセット数の連続したビデオフレーム画面を含む、レンダリングモジュールと、
前記撮影効果画面に基づいて、ターゲットビデオを生成するためのビデオ生成モジュールとを含む、ビデオ生成装置を提供する。

第３態様において、本開示は、命令が記憶されるコンピュータ読み取り可能な記憶媒体を提供し、前記命令が端末機器上で実行されるとき、前記端末機器に上記のビデオ生成方法を実行させる。

第４態様において、本開示は、メモリと、プロセッサと、前記メモリに記憶され、かつ前記プロセッサ上で実行可能なコンピュータプログラムとを含む端末機器を提供し、前記プロセッサが前記コンピュータプログラムを実行するとき、上記のビデオ生成方法を実現する。

第５態様において、本開示は、プロセッサによって実行されるときに上記のビデオ生成方法を実現するコンピュータプログラム／命令を含む、コンピュータプログラム製品を提供する。

従来の技術と比較して、本開示の実施例によって提供される技術的解決手段は、少なくとも以下の利点を有する。

本開示の実施例は、ビデオ生成方法を提供し、まず、撮影装置の現在の入力データを取得し、現在の入力データに基づいて、レンダリング対象のアイコンを決定する。次に、ターゲット撮影画面上にレンダリング対象のアイコンをレンダリングして、撮影効果画面を取得する。さらに、当該撮影効果画面に基づいてターゲットビデオを生成する。本開示の実施例は、撮影装置の現在の入力データに基づいてレンダリング対象のアイコンを決定し、ターゲット撮影画面に当該レンダリング対象のアイコンを自動的にレンダリングすることによって、ビデオ画面コンテンツを豊かにする効果を効率的に達成する。

本明細書に組み込まれ、その一部を構成する添付図面は、本開示と一致する実施例を示し、明細書とともに、本開示の原理を説明するのに役立つ。

本開示の実施例または従来技術における解決手段をより明確に説明するために、実施例または従来技術の説明に使用する必要がある図面を以下に簡単に紹介する。当業者であれば、創造的な努力をすることなく、これらの図面に基づいて他の図面を得ることができることは明らかである。

図１は、本開示の実施例によって提供されるビデオ生成方法のフローチャートである。 図２は、本開示の実施例によって提供される、ターゲット撮影画面上にレンダリング対象のアイコンをレンダリングする結果の例を示す図である。 図３は、本開示の実施例によって提供される、ターゲット撮影画面上にレンダリング対象のアイコンをレンダリングする結果の例を示す図である。 図４は、本開示の実施例によって提供される、ビデオ編集インターフェースの例を示す図である。 図５は、本開示の実施例によって提供される、時間設定インターフェースの例を示す図である。 図６は、本開示の実施例によって提供される、ターゲットアイコンの編集ボックスの例を示す図である。 図７は、本開示の実施例によって提供される、撮影装置のビデオ録画インターフェースの例を示す図である。 図８は、本開示の実施例により提供される、権限申請情報を表示するポップアップウィンドウの例を示す図である。 図９は、本開示の実施例によって生成される、ターゲットビデオの例を示す図である。 図１０は、本開示の実施例によって提供される、ビデオ生成装置の概略構造図である。 図１１は、本開示の実施例によって提供される、端末機器の概略構造図である。

本開示の上記の目的、特徴および利点をより明確に理解するために、本開示の解決手段を以下にさらに説明する。なお、矛盾しない限り、本開示の実施例と実施例の特徴部分とを組み合わせることができる。

本開示を完全に理解するために、多くの具体的な詳細が以下の説明に記載されるが、本開示は、ここで説明されるものとは異なる他の方法でも実施することができる。明らかに、明細書の実施例は、本開示の実施例の一部にすぎず、すべての実施例ではない。

現在、ビデオ編集段階で、ビデオ作成者は、ビデオ画面にＥｍｏｊｉアイコンを手動で追加することにより、ビデオ画面コンテンツを豊かにさせ、作成したビデオコンテンツをより鮮やかにすることができる。ただし、Ｅｍｏｊｉアイコンを手動で追加するのは効率が低く、ビデオ作成の進行に影響を与える。

そのため、本開示の実施例は、ビデオ生成方法を提供する。まず、撮影装置の現在の入力データを取得し、現在の入力データに基づいて、レンダリング対象のアイコンを決定する。次に、ターゲット撮影画面上にレンダリング対象のアイコンをレンダリングして、撮影効果画面を取得する。さらに、撮影効果画面に基づいてターゲットビデオを生成する。本開示の実施例は、撮影装置の現在の入力データに基づいてレンダリング対象のアイコンを決定し、ターゲット撮影画面に当該レンダリング対象のアイコンを自動的にレンダリングすることによって、ビデオ画面コンテンツを豊かにする効果を効率的に達成する。

これに基づいて、本開示の実施例は、ビデオ生成方法を提供する。図１を参照すると、本開示の実施例によって提供される、ビデオ生成方法のフローチャートである。当該方法は、以下のステップを含む。

Ｓ１０１：撮影装置の現在の入力データを取得する。

前記現在の入力データは、オーディオ入力データおよび／または画像入力データを含み、前記オーディオ入力データは、前記撮影装置の現在の入力オーディオフレームを終了フレームとする、プリセット時間の連続したオーディオフレームデータを含み、前記画像入力データは、前記撮影装置の現在の撮影画面を終了フレームとする、プリセット数の連続したビデオフレーム画面を含む。

プリセット時間とプリセット数はいずれも、予め設定することができ、例えば、プリセット時間は、１秒、３秒に設定でき、プリセット数は、１フレーム、５フレームなどに設定できる。

本開示の実施例において、オーディオ入力データは、撮影装置を介してビデオを録画するときに選択されたバックグラウンドミュージックであってもよく、ビデオを録画するときにユーザーが話した言葉であってもよいが、本開示は、これに限定されない。撮影装置は、ビデオ録画機能を備えたアプリケーションプログラムによって提供されるビデオ録画ツールであってもよく、前記アプリケーションプログラムは、スマートフォンやタブレットコンピュータなどの端末機器にインストールされてもよい。

例示的に、現在の入力データにはオーディオ入力データが含まれ、プリセット時間が３秒であると仮定すると、現在のバックグラウンドミュージックが３秒まで再生されていない、例えば、現在のバックグラウンドミュージックが２秒まで再生されている場合、取得されるオーディオ入力データは、バックグラウンドミュージックの０秒から２秒までの連続したオーディオフレームデータであり、現在のバックグラウンドミュージックが３秒を超えて再生されている場合、例えば、現在のバックグラウンドミュージックが５秒まで再生されている場合、取得されるオーディオ入力データは、バックグラウンドミュージックの２秒から５秒までの連続したオーディオデータである。

例示的に、現在の入力データには画像入力データが含まれていると仮定すると、プリセット数が１の場合、現在の撮影画面のスクリーンショットを画像入力データとして取得でき、プリセット数が３の場合、現在の撮影画面を含む前の３フレームの撮影画面のスクリーンショットを画像入力データとして取得できる。

選択可能な実施形態において、撮影装置のビデオ録画シーンまたはその撮影画面のプレビューシーンで、前記撮影装置のオーディオ入力データおよび／または画像入力データを、前記撮影装置の現在の入力データとして取得することができる。

通常、ユーザーがビデオを録画するとき、撮影装置を起動してビデオを録画する必要があり、ユーザーが撮影装置を起動した後、プレビューインターフェースが表示され、プレビューインターフェースには撮影ボタンが表示され、ユーザーは、撮影ボタンをクリックして、ビデオの録画を開始し、ユーザーが撮影ボタンをクリックする前に、プレビューインターフェースがずっと表示されている。本開示の実施例において、録画を開始する前に、撮影画面のプレビューシーンにおけるオーディオ入力データおよび／または画像入力データを、撮影装置の現在の入力データとして取得することができ、ユーザーが撮影ボタンをクリックして録画を開始した後、ビデオ録画中のオーディオ入力データおよび／または画像入力データを、撮影装置の現在の入力データとして続けて取得することができる。

Ｓ１０２：前記現在の入力データに基づいて、レンダリング対象のアイコンを決定する。

本開示の実施例において、レンダリングアイコンの予測モデルを、事前にトレーニングすることができ、取得された現在の入力データを予測モデルに入力させ、予測モデルによって対応するレンダリング対象のアイコンを出力する。

なお、オーディオ入力データと画像入力データに対して対応する予測モデルを個別にトレーニングして、レンダリングアイコンを予測することもでき、予測モデルを共にトレーニングして、オーディオ入力データと画像入力データについてレンダリングアイコンを予測することもできる。本開示は、これに限定されない。

本開示の実施例において、レンダリング対象のアイコンは、Ｅｍｏｊｉアイコンに限定されず、他のアイコンにも拡張可能であり、本開示は、これに限定されない。Ｅｍｏｊｉアイコンは、笑顔と感情アイコン、人間と身体のアイコン、肌の色と髪型のアイコン、動物と自然のアイコン、食べ物と飲み物のアイコン、旅行と場所のアイコン、アクティビティアイコン、アイテムアイコン、シンボルアイコンと旗アイコンという様々なタイプのアイコンを含む。笑顔と感情アイコンは、笑顔、表情顔、舌出し顔、手つき顔、寝顔、病気顔、心配顔、ネガティブ顔、猫顔、猿顔、感情アイコンなどを含み、人間と身体のアイコンは、開いた手のひらアイコン、一本の指アイコン、ジェスチャーアイコン、身体アイコン、キャラクターアイコン、キャラクタージェスチャーアイコン、キャラクター役割アイコン、架空のキャラクターアイコン、キャラクターアクティビティアイコン、キャラクター移動アイコン、およびキャラクターレストアイコン、家族アイコンなどを含み、肌の色と髪型のアイコンは、肌の色アイコンと髪型アイコンを含み、動物と自然のアイコンは、哺乳類動物のアイコン、鳥類アイコン、爬行動物のアイコン、海洋動物のアイコン、昆虫のアイコン、花のアイコン、その他の植物のアイコンを含み、食べ物と飲み物のアイコンは、果物と野菜のアイコン、調理済み食品アイコン、飲料アイコン、食器アイコンなどを含み、旅行と場所のアイコンは、建物アイコン、陸上交通アイコン、水上交通アイコンなどを含み、アクティビティアイコンは、スポーツアイコン、ゲームアイコンなどを含み、アイテムアイコンは、衣服アイコン、楽器アイコン、オフィスアイコンなどを含み、シンボルアイコンは、星座アイコン、機能識別アイコンなどを含む。

例示的に、「明日スキーに行く」というオーディオ入力データを取得したと仮設すると、当該オーディオ入力データに基づいて、レンダリング対象のアイコンがスキーアイコンであると決定することができる。

例示的に、撮影画面中の人が舌を出している画像入力データを取得したと仮定すると、当該画像入力データに基づいて、レンダリング対象のアイコンが舌出しアイコンであると決定することができる。

Ｓ１０３：ターゲット撮影画面上に前記レンダリング対象のアイコンをレンダリングして、撮影効果画面を取得する。

前記ターゲット撮影画面は、前記撮影装置の現在の撮影画面を開始フレームとする、プリセット数の連続したビデオフレーム画面を含む。

プリセット数は、予め設定することができ、例えば、プリセット数を３フレーム、５フレームなどに設定することができる。

本開示の実施例において、ターゲット撮影画面上にレンダリング対象のアイコンをレンダリングする場合、様々なレンダリング方法を使用できる。

例示的に、レンダリング対象のアイコンをターゲット撮影画面にステッカーの形で付け、このレンダリング方法で得られた撮影効果画面では、ターゲット撮影画面とレンダリング対象のアイコンが独立している。

例示的に、レンダリング対象のアイコンとターゲット撮影画面を全体としてレンダリングすることができ、このレンダリング方法で得られた撮影効果画面では、ターゲット撮影画面とレンダリング対象のアイコンが１つに結合される。

Ｓ１０４：前記撮影効果画面に基づいて、ターゲットビデオを生成する。

本開示の実施例において、上記のステップを使用して、ビデオ録画プロセス全体で関連するレンダリング対象のアイコンを決定し、ターゲット撮影画面上にレンダリング対象のアイコンをレンダリングして撮影効果画面を取得し、さらに、毎回のレンダリングで得られた撮影効果画像に基づいて、ターゲットビデオを生成し、これにより生成されたターゲットビデオには、撮影画面だけでなく、撮影画面とビデオ録画中に出たオーディオに従って推奨されたレンダリングアイコンも含まれ、ビデオ画面のコンテンツを豊かにさせ、ビデオ録画中に適切なアイコンを自動的に推奨し、ユーザーがビデオ編集している際に、アイコンを手動で追加する必要がなく、ビデオ作成の楽しみを高めながら、アイコンの追加効率も向上させ、ビデオ作成コストを節約した。

本開示の実施例によるビデオ生成方法によれば、まず、撮影装置の現在の入力データを取得し、現在の入力データに基づいて、レンダリング対象のアイコンを決定する。次に、ターゲット撮影画面上にレンダリング対象のアイコンをレンダリングして、撮影効果画面を取得する。さらに、当該撮影効果画面に基づいてターゲットビデオを生成する。本開示の実施例は、撮影装置の現在の入力データに基づいてレンダリング対象のアイコンを決定し、ターゲット撮影画面に当該レンダリング対象のアイコンを自動的にレンダリングすることによって、ビデオ画面コンテンツを豊かにする効果を効率的に達成する。

選択可能な実施形態において、前記現在の入力データは、前記オーディオ入力データを含み、前記現在の入力データに基づいて、レンダリング対象のアイコンを決定するステップは、
前記オーディオ入力データに対して音声識別を実行して音声識別結果を取得するステップと、
前記音声識別結果を第１推奨モデルに入力して、前記第１推奨モデルによって処理した後、前記オーディオ入力データに対応するアイコンを出力するステップと、
前記オーディオ入力データに対応するアイコンに基づいて、レンダリング対象のアイコンを決定するステップとを含む。

第１推奨モデルは、事前のトレーニングにより得られたものであってもよく、多数の音声識別テキストを収集し、トレーニングサンプルとしてレンダリングアイコンをマークした後、初期ニューラルネットワークモデルをトレーニングし、トレーニングされた第１推奨モデルを取得し、これにより、音声識別結果に基づいて、一致するアイコンを予測する。

本開示の実施例において、取得したオーディオ入力データに対して、従来の音声識別アルゴリズムを使用してオーディオ入力データに対して音声識別を行い、音声識別結果を取得し、次に、音声識別結果をトレーニングされた第１推奨モデルに入力して処理させ、第１推奨モデルからオーディオ入力データに対応するアイコンを出力し、当該アイコンをレンダリング対象のアイコンとして決定することができる。

選択可能な実施形態において、前記現在の入力データは、前記画像入力データを含み、前記現在の入力データに基づいて、レンダリング対象のアイコンを決定するステップは、
前記画像入力データから表情特徴および／または身体動作特徴を抽出するステップと、
前記表情特徴および／または身体動作特徴を第２推奨モデルに入力し、前記第２推奨モデルによって処理した後、前記画像入力データに対応するアイコンを出力するステップと、
前記画像入力データに対応するアイコンに基づいて、レンダリング対象のアイコンを決定するステップとを含む。

第２推奨モデルは、事前のトレーニングにより得られたものであってもよく、多数の表情特徴および／または身体動作特徴を収集し、トレーニングサンプルとしてレンダリングアイコンをマークした後、初期ニューラルネットワークモデルをトレーニングし、トレーニングされた第２推奨モデルを取得し、これにより、表情特徴および／または身体動作特徴に基づいて、一致するアイコンを予測する。

本開示の実施例において、取得した画像入力データについて、関連する表情抽出アルゴリズムを使用して画像入力データ内の表情特徴を抽出することができ、および／または関連する身体動作識別アルゴリズムを使用して、画像入力データ内の身体動作特徴を抽出することができる。次に、抽出した表情特徴および／または身体動作特徴を、トレーニングされた第２推奨モデルに入力して処理させ、第２推奨モデルによって画像入力データと一致するアイコンを出力し、その後、当該アイコンをレンダリング対象のアイコンとして決定することができる。

選択可能に、時間の経過とともに、アプリケーションに設定されているアイコンライブラリ内のアイコンに何らかの変化が生じる可能性があることを考慮して、例えば、同じアイコンがより美しくなったり、同じ動作アイコンの動作範囲が変化したりするなどにより、第１推奨モデルおよび／または第２推奨モデルから出力されるアイコンが、アイコンライブラリ内のアイコンと完全に一致しなくなり、この場合、第１推奨モデルおよび／または第２推奨モデルから出力されるアイコンを、レンダリング対象のアイコンとして使用すると、ユーザーが満足できるアイコンを取得することができない。この場合、第１推奨モデルおよび／または第２推奨モデルによって出力されたアイコンに応じて、当該アイコンに最も類似したアイコンをレンダリング対象のアイコンとしてアイコンライブラリからマッチングすることができ、ターゲット撮影画面においてレンダリングされたアイコンを、アイコンライブラリのアイコンと一致させ、レンダリングされたアイコンに対するユーザーの満足度を向上させる。

なお、本開示の実施例における第１推奨モデルおよび第２推奨モデルは、アプリケーションのインストールパッケージとともに端末機器にローカルにインストールされる推奨モデルであってもよく、アプリケーションに対応するサーバーに配置される推奨モデルであってもよい。本開示は、これに限定されない。

選択可能な実施形態において、前記現在の入力データは、前記オーディオ入力データおよび前記画像入力データを含み、前記現在の入力データに基づいて、レンダリング対象のアイコンを決定するステップは、
前記オーディオ入力データと前記画像入力データにそれぞれ対応するアイコンを決定するステップと、
前記オーディオ入力データおよび前記画像入力データにそれぞれ対応するアイコンに対して、重複削除処理を実行し、レンダリング対象のアイコンを取得するステップとを含む。

ビデオを録画している際に、ユーザーが給油動作中に「頑張れ、頑張れ」と叫ぶなど、動作をしながら言葉で説明する場合があるが、この場合、取得したオーディオ入力データと画像入力データに基づいて、同じアイコンが得られるが、オーディオ入力データに一致するアイコンと画像入力データに一致する画像の両方ともターゲット撮影画面にレンダリングすると、ターゲット撮影画面には同じアイコンが２つ表示され、その結果、アイコンが重複し、ユーザーの視覚体験に影響を与える。この現象に対応して、本開示の実施例において、決定されたオーディオ入力データおよび画像入力データにそれぞれ対応するアイコンについて、重複を削除することができ、レンダリング対象のアイコンとして１つのアイコンのみを保留し、重複したアイコンを削除し、ターゲット撮影画面で同じアイコンをレンダリングすることを回避し、ビデオ画面を簡素化する。

選択可能な実施形態において、ターゲット撮影画面上にレンダリング対象のアイコンをレンダリングする前に、レンダリング対象のアイコンに対応するレンダリングパラメータ値を先に決定することができ、前記レンダリングパラメータ値は、レンダリング位置座標、レンダリングアイコンのサイズ、レンダリング角度および／またはレンダリング時間を含む。それに対応して、前記ターゲット撮影画面上に前記レンダリング対象のアイコンをレンダリングして、撮影効果画面を取得するステップは、前記レンダリングパラメータ値に基づいて、前記ターゲット撮影画面上に前記レンダリング対象のアイコンをレンダリングして、撮影効果の画面を取得するステップを含む。

例示的に、レンダリング位置座標は、異なる現在の入力データに従って、異なるレンダリング位置座標を設定することができる。具体的には、現在の入力データがオーディオ入力データである場合、レンダリング位置座標は、ターゲット撮影画面の左上隅や右上隅などの空白の領域などの、ターゲット撮影画面における顔領域以外の任意の位置座標であってもよい。顔識別アルゴリズムを使用して撮影画面内の顔を識別し、顔領域範囲を決定し、それにより、レンダリング位置座標を決定するとき、顔領域範囲を避け、レンダリングされるアイコンが画面内の顔を覆うことを避ける。現在の入力データが画像入力データである場合、レンダリング位置座標は、画像入力データにおける表情特徴および／または身体動作特徴の位置座標によって決定されてもよく、レンダリング位置座標は、表情特徴および／または身体動作特徴の位置座標の近くにあってもよく、つまり、現在の入力データが画像入力データである場合、できるだけ対応する表情および／または身体動作に近い位置でレンダリング対象のアイコンをレンダリングする。

例示的に、レンダリングアイコンのサイズ、レンダリング角度、およびレンダリング時間は、予め設定されたサイズ、予め設定された角度および予め設定されたレンダリング時間を採用することができ、それらは、システムによって配置されてもよく、またはユーザーによって設定されてもよく、本開示は、これに限定されない。

本開示の実施例において、決定されたレンダリング対象のアイコンに対応するレンダリングパラメータ値に基づいて、ターゲット撮影画面上にレンダリング対象のアイコンをレンダリングして、撮影効果画面を取得することができる。

図２は、本開示の実施例によって提供される、ターゲット撮影画面上にレンダリング対象のアイコンをレンダリングする結果の例を示す図である。図２は、レンダリングにより得られた撮影効果画面のうちの１フレームの画面を示す。図２に示すように、ビデオを録画するとき、ユーザーは、「明日スキーに行く」と言い、当該オーディオデータに従ってレンダリング対象のアイコンを「スキー」とマッチングすることができ、レンダリング位置座標、レンダリングアイコンのサイズ、レンダリング角度およびレンダリング時間に従って、図２の符号２１に示すように、当該アイコンをビデオ画面にレンダリングする。

図３は、本開示の実施例によって提供される、ターゲット撮影画面上にレンダリング対象のアイコンをレンダリングする結果の例を示す図である。図３は、レンダリングにより得られた撮影効果画面のうちの１フレームの画面を示す。図３に示すように、ビデオの録画中にユーザーが目を覆う動作をすると、当該画像データに従って、レンダリング対象のアイコンを「目を覆う」とマッチングさせ、ユーザーの目を覆う動作の画像内の位置に基づいて、当該アイコンのレンダリング位置座標を決定する。例えば、レンダリング位置座標を顔の左側として決定し、レンダリング位置座標、レンダリングアイコンのサイズ、レンダリング角度およびレンダリング時間に従って、図３の符号３１に示すように、当該アイコンをビデオ画面にレンダリングする。

選択可能な実施形態において、生成されたターゲットビデオについては、ビデオ編集インターフェースで当該ターゲットビデオを再生することができ、前記ターゲットビデオにおける再生画面上のターゲットアイコンの選択操作に応じて、前記ターゲットアイコンに対応する編集トラックを表示し、前記編集トラックに基づいて、前記ターゲットアイコンのレンダリング時間を調整する。

図４は、本開示の実施例によって提供される、ビデオ編集インターフェースの例を示す図である。図４に示すように、ビデオ編集インターフェースでターゲットビデオが再生されており、ビデオには目を覆うアイコン、例えば、図４の符号４１に示すアイコンが表示されている。ユーザーが符号４１のアイコンをクリックすると、対応する編集トラックは、当該アイコンの近くに表示され、編集トラックは、図４の符号４２で表される。図４からわかるように、編集トラックにはテキスト読み上げ、時間設定、および編集が含まれる。ここで、テキスト読み上げをクリックすると、当該アイコンに対応するオーディオ入力データが読み上げられ、時間設定により、当該アイコンの持続時間を設定でき、編集によりアイコンの位置、サイズ、角度を調整でき、かつアイコンの削除なども可能である。ユーザーが時間設定をクリックすると、図５に示す時間設定インターフェースに入り、ユーザーは、この時間設定インターフェースで、符号４１に示すアイコンの持続時間を設定できる。

図５に示すように、時間設定インターフェースで、ターゲットビデオの再生が一時停止される。図５にはステッカー時間設定ウィンドウが表示され、符号５１に示すように、ステッカー時間設定ウィンドウを調整することにより、ユーザーは、符号４１に示すアイコンの持続時間を設定することができ、図５に示すように、ステッカー時間設定ウィンドウは、ターゲットビデオの０．３秒（図５では、秒はｓで表される）～１．３秒にあり、即ち、符号４１に示すアイコンの持続時間が１秒として設定され、時間設定インターフェースで「ステッカーの持続時間が１．０ｓとして選択された」という提示情報が表示される。

本開示の実施例において、ビデオ編集インターフェースでターゲットビデオを再生し、ターゲットビデオの再生画面におけるターゲットアイコンの選択操作に応じて、ターゲットアイコンに対応する編集トラックが表示され、編集トラックに基づいてターゲットアイコンのレンダリング時間を調整し、これにより、ユーザーは、必要に応じてアイコンの表示時間を設定することができ、アイコンの表示時間を柔軟に調整することができる。

選択可能な実施形態において、ビデオ編集インターフェースでターゲットビデオを再生するときに、ユーザーは、選択したターゲットアイコンに対してプリセット操作をさらに実行することができ、これにより、前記再生画面上の前記ターゲットアイコンに対するプリセット操作に応じて、前記ターゲットアイコンのレンダリング位置座標、レンダリングアイコンのサイズおよび／またはレンダリング角度を調整する。

プリセット操作は、ターゲットアイコンに対するズーム操作、回転操作、およびドラッグ操作であってもよく、ズーム操作によりターゲットアイコンのレンダリングアイコンのサイズを調整でき、回転操作によりターゲットアイコンのレンダリング角度を調整でき、ドラッグ操作によりターゲットアイコンのレンダリング位置座標を調整できる。

例示的に、ユーザーは、図４の符号４２に示す編集トラックの編集をクリックすることができ、その後、符号４１に示すターゲットアイコンの外周に編集ボックスが表示され、図６に示すように、符号６１に示すボックスが即ちターゲットアイコンの編集ボックスであり、符号６１に示す編集ボックスのいずれかの辺に対してズーム操作を実行することにより、符号４１に示すターゲットアイコンのサイズを調整することができ、符号６１に示す編集ボックスに対して回転操作を実行することにより、符号４１に示すターゲットアイコンの角度を調整することができ、符号６１に示す編集ボックスに対してドラッグ操作を実行することにより、符号４１に示すターゲットアイコンの位置を調整することができる。また、図６に示すように、編集ボックスの右上隅には削除記号「Ｘ」がさらに表示され、当該削除記号をクリックすることにより、符号４１に示すターゲットアイコンを削除することができる。

本開示の実施例において、再生画面上のターゲットアイコンに対するプリセット操作に応じて、ターゲットアイコンのレンダリング位置座標、レンダリングアイコンのサイズおよび／またはレンダリング角度を調整し、これにより、レンダリングアイコンの柔軟な調整を実現し、ビデオ作成の楽しみを高める。

人々が個人情報のセキュリティにますます注意を払うようになっているため、ユーザーは通常、自分の情報をあらゆる側面から保護したいと考えており、レンダリングアイコンの自動推奨では、ユーザーのビデオを録画するときのオーディオ入力データと画像入力データを取得する必要があり、この状況をユーザーに知らせるために、本開示の選択可能な実施形態において、撮影装置の現在の入力データを取得する前に、前記撮影装置の現在の入力データに対するユーザー許可情報を先に取得することができ、許可が得られた後にのみ、アイコン推奨機能をオンにすることができ、現在の入力データを取得してレンダリング対象のアイコンを決定する。

例示的に、図７は、本開示の実施例によって提供される、撮影装置のビデオ録画インターフェースの例を示す図である。図７に示すように、ビデオ録画インターフェースで、図７の符号７１に示すアイコンツールバーが表示され、ユーザーが当該アイコンツールバーをクリックすると、権限申請情報がポップアップウィンドウの形式で表示され、図８に示すように、権限申請情報がユーザーのオーディオ、動作、表情などのデータの取得権限を求めるために使用され、ユーザーが許可を選択すると、図７の符号７２に示すアイコン推奨機能をオンにする。アイコン推奨機能をオンにした後、撮影装置の現在の入力データを取得してアイコンを推奨することができる。

例示的に、符号７２に示すアイコン推奨機能がデフォルトではオフ状態（丸が左側にある）にあり、ユーザーが当該アイコン推奨機能をクリックすると、図８に示すように、ポップアップウィンドウが表示され、ユーザーのオーディオ、動作、表情などのデータの取得権限を求め、ユーザーが許可を選択すると、アイコン推奨機能がオフ状態からオン状態（丸が右側にある）に切り替わり、その後、撮影装置の現在の入力データを取得してアイコンを推奨することができる。

図９は、本開示の実施例によって生成されるターゲットビデオの例を示す図であり、ユーザーがビデオ録画中に「今日はとてもいい天気だ。公園に行ったら、突然電話がかかってきて、残業に来てほしいって」という言葉を言った場合、「今日はとてもいい天気だ」に基づいて、レンダリング対象のアイコンに太陽アイコンが含まれると決定し、符号９１に示すように、その後のビデオ画面に太陽アイコンを表示させる。太陽アイコンが表示されているビデオ画面は、「公園に行ったら」というオーディオデータに対応し、当該オーディオデータに基づいて、レンダリング対象のアイコンが公園アイコンであると決定し、符号９２に示すように、その後のビデオ画面に公園アイコンを表示させる。「突然電話がかかってきて、残業に来てほしいって」というオーディオデータによれば、レンダリング対象のアイコンが電話アイコンと仕事アイコンであると決定し、符号９３と符号９４に示すように、ビデオ画面に電話アイコンと仕事アイコンを表示させる。レンダリング対象のアイコンをマッチングすること、および撮影画面においてアイコンをレンダリングすることには、ある程度の時間がかかるため、アイコンの表示は、オーディオデータに比べてある程度の遅れが生じることが分かる。

上述の方法の実施例に基づいて、本開示は、ビデオ生成装置をさらに提供する。図１０を参照すると、本開示の実施例によって提供される、ビデオ生成装置の概略構造図である。前記ビデオ生成装置１００は、
撮影装置の現在の入力データを取得するための取得モジュール１１０であって、前記現在の入力データがオーディオ入力データおよび／または画像入力データを含み、前記オーディオ入力データが、前記撮影装置の現在の入力オーディオフレームを終了フレームとする、プリセット時間の連続したオーディオフレームデータを含み、前記画像入力データが、前記撮影装置の現在の撮影画面を終了フレームとする、プリセット数の連続したビデオフレーム画面を含む、取得モジュール１１０と、
前記現在の入力データに基づいて、レンダリング対象のアイコンを決定するための決定モジュール１２０と、
ターゲット撮影画面上に前記レンダリング対象のアイコンをレンダリングして、撮影効果画面を取得するためのレンダリングモジュール１３０であって、前記ターゲット撮影画面は、前記撮影装置の現在の撮影画面を開始フレームとする、プリセット数の連続したビデオフレーム画面を含む、レンダリングモジュール１３０と、
前記撮影効果画面に基づいて、ターゲットビデオを生成するためのビデオ生成モジュール１４０とを含む。

選択可能な実施形態において、前記取得モジュール１１０は、撮影装置のビデオ録画シーンまたはその撮影画面のプレビューシーンで、前記撮影装置のオーディオ入力データおよび／または画像入力データを、前記撮影装置の現在の入力データとして取得するために使用される。

選択可能な実施形態において、前記現在の入力データは、前記オーディオ入力データを含み、前記決定モジュール１２０は、具体的には、
前記オーディオ入力データに対して音声識別を実行して音声識別結果を取得し、
前記音声識別結果を第１推奨モデルに入力して、前記第１推奨モデルによって処理した後、前記オーディオ入力データに対応するアイコンを出力し、
前記オーディオ入力データに対応するアイコンに基づいて、レンダリング対象のアイコンを決定するために使用される。

選択可能な実施形態において、前記現在の入力データは、前記画像入力データを含み、前記決定モジュール１２０は、具体的には、
前記画像入力データから表情特徴および／または身体動作特徴を抽出し、
前記表情特徴および／または身体動作特徴を第２推奨モデルに入力し、前記第２推奨モデルによって処理した後、前記画像入力データに対応するアイコンを出力し、
前記画像入力データに対応するアイコンに基づいて、レンダリング対象のアイコンを決定するために使用される。

選択可能な実施形態において、前記現在の入力データは、前記オーディオ入力データおよび前記画像入力データを含み、前記決定モジュール１２０は、具体的には、
前記オーディオ入力データと前記画像入力データにそれぞれ対応するアイコンを決定し、
前記オーディオ入力データおよび前記画像入力データにそれぞれ対応するアイコンに対して、重複削除処理を実行し、レンダリング対象のアイコンを取得するために使用される。

選択可能な実施形態において、前記ビデオ生成装置１００は、
前記レンダリング対象のアイコンに対応するレンダリングパラメータ値を決定するためのレンダリングパラメータ決定モジュールをさらに含み、前記レンダリングパラメータ値は、レンダリング位置座標、レンダリングアイコンのサイズ、レンダリング角度および／またはレンダリング時間を含む。

それに対応して、前記レンダリングモジュール１３０は、具体的には、
前記レンダリングパラメータ値に基づいて、前記ターゲット撮影画面上に前記レンダリング対象のアイコンをレンダリングして、撮影効果の画面を取得するために使用される。

選択可能な実施形態において、前記ビデオ生成装置１００は、
ビデオ編集インターフェースで前記ターゲットビデオを再生するためのビデオ再生モジュールと、
前記ターゲットビデオの再生画面におけるターゲットアイコンの選択操作に応じて、前記ターゲットアイコンに対応する編集トラックを表示するための表示モジュールと、
前記編集トラックに基づいて、前記ターゲットアイコンのレンダリング時間を調整するための時間調整モジュールとをさらに含む。

選択可能な実施形態において、前記ビデオ生成装置１００は、
前記再生画面上の前記ターゲットアイコンに対するプリセット操作に応じて、前記ターゲットアイコンのレンダリング位置座標、レンダリングアイコンのサイズおよび／またはレンダリング角度を調整するためのパラメータ調整モジュールをさらに含む。

選択可能な実施形態において、前記ビデオ生成装置１００は、
前記撮影装置の現在の入力データに対するユーザー許可情報を取得するための許可取得モジュールをさらに含む。

本開示の実施例によって提供されるビデオ生成装置は、本開示のいずれかの実施例によって提供されるビデオ生成方法を実行することができ、その実行方法に対応する機能モジュールおよび有益な効果を有する。

上記の方法および装置に加えて、本開示の実施例は、命令が記憶されるコンピュータ読み取り可能な記憶媒体をさらに提供し、前記命令が端末機器上で実行されるとき、前記端末機器に本開示の実施例に記載のビデオ生成方法を実行させる。

本開示の実施例は、プロセッサによって実行されるときに本開示の実施例に記載のビデオ生成方法を実現するコンピュータプログラム／命令を含む、コンピュータプログラム製品をさらに提供する。

図１１は、本開示の実施例によって提供される、端末機器の概略構造図である。

以下、具体的には図１１を参照すると、本開示の実施例における端末機器４００を実現するのに適した概略構造図を示す。本開示の実施例における端末機器４００は、携帯電話、ノートパソコン、デジタル放送受信機、ＰＤＡ（パーソナルデジタルアシスタント）、ＰＡＤ（タブレットコンピュータ）、ＰＭＰ（ポータブルマルチメディアプレーヤ）、車載端末（例えば、車載ナビゲーション端末）などのモバイル端末、デジタルＴＶ、およびデスクトップパソコンなどの固定端末を含むが、これらに限定されない。図１１に示す端末機器は、一例に過ぎず、本開示の実施例の機能および利用範囲を制限するものではない。

図１１に示すように、端末機器４００は、処理装置（例えば、中央処理装置、グラフィックスプロセッサなど）４０１を含むことができ、読み出し専用メモリ（ＲＯＭ）４０２に記憶されるプログラムまたは記憶装置４０８からランダムアクセスメモリ（ＲＡＭ）４０３にロードされるプログラムに従って、様々な適切な操作および処理を実行することができる。ＲＡＭ４０３には、端末機器４００の操作に必要な各種プログラムおよびデータがさらに記憶される。処理装置４０１、ＲＯＭ４０２、ＲＡＭ４０３は、バス４０４を介して互いに接続される。入出力（Ｉ／Ｏ）インターフェース４０５もバス４０４に接続される。

一般に、以下の装置、例えば、タッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイクロフォン、加速度計、ジャイロスコープなどを含む入力装置４０６、例えば、液晶ディスプレイ（ＬＣＤ）、スピーカ、バイブレータなどを含む出力装置４０７、磁気テープやハードディスクなどを含む記憶装置４０８、および通信装置４０９は、Ｉ／Ｏインターフェース４０５に接続されてもよい。通信装置４０９は、端末機器４００が他の機器と無線または有線で通信してデータを交換することを可能にしてもよい。図１１には、様々な装置を有する端末機器４００が示されているが、図示されたすべての装置を実施または所有する必要はないことを理解されたい。代わりに、より多くのまたはより少ない装置を実施または所有してもよい。

特に、本開示の実施例によれば、フローチャートを参照して上述したプロセスは、コンピュータソフトウェアプログラムとして実現されてもよい。例えば、本開示の実施例は、非一時的なコンピュータ読み取り可能な媒体に搭載されるコンピュータプログラムを含むコンピュータプログラム製品を含み、当該コンピュータプログラムは、フローチャートに示される方法を実行するためのプログラムコードを含む。このような実施例において、当該コンピュータプログラムは、通信装置４０９を介してネットワークからダウンロードまたはインストールされてもよく、あるいは記憶装置４０８から、またはＲＯＭ４０２からインストールされてもよい。当該コンピュータプログラムが処理装置４０１によって実行されるとき、本開示の実施例によるビデオ生成方法で定義された上述の機能を実行する。

なお、本開示の上述したコンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体、コンピュータ読み取り可能な記憶媒体、または上記２つの任意の組み合わせであってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電気、磁気、光学、電磁、赤外線、または半導体システム、装置またはデバイス、またはそれらの任意の組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例としては、１つ以上のワイヤを備えた電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、または上記の任意の適切な組み合わせを含むが、これらに限定されない。本開示において、コンピュータ読み取り可能な記憶媒体は、プログラムを含むかまたはそれを記憶する任意の有形媒体であってよい。当該プログラムは、命令実行システム、装置、またはデバイスによって使用されるか、またはそれらと組み合わせて使用されてもよい。本開示において、コンピュータ読み取り可能な信号媒体は、ベースバンド内で伝播されるか、または搬送波の一部として伝播され、その中にコンピュータ読み取り可能なプログラムコードを搭載するデータ信号を含むことができる。このような伝播されるデータ信号は、電磁信号、光信号、または上記の任意の適切な組み合わせを含むがこれらに限定されない、多くの形式をとることができる。コンピュータ読み取り可能な信号媒体は、命令実行システム、装置、またはデバイスによって使用されるか、またはそれらと組み合わせて使用されるプログラムを、伝送、伝播、または送信できる、コンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であってもよい。コンピュータ読み取り可能な媒体に組み込まれたプログラムコードは、ワイヤ、光ケーブル、ＲＦ（無線周波数）など、またはそれらの任意の適切な組み合わせを含むがこれらに限定されない任意の適切な媒体を使用して送信されてもよい。

いくつかの実施形態において、クライアントとサーバーは、ＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ、ハイパーテキスト転送プロトコル）などの現在知られている、または将来開発される任意のネットワークプロトコルを使用して通信することができ、任意の形式または媒体のデジタルデータ通信（例えば、通信ネットワーク）と相互接続されてもよい。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、インターネット（例えば、インターネット）、エンドツーエンドネットワーク（例えば、ａｄ ｈｏｃエンドツーエンドネットワーク）、および現在知られている、または将来開発される任意のネットワークを含む。

上記コンピュータ読み取り可能な媒体は、上記端末機器に含まれていてもよく、当該端末機器に組み込まれずに単独で存在していてもよい。

上記のコンピュータ読み取り可能な媒体には、１つまたは複数のプログラムが搭載され、上記の１つまたは複数のプログラムが当該端末機器によって実行されるとき、当該端末機器は、以下のことを実行する。撮影装置の現在の入力データを取得し、前記現在の入力データがオーディオ入力データおよび／または画像入力データを含み、前記オーディオ入力データが、前記撮影装置の現在の入力オーディオフレームを終了フレームとする、プリセット時間の連続したオーディオフレームデータを含み、前記画像入力データが、前記撮影装置の現在の撮影画面を終了フレームとする、プリセット数の連続したビデオフレーム画面を含み、前記現在の入力データに基づいて、レンダリング対象のアイコンを決定し、ターゲット撮影画面上に前記レンダリング対象のアイコンをレンダリングして、撮影効果画面を取得し、前記ターゲット撮影画面は、前記撮影装置の現在の撮影画面を開始フレームとする、プリセット数の連続したビデオフレーム画面を含み、前記撮影効果画面に基づいて、ターゲットビデオを生成する。

本開示の操作を実行するためのコンピュータプログラムコードは、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語を含むがこれらに限定されず、「Ｃ」言語または類似のプログラミング言語など、従来の手続き型プログラミング言語をさらに含む、１つまたは複数のプログラミング言語またはその組み合わせで書かれてもよい。プログラムコードは、ユーザーのコンピュータ上で完全に実行されるか、ユーザーのコンピュータ上で部分的に実行されるか、スタンドアローンソフトウェアパッケージとして実行されるか、一部がユーザーのコンピュータ上で実行され、かつ残りの一部がリモートコンピュータ上で実行されるか、あるいはリモートコンピュータまたはサーバー上で完全に実行されてもよい。リモートコンピュータに関する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含むあらゆる種類のネットワークを介してユーザーのコンピュータと接続されてもよく、または、外部コンピュータと接続されてもよい（例えば、インターネットサービスプロバイダーを利用してインターネットで接続される）。

図中のフローチャートおよびブロック図は、本開示の様々な実施例によるシステム、方法、およびコンピュータプログラム製品の実現可能なアーキテクチャ、機能および操作を示す。これに関して、フローチャートまたはブロック図の各ブロックは、指定された論理機能を実現するための１つまたは複数の実行可能な命令を含むモジュール、プログラムセグメント、またはコードの一部を表すことができる。また、いくつかの代替実装では、ブロック内に示されている機能が、図に示されている順序と異なる順序で実行される可能性があることにも留意されたい。例えば、次々に表示される２つのブロックは、関係する機能に応じて、実際には実質的に並行して実行されてもよく、逆の順序で実行される場合もある。ブロック図および／またはフローチャート図の各ブロック、ブロック図および／またはフローチャート図におけるブロックの組み合わせは、指定された機能または操作を実行する専用のハードウェアベースのシステムによって実現されてもよく、または専用ハードウェアとコンピューター命令の組み合わせを使用して実現できることにも留意されたい。

本開示の実施例に含まれるユニットは、ソフトウェアまたはハードウェアで実現することができる。ユニット名は、場合によっては当該ユニット自体を限定するものではない。

本明細書で上述した機能は、少なくとも部分的に、１つまたは複数のハードウェア論理コンポーネントによって実行することができる。例えば、限定ではないが、使用可能なハードウェア論理コンポーネントの典型的なタイプは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、複雑なプログラマブルロジックデバイス（ＣＰＬＤ）などを含む。

本開示の文脈において、機械読み取り可能な媒体は、命令実行システム、装置、または機器によって使用される、またはそれらと組み合わせて使用されるプログラムを含むかまたは記憶することができる有形の媒体であってもよい。機械読み取り可能な媒体は、機械読み取り可能な信号媒体または機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子、磁気、光学、電磁、赤外線、または半導体システム、装置または機器、あるいはそれらの任意の適切な組み合わせを含むが、これらに限定されない。機械読み取り可能な記憶媒体のより具体的な例は、１つまたは複数のワイヤベースの電気接続、ラップトップパソコン用ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光記憶機器、磁気記憶機器、または上記の任意の適切な組み合わせを含む。

本開示の１つまたは複数の実施例によれば、本開示は、
撮影装置の現在の入力データを取得するステップであって、前記現在の入力データがオーディオ入力データおよび／または画像入力データを含み、前記オーディオ入力データが、前記撮影装置の現在の入力オーディオフレームを終了フレームとする、プリセット時間の連続したオーディオフレームデータを含み、前記画像入力データが、前記撮影装置の現在の撮影画面を終了フレームとする、プリセット数の連続したビデオフレーム画面を含む、ステップと、
前記現在の入力データに基づいて、レンダリング対象のアイコンを決定するステップと、
ターゲット撮影画面上に前記レンダリング対象のアイコンをレンダリングして、撮影効果画面を取得するステップであって、前記ターゲット撮影画面は、前記撮影装置の現在の撮影画面を開始フレームとする、プリセット数の連続したビデオフレーム画面を含む、ステップと、
前記撮影効果画面に基づいて、ターゲットビデオを生成するステップとを含む、ビデオ生成方法を提供する。

本開示の１つまたは複数の実施例によれば、本開示によって提供されるビデオ生成方法において、前記撮影装置の現在の入力データを取得するステップは、
撮影装置のビデオ録画シーンまたはその撮影画面のプレビューシーンで、前記撮影装置のオーディオ入力データおよび／または画像入力データを、前記撮影装置の現在の入力データとして取得するステップを含む。

本開示の１つまたは複数の実施例によれば、本開示によって提供されるビデオ生成方法において、前記現在の入力データが前記オーディオ入力データを含み、前記現在の入力データに基づいて、レンダリング対象のアイコンを決定するステップは、
前記オーディオ入力データに対して音声識別を実行して音声識別結果を取得するステップと、
前記音声識別結果を第１推奨モデルに入力して、前記第１推奨モデルによって処理した後、前記オーディオ入力データに対応するアイコンを出力するステップと、
前記オーディオ入力データに対応するアイコンに基づいて、レンダリング対象のアイコンを決定するステップとを含む。

本開示の１つまたは複数の実施例によれば、本開示によって提供されるビデオ生成方法において、前記現在の入力データが前記画像入力データを含み、前記現在の入力データに基づいて、レンダリング対象のアイコンを決定するステップは、
前記画像入力データから表情特徴および／または身体動作特徴を抽出するステップと、
前記表情特徴および／または身体動作特徴を第２推奨モデルに入力し、前記第２推奨モデルによって処理した後、前記画像入力データに対応するアイコンを出力するステップと、
前記画像入力データに対応するアイコンに基づいて、レンダリング対象のアイコンを決定するステップとを含む。

本開示の１つまたは複数の実施例によれば、本開示によって提供されるビデオ生成方法において、前記現在の入力データが前記オーディオ入力データおよび前記画像入力データを含み、前記現在の入力データに基づいて、レンダリング対象のアイコンを決定するステップは、
前記オーディオ入力データと前記画像入力データにそれぞれ対応するアイコンを決定するステップと、
前記オーディオ入力データおよび前記画像入力データにそれぞれ対応するアイコンに対して、重複削除処理を実行し、レンダリング対象のアイコンを取得するステップとを含む。

本開示の１つまたは複数の実施例によれば、本開示によって提供されるビデオ生成方法において、ターゲット撮影画面上に前記レンダリング対象のアイコンをレンダリングして、撮影効果画面を取得する前に、
前記レンダリング対象のアイコンに対応するレンダリングパラメータ値を決定するステップをさらに含み、前記レンダリングパラメータ値は、レンダリング位置座標、レンダリングアイコンのサイズ、レンダリング角度および／またはレンダリング時間を含む。

それに対応して、前記ターゲット撮影画面上に前記レンダリング対象のアイコンをレンダリングして、撮影効果画面を取得するステップは、
前記レンダリングパラメータ値に基づいて、前記ターゲット撮影画面上に前記レンダリング対象のアイコンをレンダリングして、撮影効果の画面を取得するステップを含む。

本開示の１つまたは複数の実施例によれば、本開示によって提供されるビデオ生成方法において、前記撮影効果画面に基づいて、ターゲットビデオを生成した後、
ビデオ編集インターフェースで前記ターゲットビデオを再生するステップと、
前記ターゲットビデオの再生画面におけるターゲットアイコンの選択操作に応じて、前記ターゲットアイコンに対応する編集トラックを表示するステップと、
前記編集トラックに基づいて、前記ターゲットアイコンのレンダリング時間を調整するステップとをさらに含む。

本開示の１つまたは複数の実施例によれば、本開示によって提供されるビデオ生成方法において、前記方法は、
前記再生画面上の前記ターゲットアイコンに対するプリセット操作に応じて、前記ターゲットアイコンのレンダリング位置座標、レンダリングアイコンのサイズおよび／またはレンダリング角度を調整するステップをさらに含む。

本開示の１つまたは複数の実施例によれば、本開示によって提供されるビデオ生成方法において、前記撮影装置の現在の入力データを取得する前に、
前記撮影装置の現在の入力データに対するユーザー許可情報を取得するステップをさらに含む。

本開示の１つまたは複数の実施例によれば、本開示は、
撮影装置の現在の入力データを取得するための取得モジュールであって、前記現在の入力データがオーディオ入力データおよび／または画像入力データを含み、前記オーディオ入力データが、前記撮影装置の現在の入力オーディオフレームを終了フレームとする、プリセット時間の連続したオーディオフレームデータを含み、前記画像入力データが、前記撮影装置の現在の撮影画面を終了フレームとする、プリセット数の連続したビデオフレーム画面を含む、取得モジュールと、
前記現在の入力データに基づいて、レンダリング対象のアイコンを決定するための決定モジュールと、
ターゲット撮影画面上に前記レンダリング対象のアイコンをレンダリングして、撮影効果画面を取得するためのレンダリングモジュールであって、前記ターゲット撮影画面は、前記撮影装置の現在の撮影画面を開始フレームとする、プリセット数の連続したビデオフレーム画面を含む、レンダリングモジュールと、
前記撮影効果画面に基づいて、ターゲットビデオを生成するためのビデオ生成モジュールとを含む、ビデオ生成装置を提供する。

本開示の１つまたは複数の実施例によれば、本開示によって提供されるビデオ生成装置において、前記取得モジュールは、具体的には、撮影装置のビデオ録画シーンまたはその撮影画面のプレビューシーンで、前記撮影装置のオーディオ入力データおよび／または画像入力データを、前記撮影装置の現在の入力データとして取得するために使用される。

本開示の１つまたは複数の実施例によれば、本開示によって提供されるビデオ生成装置において、前記現在の入力データが前記オーディオ入力データを含み、前記決定モジュールは、具体的には、
前記オーディオ入力データに対して音声識別を実行して音声識別結果を取得し、
前記音声識別結果を第１推奨モデルに入力して、前記第１推奨モデルによって処理した後、前記オーディオ入力データに対応するアイコンを出力し、
前記オーディオ入力データに対応するアイコンに基づいて、レンダリング対象のアイコンを決定するために使用される。

本開示の１つまたは複数の実施例によれば、本開示によって提供されるビデオ生成装置において、前記現在の入力データが前記画像入力データを含み、前記決定モジュールは、具体的には、
前記画像入力データから表情特徴および／または身体動作特徴を抽出し、
前記表情特徴および／または身体動作特徴を第２推奨モデルに入力し、前記第２推奨モデルによって処理した後、前記画像入力データに対応するアイコンを出力し、
前記画像入力データに対応するアイコンに基づいて、レンダリング対象のアイコンを決定するために使用される。

本開示の１つまたは複数の実施例によれば、本開示によって提供されるビデオ生成装置において、前記現在の入力データが前記オーディオ入力データおよび前記画像入力データを含み、前記決定モジュールは、具体的には、
前記オーディオ入力データと前記画像入力データにそれぞれ対応するアイコンを決定し、
前記オーディオ入力データおよび前記画像入力データにそれぞれ対応するアイコンに対して、重複削除処理を実行し、レンダリング対象のアイコンを取得するために使用される。

本開示の１つまたは複数の実施例によれば、本開示によって提供されるビデオ生成装置において、前記装置は、
前記レンダリング対象のアイコンに対応するレンダリングパラメータ値を決定するためのレンダリングパラメータ決定モジュールをさらに含み、前記レンダリングパラメータ値は、レンダリング位置座標、レンダリングアイコンのサイズ、レンダリング角度および／またはレンダリング時間を含む。

それに対応して、前記レンダリングモジュールは、具体的には、
前記レンダリングパラメータ値に基づいて、前記ターゲット撮影画面上に前記レンダリング対象のアイコンをレンダリングして、撮影効果の画面を取得するために使用される。

本開示の１つまたは複数の実施例によれば、本開示によって提供されるビデオ生成装置は、
ビデオ編集インターフェースで前記ターゲットビデオを再生するためのビデオ再生モジュールと、
前記ターゲットビデオにおける再生画面上のターゲットアイコンの選択操作に応じて、前記ターゲットアイコンに対応する編集トラックを表示するための表示モジュールと、
前記編集トラックに基づいて、前記ターゲットアイコンのレンダリング時間を調整するための時間調整モジュールとをさらに含む。

本開示の１つまたは複数の実施例によれば、本開示によって提供されるビデオ生成装置において、前記装置は、
前記再生画面上の前記ターゲットアイコンに対するプリセット操作に応じて、前記ターゲットアイコンのレンダリング位置座標、レンダリングアイコンのサイズおよび／またはレンダリング角度を調整するためのパラメータ調整モジュールをさらに含む。

本開示の１つまたは複数の実施例によれば、本開示によって提供されるビデオ生成装置において、前記装置は、
前記撮影装置の現在の入力データに対するユーザー許可情報を取得するための許可取得モジュールをさらに含む。

本開示の１つまたは複数の実施例によれば、本開示は、メモリと、プロセッサと、前記メモリに記憶され、かつ前記プロセッサ上で実行可能なコンピュータプログラムとを含む端末機器を提供し、前記プロセッサが前記コンピュータプログラムを実行するとき、本開示によって提供されるビデオ生成方法のいずれかを実現する。

本開示の１つまたは複数の実施例によれば、本開示は、コンピュータプログラムが記憶されるコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータプログラムは、本開示によって提供されるビデオ生成方法のいずれかを実行するために使用される。

なお、この明細書において、「第１」および「第２」などの関係用語は、あるエンティティまたは操作を別のエンティティまたは操作と区別するためにのみ使用されており、これらのエンティティまたは操作間に実際の関係や順序が存在することを必ずしも必要としたり、暗示したりするわけではない。さらに、「含む」、「含有」という用語、またはその他の任意の変形は、非排他的な包含をカバーすることを意図し、それにより、一連の要素を含むプロセス、方法、物品、または機器がそれらの要素だけでなく、また、明示的にリストされていない他の要素、またはプロセス、方法、物品、または機器に固有の要素も含む。さらなる制限なしに、「・・・を含む」という記述によって定義される要素は、その要素を含むプロセス、方法、物品、または機器において、追加の同一要素が存在することを排除するものではない。

上記の説明は、本開示の具体的な実施形態にすぎず、当業者が本開示を理解または実現できるようにするものである。これらの実施例に対する様々な修正は当業者には明らかであり、本明細書で定義される一般原理は、本開示の精神または範囲から逸脱することなく他の実施例で実現することができる。したがって、本開示は、本明細書に記載されたこれらの実施例に限定されるものではなく、本明細書に開示された原理および新規な特徴と一致する最も広い範囲が与えられるべきである。

Claims (11)

1. ビデオ生成方法であって、
   撮影装置の現在の入力データを取得するステップであって、前記現在の入力データがオーディオ入力データおよび／または画像入力データを含み、前記オーディオ入力データが、前記撮影装置の現在の入力オーディオフレームを終了フレームとする、プリセット時間の連続したオーディオフレームデータを含み、前記画像入力データが、前記撮影装置の現在の撮影画面を終了フレームとする、プリセット数の連続したビデオフレーム画面を含む、ステップと、
   前記現在の入力データに基づいて、レンダリング対象のアイコンを決定するステップと、
   前記撮影装置の現在の撮影画面を開始フレームとする、プリセット数の連続したビデオフレーム画面を含むターゲット撮影画面上に前記レンダリング対象のアイコンをレンダリングして、撮影効果画面を取得するステップと、
   前記撮影効果画面に基づいて、ターゲットビデオを生成するステップとを含み、
   前記撮影効果画面に基づいて、ターゲットビデオを生成した後、当該ビデオ生成方法は、
   ビデオ編集インターフェースで前記ターゲットビデオを再生するステップと、
   前記ターゲットビデオの再生画面におけるターゲットアイコンの選択操作に応じて、前記ターゲットアイコンに対応する編集トラックを表示するステップと、
   前記編集トラックに基づいて、前記ターゲットアイコンのレンダリング時間を調整するステップとをさらに含み、
   前記編集トラックの位置が前記ターゲットアイコンの位置によって決定されることを特徴とするビデオ生成方法。
2. 前記撮影装置の現在の入力データを取得するステップは、
   前記撮影装置のビデオ録画シーンまたはその撮影画面のプレビューシーンで、前記撮影装置のオーディオ入力データおよび／または画像入力データを、前記撮影装置の現在の入力データとして取得するステップを含む、ことを特徴とする請求項１に記載のビデオ生成方法。
3. 前記現在の入力データが前記オーディオ入力データを含み、前記現在の入力データに基づいて、レンダリング対象のアイコンを決定するステップは、
   前記オーディオ入力データに対して音声識別を実行して音声識別結果を取得するステップと、
   前記音声識別結果を第１推奨モデルに入力して、前記第１推奨モデルによって処理した後、前記オーディオ入力データに対応するアイコンを出力するステップと、
   前記オーディオ入力データに対応するアイコンに基づいて、前記レンダリング対象のアイコンを決定するステップとを含む、ことを特徴とする請求項１に記載のビデオ生成方法。
4. 前記現在の入力データが前記画像入力データを含み、前記現在の入力データに基づいて、レンダリング対象のアイコンを決定するステップは、
   前記画像入力データから表情特徴および／または身体動作特徴を抽出するステップと、
   前記表情特徴および／または身体動作特徴を第２推奨モデルに入力し、前記第２推奨モデルによって処理した後、前記画像入力データに対応するアイコンを出力するステップと、
   前記画像入力データに対応するアイコンに基づいて、前記レンダリング対象のアイコンを決定するステップとを含む、ことを特徴とする請求項１に記載のビデオ生成方法。
5. 前記現在の入力データが前記オーディオ入力データおよび前記画像入力データを含み、前記現在の入力データに基づいて、レンダリング対象のアイコンを決定するステップは、
   前記オーディオ入力データと前記画像入力データにそれぞれ対応するアイコンを決定するステップと、
   前記オーディオ入力データおよび前記画像入力データにそれぞれ対応するアイコンに対して、重複削除処理を実行し、前記レンダリング対象のアイコンを取得するステップとを含む、ことを特徴とする請求項１に記載のビデオ生成方法。
6. ターゲット撮影画面上に前記レンダリング対象のアイコンをレンダリングして、撮影効果画面を取得する前に、当該ビデオ生成方法は、
   前記レンダリング対象のアイコンに対応するレンダリングパラメータ値を決定するステップをさらに含み、前記レンダリングパラメータ値は、レンダリング位置座標、レンダリングアイコンのサイズ、レンダリング角度および／またはレンダリング時間を含み、
   それに対応して、前記ターゲット撮影画面上に前記レンダリング対象のアイコンをレンダリングして、撮影効果画面を取得するステップは、
   前記レンダリングパラメータ値に基づいて、前記ターゲット撮影画面上に前記レンダリング対象のアイコンをレンダリングして、撮影効果の画面を取得するステップを含む、ことを特徴とする請求項１に記載のビデオ生成方法。
7. 当該ビデオ生成方法は、
   前記再生画面上の前記ターゲットアイコンに対するプリセット操作に応じて、前記ターゲットアイコンのレンダリング位置座標、レンダリングアイコンのサイズおよび／またはレンダリング角度を調整する、ことを特徴とする請求項１に記載のビデオ生成方法。
8. 前記撮影装置の現在の入力データを取得する前に、当該ビデオ生成方法は、
   前記撮影装置の現在の入力データに対するユーザー許可情報を取得するステップをさらに含む、ことを特徴とする請求項１に記載のビデオ生成方法。
9. 撮影装置の現在の入力データを取得するための取得モジュールであって、前記現在の入力データがオーディオ入力データおよび／または画像入力データを含み、前記オーディオ入力データが、前記撮影装置の現在の入力オーディオフレームを終了フレームとする、プリセット時間の連続したオーディオフレームデータを含み、前記画像入力データが、前記撮影装置の現在の撮影画面を終了フレームとする、プリセット数の連続したビデオフレーム画面を含む、取得モジュールと、
   前記現在の入力データに基づいて、レンダリング対象のアイコンを決定するための決定モジュールと、
   ターゲット撮影画面上に前記レンダリング対象のアイコンをレンダリングして、撮影効果画面を取得するためのレンダリングモジュールであって、前記ターゲット撮影画面は、前記撮影装置の現在の撮影画面を開始フレームとする、プリセット数の連続したビデオフレーム画面を含む、レンダリングモジュールと、
   前記撮影効果画面に基づいて、ターゲットビデオを生成するためのビデオ生成モジュールとを含むビデオ生成装置であって、
   当該ビデオ生成装置は、
   ビデオ編集インターフェースで前記ターゲットビデオを再生するためのビデオ再生モジュールと、
   前記ターゲットビデオの再生画面におけるターゲットアイコンの選択操作に応じて、前記ターゲットアイコンに対応する編集トラックを表示するための表示モジュールと、
   前記編集トラックに基づいて、前記ターゲットアイコンのレンダリング時間を調整するための時間調整モジュールとをさらに含み、
   前記編集トラックの位置が前記ターゲットアイコンの位置によって決定されることを特徴とするビデオ生成装置。
10. コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ読み取り可能な記憶媒体は命令を記憶し、前記命令が端末機器上で実行されると、前記端末機器に請求項１～８のいずれか一項に記載のビデオ生成方法を実現させる、ことを特徴とするコンピュータ読み取り可能な記憶媒体。
11. 端末機器であって、メモリと、プロセッサと、前記メモリに記憶され、かつ前記プロセッサ上で実行可能なコンピュータプログラムとを含み、前記プロセッサが前記コンピュータプログラムを実行するとき、請求項１～８のいずれか一項に記載のビデオ生成方法を実現する、ことを特徴とする端末機器。