JP7220173B2 - Computer program, information processing method and information processing system - Google Patents
Computer program, information processing method and information processing system Download PDFInfo
- Publication number
- JP7220173B2 JP7220173B2 JP2020072537A JP2020072537A JP7220173B2 JP 7220173 B2 JP7220173 B2 JP 7220173B2 JP 2020072537 A JP2020072537 A JP 2020072537A JP 2020072537 A JP2020072537 A JP 2020072537A JP 7220173 B2 JP7220173 B2 JP 7220173B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- avatar
- function
- avatar information
- specifying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Description
特許法第30条第2項適用 平成31年3月12日~3月24日 VTuber専用ライブ試聴・配信アプリ「REALITY」公式DLサイト(https://le.wrightflyer.net/reality/)において、「公式番組デビューイベント」を開催Application of
本発明は、コンピュータプログラム、情報処理方法および情報処理システムに関する。 The present invention relates to a computer program, an information processing method, and an information processing system.
従来から、配信ユーザの動きに基づいてキャラクタオブジェクトのアニメーションを生成し、かかるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システムが知られている。このような動画配信システムは、例えば、特許文献1および非特許文献1に開示されている。
2. Description of the Related Art Conventionally, there has been known a moving image distribution system that generates an animation of a character object based on movements of a distribution user and performs live distribution of a moving image including the animation of the character object. Such a moving image distribution system is disclosed in
また、最近では、異なる動画配信プラットフォームにおいても共通の3Dデータを用いてキャラクタオブジェクトを使用可能するための、特定のファイルフォーマットが提供され始めている(非特許文献2)。 Also, recently, a specific file format has begun to be provided that allows character objects to be used using common 3D data even on different video distribution platforms (Non-Patent Document 2).
しかしながら、異なる動画配信プラットフォーム間で、上述した特定のファイルフォーマットで作成された共通の3Dデータを使用可能ではあったとしても、求められるデータの内容が異なれば、キャラクタオブジェクトを生成するための情報が不足する可能性がある。 However, even if it is possible to use common 3D data created in the above-mentioned specific file format between different video distribution platforms, if the contents of the required data are different, the information for generating the character object may not be available. shortage is possible.
その場合、3Dデータの不足部分を新たに作成するという作業が必要となるため、配信者の他の動画配信プラットフォームでも配信しようという意欲が削がれてしまうという問題がある。 In that case, since it is necessary to newly create the missing part of the 3D data, there is a problem that the motivation of the distributor to distribute it on other video distribution platforms is reduced.
そのため、本開示の目的は、上述した従来技術の問題の少なくとも一部を解決又は緩和する技術的な改善を提供することである。本開示のより具体的な目的の一つは、動画配信において異なるデータの内容が要求されるシステム間の連携をスムーズに行うことができる情報処理システム、情報処理方法およびコンピュータプログラムを提供することである。 SUMMARY OF THE INVENTION Accordingly, it is an object of the present disclosure to provide technical improvements that solve or mitigate at least some of the problems in the prior art discussed above. One of the more specific objects of the present disclosure is to provide an information processing system, an information processing method, and a computer program that enable smooth cooperation between systems that require different data content in video distribution. be.
本発明のコンピュータプログラムは、配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信するためのコンピュータプログラムであって、一又は複数のコンピュータプロセッサに、キャラクタの第一の部位に関する第一の部位情報を含む第一のアバタ情報を取得する取得機能と、取得機能により取得された第一の部位情報に基づいて、第一のアバタ情報に含まれないキャラクタの第二の部位に関する第二の部位情報を特定する特定機能と、取得機能により取得された第一の部位情報、および、特定機能により特定された第二の部位情報に基づいて、第二のアバタ情報を生成する生成機能とを実現させることを特徴とする。 A computer program of the present invention is a computer program for distributing a moving image including an animation of a character object generated based on movements of a distributing user, wherein one or more computer processors are provided with a first part of the character. an acquisition function for acquiring first avatar information including the first part information; and a second part of the character not included in the first avatar information based on the first part information acquired by the acquisition function. Generation of generating second avatar information based on a specifying function for specifying second part information, the first part information acquired by the acquiring function, and the second part information specified by the specifying function It is characterized by realizing the function.
特定機能は、第一の部位情報に対応付けられた一以上の第二の部位情報を抽出し、当該抽出された一以上の第二の部位情報に対するユーザの選択情報に基づいて、一の第二の部位情報を特定することができる。 The specific function extracts one or more second part information associated with the first part information, and based on user selection information for the extracted one or more second part information, Two types of site information can be specified.
取得機能は、一以上の装着オブジェクト情報が関連付けられた第一の部位情報を含む第一のアバタ情報を取得し、
特定機能は、一以上の装着オブジェクト情報に基づいて、第二の部位に関連付けられる一以上の装着オブジェクト情報を含む第二の部位情報を特定することができる。
The acquisition function acquires first avatar information including first part information associated with one or more wearable object information,
The specifying function can specify second part information including one or more pieces of wearable object information associated with the second part based on one or more pieces of wearable object information.
第一のアバタ情報は、所定の情報処理端末が備えるフェイシャルキャプチャ機能により取得される、アクターの顔部のモーション情報に基づいて、少なくとも顔部が動作するアバタを生成するための情報とすることができる。 The first avatar information may be information for generating at least an avatar in which the face moves based on motion information of the actor's face acquired by a facial capture function provided in a predetermined information processing terminal. can.
第二のアバタ情報は、所定の情報処理装置が備えるモーションキャプチャ機能により取得される、アクターの全身のモーション情報に基づいて、全身が動作するアバタを生成するための情報とすることができる。 The second avatar information can be information for generating an avatar in which the whole body moves, based on motion information of the actor's whole body acquired by a motion capture function provided in a predetermined information processing device.
本発明のコンピュータプログラムは、一又は複数のコンピュータに、さらに、キャラクタが番組に出演する際に要求されるアバタ情報の種類を取得する種類取得機能を実現させ、種類取得機能により取得された種類が第二のアバタ情報の種類である場合に、生成機能が第二のアバタ情報を生成することができる。 A computer program according to the present invention causes one or more computers to further implement a type acquisition function for acquiring a type of avatar information required when a character appears in a program, and the type acquired by the type acquisition function is In the case of the second avatar information type, the generation function can generate the second avatar information.
本発明のコンピュータプログラムは、一又は複数のコンピュータに、さらに、第二のアバタ情報が既に生成されているか否かを判断する判断機能を実現させ、判断機能による判断の結果、第二のアバタ情報が未だ生成されていない場合であって、種類取得機能により取得された種類が第二のアバタ情報の種類である場合に、生成機能が第二のアバタ情報を生成することができる。 The computer program of the present invention causes the one or more computers to further implement a determination function of determining whether or not the second avatar information has already been generated, and as a result of determination by the determination function, the second avatar information is generated. has not yet been generated and the type obtained by the type obtaining function is the type of the second avatar information, the generating function can generate the second avatar information.
特定機能は、取得機能により取得された第一の部位情報と対になる第二の部位情報を特定することができる。 The specifying function can specify second part information paired with the first part information acquired by the acquiring function.
本発明の情報処理方法は、配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信するための情報処理方法であって、一又は複数のコンピュータプロセッサに、キャラクタの第一の部位に関する第一の部位情報を含む第一のアバタ情報を取得する取得ステップと、取得ステップにおいて取得された第一の部位情報に基づいて、第一のアバタ情報に含まれないキャラクタの第二の部位に関する第二の部位情報を特定する特定ステップと、取得ステップにおいて取得された第一の部位情報、および、特定ステップにおいて特定された第二の部位情報に基づいて、第二のアバタ情報を生成する生成ステップとを実行させることを特徴とする。 An information processing method of the present invention is an information processing method for distributing a moving image including an animation of a character object generated based on the movement of a distributing user, wherein one or a plurality of computer processors are provided with a first animation of a character. an acquiring step of acquiring first avatar information including first part information relating to parts; Second avatar information is generated based on a specifying step of specifying second part information relating to parts, the first part information acquired in the acquiring step, and the second part information specified in the specifying step. and a generation step to be executed.
本発明の情報処理システムは、配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する情報処理システムであって、一又は複数のコンピュータプロセッサを備え、一又は複数のコンピュータプロセッサは、キャラクタの第一の部位に関する第一の部位情報を含む第一のアバタ情報を取得する取得部と、取得部が取得した第一の部位情報に基づいて、第一のアバタ情報に含まれないキャラクタの第二の部位に関する第二の部位情報を特定する特定部と、取得部が取得し第一の部位情報、および、特定部が特定し第二の部位情報に基づいて、第二のアバタ情報を生成する生成部とを備えることを特徴とする。 An information processing system of the present invention is an information processing system for distributing a moving image including animation of a character object generated based on movement of a distributing user, comprising one or more computer processors. is an acquisition unit that acquires first avatar information including first part information about a first part of a character; Based on the specifying unit that specifies the second part information about the second part of the character that does not exist, the first part information acquired by the acquiring unit, and the second part information specified by the specifying unit, the second part information and a generator for generating avatar information.
本発明によれば、上述した従来技術の問題の少なくとも一部を解決又は緩和する技術的な改善を提供することができる。本発明によれば、動画配信において異なるデータの内容が要求されるシステム間の連携をスムーズに行うことができる。 SUMMARY OF THE INVENTION In accordance with the present invention, technical improvements can be provided that solve or alleviate at least some of the problems of the prior art discussed above. According to the present invention, it is possible to smoothly link systems that require different data contents in video distribution.
初めに、本発明の情報処理システムの概要について図面を参照しながら説明する。 First, the outline of the information processing system of the present invention will be described with reference to the drawings.
本発明の実施形態に係る情報処理システムは、配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する情報処理システムであって、一又は複数のコンピュータプロセッサを備える。 An information processing system according to an embodiment of the present invention is an information processing system that distributes a moving image including animation of a character object generated based on movements of a distribution user, and includes one or more computer processors.
<システム構成>
図1に一例として示されるように、情報処理システム100は、1以上の視聴ユーザ端末200、および、これら視聴ユーザ端末200とネットワーク300を介して接続される、動画の配信スタジオ等に配置された情報処理装置(サポートコンピュータ)400を含むことができる。
<System configuration>
As shown in FIG. 1 as an example, an
また、当該情報処理装置400は、インターネットを介してサーバ装置500(図示せず)と接続され、後述する情報処理装置400で行われるべき処理の一部を当該サーバ装置500で行うものとしてもよい。 Further, the information processing device 400 may be connected to a server device 500 (not shown) via the Internet, and the server device 500 may perform part of the processing to be performed by the information processing device 400, which will be described later. .
本明細書において、かかる情報処理システム100による配信を、スタジオ配信と呼ぶものとする。
In this specification, such distribution by the
スタジオ配信において、配信ユーザ(アクター)の全身の動きは、配信ユーザに取り付けられたマーカをスタジオに備え付けられたカメラで撮影し、既知のモーションキャプチャ技術を用いてリアルタイムでキャラクタに反映させるものとする。 In studio distribution, the movement of the whole body of the distribution user (actor) shall be captured by the camera installed in the studio with the marker attached to the distribution user, and shall be reflected in the character in real time using known motion capture technology. .
また、本発明の情報処理システム100は、図2に一例として示される別の情報処理システム10と連携することができる。図2に示される情報処理システム10は、配信ユーザ端末20、1以上の視聴ユーザ端末30、および、これら配信ユーザ端末20および視聴ユーザ端末30とネットワーク40を介して接続される情報処理装置(サーバ装置)50を含むことができる。
Also, the
上記の例において、配信ユーザ端末20はスマートフォン等の情報処理端末とすることができる。本明細書において、かかる情報処理システム10による配信を、モバイル配信と呼ぶものとする。
In the above example, the
モバイル配信において、配信ユーザの顔の動きは、配信ユーザの顔を配信ユーザの情報処理端末が備えるカメラで撮影し、既知のフェイストラッキング技術を用いてリアルタイムでキャラクタの顔に反映させるものとする。 In mobile distribution, the movement of the distribution user's face is captured by the camera of the distribution user's information processing terminal, and is reflected in the character's face in real time using known face tracking technology.
上記情報処理システム100および情報処理システム10により生成される動画は、一例として、一の動画配信プラットフォームから、視聴ユーザへ配信することができる。
The moving images generated by the
ここで、一例として、一般の配信ユーザは、上記動画配信プラットフォームにおいて、情報処理システム10によるモバイル配信を行うことのみが許可されているものとする。図3に示すように、モバイル配信において配信ユーザのキャラクタは上半身のみが表示され、下半身は表示されない。そのため、必要とされるキャラクタの3Dデータは上半身のデータだけである。
Here, as an example, it is assumed that general distribution users are permitted only to perform mobile distribution by the
なお、ここでいう上半身とは少なくとも脚部を含まないという意味であり、図3に示されるように、腰部や尻部が含まれていてもよい。 The upper half of the body here means that it does not include at least the legs, and may include the waist and buttocks as shown in FIG.
一方、公式の配信ユーザは、上記動画配信プラットフォームにおいて、情報処理システム100によるスタジオ配信を行うことが許可されているものとする。ここでいう公式の配信ユーザとは、動画配信プラットフォームの運営者が定める公式番組に出演するキャラクタのアクターを意味するものとする。
On the other hand, it is assumed that official distribution users are permitted to perform studio distribution using the
図4に示すように、スタジオ配信において配信ユーザのキャラクタは全身が表示される。そのため、必要とされるキャラクタの3Dデータは全身のデータである。 As shown in FIG. 4, the whole body of the distribution user's character is displayed in the studio distribution. Therefore, the required 3D data of the character is full-body data.
なお、本実施形態においては、モバイル配信とスタジオ配信とが共通の動画配信プラットフォームにおいて実現し、これら配信間の連携について説明を行うが、本発明は、別々の動画配信プラットフォームにおける配信間の連携についても適用が可能である。かかる場合において、動画の配信形式(例えば、モバイル配信かスタジオ配信か)については何ら限定されない。 In the present embodiment, mobile distribution and studio distribution are realized on a common video distribution platform, and cooperation between these distributions will be explained. can also be applied. In such a case, there are no restrictions on the distribution format of the moving image (for example, whether it is mobile distribution or studio distribution).
ここで、上記動画配信プラットフォームにおいて、一般の配信ユーザがスタジオ配信を行う場合がある。 Here, in the moving image distribution platform, general distribution users may perform studio distribution.
一例として、動画配信プラットフォームの運営者は、一般の配信ユーザに対して、「公式番組デビューイベント」を開催することができる。イベントの内容については説明を省略するが、例えば、視聴ユーザからもらったギフトをイベントスコアに換算して順位を競うイベントとすることができる。そして、この「公式番組デビューイベント」で勝ち抜いたランキング上位3名の一般の配信ユーザのキャラクタは、公式番組に出演する権利(すなわち、スタジオ配信を行う権利)を獲得するものとする。なお、この権利を獲得する配信ユーザの数は3名に限られるものではない。 As an example, an operator of a video distribution platform can hold an "official program debut event" for general distribution users. Although description of the contents of the event is omitted, for example, an event may be held in which gifts received from viewing users are converted into event scores to compete for ranking. The characters of the top three general distribution users who have won the "official program debut event" acquire the right to appear in the official program (that is, the right to perform studio distribution). Note that the number of distribution users who acquire this right is not limited to three.
本実施形態における情報処理システム100では、配信ユーザのイベント成績をデータとして保持し、その上位者についてフラグ付けを行うものとする。そして、公式番組出演に際して必要となる、フラグ付けされた上位者のキャラクタの全身の3Dデータ(後述する第二のアバタ情報)を生成するものとする。
In the
通常、一般の配信ユーザは、スタジオ配信のためのキャラクタの全身の3Dデータが用意されていない。一般の配信ユーザは、予め用意されたキャラクタのパーツ(体型、肌色、髪型等)や装着アイテム(洋服、アクセサリ等)を自由に組み合わせて自身のオリジナルキャラクタの上半身の3Dデータを生成し、これを使用してモバイル配信を行っており、このような多種多様なオリジナルキャラクタの全身の3Dデータを予め用意しておくことは膨大な作業が必要となり現実的ではないためである。 Generally, general distribution users are not prepared with full-body 3D data of characters for studio distribution. General distribution users can freely combine pre-prepared character parts (body shape, skin color, hairstyle, etc.) and wearable items (clothes, accessories, etc.) to generate 3D data of the upper body of their own original character, This is because it is not realistic to prepare 3D data of the entire body of such a wide variety of original characters in advance because it requires a huge amount of work.
そこで、本発明における上記一又は複数のコンピュータプロセッサは、図5に示すように、取得部410と、特定部420と、生成部430とを備える。 Therefore, the one or more computer processors according to the present invention include an acquisition unit 410, an identification unit 420, and a generation unit 430, as shown in FIG.
取得部410は、第一のアバタ情報を取得する。 Acquisition unit 410 acquires first avatar information.
第一のアバタ情報は、キャラクタの第一の部位に関する第一の部位情報を含むものであって、一例として、モバイル配信で求められる内容の3Dデータとする。 The first avatar information includes first part information about the first part of the character, and is, for example, 3D data required for mobile distribution.
キャラクタは、複数の部位で構成されるものとする。キャラクタは、上半身および下半身という2つの部位で構成されてもよいし、頭部、首部、胸部、肩部、腕部、胴部、脚部等のより細かな部位で構成されるものとしてもよい。 A character is assumed to be composed of a plurality of parts. A character may be composed of two parts, an upper body and a lower body, or may be composed of more detailed parts such as a head, neck, chest, shoulders, arms, torso, and legs. .
そして、第一の部位は、上記部位の少なくとも一つの部位とする。また、第一の部位情報は、第一の部位の性別情報、色情報および/またはサイズ情報等を含むものとする。また、第一の部位情報は、第一の部位に関連付けられた装着オブジェクトの情報を含んでもよい。第一の部位に関連付けられた装着オブ得ジェクトとは、洋服、アクセサリおよび/または小物等のアイテムとすることができる。 The first portion is at least one of the above portions. Also, the first part information includes gender information, color information and/or size information of the first part. Also, the first part information may include information on the wearable object associated with the first part. The wearable object associated with the first portion can be items such as clothing, accessories and/or small items.
特定部420は、取得部410により取得された第一の部位情報に基づいて、第二の部位情報を特定する。一例として、第一の部位情報に含まれる性別情報、色情報および/またはサイズ情報に基づいて、同一の性別情報、色情報および/またはサイズ情報を含む第二の部位情報を特定する。第二の部位情報の特定の方法のバリエーションについては後述する。 The specifying unit 420 specifies the second part information based on the first part information acquired by the acquiring unit 410 . As an example, second part information including the same gender information, color information and/or size information is specified based on the sex information, color information and/or size information included in the first part information. A variation of the method of specifying the second part information will be described later.
第二の部位情報は、第一のアバタ情報に含まれないキャラクタの第二の部位に関するものである。また、第二の部位情報は、第二の部位の性別情報、色情報および/またはサイズ情報等を含むものとする。なお、詳細は後述するが、第二の部位情報は、第二の部位に関連付けられた装着オブジェクトの情報を含んでもよい。第二の部位に関連付けられた装着オブジェクトとは、洋服、アクセサリおよび/または小物等のアイテムとすることができる。 The second part information relates to a second part of the character that is not included in the first avatar information. Also, the second part information includes gender information, color information and/or size information of the second part. Although the details will be described later, the second part information may include information on the wearable object associated with the second part. The wearable object associated with the second portion can be items such as clothing, accessories and/or small items.
一例として、第一の部位が上半身である場合には、第二の部位は下半身である。 As an example, if the first part is the upper body, the second part is the lower body.
そして、生成部430は、取得部410により取得された第一の部位情報、および、特定部420により特定された第二の部位情報に基づいて、第二のアバタ情報を生成する。 Generation section 430 then generates second avatar information based on the first part information acquired by acquisition section 410 and the second part information specified by specification section 420 .
一例として、第二のアバタ情報は、上半身に関する情報である第一の部位情報、および、下半身に関する第二の部位情報に基づいて生成されるキャラクタの全身の3Dデータである。そして、一例として、この全身の3Dデータはスタジオ配信で求められる内容の3Dデータである。 As an example, the second avatar information is full-body 3D data of a character generated based on first part information, which is information about the upper half of the body, and second part information, about the lower half of the body. As an example, this whole-body 3D data is 3D data of contents required for studio distribution.
以上の構成によれば、第一のアバタ情報から第二のアバタ情報を自動的に生成することができる。これにより、動画配信において異なるデータの内容が要求されるシステム間の連携をスムーズに行うことができる。 According to the above configuration, the second avatar information can be automatically generated from the first avatar information. This enables smooth cooperation between systems that require different data contents in video distribution.
例えば、上述したようなイベントにおいて、一般の配信ユーザ用のモバイル配信用のキャラクタの上半身の3Dデータから、スタジオ配信用のキャラクタの全身の3Dデータを容易に生成することができるため、配信ユーザおよび/または運営者の作業負担を軽減することができる。 For example, in an event such as the one described above, it is possible to easily generate 3D data of the whole body of a character for studio distribution from 3D data of the upper body of a character for mobile distribution for general distribution users. / Or the operator's work load can be reduced.
また、上述したように、第一のアバタ情報は、所定の情報処理端末が備えるフェイシャルキャプチャ機能により取得される、アクターの顔部のモーション情報に基づいて、少なくとも顔部が動作するアバタを生成するための情報とすることができる。 Further, as described above, the first avatar information generates an avatar in which at least the face moves based on the motion information of the actor's face acquired by the facial capture function provided in the predetermined information processing terminal. information for
同様に、第二のアバタ情報は、所定の情報処理装置が備えるモーションキャプチャ機能により取得される、アクターの全身のモーション情報に基づいて、全身が動作するアバタを生成するための情報とすることができる。 Similarly, the second avatar information may be information for generating an avatar in which the whole body moves, based on motion information of the actor's whole body acquired by a motion capture function of a predetermined information processing device. can.
また、取得部410は、一以上の装着オブジェクト情報が関連付けられた第一の部位情報を含む第一のアバタ情報を取得する。 Acquisition unit 410 also acquires first avatar information including first part information associated with one or more pieces of wearable object information.
図6に示すように、第一のアバタ情報により表示されるキャラクタは、通常は裸ではなく洋服を着用した状態で表示される。第一のアバタ情報が含むのは第一の部位情報に関連付けられた装着オブジェクト情報であるので、第一の部位が上半身である場合には、少なくともトップスの情報を含む。 As shown in FIG. 6, the character displayed by the first avatar information is usually displayed in a state of wearing clothes instead of being naked. Since the first avatar information includes the wearable object information associated with the first part information, it includes at least tops information when the first part is the upper body.
また、第一のアバタ情報は、装着オブジェクト情報として、トップスであるTシャツ、ジャケット、頭部に装着されるカチューシャ、帽子、眼鏡、イヤリング、あるいは、腕部に装着されるブレスレット、時計、指に装着される指輪などを含んでもよい。 The first avatar information is wearable object information such as a T-shirt, a jacket, a headband, a hat, eyeglasses, and earrings worn on the head, or a bracelet, a watch, and a finger worn on the arm. A ring or the like to be worn may also be included.
そして、特定部420は、一以上の装着オブジェクト情報に基づいて、第二の部位に関連付けられる一以上の装着オブジェクト情報を含む第二の部位情報を特定することができる。 Then, the specifying unit 420 can specify second part information including one or more pieces of wearable object information associated with the second part based on one or more pieces of wearable object information.
図7に示すように、第二のアバタ情報により表示されるキャラクタは、通常は裸ではなく洋服を着用した状態で表示される。それ故に、上半身と下半身の装着オブジェクトのコーディネートが重要となる。 As shown in FIG. 7, the character displayed by the second avatar information is normally displayed in a state of wearing clothes instead of being naked. Therefore, it is important to coordinate the wearing objects of the upper body and the lower body.
一例として、あるトップスと対になるボトムスとを対応付けたコーディネート情報を記憶しておき、この情報を用いて、第一の部位に関連付けられる一以上の装着オブジェクト情報に基づいて、第二の部位に関連付けられる一以上の装着オブジェクト情報を決定することができる。 As an example, coordinate information that associates a top with a pair of bottoms is stored, and this information is used to determine the second part based on one or more wearable object information associated with the first part. One or more wearable object information associated with the can be determined.
すなわち、コーディネート情報は、装着オブジェクトと、当該装着オブジェクトとコーディネート可能な他の装着オブジェクトと対応付けて管理するものである。なお、この対応付けは一対一の関係であってもでもよいし、一対複数、複数対複数の関係であってもよい。 That is, the coordination information is managed by associating the wearable object with other wearable objects that can be coordinated with the wearable object. Note that this correspondence may be a one-to-one relationship, a one-to-multiple relationship, or a multiple-to-multiple relationship.
対応付けが一対一である場合には、特定部420は、取得部410により取得された第一の部位情報と対になる第二の部位情報を特定することができる。 When the correspondence is one-to-one, the specifying unit 420 can specify the second part information paired with the first part information acquired by the acquiring unit 410 .
これは、トップスとボトムスがセパレートされないワンピース、浴衣、水着、サロペットの洋服、トップスとボトムスが上下セットである制服やスーツなどの場合に有効な特定方法である。 This is an effective identification method for one-piece dresses, yukata, swimsuits, salopettes, and uniforms and suits in which the tops and bottoms are a set of tops and bottoms.
また、対応付けが一対複数または複数対複数の場合には、特定部420は、取得部410により取得された第一の部位情報と対応付けられた第二の部位情報を特定することができる。 Further, when the correspondence is one-to-many or many-to-many, the specifying unit 420 can specify the second part information associated with the first part information acquired by the acquiring unit 410 .
例えば、トップスAにはボトムスa,ボトムスb,ボトムスc,ボトムスdが対応付けられる。このとき、これら複数のボトムスにはトップスAとのコーディネートポイントが定められていてもよい。図8は、本発明の情報処理システム100が備える記憶部または外部の記憶装置が備える装着オブジェクトとコーディネートポイントのデータテーブルを示したものである。
For example, tops A are associated with bottoms a, bottoms b, bottoms c, and bottoms d. At this time, coordination points with tops A may be determined for these bottoms. FIG. 8 shows a data table of wearable objects and coordination points provided in a storage unit or an external storage device provided in the
このように、一の装着オブジェクトに複数の装着オブジェクトが対応付けられる場合には、コーディネートポイントにより優先度を定め、最上位の装着オブジェクトが決定され、この装着オブジェクトが関連付けられた第二の部位情報が特定されるものとしてもよい。最上位の装着オブジェクトが複数ある場合には、ランダムで一の装着オブジェクトが決定されるものとしてもよい。 In this way, when a plurality of wearable objects are associated with one wearable object, the priority is determined according to the coordination points, the top wearable object is determined, and the second part information associated with this wearable object is determined. may be specified. If there are a plurality of topmost mountable objects, one mountable object may be determined at random.
また、対応付けが一対複数または複数対複数の場合には、特定部420は、第一の部位情報に対応付けられた一以上の第二の部位情報を抽出し、当該抽出された一以上の第二の部位情報に対するユーザの選択情報に基づいて、一の第二の部位情報を特定することができる。 Further, when the correspondence is one-to-many or multi-to-many, the identifying unit 420 extracts one or more second part information associated with the first part information, One second part information can be specified based on the user's selection information for the second part information.
例えば、図8の例では、複数のボトムスのそれぞれが関連付けられた第二の部位情報の全てが情報処理端末の表示画面に表示され、表示された中からユーザが一の第二の部位情報を選択するものであってもよい。
For example, in the example of FIG. 8, all of the second part information associated with each of the plurality of bottoms is displayed on the display screen of the information processing terminal, and the user selects one of the displayed second part information. may be selected.
ここでいうユーザは、アクターである配信ユーザまたは運営者とすることができる。 The user here can be a distribution user or an operator who is an actor.
これにより、ユーザは複数提示されたボトムスの中から好みのボトムスを装着した下半身を選ぶことができるようになり、キャラクタのコーディネートの自由度を高めることができる。 As a result, the user can select the lower half of the body wearing the desired bottoms from among the plurality of bottoms presented, and the degree of freedom in coordinating the character can be increased.
また、第一の部位情報に複数の装着オブジェクトが関連付けられている場合には、装着オブジェクトの予め定められた優先度に基づいて、第二の部位情報を特定することができる。図9は、本発明の情報処理システム100が備える記憶部または外部の記憶装置が備える、装着オブジェクトの優先度のデータテーブルを示したものである。
Further, when a plurality of wearable objects are associated with the first site information, the second site information can be specified based on the predetermined priority of the wearable objects. FIG. 9 shows a data table of priority of mounted objects, which is provided in the storage unit or the external storage device provided in the
図9の例では、複数の装着オブジェクトの中で最も優先度の高いトップスに対応付けられたボトムスが関連付けられた第二の部位情報が特定される。この優先度は、装着オブジェクトのキャラクタのコーディネートに与える印象の度合いに基づいて定められることができる。 In the example of FIG. 9, the second part information associated with the bottoms associated with the tops with the highest priority among the plurality of wearable objects is identified. This priority can be determined based on the degree of impression given to the coordination of the character of the wearable object.
また、本発明の情報処理システム100は、図10に示されるように、さらに、種類取得部440を備えることができる。
In addition, the
種類取得部440は、キャラクタが番組に出演する際に要求されるアバタ情報の種類を取得するものである。 The type acquisition unit 440 acquires the type of avatar information requested when a character appears in a program.
アバタ情報の種類とは、アバタ情報のデータ形式の種類などとすることができる。データ形式は、VRアプリケーション向けの人型3Dアバタ(3Dモデル)データを扱うためのファイルフォーマットであるVRMと呼ばれるファイルフォーマットの形式とすることができる。 The type of avatar information can be the type of data format of the avatar information. The data format can be a file format called VRM, which is a file format for handling humanoid 3D avatar (3D model) data for VR applications.
そして、種類取得部440により取得された種類が第二のアバタ情報の種類である場合に、生成部430が第二のアバタ情報を生成することができる。 Then, when the type acquired by the type acquisition unit 440 is the type of the second avatar information, the generation unit 430 can generate the second avatar information.
上記では、第一のアバタ情報の種類のうち、データ形式の種類は同一であるものとして説明を行った。すなわち、第二のアバタ情報は、第一のアバタ情報に不足している情報を生成するだけで生成されるものである。そのため、種類取得部440は、要求されるアバタ情報の種類が、本発明により生成可能な第二のアバタ情報の種類(データ形式)であることを確認し、第二のアバタ情報を生成することができる。 In the above explanation, it is assumed that the types of data format among the types of the first avatar information are the same. That is, the second avatar information is generated only by generating the missing information in the first avatar information. Therefore, the type obtaining unit 440 confirms that the type of requested avatar information is the type (data format) of the second avatar information that can be generated according to the present invention, and generates the second avatar information. can be done.
また、本発明の情報処理システム100は、さらに、判断部450を備えることができる。
Moreover, the
判断部450は、第二のアバタ情報が既に生成されているか否かを判断するものである。 The determination unit 450 determines whether or not the second avatar information has already been generated.
そして、判断部450による判断の結果、第二のアバタ情報が未だ生成されていない場合であって、種類取得部440により取得された種類が第二のアバタ情報の種類である場合に、生成部430が第二のアバタ情報を生成することができる。 Then, as a result of determination by the determination unit 450, if the second avatar information has not yet been generated and the type acquired by the type acquisition unit 440 is the type of the second avatar information, the generation unit 430 can generate the second avatar information.
以上、記載した実施形態によれば、一例としてVRMを利用して、モバイル配信で利用しているアバタ(上半身のみ)に基づいて、スタジオ配信用の全身アバタを自動的に生成することで、ユーザの手間をかけずスムーズにスタジオ配信(例えば公式番組)へ対応することができる。 According to the embodiments described above, using VRM as an example, the full-body avatar for studio distribution is automatically generated based on the avatar (upper body only) used for mobile distribution, thereby enabling the user to You can smoothly respond to studio distribution (for example, official programs) without the hassle of
例えば、上半身のアバタデータからその他のパーツのアバタ情報を自動的に決定したり、上半身のアバタデータにマッチする他のパーツのアバタ情報の候補をプレイヤーに提示したりしても良い。これにより、スタジオ配信とモバイル配信の両方に対応しているVtuberアプリケーションへの活用が期待される。 For example, avatar information for other parts may be automatically determined from the avatar data for the upper body, or candidates for avatar information for other parts that match the avatar data for the upper body may be presented to the player. As a result, it is expected to be used for Vtuber applications that support both studio distribution and mobile distribution.
<ハードウェア構成>
ここで、図11を用いて、情報処理システム100に含まれる情報処理装置400のハードウェア構成について説明する。情報処理装置400は、プロセッサ401と、メモリ402と、ストレージ403と、入出力インタフェース(入出力I/F)404と、通信インタフェース(通信I/F)405とを含む。各構成要素は、バスBを介して相互に接続される。
<Hardware configuration>
Here, the hardware configuration of the information processing device 400 included in the
情報処理装置400は、プロセッサ401と、メモリ402と、ストレージ403と、入出力I/F404と、通信I/F405との協働により、本実施形態に記載される機能、方法を実現することができる。 The information processing apparatus 400 can implement the functions and methods described in this embodiment through cooperation of the processor 401, memory 402, storage 403, input/output I/F 404, and communication I/F 405. can.
プロセッサ401は、ストレージ403に記憶されるプログラムに含まれるコード又は命令によって実現する機能、及び/又は、方法を実行する。プロセッサ401は、例えば、中央処理装置(CPU)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、マイクロプロセッサ(microprocessor)、プロセッサコア(processor core)、マルチプロセッサ(multiprocessor)、ASIC(Application-Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等を含み、集積回路(IC(Integrated Circuit)チップ、LSI(Large Scale Integration))等に形成された論理回路(ハードウェア)や専用回路によって各実施形態に開示される各処理を実現してもよい。また、これらの回路は、1又は複数の集積回路により実現されてよく、各実施形態に示す複数の処理を1つの集積回路により実現されることとしてもよい。また、LSIは、集積度の違いにより、VLSI、スーパーLSI、ウルトラLSI等と呼称されることもある。 Processor 401 executes functions and/or methods implemented by codes or instructions contained in programs stored in storage 403 . The processor 401 is, for example, a central processing unit (CPU), MPU (Micro Processing Unit), GPU (Graphics Processing Unit), microprocessor, processor core, multiprocessor, ASIC (Application- Specific Integrated Circuit), FPGA (Field Programmable Gate Array), etc., implemented by logic circuits (hardware) and dedicated circuits formed in integrated circuits (IC (Integrated Circuit) chip, LSI (Large Scale Integration)), etc. Each process disclosed in the form may be implemented. Also, these circuits may be implemented by one or more integrated circuits, and multiple processes shown in each embodiment may be implemented by one integrated circuit. LSIs are also called VLSIs, super LSIs, ultra LSIs, etc., depending on the degree of integration.
メモリ402は、ストレージ403からロードしたプログラムを一時的に記憶し、プロセッサ401に対して作業領域を提供する。メモリ402には、プロセッサ401がプログラムを実行している間に生成される各種データも一時的に格納される。メモリ402は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)等を含む。 The memory 402 temporarily stores programs loaded from the storage 403 and provides a work area for the processor 401 . The memory 402 also temporarily stores various data generated while the processor 401 is executing the program. The memory 402 includes, for example, RAM (Random Access Memory), ROM (Read Only Memory), and the like.
ストレージ403は、プログラムを記憶する。ストレージ403は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリ等を含む。 The storage 403 stores programs. The storage 403 includes, for example, a HDD (Hard Disk Drive), SSD (Solid State Drive), flash memory, and the like.
通信I/F405は、ネットワークアダプタ等のハードウェアや通信用ソフトウェア、及びこれらの組み合わせとして実装され、ネットワーク600を介して各種データの送受信を行う。当該通信は、有線、無線のいずれで実行されてもよく、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。通信I/F405は、ネットワーク600を介して、他の情報処理装置との通信を実行する。通信I/F405は、各種データをプロセッサ401からの指示に従って、他の情報処理装置に送信する。また、通信I/F405は、他の情報処理装置から送信された各種データを受信し、プロセッサ401に伝達する。 The communication I/F 405 is implemented as hardware such as a network adapter, communication software, or a combination thereof, and transmits and receives various data via the network 600 . The communication may be performed by wire or wirelessly, and any communication protocol may be used as long as mutual communication can be performed. Communication I/F 405 communicates with other information processing apparatuses via network 600 . Communication I/F 405 transmits various data to other information processing apparatuses according to instructions from processor 401 . Communication I/F 405 also receives various data transmitted from other information processing apparatuses and transmits the data to processor 401 .
入出力I/F404は、情報処理装置400に対する各種操作を入力する入力装置、及び、情報処理装置400で処理された処理結果を出力する出力装置を含む。入出力I/F404は、入力装置と出力装置が一体化していてもよいし、入力装置と出力装置とに分離していてもよい。 The input/output I/F 404 includes an input device for inputting various operations to the information processing device 400 and an output device for outputting processing results processed by the information processing device 400 . The input/output I/F 404 may be integrated with the input device and the output device, or may be separated into the input device and the output device.
入力装置は、ユーザからの入力を受け付けて、当該入力に係る情報をプロセッサ401に伝達できる全ての種類の装置のいずれか、又は、その組み合わせにより実現される。入力装置は、例えば、タッチパネル、タッチディスプレイ、キーボード等のハードウェアキーや、マウス等のポインティングデバイス、カメラ(画像を介した操作入力)、マイク(音声による操作入力)を含む。 The input device is realized by any one or a combination of all kinds of devices capable of receiving input from the user and transmitting information related to the input to the processor 401 . The input device includes, for example, hardware keys such as a touch panel, a touch display, and a keyboard, a pointing device such as a mouse, a camera (operation input via images), and a microphone (operation input by voice).
出力装置は、プロセッサ401で処理された処理結果を出力する。出力装置は、例えば、タッチパネル、スピーカ等を含む。なお、視聴ユーザ端末200も特筆すべき場合を除き、図11と同様のハードウェア構成で構成されることができる。
The output device outputs the processing result processed by the processor 401 . The output device includes, for example, a touch panel, a speaker, and the like. Note that the
続いて、本発明の実施形態に係る情報処理方法の一例について説明する。 Next, an example of an information processing method according to an embodiment of the present invention will be described.
本発明の情報処理方法は、図12に示されるように、配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する情報処理システムにおける情報処理方法であって、一又は複数のコンピュータプロセッサに、取得ステップS110と、特定ステップS120と、生成ステップS130とを実行させる。 An information processing method of the present invention, as shown in FIG. 12, is an information processing method in an information processing system that distributes moving images including animation of a character object generated based on the movement of a distribution user. computer processor to perform an acquisition step S110, an identification step S120, and a generation step S130.
取得ステップS110は、キャラクタの第一の部位に関する第一の部位情報を含む第一のアバタ情報を取得する。取得ステップS110は、上述した取得部410により実行されることができる。 An obtaining step S110 obtains first avatar information including first part information about a first part of the character. Acquisition step S110 can be performed by the acquisition unit 410 described above.
特定ステップS120は、取得ステップにおいて取得された第一の部位情報に基づいて、第一のアバタ情報に含まれないキャラクタの第二の部位に関する第二の部位情報を特定する。特定ステップS120は、上述した特定部420により実行されることができる。 A specifying step S120 specifies second part information related to a second part of the character not included in the first avatar information, based on the first part information acquired in the acquiring step. The identifying step S120 may be performed by the identifying unit 420 described above.
生成ステップS130は、取得ステップにおいて取得された第一の部位情報、および、特定ステップにおいて特定された第二の部位情報に基づいて、第二のアバタ情報を生成する。生成ステップS130は、上述した生成部430により実行されることができる。 A generating step S130 generates second avatar information based on the first part information acquired in the acquiring step and the second part information specified in the specifying step. The generation step S130 can be performed by the generation unit 430 described above.
以上の構成によれば、第一のアバタ情報から第二のアバタ情報を自動的に生成することができる。これにより、動画配信において異なるデータの内容が要求されるシステム間の連携をスムーズに行うことができる。 According to the above configuration, the second avatar information can be automatically generated from the first avatar information. This enables smooth cooperation between systems that require different data contents in video distribution.
最後に、本発明のコンピュータプログラムについて説明を行う。 Finally, the computer program of the present invention will be explained.
本発明のコンピュータプログラムは、配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信するためのコンピュータプログラムであって、一又は複数のコンピュータプロセッサに、取得機能と、特定機能と、生成機能とを実現させる。 A computer program of the present invention is a computer program for distributing a moving image including an animation of a character object generated based on movements of a distributing user, wherein one or more computer processors are provided with an acquisition function, a specific function, and , to realize the generation function.
取得機能は、キャラクタの第一の部位に関する第一の部位情報を含む第一のアバタ情報を取得する。 The acquisition function acquires first avatar information including first part information about a first part of the character.
特定機能は、取得機能により取得された第一の部位情報に基づいて、第一のアバタ情報に含まれないキャラクタの第二の部位に関する第二の部位情報を特定する。 The specifying function specifies second part information related to the second part of the character not included in the first avatar information, based on the first part information acquired by the acquiring function.
生成機能は、取得機能により取得された第一の部位情報、および、特定機能により特定された第二の部位情報に基づいて、第二のアバタ情報 を生成する。 The generating function generates second avatar information based on the first part information acquired by the acquiring function and the second part information specified by the specifying function.
上記取得機能、特定機能および生成機能は、図13に示す取得回路1410、特定回路1420および生成回路1430により実現されることができる。取得回路1410、特定回路1420および生成回路1430は、それぞれ上述した取得部410、特定部420および生成部430により実現されるものとする。各部の詳細については上述したとおりである。 The acquisition function, identification function and generation function described above can be realized by the acquisition circuit 1410, the identification circuit 1420 and the generation circuit 1430 shown in FIG. Acquisition circuit 1410, identification circuit 1420, and generation circuit 1430 are realized by acquisition unit 410, identification unit 420, and generation unit 430 described above, respectively. The details of each part are as described above.
以上の構成によれば、第一のアバタ情報から第二のアバタ情報を自動的に生成することができる。これにより、動画配信において異なるデータの内容が要求されるシステム間の連携をスムーズに行うことができる。 According to the above configuration, the second avatar information can be automatically generated from the first avatar information. This enables smooth cooperation between systems that require different data contents in video distribution.
また、上述した実施形態に係るサーバ装置又は端末装置として機能させるために、コンピュータ又は携帯電話などの情報処理装置を好適に用いることができる。このような情報処理装置は、実施形態に係るサーバ装置又は端末装置の各機能を実現する処理内容を記述したプログラムを、情報処理装置の記憶部に格納し、情報処理装置のCPUによって当該プログラムを読み出して実行させることによって実現可能である。 Further, an information processing device such as a computer or a mobile phone can be preferably used to function as the server device or the terminal device according to the above-described embodiments. Such an information processing device stores a program describing processing details for realizing each function of the server device or the terminal device according to the embodiment in the storage unit of the information processing device, and executes the program by the CPU of the information processing device. It can be realized by reading and executing.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 While several embodiments of the invention have been described, these embodiments have been presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and modifications can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the scope of the invention described in the claims and equivalents thereof.
また、実施形態に記載した手法は、計算機(コンピュータ)に実行させることができるプログラムとして、例えば磁気ディスク(フロッピー(登録商標)ディスク、ハードディスク等)、光ディスク(CD-ROM、DVD、MO等)、半導体メモリ(ROM、RAM、フラッシュメモリ等)等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウェア手段(実行プログラムのみならずテーブルやデータ構造も含む)を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウェア手段を構築し、このソフトウェア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。記憶部は、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。
[付記]
以下に、本願の原出願の出願当初の請求項を付記する。
[1]配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信するためのコンピュータプログラムであって、一又は複数のコンピュータプロセッサに、
キャラクタの第一の部位に関する第一の部位情報を含む第一のアバタ情報を取得する取得機能と、
前記取得機能により取得された前記第一の部位情報に基づいて、前記第一のアバタ情報に含まれない前記キャラクタの第二の部位に関する第二の部位情報を特定する特定機能と、
前記取得機能により取得された前記第一の部位情報、および、前記特定機能により特定された前記第二の部位情報に基づいて、第二のアバタ情報を生成する生成機能と
を実現させる、コンピュータプログラム。
[2]前記特定機能は、前記第一の部位情報に対応付けられた一以上の第二の部位情報を抽出し、当該抽出された一以上の第二の部位情報に対するユーザの選択情報に基づいて、一の第二の部位情報を特定することを特徴とする上記[1]に記載のコンピュータプログラム。
[3]前記取得機能は、一以上の装着オブジェクト情報が関連付けられた第一の部位情報を含む第一のアバタ情報を取得し、
前記特定機能は、前記一以上の装着オブジェクト情報に基づいて、前記第二の部位に関連付けられる一以上の装着オブジェクト情報を含む前記第二の部位情報を特定することを特徴とする上記[1]または[2]に記載のコンピュータプログラム。
[4]前記第一のアバタ情報は、所定の情報処理端末が備えるフェイシャルキャプチャ機能により取得される、アクターの顔部のモーション情報に基づいて、少なくとも顔部が動作するアバタを生成するための情報であることを特徴とする上記[1]から[3]のいずれか一に記載のコンピュータプログラム。
[5]前記第二のアバタ情報は、所定の情報処理装置が備えるモーションキャプチャ機能により取得される、アクターの全身のモーション情報に基づいて、全身が動作するアバタを生成するための情報であることを特徴とする上記[1]から[4]のいずれか一に記載のコンピュータプログラム。
[6]一又は複数のコンピュータに、さらに、
前記キャラクタが番組に出演する際に要求されるアバタ情報の種類を取得する種類取得機能
を実現させ、
前記種類取得機能により取得された種類が前記第二のアバタ情報の種類である場合に、前記生成機能が前記第二のアバタ情報を生成することを特徴とする上記[1]から[5]のいずれか一項に記載のコンピュータプログラム。
[7]一又は複数のコンピュータに、さらに、
前記第二のアバタ情報が既に生成されているか否かを判断する判断機能
を実現させ、
前記判断機能による判断の結果、前記第二のアバタ情報が未だ生成されていない場合であって、前記種類取得機能により取得された種類が第二のアバタ情報の種類である場合に、前記生成機能が前記第二のアバタ情報を生成することを特徴とする上記[6]に記載のコンピュータプログラム。
[8]前記特定機能は、前記取得機能により取得された前記第一の部位情報と対になる前記第二の部位情報を特定することを特徴とする上記[1]から[7]のいずれか一に記載のコンピュータプログラム。
[9]配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信するための情報処理方法であって、一又は複数のコンピュータプロセッサに、
キャラクタの第一の部位に関する第一の部位情報を含む第一のアバタ情報を取得する取得ステップと、
前記取得ステップにおいて取得された前記第一の部位情報に基づいて、前記第一のアバタ情報に含まれない前記キャラクタの第二の部位に関する第二の部位情報を特定する特定ステップと、
前記取得ステップにおいて取得された前記第一の部位情報、および、前記特定ステップにおいて特定された前記第二の部位情報に基づいて、第二のアバタ情報を生成する生成ステップと
を実行させる、情報処理方法。
[10]配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する情報処理システムであって、一又は複数のコンピュータプロセッサを備え、
前記一又は複数のコンピュータプロセッサは、
キャラクタの第一の部位に関する第一の部位情報を含む第一のアバタ情報を取得する取得部と、
前記取得部が取得した前記第一の部位情報に基づいて、前記第一のアバタ情報に含まれない前記キャラクタの第二の部位に関する第二の部位情報を特定する特定部と、
前記取得部が取得し前記第一の部位情報、および、前記特定部が特定し前記第二の部位情報に基づいて、第二のアバタ情報を生成する生成部と
を備える情報処理システム。
Further, the method described in the embodiment can be executed by a computer (computer), for example, magnetic disk (floppy (registered trademark) disk, hard disk, etc.), optical disk (CD-ROM, DVD, MO, etc.), It can be stored in a recording medium such as a semiconductor memory (ROM, RAM, flash memory, etc.), or can be transmitted and distributed via a communication medium. The programs stored on the medium also include a setting program for configuring software means (including not only execution programs but also tables and data structures) to be executed by the computer. A computer that realizes this apparatus reads a program recorded on a recording medium, and in some cases, builds software means by a setting program, and executes the above-described processes by controlling the operation by this software means. The term "recording medium" as used herein is not limited to those for distribution, and includes storage media such as magnetic disks and semiconductor memories provided in computers or devices connected via a network. The storage unit may function, for example, as a main storage device, an auxiliary storage device, or a cache memory.
[Appendix]
The claims as originally filed in the original application of this application are appended below.
[1] A computer program for distributing a moving image including animation of a character object generated based on movement of a distributing user, comprising:
an acquisition function for acquiring first avatar information including first part information about a first part of a character;
a specifying function for specifying second part information related to a second part of the character not included in the first avatar information, based on the first part information acquired by the acquiring function;
A computer program for realizing a generating function of generating second avatar information based on the first part information acquired by the acquiring function and the second part information specified by the specifying function. .
[2] The specifying function extracts one or more second part information associated with the first part information, and based on the user's selection information for the extracted one or more second part information The computer program according to [1] above, characterized in that the one second part information is specified by
[3] The acquisition function acquires first avatar information including first part information associated with one or more wearable object information,
[1] above, wherein the specifying function specifies the second part information including one or more pieces of wearable object information associated with the second part, based on the one or more pieces of wearable object information. Or the computer program according to [2].
[4] The first avatar information is information for generating an avatar in which at least the face moves, based on motion information of the actor's face acquired by a facial capture function provided in a predetermined information processing terminal. The computer program according to any one of [1] to [3] above, characterized in that:
[5] The second avatar information is information for generating an avatar in which the whole body moves based on motion information of the actor's whole body acquired by a motion capture function provided in a predetermined information processing device. The computer program according to any one of [1] to [4], characterized by:
[6] to one or more computers, further
realizing a type acquisition function for acquiring the type of avatar information required when the character appears in a program;
[1] to [5] above, wherein the generating function generates the second avatar information when the type obtained by the type obtaining function is the type of the second avatar information. A computer program according to any one of the clauses.
[7] to one or more computers, further
realizing a judgment function for judging whether the second avatar information has already been generated;
When the second avatar information has not yet been generated as a result of the determination by the determination function and the type acquired by the type acquisition function is the type of the second avatar information, the generation function generates the second avatar information, the computer program according to [6] above.
[8] Any one of [1] to [7] above, wherein the specifying function specifies the second part information paired with the first part information acquired by the acquiring function. 1. The computer program according to 1.
[9] An information processing method for distributing a moving image including animation of a character object generated based on movement of a distributing user, comprising:
an obtaining step of obtaining first avatar information including first part information about a first part of a character;
a specifying step of specifying second part information relating to a second part of the character not included in the first avatar information, based on the first part information obtained in the obtaining step;
a generating step of generating second avatar information based on the first part information obtained in the obtaining step and the second part information identified in the identifying step; Method.
[10] An information processing system for distributing a moving image including animation of a character object generated based on movement of a distributing user, comprising one or more computer processors,
The one or more computer processors are
an acquisition unit that acquires first avatar information including first part information about a first part of a character;
a specifying unit that specifies second part information related to a second part of the character that is not included in the first avatar information, based on the first part information acquired by the acquiring unit;
An information processing system, comprising: a generating unit that generates second avatar information based on the first part information acquired by the acquiring unit and the second part information specified by the specifying unit.
100 情報処理システム
200 視聴ユーザ端末
300 ネットワーク
400 情報処理装置
410 取得部
420 特定部
430 生成部
440 種類取得部
450 判断部
100
Claims (12)
第一の配信形式において要求されるキャラクタのデータである第一のアバタ情報を取得する取得機能と、
前記取得機能により取得された前記第一のアバタ情報に基づいて、第二の配信形式において要求される第二のアバタ情報を生成するのに必要な要求情報を特定する特定機能と、
前記取得機能により取得された前記第一のアバタ情報、および、前記特定機能により特定された前記要求情報に基づいて、前記第二のアバタ情報を生成する生成機能と
を実現させ、
前記要求情報は、前記第一のアバタ情報から前記第二のアバタ情報を生成するために必要な追加の情報であり、前記第二のアバタ情報は、前記第一のアバタ情報よりも情報量が多い、コンピュータプログラム。 A computer program for distributing a moving image containing animation of a character object, comprising:
an acquisition function for acquiring first avatar information, which is character data required in the first distribution format;
a specifying function for specifying request information necessary to generate second avatar information requested in a second delivery format based on the first avatar information acquired by the acquiring function;
realizing a generating function for generating the second avatar information based on the first avatar information acquired by the acquiring function and the request information specified by the specifying function ;
The request information is additional information necessary to generate the second avatar information from the first avatar information, and the second avatar information has a larger amount of information than the first avatar information. many computer programs.
前記第二の配信形式はスタジオ配信の形式であることを特徴とする請求項1に記載のコンピュータプログラム。 the first delivery format is a mobile delivery format,
A computer program product as recited in claim 1, wherein the second distribution format is a studio distribution format.
前記第二の配信形式は、前記第一の動画配信プラットフォームとは異なり、かつ、当該第一の動画配信プラットフォームと連携可能な第二の動画配信プラットフォームにおける配信形式であることを特徴とする請求項1または2に記載のコンピュータプログラム。 The first distribution format is a distribution format in the first video distribution platform,
3. The second distribution format is a distribution format in a second video distribution platform that is different from the first video distribution platform and can cooperate with the first video distribution platform. 3. The computer program according to 1 or 2.
前記特定機能は、前記一以上の装着オブジェクト情報に基づいて、一以上の装着オブジェクト情報を含む前記要求情報を特定することを特徴とする請求項1、2または3に記載のコンピュータプログラム。 The acquisition function acquires first avatar information including one or more wearable object information,
4. The computer program according to claim 1, 2 or 3, wherein the specifying function specifies the request information including one or more pieces of wearable object information based on the one or more pieces of wearable object information.
前記キャラクタオブジェクトの生成に要求されるアバタ情報の種類を取得する種類取得機能と、
前記種類取得機能により取得された種類のアバタ情報が既に生成されているか否かを確認する確認機能と、
を実現させ、
前記特定機能は、前記確認機能による判断の結果、前記アバタ情報が未だ生成されていない場合に、前記取得機能により取得された前記第一のアバタ情報に基づいて、前記要求情報を特定し、
前記生成機能は、前記取得機能により取得された前記第一のアバタ情報、および、前記特定機能により特定された前記要求情報に基づいて、前記種類取得機能により取得された種類と同種の前記第二のアバタ情報を生成する請求項1から4のいずれか一項に記載のコンピュータプログラム。 The one or more computer processors further comprising:
a type acquisition function for acquiring the type of avatar information required to generate the character object;
a confirmation function for confirming whether or not the type of avatar information acquired by the type acquisition function has already been generated;
to realize
The specifying function specifies the requested information based on the first avatar information acquired by the acquiring function when the avatar information has not yet been generated as a result of determination by the confirming function,
The generating function, based on the first avatar information obtained by the obtaining function and the request information specified by the specifying function, generates the second avatar of the same type as the type obtained by the type obtaining function. 5. A computer program as claimed in any one of claims 1 to 4 for generating avatar information for:
第一の配信形式において要求されるキャラクタのデータである第一のアバタ情報を取得する取得ステップと、
前記取得ステップにおいて取得された前記第一のアバタ情報に基づいて、第二の配信形式において要求される第二のアバタ情報を生成するのに必要な要求情報を特定する特定ステップと、
前記取得ステップにおいて取得された前記第一のアバタ情報、および、前記特定ステップにおいて特定された前記要求情報に基づいて、前記第二のアバタ情報を生成する生成ステップと
を実行させ、
前記要求情報は、前記第一のアバタ情報から前記第二のアバタ情報を生成するために必要な追加の情報であり、前記第二のアバタ情報は、前記第一のアバタ情報よりも情報量が多い、情報処理方法。 An information processing method for distributing a moving image including animation of a character object, comprising:
an acquisition step of acquiring first avatar information, which is character data required in the first delivery format;
a specifying step of specifying request information necessary to generate the second avatar information requested in the second delivery format based on the first avatar information acquired in the acquiring step;
a generating step of generating the second avatar information based on the first avatar information acquired in the acquiring step and the request information specified in the specifying step ;
The request information is additional information necessary to generate the second avatar information from the first avatar information, and the second avatar information has a larger amount of information than the first avatar information. Many ways of processing information.
前記一又は複数のコンピュータプロセッサは、
第一の配信形式において要求されるキャラクタのデータである第一のアバタ情報を取得する取得部と、
前記取得部が取得した前記第一のアバタ情報に基づいて、第二の配信形式において要求される第二のアバタ情報を生成するのに必要な要求情報を特定する特定部と、
前記取得部が取得した前記第一のアバタ情報、および、前記特定部が特定した前記要求情報に基づいて、前記第二のアバタ情報を生成する生成部と
を備え、
前記要求情報は、前記第一のアバタ情報から前記第二のアバタ情報を生成するために必要な追加の情報であり、前記第二のアバタ情報は、前記第一のアバタ情報よりも情報量が多い、情報処理システム。
An information processing system for distributing moving images containing animation of character objects, comprising one or more computer processors,
The one or more computer processors are
an acquisition unit for acquiring first avatar information, which is character data required in the first distribution format;
a specifying unit that specifies request information necessary to generate second avatar information requested in a second distribution format based on the first avatar information acquired by the acquiring unit;
a generating unit that generates the second avatar information based on the first avatar information acquired by the acquiring unit and the request information specified by the specifying unit ;
The request information is additional information necessary to generate the second avatar information from the first avatar information, and the second avatar information has a larger amount of information than the first avatar information. Many information processing systems.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020072537A JP7220173B2 (en) | 2020-04-14 | 2020-04-14 | Computer program, information processing method and information processing system |
| JP2023011553A JP7629610B6 (en) | 2020-04-14 | 2023-01-30 | Computer program, information processing method, and information processing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020072537A JP7220173B2 (en) | 2020-04-14 | 2020-04-14 | Computer program, information processing method and information processing system |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019113999A Division JP6692481B1 (en) | 2019-06-19 | 2019-06-19 | Computer program, information processing method, and information processing system |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023011553A Division JP7629610B6 (en) | 2020-04-14 | 2023-01-30 | Computer program, information processing method, and information processing system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021002327A JP2021002327A (en) | 2021-01-07 |
| JP7220173B2 true JP7220173B2 (en) | 2023-02-09 |
Family
ID=73995271
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020072537A Active JP7220173B2 (en) | 2020-04-14 | 2020-04-14 | Computer program, information processing method and information processing system |
| JP2023011553A Active JP7629610B6 (en) | 2020-04-14 | 2023-01-30 | Computer program, information processing method, and information processing system |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023011553A Active JP7629610B6 (en) | 2020-04-14 | 2023-01-30 | Computer program, information processing method, and information processing system |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7220173B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008537824A (en) | 2005-04-08 | 2008-09-25 | エヌエイチエヌ コーポレーション | AVATAR PROVIDING SYSTEM AND METHOD THEREOF VARIABLE EXPOSED SITE |
| JP2015184689A (en) | 2014-03-20 | 2015-10-22 | 株式会社Mugenup | Moving image generation device and program |
| JP6491388B1 (en) | 2018-08-28 | 2019-03-27 | グリー株式会社 | Video distribution system, video distribution method, and video distribution program for live distribution of a video including animation of a character object generated based on the movement of a distribution user |
| JP6526898B1 (en) | 2018-11-20 | 2019-06-05 | グリー株式会社 | Video distribution system, video distribution method, and video distribution program |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009279152A (en) | 2008-05-21 | 2009-12-03 | Sega Corp | Game system |
| JP4977742B2 (en) | 2008-10-17 | 2012-07-18 | 株式会社スクウェア・エニックス | 3D model display system |
-
2020
- 2020-04-14 JP JP2020072537A patent/JP7220173B2/en active Active
-
2023
- 2023-01-30 JP JP2023011553A patent/JP7629610B6/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008537824A (en) | 2005-04-08 | 2008-09-25 | エヌエイチエヌ コーポレーション | AVATAR PROVIDING SYSTEM AND METHOD THEREOF VARIABLE EXPOSED SITE |
| JP2015184689A (en) | 2014-03-20 | 2015-10-22 | 株式会社Mugenup | Moving image generation device and program |
| JP6491388B1 (en) | 2018-08-28 | 2019-03-27 | グリー株式会社 | Video distribution system, video distribution method, and video distribution program for live distribution of a video including animation of a character object generated based on the movement of a distribution user |
| JP6526898B1 (en) | 2018-11-20 | 2019-06-05 | グリー株式会社 | Video distribution system, video distribution method, and video distribution program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7629610B2 (en) | 2025-02-14 |
| JP2023058540A (en) | 2023-04-25 |
| JP7629610B6 (en) | 2025-03-07 |
| JP2021002327A (en) | 2021-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12108106B2 (en) | Video distribution device, video distribution method, and video distribution process | |
| KR101911133B1 (en) | Avatar construction using depth camera | |
| KR102466689B1 (en) | Special effect program file package and special effect generation method and device, electronic device | |
| US20140022238A1 (en) | System for simulating user clothing on an avatar | |
| KR20200088187A (en) | Electronic device for generating avatar and method thereof | |
| JP6692481B1 (en) | Computer program, information processing method, and information processing system | |
| JP2018151966A (en) | Information processing apparatus and program | |
| CN110147737B (en) | Method, apparatus, device and storage medium for generating video | |
| CN114049468A (en) | Display method, device, equipment and storage medium | |
| JP7495694B2 (en) | Computer program, server device and method | |
| WO2025013749A1 (en) | Information processing system, information processing method, and information processing program | |
| CN112785690B (en) | A three-dimensional model construction method, device, system and storage medium | |
| WO2024198737A1 (en) | Animation redirection method and apparatus, and computer device, computer-readable storage medium and computer program product | |
| JP7220173B2 (en) | Computer program, information processing method and information processing system | |
| JP7001719B2 (en) | Computer programs, server devices, terminal devices, and methods | |
| CN115690282B (en) | Method and device for adjusting virtual character | |
| RU148909U1 (en) | DEVICE FOR SELECTION OF GOODS SUITING THE USER'S SIZES | |
| JP6804781B1 (en) | Information processing system, information processing method and computer program | |
| JP2021168147A (en) | Video distribution system, video distribution method, and video distribution program | |
| KR20250014106A (en) | Apparatus and method for providing preview by 3d mapping virtual characters and accessories | |
| JP2024141058A (en) | PROGRAM, INFORMATION PROCESSING APPARATUS AND INFORMATION PROCESSING METHOD | |
| JP2018128947A (en) | CG generation apparatus and program | |
| US20250319400A1 (en) | Complex Part Pose Editing of Virtual Objects | |
| JP2023156126A (en) | Information processing device, information processing method, and program | |
| CN121190316A (en) | A method and related apparatus for acquiring wearable images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210602 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220711 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220719 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220906 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230112 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230130 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7220173 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |