Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7845940B2 - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents
[go: Go Back, main page]

JP7845940B2 - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents

情報処理装置、情報処理方法、および情報処理プログラム

Info

Publication number
JP7845940B2
JP7845940B2 JP2022114858A JP2022114858A JP7845940B2 JP 7845940 B2 JP7845940 B2 JP 7845940B2 JP 2022114858 A JP2022114858 A JP 2022114858A JP 2022114858 A JP2022114858 A JP 2022114858A JP 7845940 B2 JP7845940 B2 JP 7845940B2
Authority
JP
Japan
Prior art keywords
user
information
degree
information processing
virtual space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022114858A
Other languages
English (en)
Other versions
JP2024012981A (ja
Inventor
知紘 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2022114858A priority Critical patent/JP7845940B2/ja
Publication of JP2024012981A publication Critical patent/JP2024012981A/ja
Application granted granted Critical
Publication of JP7845940B2 publication Critical patent/JP7845940B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)

Description

本発明は、情報処理装置、情報処理方法、および情報処理プログラムに関する。
近年、ユーザの化身となるアバターを仮想空間に登場させ、仮想空間内で他のユーザのアバターと交流可能にする技術が知られている。例えば、ユーザの発話をアバターの発話として仮想空間上で再現したり、ユーザの身体の動きをアバターの動きとして仮想空間上で再現したりする技術が開発されている。
国際公開第2019/203190号
上記の従来技術では、ユーザの発話や動きなどのユーザの行動を仮想空間内における行動として再現することができるが、仮想空間内における行動によってユーザ自身が特定されることを望まないユーザがあり、かかる点で改善の余地がある。
本願は、上記に鑑みてなされたものであって、ユーザの利便性を向上させることができる情報処理装置、情報処理方法、および情報処理プログラムを提供することを目的とする。
本願に係る情報処理装置は、受付部と、再現処理部とを備える。受付部は、ユーザが特定される度合いを示す個人特定度の設定を受け付ける。再現処理部は、受付部によって受け付けられた個人特定度に基づいてユーザの行動を補正して仮想空間において再現する。
実施形態の一態様によれば、ユーザの利便性を向上させることができるという効果を奏する。
図1は、実施形態に係る情報処理装置が行う情報処理方法を説明するための図である。 図2は、実施形態に係る情報処理システムの構成の一例を示す図である。 図3は、実施形態に係る情報処理装置の構成の一例を示す図である。 図4は、実施形態に係るユーザ情報記憶部に記憶されるユーザ情報テーブルの一例を示す図である。 図5は、実施形態に係るキャラクタ情報記憶部に記憶されるキャラクタ情報テーブルの一例を示す図である。 図6は、実施形態に係る情報処理装置の処理部による情報処理の一例を示すフローチャートである。 図7は、実施形態に係る情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
以下に、本願に係る情報処理装置、情報処理方法、および情報処理プログラムを実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法、および情報処理プログラムが限定されるものではない。また、各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
〔1.情報処理の一例〕
まず、図1を参照し、実施形態に係る情報処理装置が行う情報処理方法について説明する。図1は、実施形態に係る情報処理装置が行う情報処理方法を説明するための図である。
図1に示す情報処理装置1は、仮想空間でのユーザ間のコミュニケーションを可能とするオンラインサービスを提供する。かかるオンラインサービスは、メタバースサービスとも呼ばれる。以下において、情報処理装置1によって提供されるオンラインサービスをメタバースサービスと記載する場合がある。
図1に示す例では、端末装置2,2のユーザU,Uに対して、メタバースサービスを提供する例を示している。以下において、端末装置2,2を含む複数の端末装置の各々を個別に区別せずに示す場合、端末装置2と記載する場合があり、ユーザU,Uを含む複数のユーザの各々を個別に区別せずに示す場合、ユーザUと記載する場合がある。なお、図1に示す例では、説明を分かりやすくするために、端末装置2およびユーザUの数が2としているが、端末装置2およびユーザUの数は3以上である。
各ユーザUは、複数のキャラクタの中から所望のキャラクタを指定したり、ユーザUが特定される度合いを示す個人特定度を指定したりして、仮想空間におけるアバターの態様を設定することができる。ユーザUが指定したキャラクタは、仮想空間において個人特定度に応じてユーザUのアバターとして示される。
端末装置2は、ユーザUの設定情報を情報処理装置1に送信し(ステップS1)、端末装置2は、ユーザUの設定情報を情報処理装置1に送信する(ステップS1)。情報処理装置1は、端末装置2,2の各々から送信される設定情報を受け付ける(ステップS2)。
各ユーザUの設定情報は、ユーザUを識別する識別子であるユーザID(Identifier)、ユーザUが特定される度合いを示す個人特定度の情報である個人特定度情報などが含まれる。
ユーザUの設定情報に含まれる個人特定度情報には、ユーザUが特定される度合いを示す個人特定度の情報が含まれ、ユーザUの設定情報に含まれる個人特定度情報には、ユーザUが特定される度合いを示す個人特定度の情報が含まれる。
ユーザUの設定情報に含まれるキャラクタ指定情報には、ユーザUが指定するキャラクタの情報が含まれ、ユーザUの設定情報に含まれるキャラクタ指定情報には、ユーザUが指定するキャラクタの情報が含まれる。
つづいて、端末装置2は、ユーザUの情報であるユーザ情報を情報処理装置1に送信し(ステップS3)、端末装置2は、ユーザUの情報であるユーザ情報を情報処理装置1に送信する(ステップS3)。情報処理装置1は、端末装置2,2から送信されるユーザU,Uのユーザ情報を受け付ける(ステップS4)。
ユーザUのユーザ情報は、ユーザUの行動を示す情報であり、ユーザUの行動には、ユーザUの発話やユーザUの動作(動き)などが含まれる。また、ユーザUの動作には、ユーザUのジェスチャーやユーザUの表情などが含まれる。
各端末装置2にはマイク、カメラ、表示部、およびスピーカなどが搭載されており、ユーザ情報は、マイクによってリアルタイムで集音されたユーザUの音声情報、およびカメラによってリアルタイムで撮像されたユーザUの動画の情報である撮像動画情報などを含むリアルタイム情報を含む。
情報処理装置1は、ステップS2において受け付けたユーザU,Uの設定情報と、ステップS4において受け付けたユーザU,Uのユーザ情報とに基づいて、ユーザU毎の仮想空間情報を生成する(ステップS5)。図1に示す例では、情報処理装置1は、ユーザU用の仮想空間情報とユーザU用の仮想空間情報とを生成する。
ステップS5において、情報処理装置1は、ユーザUのユーザ情報とユーザUの設定情報とに基づいて、ユーザUのアバターをユーザU毎に生成する。そして、情報処理装置1は、生成した各ユーザUのアバターおよび各ユーザUの仮想空間上の位置などに基づいて、ユーザU毎の仮想空間情報を生成する。
情報処理装置1は、ユーザUのユーザ情報で示されるユーザUの行動をユーザUの設定情報で示される個人特定度に基づいて補正して得られるアバターをユーザUのアバターとしてユーザUの仮想空間上の位置に配置することで、ユーザUの行動を個人特定度に基づいて補正して仮想空間において再現する。
ユーザUの行動には、ユーザUの身体の動作およびユーザUの発話などが含まれる。ユーザUの身体の動作には、ユーザUの顔の動作(表情または表情の変化)およびユーザUの仕草(例えば、顔以外の身体の動き)などが含まれる。
情報処理装置1は、ユーザUの撮像動画情報に含まれるユーザUの身体の画像である身体画像に対して個人特定度に応じた画像処理を行って仮想空間情報におけるユーザUのアバターの動画情報を生成する。個人特定度に応じた画像処理は、例えば、ユーザUの顔やユーザUの表情を個人特定度に応じて加工したり、ユーザUのジェスチャーを個人特定度に応じて加工したりすることによって行われる。ユーザUの表情やジェスチャーの加工度合いは、個人特定度が低くなるほど高くなる。
ユーザUの顔の加工は、例えば、ユーザUの顔のパーツの3次元形状を、ユーザUの顔のパーツの3次元形状と顔のパーツの特定の3次元形状とを顔のパーツ毎に個人特定度に応じた比率で合成して得られる顔の3次元形状に置き換えることで行われる。
ユーザUの顔のパーツの3次元形状と顔のパーツの特定の3次元形状との合成比をR1:R2とした場合において、個人特定度に応じた比率Rは、例えば、R=R2/(R1+R2)で表され、個人特定度が低いほど大きい値になる。すなわち、情報処理装置1は、個人特定度が低いほど、顔のパーツの特定の3次元形状の重みを大きくした合成を行う。
また、ユーザUの表情の加工は、例えば、ユーザUの表情の種別を特定し、個人特定度に応じた度合いで表情を強調したり、特定した種別の特定の表情とユーザUの表情とを個人特定度に応じた比率で合成して得られる表情にしたりすることによって行われる。表情の強調は、例えば、口の開きを大きくしたり、眉毛の動きを大げさにしたりすることによって行われる。
また、ユーザUのジェスチャーの加工は、例えば、ユーザUのジェスチャーの種別を特定し、個人特定度に応じた度合いでジェスチャーを強調したり、特定した種別の特定のジェスチャーとユーザUのジェスチャーとを個人特定度に応じた比率で合成して得られるジェスチャーにしたりすることによって行われる。ジェスチャーの強調は、例えば、腕の振りを大きくしたり、頭部の動きを大げさにしたりすることによって行われる。
情報処理装置1は、例えば、ユーザUの音声情報で表されるユーザUの発話に対して個人特定度に応じた音声処理を行って仮想空間情報におけるユーザUのアバターの音声情報を生成する。例えば、情報処理装置1は、ユーザUの音声情報を音声認識処理によって文字情報に変換し、また、ユーザUの音声情報を音声認識処理によって、ユーザUの話し方(声の大きさ、スピード、イントネーション(強調)、発話間隔(間)など)や声質などを特定する。
情報処理装置1は、音声認識処理によって変換した文字情報および音声認識処理によって得られた話し方のうちの1つ以上に基づいて、ユーザUの方言を特定する。情報処理装置1は、ユーザUの発話を特定の方言に個人特定度に応じた補正度で補正した音声情報を生成する。
例えば、ユーザUの方言が大阪弁であり、特定の方言が東京弁(東京方言)であるとする。この場合、情報処理装置1は、ユーザUの音声情報から変換された文字情報を音声合成処理によって音声情報に変換する際に、大阪弁を個人特定度に応じた補正度の東京弁に変換する。
例えば、情報処理装置1は、東京弁の第1音声合成処理、東京弁が強いが大阪弁が混じっている第2音声合成処理、大阪弁が強いが東京弁が混じっている第3音声合成処理、大阪弁の第4音声合成処理などを行うことができ、これらの音声合成処理の中から個人特定度に応じた音声合成処理を選択して実行する。
この場合、情報処理装置1は、個人特定度が第1閾値未満である場合に第1音声合成処理を選択し、個人特定度が第1閾値以上且つ第2閾値未満である場合に第2音声合成処理を選択する。また、情報処理装置1は、個人特定度が第2閾値以上且つ第3閾値未満である場合に第3音声合成処理を選択し、個人特定度が第3閾値以上である場合に第4音声合成処理を選択する。なお、個人特定度に応じた音声合成処理の種別は上述した例に限定されず、5つ以上であってもよく、3つ以下であってもよい。
また、情報処理装置1は、ユーザUの話し方および声質のうちの少なくとも1つを個人特定度に応じた補正度で補正した音声合成用パラメータを用いて上述した音声合成処理を行うことができる。音声合成用パラメータは、例えば、声の大きさ、スピード、イントネーション(強調)、発話間隔(間)、声質などのパラメータである。
情報処理装置1は、ユーザUの話し方および声質に対応する各種の音声合成用パラメータの値を判定し、判定した音声合成用パラメータの値に個人特定度に応じた補正値を加算して補正する。そして、情報処理装置1は、個人特定度に応じた補正値で補正した各種の音声合成用パラメータを用いた音声合成処理により、ユーザUの話し方および声質を個人特定度に応じた補正度で補正した音声情報を生成することができる。
また、情報処理装置1は、ユーザUの行動の特徴を個人特定度に応じた度合いで特定のキャラクタの行動の特徴に補正して仮想空間において再現することもできる。この場合、特定のキャラクタは予め定められた基準のキャラクタであるが、ユーザUによって指定されたキャラクタがある場合、特定のキャラクタはユーザUによって指定されたキャラクタである。
端末装置2から情報処理装置1に送信される上述した設定情報には、ユーザUが指定したキャラクタの情報であるキャラクタ指定情報が含まれてもよい。これにより、ユーザUは、端末装置2を用いて特定のキャラクタを指定することができる。
具体的には、情報処理装置1は、ユーザUのユーザ情報で示されるユーザUの行動をユーザUが指定したキャラクタに近づける補正度を個人特定度が低いほど高くしてユーザUの行動を補正することでユーザUのアバターを仮想空間において再現する。
キャラクタの特徴は、例えば、特定の身体3次元モデルと、モーション情報と、特定の発話モデルとを含むキャラクタ情報によって規定される。身体3次元モデルは、顔および首を含む頭部のモデル、脚、足首、腰、腕、手首などを含む頭部以外の部分のモデルなどを含む。モーション情報によって身体3次元モデルの動作が規定される。例えば、モーション情報には、表情の種別毎のモーション情報、ジェスチャーの種別毎のモーション情報などが含まれている。
情報処理装置1は、例えば、ユーザ情報に含まれるユーザUの撮像画像情報からユーザUの各特徴点の位置などを検出し、かかる検出結果などからユーザUの身体3次元モデルを生成する。また、情報処理装置1は、ユーザUの撮像画像情報から身体3次元モデルの動きを特定し、ユーザUの表情の種別およびユーザUのジェスチャーの種別を特定する。
そして、情報処理装置1は、ユーザUの身体3次元モデルの動きとキャラクタの身体3次元モデルの動きとを個人特定度に応じた比率で合成して身体3次元モデルを補正後のユーザUの身体3次元モデルとして生成する。
例えば、ユーザUの身体3次元モデルの動きとキャラクタの身体3次元モデルの動きとの個人特定度に応じた比率での合成は、表情およびジェスチャーなどの合成を含む。例えば、情報処理装置1は、ユーザUの表情と、ユーザUの表情の種別に対応するモーション情報で規定される身体3次元モデルの表情とを個人特定度に応じた比率で合成する。また、情報処理装置1は、ユーザUのジェスチャーと、ユーザUのジェスチャーの種別に対応するモーション情報で規定される身体3次元モデルのジェスチャーとを個人特定度に応じた比率で合成する。
このように、情報処理装置1は、ユーザUの撮像画像情報からユーザUの動作を判定し、判定したユーザUの動作を補正後のユーザUの身体3次元モデルを用いて仮想空間において再現する。これにより、情報処理装置1は、ユーザUの動作を個人特定度に応じた度合いで特定のキャラクタの動作に補正して仮想空間において再現することができる。
また、情報処理装置1は、ユーザUの発話を個人特定度に応じた補正度で特定のキャラクタの発話に補正して仮想空間において再現することができる。特定の発話モデルは、特定のキャラクタに応じた音声合成パラメータを用いた音声合成処理を行う機能を有する。
例えば、情報処理装置1は、ユーザUの音声情報に基づいて、ユーザUの話し方および声質に対応する各種の音声合成用パラメータの値をユーザUの音声合成用パラメータの値として判定する。
そして、情報処理装置1は、ユーザUの音声合成用パラメータの値と特定のキャラクタの音声合成用パラメータの値とを個人特定度に応じた比率で加算することで、個人特定度に応じた補正値で補正した音声合成用パラメータを生成する。個人特定度に応じた比率は、個人特定度が低いほど、特定のキャラクタの音声合成用パラメータの値の重みが大きくなる。
このように、情報処理装置1は、個人特定度に応じた補正値で補正した各種の音声合成用パラメータを用いた音声合成処理により、ユーザUの話し方および声質を個人特定度に応じた補正度で補正した音声情報を生成することができる。
つづいて、情報処理装置1は、ステップS5で生成したユーザU用の仮想空間情報を端末装置2に送信し、ステップS5で生成したユーザU用の仮想空間情報を端末装置2に送信する(ステップS6,S6)。
端末装置2は、情報処理装置1からユーザU用の仮想空間情報を受信し、受信したユーザU用の仮想空間情報に基づいて、仮想空間の画像を表示する。また、端末装置2は、情報処理装置1からユーザU用の仮想空間情報を受信し、受信したユーザU用の仮想空間情報に基づいて、仮想空間の画像を表示する。
ユーザUは、個人特定度を低くすることで、ユーザUの行動が高い補正度で補正されて仮想空間において再現されるため、仮想空間におけるアバターがユーザUのアバターであることを知られてしまう可能性を低減することができる。
同様に、ユーザUは、個人特定度を低くすることで、ユーザUの行動が高い補正度で補正されて仮想空間において再現されるため、仮想空間におけるアバターがユーザUのアバターであることを知られてしまう可能性を低減することができる。
このように、情報処理装置1は、ユーザUが特定される度合いを示す個人特定度の設定を受け付け、個人特定度に基づいてユーザUの行動を補正して仮想空間において再現する。これにより、情報処理装置1は、仮想空間内における行動によって自身が特定されることを望まないユーザUの要望を、個人特定度を用いて実現することから、ユーザUの利便性を向上させることができる。
以下、このような処理を行う情報処理装置1および端末装置2を含む情報処理システムの構成などについて、詳細に説明する。
〔2.情報処理システムの構成〕
図2は、実施形態に係る情報処理システムの構成の一例を示す図である。図2に示すように、実施形態に係る情報処理システム100は、メタバースサービスを提供する情報処理装置1と、メタバースサービスを利用する複数のユーザUが有する複数の端末装置2~2とを含む複数の端末装置2を含む。nは、例えば、2以上の整数である。
情報処理装置1および複数の端末装置2は、ネットワークNを介して、有線または無線により互いに通信可能に接続される。なお、図2に示す情報処理システム100には、情報処理装置1が複数含まれてもよい。ネットワークNは、例えば、LAN(Local Area Network)や、インターネットなどのWAN(Wide Area Network)である。
各端末装置2には、マイク、カメラ、表示部、およびスピーカなどが搭載されている。各端末装置2は、マイクによってリアルタイムで集音されたユーザUの音声情報、およびカメラによってリアルタイムで撮像されたユーザUの動画の情報である撮像動画情報などを含むリアルタイム情報を情報処理装置1にネットワークNを介して送信する。
また、各端末装置2は、情報処理装置1からネットワークNを介して送信される会議情報を受信し、会議情報に含まれる動画情報を不図示の表示部に表示させ、会議情報に含まれる音声情報をスピーカから出力する。
各端末装置2は、例えば、デスクトップ型PC(Personal Computer)、ノート型PC、タブレット端末、スマートフォン、携帯電話機、またはPDA(Personal Digital Assistant)などである。各端末装置2は、ユーザUによって操作される。なお、各端末装置2は、上述した例に限定されず、例えば、ウェアラブルデバイス(Wearable Device)などであってもよい。
また、端末装置2は、LTE(Long Term Evolution)、4G(4th Generation)、5G(5th Generation:第5世代移動通信システム)などの無線通信網や、Bluetooth(登録商標)、無線LANなどの近距離無線通信を介してネットワークNに接続し、情報処理装置1と通信することができる。
〔3.情報処理装置1の構成〕
以下、情報処理装置1が有する機能構成の一例について説明する。図3は、実施形態に係る情報処理装置1の構成の一例を示す図である。図3に示すように、情報処理装置1は、通信部10と、記憶部11と、処理部12とを有する。
〔3.1.通信部10〕
通信部10は、例えば、NIC(Network Interface Card)などによって実現される。そして、通信部10は、ネットワークNと有線または無線で接続され、他の各種装置との間で情報の送受信を行う。例えば、通信部10は、複数の端末装置2の各々との間でネットワークNを介して情報の送受信を行う。
〔3.2.記憶部11〕
記憶部11は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置によって実現される。また、記憶部11は、ユーザ情報記憶部20と、キャラクタ情報記憶部21とを有する。
〔3.2.1.ユーザ情報記憶部20〕
ユーザ情報記憶部20は、ユーザUに関する各種の情報を記憶する。図4は、実施形態に係るユーザ情報記憶部20に記憶されるユーザ情報テーブルの一例を示す図である。
図4に示す例では、ユーザ情報記憶部20に記憶されるユーザ情報テーブルは、「ユーザID」、「属性情報」、「履歴情報」、および「設定情報」といった項目の情報を含む。
「ユーザID」は、ユーザUを識別する識別子である。「属性情報」は、「ユーザID」に対応付けられたユーザUの属性に関する属性情報である。ユーザUの属性は、例えば、デモグラフィック属性、サイコグラフィック属性などである。デモグラフィック属性は、人口統計学的属性であり、例えば、年齢、性別、所属、職業、居住地、年収、家族構成などである。サイコグラフィック属性は、心理学的属性であり、例えば、ライフスタイル、価値観、興味関心などである。
「履歴情報」は、「ユーザID」に対応付けられたユーザUのメタバースサービスの利用履歴などの情報であり、仮想空間に再現された元となるユーザUの行動の履歴の情報や個人特定度に応じた補正により仮想空間に再現されたユーザUのアバターの行動の履歴などを含む。また、履歴情報には、ウェブサービスの利用履歴(例えば、ネットショッピングの利用履歴、ウェブコンテンツの検索履歴、ウェブコンテンツの閲覧履歴など)が含まれてもよい。
「設定情報」は、「ユーザID」に対応付けられたユーザUの設定情報であり、例えば、ユーザUが指定した個人特定度を示す個人特定度情報およびユーザUが指定したキャラクタの情報である指定キャラクタ情報などを含む。
なお、ユーザ情報記憶部20に記憶される情報は、上記に限らず、目的に応じて種々の情報を含んでいてもよい。例えば、ユーザ情報記憶部20に記憶される情報は、ユーザUのコンテキストの履歴を示す情報などを含んでいてもよい。
〔3.2.2.キャラクタ情報記憶部21〕
キャラクタ情報記憶部21は、ユーザUが指定可能な複数のキャラクタに関する各種の情報を記憶する。図5は、実施形態に係るキャラクタ情報記憶部21に記憶されるキャラクタ情報テーブルの一例を示す図である。
図5に示す例では、キャラクタ情報記憶部21に記憶されるキャラクタ情報テーブルは、「キャラクタID」、「身体3次元モデル」、および「音声合成パラメータ」といった項目の情報を含む。
「キャラクタID」は、キャラクタを識別する識別子である。「身体3次元モデル」は、「キャラクタID」に対応付けられたキャラクタの身体3次元モデルの情報である。身体3次元モデルは、顔および首を含む頭部のモデル、脚、足首、腰、腕、手首などを含む頭部以外の部分のモデルなどを含む。
「音声合成パラメータ」は、「キャラクタID」に対応付けられたキャラクタの発話となる音声情報を特定の発話モデルを形成するためのパラメータ群の情報である。特定の発話モデルは、特定のキャラクタに応じた複数の音声合成パラメータ含むパラメータ群を用いた音声合成処理を行う。
なお、キャラクタ情報記憶部21に記憶される情報は、上記に限らず、目的に応じて種々の情報を含んでいてもよい。
〔3.3.処理部12〕
処理部12は、コントローラ(Controller)であり、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などのプロセッサによって、情報処理装置1内部の記憶装置に記憶されている各種プログラム(情報処理プログラムの一例)がRAMを作業領域として実行されることにより実現される。また、処理部12は、コントローラであり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などの集積回路により実現される。
図3に示すように、処理部12は、取得部30と、受付部31と、決定部32と、再現処理部33と、提供部34とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、処理部12の内部構成は、図3に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
〔3.3.1.取得部30〕
取得部30は、各種情報を取得する。取得部30は、記憶部11から各種の情報を取得する。取得部30は、ユーザ情報記憶部20およびキャラクタ情報記憶部21などから各種の情報を取得する。
取得部30は、通信部10を介して、外部の情報処理装置から各種情報を受信する。取得部30は、端末装置2から各種情報を受信する。例えば、取得部30は、端末装置2からユーザUの情報を取得し、取得したユーザUの情報をユーザ情報記憶部20に記憶させてユーザ情報テーブルを更新する。
また、取得部30は、外部装置からキャラクタに関する情報を取得し、取得したキャラクタに関する情報をキャラクタ情報記憶部21に記憶させてキャラクタ情報テーブルを更新する。
〔3.3.2.受付部31〕
受付部31は、各種要求を受け付ける。受付部31は、端末装置2から各種要求を受け付ける。受付部31は、通信部10を介して、端末装置2から各種要求を示す情報を受信する。
例えば、受付部31は、端末装置2からのユーザ情報を受け付ける。ユーザ情報には、マイクによってリアルタイムで集音されたユーザUの音声情報、およびカメラによってリアルタイムで撮像されたユーザUの動画の情報である撮像動画情報などを含むリアルタイム情報が含まれる。
また受付部31は、端末装置2からの設定情報やユーザ情報などを受け付ける。設定情報には、ユーザUのユーザID、およびユーザUが特定される度合いを示す個人特定度の情報である個人特定度情報などが含まれる。また、設定情報には、ユーザUが指定するキャラクタの情報であるキャラクタ指定情報なども含まれる場合がある。
受付部31は、仮想空間におけるユーザUの行動の提示先となる他のユーザU毎に個人特定度情報やキャラクタ指定情報を受け付けることもできる。例えば、メタバースサービスを利用するユーザUがユーザU,U,Uであるとする。この場合、ユーザUの設定情報には、例えば、仮想空間におけるユーザUの行動の提示先となるユーザU,U毎の個人特定度情報やキャラクタ指定情報を含む。
また、ユーザUの設定情報には、例えば、仮想空間におけるユーザUの行動の提示先となるユーザU,U毎の個人特定度情報やキャラクタ指定情報を含む。また、ユーザUの設定情報には、例えば、仮想空間におけるユーザUの行動の提示先となるユーザU,U毎の個人特定度情報やキャラクタ指定情報を含む。
また、ユーザUの設定情報には、例えば、仮想空間におけるユーザUの行動の提示先となる他のユーザUの種別毎に異なる個人特定度情報やキャラクタ指定情報を含んでいてもよい。他のユーザUの種別は、例えば、20代男性、30代女性といったように、他のユーザUの属性や行動履歴に基づいて分類される。
なお、ユーザUの設定情報には、仮想空間におけるユーザUの行動の提示先となる他のすべてのユーザUで共通の個人特定度情報やキャラクタ指定情報を含んでいてもよい。
〔3.3.3.決定部32〕
決定部32は、ユーザUによるキャラクタの指定がない場合、ユーザUの行動の履歴に基づいて、ユーザUに対応付けられる特定のキャラクタを決定する。
ユーザUの行動の履歴は、仮想空間に再現された元となるユーザUの行動の履歴または個人特定度に応じた補正により仮想空間に再現されたユーザUのアバターの行動の履歴であるが、かかる履歴に代えてまたは加えて、ウェブサービスの利用履歴を含んでいてもよい。
例えば、決定部32は、ユーザUの行動と類似する行動をとっている他のユーザUが指定したキャラクタとは異なるキャラクタをユーザUに対応付けられる特定のキャラクタとして決定する。
また、決定部32は、行動パターン毎にキャラクタが対応付けられたキャラクタ種別情報を有している。決定部32は、複数の行動パターンのうちユーザUの行動パターンに対応付けられたキャラクタをユーザUに対応付けられる特定のキャラクタとして決定することもできる。
行動パターンは、例えば、時間当たりの発話数および時間当たりの動作数などによって複数種類に分類される。決定部32は、ユーザUの時間当たりの発話数および時間当たりの動作数などに基づいて、複数の行動パターンの中からユーザUの行動パターンを判定する。
また、決定部32は、ユーザUの属性の情報に基づいて、ユーザUに対応付けられる特定のキャラクタを決定することもできる。例えば、決定部32は、属性(例えば、性別、年齢、職業の組み合わせ)毎にキャラクタが対応付けられたキャラクタ種別情報を有している。決定部32は、属性の種類のうちユーザUの属性に対応付けられたキャラクタをユーザUに対応付けられる特定のキャラクタとして決定することもできる。
また、決定部32は、ユーザUが指定した個人特定度に基づいて、ユーザUに対応付けられる特定のキャラクタを決定することができる。例えば、決定部32は、ユーザUが指定した個人特定度が高いほど、他のユーザUによる指定数がより多いキャラクタをユーザUに対応付けられる特定のキャラクタとして決定することができる。
決定部32は、ユーザUの行動パターン、ユーザUの属性、およびユーザUが指定した個人特定度のうちの2以上に基づいて、ユーザUに対応付けられる特定のキャラクタを決定することができる。
例えば、決定部32は、行動パターンと属性との組み合わせ毎にキャラクタが対応付けられたキャラクタ種別情報を有していてもよい。この場合、決定部32は、複数の行動パターンと属性との組み合わせのうちユーザUの行動パターンと属性との組み合わせに対応付けられたキャラクタをユーザUに対応付けられる特定のキャラクタとして決定することもできる。
また、決定部32は、行動パターン毎に複数のキャラクタが対応付けられたキャラクタ種別情報を有していてもよい。この場合、決定部32は、複数の行動パターンのうちユーザUの行動パターンに対応付けられた複数のキャラクタを選択する。そして、決定部32は、選択した複数のキャラクタの中から、ユーザUが指定した個人特定度に基づいて、ユーザUに対応付けられる特定のキャラクタを決定する。
そして、決定部32は、例えば、複数のキャラクタのうち、ユーザUが指定した個人特定度が高いほど、他のユーザUによる指定数がより多いキャラクタをユーザUに対応付けられる特定のキャラクタとして決定する。
なお、決定部32は、仮想空間におけるユーザUの行動の提示先となる他のユーザU毎または他のユーザUの種類毎に特定のキャラクタとして決定することもできる。また、決定部32は、ウェブサービスの利用履歴に基づいて、特定のキャラクタとして決定することもできる。例えば、決定部32は、最新の検索クエリに属するカテゴリのキャラクタを特定のキャラクタとして決定することができる。
〔3.3.4.再現処理部33〕
再現処理部33は、受付部31によって受け付けられたユーザUの設定情報と、受付部31によって受け付けられたユーザUのユーザ情報とに基づいて、ユーザU毎の仮想空間情報を生成する。
再現処理部33は、ユーザUのユーザ情報とユーザUの設定情報とに基づいて、ユーザUのアバターをユーザU毎に生成する。そして、再現処理部33は、生成した各ユーザUのアバターおよび各ユーザUの仮想空間上の位置などに基づいて、ユーザU毎の仮想空間情報を生成する。
再現処理部33は、ユーザUのユーザ情報で示されるユーザUの行動をユーザUの設定情報で示される個人特定度に基づいて補正して得られるアバターをユーザUのアバターとしてユーザUの仮想空間上の位置に配置することで、ユーザUの行動を個人特定度に基づいて補正して仮想空間において再現する。
ユーザUの行動には、ユーザUの身体の動作およびユーザUの発話などが含まれる。ユーザUの身体の動作には、ユーザUの顔の動作(表情または表情の変化)およびユーザUの仕草(例えば、顔以外の身体の動き)などが含まれる。
再現処理部33は、ユーザUの撮像動画情報に含まれるユーザUの身体の画像である身体画像に対して個人特定度に応じた画像処理を行って仮想空間情報におけるユーザUのアバターの動画情報を生成する。個人特定度に応じた画像処理は、例えば、ユーザUの顔やユーザUの表情を個人特定度に応じて加工したり、ユーザUのジェスチャーを個人特定度に応じて加工したりすることによって行われる。ユーザUの表情やジェスチャーの加工度合いは、個人特定度が低くなるほど高くなる。
ユーザUの顔の加工は、例えば、ユーザUの顔のパーツの3次元形状を、ユーザUの顔のパーツの3次元形状と顔のパーツの特定の3次元形状とを顔のパーツ毎に個人特定度に応じた比率で合成して得られる顔の3次元形状に置き換えることで行われる。
ユーザUの顔のパーツの3次元形状と顔のパーツの特定の3次元形状との合成比をR1:R2とした場合において、個人特定度に応じた比率Rは、例えば、R=R2/(R1+R2)で表され、個人特定度が低いほど大きい値になる。すなわち、再現処理部33は、個人特定度が低いほど、顔のパーツの特定の3次元形状の重みを大きくした合成を行う。
また、ユーザUの表情の加工は、例えば、ユーザUの表情の種別を特定し、個人特定度に応じた度合いで表情を強調したり、特定した種別の特定の表情とユーザUの表情とを個人特定度に応じた比率で合成して得られる表情にしたりすることによって行われる。表情の強調は、例えば、口の開きを大きくしたり、眉毛の動きを大げさにしたりすることによって行われる。
また、ユーザUのジェスチャーの加工は、例えば、ユーザUのジェスチャーの種別を特定し、個人特定度に応じた度合いでジェスチャーを強調したり、特定した種別の特定のジェスチャーとユーザUのジェスチャーとを個人特定度に応じた比率で合成して得られるジェスチャーにしたりすることによって行われる。ジェスチャーの強調は、例えば、腕の振りを大きくしたり、頭部の動きを大げさにしたりすることによって行われる。
再現処理部33は、例えば、ユーザUの音声情報で表されるユーザUの発話に対して個人特定度に応じた音声処理を行って仮想空間情報におけるユーザUのアバターの音声情報を生成する。例えば、再現処理部33は、ユーザUの音声情報を音声認識処理によって文字情報に変換し、また、ユーザUの音声情報を音声認識処理によって、ユーザUの話し方(声の大きさ、スピード、イントネーション(強調)、発話間隔(間)など)や声質などを特定する。
再現処理部33は、音声認識処理によって変換した文字情報および音声認識処理によって得られた話し方のうちの1つ以上に基づいて、ユーザUの方言を特定する。再現処理部33は、ユーザUの発話を特定の方言に個人特定度に応じた補正度で補正した音声情報を生成する。
例えば、ユーザUの方言が大阪弁であり、特定の方言が東京弁(東京方言)であるとする。この場合、再現処理部33は、ユーザUの音声情報から変換された文字情報を音声合成処理によって音声情報に変換する際に、大阪弁を個人特定度に応じた補正度の東京弁に変換する。
例えば、再現処理部33は、東京弁の第1音声合成処理、東京弁が強いが大阪弁が混じっている第2音声合成処理、大阪弁が強いが東京弁が混じっている第3音声合成処理、大阪弁の第4音声合成処理などを行うことができ、これらの音声合成処理の中から個人特定度に応じた音声合成処理を選択して実行する。
この場合、再現処理部33は、個人特定度が第1閾値未満である場合に第1音声合成処理を選択し、個人特定度が第1閾値以上且つ第2閾値未満である場合に第2音声合成処理を選択する。また、再現処理部33は、個人特定度が第2閾値以上且つ第3閾値未満である場合に第3音声合成処理を選択し、個人特定度が第3閾値以上である場合に第4音声合成処理を選択する。なお、個人特定度に応じた音声合成処理の種別は上述した例に限定されず、5つ以上であってもよく、3つ以下であってもよい。
また、再現処理部33は、ユーザUの話し方および声質のうちの少なくとも1つを個人特定度に応じた補正度で補正した音声合成用パラメータを用いて上述した音声合成処理を行うことができる。音声合成用パラメータは、例えば、声の大きさ、スピード、イントネーション(強調)、発話間隔(間)、声質などのパラメータである。
再現処理部33は、ユーザUの話し方および声質に対応する各種の音声合成用パラメータの値を判定し、判定した音声合成用パラメータの値に個人特定度に応じた補正値を加算して補正する。そして、再現処理部33は、個人特定度に応じた補正値で補正した各種の音声合成用パラメータを用いた音声合成処理により、ユーザUの話し方および声質を個人特定度に応じた補正度で補正した音声情報を生成することができる。
また、再現処理部33は、ユーザUの行動の特徴を個人特定度に応じた度合いで特定のキャラクタの行動の特徴に補正して仮想空間において再現することもできる。この場合、特定のキャラクタは予め定められた基準のキャラクタであるが、ユーザUによって指定されたキャラクタがある場合、特定のキャラクタはユーザUによって指定されたキャラクタである。
再現処理部33は、ユーザUのユーザ情報で示されるユーザUの行動をユーザUが指定したキャラクタに近づける補正度を個人特定度が低いほど高くしてユーザUの行動を補正することでユーザUのアバターを仮想空間において再現する。
キャラクタの特徴は、例えば、特定の身体3次元モデルと、モーション情報と、特定の発話モデルとを含むキャラクタ情報によって規定される。身体3次元モデルは、顔および首を含む頭部のモデル、脚、足首、腰、腕、手首などを含む頭部以外の部分のモデルなどを含む。モーション情報によって身体3次元モデルの動作が規定される。例えば、モーション情報には、表情の種別毎のモーション情報、ジェスチャーの種別毎のモーション情報などが含まれている。
再現処理部33は、例えば、ユーザ情報に含まれるユーザUの撮像画像情報からユーザUの各特徴点の位置などを検出し、かかる検出結果などからユーザUの身体3次元モデルを生成する。また、再現処理部33は、ユーザUの撮像画像情報から身体3次元モデルの動きを特定し、ユーザUの表情の種別およびユーザUのジェスチャーの種別を特定する。
そして、再現処理部33は、ユーザUの身体3次元モデルの動きとキャラクタの身体3次元モデルの動きとを個人特定度に応じた比率で合成して身体3次元モデルを補正後のユーザUの身体3次元モデルとして生成する。
例えば、ユーザUの身体3次元モデルの動きとキャラクタの身体3次元モデルの動きとの個人特定度に応じた比率での合成は、表情およびジェスチャーなどの合成を含む。例えば、再現処理部33は、ユーザUの表情と、ユーザUの表情の種別に対応するモーション情報で規定される身体3次元モデルの表情とを個人特定度に応じた比率で合成する。また、再現処理部33は、ユーザUのジェスチャーと、ユーザUのジェスチャーの種別に対応するモーション情報で規定される身体3次元モデルのジェスチャーとを個人特定度に応じた比率で合成することによって行われる。
このように、再現処理部33は、ユーザUの撮像画像情報からユーザUの動作を判定し、判定したユーザUの動作を補正後のユーザUの身体3次元モデルを用いて仮想空間において再現する。これにより、再現処理部33は、ユーザUの動作を個人特定度に応じた度合いで特定のキャラクタの動作に補正して仮想空間において再現することができる。
また、再現処理部33は、ユーザUの発話を個人特定度に応じた補正度で特定のキャラクタの発話に補正して仮想空間において再現することができる。特定の発話モデルは、特定のキャラクタに応じた音声合成パラメータを用いた音声合成処理を行う。
例えば、再現処理部33は、ユーザUの音声情報に基づいて、ユーザUの話し方および声質に対応する各種の音声合成用パラメータの値をユーザUの音声合成用パラメータの値として判定する。
そして、再現処理部33は、ユーザUの音声合成用パラメータの値と特定のキャラクタの音声合成用パラメータの値とを個人特定度に応じた比率で加算することで、個人特定度に応じた補正値で補正した音声合成用パラメータを生成する。個人特定度に応じた比率は、個人特定度が低いほど、特定のキャラクタの音声合成用パラメータの値の重みが大きくなる。
このように、再現処理部33は、個人特定度に応じた補正値で補正した各種の音声合成用パラメータを用いた音声合成処理により、ユーザUの話し方および声質を個人特定度に応じた補正度で補正した音声情報を生成することができる。
〔3.3.5.提供部34〕
提供部34は、再現処理部33によって生成されたユーザU毎の仮想空間情報を複数の端末装置2のうち対応する端末装置2に通信部10およびネットワークNを介して送信する。
例えば、メタバースサービスを利用するユーザUが端末装置2,2,2のユーザU,U,Uであるとする。この場合、提供部34は、ユーザU用の仮想空間情報を端末装置2に送信し、ユーザU用の仮想空間情報を端末装置2に送信し、ユーザU用の仮想空間情報を端末装置2に送信する。
端末装置2は、提供部34からユーザU用の仮想空間情報を受信し、受信したユーザU用の仮想空間情報に基づいて、仮想空間の画像を表示する。ユーザU用の仮想空間情報には、例えば、ユーザUがユーザU用に設定した個人特定度に応じて補正されたアバターの情報と、ユーザUがユーザU用に設定した個人特定度に応じて補正されたアバターの情報とが含まれている。
また、端末装置2は、提供部34からユーザU用の仮想空間情報を受信し、受信したユーザU用の仮想空間情報に基づいて、仮想空間の画像を表示する。ユーザU用の仮想空間情報には、例えば、ユーザUがユーザU用に設定した個人特定度に応じて補正されたアバターの情報と、ユーザUがユーザU用に設定した個人特定度に応じて補正されたアバターの情報とが含まれている。
また、端末装置2は、提供部34からユーザU用の仮想空間情報を受信し、受信したユーザU用の仮想空間情報に基づいて、仮想空間の画像を表示する。ユーザU用の仮想空間情報には、例えば、ユーザUがユーザU用に設定した個人特定度に応じて補正されたアバターの情報と、ユーザUがユーザU用に設定した個人特定度に応じて補正されたアバターの情報とが含まれている。
〔4.処理手順〕
次に、実施形態に係る情報処理装置1の処理部12による情報処理の手順について説明する。図6は、実施形態に係る情報処理装置1の処理部12による情報処理の一例を示すフローチャートである。
図6に示すように、情報処理装置1の処理部12は、端末装置2からの設定情報を受け付けたか否かを判定する(ステップS10)。処理部12は、設定情報を受け付けたと判定した場合(ステップS10:Yes)、受け付けた設定情報を記憶する(ステップS11)。
処理部12は、ステップS11の処理が終了した場合、または設定情報を受け付けたていないと判定した場合(ステップS10:No)、端末装置2からのユーザ情報を受け付けたか否かを判定する(ステップS12)。処理部12は、ユーザ情報を受け付けたと判定した場合(ステップS12:Yes)、ユーザUの行動と個人特定度とに基づいてユーザ毎の仮想空間情報を生成する(ステップS13)。そして、処理部12は、ステップS13で生成した仮想空間情報を送信する(ステップS14)。
処理部12は、ステップS14の処理が終了した場合、またはユーザ情報を受け付けていないと判定した場合(ステップS12:No)、動作終了タイミングになったか否かを判定する(ステップS14)。処理部12は、例えば、情報処理装置1の電源がオフにされた場合、または情報処理装置1の不図示の操作部への操作によって終了操作が行われたと判定した場合に、動作終了タイミングになったと判定する。
処理部12は、動作終了タイミングになっていないと判定した場合(ステップS15:No)、処理をステップS10へ移行し、動作終了タイミングになったと判定した場合(ステップS15:Yes)、図6に示す処理を終了する。
〔5.変形例〕
上述した例では、再現処理部33は、ユーザUの撮像動画情報を用いてユーザUの動作を検出したが、かかる例に限定されず、再現処理部33は、ユーザUの撮像動画情報に代えてまたは加えて、例えば、ユーザUに装着されたセンサによって検出されたセンサ情報に基づいて、ユーザUの動作を検出することもできる。
また、上述した例では、仮想空間が3次元仮想空間である場合の例を説明したが、仮想空間は2次元空間であってもよい。この場合、キャラクタの情報には、例えば、身体3次元モデルに代えて、身体2次元モデルの情報が含まれる。
〔6.ハードウェア構成〕
上述してきた実施形態に係る情報処理装置1は、例えば図7に示すような構成のコンピュータ80によって実現される。図7は、実施形態に係る情報処理装置1の機能を実現するコンピュータ80の一例を示すハードウェア構成図である。コンピュータ80は、CPU81、RAM82、ROM(Read Only Memory)83、HDD(Hard Disk Drive)84、通信インターフェイス(I/F)85、入出力インターフェイス(I/F)86、およびメディアインターフェイス(I/F)87を有する。
CPU81は、ROM83またはHDD84に記憶されたプログラムに基づいて動作し、各部の制御を行う。ROM83は、コンピュータ80の起動時にCPU81によって実行されるブートプログラムや、コンピュータ80のハードウェアに依存するプログラムなどを記憶する。
HDD84は、CPU81によって実行されるプログラム、および、かかるプログラムによって使用されるデータなどを記憶する。通信インターフェイス85は、ネットワークN(図2参照)を介して他の機器からデータを受信してCPU81へ送り、CPU81が生成したデータを、ネットワークNを介して他の機器へ送信する。
CPU81は、入出力インターフェイス86を介して、ディスプレイやプリンタなどの出力装置、および、キーボードまたはマウスなどの入力装置を制御する。CPU81は、入出力インターフェイス86を介して、入力装置からデータを取得する。また、CPU81は、入出力インターフェイス86を介して生成したデータを出力装置へ出力する。
メディアインターフェイス87は、記録媒体88に記憶されたプログラムまたはデータを読み取り、RAM82を介してCPU81に提供する。CPU81は、かかるプログラムを、メディアインターフェイス87を介して記録媒体88からRAM82上にロードし、ロードしたプログラムを実行する。記録媒体88は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)などの光学記録媒体、MO(Magneto-Optical disk)などの光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリなどである。
例えば、コンピュータ80が実施形態に係る情報処理装置1として機能する場合、コンピュータ80のCPU81は、RAM82上にロードされたプログラムを実行することにより処理部12の機能を実現する。また、HDD84には、記憶部11内のデータが記憶される。コンピュータ80のCPU81は、これらのプログラムを記録媒体88から読み取って実行するが、他の例として、他の装置からネットワークNを介してこれらのプログラムを取得してもよい。
〔7.その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
例えば、上述した情報処理装置1は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットホームなどをAPIやネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。
また、上述してきた実施形態および変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
〔8.効果〕
上述してきたように、実施形態に係る情報処理装置1は、受付部31と、再現処理部33とを備える。受付部31は、ユーザUが特定される度合いを示す個人特定度の設定を受け付ける。再現処理部33は、受付部31によって受け付けられた個人特定度に基づいてユーザUの行動を補正して仮想空間において再現する。これにより、情報処理装置1は、仮想空間内における行動によって自身が特定されることを望まないユーザUの要望を、個人特定度を用いて実現することから、ユーザUの利便性を向上させることができる。
また、再現処理部33は、ユーザUの発話を補正して仮想空間において再現する。これにより、情報処理装置1は、ユーザUの利便性を向上させることができる。
また、再現処理部33は、ユーザUの発話を特定の方言に補正して仮想空間において再現する。これにより、情報処理装置1は、ユーザUの利便性を向上させることができる。
また、再現処理部33は、ユーザUの話し方を補正して仮想空間において再現する。これにより、情報処理装置1は、ユーザUの利便性を向上させることができる。
また、再現処理部33は、ユーザUのジェスチャーを補正して仮想空間において再現する。これにより、情報処理装置1は、ユーザUの利便性を向上させることができる。
また、再現処理部33は、ユーザUの表情を補正して仮想空間において再現する。これにより、情報処理装置1は、ユーザUの利便性を向上させることができる。
また、再現処理部33は、ユーザUを特定のキャラクタの特徴に個人特定度に応じた度合いで補正して仮想空間において再現する。これにより、情報処理装置1は、ユーザUの利便性を向上させることができる。
また、情報処理装置1は、ユーザUの行動の履歴に基づいて、特定のキャラクタを決定する決定部32を備える。これにより、情報処理装置1は、ユーザUの利便性を向上させることができる。
また、受付部31は、仮想空間におけるユーザUの行動の提示先となる他のユーザU毎に個人特定度の設定を受け付ける。これにより、情報処理装置1は、ユーザUの利便性を向上させることができる。
以上、本願の実施形態を図面に基づいて詳細に説明したが、これは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。
1 情報処理装置
2,2~2 端末装置
10 通信部
11 記憶部
12 処理部
20 ユーザ情報記憶部
21 キャラクタ情報記憶部
30 取得部
31 受付部
32 決定部
33 再現処理部
34 提供部
100 情報処理システム

Claims (11)

  1. ユーザが特定される度合いを示す個人特定度の設定を受け付ける受付部と、
    前記受付部によって受け付けられた前記個人特定度に基づいて前記ユーザの行動を補正して仮想空間において再現する再現処理部と、を備え
    前記再現処理部は、
    前記ユーザの行動の特徴と特定のキャラクタの行動の特徴とを前記個人特定度に応じた比率で合成することで、前記ユーザの行動を補正して前記仮想空間において前記ユーザのアバターの動きとして再現する
    ことを特徴とする情報処理装置。
  2. 前記再現処理部は、
    前記ユーザの発話を補正して前記仮想空間において再現する
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記再現処理部は、
    前記ユーザの発話を特定の方言に補正して前記仮想空間において再現する
    ことを特徴とする請求項2に記載の情報処理装置。
  4. 前記再現処理部は、
    前記ユーザの話し方を補正して前記仮想空間において再現する
    ことを特徴とする請求項2または3に記載の情報処理装置。
  5. 前記再現処理部は、
    前記ユーザのジェスチャーを補正して前記仮想空間において再現する
    ことを特徴とする請求項1~3のいずれか1つに記載の情報処理装置。
  6. 前記再現処理部は、
    前記ユーザの表情を補正して前記仮想空間において再現する
    ことを特徴とする請求項1~3のいずれか1つに記載の情報処理装置。
  7. 前記再現処理部は、
    前記ユーザの音声情報に基づいて判定した音声合成用パラメータの値と、特定のキャラクタの音声合成用パラメータの値とを、前記個人特定度が低いほど前記特定のキャラクタの音声合成用パラメータの値の重みが大きくなる比率で加算することで、補正した音声合成用パラメータを生成し、当該補正した音声合成用パラメータを用いて音声合成処理を行って前記アバターの音声を生成する
    ことを特徴とする請求項1~3のいずれか1つに記載の情報処理装置。
  8. 前記ユーザの行動の履歴に基づいて、前記特定のキャラクタを決定する決定部を備える
    ことを特徴とする請求項7に記載の情報処理装置。
  9. 前記受付部は、
    前記仮想空間における前記行動の提示先となる他のユーザ毎に前記個人特定度の設定を受け付ける
    ことを特徴とする請求項1~3のいずれか1つに記載の情報処理装置。
  10. コンピュータが実行する情報処理方法であって、
    ユーザが特定される度合いを示す個人特定度の設定を受け付ける受付工程と、
    前記受付工程によって受け付けられた前記個人特定度に基づいて前記ユーザの行動を補正して仮想空間において再現する再現処理工程と、を含み、
    前記再現処理工程は、
    前記ユーザの行動の特徴と特定のキャラクタの行動の特徴とを前記個人特定度に応じた比率で合成することで、前記ユーザの行動を補正して前記仮想空間において前記ユーザのアバターの動きとして再現する
    ことを特徴とする情報処理方法。
  11. ユーザが特定される度合いを示す個人特定度の設定を受け付ける受付手順と、
    前記受付手順によって受け付けられた前記個人特定度に基づいて前記ユーザの行動を補正して仮想空間において再現する再現処理手順と、をコンピュータに実行させ
    前記再現処理手順は、
    前記ユーザの行動の特徴と特定のキャラクタの行動の特徴とを前記個人特定度に応じた比率で合成することで、前記ユーザの行動を補正して前記仮想空間において前記ユーザのアバターの動きとして再現する
    ことを特徴とする情報処理プログラム。
JP2022114858A 2022-07-19 2022-07-19 情報処理装置、情報処理方法、および情報処理プログラム Active JP7845940B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022114858A JP7845940B2 (ja) 2022-07-19 2022-07-19 情報処理装置、情報処理方法、および情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022114858A JP7845940B2 (ja) 2022-07-19 2022-07-19 情報処理装置、情報処理方法、および情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2024012981A JP2024012981A (ja) 2024-01-31
JP7845940B2 true JP7845940B2 (ja) 2026-04-14

Family

ID=89714268

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022114858A Active JP7845940B2 (ja) 2022-07-19 2022-07-19 情報処理装置、情報処理方法、および情報処理プログラム

Country Status (1)

Country Link
JP (1) JP7845940B2 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001087543A (ja) 1999-09-22 2001-04-03 Square Co Ltd モーション再生制御方法、記録媒体およびゲーム装置
JP2007527556A (ja) 2003-03-25 2007-09-27 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー オブジェクトのための行動トランスレータ
JP2009521065A (ja) 2007-04-12 2009-05-28 ジェイディエフ グループ カリカチュア生成システムとその方法およびその記録媒体
JP2011523486A (ja) 2008-05-27 2011-08-11 クゥアルコム・インコーポレイテッド ユーザのステータスを示すためにアバタステータスを自動的に更新するための方法およびシステム
WO2017002473A1 (ja) 2015-06-30 2017-01-05 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2018151966A (ja) 2017-03-14 2018-09-27 フィールズ株式会社 情報処理装置及びプログラム
JP2018181300A (ja) 2017-11-07 2018-11-15 株式会社 ディー・エヌ・エー 入出力システム、入出力プログラム、情報処理装置、チャットシステム
JP2019024748A (ja) 2017-07-27 2019-02-21 株式会社バンダイナムコエンターテインメント 画像生成装置及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001087543A (ja) 1999-09-22 2001-04-03 Square Co Ltd モーション再生制御方法、記録媒体およびゲーム装置
JP2007527556A (ja) 2003-03-25 2007-09-27 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー オブジェクトのための行動トランスレータ
JP2009521065A (ja) 2007-04-12 2009-05-28 ジェイディエフ グループ カリカチュア生成システムとその方法およびその記録媒体
JP2011523486A (ja) 2008-05-27 2011-08-11 クゥアルコム・インコーポレイテッド ユーザのステータスを示すためにアバタステータスを自動的に更新するための方法およびシステム
WO2017002473A1 (ja) 2015-06-30 2017-01-05 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2018151966A (ja) 2017-03-14 2018-09-27 フィールズ株式会社 情報処理装置及びプログラム
JP2019024748A (ja) 2017-07-27 2019-02-21 株式会社バンダイナムコエンターテインメント 画像生成装置及びプログラム
JP2018181300A (ja) 2017-11-07 2018-11-15 株式会社 ディー・エヌ・エー 入出力システム、入出力プログラム、情報処理装置、チャットシステム

Also Published As

Publication number Publication date
JP2024012981A (ja) 2024-01-31

Similar Documents

Publication Publication Date Title
KR102213637B1 (ko) 디바이스들 간의 상태 상호작용의 캡슐화 및 동기화
JP4395687B2 (ja) 情報処理装置
JP6505117B2 (ja) 模写によるデジタル携帯情報端末の対話、および応答時のリッチなマルチメディア
KR102488530B1 (ko) 동영상을 생성하기 위한 방법 및 장치
US20190018644A1 (en) Soundsharing capabilities application
CN108156317A (zh) 通话语音控制方法、装置及存储介质和移动终端
US11600266B2 (en) Network-based learning models for natural language processing
WO2024054713A1 (en) Avatar facial expressions based on semantical context
CN119213448A (zh) 用于自动定制语音滤波的系统和方法
JP2025523410A (ja) ボイスチャット翻訳
WO2025216247A1 (ja) アバター生成システム及びコミュニケーションシステム
JP7845940B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP2024017074A (ja) 会話促進装置、会話促進方法、及び、会話促進プログラム
JP7152453B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
WO2022215361A1 (ja) 情報処理装置及び情報処理方法
KR102604990B1 (ko) 게임 제공 장치 및 방법
JPWO2023175704A5 (ja)
JP2022157293A (ja) コンテンツ再生制御システム及びプログラム
WO2020194828A1 (ja) 情報処理システム、情報処理装置、および情報処理方法
JP7832741B1 (ja) 情報処理装置、方法、プログラム及びシステム
JP7409628B2 (ja) 結婚式における音楽選曲のための自動選曲システム
JP2025064907A (ja) 台詞作成装置、台詞作成方法、及び台詞作成プログラム
JP2026039416A (ja) システム
JP2023028247A (ja) 情報処理システム、コミュニケーション方法、及び情報処理端末
JP2025114455A (ja) 再生装置、再生方法、プログラム、および再生システム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20231026

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20241219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20251020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20251028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20251217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20260331

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20260402

R150 Certificate of patent or registration of utility model

Ref document number: 7845940

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150