JP7185072B2 - ビデオチャット中に感情の修正を提供する方法およびシステム - Google Patents

Description

本開示は、一般に、ビデオチャット中に使用するための方法およびシステムに関し、具体的な実施形態では、1つ以上の、人物の知覚された感情と、人物の意味的感情との間の整合性が高まった、変更されたビデオおよびオーディオ信号を作り出すために、ビデオチャットに参加している人物のビデオおよびオーディオ信号を変更する方法およびシステムに関する。

自動車および他の種類の車両の運転者は、運転中に他の人とチャットするために、自身のスマートフォンまたは他のモバイルコンピューティングデバイスを使用することが多い。そのようなチャットは、音声チャットであってもよいし、ビデオチャットであってもよい。本説明の目的のために、音声チャットは、オーディオ単独の通信を指し、音声チャットに参加している2人が互いに聞くことはできるが、互いに見ることはできないことを意味する。対照的に、ビデオチャットは、ビデオチャットに参加している2人の、オーディオとビデオの両方を含む通信を指し、ビデオチャットに参加している2人が互いに聞くことも、互いに見ることもできることを意味する。ビデオチャットを実施するために、オーディオおよびビデオ信号の受信および送信を提供するビデオ電話技術が使用され得る。例示的なビデオ電話製品には、いくつか例を挙げると、Apple Inc．から入手可能なFaceTime(登録商標)、いずれもGoogle LLCから入手可能なGoogle DuoおよびGoogle Hangouts、Microsoft Corp．から入手可能なSkype、ならびにTencent Corp．から入手可能なWeChatが含まれる。実際、運転者の10％が、運転中にビデオチャットをするためにスマートフォンを使用したことがある、と述べたという調査結果がある。この割合は、特に半自律型および完全自律型の車両がより一般的になるにつれて、将来的に増加する可能性がある。

車両の運転者に見られる攻撃的または怒りの挙動である、ロードレイジは、非常に一般的である。実際、過去1年間、運転者の大多数が、運転中にかなりの怒りを表したことがある、ということが調査により分かっている。ロードレイジは、多くの種類の直接的な弊害をもたらし得る。例えば、車両の運転者およびその乗客にとって、ロードレイジは、重大な身体的傷害または死さえももたらす、口論、暴行および衝突につながる可能性がある。ロードレイジはまた、一定の非直接的な悪影響をもたらし得る。例えば、第1の車両を運転している第1の人物が、第2の車両を運転している第2の人物とのビデオチャットに参加しており、その間に第1の運転者がロードレイジを感じる場合、第1の人物の怒りが第2の人物に伝わる、および／または別の方法で第2の人物の注意をそらす可能性があり、これにより、第2の人物が衝突に巻き込まれる危険性が高まる可能性がある。別の例では、第1の車両を運転している第1の人物が、1人以上の他の人物との、ビジネスに関連したビデオチャットに参加しており、その間に第1の人物がロードレイジを感じる場合、第1の人物と1人以上の他の人物との間のビジネス関係が損なわれるか、または別の方法で悪影響を受ける可能性がある。

本開示の一態様によれば、方法は、第2の人物とのビデオチャットに参加している第1の人物の、ビデオ信号およびオーディオ信号を取得するステップと、ビデオ信号に基づいて、第1の人物の1つ以上の種類の知覚された感情を判定するステップと、オーディオ信号に基づいて、第1の人物の意味的感情を判定するステップとを含む。本方法はまた、第1の人物の1つ以上の種類の知覚された感情のうちの少なくとも1つと、第1の人物の意味的感情との間の整合性を高めるために、ビデオ信号を変更するステップも含む。

任意選択で、前述の態様のいずれかにおいて、ビデオ信号に基づいて、第1の人物の1つ以上の種類の知覚された感情を判定するステップは、ビデオ信号に基づいて、第1の人物の顔の表情または身体の姿勢のうちの少なくとも1つを検出するステップと、第1の人物の顔の表情または身体の姿勢のうちの少なくとも1つに基づいて、第1の人物の顔の表情の知覚された感情または身体の姿勢の知覚された感情のうちの少なくとも1つを判定するステップとを含む。

任意選択で、前述の態様のいずれかにおいて、第1の人物の1つ以上の種類の知覚された感情を判定するステップは、オーディオ信号にも基づいており、第1の人物の発話のピッチ、ビブラート、または抑揚のうちの少なくとも1つを判定するために、オーディオ信号のオーディオ信号処理を実施するステップと、オーディオ信号のオーディオ信号処理の結果に基づいて、第1の人物の発話の知覚された感情を判定するステップとを含む。そのような方法は、第1の人物の発話の知覚された感情と、第1の人物の意味的感情との間の整合性を高めるために、オーディオ信号を変更するステップをさらに含む。

任意選択で、前述の態様のいずれかにおいて、変更されたビデオ信号を作り出すためにビデオ信号を変更するステップは、顔の表情または身体の姿勢のうちの少なくとも1つに対応する、ビデオ信号の画像データを修正するステップを含み、変更されたオーディオ信号を作り出すためにオーディオ信号を変更するステップは、ピッチ、ビブラート、または抑揚のうちの少なくとも1つに対応する、ビデオ信号のオーディオデータを修正するステップを含む。

任意選択で、前述の態様のいずれかにおいて、本方法は、第2の人物が、第1の人物の1つ以上の種類の知覚された感情のうちの少なくとも1つと、第1の人物の意味的感情との間の整合性を高めた、第1の人物の画像およびオーディオを視聴することが可能になるように、変更されたビデオ信号および変更されたオーディオ信号を、ビデオチャットに参加している第2の人物に関連付けられたサブシステムに提供するステップを含む。

任意選択で、前述の態様のいずれかにおいて、オーディオ信号に基づいて、第1の人物の意味的感情を判定するステップは、オーディオ信号の自然言語処理を実施するステップと、オーディオ信号の自然言語処理の結果に基づいて、第1の人物の意味的感情を判定するステップとを含む。

任意選択で、前述の態様のいずれかにおいて、ビデオ信号に基づいて、第1の人物の1つ以上の種類の知覚された感情を判定するステップは、ビデオ信号に基づいて第1の人物の顔の表情のポジティブ性およびアクティブ性を定量化するために、顔の円環モデルを使用するステップ、またはビデオ信号に基づいて第1の人物の身体の姿勢のポジティブ性およびアクティブ性を定量化するために、姿勢の円環モデルを使用するステップのうちの少なくとも1つを含む。さらに、オーディオ信号に基づいて、第1の人物の意味的感情を判定するステップは、オーディオ信号に基づいて第1の人物の言語のポジティブ性およびアクティブ性を定量化するために、言語の円環モデルを使用するステップを含む。加えて、変更されたビデオ信号を作り出すためにビデオ信号を変更するステップは、第1の人物の顔の表情のポジティブ性およびアクティブ性と、第1の人物の言語のポジティブ性およびアクティブ性との間の距離を短縮するようにビデオ信号の画像データを変更するステップ、または第1の人物の身体の姿勢のポジティブ性およびアクティブ性と、第1の人物の言語のポジティブ性およびアクティブ性との間の距離を短縮するようにビデオ信号の画像データを変更するステップのうちの少なくとも1つを含む。

任意選択で、前述の態様のいずれかにおいて、第1の人物の1つ以上の種類の知覚された感情を判定するステップは、オーディオ信号にも基づいており、オーディオ信号に基づいて、第1の人物の発話のポジティブ性およびアクティブ性を定量化するために、発話の円環モデルを使用するステップを含む。本方法は、第1の人物の発話のポジティブ性およびアクティブ性と、第1の人物の言語のポジティブ性およびアクティブ性との間の距離を短縮するように変更されたオーディオ信号を作り出すために、オーディオ信号のオーディオデータを変更するステップをさらに含み得る。

任意選択で、前述の態様のいずれかにおいて、本方法は、第2の人物が、第1の人物の1つ以上の種類の知覚された感情のうちの少なくとも1つと、第1の人物の意味的感情との間の整合性を高めた、第1の人物の画像およびオーディオを視聴することが可能になるように、変更されたビデオ信号および変更されたオーディオ信号を、ビデオチャットに参加している第2の人物に関連付けられたサブシステムに提供するステップをさらに含む。

本開示の他の一態様によれば、サブシステムは、1つ以上のインターフェースと、1つ以上のプロセッサとを備える。1つ以上のインターフェースは、第2の人物とのビデオチャットに参加している第1の人物のビデオ信号およびオーディオ信号を受信するように構成される。1つ以上のプロセッサは、1つ以上のインターフェースに通信可能に結合され、ビデオ信号に基づいて第1の人物の1つ以上の種類の知覚された感情を判定し、オーディオ信号に基づいて第1の人物の意味的感情を判定するように構成される。1つ以上のプロセッサは、第1の人物の1つ以上の種類の知覚された感情のうちの少なくとも1つと、第1の人物の意味的感情との間の整合性を高めるために、ビデオ信号を変更するようにも構成される。サブシステムは、ビデオ信号を取得するように構成される1つ以上のカメラと、オーディオ信号を取得するように構成される1つ以上のマイクロフォンとを備えることもできる。

任意選択で、前述の態様のいずれかにおいて、1つ以上のプロセッサは、ビデオ信号に基づいて第1の人物の知覚された感情を判定し、オーディオ信号に基づいて第1の人物の意味的感情を判定するように構成される1つ以上のニューラルネットワークを実装する。

任意選択で、前述の態様のいずれかにおいて、1つ以上のプロセッサは、第1の人物の1つ以上の種類の知覚された感情のうちの少なくとも1つと、第1の人物の意味的感情との間の整合性を高めるために、ビデオ信号を変更するように構成される、1つ以上のニューラルネットワークを実装する。

任意選択で、前述の態様のいずれかにおいて、ビデオ信号に基づいて第1の人物の1つ以上の種類の知覚された感情を判定するために、1つ以上のプロセッサは、ビデオ信号に基づいて、第1の人物の顔の表情または身体の姿勢の少なくとも1つを検出し、第1の人物の顔の表情または身体の姿勢のうちの少なくとも1つに基づいて、第1の人物の顔の表情の知覚された感情または身体の姿勢の知覚された感情のうちの少なくとも1つを判定するように構成される。

任意選択で、前述の態様のいずれかにおいて、1つ以上のプロセッサは、第1の人物の発話のピッチ、ビブラート、または抑揚のうちの少なくとも1つを判定するために、オーディオ信号のオーディオ信号処理を実施し、オーディオ信号処理の結果に基づいて、第1の人物の発話の知覚された感情を判定し、第1の人物の発話の知覚された感情と、第1の人物の意味的感情との間の整合性を高めるためにオーディオ信号を変更するようにも構成される。

任意選択で、前述の態様のいずれかにおいて、1つ以上のプロセッサは、変更されたビデオ信号を作り出すために、ビデオ信号を変更するように、顔の表情または身体の姿勢のうちの少なくとも1つに対応する、ビデオ信号の画像データを修正し、変更されたオーディオ信号を作り出すために、オーディオ信号を変更するように、ピッチ、ビブラート、または抑揚のうちの少なくとも1つに対応する、オーディオ信号のオーディオデータを修正するように構成される。

任意選択で、前述の態様のいずれかにおいて、1つ以上のプロセッサは、オーディオ信号の自然言語処理を実施し、オーディオ信号の自然言語処理の結果に基づいて、第1の人物の意味的感情を判定するように構成される。

任意選択で、前述の態様のいずれかにおいて、1つ以上のプロセッサは、ビデオ信号に基づいて、第1の人物の顔の表情のポジティブ性およびアクティブ性を定量化するために、顔の円環モデルを使用し、ビデオ信号に基づいて、第1の人物の身体の姿勢のポジティブ性およびアクティブ性を定量化するために、姿勢の円環モデルを使用し、オーディオ信号に基づいて、第1の人物の言語のポジティブ性およびアクティブ性を定量化するために、言語の円環モデルを使用するように構成される。加えて、1つ以上のプロセッサは、第1の人物の顔の表情のポジティブ性およびアクティブ性と、第1の人物の言語のポジティブ性およびアクティブ性との間の距離を短縮し、第1の人物の身体の姿勢のポジティブ性およびアクティブ性と、第1の人物の言語のポジティブ性およびアクティブ性との間の距離を短縮するために、ビデオ信号の画像データを変更するように構成される。

任意選択で、前述の態様のいずれかにおいて、1つ以上のプロセッサは、オーディオ信号に基づいて、第1の人物の発話のポジティブ性およびアクティブ性を定量化するために、発話の円環モデルを使用し、第1の人物の発話のポジティブ性およびアクティブ性と、第1の人物の言語のポジティブ性およびアクティブ性との間の距離を短縮するために、オーディオ信号のオーディオデータを変更するようにも構成される。

任意選択で、前述の態様のいずれかにおいて、サブシステムは、第2の人物が、第1の人物の1つ以上の種類の知覚された感情のうちの少なくとも1つと、第1の人物の意味的感情との間の整合性を高めた、第1の人物のビデオおよびオーディオを視聴することが可能になるように、変更されたビデオ信号および変更されたオーディオ信号を、ビデオチャットに参加している第2の人物に関連付けられたサブシステムに送信するように構成される送信機を備える。

本開示の他の一態様によれば、非一時的コンピュータ可読媒体は、1つ以上のプロセッサによって実行されると、1つ以上のプロセッサに、第2の人物とのビデオチャットに参加している第1の人物のビデオ信号およびオーディオ信号を取得するステップと、ビデオ信号に基づいて、第1の人物の1つ以上の種類の知覚された感情を判定するステップと、オーディオ信号に基づいて、第1の人物の意味的感情を判定するステップと、第1の人物の1つ以上の種類の知覚された感情のうちの少なくとも1つと、第1の人物の意味的感情との間の整合性を高めるために、ビデオ信号を変更するステップとを実施させるコンピュータ命令を記憶する。非一時的コンピュータ可読媒体は、1つ以上のプロセッサによって実行されると、1つ以上のプロセッサに、上記で要約され、以下でさらに詳細に説明される方法の追加のステップを実施させるコンピュータ命令を記憶することもできる。

以下で、発明を実施するための形態において、さらに説明される概念のうちの選択されたものを簡略化された形態で導入するために、この発明の概要が提供される。この発明の概要は、特許請求される主題の重要な特徴または本質的な特徴を特定することは意図されておらず、また、特許請求される主題の範囲を確定する際に補助として使用されることも意図されていない。この特許請求される主題は、背景技術に記載されている欠点のいずれかまたはすべてを解決する実装形態に限定されない。

本開示の態様は、例として図示されており、同様の参照符号が同様の要素を示す添付の図面によって限定されない。

第1および第2の人物がビデオチャットに参加すること、を可能にする例示的なシステムを示す図である。 第1および第2の人物がビデオチャットに参加すること、を可能にし、第2の人物によって聞かれて見られる第1の人物のオーディオおよびビデオが第1の人物の実際のオーディオおよびビデオとは異なるように、少なくとも第1の人物の、オーディオおよびビデオも修正する、本技術の様々な実施形態によるシステムを示す図である。 第1および第2の人物がビデオチャットに参加すること、を可能にし、第2の人物によって聞かれて見られる第1の人物のオーディオおよびビデオが第1の人物の実際のオーディオおよびビデオとは異なるように、少なくとも第1の人物の、オーディオおよびビデオも修正する、本技術の様々な実施形態によるシステムを示す図である。 第1および第2の人物がビデオチャットに参加すること、を可能にし、第2の人物によって聞かれて見られる第1の人物のオーディオおよびビデオが第1の人物の実際のオーディオおよびビデオとは異なるように、少なくとも第1の人物の、オーディオおよびビデオも修正する、本技術の様々な実施形態によるシステムを示す図である。 ビデオチャットに参加している人物の、オーディオおよびビデオ信号を修正するために使用され得る、本技術の一実施形態による修正サブシステムを示す図である。 図5で導入された修正サブシステムの感情検出器および感情修正器のさらなる詳細を示す図である。 一般的な円環モデルを示す図である。 顔の円環モデルを示す図である。 姿勢の円環モデルを示す図である。 発話の円環モデルを示す図である。 異なる種類の知覚された感情および意味的感情が円環モデルにどのようにマッピングされ得るか、知覚された感情と意味的感情との間の距離がどのように決定され得るか、ならびにそのような距離が、異なるタイプの知覚された感情と意味的感情との間の整合性を高めるために、どのように短縮され得るかを示す図である。 ビデオおよびオーディオ信号の一定の特徴を修正して、知覚された感情と意味的感情との間の整合性を高めるか否かを決定するために、知覚された感情と意味的感情との間の距離がどのように使用され得るかを説明する高レベルフロー図を示す。 本技術の特定の実施形態による方法を要約するために使用される高レベルフロー図を示す。 本技術の実施形態が使用され得る例示的なモバイルコンピューティングデバイスの例示的な構成要素を示す図である。

本技術の特定の実施形態は、第2の人物とのビデオチャットに参加している第1の人物のビデオおよびオーディオ信号を変更し、その結果、変更された信号が第2の人物のために再生されるとき、第2の人物に見られて聞かれるものが、最初にキャプチャされたビデオおよびオーディオ信号とは異なる。第1および第2の人物が車両を運転している間に、双方がビデオチャットに参加している場合、本技術のそのような実施形態は、第1の人物がビデオチャットに参加している間にロードレイジを感じる場合に、第1の人物の怒りが第2の人物に伝わるのを防止することができる。車両を運転している第1の人物が、1人以上の他の人物との、ビジネスに関連したビデオチャットに参加している場合、本技術のそのような実施形態は、第1の人物の怒りが他の人物によって見られるのを防止することができ、それによって、第1の人物と1人以上の他の人物との間のビジネス関係が損なわれること、または別の方法で悪影響を受けることを回避する。以下で、より詳細に説明される特定の実施形態によれば、第1の人物の1つ以上の種類の知覚された感情は、第1の人物のビデオ信号に（かつ潜在的にオーディオ信号にも）基づいて判定され得、第1の人物の意味的感情は、第1の人物のオーディオ信号に基づいて判定され得る。次に、第1の人物のビデオおよびオーディオ信号は、結果として得られる第1の人物の修正されたビデオおよびオーディオが、第1の人物の知覚された感情よりも第1の人物の意味的感情に、より整合しているように修正（変更とも呼ばれる）され得る。より具体的には、ビデオおよびオーディオ信号は、人物の1つ以上の種類の知覚された感情と、人物の意味的感情との間の差を短縮するように修正される。

知覚された感情は、この用語が本明細書で使用される場合、一般に、第2の人物の感覚を使用して、例えば、第2の人物の視覚および聴覚を使用して、第2の人物が気づくようになる第1の人物の感情状態に関する。対照的に、意味的感情は、この用語が本明細書で使用される場合、一般に、第1の人物によって話される口頭の言語（話し言葉、またはより簡潔には言語とも呼ばれる）に対する第2の人物の理解を使用して、第2の人物が気づくようになる第1の人物の感情状態に関する。例えば、第1の人物が、第2の人物との会話中に、彼らが楽しい1日を送っていると言いながら、微笑み、肯定的な身体言語を有する場合、知覚された感情が意味的感情に実質的に整合し得ることが多い。しかしながら、例えば、第1の人物が、第2の人物との会話中に、彼らが素晴らしい1日を送っていると言いながら、顔をしかめ、否定的な身体言語（見下ろして腕を組むなど）を有する場合、知覚された感情と意味的感情とが著しく整合していないこともある。本技術の特定の実施形態によれば、第1の人物が、第2の人物とのビデオチャット中に、彼らが素晴らしい1日を送っていると言いながら、顔をしかめ、否定的な身体言語（見下ろして腕を組むなど）を有する場合、第2の人物のためにビデオが再生されるときには、第1の人物の身体言語が否定的な身体言語から肯定的な身体言語に変換されているように、第1の人物のビデオが変更されており、その結果、第1の人物の身体言語は、その人物達が使用した肯定的な話し言葉と、より整合している。加えて、例えば、第1の人物の音声のピッチ、ビブラート、および／または抑揚を、彼らが使用した肯定的な話し言葉と、より整合するように変換するために、第1の人物のオーディオもまた、変更されてもよい。

図1は、第1および第2の人物がビデオチャットに参加すること、を可能にする例示的なシステムを示す。図1では、ブロック110Aおよび110Bは、本明細書で、より一般的にオーディオ－ビデオ（A－V）サブシステム120Aおよび120Bとも呼ばれるそれぞれのクライアントコンピューティングデバイスを使用してビデオチャットに参加している第1および第2の人物を表す。A－Vサブシステム120Aおよび120Bは、まとめてA－Vサブシステム120と呼ばれてもよいし、または個別にA－Vサブシステム120と呼ばれてもよい。第1の人物110Aおよび第2の人物110Bは、まとめて人物110と呼ばれることもできるし、または個別に人物110と呼ばれることもできる。A－Vサブシステム120Aは、第1の人物110Aの、ビデオ信号およびオーディオ信号を取得することができ、A－Vサブシステム120Bは、第2の人物110Bの、ビデオ信号およびオーディオ信号を取得することができる。したがって、各A－Vサブシステム120は、オーディオ信号を取得するために使用される少なくとも1つのマイクロフォンと、ビデオ信号を取得するために使用される少なくとも1つのカメラとを備えることができる。少なくとも1つのカメラは、毎秒複数の二次元RGB／NIR画像（例えば、毎秒30画像）をキャプチャするために使用され得る画像センサ（例えば、CMOSイメージセンサ）を含むRGB／NIR（近赤外線）カメラとすることができる。少なくとも1つのさらなるカメラは、例えば、構造化光および／またはtime－of－flight（TOF）センサを使用して点群に3D構造を再構築するなど、RGB／NIR画像ではなく深度画像を作り出す深度カメラとすることができる。

さらに、A－Vサブシステム120Aは、第1の人物110Aのために第2の人物（例えば、120B）のビデオおよびオーディオを再生することができ、A－Vサブシステム120Bは、第2の人物110Bのために第1の人物（例えば、120A）のビデオおよびオーディオを再生することができる。したがって、各A－Vサブシステム120は、可聴音を出力するために使用される少なくとも1つのオーディオ－スピーカと、ビデオ画像を表示するために使用される少なくとも1つのディスプレイとを備えることができる。A－Vサブシステム120Aおよび120Bの一方または両方は、これらに限定されないが、車室内コンピュータシステム、またはスマートフォン、タブレットコンピュータ、ノートブックコンピュータ、ラップトップコンピュータまたは同類のものなどのモバイルコンピューティングデバイスとすることができる。オーディオ－ビデオサブシステム120Aおよび120Bの一方もしくは両方、またはそれらの部分が、例えば車両娯楽システムの一部として、車両に組み込まれるマイクロフォン、カメラ、オーディオスピーカ、および／またはディスプレイを含むことができる可能性もある。

第1の人物110Aおよび第2の人物110Bが、自身のそれぞれのA－Vサブシステム120Aおよび120Bを使用してビデオチャットに参加しているとき、A－Vサブシステム120Aの少なくとも1つのマイクロフォンは、第1の人物110Aのオーディオ信号を取得し、A－Vサブシステム120Aの少なくとも1つのカメラは、第1の人物110Aのビデオ信号を取得する。同様に、A－Vサブシステム120Bの少なくとも1つのマイクロフォンは、第2の人物110Bのオーディオ信号を取得し、A－Vサブシステム120Bの少なくとも1つのカメラは、第2の人物110Bのビデオ信号を取得する。A－Vサブシステム120Aによって取得された第1の人物110Aのオーディオおよびビデオ信号は、1つ以上の通信ネットワーク130を介してA－Vサブシステム120Bに送信される。同様に、A－Vサブシステム120Bによって取得された第2の人物110Bのオーディオおよびビデオ信号は、1つ以上の通信ネットワーク130を介してA－Vサブシステム120Bに送信される。

通信ネットワーク130は、イントラネット、エクストラネット、またはインターネットなど、任意の有線もしくは無線のローカルエリアネットワーク（LAN）および／もしくはワイドエリアネットワーク（WAN）、またはそれらの組合せとすることができるが、それらに限定されない。通信ネットワーク130は、A－Vサブシステム120と、任意選択の他のデバイスおよびシステムとの間の通信能力を提供すれば十分である。いくつかの実装形態では、通信ネットワーク130は、伝送制御プロトコル／インターネットプロトコル（TCP／IP）を使用して情報を転送するためにハイパーテキスト・トランスファー・プロトコル（HTTP）を使用する。HTTPは、A－Vサブシステム120が、通信ネットワーク130を介して利用可能な様々なリソースにアクセスすることを可能にする。しかしながら、本明細書に記載の様々な実装形態は、任意の特定のプロトコルの使用に限定されない。

A－Vサブシステム120Aの少なくとも1つのオーディオ－スピーカは、第2の人物110Bのオーディオ信号を使用して、第1の人物110Aによって聴かれ得る、第2の人物110Bの可聴音（例えば、話された言葉）を出力する。A－Vサブシステム120Aの少なくとも1つのディスプレイは、第2の人物110Bのビデオ信号を使用して、第1の人物110Aによって眺められ得る、第2の人物110Bのビデオ画像を表示する。同様に、A－Vサブシステム120Bの少なくとも1つのオーディオ－スピーカは、第1の人物110Aのオーディオ信号を使用して、第2の人物110Bによって聴かれ得る、第1の人物110Aの可聴音（例えば、話された言葉）を出力する。A－Vサブシステム120Bの少なくとも1つのディスプレイは、第1の人物110Aのビデオ信号を使用して、第2の人物110Bによって眺められ得る、第1の人物110Aのビデオ画像を表示する。

従来、（A－Vサブシステム120Aによって取得された）第1の人物110Aのオーディオおよびビデオ信号の修正されていないバージョンは、（第2の人物110Bに近接しているA－Vサブシステム120Bを使用して）第1の人物110Aのオーディオおよびビデオを第2の人物110Bに出力および表示するために使用される。したがって、第1の人物110Aが、第2の人物110Bとのビデオチャットに参加しているときに、怒った顔の表情（例えば、しかめ面）、怒った身体の姿勢（例えば、握られた直立握りこぶし）、および怒った（例えば高い）口調を有する場合、第2の人物110Bは、第1の人物110Aの怒った顔の表情および怒った身体の姿勢を見ることになり、第1の人物110Aの怒った口調を聞くことになる。身体の姿勢という用語は、本明細書で使用される場合、手の姿勢も包含することに留意されたい。

本技術の特定の実施形態によれば、第1の人物110Aのオーディオおよびビデオ信号は、A－Vサブシステム120Bに提供される前に修正され、その結果、第1の人物110Aの実際の見え方、および聞こえ方とは異なる、第2の人物110Bによって聴かれて見られる第1の人物110Aのオーディオおよびビデオ信号ができる。第1の人物110Aのオーディオおよびビデオ信号に対するそのような修正は、そのオーディオおよびビデオ信号を取得する同じA－Vサブシステムによって実施され得る。より具体的には、図2に示されるように、A－Vおよび修正サブシステム220Aは、第1の人物のオーディオおよびビデオ信号を取得し、修正されたオーディオおよびビデオ信号を第2の人物110Bに近接しているA－Vサブシステム120Bに提供する通信ネットワーク130に、そのような信号を提供する前に、そのような信号を修正することができる。代替的に、第1の人物110Aのオーディオおよびビデオ信号に対するそのような修正は、第1の人物110Aのオーディオおよびビデオ信号を取得するA－Vサブシステム120Aとは別個のさらなるサブシステムによって実施され得る。例えば、図3に示されるように、修正サブシステム320Aは、第1の人物110Aのオーディオおよびビデオ信号を受信することができ、修正サブシステム320Aは、修正されたオーディオおよびビデオ信号を第2の人物110Bに近接しているA－Vサブシステム120Bに提供する通信ネットワーク130に、そのような信号を提供する前に、そのような信号を修正することができる。別の選択肢は、（第1の人物110Aの、そのオーディオおよびビデオ信号を取得する）A－Vサブシステム120Aが、第1の人物110Aのオーディオおよびビデオ信号を、1つ以上の通信ネットワーク130を介して、修正サブシステム420Aに提供することであり、次に、修正サブシステム420がそのような信号を修正した後、修正サブシステム420は、第1の人物110Aの修正されたオーディオおよびビデオ信号を、通信ネットワーク130を介して、第2の人物110Bに近接しているA－Vサブシステム120Bに提供することができる。他の変形も可能であり、本明細書に記載の実施形態の範囲内である。図1～図4には示されていないが、第2の人物110Bのビデオおよびオーディオ信号も同様の修正サブシステムに提供されて、第2の人物の知覚された感情が第2の人物110Bの意味的感情とより整合しているように見えるように、そのような信号を修正することができる。

（図1、図3、および図4における）AVサブシステム120Aによって、または（図2における）A－Vおよび修正サブシステム220Aによってキャプチャされる、あるいは別の方法で取得される、第1の人物110Aのオーディオおよびビデオ信号は、第1の人物110Aのキャプチャされたオーディオおよびビデオ信号とも呼ばれ得る。図5は、キャプチャされたオーディオおよびビデオ信号をAVサブシステム120Aから受信する、またはAVおよび修正サブシステム220Aの一部である、修正サブシステム520を示す。図5に示されるように、修正サブシステム520は、（感情検出器530とも呼ばれ得る）感情検出ブロック530と、（感情修正器540とも呼ばれ得る）感情修正ブロック540とを含む。感情検出器530は、例えば、第1の人物110Aの否定的、肯定的および／または中立的な感情を検出することができる。例示的な否定的な感情には、怒り、神経質、注意散漫、およびいらいらが含まれるが、これらに限定されない。感情修正器540は、例えば、修正されたオーディオおよびビデオ信号における第1の人物110Aの1つ以上の種類の知覚された感情が中立的または肯定的な感情であるように、オーディオおよびビデオ信号を修正することができる。例示的な中立的または肯定的な感情には、幸せ、冷静、警戒、および満足が含まれるが、これらに限定されない。本技術の具体的な実施形態による、感情検出器530および感情修正器540のさらなる詳細は、図6を参照して以下に説明される。

図6を参照すると、感情検出器530は、（顔の検出器610とも呼ばれる）顔の検出ブロック610、および（顔の表情認識器612とも呼ばれる）顔の表情認識ブロック612を含むものとして示されている。感情検出器530は、（骨格の検出器614とも呼ばれる）骨格の検出ブロック614、および（姿勢認識器616とも呼ばれる）姿勢認識ブロック616を含むものとしても示されている。図6に示されるように、顔の検出器610および骨格の検出器614は、ビデオ信号602を受信するものとして示されている。ビデオ信号602は、例えば、AVサブシステム120A、より具体的には、その1つ以上のカメラによってキャプチャされた第1の人物110Aのビデオ信号とすることができる。さらに図6を参照すると、感情検出器530は、（オーディオ信号プロセッサ624またはオーディオ信号分析器624とも呼ばれる）オーディオ信号処理ブロック624、および（自然言語プロセッサ626または自然言語分析器626とも呼ばれる）自然言語処理ブロック626を含むものとしても示されている。図6に示されるように、オーディオ信号分析器624および自然言語分析器626は、オーディオ信号622を受信する。オーディオ信号622は、例えば、AVサブシステム120Aによってキャプチャされた第1の人物110Aのオーディオ信号、より具体的には、そのマイクロフォンとすることができる。ビデオ信号602およびオーディオ信号622は、具体的に明記されない限り、デジタル信号であると推定される。インターフェース603および623は、例えば、それぞれカメラおよびマイクロフォンから、または1つ以上の他のサブシステムから、ビデオ信号602およびオーディオ信号622を受信することができる。

特定の実施形態によれば、顔の検出器610は、画像内の人物の顔を検出することができ、画像内の顔の特徴を検出することもできる。既に開発された（または将来開発される）コンピュータビジョン技術は、そのような顔の特徴を検出するために、顔の検出器610によって使用され得る。例えば、HSV（色相－彩度－明度）カラーモデル、または他の何らかのコンピュータビジョン技術が、画像内の顔を検出するために使用され得る。これらに限定されないが、目、鼻、唇、顎、頬、眉毛、額、および／または同類のものなどの顔の特徴を識別するために、特徴検出モデルまたは他の何らかのコンピュータビジョン技術が使用され得る。特徴検出は、額、口の両脇、および／または目の周りなどの具体的な顔の領域のしわを検出するためにも使用され得る。特定の実施形態では、人物の顔および人物の顔の特徴は、境界ボックスを使用して識別され得る。ユーザの顔にある目など、識別されるべきいくつかの特徴は、他の特徴内に含まれることができ、その場合、含む特徴（例えば、顔）を最初に識別し、次に、含まれる特徴（例えば、一対の目のそれぞれの目）を識別するために、連続する境界ボックスが使用されてもよい。他の実施形態では、各明確な特徴を識別するために、単一の境界ボックスが使用されてもよい。特定の実施形態では、これらの顔の特徴を識別し、境界ボックスを生成するために、OpenCV（http：／／opencv．willowgarage．com／wiki／）コンピュータビジョンライブラリおよび／またはDlibアルゴリズムライブラリ（http：／／dlib．net／）、）などの1つ以上のアルゴリズムライブラリが使用され得る。特定の実施形態では、境界ボックスは長方形である必要はなく、むしろ、限定はしないが楕円形などの別の形状とすることができる。特定の実施形態では、顔の特徴（例えば、目、鼻、唇など）の検出における信頼度を高めるために、ブースティングなどの機械学習技術が使用されてもよい。より一般的には、ディープニューラルネットワーク（DNN）および／または他のコンピュータモデルを訓練して、画像から顔の特徴を検出するために、データセットが使用され得、その後、訓練されたDNNおよび／または他のコンピュータモデルが、顔の特徴認識に使用され得る。

顔の検出器610によって顔の特徴が識別（検出とも呼ばれる）されると、顔の表情認識器612は、人物の顔の表情を判定することができる。一般に、人間の顔は、上述のように、顎、口、目、および鼻などの異なる部分からなる。それらの顔の特徴の形状、構造、およびサイズは、種々の顔の表情によって異なり得る。加えて、一定の顔の表情では、具体的な顔の位置にあるしわが変化する場合がある。例えば、人物の眉間のしわ、および／または同類のものなどの異なる顔の表情を区別するために、人物の目および口の形状が用いられ得る。人物の検出された顔の表情に少なくとも部分的に基づいて、人物の1つ以上の種類の知覚された感情が、図6の知覚された感情検出器632によって、判定され得る。検出された顔の表情に少なくとも部分的に基づいて検出されてもよい、例示的な知覚された感情は、怒り、神経質、注意散漫、およびいらいら、ならびに幸せ、冷静、警戒、および満足を含むが、これらに限定されない。知覚された感情を定量化するための一定の技術が以下に説明される。

これらに限定されないが、腕、手、肘、手首、および／または同類のものなどの、人体の部分および関節を識別するために、骨格の検出器614は、骨格の検出モデルまたは他の何らかのコンピュータビジョン技術を使用することができる。姿勢認識器616は、車両の運転中に人物が自身の両手で車両のハンドルを握っているか否か、または、車両の運転中に人物が自身の握り拳と共に一方の腕を上げているか否かなどの、具体的な姿勢を検出することができる。ディープニューラルネットワーク（DNN）および／または他のコンピュータモデルを訓練して、画像から人間の姿勢を検出するために、データセットが使用され得、訓練されたDNNおよび／または他のコンピュータモデルは、その後、姿勢認識のために使用され得る。

骨格の検出器614によって画像内に人体の部分が検出されると、姿勢認識器616は人物の姿勢を判定することができる。一般に、人体は、頭、首、胴体、上腕、肘、前腕、手首、手などの異なる部分からなる。一定の姿勢では、そのような身体部分の全体的および相対的な位置および向きが変化する場合がある。例えば、ある人物が車両を運転している間、その人物は、車両のハンドルに自身の両手をかけていることが多いが、例えば、別の車両の運転者がその人物に急停止させた、進路を変えさせた、および／または同類のことをさせたために、その人物が怒り出す場合、その人物は自身の一方の腕を上げて拳を握ることがある。図6から理解され得るように、検出された姿勢は、姿勢認識器616から、知覚された感情検出器632への線によって表されるように、人物の知覚された感情を判定するためにも使用され得る。

上述のように、図6では、オーディオ信号分析器624および自然言語分析器626は、オーディオ信号622を受信する。オーディオ信号622は、例えば、AVサブシステム120Aによってキャプチャされた第1の人物110Aのオーディオ信号とすることができる。オーディオ信号分析器624は、人物の感情状態に応じて変化する場合があるオーディオ信号622の様々な特徴を検出するために、オーディオ信号622を分析することができる。そのようなオーディオ特徴の例は、ピッチ、ビブラート、および抑揚を含む。ピッチは信号の周波数に関係し、したがって、周波数として定量化され得る。人物の声のピッチの変化は、人の覚醒状態、またはより一般的には感情状態と相関することが多い。例えば、ピッチの上昇は、怒り、喜び、または恐怖などの非常に覚醒した状態と相関することが多く、一方、ピッチの低下は、悲しみ、または冷静などの低い覚醒状態と相関することが多い。ビブラートは、所与の速度および深度で生じる、人物の声のピッチ（例えば、基本周波数）の周期的な変調である。ビブラートはジッタにも関係し、感情の変化と相関することが多い。ピッチの変動の増加、したがって、ビブラートは、例えば、幸福、悲嘆、または恐怖の増加を示す可能性がある。抑揚は、各発話の開始時のピッチの迅速な修正であり、修正は、半音数個分その目標をオーバーシュートするが、正常値まで急速に減衰する。抑揚の使用は、さらなるピッチの変動をもたらし、これは、高い感情の強さおよび肯定的な感情価に関連付けられる。図6から理解され得るように、オーディオ信号分析器624によって実施されるオーディオ信号分析の結果は、オーディオ信号分析器624から、知覚された感情検出器632への線によって表されるように、人物の知覚された感情を判定するためにも使用され得る。上記の説明から理解され得るように、具体的なオーディオ特徴における一定の変化は、肯定的な感情（例えば、幸福）または否定的な感情（例えば、怒り）のいずれかの増加を示すことができる。例えば、幸福または恐怖の増加は、両方ともピッチの増加を引き起こし得る。しかしながら、複数の声の特徴を単独で、または顔の表情および／もしくは身体の姿勢と組み合わせて分析することによって、人物の比較的正確な知覚された感情を判定することが可能である。

自然言語分析器626は、オーディオ信号622について自然言語処理（NLP）を実施し、その結果は、自然言語分析器626から意味的感情検出器634への線によって表されるように、人物の意味的感情を判定するために使用され得る。自然言語分析器626によって実施されるNLPは、人物の発話のテキスト表現を提供する音声認識を含むことができる。自然な発話では、連続する単語間にほとんど休止がなく、したがって、発話の分節化は発話認識のサブタスクとすることができ、ここで発話の分節化は、人物の音声クリップを複数の単語に分離することを含む。自然言語分析器626は、いくつか例を挙げると、単一の言語、または英語、中国語、スペイン語、フランス語、およびドイツ語などの複数の異なる言語を認識するように構成され得る。自然言語分析器626が複数の異なる言語に対してNPLを実施することができる場合、自然言語分析器626の出力は、人物が話している具体的な言語の指示を含むことができる。

知覚された感情検出器632は、顔の表情分析器612、姿勢認識器616、およびオーディオ信号分析器624の出力に基づいて、人物に関連付けられた1つ以上の種類の知覚された感情を判定するために、1つ以上の参照テーブル（LUT）を用いることができる。顔の表情分析器612の出力は、人物のビデオ信号602に基づいて判定された、人物の1つ以上の顔の表情特徴を特定することができ、姿勢認識器616の出力は、人物のビデオ信号602に基づいて判定された、人物の1つ以上の身体の姿勢を特定することができ、オーディオ信号分析器624の出力は、オーディオ信号622に基づいて判定された、1つ以上のオーディオ特徴を特定する。LUTを使用する代わりに、またはLUTを使用することに加えて、知覚された感情検出器632は、顔の表情訓練データ、身体の姿勢訓練データ、発話訓練データ、および／または他の知覚された感情訓練データを含むことができる、知覚された感情訓練データに基づいて訓練される、1つ以上のDNNおよび／または1つ以上の他のコンピュータモデルによって実装され得る。

意味的感情検出器634は、自然言語分析器626の出力に基づいて、人物に関連付けられた知覚された感情を判定するために、1つ以上の参照テーブル（LUT）を使用することができる。自然言語分析器626の出力は、オーディオ信号622に基づいて判定されるとき、人物によって話された単語および文を特定することができ、話されている言語を示すこともできる。LUTを使用する代わりに、またはLUTを使用することに加えて、意味的感情検出器634は、意味的感情訓練データに基づいて訓練される、1つ以上のDNNおよび／または他のコンピュータモデルによって実装され得る。

さらに図6を参照すると、知覚された感情検出器632および意味的感情検出器634の出力は、感情修正ブロック540に提供されるものとしても示されており、感情修正ブロックは感情修正器540とも呼ばれ得る。感情修正器540は、キャプチャされたビデオ信号602およびキャプチャされたオーディオ信号622を受信するものとしても示されている。感情修正器540は、顔の表情修正ブロック642、姿勢修正ブロック646、およびオーディオ修正ブロック648を含むものとして示されており、それぞれ、顔の表情修正器642、姿勢修正器646、およびオーディオ修正器648としても呼ばれ得る。上述のように、知覚された感情検出器632は、検出された顔の表情、ビデオ信号602に基づいて判定された、検出された身体の姿勢、およびオーディオ信号622に基づいて判定された、検出されたオーディオ特徴（例えば、ピッチ、ビブラート、および抑揚）に基づいて、人物の1つ以上の種類の知覚された感情の種類を判定することができる。これもまた上述されたように、意味的感情検出器634は、人物の意味的感情を、NLPを使用して人物の話し言葉に基づいて判定する。

本技術のある特定の実施形態によれば、顔の表情修正器642は、（知覚された感情検出器632によって判定される）人物の顔の表情の知覚された感情と、（意味的感情検出器364によって判定される）人物の意味的感情との間の整合性を高めるように、ビデオ信号602の顔の表情画像データを修正する。本技術の特定の実施形態によれば、姿勢修正器646は、（知覚された感情検出器632によって判定される）人物の身体の姿勢の知覚された感情と（意味的感情検出器634によって判定される）人物の意味的感情との間の整合性を高めるように、ビデオ信号602の画像データを修正する。本技術の特定の実施形態によれば、オーディオ修正器648は、（知覚された感情検出器632によって判定される）人物の発話の知覚された感情と（意味的感情検出器634によって判定される）人物の意味的感情との間の整合性を高めるように、オーディオ信号622のオーディオデータを修正する。感情修正器540は、修正されたビデオ信号652および修正されたオーディオ信号662を出力するものとして示されている。

本技術の特定の実施形態は、環境要因に応答するおよび／または環境要因によって引き起こされる人物の感情が、会話の文脈に応答するおよび／または会話の文脈によって引き起こされる人物の感情と特定の特徴空間において認識可能に異なり、環境要因に応答するおよび／または環境要因によって引き起こされる感情と、会話の文脈に応答するおよび／または会話の文脈によって引き起こされる感情との間の差が定量化され得るという推定に依存する。特定の実施形態によれば、知覚された感情と意味的感情との間の差を定量化するために使用される特徴空間は、覚醒度／感情価の円環モデルによって定義される特徴空間であり、これはJames Russellによって最初に開発され、Journal of Personality and Social Psychology、第39巻第6号、1980年12月、1161～1178頁の「A circumplex model of affect」と題された論文で発表された。覚醒度／感情価の円環モデルは、より簡潔に円環モデルと呼ばれることもでき、感情が覚醒度次元および感情価次元を含む2次元の円形空間に分布されることを示唆する。覚醒度は縦軸に対応し、感情価は横軸に対応し、円の中心は、中立的な感情価および中レベルの覚醒度に対応する。このモデルでは、感情状態は、任意のレベルの感情価および覚醒度、またはこれらの要因の一方もしくは両方の中立レベルで表され得る。James RussellおよびLisa Feldman Barrettは、その後、修正された覚醒度／感情価の円環モデルを開発し、これを、彼らは、Journal of Personality and Social Psychology、第76巻第5号、1999年5月、805～819頁の「Core affect，prototypical emotional episodes，and other things called emotion：dissecting the elephant」と題された論文で発表した。

本発明の特定の実施形態によれば、知覚された感情検出器632は、顔の表情、身体の姿勢、および発話に基づいて、3種類の知覚された感情を別々に判定するために、1つ以上の覚醒度／感情価円環モデルを使用する。より具体的には、特定の実施形態では、人物の顔の表情と関連付けられる覚醒度および感情価を判定するために、顔の円環モデルが使用され、人物の身体の姿勢と関連付けられる覚醒度および感情価を判定するために、姿勢の円環モデルが使用され、人物の発話に関連付けられる覚醒度および感情価を定義するために、発話の円環モデルが使用される。感情価の次元は、水平軸上に表され、正の価数と負の価数との間の範囲である。（水平軸に沿った）正の感情価および負の感情価は、それぞれ、快および不快として、またはより一般的にはポジティブ性としても知られている。覚醒度の次元は、水平の「感情価」軸と交差する垂直軸上に表され、活性と不活性との間の範囲である。（垂直軸に沿った）活性化および不活性化された覚醒度は、それぞれ、強烈な、および強烈でない覚醒度として、またはより一般的にはアクティブ性としても知られている。一般的な円環モデルが図7Aに示され、顔の円環モデルが図7Bに示され、姿勢の円環モデルが図7Cに示され、発話の円環モデルが図7Dに示されている。

本技術の特定の実施形態によれば、顔の表情検出、姿勢検出、および発話検出アルゴリズムから生成された特徴ベクトルが、DNNに入力される。顔の表情検出は、図6を参照して上述された、顔の検出器610および顔の表情分析器612によって実施され得る。顔の表情検出の結果は、1つ以上の顔特徴ベクトルとすることができる。姿勢検出は、骨格の検出器614および姿勢認識器616によって実施され得る。身体の姿勢検出の結果は、1つ以上の姿勢特徴ベクトルとすることができる。発話検出は、オーディオ信号分析器624によって実施され得る。発話検出の結果は、1つ以上の発話特徴ベクトルとすることができる。特定の実施形態によれば、前述の特徴ベクトルは、互いに連結され、DNNに供給される。そのようなDNNは、図6の、知覚された感情検出器632を実装するために使用され得る。

本技術の特定の実施形態によれば、知覚された感情検出器632を実装するDNNの出力は、｛aro_f、val_f、aro_p、val_p、aro_s、val_s｝として表記される6つの値であり、「aro」は覚醒度を指し、「val」は感情価を指し、添字f、p、およびsはそれぞれ顔、姿勢、および発話を指す。したがって、人物の顔の表情を示す覚醒度の値および感情価の値と、人物の身体の姿勢を示す覚醒度の値および感情価の値と、人物の発話を示す覚醒度の値および感情価の値とが存在する。特定の実施形態によれば、これらの値は、以下でさらに詳細に説明されるように、人物の顔の表情、身体の姿勢、および／または発話を修正するために使用される。修正および変更という用語は、本明細書では互換的に使用される。

本技術の特定の実施形態によれば、人物の意味的感情を定量化するために、ディープラーニングベースの自然言語処理（NLP）アルゴリズムが適用される。主要な考え方は、認識された発話を用いて感情のコンテキスト依存性を判定することである。自然言語処理では、テキストインスタンスは、特徴空間内のベクトルとして表されることが多い。特徴の数は、多くの場合、数十万と多く、従来、これらの特徴は既知の意味を有する。例えば、インスタンスが、以前に訓練データにおいて観察された特定の単語を有するか否か、その単語が、感情語彙において肯定的／否定的な用語としてリストされているか否かなどである。NLPアルゴリズムを使用することによって、人物の意味的感情が推定され得る。特定の実施形態によれば、意味的感情検出器634を実装するDNNの出力は、｛aro_sem、val_sem｝として表記される2つの値であり、これらはまとめてEmo_semとして表され得る。特定の実施形態によれば、人物の意味的感情Emo_semは、以下でさらに詳細に説明されるように、人物の顔の表情、身体の姿勢、および／または発話に対応する画像データおよびオーディオデータを修正するために使用される。

各知覚された感情Emoⁱ _percは、円環モデル上の点を示し、i＝｛face、pose、speech｝である。これにより、図8に示されるように、複数種類の知覚された感情の、円環モデルへのマッピングが可能になる。同じく図8に示されているように、意味的感情Emo_semもまた、同じ円環モデルにマッピングされ得る円環モデル上の点を示す。図8を参照すると、802とラベル付けされた「X」は、人物の知覚された顔の感情に対応し、804とラベル付けされた「X」は、人物の知覚された姿勢の感情に対応し、806とラベル付けされた「X」は、人物の知覚された発話の感情に対応する。X802、X804およびX806の位置は、上述された｛aro_f、val_f、aro_p、val_p、aro_s、val_s｝として表記される6つの値によって定義される。より具体的には、802とラベル付けされた「X」の位置は、値aro_fおよびval_fによって定義され、804とラベル付けされた「X」の位置は、値aro_pおよび val_pによって定義され、806とラベル付けされた「X」の位置は、値aro_sおよびval_sによって定義される。さらに図8を参照すると、808とラベル付けされたドットは、人物の意味的感情Emo_semに対応する。808とラベル付けされたドットの位置は、値aro_semおよびval_semによって定義される。

上述のように、アクティブ性は覚醒度の尺度であり、ポジティブ性は感情価の尺度である。任意の知覚された感情

と意味的感情Emo_semとの間の距離dist_iは、以下の式を使用して計算され得る。

任意の知覚された感情

と意味的感情Emo_semとの間の距離は、知覚された感情と意味的感情とが、どの程度近くに整合しているかを示す。例えば、具体的な知覚された感情（例えば、身体の姿勢）と意味的感情との間の距離が比較的小さい場合、これは、知覚された感情が意味的感情と実質的に整合していることを示す。逆に、具体的な知覚された感情（例えば、身体の姿勢）と意味的感情との間の距離が比較的大きい場合、これは、知覚された感情が意味的感情と実質的に整合していないことを示す。特定の実施形態によれば、それぞれの種類の、判定された、知覚された感情に対して、知覚された感情と意味的感情との間の距離が判定される。これにより、顔の表情、身体の姿勢、および発話のそれぞれに対して1つずつ、3つの距離値が判定される。判定された距離が、指定された距離閾値を超える場合、知覚された感情が意味的感情と実質的に整合していないと判定され、その判定に応答して、知覚された感情と意味的感情との間の整合性を高めるために、それぞれの特徴（例えば、顔の表情、身体の姿勢、または発話）が修正される。より多くの例として、（図8において802とラベル付けされた「X］によって表される）顔の知覚された感情と（図8において808とラベル付けされたドットによって表される）意味的感情との間の判定された距離が、指定された距離閾値よりも大きい場合、そのときには、顔の知覚された感情が意味的感情と、より整合している、修正されたビデオ信号を作り出すように、ビデオ信号の顔の画像データが修正される。逆に、顔の知覚された感情と意味的感情との間の判定された距離が指定された距離閾値未満（以内とも呼ばれる）である場合、そのときには、ビデオ信号の顔の画像データは修正されない。この、それぞれの距離の判定、および判定された距離と距離閾値との比較は、身体の姿勢ならびに発話に対しても判定される。そのような比較の結果は、ビデオ信号の身体の姿勢データ、および／またはオーディオ信号の発話データを修正するか否かを判定するために使用される。

前述の距離の判定および比較は、図9のフロー図に要約されている。図9を参照すると、ステップ902では、知覚された感情（顔、姿勢、発話）のうちの1つと意味的感情との間の距離が判定され、より具体的には、例えば、上述された式を使用して計算される。ステップ904では、計算された距離が距離閾値と比較され、ステップ906では、計算された距離が距離閾値以内（すなわち、未満）にあるか否かの判定がある。計算された距離が距離閾値以内にない場合（すなわち、ステップ906での判定に対する答えが、いいえ、である場合）、そのときには、フローはステップ908に進み、フローはステップ910に進む前に、関連する信号またはその一部がステップ908で修正される。計算された距離が距離閾値以内にある場合（すなわち、ステップ906での判定に対する答えが、はい、である場合）、そのときには、関連する信号またはその一部を変更することなく、フローはステップ910に進む。上記の要約されたステップは、顔、姿勢、および発話を含む、異なる種類の知覚された感情のそれぞれに対して実施され得る。

本技術の特定の実施形態によれば、第1の人物のビデオおよびオーディオは、合成画像／オーディオを生成することによって修正されて、その元のバージョンを置き換える。より具体的には、第1の人物の最初に取得されたビデオおよびオーディオ信号は、修正されたビデオおよびオーディオ信号であって、第2の人物（または複数の他の人物）によって視聴されるときに、第1の人物の意味的感情とより整合している知覚された感情を有する、修正されたビデオおよびオーディオ信号を作り出すように修正される。特定の実施形態によれば、生成された画像／オーディオの知覚された感情は、意味的感情に可能な限り近く接近するはずである。

図6に戻って参照すると、感情修正器540は、より具体的には知覚された感情修正器540と呼ばれることもでき、顔の表情修正器642、姿勢修正器646、およびオーディオ修正器648を含むものとして示されている。修正器642、646および648のそれぞれは、モジュールと呼ばれることもでき、キャプチャされたオーディオおよびビデオ信号内の具体的なデータを修正することによって、合成画像または合成オーディオを生成するためのアルゴリズムを使用する。簡単な例として、第1の人物の意味的感情は幸福であるが、彼らの顔の知覚された感情は神経質であり、彼らの姿勢の知覚された感情は動揺であり、彼らの発話の知覚された感情は精神的重圧であると判定されると仮定する。本技術の実施形態を使用して、顔の画像データは、人物の顔の表情が（神経質ではなく）幸せになるように修正され、姿勢の画像データは、人物の身体の姿勢が（動揺ではなく）幸せになるように修正され、オーディオデータは、人物の発話が（神経質ではなく）幸せになるように修正される。そのような修正は、ビデオチャットに、認識できる遅延がないように、リアルタイムまたはほぼリアルタイムで行われるべきである。

上述のように、キャプチャされたビデオおよびオーディオ信号を修正して、修正されたビデオおよびオーディオ信号を作り出すために、1つ以上のDNNおよび／または他のコンピュータモデルが使用され得る。具体的な実施形態によれば、そのような修正を実施するために、敵対的生成ネットワーク（GAN）が使用される。GANは、2つのニューラルネットワーク、すなわち生成ニューラルネットワークおよび識別ニューラルネットワーク、を含むディープニューラルネットワークアーキテクチャであり、それらは競争において互いに対抗させられる（したがって、「敵対的」という用語を使用）。したがって、生成ニューラルネットワークおよび識別ニューラルネットワークは、GANニューラルネットワークのサブネットワークとみなされ得る。生成ニューラルネットワークは候補を生成する一方で識別ニューラルネットワークが候補を評価する。競争は、データ分布において効果がある。生成ニューラルネットワークは、潜在空間から関心のあるデータ分布にマッピングすることを学習することができ、一方で、識別ニューラルネットワークは、生成ニューラルネットワークによって作り出された候補を真のデータ分布から区別することができる。生成ニューラルネットワークの訓練目的は、合成されていない（真のデータ分布の一部である）と識別器が考える、新しい候補を作り出すことによって、識別ニューラルネットワークの誤り率を増加させること（すなわち、識別器ニューラルネットワークを「だます」こと）であり得る。既知のデータセットは、識別ニューラルネットワークの初期訓練データとして機能する。識別ニューラルネットワークを訓練することは、許容可能な精度を達成するまで、訓練データセットからのサンプルを識別ニューラルネットワークに与えることを含み得る。生成ニューラルネットワークは、生成ニューラルネットワークが識別ニューラルネットワークをだますことに成功するか否かに基づいて訓練され得る。生成ニューラルネットワークは、所定の潜在空間（例えば、多変量正規分布）からサンプリングされる無作為抽出された入力でシード値が与えられ得る。その後、生成ニューラルネットワークによって合成された候補が識別ニューラルネットワークによって評価され得る。逆伝播は、生成ニューラルネットワークがより良好な画像を作り出すように、両方のネットワークに適用されることができ、一方、識別ニューラルネットワークは、合成画像をフラグ付けするのがより上手になる。生成ニューラルネットワークは、例えば、逆畳み込みニューラルネットワークとすることができ、識別ニューラルネットワークは、例えば、畳み込みニューラルネットワークとすることができる。GANは、ビデオチャット中に信号を修正するために使用される前に訓練されるべきである。

図6に戻って参照すると、顔の表情修正器642は、GANによって実装され得る。より具体的には、ビデオ信号内の画像データを修正して、人物の現実的な画像を表示するために使用され得る、修正されたビデオ信号を作り出すために、GANは使用されることができ、そこで画像は、人物の顔および姿勢の知覚された感情を、人物の意味的感情に、より整合するように修正されている。GANはまた、人物の発話の知覚された感情が人の意味的感情とより整合するようにオーディオ信号を修正するために使用され得る。具体的な実施形態では、画像および／またはオーディオの修正を実施するために、StarGANが使用され得る。Y．Choiらによる「StarGAN：Unified Generative Adversarial Networks for Multi－Domain Image－to－Image Translation，」と題された論文、CVPR、2018年、は、現実的な方法で人の顔の表情を修正するために、どのようにStarGANが使用されてきたかを論じている。追加の、および／もしくは代替の種類のニューラルネットワーク、ならびに／または他の種類のコンピュータモデルの使用も、本明細書に記載の実施形態の範囲内である。

さらに図6を参照すると、姿勢修正器646を実装するためにも、GANが使用され得る。代替的に、姿勢修正器646を実装するために、事前訓練された視覚的生成器モデルが使用され得る。図6に示されるように、元のビデオ信号602は、骨格の検出器614に提供される。元のビデオ信号602は、元の画像ストリーム602とも呼ばれ得る。骨格の検出器614は、元の画像ストリームから骨格の情報を抽出する。骨格情報は、フレーム内のすべての関節位置を格納するベクトルXとして表され得る。一実施形態によれば、ベクトルXは、ベクトルeで表される意味的感情信号と組み合わせられる。これらの2つのベクトルは、ベクトルXとなるように連結され、事前訓練された視覚的生成器モデルの入力として使用され得る。事前訓練された視覚的生成器モデルには、例えば、畳み込み層、最大値プーリング層、逆畳み込み層、およびバッチ正規化層が実装され得るが、これらに限定されない。事前に訓練された視覚的生成器モデルの出力は、意味的感情とより整合している、修正された身体の姿勢を含む、修正されたビデオ信号652を生成するために使用され得る。

さらに図6を参照すると、元のオーディオ信号622は、既に上述されたように、オーディオ信号分析器624に提供されるものとして示されている。人物の発話に対応する知覚された感情を、その意味的感情とより整合させるため、修正され得るオーディオ信号の特徴は、ピッチ、ビブラート、および抑揚を含むが、それらに限定されない。より具体的には、ピッチはシフトされることができ、ここで、ピッチシフトは、元の音声信号のピッチと係数αとの乗算を示す。上昇したピッチ（α＞1）は、幸福などの非常に覚醒した状態と相関することが多く、一方、低下したピッチ（α＜1）は、悲しみなどの低い感情価と相関する。ビブラートは、所与の速度および深度で生じる、声のピッチ（基本周波数）の周期的な変調である。ジッタにも関連するビブラートは、高い覚醒度と相関するものとして頻繁に報告されており、単一の母音においてさえも感情の重要な目印である。ビブラートは、発話に対応する知覚された感情を変更するために修正され得る。抑揚は、各発話の開始時のピッチの迅速な修正（例えば、～500ms）であり、修正は、半音数個分その目標をオーバーシュートするが、正常値まで急速に減衰する。抑揚の使用は、さらなるピッチの変動をもたらし、これは、高い感情の強さおよび肯定的な感情価に関連付けられる。抑揚もまた、発話に対応する知覚された感情を変更するために修正され得る。オーディオ信号は、発話に対応する知覚された感情を変更するためにフィルタリングされることもでき、ここでフィルタリングは、周波数スペクトルの特定の領域のエネルギー寄与を強調する、または減衰させるプロセスを示す。例えば、高い覚醒度の感情は、高周波エネルギーの増加に関連する傾向があり、音声をより鋭く明るくする。人物の意味的感情が、発話に対応する、人物の知覚された感情よりも活性化されていない覚醒度に対応する場合、知覚された感情を意味的感情とより整合させるために、オーディオ信号内の高周波エネルギーは、フィルタリングを使用して弱められ得る。修正されたオーディオ信号の感情的な口調は、認識可能であるべきであり、かつ、声は自然に聞こえるべきで、合成と知覚されるべきではない。上述のように、修正および変更という用語は、本明細書では互換的に使用される。

上述のニューラルネットワークを実装するために、1つ以上のプロセッサが使用され得る。複数のプロセッサが使用される場合、それらは並置され得る、もしくは広く妨害され得るか、またはそれらの組合せであり得る。

本技術の特定の実施形態による方法を要約するために、ここで、図10の高レベルフロー図が使用される。図10を参照すると、ステップ1002は、第2の人物とのビデオチャットに参加している第1の人物のビデオ信号およびオーディオ信号を取得することを含む。図1～図4に戻って参照すると、ステップ1002は、A－Vサブシステム（例えば、120A）、またはより具体的には、A－Vサブシステムの1つ以上のカメラおよび1つ以上のマイクロフォン、または他の何らかのサブシステムもしくはシステムによって実施され得る。

再び図10を参照すると、ステップ1004は、ビデオ信号に基づいて、第1の人物の1つ以上の種類の知覚された感情を判定することを含む。ステップ1006は、オーディオ信号に基づいて、第1の人物の意味的感情を判定することを含む。ステップ1004で判定され得る知覚された感情の種類は、上述したように、顔の表情の知覚された感情、身体の姿勢の知覚された感情、および発話の知覚された感情を含む。

図5および図6に簡潔に戻って参照すると、様々な種類の知覚された感情は、例えば、感情検出器530によって、またはより具体的には、感情検出器530の、知覚された感情検出器632によって判定され得る。より具体的には、ステップ1002で取得されたビデオ信号に基づいて、第1の人物の顔の表情および身体の姿勢が判定されることができ、これらに基づいて、第1の人物の顔の表情の知覚された感情および身体の姿勢の知覚された感情が判定され得る。加えて、第1の人物の発話のピッチ、ビブラート、または抑揚のうちの少なくとも1つを判定するために、ステップ1002で取得されたオーディオ信号のオーディオ信号処理が実施されることができ、第1の人物の発話の知覚された感情が、オーディオ信号処理の結果に基づいて判定され得る。追加の、および／または代替の変形も可能であり、本明細書に記載の実施形態の範囲内である。

具体的な実施形態によれば、ステップ1004において、ビデオ信号に基づいて、第1の人物の顔の表情のポジティブ性およびアクティブ性を定量化するために、顔の円環モデルが使用され、ビデオ信号に基づいて、第1の人物の身体の姿勢のポジティブ性およびアクティブ性を定量化するために、姿勢の円環モデルが使用され、オーディオ信号に基づいて、第1の人物の発話のポジティブ性およびアクティブ性を定量化するために、発話の円環モデルが使用される。

ステップ1006で決定される意味的感情は、例えば、感情検出器530によって、より具体的には、感情検出器530の、意味的感情検出器634によって判定され得る。上記でさらに詳細に説明されたように、ステップ1006は、オーディオ信号の自然言語処理を実施することと、オーディオ信号の自然言語処理の結果に基づいて、第1の人物の意味的感情を判定することとを含み得る。具体的な実施形態によれば、ステップ1006において、第1の人物の意味的感情は、オーディオ信号に基づいて第1の人物の言語のポジティブ性およびアクティブ性を定量化するために、言語の円環モデルを使用してオーディオ信号に基づいて判定される。

再び図10を参照すると、ステップ1008は、第1の人物の1つ以上の種類の知覚された感情のうちの少なくとも1つと、第1の人物の意味的感情との間の整合性を高めるために、ビデオ信号およびオーディオ信号を変更することを含む。上記で詳細に説明されたように、ステップ1008を実施するために、1つ以上のコンピュータで実装されるニューラルネットワークが使用され得る。他の種類の、コンピュータで実装されるモデルが、ステップ1008を実施するために、代替的または追加的に使用され得る。ステップ1008は、ビデオ信号に含まれる画像データの顔の表情および身体の姿勢を修正すること、ならびにオーディオ信号に含まれるオーディオデータのピッチ、ビブラート、または抑揚のうちの少なくとも1つを修正することを含むことができる。

具体的な実施形態によれば、ステップ1008は、第1の人物の顔の表情のポジティブ性およびアクティブ性と、第1の人物の言語のポジティブ性およびアクティブ性との間の距離を短縮するために、ビデオ信号に含まれる画像データを変更することを含む。ステップ1008は、第1の人物の身体の姿勢のポジティブ性およびアクティブ性と、第1の人物の言語のポジティブ性およびアクティブ性との間の距離を短縮するために、ビデオ信号に含まれる画像データを変更することも含み得る。さらに、ステップ1008は、第1の人物の発話のポジティブ性およびアクティブ性と、第1の人物の言語のポジティブ性およびアクティブ性との間の距離を短縮するために、オーディオ信号に含まれるオーディオデータを変更することも含み得る。

さらに図10を参照すると、ステップ1010は、ビデオチャットに参加している第2の人物に関連付けられた（例えば、近接した）サブシステム（例えば、デバイス）に、変更されたビデオ信号および変更されたオーディオ信号を提供すること（例えば、送信すること）を含み、それによって、第2の人物が、第1の人物の1つ以上の種類の知覚された感情のうちの少なくとも1つと、第1の人物の意味的感情との間の整合性を高めた、第1の人物の修正された画像およびオーディオを視聴することが可能になる。

例えば、図9および図10を参照して上述した方法は、これらに限定されないが、スマートフォン、タブレットコンピュータ、ノートブックコンピュータ、ラップトップコンピュータ、または同類のものなどの車室内コンピュータシステムまたはモバイルコンピューティングデバイスによって少なくとも部分的に実施され得る。そのような方法のステップは、モバイルコンピューティングデバイスによって、または1つ以上の通信ネットワークを介して1つ以上のサーバとネットワークを介して通信するモバイルコンピューティングデバイスによって、単独で実施され得る。図11は、本技術の実施形態と共に使用され得る例示的なモバイルコンピューティングデバイスの例示的な構成要素を示す。そのようなモバイルコンピューティングデバイスは、例えば、A－Vサブシステム（例えば、図1～図4の120Aまたは220A）を実装するために使用され得るが、これに限定されない。

図11は、本明細書に記載の本技術の実施形態と共に使用され得る例示的なモバイルコンピューティングデバイス1102を示す。モバイルコンピューティングデバイス1102は、これらに限定されないが、iPhone（登録商標）、Blackberry（商標）、Andriod（商標）ベースの、またはWindows（商標）ベースのスマートフォンなどの、スマートフォンとすることができる。モバイルコンピューティングデバイス1102は、代替的に、これらに限定されないが、iPad（登録商標）、Andriodベースの、またはWindows（商標）ベースのタブレットなどの、タブレットコンピューティングデバイスとすることができる。別の例として、モバイルコンピューティングデバイス1102は、iPod(登録商標) Touch（商標）などとすることができる。

図11のブロック図を参照すると、モバイルコンピューティングデバイス1102は、カメラ1104、加速度計1106、磁力計1108、ジャイロスコープ1110、マイクロフォン1112、（タッチスクリーンディスプレイであってもなくてもよい）ディスプレイ1114、プロセッサ1116、メモリ1118、トランシーバ1120、スピーカ1122、およびドライブユニット1124を含むものとして示されている。これらの要素の各々は、様々な構成要素が互いに通信し、ある要素から別の要素にデータを転送することを可能にするバス1128に接続されているものとして示されている。いくつかの要素がバス1128を使用せずに互いに通信し得ることも可能である。

カメラ1104は、モバイルコンピューティングデバイス1102を使用する人物の画像を含む、ビデオ信号を取得するために使用され得る。マイクロフォン1112は、モバイルコンピューティングデバイス1102を使用する人物によって話されたことを示す、オーディオ信号を作り出すために使用され得る。

加速度計1106は、座標系に対する直線加速度を測定するために使用されることができ、したがって、モバイルコンピューティングデバイス1102の動きを検出するため、ならびに水平線または地面に対するモバイルデバイス1102の角度を検出するために使用され得る。磁力計1108は、磁北の方向および磁北に対する方位を判定するためのコンパスとして使用され得る。ジャイロスコープ1110は、モバイルコンピューティングデバイス1102の垂直および水平方向の両方を検出するために使用されることができ、加速度計1106および磁力計1108と共に、モバイルコンピューティングデバイス1102の向きに関する非常に正確な情報を取得するために使用され得る。モバイルコンピューティングデバイス1102は、これらに限定されないが、周囲光センサおよび／または近接センサなどの追加のセンサ素子を含むことも可能である。

ディスプレイ1114は、タッチスクリーン型ディスプレイであってもなくてもよく、アイテム（例えば、画像、オプション、指示など）をユーザに視覚的に表示し、ユーザからの入力を受け取るためのユーザインターフェースとして使用され得る。ディスプレイ1114は、モバイルコンピューティングデバイス1102のユーザが、ビデオチャットに参加できるようにするためにも使用され得る。さらに、モバイルコンピューティングデバイス1102は、ユーザからの入力を受け取るキー、ボタン、トラックパッド、トラックボール、または同類のものなどの追加の要素を含むことができる。

メモリ1118は、カメラ1104を使用してキャプチャされた画像を格納するためだけでなく、モバイルコンピューティングデバイス1102を制御するソフトウェアおよび／またはファームウェアを格納するためにも使用され得るが、これらに限定されない。不揮発性および揮発性メモリを含む様々な異なる種類のメモリが、モバイルコンピューティングデバイス1102に含められ得る。ドライブユニット1124、例えばこれに限定されないがハードドライブは、カメラ1104を使用してキャプチャされた画像を格納するためだけでなく、モバイルコンピューティングデバイス1102を制御するソフトウェアを格納するためにも使用され得るが、これらに限定されない。メモリ1118およびディスクユニット1124は、本明細書に記載の方法および／または機能のうちの1つ以上を具現化する実行可能命令の1つ以上のセット（例えば、アプリケーション）が格納される機械可読媒体を含むことができる。ドライブユニット1124の代わりに、またはドライブユニットに加えて、モバイルコンピューティングデバイスは、フラッシュメモリまたは任意の形態の不揮発性メモリを含むようなソリッドステート記憶デバイスを含むことができる。本明細書で使用される「機械可読媒体」という用語は、例えば、集中もしくは分散データベースおよび／または関連するキャッシュおよびサーバ、（例えば、磁気および光学ドライブおよび記憶機構を含む）記憶ドライブなどの1つ以上の記憶デバイス、ならびに（メインメモリ、プロセッサの内部もしくは外部のいずれかのキャッシュストレージ、またはバッファを問わず）メモリデバイスまたはモジュールの1つ以上のインスタンスなどのすべての形態の、単一の媒体または複数の媒体のいずれかとして、すべての形態の記憶媒体を含むと解釈されるべきである。「機械可読媒体」または「コンピュータ可読媒体」という用語は、機械による実行のための一連の命令を記憶または符号化することができ、機械にいずれか1つの方法を実施させる、任意の有形の非一時的媒体を含むと解釈されるべきである。「非一時的媒体」という用語は、（光学、磁気などの）すべての形態の記憶ドライブ、およびすべての形態のメモリデバイス（例えば、DRAM、（すべての記憶装置設計の）フラッシュ、SRAM、MRAM、相変化など）、ならびに後の検索のために任意の種類の情報を記憶するように設計されたすべての他の構造を明確に含む。

アンテナ1126に接続されたトランシーバ1120は、例えばWi－Fi、セルラー通信、または移動体衛星通信を使用して、データを無線で送信および受信するために使用され得る。モバイルコンピューティングデバイス1102は、Bluetoothおよび／または他の無線技術を使用して、無線通信を実施することができてもよい。モバイルコンピューティングデバイス1102は、複数の種類のトランシーバおよび／または複数の種類のアンテナを含むことも可能である。トランシーバ1120は、送信機および受信機を含むことができる。

スピーカ1122は、ユーザへの聴覚指示、フィードバックおよび／またはインジケータ、記録（例えば、音楽録音）の再生を提供するため、ならびにモバイルコンピューティングデバイス1102が携帯電話として動作できるようにするために、使用され得る。スピーカ1122は、モバイルコンピューティングデバイス1102のユーザが、ビデオチャットに参加できるようにするためにも使用され得る。

プロセッサ1116は、例えば、メモリ1118および／またはドライブユニット1124に記憶された、ソフトウェアおよび／またはファームウェアの制御下で、モバイルコンピューティングデバイス1102の様々な他の要素を制御するために使用され得る。複数のプロセッサ1116、例えば、中央処理装置（CPU）およびグラフィックス処理装置（GPU）が存在することも可能である。プロセッサ1116は、本明細書に記載の本技術の実施形態を実装するために使用されるステップをプロセッサに実施させるための（非一時的コンピュータ可読媒体に記憶された）コンピュータ命令を実行することができる。

本明細書に記載の本技術の特定の実施形態は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの両方の組合せを使用して実装され得る。使用されるソフトウェアは、本明細書に記載の機能を実施するように、1つ以上のプロセッサをプログラムするために、上述の1つ以上のプロセッサ可読記憶装置に記憶される。プロセッサ可読記憶装置は、揮発性および不揮発性媒体、リムーバブルおよび非リムーバブル媒体などのコンピュータ可読媒体を含むことができる。限定ではなく、例として、コンピュータ可読媒体は、コンピュータ可読記憶媒体および通信媒体を含んでもよい。コンピュータ可読記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報の、記憶のための任意の方法または技術で実装されてもよい。コンピュータ可読記憶媒体の例は、RAM、ROM、EEPROM、フラッシュメモリもしくは他のメモリ技術、CD－ROM、デジタル多用途ディスク（DVD）もしくは他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶装置、または所望の情報を記憶するために使用されることができ、コンピュータによってアクセスされることができる任意の他の媒体を含む。1つまたは複数のコンピュータ可読媒体は、伝播された、変調された、または一時的な信号を含まない。

通信媒体は、典型的には、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータを、搬送波または他の伝送機構などの、伝播された、変調された、または一時的なデータ信号で具現化し、任意の情報配信媒体を含む。「変調データ信号」という用語は、信号内の情報を符号化するような方法で設定または変更された、1つ以上の特性を有する信号を意味する。限定ではなく、例として、通信媒体は、有線ネットワークもしくは直接有線接続などの有線媒体、ならびにRFおよび他の無線媒体などの無線媒体を含む。上記のいずれかの組合せもまた、コンピュータ可読媒体の範囲内に含まれる。

代替の実施形態では、ソフトウェアの一部または全部は、専用のハードウェア論理コンポーネントに置き換えられ得る。例えば、限定ではないが、使用され得る、実例となる種類のハードウェア論理コンポーネントは、フィールドプログラマブルゲートアレイ（FPGA）、特定用途向け集積回路（ASIC）、特定用途向け標準製品（ASSP）、システムオンチップシステム（SOC）、コンプレックスプログラマブルロジックデバイス（CPLD）、専用コンピュータなどを含む。一実施形態では、1つ以上の実施形態を実装する、（記憶装置に記憶されている）ソフトウェアが、1つ以上のプロセッサをプログラムするために使用される。1つ以上のプロセッサは、1つ以上のコンピュータ可読媒体／記憶装置、周辺機器および／または通信インターフェースと通信することができる。

本主題は、多くの異なる形態で具体化されてもよく、本明細書に記載の実施形態に限定されると解釈されるべきではないことが理解される。むしろ、これらの実施形態は、この主題が徹底的かつ完全であり、本開示を当業者に十分に伝えるように提供される。実際、本主題は、添付の特許請求の範囲によって定義される主題の範囲および趣旨内に含まれる、これらの実施形態の代替、修正、および均等物を網羅することが意図されている。さらに、本主題の以下の詳細な説明には、本主題の十分な理解をもたらすために、数多くの具体的な詳細事項が記載されている。しかしながら、本主題がそのような具体的な詳細事項なしに実行されてもよいことが、当業者には明らかであろう。

本開示の実施形態による方法、装置（システム）、およびコンピュータプログラム製品の、フローチャート図および／またはブロック図を参照して、本開示の態様が本明細書に説明されている。フローチャート図および／またはブロック図の各ブロック、ならびにフローチャート図および／またはブロック図中の複数ブロックの組合せが、コンピュータプログラム命令によって実装され得ることは、理解されよう。これらのコンピュータプログラム命令は、コンピュータまたは他のプログラム可能な命令実行装置のプロセッサを介して実行する命令が、フローチャートおよび／またはブロック図の1つまたは複数のブロックで指定された機能／動作を実装するための機構を生成するように、マシンを製造するために、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供されてもよい。

本開示の説明は、例示および説明の目的で提示されているが、網羅的であること、または開示されている形態の開示に限定されることは意図されていない。本開示の範囲および趣旨から逸脱することなく、多くの修正形態および変形形態が当業者には明らかになるであろう。本明細書の開示の態様は、本開示の原理および実際の応用を最もよく説明し、当業者が、想定される特定の用途に適した様々な修正を含めて本開示を理解できるようにするために選択され、説明された。

本開示は、様々な実施形態と共に説明されてきた。しかしながら、開示された実施形態に対する他の変形および修正は、図面、開示、および添付の特許請求の範囲の検討から理解および達成され得、そのような変形および修正は、添付の特許請求の範囲に含まれると解釈されるべきである。特許請求の範囲において、「備える（comprising）」という語は、他の要素またはステップを除外せず、不定冠詞「1つの（a）」または「1つの（an）」は、複数を除外しない。

本明細書において、図に示された様々な特徴の寸法は、必ずしも縮尺通りに描かれていなくてもよいことに留意されたい。

本明細書において、「一実施形態（an embodiment）」、「一実施形態（one embodiment）」、「いくつかの実施形態（some embodiments）」、または「別の実施形態（another embodiment）」への本明細書における言及は、異なる実施形態または同じ実施形態を説明するために使用されてもよい。

本明細書において、接続は、直接接続または（例えば、1つ以上の他の部分を介した）間接接続であってもよい。場合によっては、ある要素が別の要素に接続または結合されていると言及される場合、その要素は、他の要素に直接接続されてもよいし、介在要素を介して他の要素に間接的に接続されてもよい。ある要素が別の要素に直接接続されていると言及される場合、そのときには、その要素と他の要素との間に介在要素は存在しない。2つのデバイスは、それらの間で電子信号を伝えることができるように直接的または間接的に接続されている場合、「通信している」。

本明細書において、「に基づいて」という用語は、「に少なくとも部分的に基づいて」と解釈されてもよい。

本明細書において、追加の文脈がなければ、「第1の」オブジェクト、「第2の」オブジェクト、および「第3の」オブジェクトなどの数値用語の使用は、オブジェクトの順序を意味しなくてもよく、代わりに、異なるオブジェクトを識別するための識別目的で使用されてもよい。

上記の詳細な説明は、例示および説明の目的で提示されてきた。網羅的であることも、本明細書で特許請求される主題を開示された正確な形態に限定することも意図されていない。上記の教示に照らして、多くの修正および変形が可能である。説明された実施形態は、開示された技術の原理およびその実際の応用を最もよく説明し、それによって当業者が、様々な実施形態において、想定される特定の用途に適した様々な修正を含めて技術を最もよく利用することを可能にするために選択された。範囲は、本明細書に添付された特許請求の範囲によって定義されることが意図されている。

本主題は構造的特徴および／または方法論的動作に特有の言語で説明されてきたが、添付の特許請求の範囲で定義されている本主題が、上述した具体的な特徴または動作に必ずしも限定されるものではないことが理解されるべきである。むしろ、上述した具体的な特徴および動作は、特許請求の範囲を実装する例示的な形態として開示されている。

110A 第1の人物
110B 第2の人物
120A オーディオ－ビデオサブシステム（オーディオ－ビデオ（A－V）サブシステム、A－Vサブシステム、AVサブシステム）
120B オーディオ－ビデオサブシステム（オーディオ－ビデオ（A－V）サブシステム、A－Vサブシステム）
130 通信ネットワーク
220A オーディオ－ビデオおよび修正サブシステム（A－Vおよび修正サブシステム、AVおよび修正サブシステム）
320A 修正サブシステム
420A 修正サブシステム
520 修正サブシステム
530 感情検出器（感情検出ブロック）
540 感情修正器（感情修正ブロック）
602 ビデオ信号
603 インターフェース
610 顔の検出器（顔の検出ブロック）
612 顔の表情認識器（顔の表情認識ブロック、顔の表情分析器）
614 骨格の検出器（骨格の検出ブロック）
616 姿勢認識器（姿勢認識ブロック）
622 オーディオ信号
623 インターフェース
624 オーディオ信号分析器（オーディオ信号処理ブロック、オーディオ信号プロセッサ）
626 自然言語分析器（自然言語処理ブロック、自然言語プロセッサ）
632 知覚された感情検出器
634 意味的感情検出器
642 顔の表情修正器（顔の表情修正ブロック）
646 姿勢修正器（姿勢修正ブロック）
648 オーディオ修正器（オーディオ修正ブロック）
652 修正されたビデオ信号
662 修正されたオーディオ信号
802 人物の知覚された顔の感情
804 人物の知覚された姿勢の感情
806 人物の知覚された発話の感情
808 人物の意味的感情
1102 モバイルコンピューティングデバイス
1104 カメラ
1106 加速度計
1108 磁力計
1110 ジャイロスコープ
1112 マイクロフォン
1114 ディスプレイ
1116 プロセッサ
1118 メモリ
1120 トランシーバ
1122 スピーカ
1124 ドライブユニット
1126 アンテナ
1128 バス

Claims (22)

1. 第2の人物とのビデオチャットに参加している第1の人物のビデオ信号およびオーディオ信号を取得するステップと、
   前記ビデオ信号に基づいて、前記第1の人物の1つ以上の種類の知覚された感情を判定するステップと、
   前記オーディオ信号に基づいて、前記第1の人物の意味的感情を判定するステップと、
   前記第1の人物の前記1つ以上の種類の知覚された感情のうちの少なくとも1つと、前記第1の人物の前記意味的感情との間の整合性を高めるために前記ビデオ信号を変更するステップと
   を含む、方法。
2. 前記ビデオ信号に基づいて、前記第1の人物の前記1つ以上の種類の知覚された感情を判定する前記ステップが、
   前記ビデオ信号に基づいて、前記第1の人物の顔の表情を検出するステップ、および
   前記第1の人物の前記顔の表情に基づいて、前記第1の人物の顔の表情の知覚された感情を判定するステップ、あるいは
   前記ビデオ信号に基づいて、前記第1の人物の身体の姿勢を検出するステップ、および前記第1の人物の前記身体の姿勢に基づいて、前記第1の人物の身体の姿勢の知覚された動作を判定するステップ、あるいは
   前記ビデオ信号に基づいて、前記第1の人物の顔の表情および身体の姿勢を検出するステップ、ならびに前記第1の人物の前記顔の表情および前記身体の姿勢に基づいて、前記第1の人物の顔の表情の知覚された感情および身体の姿勢の知覚された感情を判定するステップ
   を含む、請求項1に記載の方法。
3. 前記第1の人物の前記1つ以上の種類の知覚された感情を判定する前記ステップが、前記オーディオ信号にも基づいており、前記第1の人物の発話のピッチ、ビブラート、または抑揚のうちの少なくとも1つを判定するために、前記オーディオ信号のオーディオ信号処理を実施するステップと、前記オーディオ信号の前記オーディオ信号処理の結果に基づいて、前記第1の人物の発話の知覚された感情を判定するステップとを含み、
   前記方法が、前記第1の人物の前記発話の知覚された感情と前記第1の人物の前記意味的感情との間の整合性を高めるために前記オーディオ信号を変更するステップをさらに含む、
   請求項2に記載の方法。
4. 前記変更されたオーディオ信号を作り出すために前記オーディオ信号を変更する前記ステップが、前記ピッチ、ビブラート、または抑揚のうちの少なくとも1つに対応する、前記ビデオ信号のオーディオデータを修正するステップを含み、前記方法が、
   前記変更されたオーディオ信号を、前記ビデオチャットに参加している前記第2の人物に関連付けられたサブシステムに提供するステップをさらに含む、
   請求項3に記載の方法。
5. 変更されたビデオ信号を作り出すために前記ビデオ信号を変更する前記ステップが、顔の表情または身体の姿勢のうちの少なくとも1つに対応する、前記ビデオ信号の画像データを修正するステップを含み、前記方法が、
   前記変更されたビデオ信号を、前記ビデオチャットに参加している前記第2の人物に関連付けられたサブシステムに提供するステップをさらに含む、
   請求項1に記載の方法。
   
6. 前記オーディオ信号に基づいて、前記第1の人物の前記意味的感情を判定する前記ステップが、
   前記オーディオ信号の自然言語処理を実施するステップと、
   前記オーディオ信号の前記自然言語処理の結果に基づいて、前記第1の人物の前記意味的感情を判定するステップと
   を含む、請求項1から5のいずれか一項に記載の方法。
7. 前記ビデオ信号に基づいて、前記第1の人物の1つ以上の種類の知覚された感情を判定する前記ステップが、
   前記ビデオ信号に基づいて前記第1の人物の顔の表情のポジティブ性およびアクティブ性を定量化するために、顔の円環モデルを使用するステップ、または
   前記ビデオ信号に基づいて前記第1の人物の身体の姿勢のポジティブ性およびアクティブ性を定量化するために、姿勢の円環モデルを使用するステップのうちの少なくとも1つを含み、
   前記オーディオ信号に基づいて、前記第1の人物の前記意味的感情を判定する前記ステップが、前記オーディオ信号に基づいて前記第1の人物の言語のポジティブ性およびアクティブ性を定量化するために、言語の円環モデルを使用するステップを含み、
   変更されたビデオ信号を作り出すために前記ビデオ信号を変更する前記ステップが、
   前記第1の人物の前記顔の表情の前記ポジティブ性および前記アクティブ性と、前記第1の人物の前記言語の前記ポジティブ性および前記アクティブ性との間の距離を短縮するように前記ビデオ信号の画像データを変更するステップ、または
   前記第1の人物の前記身体の姿勢の前記ポジティブ性および前記アクティブ性と、前記第1の人物の前記言語の前記ポジティブ性および前記アクティブ性との間の距離を短縮するように前記ビデオ信号の画像データを変更するステップのうちの少なくとも1つを含む、
   請求項1から6のいずれか一項に記載の方法。
8. 前記第1の人物の前記1つ以上の種類の知覚された感情を判定する前記ステップが、前記オーディオ信号にも基づいており、前記オーディオ信号に基づいて、前記第1の人物の発話のポジティブ性およびアクティブ性を定量化するために発話の円環モデルを使用するステップを含み、
   前記方法が、前記第1の人物の前記発話の前記ポジティブ性およびアクティブ性と、前記第1の人物の前記言語の前記ポジティブ性および前記アクティブ性との間の距離を短縮するように変更されたオーディオ信号を作り出すために、前記オーディオ信号のオーディオデータを変更するステップをさらに含む、
   請求項7に記載の方法。
9. 前記変更されたビデオ信号および前記変更されたオーディオ信号を、前記ビデオチャットに参加している前記第2の人物に関連付けられたサブシステムに提供するステップ
   をさらに含む、請求項8に記載の方法。
10. 第2の人物とのビデオチャットに参加している第1の人物のビデオ信号およびオーディオ信号を受信するように構成される1つ以上のインターフェースと、
    前記1つ以上のインターフェースに通信可能に結合され、
    前記ビデオ信号に基づいて、前記第1の人物の1つ以上の種類の知覚された感情を判定し、
    前記オーディオ信号に基づいて、前記第1の人物の意味的感情を判定し、
    前記第1の人物の前記1つ以上の種類の知覚された感情のうちの少なくとも1つと、前記第1の人物の前記意味的感情との間の整合性を高めるために前記ビデオ信号を変更するように構成される1つ以上のプロセッサと
    を備える、サブシステム。
11. 前記ビデオ信号を取得するように構成される1つ以上のカメラと、
    前記オーディオ信号を取得するように構成される1つ以上のマイクロフォンと
    をさらに備える、請求項10に記載のサブシステム。
12. 前記1つ以上のプロセッサが、前記ビデオ信号に基づいて前記第1の人物の前記1つ以上の種類の知覚された感情を判定し、前記オーディオ信号に基づいて前記第1の人物の前記意味的感情を判定するように構成される1つ以上のニューラルネットワークを実装する、請求項10または11に記載のサブシステム。
13. 前記1つ以上のプロセッサが、前記第1の人物の前記1つ以上の種類の知覚された感情のうちの少なくとも1つと、前記第1の人物の前記意味的感情との間の整合性を高めるために、前記ビデオ信号を変更するように構成される、1つ以上のニューラルネットワークを実装する、請求項10から12のいずれか一項に記載のサブシステム。
14. 前記ビデオ信号に基づいて前記第1の人物の前記1つ以上の種類の知覚された感情を判定するために、前記1つ以上のプロセッサが、
    前記ビデオ信号に基づいて、前記第1の人物の顔の表情を検出し、
    前記第1の人物の前記顔の表情に基づいて、前記第1の人物の顔の表情の知覚された感情を判定する、あるいは
    前記ビデオ信号に基づいて、前記第1の人物の身体の姿勢を検出し、前記第1の人物の前記身体の姿勢に基づいて、前記第1の人物の身体の姿勢の知覚された動作を判定する、あるいは
    前記ビデオ信号に基づいて、前記第1の人物の顔の表情および身体の姿勢を検出し、前記第1の人物の前記顔の表情および前記身体の姿勢に基づいて、前記第1の人物の顔の表情の知覚された感情および身体の姿勢の知覚された感情を判定する
    ように構成される、請求項10から13のいずれか一項に記載のサブシステム。
15. 前記1つ以上のプロセッサが、
    前記第1の人物の発話のピッチ、ビブラート、または抑揚のうちの少なくとも1つを判定するために、前記オーディオ信号のオーディオ信号処理を実施し、前記オーディオ信号処理の結果に基づいて、前記第1の人物の発話の知覚された感情を判定し、
    前記第1の人物の前記発話の知覚された感情と、前記第1の人物の前記意味的感情との間の整合性を高めるために前記オーディオ信号を変更する
    ようにも構成される、請求項14に記載のサブシステム。
16. 前記1つ以上のプロセッサが、
    変更されたオーディオ信号を作り出すために、前記オーディオ信号を変更するように、前記ピッチ、ビブラート、または抑揚のうちの少なくとも1つに対応する、前記オーディオ信号のオーディオデータを修正する
    ように構成される、請求項15に記載のサブシステム。
17. 前記1つ以上のプロセッサが、
    変更されたビデオ信号を作り出すために、前記ビデオ信号を変更するように、顔の表情または身体の姿勢のうちの少なくとも1つに対応する、前記ビデオ信号の画像データを修正するように構成される、請求項10に記載のサブシステム。
18. 前記1つ以上のプロセッサが、
    前記オーディオ信号の自然言語処理を実施し、
    前記オーディオ信号の前記自然言語処理の結果に基づいて、前記第1の人物の前記意味的感情を判定する
    ように構成される、請求項10から17のいずれか一項に記載のサブシステム。
19. 前記1つ以上のプロセッサが、
    前記ビデオ信号に基づいて、前記第1の人物の顔の表情のポジティブ性およびアクティブ性を定量化するために、顔の円環モデルを使用する、または
    前記ビデオ信号に基づいて、前記第1の人物の身体の姿勢のポジティブ性およびアクティブ性を定量化するために、姿勢の円環モデルを使用するように構成され、
    前記オーディオ信号に基づいて、前記第1の人物の言語のポジティブ性およびアクティブ性を定量化するために、言語の円環モデルを使用し、
    前記第1の人物の前記顔の表情の前記ポジティブ性および前記アクティブ性と、前記第1の人物の前記言語の前記ポジティブ性および前記アクティブ性との間の距離、または前記第1の人物の前記身体の姿勢の前記ポジティブ性および前記アクティブ性と、前記第1の人物の前記言語の前記ポジティブ性および前記アクティブ性との間の距離のうちの少なくとも1つを短縮するために、前記ビデオ信号の画像データを変更する
    ように構成される、請求項10から18のいずれか一項に記載のサブシステム。
20. 前記1つ以上のプロセッサが、
    前記オーディオ信号に基づいて、前記第1の人物の発話のポジティブ性およびアクティブ性を定量化するために、発話の円環モデルを使用し、
    前記第1の人物の前記発話の前記ポジティブ性およびアクティブ性と、前記第1の人物の前記言語の前記ポジティブ性および前記アクティブ性との間の距離を短縮するために、前記オーディオ信号のオーディオデータを変更する
    ようにも構成される、請求項19に記載のサブシステム。
21. 変更されたビデオ信号および変更されたオーディオ信号を、前記ビデオチャットに参加している前記第2の人物に関連付けられたサブシステムに送信するように構成される送信機
    をさらに備える、請求項20に記載のサブシステム。
22. 1つ以上のプロセッサによって実行されると、前記1つ以上のプロセッサに、請求項1から9のいずれか一項に記載の方法を実施させるコンピュータ命令を記憶している、コンピュータ可読媒体。

Images