JP6678632B2 - 人間−機械間の感情会話のための方法及びシステム - Google Patents

Description

以下の説明は、人工知能会話システムに関する。

一般的に、個人秘書システム、チャットボットプラットフォーム（ｃｈａｔｂｏｔ ｐｌａｔｆｏｒｍ）、人工知能（ＡＩ）スピーカなどで使用される人工知能会話システムは、人間の命令語に対する意図を理解し、これに対応する回答文書を提供する方式を採用している。

人工知能会話システムは、人間が機能的な要求を伝達すると、その人間の要求に対する回答を機械が提供する方式を主流としており、マイク（ｍｉｃｒｏｐｈｏｎｅ）でユーザの音声入力を受信し、受信した音声入力に基づいてデバイス動作やコンテンツ提供を制御することができる。

例えば特許文献１（公開日２０１１年１２月３０日）には、ホームネットワークサービスにおいて、移動通信網の範囲外にＷｉ−Ｆｉのような第二通信網を利用してホームネットワークサービスを提供することができ、ユーザが特別なボタン操作を行わなくても、ホーム内の複数のマルチメディア機器を音声命令によって多重制御することのできる技術が開示されている。

人工知能会話システムでは、人間の感情把握や機械の感情表現が排除されるのはもちろん、人間の命令語表現及び機械表現の方式も、テキストや音声のみに制限されている。言い換えれば、既存の人工知能会話システムは、人間の機能的要求を解決するには適しているが、機械表現を人間のように豊かで自然に感じられるものにすることや、人間−機械間の情緒的な交流を促すインタラクション（ｉｎｔｅｒａｃｔｉｏｎ）を実現するには不十分である。

韓国公開特許第１０−２０１１−０１３９７９７号

人間の感情を把握し、これに対応する多様な感情を音声、視覚、動作などの統合情報で表現することができる環境を通じ、人間−機械間の情緒的共感を促すことのできる方法及びシステムを提供する。

コンピュータで実現される人工知能会話方法であって、ユーザの会話の意図を判断する段階、前記ユーザの会話の意図に対応する返答文章を決定する段階、及び前記返答文章に該当する音声ファイルを出力する段階であって、前記返答文章に含まれる感情用語を出力する時点に、前記感情用語に対応する感情情報を共に出力する段階を含む、人工知能会話方法を提供する。

一側面によると、前記判断する段階は、前記ユーザの音声入力及び顔映像のうちの少なくとも１つを利用して前記ユーザの感情情報を抽出する段階を含んでよい。

他の側面によると、前記判断する段階は、前記ユーザの音声入力を受信し、前記音声入力の文章から第１感情情報を抽出する段階、前記ユーザの顔映像を受信し、顔表情から第２感情情報を抽出する段階、及び前記第１感情情報と前記第２感情情報を総合して前記ユーザの会話の意図を判断する段階を含んでよい。

また他の側面によると、意図別に複数の文章セットが事前に定められ、前記決定する段階は、前記ユーザの会話の意図に該当する文章セットのうちから前記返答文章を選択する段階を含んでよい。

また他の側面によると、前記出力する段階は、前記返答文章に含まれる前記感情用語の各々について、該感情用語に対応する感情情報を抽出する段階、前記返答文章を前記音声ファイルに変換する段階、前記感情用語の各々について前記音声ファイル内における位置値を抽出する段階、及び前記音声ファイルの出力と共に、前記位置値に対応する時点に前記感情情報を出力する段階を含んでよい。

また他の側面によると、前記位置値に対応する時点に前記感情情報を出力する段階は、前記位置値を利用して前記音声ファイルと前記感情情報との同期を実行する段階を含んでよい。

また他の側面によると、前記出力する段階は、前記感情用語に対応する感情情報を、ディスプレイ装置とモータ制御動作装置のうちの少なくとも１つのデバイスによって出力する段階を含んでよい。

また他の側面によると、前記ユーザの音声入力及び顔映像のうちの少なくとも１つから判断される前記ユーザの感情に対して即時呼応感情を判断する段階、及び前記音声ファイルを出力する前に、前記即時呼応感情に関する情報を出力する段階を更に含んでよい。

前記人工知能会話方法をコンピュータに実行させるためのコンピュータプログラムを提供する。

前記人工知能会話方法をコンピュータに実行させるためのプログラムが記録されているコンピュータ読み取り可能な記録媒体を提供する。

コンピュータで実現される人工知能会話システムであって、コンピュータ読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、ユーザの会話の意図を判断し、前記ユーザの会話の意図に対応する返答文章を決定し、前記返答文章に該当する音声ファイルを出力し、前記返答文章に含まれた感情用語を出力する時点に、前記感情用語に対応する感情情報を共に出力してよい。

本発明の実施形態によると、人間の感情を把握し、これに対応する多様な感情を音声、視覚、動作などの統合情報で表現することができる環境を通じ、人間−機械間の情緒的共感を促すことができる。

本発明の一実施形態における、音声基盤インタフェースを活用したサービス環境の例を示した図である。 本発明の一実施形態における、音声基盤インタフェースを活用したサービス環境の他の例を示した図である。 本発明の一実施形態における、クラウド人工知能プラットフォームの例を示した図である。 本発明の一実施形態における、電子機器及びサーバの内部構成を説明するためのブロック図である。 本発明の一実施形態における、人工知能会話方法の例を示したフローチャートである。 本発明の一実施形態における、統合返答生成過程の例を示したフローチャートである。 本発明の一実施形態における、統合返答情報の例を示した図である。 本発明の一実施形態における、統合返答情報の例を示した図である。 本発明の一実施形態における、統合返答情報の例を示した図である。

以下、本発明の実施形態について、添付の図面を参照しながら詳細に説明する。

本発明の実施形態に係る人工知能会話システムは、ユーザとの会話に基づいて動作するインタフェースを提供する電子機器によって実現されてよい。ここで、人工知能会話システムは、ユーザの感情に対応して豊かで自然な機械の表現を実現することができる。

本発明の実施形態に係る人工知能会話方法は、上述した電子機器によって実行されてよい。ここで、電子機器では、本発明の一実施形態に係るコンピュータプログラムをインストールして駆動してよく、電子機器は、駆動されるコンピュータプログラムの制御に従って本発明の一実施形態に係る人工知能会話方法を実行してよい。上述したコンピュータプログラムは、コンピュータで実現される電子機器と結合され、人工知能会話方法をコンピュータに実行させるためにコンピュータ読み取り可能な記録媒体に格納されてよい。

図１は、本発明の一実施形態における、会話基盤インタフェースを活用したサービス環境の例を示した図である。図１の実施形態では、スマートホーム（ｓｍａｒｔ ｈｏｍｅ）やホームネットワークサービスのように宅内のデバイスを連結して制御する技術において、ユーザとの会話に基づいて動作するインタフェースを提供する電子機器１００が、ユーザ１１０の発話から受信した音声入力「電気消して」を認識及び分析し、家の中で電子機器１００と内部ネットワークを介して連係する室内照明機器１２０であるライトの電源を制御する例を示している。

例えば宅内のデバイスは、上述した室内照明機器１２０の他にも、テレビ、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、周辺機器、エアコン、冷蔵庫、ロボット清掃機などのような家電製品はもちろん、水道、電気、冷暖房機器のようなエネルギー消費装置、ドアロックや監視カメラのような保安機器など、オンライン上で連結して制御可能な多様なデバイスを含んでよい。また、内部ネットワークは、イーサネット（Ｅｔｈｅｒｎｅｔ）（登録商標）、ＨｏｍｅＰＮＡ、ＩＥＥＥ １３９４のような有線ネットワーク技術、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＵＷＢ（ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）、ジグビー（ＺｉｇＢｅｅ）（登録商標）、Ｗｉｒｅｌｅｓｓ １３９４、Ｈｏｍｅ ＲＦのような無線ネットワーク技術などが活用されてよい。

電子機器１００は、宅内のデバイスのうちの１つであってよい。例えば電子機器１００は、家の中に備えられた人工知能スピーカや会話ロボット、ロボット清掃機などのようなデバイスのうちの１つであってよい。また、電子機器１００は、スマートフォン（ｓｍａｒｔｐｈｏｎｅ）、携帯電話、ノート型パンコン、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレットなどのようなユーザ１１０のモバイル機器であってもよい。このように電子機器１００は、ユーザ１１０の感情を認識し、これに対応する動作のために各種デバイスと連結可能な機能を含む機器であれば特に制限されることはない。また、実施形態によっては、上述したユーザ１１０のモバイル機器が宅内のデバイスとして含まれてもよい。

図２は、本発明の一実施形態における、会話基盤インタフェースを活用したサービス環境の他の例を示した図である。図２は、ユーザとの会話に基づいて動作するインタフェースを提供する電子機器１００が、ユーザ１１０の発話から受信した音声入力「今日の天気」を認識及び分析し、外部ネットワークを介して外部サーバ２１０から今日の天気に関する情報を取得し、取得した情報を「今日の天気は・・・」のように音声で出力する例を示している。

例えば外部ネットワークは、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。

図２の実施形態でも、電子機器１００は、宅内のデバイスのうちの１つであるか、ユーザ１１０のモバイル機器のうちの１つであってよく、ユーザ１１０の感情を認識して処理するための機能と、外部ネットワークを介して外部サーバ２１０に接続し、外部サーバ２１０が提供するサービスやコンテンツをユーザ１１０に提供するための機能を含む機器であれば特に制限されることはない。

このように、本発明の実施形態に係る電子機器１００は、会話基盤インタフェースを利用してユーザ１１０の音声入力及び／又は顔映像を含むユーザ命令を処理することができる機器であれば特に制限されることはない。例えば電子機器１００は、ユーザの感情を直接に認識及び分析し、これに対応する動作を実行することによってユーザ命令を処理してもよいが、実施形態によっては、ユーザの感情認識や分析、ユーザに提供される音声や情報合成などの処理を、電子機器１００と連係する外部のプラットフォームで実行することも可能である。

図３は、本発明の一実施形態における、クラウド人工知能プラットフォームの例を示した図である。図３は、電子機器３１０、クラウド人工知能プラットフォーム３２０及びコンテンツ・サービス３３０を示している。

一例として、電子機器３１０は、宅内に備えられたデバイスを意味してよく、少なくとも上述した電子機器１００を含んでよい。このような電子機器３１０や電子機器３１０でインストール及び駆動されるアプリケーション（以下、アプリとする）は、インタフェースコネクト３４０を介してクラウド人工知能プラットフォーム３２０と連係してよい。ここで、インタフェースコネクト３４０は、電子機器３１０や電子機器３１０でインストール及び駆動されるアプリの開発のためのソフトウェア開発キット（ＳＤＫ：Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ）及び／又は開発文書を開発者に提供してよい。また、インタフェースコネクト３４０は、電子機器３１０や電子機器３１０でインストール及び駆動されるアプリが、クラウド人工知能プラットフォーム３２０の提供する機能を活用することができるＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍ Ｉｎｔｅｒｆａｃｅ）を提供してよい。具体的な例として、開発者は、インタフェースコネクト３４０によって提供されるソフトウェア開発キット（ＳＤＫ）及び／又は開発文書を利用して開発した機器やアプリが、インタフェースコネクト３４０によって提供されるＡＰＩを利用して、クラウド人工知能プラットフォーム３２０によって提供される機能を活用することを可能にする。

ここで、クラウド人工知能プラットフォーム３２０は、会話基盤のサービスを提供するための機能を提供してよい。例えばクラウド人工知能プラットフォーム３２０は、受信した音声入力及び／又は顔映像を認識して出力する情報を合成するための音声処理モジュール３２１、受信した映像や動画を分析して処理するためのビジョン処理モジュール３２２、受信した音声入力及び／又は顔映像に従って適合する情報を出力するために適切な会話を決定するための会話処理モジュール３２３、受信した音声入力及び／又は顔映像に適合する機能を勧めるための推薦モジュール３２４、人工知能がデータ学習に基づいて文章単位で言語を翻訳するようにサポートするニューラル機械翻訳（Ｎｅｕｒａｌ Ｍａｃｈｉｎｅ Ｔｒａｎｓｌａｔｉｏｎ：ＮＭＴ）３２５などのように、会話基盤サービスを提供するための多様なモジュールを含んでよい。

例えば図１及び図２の実施形態において、電子機器１００は、ユーザ１１０の音声入力及び／又は顔映像を、インタフェースコネクト３４０で提供するＡＰＩを利用してクラウド人工知能プラットフォーム３２０に送信してよい。この場合、クラウド人工知能プラットフォーム３２０は、受信した音声入力及び／又は顔映像を、上述したモジュール（３２１〜３２５）を活用してユーザ１１０の感情を認識及び分析してよく、ユーザ１１０の感情に応じて適切な返答音声を合成して提供したり、適切な動作を勧めたりしてよい。

また、拡張キット３５０は、第三者であるコンテンツ開発者又は会社がクラウド人工知能プラットフォーム３２０に基づいて新たな人工知能会話基盤機能を実現することが可能な開発キットを提供してよい。例えば図２の実施形態において、電子機器１００が受信したユーザ１１０の音声入力及び／又は顔映像を外部サーバ２１０に送信すると、外部サーバ２１０は、拡張キット３５０で提供されるＡＰＩを利用してクラウド人工知能プラットフォーム３２０に音声入力及び／又は顔映像を送信してよい。この場合、上述したように、クラウド人工知能プラットフォーム３２０は、受信した音声入力及び／又は顔映像を認識及び分析して適切な返答情報を合成して提供したり、音声入力及び／又は顔映像に基づいて処理しなければならない機能に関する推薦情報を外部サーバ２１０に提供したりしてよい。一例として、図２において、外部サーバ２１０が、音声入力「今日の天気」をクラウド人工知能プラットフォーム３２０に送信すると、クラウド人工知能プラットフォーム３２０では、音声入力「今日の天気」の認識によって抽出されるキーワード「今日」及び「天気」を受信してよい。この場合、外部サーバ２１０は、キーワード「今日」及び「天気」から「今日の天気は・・・」のようなテキスト情報を生成した後、生成したテキスト情報をクラウド人工知能プラットフォーム３２０に再び送信してよい。このとき、クラウド人工知能プラットフォーム３２０は、テキスト情報から音声を合成して外部サーバ２１０に提供してよい。外部サーバ２１０は、合成された音声を電子機器１００に送信してよく、電子機器１００は、合成された音声「今日の天気は・・・」をスピーカから出力することにより、ユーザ１１０から受信した音声入力「今日の天気」が処理されるようになる。

このとき、電子機器１００は、音声入力及び／又は顔映像に対応するデバイス動作やコンテンツ提供のために、本発明の実施形態に係る人工知能会話方法を実行してよい。

図４は、本発明の一実施形態における、電子機器及びサーバの内部構成を説明するためのブロック図である。図４の電子機器４１０は、上述した電子機器１００に対応してよく、サーバ４２０は、上述した外部サーバ２１０やクラウド人工知能プラットフォーム３２０を実現する１つのコンピュータ装置に対応してよい。

電子機器４１０とサーバ４２０は、メモリ４１１、４２１、プロセッサ４１２、４２２、通信モジュール４１３、４２３及び入力／出力インタフェース４１４、４２４を含んでよい。メモリ４１１、４２１は、コンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）及びディスクドライブのような永久大容量記憶装置（ｐｅｒｍａｎｅｎｔ ｍａｓｓ ｓｔｏｒａｇｅ ｄｅｖｉｃｅ）を含んでよい。ここで、ＲＯＭやディスクドライブのような永久大容量記憶装置は、メモリ４１１、４２１とは区分される、別の永久記憶装置として電子機器４１０やサーバ４２０に含まれてもよい。また、メモリ４１１、４２１には、オペレーティングシステムと、少なくとも１つのプログラムコード（一例として、電子機器４１０にインストールされ、特定のサービスの提供のために電子機器４１０で駆動するアプリケーションなどのためのコード）が格納されてよい。このようなソフトウェア構成要素は、メモリ４１１、４２１とは別のコンピュータ読み取り可能な記録媒体からロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ−ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信モジュール４１３、４２３を通じてメモリ４１１、４２１にロードされてもよい。例えば、少なくとも１つのプログラムは、開発者又はアプリケーションのインストールファイルを配布するファイル配布システムがネットワーク４３０を介して提供するファイルによってインストールされるコンピュータプログラム（一例として、上述したアプリケーション）に基づいて電子機器４１０のメモリ４１１にロードされてよい。

プロセッサ４１２、４２２は、基本的な算術、ロジック及び入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ４１１、４２１又は通信モジュール４１３、４２３によって、プロセッサ４１２、４２２に提供されてよい。例えばプロセッサ４１２、４２２は、メモリ４１１、４２１のような記録装置に格納されたプログラムコードに従って受信される命令を実行するように構成されてよい。

通信モジュール４１３、４２３は、ネットワーク４３０を介して電子機器４１０とサーバ４２０とが互いに通信するための機能を提供してもよいし、電子機器４１０及び／又はサーバ４２０が他の電子機器又は他のサーバと通信するための機能を提供してもよい。一例として、電子機器４１０のプロセッサ４１２が、メモリ４１１のような記録装置に格納されたプログラムコードに従って生成した要求が、通信モジュール４１３の制御に従ってネットワーク４３０を介してサーバ４２０に伝達されてよい。これとは逆に、サーバ４２０のプロセッサ４２２の制御に従って提供される制御信号や命令、コンテンツ、ファイルなどが、通信モジュール４２３とネットワーク４３０を経て電子機器４１０の通信モジュール２１３を通じて電子機器４１０に受信されてもよい。例えば通信モジュール４１３を通じて受信したサーバ４２０の制御信号や命令、コンテンツ、ファイルなどは、プロセッサ４１２やメモリ４１１に伝達されてよく、コンテンツやファイルなどは、電子機器４１０が更に含むことのできる格納媒体（上述した永久記憶装置）に格納されてよい。

入力／出力インタフェース４１４は、入力／出力装置４１５とのインタフェースのための手段であってよい。例えば入力装置は、マイク、キーボード又はマウス、カメラなどの装置を、出力装置は、ディスプレイやスピーカのような装置を含んでよい。他の例として、入力／出力インタフェース４１４は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置４１５は、電子機器４１０と１つの装置で構成されてもよい。また、サーバ４２０の入力／出力インタフェース４２４は、サーバ４２０と連結するかサーバ４２０が含むことのできる入力又は出力のための装置（図示せず）とのインタフェースのための手段であってよい。

また、他の実施形態において、電子機器４１０及びサーバ４２０は、図４の構成要素よりも少ないか、それよりも多い構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば電子機器４１０は、上述した入力／出力装置４１５のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、全地球測位システム（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュール、カメラ、各種センサ、データベースなどのような他の構成要素を更に含んでもよい。より具体的な例として、電子機器４１０がスマートフォンである場合は、スマートフォンに一般的に含まれる加速度センサやジャイロセンサ、カメラモジュール、物理的な各種ボタン、タッチパネルを利用したボタン、入力／出力ポート、振動のための振動器などのような多様な構成要素が電子機器４１０に更に含まれるように実現されてよい。

本実施形態において、電子機器４１０は、ユーザの音声入力を受信するためのマイク及び／又はユーザの顔映像を受信するためのカメラを入力／出力装置４１５として基本的に含んでよく、ユーザの感情に対応する音声やオーディオコンテンツのような音を出力するためのスピーカ、ユーザの感情に対応する感情情報を視覚的に出力するためのディスプレイ、ユーザの感情に対応する動作情報を出力するためのデバイスのうちの少なくとも１つを入力／出力装置４１５として更に含んでよい。

図５は、本発明の一実施形態における、人工知能会話方法の例を示したフローチャートである。本発明の実施形態に係る人工知能会話方法は、上述した電子機器４１０のようなコンピュータ装置によって実行されてよい。このとき、電子機器４１０のプロセッサ４１２は、メモリ４１１に含まれるオペレーティングシステムのコードや少なくとも１つのプログラムのコードによる制御命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。ここで、プロセッサ４１２は、電子機器４１０に格納されたコードが提供する制御命令に従って電子機器４１０が、図５の人工知能会話方法に含まれる段階を実行するように電子機器４１０を制御してよい。

段階Ｓ５１１において、電子機器４１０は、会話基盤インタフェースによってユーザの音声入力を受信してよい。例えば電子機器４１０は、会話基盤インタフェースとして、電子機器４１０に含まれるマイク又は電子機器４１０と連動するマイクのような音声入力装置により、ユーザの発話による音声入力を受信してよい。

段階Ｓ５１２において、電子機器４１０は、会話基盤インタフェースによってユーザの顔映像を受信してよい。例えば電子機器４１０は、会話基盤インタフェースとして、電子機器４１０に含まれるカメラ又は電子機器４１０と連動するカメラのような映像入力装置により、ユーザの顔映像を受信してよい。

段階Ｓ５２１において、電子機器４１０は、段階Ｓ５１１で受信した音声入力の文章の意図を抽出してよい。電子機器４１０は、ユーザの音声入力の文章自体に含まれる辞書的な意図を判断するものであって、一例として、文脈自由文法（ｃｏｎｔｅｘｔ−ｆｒｅｅ ｇｒａｍｍａｒ）及び依存文法（ｄｅｐｅｎｄｅｎｃｙ ｇｒａｍｍａｒ）などを利用することで、認識された音声入力に対する文章の意図を分析してよい。電子機器４１０は、文脈自由文法を利用して各単語又は構文の意味役割（ｓｅｍａｎｔｉｃ ｒｏｌｅ）及び各単語や構文の文法的関連性を把握してよく、依存文法を利用して文章の文法性又は意味的有効性を把握してよい。文章に文脈自由文法が適用されると、文章の単語又は構文に意味役割が付加され、文章全体に対して分析された意図が決定されてよい。上述した文章の意図を抽出する技術は例示的なものに過ぎず、これに限定されるものでもなく、周知の他の技術を利用することも可能である。

段階Ｓ５２２において、電子機器４１０は、段階Ｓ５１１で受信した音声入力の文章から感情情報（以下、「文章感情情報」とする）を抽出してよい。ここで、文章感情情報は、感情種類と感情強度（感情程度）を含んでよい。感情を示す用語、すなわち感情用語は、事前に定められ、一定の基準に従って複数の感情種類（例えば喜び、悲しみ、驚き、悩み、苦しみ、不安、恐怖、嫌悪、怒りなど）のいずれかに分類され、感情用語の強弱に従って複数の感情強度の等級（例えば１〜１０）のいずれかに分類されてよい。感情用語は、感情を示す特定の単語はもちろん、特定の単語を含んだ句節や文章などを含んでもよい。例えば「好きです」や「辛いです」のような単語、あるいは「とても好きです」のような句節や文章などが感情用語の範疇に含まれてよい。一例として、電子機器４１０は、ユーザの音声入力による文章から形態素を抽出した後、抽出された形態素から予め定められた感情用語を抽出し、抽出された感情用語に対応する感情種類と感情強度を分類してよい。電子機器４１０は、音声入力の文章に複数の感情用語が含まれる場合には、感情用語が属する感情種類と感情強度に応じて加重値を計算してよく、これに基づいて文章の感情情報に対する感情ベクトルを計算することにより、該当の文章を代表する感情情報を抽出してよい。上述した文章感情情報を抽出する技術は例示的なものに過ぎず、これに限定されるものでもなく、周知の他の技術を利用することも可能である。

段階Ｓ５２３において、電子機器４１０は、段階Ｓ５１２で受信した顔映像から感情情報（以下、「顔感情情報」とする）を抽出してよい。電子機器４１０は、映像に基づいて顔の表情から感情種類と感情強度を含む顔感情情報を抽出してよい。顔の表情は、眉毛、目、鼻、口、肌のような顔の要素に変形が起こるときに発生する顔の筋肉の収縮によって現れるが、顔の表情の強度は、顔の特徴の幾何学的変化又は筋肉表現の密度によって決定されてよい。一例として、電子機器４１０は、表情による特徴を抽出するための関心領域（例えば目領域、眉毛領域、鼻領域、口領域など）を抽出した後、関心領域から特徴点（ｐｏｉｎｔ）を抽出し、特徴点を利用して一定の特徴値を決定してよい。特徴値は、それぞれの特徴点の距離などによって人間の表情を示す特定の数値に該当する。電子機器４１０は、決定された特徴値を感情感応値モデルに適用するために、映像に示された特徴値に対する数値の程度に応じて一定の強度値を決定し、予め用意されたマッピングテーブルを利用して各特定値の数値にマッチングする一定の強度値を決定する。マッピングテーブルは、感情感応値モデルに応じて事前に用意される。電子機器４１０は、感情感応値モデルと強度値をマッピングさせ、該当の強度値を感情感応値モデルに適用した結果に従って決定された感情の種類と強度を抽出してよい。上述した顔感情情報を抽出する技術は例示的なものに過ぎず、これに限定されるものでもなく、周知の他の技術を利用することも可能である。

段階Ｓ５３１において、電子機器４１０は、段階Ｓ５２２で抽出された文章感情情報と段階Ｓ５２３で抽出された顔感情情報を総合してユーザ感情を判断してよい。一例として、電子機器４１０は、文章感情情報と顔感情情報に従って加重値を計算してよく、これに基づいて総合的なユーザ感情を判断してよい。

段階Ｓ５３２において、電子機器４１０は、段階Ｓ５２１で抽出された文章の意図と段階Ｓ５３１で判断されたユーザ感情を総合してユーザの最終意図を判断してよい。電子機器４１０は、文章の意図とユーザ感情に従って加重値を計算してよく、これに基づいて文章自体が示す辞書的な意図、音声入力による文章が示す感情、顔映像の表情が示す感情を総合することによって最終的な会話の意図を判断してよい。

段階Ｓ５４１において、電子機器４１０は、ユーザの最終意図に対応する返答文章を選択してよい。返答文章は、意図別に複数の文章セットが事前に定められてよく、これにより電子機器４１０は、ユーザの最終意図に該当する文章セットのうちから、選択回数などを考慮した推薦方式、あるいはランダム推薦方式などによって返答文章を選択してよい。さらに、返答文章は、感情種類及び／又は感情強度に基づいて一定の基準に分類されてよく、これにより電子機器４１０は、ユーザの最終意図に含まれる感情種類及び／又は感情強度に対応する返答文章を選択することも可能である。上述した返答文章を選択する技術は例示的なものに過ぎず、これに限定されるものでもなく、学習に基づいてユーザの最終意図への返答文章を生成する技術などのように、周知の他の技術を利用することも可能である。

段階Ｓ５５１において、電子機器４１０は、段階Ｓ５４１で選択された返答文章から感情情報（以下、「返答感情情報」とする）を抽出してよい。このとき、返答感情情報は、感情種類と感情強度を含んでよい。感情用語は、事前に定められ、一定の基準に従って複数の感情種類（例えば喜び、悲しみ、驚き、悩み、苦しみ、不安、恐怖、嫌悪、怒りなど）のいずれかに分類され、感情用語の強弱に従って複数の感情強度の等級（例えば１〜１０）のいずれかに分類されてよい。一例として、電子機器４１０は、返答文章から形態素を抽出した後、抽出された形態素から事前に定められた感情用語を抽出し、抽出された感情用語に対応する感情種類と感情強度を分類してよい。電子機器４１０は、返答文章に複数の感情用語が含まれる場合には、それぞれの感情用語による感情種類と感情強度を抽出してよい。上述した返答感情情報を抽出する技術は例示的なものに過ぎず、これに限定されるものでもなく、周知の他の技術を利用することも可能である。

段階Ｓ５６１において、電子機器４１０は、段階Ｓ５３１で判断されたユーザ感情に対応する即時呼応感情を判断してよい。電子機器４１０は、文章感情情報と顔感情情報を総合して判断したユーザ感情に対して即時に対応する感情を判断してよい。このとき、電子機器４１０は、ユーザの音声入力や顔映像をリアルタイムでトラッキングし、即時に呼応することができる感情を判断してよい。即時呼応感情に関する情報にも同じように、感情種類と感情強度が含まれてよい。例えばユーザが悲しい話をしたり悲しい顔をすれば「悲しみ」を、驚いた話をしたり驚いた顔をすれば「驚き」を即時呼応感情として決定してよい。したがって、電子機器４１０は、ユーザの音声入力及び／又は顔映像に基づいてリアルタイムで判断されるユーザ感情に対し、即刻で対応するための呼応感情を決定してよい。

段階Ｓ５７０において、電子機器４１０は、段階Ｓ５４１で選択された返答文章と、段階Ｓ５５１で抽出された返答感情情報、及び段階Ｓ５６１で判断された即時呼応感情を組み合わせた統合返答情報を生成してよい。統合返答情報には、視覚的、聴覚的、触覚的出力などを行うことができる、可能な複数の互いに異なる情報が含まれてよく、一例として、音声返答、表情情報、動作情報などが含まれてよい。統合返答情報を生成する過程については、以下で具体的に説明する。

段階Ｓ５８１において、電子機器４１０は、ユーザの最終意図に対し、電子機器４１０に含まれるスピーカ又は電子機器４１０と連動するスピーカのような音声出力装置から、統合返答情報による音声返答を出力してよい。

段階Ｓ５８２において、電子機器４１０は、ユーザの最終意図に対し、電子機器４１０に含まれるディスプレイ又は電子機器４１０と連動するディスプレイのような映像出力装置から、統合返答情報による表情情報を出力してよい。例えば映像出力装置は、会話基盤インタフェースに、該当する所定のキャラクタを表示してよく、ユーザの音声入力や顔映像に対応する返答として該当のキャラクタに表情情報を反映させてよい。

段階Ｓ５８３において、電子機器４１０は、ユーザの最終意図に対し、電子機器４１０に含まれるモータ制御動作装置又は電子機器４１０と連動するモータ制御動作装置から、統合返答情報による動作情報を出力してよい。例えば電子機器４１０が会話ロボットである場合、ユーザの最終意図に対応する統合返答情報に従って該当の返答に関連する動作を実行させてよい。

電子機器４１０は、段階Ｓ５７０で組み合わせた統合返答情報を各種デバイスから出力してよい。例えば返答文章の音声ファイルは、スピーカから出力されてよく、返答文章から抽出された感情情報は、これに対応する表情アニメーションや動作のためにディスプレイ装置及びモータ制御動作装置のうちの少なくとも１つのデバイスから出力されてよい。

図６は、本発明の一実施形態における、統合返答生成段階５７０の例を示したフローチャートである。

段階Ｓ６０１において、電子機器４１０は、段階Ｓ５４１で選択された返答文章を音声ファイルに変換してよい。言い換えれば、電子機器４１０は、ＴＴＳ（ｔｅｘｔ ｔｏ ｓｐｅｅｃｈ）音声合成機を利用して返答文章の音声ファイルを抽出してよい。

段階Ｓ６０２において、電子機器４１０は、返答文章に含まれる感情用語の各々について、音声ファイル内における位置値を抽出してよい。電子機器４１０は、返答文章の音声ファイルにおいて感情用語が位置する地点を把握してよい。例えば、返答文章「嫌なことが多いと思いますが、いつか良いことが起こるでしょう」において、感情用語に該当する「嫌な」と「良い」の位置値をそれぞれ抽出してよい。

段階Ｓ６０３において、電子機器４１０は、返答文章から抽出された返答感情情報、ユーザ感情に対応する即時呼応感情情報、返答文章の音声ファイル及び音声ファイル内の感情用語毎の位置値を利用することで、統合返答のための同期（ｓｙｎｃｈｒｏｎｉｚｉｎｇ）を実行してよい。電子機器４１０は、音声ファイルにおける各感情用語の位置値に基づき、返答文章の音声ファイルと返答文章から抽出された返答感情情報とを同期してよい。一例として、電子機器４１０は、音声ファイルが出力される前に即時呼応感情を出力し、即時呼応感情が出力された後に音声ファイルを出力するが、音声ファイルの出力と共に、各感情用語の位置値に対応する時点に該当の感情が出力されるようにする返答出力制御情報を生成してよく、ユーザの最終意図に対応する統合返答がなされるように、上述した返答出力制御情報と共に、返答文章の音声ファイルを返答出力装置（例えば音声出力装置、映像出力装置、モータ制御動作装置など）に伝達してよい。このとき、返答出力装置では、装置別に定められた規則に従って、ユーザの最終意図に対応する返答データとして、返答出力制御情報に合わせて統合返答情報を出力してよい。

図７〜図９は、本発明の一実施形態における、統合返答情報の例を示した図である。

図７は、ユーザの音声入力「好きな食べ物は何ですか？」に対して生成された統合返答情報の例を示したものである。

図７の例では、ユーザの音声入力７０１「好きな食べ物は何ですか？」に対し、返答文章７０２として「チキンが大好きです！太るのは嫌ですが。」が選択され、音声入力７０１に対して即時呼応感情［悩み（種類）、５（強度）］が判断され、返答文章７０２に含まれる感情用語＜大好きです＞に対して感情情報［喜び、１０］及び音声ファイル内の位置値０．５秒（ｓｅｃ）が抽出され、感情用語＜嫌ですが＞に対して感情情報［苦しみ、５］及び音声ファイル内の位置値１．５秒（ｓｅｃ）が抽出されたとする。

これにより、電子機器４１０は、返答文章７０２の音声ファイル７１０を出力することに先立ち、音声入力７０１に対して直ちに即時呼応感情［悩み、５］を優先的に出力し、この後に音声ファイル７１０を出力するようになるが、音声ファイル７１０において感情用語＜大好きです＞が登場する０．５ｓｅｃ時点に感情［喜び、１０］を出力し、続いて感情用語＜嫌ですが＞が登場する１．５ｓｅｃ時点に感情［苦しみ、５］を出力するための返答出力制御情報７２０を生成してよい。

図８は、ユーザの音声入力「このごろ何だか憂鬱なの。」に対して生成された統合返答情報の例を示したものである。

図８の例では、ユーザの音声入力８０１「このごろ何だか憂鬱なの。」に対し、返答文章８０２として「心配ですね。甘いチョコレートを食べてみては？気分が優れるかも。」が選択され、音声入力８０１に対して即時呼応感情［悲しみ、７］が判断され、返答文章８０２に含まれた感情用語＜心配です＞に対して感情情報［不安、５］及び音声ファイル内の位置値０．０ｓｅｃが抽出され、感情用語＜優れるかも＞に対して感情情報［喜び、５］及び音声ファイル内の位置値２．５ｓｅｃが抽出されたとする。

これにより、電子機器４１０は、返答文章８０２の音声ファイル８１０を出力するに先立ち、音声入力８０１に対して直ちに即時呼応感情［悲しみ、７］を優先的に出力し、この後に音声ファイル８１０を出力するようになるが、音声ファイル８１０において感情用語＜心配です＞が登場する０．０ｓｅｃ時点に感情［不安、５］を出力し、続いて感情用語＜優れるかも＞が登場する２．５ｓｅｃ時点に感情［喜び、５］を出力するための返答出力制御情報８２０を生成してよい。

図９は、ユーザの音声入力「週末は旅行に行くの！」に対して生成された統合返答情報の例を示したものである。

図９の例では、ユーザの音声入力９０１「週末は旅行に行くの！」に対し、返答文章９０２として「楽しいご旅行を！車には気を付けて。」が選択され、音声入力９０１に対して即時呼応感情［驚き、５］が判断され、返答文章９０２に含まれた感情用語＜楽しい＞に対して感情情報［喜び、８］及び音声ファイル内の位置値０．０ｓｅｃが抽出され、感情用語＜気を付けて＞に対して感情情報［不安、５］及び音声ファイル内の位置値２．２ｓｅｃが抽出されたとする。

これにより、電子機器４１０は、返答文章９０２の音声ファイル９１０を出力するに先立ち、音声入力９０１に対して直ちに即時呼応感情［驚異、５］を優先的に出力し、この後に音声ファイル９１０を出力するようになるが、音声ファイル９１０において感情用語＜楽しい＞が登場する０．０ｓｅｃ時点に感情［喜び、８］を出力し、続いて感情用語＜気を付けて＞が登場する２．２ｓｅｃ時点に感情［不安、５］を出力するための返答出力制御情報９２０を生成してよい。

したがって、電子機器４１０は、ユーザの最終意図に対応する返答文章の音声ファイルを出力する過程において、音声ファイルの特定の領域で現れる特定の感情を音声形態、ディスプレイ形態、動作形態などで表現することができるし、返答音声を出力する前に、ユーザの音声入力及び／又は顔映像からリアルタイムで判断されるユーザ感情に対して即時に対応するための即時呼応感情を出力することができる。

このように、本発明の実施形態によると、人間の感情を把握し、これに対応する多様な感情を音声、視覚、動作などのように統合情報で表現することのできる環境を通じ、人間−機械間の情緒的共感を促すことができる。

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、及び／又はハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置及び構成要素は、プロセッサ、コントローラ、算術論理演算装置（ＡＬＵ：ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、フィールドプログラマグルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、プログラム可能論理ユニット（ＰＬＵ：ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、又は命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）及びＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを格納、操作、処理及び生成してもよい。理解の便宜のために、１つの処理装置が使用されるように説明されることがあるが、当業者には、処理装置が複数個の処理要素及び／又は複数種類の処理要素を含んでもよいことが理解されよう。例えば処理装置は、複数個のプロセッサ又は１つのプロセッサ及び１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの１つ以上の組み合わせを含んでもよく、所望のとおりに動作するように処理装置を構成したり、独立的又は集合的に処理装置に命令したりしてよい。ソフトウェア及び／又はデータは、処理装置に基づいて解釈されたり、処理装置に命令又はデータを提供したりするために、任意の種類の機械、コンポーネント、物理装置、コンピュータ格納媒体又は装置に具現化されてよい。ソフトウェアは、ネットワークに接続したコンピュータシステム上に分散され、分散された状態で格納されて実行されてもよい。ソフトウェア及びデータは、１つ以上のコンピュータ読み取り可能な記録媒体に格納されてもよい。

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。このとき、媒体は、コンピュータによって実行可能なプログラムを継続して格納するか、実行又はダウンロードのために一時的に格納するものであってもよい。また、媒体は、単一又は数個のハードウェアが結合した形態の多様な記録手段又は格納手段であってよいが、あるコンピュータシステムに直接接続する媒体に限定されるものではなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ及びＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令語が格納されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを流通するアプリストア、他の多様なソフトウェアを供給又は流通するサイト、サーバなどで管理する記録媒体又は格納媒体も挙げられる。

以上のように、実施形態を、限定された実施形態と図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正及び変形が可能であろう。例えば説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたり又は組み合わされたり、他の構成要素又は均等物によって代替又は置換されたとしても、適切な結果を達成することができる。

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

４１０：電子機器
４１１、４２１：メモリ
４１２、４２２：プロセッサ
４１３、４２３：通信モジュール
４１４、４２４：入力／出力インタフェース
４１５：入力／出力装置
４２０：サーバ
４３０：ネットワーク

Claims (12)

1. コンピュータで実現される人工知能会話方法であって、
   ユーザの感情情報に基づいてユーザの会話の意図を判断する段階、
   前記ユーザの会話の意図に対応する返答文章を決定する段階、及び
   前記返答文章に該当する音声ファイルを出力する段階であって、前記返答文章から返答感情情報を抽出し、前記返答文章を前記音声ファイルに変換し、前記抽出された返答感情情報に含まれる感情用語の各々について前記音声ファイル内の位置値を抽出し、前記返答文章の前記音声ファイルを出力する際に、各感情用語の前記位置値の時点に、各感情用語に対応する感情情報を共に出力する段階
   を含み、
   当該人工知能会話方法は、
   前記ユーザの音声入力及び顔映像のうちの少なくとも一方から抽出される前記ユーザの感情情報について即時呼応感情を判断する段階を更に含み、
   前記出力する段階は、
   前記抽出された位置値を利用して、前記音声ファイルと前記感情情報を同期させて、前記即時呼応感情に続いて前記音声ファイルと前記感情情報が共に出力されるように、前記即時呼応感情、前記音声ファイル及び前記感情情報を組み合わせて統合返答情報のための返答出力制御情報を生成する段階、及び
   前記返答出力制御情報によって、前記即時呼応感情と前記音声ファイル及び前記感情情報を出力する段階
   を含む、人工知能会話方法。
2. 前記ユーザの会話の意図を判断する段階は、
   前記ユーザの音声入力及び顔映像のうちの少なくとも一方を利用して前記ユーザの感情情報を抽出する段階
   を含む、請求項１に記載の人工知能会話方法。
3. 前記ユーザの会話の意図を判断する段階は、
   前記ユーザの音声入力を受信し、前記音声入力の文章から第１感情情報を抽出する段階、
   前記ユーザの顔映像を受信し、顔表情から第２感情情報を抽出する段階、及び
   前記第１感情情報と前記第２感情情報を総合して前記ユーザの会話の意図を判断する段階
   を含む、請求項１に記載の人工知能会話方法。
4. 意図別に複数の文章セットが事前に定められ、
   前記決定する段階は、
   前記ユーザの会話の意図に該当する文章セットのうちから前記返答文章を選択する段階
   を含む、請求項１に記載の人工知能会話方法。
5. 前記出力する段階は、
   前記感情用語に対応する感情情報を、ディスプレイ装置とモータ制御動作装置のうちの少なくとも１つのデバイスから出力する段階
   を含む、請求項１に記載の人工知能会話方法。
6. 請求項１乃至５のいずれか一項に記載の人工知能会話方法をコンピュータに実行させるための、コンピュータプログラム。
7. 請求項１乃至５のいずれか一項に記載の人工知能会話方法をコンピュータに実行させるためのプログラムが記録されている、コンピュータ読み取り可能な記録媒体。
8. コンピュータで実現される人工知能会話システムであって、
   コンピュータ読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサ
   を含み、
   前記少なくとも１つのプロセッサは、
   ユーザの感情情報に基づいてユーザの会話の意図を判断し、
   前記ユーザの会話の意図に対応する返答文章を決定し、
   前記返答文章に該当する音声ファイルを出力することであって、前記返答文章から返答感情情報を抽出し、前記返答文章を前記音声ファイルに変換し、前記抽出された返答感情情報に含まれる感情用語の各々について前記音声ファイル内の位置値を抽出し、前記返答文章の前記音声ファイルを出力する際に、各感情用語の前記位置値の時点に、各感情用語に対応する感情情報を共に出力し、
   前記少なくとも１つのプロセッサは、
   前記ユーザの音声入力及び顔映像のうちの少なくとも一方から抽出される前記ユーザの感情情報について即時呼応感情を判断し、
   前記感情用語に対応する感情情報を出力するために、
   前記抽出された位置値を利用して、前記音声ファイルと前記感情情報を同期させて、前記即時呼応感情に続いて前記音声ファイルと前記感情情報が共に出力されるように、前記即時呼応感情、前記音声ファイル及び前記感情情報を組み合わせて統合返答情報のための返答出力制御情報を生成し、
   前記返答出力制御情報によって、前記即時呼応感情と前記音声ファイル及び前記感情情報を出力する、
   人工知能会話システム。
9. 前記少なくとも１つのプロセッサは、前記ユーザの会話の意図を判断するために、
   前記ユーザの音声入力及び顔映像のうちの少なくとも一方を利用して前記ユーザの感情情報を抽出する、
   請求項８に記載の人工知能会話システム。
10. 前記少なくとも１つのプロセッサは、前記ユーザの会話の意図を判断するために、
    前記ユーザの音声入力を受信し、前記音声入力の文章から第１感情情報を抽出し、
    前記ユーザの顔映像を受信し、顔表情から第２感情情報を抽出し、
    前記第１感情情報と前記第２感情情報を総合して前記ユーザの会話の意図を判断する、
    請求項８に記載の人工知能会話システム。
11. 意図別に複数の文章セットが事前に定められ、
    前記少なくとも１つのプロセッサは、前記返答文章を決定するために、
    前記ユーザの会話の意図に該当する文章セットのうちから前記返答文章を選択する、
    請求項８に記載の人工知能会話システム。
12. 前記少なくとも１つのプロセッサは、前記感情用語に対応する感情情報を出力するために、
    前記感情用語に対応する感情情報を、ディスプレイ装置とモータ制御動作装置のうちの少なくとも１つのデバイスから出力する、
    請求項８に記載の人工知能会話システム。

Images