JP6920398B2 - 人工知能機器における連続会話機能 - Google Patents

Description

以下の説明は、人工知能会話システムに関する。

一般的に、個人秘書システム、チャットボットプラットフォーム（ｃｈａｔｂｏｔ ｐｌａｔｆｏｒｍ）、人工知能（ＡＩ）スピーカなどで使用される人工知能会話システムは、人間の命令語に対する意図を理解し、これに対応する返答を提供する方式を採用している。

主に人工知能会話システムは、人間が機能的な要求を伝達すると、マシンが人間の要求に対する返答を提供する方式で実行されるが、マイクでユーザの音声入力を受信し、受信した音声入力に基づいてデバイス動作やコンテンツ提供を制御することができる。

例えば、特許文献１は、ホームネットワークサービスにおいて、移動通信ネットワーク（第１通信ネットワーク）の他にＷｉ−Ｆｉ（登録商標）のような第２通信ネットワークを利用してホームネットワークサービスを提供することが可能であり、宅内の複数のマルチメディア機器を、ユーザがボタン操作をしなくても音声命令によってマルチコントロールすることができる技術を開示している。

一般的に、人工知能会話システムは、事前に定められたキーワード（すなわち、ウェイクアップワード（ｗａｋｅ ｕｐ ｗｏｒｄ））（例えば、機器名など）を、機器をアクティブ化するための会話アクティブ化トリガーとして使用している。

人工知能機器は、キーワード呼び出しを基盤として音声認識機能を実行するようになるが、例えば、ユーザが機器名を呼ぶと機器がアクティブ化し、ユーザの音声命令を収集するための待機モードになる。

キーワードの呼び出しがなければ機器が自らアクティブ化することはなく、短い時間の間に音声命令を再試行しようとする場合は、そのたびに先ずはキーワードの呼び出しが要求されるため、使用のたびに疲労を感じざるを得なかった。

韓国公開特許第１０−２０１１−０１３９７９７号公報

機器をアクティブ化するためのキーワード（ウェイクアップワード）の呼び出しがなくても音声命令を再要求することができる、人工知能連続会話方法およびシステムを提供する。

以前の音声命令に対応する作業によっては、キーワードの呼び出しがなくても自動で音声命令待機状態に切り換えることができる、人工知能連続会話方法およびシステムを提供する。

コンピュータによって実現される人工知能連続会話方法であって、会話機能が非アクティブな状態で会話アクティブ化トリガーが認識されると、前記会話機能をアクティブ化させて音声命令待機状態に入る段階、前記音声命令待機状態で音声命令が受信されると、前記音声命令に対応する作業を実行する段階、および前記作業の類型に基づいて次の音声命令待機状態に直ぐに入ることによって連続会話機能を提供する段階を含む、人工知能連続会話方法を提供する。

一側面によると、ウェイクアップワードに指定されたキーワードが前記会話アクティブ化トリガーとして利用され、前記連続会話機能を提供する段階は、前記音声命令に対応する作業によっては、前記キーワードの呼び出しがなくても前記会話機能のアクティブな状態を維持して前記次の音声命令待機状態に自動で切り換えることを含んでよい。

他の側面によると、前記連続会話機能を提供する段階は、前記音声命令に対応する作業が持続的な動作を必要とする作業でない場合、前記会話機能のアクティブな状態を維持して前記次の音声命令待機状態に自動で切り換えることを含んでよい。

また他の側面によると、前記連続会話機能を提供する段階は、終了命令が入力されるまで持続される第１作業と終了命令がなくても所定の時点で終了する第２作業とのうち、前記音声命令に対応する作業が前記第２作業に該当する場合、前記会話機能のアクティブな状態を維持して前記次の音声命令待機状態に自動で切り換えることを含んでよい。

また他の側面によると、前記連続会話機能を提供する段階は、前記音声命令に対応する作業がユーザの返答を要求する会話形式の動作を含む場合、前記会話機能のアクティブな状態を維持して前記次の音声命令待機状態に自動で切り換えることを含んでよい。

また他の側面によると、前記連続会話機能を提供する段階は、作業別に実行パターンを学習した結果に基づき、前記音声命令に対応する作業が追加の音声命令が予測される作業に該当する場合、前記会話機能のアクティブな状態を維持して前記次の音声命令待機状態に自動で切り換えることを含んでよい。

また他の側面によると、前記音声命令に対応する作業が持続的な動作を必要とする作業の場合には、前記会話機能を非アクティブな状態に切り換えて前記音声命令待機状態を終了させる段階をさらに含んでよい。

さらに他の側面によると、前記音声命令待機状態を終了する段階は、前記音声命令に対応する作業が前記持続的な動作を必要とする作業と関連のある作業の場合、前記会話機能を非アクティブな状態に切り換えて前記音声命令待機状態を終了させることを含んでよい。

前記人工知能連続会話方法をコンピュータに実行させるためのコンピュータプログラムを提供する。

前記コンピュータプログラムを記録しているコンピュータ読み取り可能な記録媒体を提供する。

コンピュータによって実現される人工知能連続会話システムであって、コンピュータ読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、会話機能が非アクティブな状態で会話アクティブ化トリガーが認識されると、前記会話機能をアクティブ化させて音声命令待機状態に入る過程、前記音声命令待機状態で音声命令が受信されると、前記音声命令に対応する作業を実行する過程、および前記作業の類型に基づいて次の音声命令待機状態に直ぐに入ることによって連続会話機能を提供する過程を処理する、人工知能連続会話システムを提供する。

本発明の実施形態によると、以前の音声命令がなされた後、以前の音声命令に対応する作業によっては、機器のアクティブな状態を維持して次の音声命令待機状態に自動で切り換えることにより、短時間内に音声命令が再試行された場合でも、機器アクティブ化のためのキーワードを呼び出す必要がなく、直ぐに作動できることから、ユーザ便宜と使用疲労度を改善することができる。

本発明の一実施形態における、音声基盤インタフェースを活用したサービス環境の例を示した図である。 本発明の一実施形態における、音声基盤インタフェースを活用したサービス環境の他の例を示した図である。 本発明の一実施形態における、クラウド人工知能プラットフォームの例を示した図である。 本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。 本発明の一実施形態における、人工知能連続会話方法を示したフローチャートである。 本発明の一実施形態における、キーワードの呼び出しがなくても直ぐに音声命令を再要求することのできる作業リストを説明するための例示図である。 本発明の一実施形態における、キーワードの呼び出しがなくても直ぐに音声命令を再要求することのできる作業リストを説明するための例示図である。 本発明の一実施形態における、キーワードの呼び出しがなくても直ぐに音声命令を再要求することのできる作業リストを説明するための例示図である。

以下、本発明の実施形態について、添付の図面を参照しながら詳細に説明する。

本発明の実施形態に係る人工知能連続会話システムは、ユーザとの会話を基盤として動作するインタフェースを提供する電子機器によって実現されてよい。このとき、人工知能連続会話システムは、機器のアクティブ化のためのキーワード（ウェイクアップワード）を呼び出す必要なく、直ぐに音声命令を再要求することができる連続会話機能を提供する。

本発明の実施形態に係る人工知能連続会話方法は、上述した電子機器によって実行されてよい。このとき、電子機器において、本発明の一実施形態に係るコンピュータプログラムがインストールおよび実行されてよく、電子機器は、実行されるコンピュータプログラムの制御にしたがって本発明の一実施形態に係る人工知能連続会話方法を実行してよい。上述したコンピュータプログラムは、コンピュータによって実現される電子機器に人工知能連続会話方法を実行させるために、コンピュータ読み取り可能な記録媒体に記録されてよい。

図１は、本発明の一実施形態における、音声基盤インタフェースを活用したサービス環境の例を示した図である。図１の実施形態では、スマートホーム（ｓｍａｒｔ ｈｏｍｅ）やホームネットワークサービスのように宅内のデバイスを接続して制御する技術において、音声を基盤として動作するインタフェースを提供する電子機器１００が、ユーザ１１０の発話によって受信された音声入力「電気を消して」を認識および分析し、宅内で内部ネットワークを介して電子機器１００と連係する宅内照明機器１２０のライト電源を制御する例を示している。

例えば、宅内のデバイスは、上述した宅内照明機器１２０の他にも、テレビ、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、周辺機器、エアコン、冷蔵庫、ロボット清掃機などのような家電製品はもちろん、水道、電気、冷／暖房機器などのようなエネルギー消費装置、ドアロックや監視カメラなどのような保安機器など、オンライン上で接続して制御可能な多様なデバイスを含んでよい。また、内部ネットワークとして、イーサネット（登録商標）、ＨｏｍｅＰＮＡ、ＩＥＥＥ １３９４のような有線ネットワーク技術や、ブルートゥース（登録商標）、ＵＷＢ（ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）、ジグビー（登録商標）、Ｗｉｒｅｌｅｓｓ １３９４、Ｈｏｍｅ ＲＦのような無線ネットワーク技術などが活用されてよい。

電子機器１００は、宅内のデバイスのうちの１つであってよい。例えば、電子機器１００は、宅内に備えられた人工知能スピーカやロボット清掃機などのようなデバイスのうちの１つであってよい。また、電子機器１００は、スマートフォン、携帯電話機、ノート型ＰＣ、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレットなどのような、ユーザ１１０のモバイル機器であってもよい。このように、電子機器１００は、ユーザ１１０の音声入力を受信して宅内のデバイスを制御するために宅内のデバイスと接続可能な機能を含む機器であれば、特に制限されることはない。また、実施形態によっては、上述したユーザ１１０のモバイル機器が宅内のデバイスとして含まれてもよい。

図２は、本発明の一実施形態における、音声基盤インタフェースを活用したサービス環境の他の例を示した図である。図２は、音声を基盤として動作するインタフェースを提供する電子機器１００が、ユーザ１１０の発話によって受信された音声入力「今日の天気」を認識および分析し、外部ネットワークを介して外部サーバ２１０から今日の天気に関する情報を取得し、取得した情報を「今日の天気は・・・」のように音声で出力する例を示している。

例えば、外部ネットワークは、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。

図２の実施形態でも、電子機器１００は、宅内のデバイスのうちの１つであっても、ユーザ１１０のモバイル機器のうちの１つであってもよく、ユーザ１１０の音声入力を受信して処理するための機能と、外部ネットワークを介して外部サーバ２１０に接続して外部サーバ２１０が提供するサービスやコンテンツをユーザ１１０に提供するための機能とを含む機器であれば、特に制限されることはない。

このように、本発明の実施形態に係る電子機器１００は、音声基盤インタフェースにより、ユーザ１１０の発話によって受信された音声入力を少なくとも含むユーザ命令を処理することのできる機器であれば、特に制限されることはない。例えば、電子機器１００は、ユーザの音声入力を直接的に認識および分析して音声入力に適した動作を実行することでユーザ命令を処理してもよいが、実施形態によっては、ユーザの音声入力に対する認識や認識された音声入力の分析、ユーザに提供される音声の合成などの処理を、電子機器１００と連係する外部のプラットフォームで実行してもよい。

図３は、本発明の一実施形態における、クラウド人工知能プラットフォームの例を示した図である。図３は、電子機器３１０、クラウド人工知能プラットフォーム３２０、およびコンテンツ・サービス３３０を示している。

一例として、電子機器３１０は、宅内に備えられるデバイスを意味してよく、少なくとも上述した電子機器１００を含んでよい。このような電子機器３１０や電子機器３１０においてインストールおよび実行されるアプリケーション（以下、アプリとも呼ばれる）は、インタフェースコネクト３４０を介してクラウド人工知能プラットフォーム３２０と連係してよい。ここで、インタフェースコネクト３４０は、電子機器３１０や電子機器３１０においてインストールおよび実行されるアプリの開発のためのＳＤＫ（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ）および／または開発文書を開発者に提供してよい。また、インタフェースコネクト３４０は、電子機器３１０や電子機器３１０においてインストールおよび実行されるアプリが、クラウド人工知能プラットフォーム３２０が提供する機能を活用することのできるＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍ Ｉｎｔｅｒｆａｃｅ）を提供してよい。具体的な例として、開発者がインタフェースコネクト３４０の提供するＳＤＫおよび／または開発文書を利用して開発した機器やアプリは、インタフェースコネクト３４０が提供するＡＰＩを利用することで、クラウド人工知能プラットフォーム３２０が提供する機能を活用することが可能となる。

ここで、クラウド人工知能プラットフォーム３２０は、音声基盤サービスを提供するための機能を提供してよい。例えば、クラウド人工知能プラットフォーム３２０は、受信した音声を認識し、出力する音声を合成するための音声処理モジュール３２１、受信した映像や動画を分析して処理するためのビジョン処理モジュール３２２、受信した音声にしたがって適切な音声を出力するために適した会話を決定するための会話処理モジュール３２３、受信した音声に適した機能を勧めるための推薦モジュール３２４、人工知能がデータ学習に基づいて文章単位で言語を翻訳するように支援するニューラル機械翻訳（ＮＭＴ：Ｎｅｕｒａｌ Ｍａｃｈｉｎｅ Ｔｒａｎｓｌａｔｉｏｎ）３２５などのように、音声基盤サービスを提供するための多様なモジュールを含んでよい。

例えば、図１および図２の実施形態において、電子機器１００が、ユーザ１１０の音声入力を、インタフェースコネクト３４０で提供するＡＰＩを利用してクラウド人工知能プラットフォーム３２０に送信したとする。この場合、クラウド人工知能プラットフォーム３２０は、上述したモジュール３２１〜３２５を活用して、受信した音声入力を認識および分析してよく、受信した音声入力にしたがって適した返答音声を合成して提供したり、適した動作を勧めたりしてよい。

また、拡張キット３５０は、サードパーティコンテンツ開発者または会社がクラウド人工知能プラットフォーム３２０を基盤として新たな音声基盤機能を実現することのできる開発キットを提供してよい。例えば、図２の実施形態において、電子機器１００がユーザ１１０の音声入力を外部サーバ２１０に送信し、外部サーバ２１０が拡張キット３５０を通じて提供されるＡＰＩを利用してクラウド人工知能プラットフォーム３２０に音声入力を送信したとする。この場合、上述したものと同じように、クラウド人工知能プラットフォーム３２０は、受信した音声入力を認識および分析して適切な返答音声を合成して提供したり、音声入力にしたがって処理されなければならない機能に対する推薦情報を外部サーバ２１０に提供したりしてよい。一例として、図２において、外部サーバ２１０が音声入力「今日の天気」をクラウド人工知能プラットフォーム３２０に送信し、クラウド人工知能プラットフォーム３２０から音声入力「今日の天気」の認識によって抽出されたキーワード「今日の」および「天気」を受信したとする。この場合、外部サーバ２１０は、キーワード「今日の」および「天気」に基づいて「今日の天気は・・・」のようなテキスト情報を生成した後、クラウド人工知能プラットフォーム３２０に生成されたテキスト情報を送信してよい。このとき、クラウド人工知能プラットフォーム３２０は、テキスト情報を音声で合成して外部サーバ２１０に提供してよい。外部サーバ２１０は、合成された音声を電子機器１００に送信してよく、電子機器１００は、合成された音声「今日の天気は・・・」をスピーカから出力することにより、ユーザ１１０から受信した音声入力「今日の天気」が処理されるようになる。

このとき、電子機器１００は、ユーザとの会話を基盤としてデバイス動作やコンテンツ提供を実施するために、本発明の実施形態に係る人工知能連続会話方法を実行してよい。

図４は、本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。図４の電子機器４１０は、上述した電子機器１００に対応してよく、サーバ４２０は、上述した外部サーバ２１０またはクラウド人工知能プラットフォーム３２０を実現する１つのコンピュータ装置に対応してよい。

電子機器４１０およびサーバ４２０は、メモリ４１１、４２１、プロセッサ４１２、４２２、通信モジュール４１３、４２３、および入力／出力インタフェース４１４、４２４を含んでよい。メモリ４１１、４２１は、コンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永続的大容量記録装置を含んでよい。ここで、ＲＯＭやディスクドライブのような永続的大容量記録装置は、メモリ４１１、４２１とは区別される別の永続的記録装置として電子機器４１０やサーバ４２０に含まれてもよい。また、メモリ４１１、４２１には、オペレーティングシステムと、少なくとも１つのプログラムコード（一例として、電子機器４１０にインストールされ、特定のサービスを提供するために電子機器４１０で実行されるアプリケーションなどのためのコード）が記録されてよい。このようなソフトウェア構成要素は、メモリ４１１、４２１とは別のコンピュータ読み取り可能な記録媒体からロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ−ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信モジュール４１３、４２３を通じてメモリ４１１、４２１にロードされてもよい。例えば、少なくとも１つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システムがネットワーク４３０を介して提供するファイルによってインストールされるプログラム（一例として、上述したアプリケーション）に基づいて電子機器４１０のメモリ４１１にロードされてよい。

プロセッサ４１２、４２２は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ４１１、４２１または通信モジュール４１３、４２３によって、プロセッサ４１２、４２２に提供されてよい。例えば、プロセッサ４１２、４２２は、メモリ４１１、４２１のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。

通信モジュール４１３、４２３は、ネットワーク４３０を介して電子機器４１０とサーバ４２０とが互いに通信するための機能を提供してもよいし、電子機器４１０および／またはサーバ４２０が他の電子機器または他のサーバと通信するための機能を提供してもよい。一例として、電子機器４１０のプロセッサ４１２がメモリ４１１のような記録装置に記録されたプログラムコードにしたがって生成した要求が、通信モジュール４１３の制御にしたがってネットワーク４３０を介してサーバ４２０に伝達されてよい。これとは逆に、サーバ４２０のプロセッサ４２２の制御にしたがって提供される制御信号や命令、コンテンツ、ファイルなどが、通信モジュール４２３とネットワーク４３０を経て電子機器４１０の通信モジュール４１３を通じて電子機器４１０に受信されてもよい。例えば、通信モジュール４１３を通じて受信したサーバ４２０の制御信号や命令などは、プロセッサ４１２やメモリ４１１に伝達されてよく、コンテンツやファイルなどは、電子機器４１０がさらに含むことのできる記録媒体（上述した永続的記録装置）に記録されてよい。

入力／出力インタフェース４１４は、入力／出力装置４１５とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、またはマウスなどの装置を含んでよく、出力装置は、ディスプレイやスピーカのような装置を含んでよい。他の例として、入力／出力インタフェース４１４は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置４１５は、電子機器４１０と１つの装置で構成されてもよい。また、サーバ４２０の入力／出力インタフェース４２４は、サーバ４２０と接続するかまたはサーバ４２０が含むことのできる入力または出力のための装置（図示せず）とのインタフェースのための手段であってよい。

また、他の実施形態において、電子機器４１０およびサーバ４２０は、図４の構成要素よりも少ないまたは多い構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、電子機器４１０は、上述した入力／出力装置４１５のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。より具体的な例として、電子機器４１０がスマートフォンである場合、一般的にスマートフォンが含んでいる加速度センサやジャイロセンサ、動作センサ、カメラモジュール、物理的な各種ボタン、タッチパネルを利用したボタン、入力／出力ポート、振動のための振動器などのように、多様な構成要素が電子機器４１０にさらに含まれるように実現されてよい。

本実施形態において、電子機器４１０は、ユーザの音声入力を受信するためのマイクを入力／出力装置４１５として基本的に含んでよく、ユーザの音声入力に対応する返答音声やオーディオコンテンツのような音を出力するためのスピーカを入力／出力装置４１５としてさらに含んでよい。

本発明の実施形態に係る人工知能連続会話方法は、上述した電子機器４１０のようなコンピュータ装置によって実行されてよい。このとき、電子機器４１０のプロセッサ４１２は、メモリ４１１が含むオペレーティングシステムのコードや少なくとも１つのプログラムのコードによる制御命令を実行するように実現されてよい。ここで、プロセッサ４１２は、電子機器４１０に記録されたコードが提供する制御命令にしたがって電子機器４１０が後述する人工知能連続会話方法に含まれる段階を実行するように電子機器４１０を制御してよい。

図５は、本発明の一実施形態における、人工知能連続会話方法の例を示したフローチャートである。

段階５１０で、電子機器４１０は、非アクティブな状態（５０）で会話基盤インタフェースを通じてユーザの発話から事前に定められたキーワード（５１）が認識されると、会話機能をアクティブ化させてよい（キーワード呼び出し機能）。例えば、電子機器４１０は、会話基盤インタフェースとして、電子機器４１０に含まれるマイクまたは電子機器４１０と連動するマイクのような音声入力装置を通じてユーザの発話による音声入力を受信してよい。言い換えれば、電子機器４１０は、何らの作業も実行されていないアイドル状態などの非アクティブな状態（５０）でユーザがウェイクアップワードに指定されたキーワード５１を発話した場合、該当のキーワード５１を認識して会話機能をアクティブ化させてよい。このとき、電子機器４１０は、会話アクティブ化時に、電子機器４１０に含まれるかまたは電子機器４１０と連動可能な出力装置（例えば、ＰＵＩ（ｐｈｙｓｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ））を通じてユーザに会話アクティブ状態を認知させるようにするための情報、例えば、ディスプレイを点灯したり効果音を出力したりしてよい。上述したキーワード呼び出し機能は、電子機器４１０が無作業の状態ではもちろん、音楽再生のような作業が実行されている状態でも実行可能である。

本実施形態では、会話アクティブ化トリガーとして特定のキーワードが利用されると説明しているが、これに限定されることはなく、特定のアクションや音、信号などのように多様な形態の会話アクティブ化トリガーが利用されてもよい。

段階５２０で、電子機器４１０は、キーワード（５１）の呼び出しによって会話機能がアクティブ化されたことにしたがい、ユーザの音声命令を待機してよい（音声命令待機状態）。アクティブ化された電子機器４１０は、一定の時間（例えば、７秒間）、ユーザの音声命令を待機する待機状態を自動的に維持する。ユーザは、例えばＰＵＩによって電子機器４１０の会話アクティブ状態を認知した後、電子機器４１０が待機状態を維持している一定の時間内に音声命令を入力してよい。

段階５３０で、電子機器４１０は、音声命令待機状態に対して指定された時間をカウントして音声命令待機状態に入った後、一定の時間が経過したかを判定してよい。電子機器４１０は、指定された一定の時間内にユーザからの音声命令が確認されなかった場合には、音声命令待機状態に対してタイムアウト処理して非アクティブな状態（５０）に戻る。

段階５４０で、電子機器４１０は、音声命令待機状態において一定の時間内にユーザから音声命令が受信された場合、受信した音声命令を分析してよい（音声分析機能）。電子機器４１０は、音声命令待機状態で会話基盤インタフェースを通じてユーザの音声入力を受信してよい。例えば、電子機器４１０は、会話基盤インタフェースとして、電子機器４１０に含まれるマイクまたは電子機器４１０と連動するマイクのような音声入力装置を通じてユーザの発話による音声入力を受信してよく、受信した音声命令の意味を分析する自然言語理解（ＮＬＵ：ｎａｔｕｒａｌ ｌａｎｇｕａｇｅ ｕｎｄｅｒｓｔａｎｄｉｎｇ）作業を実行してよい。

本実施形態では、電子機器４１０で音声分析機能を実行すると説明しているが、これに限定されることはない。例えば、電子機器４１０は、音声命令待機状態でユーザの音声命令を受信した後、受信した音声命令をサーバ４２０に伝達し、サーバ４２０でユーザの音声命令を分析するプロセスも可能である。

段階５５０で、電子機器４１０は、音声分析機能による意味分析結果に基づく作業を実行してよい（作業実行機能）。電子機器４１０は、ユーザの音声命令に対応する情報を出力するものであって、必要に応じて、動作案内のためのＴＴＳ（ｔｅｘｔ ｔｏ ｓｐｅｅｃｈ）と共に意味分析結果に基づく作業を実行してよい。ユーザの音声命令に対応する情報には、会話基盤インタフェースで出力可能な情報として、音声情報、映像情報、動作情報のうちの少なくとも１つが含まれてよい。一例として、電子機器４１０は、電子機器４１０に含まれるスピーカまたは電子機器４１０と連動するスピーカのような音声出力装置から、ユーザの音声命令に対応する音声情報を出力してよい。また、電子機器４１０は、電子機器４１０に含まれるディスプレイまたは電子機器４１０と連動するディスプレイのような映像出力装置から、ユーザの音声命令に対応する映像情報を出力してよい。さらに、電子機器４１０は、電子機器４１０に含まれるモータ制御動作装置または電子機器４１０と連動するモータ制御動作装置から、ユーザの音声命令に対応する動作情報を出力してよい。例えば、電子機器４１０が会話ロボットである場合、ユーザの音声命令に対応する情報にしたがって関連動作を実現してよい。

本実施形態では、電子機器４１０で作業実行機能を実行すると説明しているが、これに限定されることはない。例えば、電子機器４１０は、サーバ４２０からユーザの音声命令に対応する情報を受信し、受信した情報を会話基盤インタフェースで出力するプロセスも可能である。

段階５６０で、電子機器４１０は、ユーザの音声命令に対応する作業にしたがい、連続会話機能が必要であるかを判定してよい。一例として、電子機器４１０は、ユーザから終了命令がなされるまで持続される作業（以下、「第１作業」と称する）と、終了命令がなされなくても所定の時点で終了する作業（以下、「第２作業」と称する）（すなわち、持続的な動作が必要でない作業）とを区分し、第２作業を連続会話機能が必要な作業であると判定してよい。このとき、ユーザから終了命令が下されるまで持続される作業と関連のある作業（例えば、再生中の音楽のボリュームを上げる動作など）も、第１作業として区分してよい。他の例として、電子機器４１０は、ユーザの音声命令に対応する作業が、ユーザに質問して返答を要求するなどのような会話形式の動作を含む場合、連続会話機能が必要な作業であると判定してよい。また他の例として、電子機器４１０は、作業別に該当の作業の実行パターンを学習し、学習結果に基づいて短時間（例えば、７秒間）内に追加の音声命令に繋がると予測される作業の場合、連続会話機能が必要な作業であると判定してよい。

特に、電子機器４１０は、ユーザの音声命令に対応する作業が連続会話機能を必要とする作業であると判定された場合、機器のアクティブな状態を維持し、次の音声命令待機状態に自動で切り換えてよい。このとき、電子機器４１０は、ユーザの音声命令が入力された後に機器を非アクティブな状態に切り換えるのではなく、機器のアクティブな状態をそのまま維持させながら次の音声命令待機状態に自動で切り換えることで、機器をウェイクアップさせるためのキーワードの呼び出しがなくても、ユーザに直ぐに音声命令を再要求することが可能となる。次の音声命令待機状態でも、以前の音声命令待機状態と同じように一定の時間が待機時間として指定されているため、ユーザが追加命令を拒否して音声命令が入力されなかった場合には、待機時間が経過した直後にタイムアウト処理される。

段階５７０で、電子機器４１０は、ユーザの音声命令に対応する作業が連続会話機能を必要とする作業に該当しない場合は、機器を非アクティブな状態（５０）に切り換えて音声命令待機過程を終了させる。言い換えれば、電子機器４１０は、連続会話機能を必要としない作業の場合には、音声命令待機過程を終了させた後、キーワードが呼び出されるまで機器の非アクティブな状態（５０）を維持し、キーワードが呼び出されたときに機器を再びアクティブ化させてよい。

キーワードの呼び出しがなされた直後の最初の音声命令待機過程において音声命令分析に失敗した場合には、所定の内容（例えば、「よく分かりません。」）のＴＴＳ返答を提供した後に音声命令待機過程を終了させ、キーワードの呼び出しがなされずに連続会話機能として提供される音声命令待機過程において音声命令分析に失敗した場合には、ＴＴＳ返答をせずに音声命令待機過程を終了させてよい。

電子機器４１０は、例えば、音楽、ニュース、童話、ラジオなどのようなコンテンツを再生する作業のように、ユーザから終了命令が下されるまで機器の持続的な作業を必要とする場合は、音声命令待機過程を終了させ、実行要求した作業を持続させてよい。これに対し、以前の音声命令待機過程で認識された音声命令による作業が、簡単な情報要求や機器とのチャットのように終了命令がなくても情報伝達後に終了する作業であったり、ユーザとの連続する会話形式の作業に該当したりする場合には、キーワードの呼び出しがなくても機器のアクティブな状態を維持し、次の音声命令待機状態に直ぐに入ってよい。

図６は、メディアコンテンツに属する作業リストの例を示している。

電子機器４１０は、ユーザの音声命令に対応する作業の一例として、メディアコンテンツを提供してよい。このとき、メディアコンテンツの一例として、音声情報で構成されたオーディオコンテンツ６００を含んでよく、図６を参照すると、オーディオコンテンツ６００は、音楽、ニュース、童話、ラジオなどに分類されてよい。

電子機器４１０は、ユーザから受信した音声命令の意味を分析し、意味分析結果に基づく作業を実行するようになるが、ユーザの音声命令として「ニュースをつけて」が受信された場合、オーディオコンテンツ６００のうちからニュースに分類されたコンテンツを再生してよい。

このように、オーディオコンテンツ６００は、ユーザから終了命令が下されるまで持続して実行される作業に該当することから、このような作業に対しては、音声命令待機過程を直ぐに終了させて機器を非アクティブ化させる。

図７は、ＴＴＳ返答に属する作業リストの例を示している。

電子機器４１０は、ユーザの音声命令に対応する作業の一例として、ＴＴＳ形態の返答情報７００を提供してよい。例えば、ユーザの音声命令として「今日のスケジュールを教えて」が受信された場合、ユーザのスケジュール情報のうちから今日の日付に該当するスケジュール情報をＴＴＳとして出力してよい。

情報検索のようなＴＴＳ返答７００は、終了命令が下されなくても情報伝達後には作業が終了し、このような作業は、短時間内にユーザから追加の情報要求がある可能性が高いという点を考慮した上で、機器のアクティブな状態を維持して次の音声命令待機状態に直ぐに入ることによって連続会話機能を提供する。

図６および図７を参照しながら説明したように、命令種類別、すなわちユーザの音声命令に対応する作業類型に応じて、次の音声命令待機状態に切り換えるか否かが決定されてよい。

図８を参照すると、音楽のようなオーディオコンテンツを再生する作業、オーディオコンテンツの再生と関連のあるコントロール作業（例えば、ボリュームの調節、再生コンテンツの変更など）などでは、音声命令待機過程を直ぐに終了させて次の音声命令待機状態に切り換えない。これに対し、短答型のＴＴＳ返答を提供する作業やユーザと会話をやり取りする簡単なチャット作業などでは、機器のアクティブな状態を維持して次の音声命令待機状態に直ぐに切り換える。

したがって、電子機器４１０は、基本的にはキーワードの呼び出しが必須であり、これが先行することによって音声命令待機状態に入るようになるが、一部の類型作業の場合、すなわち、短時間内に音声命令が再試行される可能性の高い作業である場合には、キーワードの呼び出しがなくても音声命令待機状態に直ぐに入ることができるようにする。

このように、本発明の実施形態によると、以前の音声命令がなされた後、以前の音声命令に対応する作業によっては、機器のアクティブな状態を維持して次の音声命令待機状態に自動で切り換えることにより、短時間内に音声命令が再試行された場合でも、機器アクティブ化のためのキーワードを呼び出す必要がなく、直ぐに作動できることから、ユーザ便宜と使用疲労度を改善することができる。

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。このとき、媒体は、コンピュータによって実行可能なプログラムを継続して記録してもよいし、実行またはダウンロードのために一時的に記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよいが、あるコンピュータシステムに直接接続する媒体に限定されるものではなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ−ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、他の媒体の例としては、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体も含まれる。

以上のように、実施形態を、限定された実施形態と図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

１００：電子機器
１１０：ユーザ
２１０：外部サーバ

Claims (16)

1. コンピュータによって実現される人工知能連続会話方法であって、
   会話機能が非アクティブな状態で会話アクティブ化トリガーが認識されると、前記会話機能をアクティブ化させて音声命令待機状態に入る段階、
   前記音声命令待機状態で音声命令が受信されると、前記音声命令に対応する作業を実行する段階、および
   前記作業を実行した後、前記作業の類型に基づいて、次の音声命令待機状態に直ぐに入ることによって連続会話機能を提供するか、又は前記次の音声命令待機状態に入らないようにして前記会話機能を非アクティブ化させるか、を決定する段階、
   を含み、
   前記決定する段階は、前記作業の類型が持続的な動作を必要とする作業の場合には、前記次の音声命令待機状態に入らないようにして前記会話機能を非アクティブ化させると決定することを含む、
   人工知能連続会話方法。
2. ウェイクアップワードに指定されたキーワードが前記会話アクティブ化トリガーとして利用され、
   当該人工知能連続会話方法は、さらに、
   前記連続会話機能を提供すると決定した場合に、前記キーワードの呼び出しがなくても前記会話機能のアクティブな状態を維持して前記次の音声命令待機状態に自動で切り換える段階
   を含む、請求項１に記載の人工知能連続会話方法。
3. 前記決定する段階は、
   前記音声命令に対応する作業が持続的な動作を必要とする作業でない場合、前記連続会話機能を提供すると決定すること
   を含む、請求項１又は２に記載の人工知能連続会話方法。
4. 前記決定する段階は、
   終了命令が入力されるまで持続される第１作業と終了命令がなくても所定の時点で終了する第２作業とのうち、前記音声命令に対応する作業が前記第２作業に該当する場合、前記連続会話機能を提供すると決定すること
   を含む、請求項１又は２に記載の人工知能連続会話方法。
5. 前記持続的な動作を必要とする作業は、終了命令が入力されるまで持続的な動作が必要な作業であり、
   前記決定する段階は、
   前記音声命令に対応する作業がユーザの返答を要求する会話形式の動作を含む場合、前記連続会話機能を提供すると決定すること
   を含む、請求項１又は２に記載の人工知能連続会話方法。
6. 前記決定する段階は、
   作業別に実行パターンを学習した結果に基づき、前記音声命令に対応する作業が追加の音声命令が予測される作業に該当する場合、前記連続会話機能を提供すると決定すること
   を含む、請求項１又は２に記載の人工知能連続会話方法。
7. 前記決定する段階は、
   前記音声命令に対応する作業が前記持続的な動作を必要とする作業と関連のある作業である場合、前記会話機能を非アクティブ化させると決定すること
   を含む、請求項１に記載の人工知能連続会話方法。
8. 請求項１〜７のうちのいずれか一項に記載の人工知能連続会話方法をコンピュータに実行させるためのコンピュータプログラム。
9. 請求項８に記載のコンピュータプログラムを記録しているコンピュータ読み取り可能な記録媒体。
10. コンピュータによって実現される人工知能連続会話システムであって、
    コンピュータ読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサ
    を含み、
    前記少なくとも１つのプロセッサは、
    会話機能が非アクティブな状態で会話アクティブ化トリガーが認識されると、前記会話機能をアクティブ化させて音声命令待機状態に入る過程、
    前記音声命令待機状態で音声命令が受信されると、前記音声命令に対応する作業を実行する過程、および
    前記作業を実行した後、前記作業の類型に基づいて、次の音声命令待機状態に直ぐに入ることによって連続会話機能を提供するか、又は前記次の音声命令待機状態に入らないようにして会話機能を非アクティブ化させるか、を決定する過程、
    を処理し、
    前記決定する過程は、前記作業の類型が持続的な動作を必要とする作業の場合には、前記次の音声命令待機状態に入らないようにして会話機能を非アクティブ化させると決定することを含む、
    人工知能連続会話システム。
11. ウェイクアップワードに指定されたキーワードが前記会話アクティブ化トリガーとして利用され、
    前記少なくとも１つのプロセッサは、さらに、
    前記連続会話機能を提供すると決定した場合に、前記キーワードの呼び出しがなくても前記会話機能のアクティブな状態を維持して前記次の音声命令待機状態に自動で切り換える過程、
    を処理する、請求項１０に記載の人工知能連続会話システム。
12. 前記決定する過程は、
    前記音声命令に対応する作業が持続的な動作を必要とする作業でない場合、前記連続会話機能を提供すると決定すること
    を含む、請求項１０又は１１に記載の人工知能連続会話システム。
13. 前記決定する過程は、
    終了命令が入力されるまで持続される第１作業と終了命令がなくても所定の時点で終了する第２作業とのうち、前記音声命令に対応する作業が前記第２作業に該当する場合、前記連続会話機能を提供すると決定すること
    を含む、請求項１０又は１１に記載の人工知能連続会話システム。
14. 前記持続的な動作を必要とする作業は、終了命令が入力されるまで持続的な動作が必要な作業であり、
    前記決定する過程は、
    前記音声命令に対応する作業がユーザの返答を要求する会話形式の動作を含む場合、前記連続会話機能を提供すると決定すること
    を含む、請求項１０又は１１に記載の人工知能連続会話システム。
15. 前記決定する過程は、
    作業別に実行パターンを学習した結果に基づき、前記音声命令に対応する作業が追加の音声命令が予測される作業に該当する場合、前記連続会話機能を提供すると決定すること
    を含む、請求項１０又は１１に記載の人工知能連続会話システム。
16. 前記決定する過程は、
    前記音声命令に対応する作業が前記持続的な動作を必要とする作業と関連のある作業の場合、前記会話機能を非アクティブ化させると決定すること
    を含む、請求項１０に記載の人工知能連続会話システム。

Images