JP6607999B2 - 音声要請に対応する情報提供のためのメディア選択 - Google Patents

Description

以下の説明は、音声要請に対応する情報提供のためのメディア選択に関する技術であって、より詳細には、音声要請に対する返答および／または付加情報の提供時に、音声要請および／または応答情報に基づいて応答情報の出力のためのメディアを自動で選択して伝達する情報提供方法とシステム、および情報提供方法をコンピュータに実行させるコンピュータプログラムとその記録媒体に関する。

ホームネットワークサービスの人工知能スピーカのように音声を基盤として動作するインタフェースは、マイクでユーザの音声要請を受信し、音声要請に対応する応答情報を提供するために返答音声を合成してスピーカから提供したり、応答情報が含むコンテンツのオーディオを出力したりする。例えば、特許文献１は、ホームメディアデバイスおよびこれを利用したホームネットワークシステムと方法に関する技術であって、ホームネットワークサービスにおいて移動通信網の他にＷｉ-Ｆｉのような第２通信網を利用してホームネットワークサービスを提供することが可能であり、ホーム内の複数のマルチメディア機器を、ユーザのボタン操作なく音声命令に基づいてマルチコントロールすることができる技術について開示している。

しかし、このような従来技術では、応答情報の聴覚的出力だけを活用したり、聴覚的に出力される応答情報と同じ内容を特定の機器（一例として、ユーザのスマートフォン）のディスプレイにさらに出力するように予め指定されているメディアから応答情報を出力するだけで、音声要請および／または応答情報に適した出力メディアを選択することができないという問題を抱えている。

韓国公開特許第１０−２０１１−０１３９７９７号

人工知能スピーカのような電子機器が含む音声基盤インタフェースに対応するメインメディアだけでなく、電子機器と連動する他の電子機器が含むサブメディア（一例として、スマートフォン、ＩＰＴＶ、スマート冷蔵庫などが含むディスプレイ）のような複数のメディアに関する情報を管理し、音声基盤インタフェースで受信された音声要請とこのような音声要請に対応する応答情報のうちの少なくとも１つに基づき、複数のメディアのうちから応答情報の出力のためのメディアを自動で選択して応答情報を出力することができる情報提供方法と情報提供システム、および情報提供方法をコンピュータに実行させるコンピュータプログラムとその記録媒体を提供する。

音声基盤インタフェースを含む電子機器の情報提供方法であって、前記音声基盤インタフェースに対応するメインメディアおよび前記電子機器と連動して視覚的出力が可能な他の電子機器が含むサブメディアを含む複数のメディアに関する情報を管理する段階、前記音声基盤インタフェースでユーザからの音声要請を受信する段階、前記音声要請に対応する応答情報を取得する段階、前記音声要請および前記応答情報のうちの少なくとも１つに基づき、前記複数のメディアのうちから前記応答情報の出力のための少なくとも１つのメディアを決定する段階、および前記決定された少なくとも１つのメディアから前記応答情報が出力されるように、前記応答情報を前記決定された少なくとも１つのメディアに伝達する段階を含むことを特徴とする、情報提供方法を提供する。

前記情報提供方法をコンピュータに実行させるコンピュータプログラムが記録されていることを特徴とする、コンピュータで読み取り可能な記録媒体を提供する。

前記情報提供方法をコンピュータに実行させるコンピュータプログラムを提供する。

電子機器であって、音声基盤インタフェース、およびコンピュータで読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、前記音声基盤インタフェースに対応するメインメディアおよび前記電子機器と連動して視覚的出力が可能な他の電子機器が含むサブメディアを含む複数のメディアに関する情報を管理し、前記音声基盤インタフェースでユーザからの音声要請を受信し、前記音声要請に対応する応答情報を取得し、前記音声要請および前記応答情報のうちの少なくとも１つに基づいて前記複数のメディアのうちから前記応答情報の出力のための少なくとも１つのメディアを決定し、前記決定された少なくとも１つのメディアから前記応答情報が出力されるように、前記応答情報を前記決定された少なくとも１つのメディアに伝達することを特徴とする、電子機器を提供する。

人工知能スピーカのような電子機器が含む音声基盤インタフェースに対応するメインメディアだけではなく、電子機器と連動する他の電子機器が含むサブメディア（一例として、スマートフォン、ＩＰＴＶ、スマート冷蔵庫などが含むディスプレイ）のような複数のメディアに関する情報を管理し、音声基盤インタフェースに受信された音声要請とこのような音声要請に対応する応答情報のうちの少なくとも１つに基づき、複数のメディアのうちから応答情報の出力のためのメディアを自動で選択して応答情報を出力することができる。

本発明の一実施形態における、音声基盤のインタフェースを活用したサービス環境の例を示した図である。 本発明の一実施形態における、音声基盤のインタフェースを活用したサービス環境の他の例を示した図である。 本発明の一実施形態における、クラウド人工知能プラットフォームの例を示した図である。 本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。 本発明の一実施形態における、情報提供方法の例を示したフローチャートである。 本発明の一実施形態における、メディアに関する情報の例を示した図である。 本発明の一実施形態における、メディアを決定する方法の例を示したフローチャートである。 本発明の一実施形態における、ユーザの位置によってメディアを決定する例を示した図である。 本発明の一実施形態における、複数のユーザに情報を提供する例を示した図である。 本発明の一実施形態における、応答情報の取得方法の例を示したフローチャートである。

以下、実施形態について、添付の図面を参照しながら詳しく説明する。

本発明の実施形態に係る情報提供システムは、音声を基盤として動作するインタフェースを提供する電子機器によって実現されてよい。電子機器は、このような音声要請を直接に処理して応答情報を生成するか、インタフェースコネクトを介して連結する外部プラットフォームで認識および分析して音声要請を処理してよい。例えば、外部プラットフォームは、電子機器からユーザの音声要請を受信し、受信した音声要請を分析し、ユーザの意図に適したクエリまたは該当のクエリに対応する応答情報を生成するクラウド人工知能プラットフォームを含んでよい。このとき、電子機器は、音声要請および／または応答情報に基づき、応答情報を出力するためのメディアを選択してよい。このようなメディアは、電子機器が含む音声基盤インタフェースに対応するメインメディアおよび電子機器と連動して視覚的出力が可能な他の電子機器が含むサブメディアを含んでよい。一例として、サブメディアは、他の電子機器が含むディスプレイや、他の電子機器にインストールされた特定のアプリケーションに対応してよい。より具体的な例として、応答情報を出力するためのメディアとして他の電子機器のディスプレイが決定された場合、応答情報は、他の電子機器のディスプレイから出力されてよい。他の例として、応答情報を出力するためのメディアとして他の電子機器にインストールされた特定のアプリケーションが決定された場合、応答情報は、アプリケーションが提供するサービスと連動して出力されてよい。例えば、「近くの美味しい店を探して」というユーザの音声要請に対し、「美味しい店Ａ」に関する情報が応答情報として取得されたとする。このとき、「美味しい店Ａ」に関する情報は、電子機器が含む音声基盤インタフェースによって聴覚的に出力されてよい。さらに、「美味しい店Ａ」に関する情報は、電子機器と連動する他の電子機器のディスプレイからも視覚的に出力されてよい。これだけでなく、「美味しい店Ａ」に関する情報は、他の電子機器にインストールされた地図アプリケーションと連動し、地図上に「美味しい店Ａ」の位置情報が表示される形態で他の電子機器のディスプレイから出力されてもよい。このようなアプリケーションは、地図アプリケーションだけではなく、音声要請および／または応答情報に応じて、スケジュール管理のためのスケジュールアプリケーション、検索アプリケーション、翻訳アプリケーション、ゲームアプリケーション、メッセンジャーアプリケーション、ストアアプリケーションなどのような既存の多様なアプリケーションを含んでもよいことは、当業者であれば容易に理解することができるであろう。

本発明の実施形態に係る情報提供方法は、上述した電子機器によって実行されてよい。このとき、電子機器には、本発明の一実施形態に係るコンピュータプログラムがインストールおよび駆動されてよく、電子機器は、駆動するコンピュータプログラムの制御にしたがって本発明の一実施形態に係る情報提供方法を実行してよい。上述したコンピュータプログラムは、コンピュータで実現される電子機器と結合し、情報提供方法をコンピュータに実行させるためにコンピュータで読み取り可能な記録媒体に格納されてよい。

図１は、本発明の一実施形態における、音声基盤のインタフェースを活用したサービス環境の例を示した図である。図１の実施形態では、スマートホーム（ｓｍａｒｔ ｈｏｍｅ）やホームネットワークサービスのように宅内の機器を連結して制御する技術において、音声基盤インタフェース（一例として、マイクとスピーカ）を含む電子機器１００が、マイクに入力されたユーザ１１０の発話「電気を消して」１２１によって受信される音声要請を認識および分析し、「リビングの電気を消しましょうか？」１２２のような応答情報をスピーカから出力する例を示している。さらに、図１の実施形態では、応答情報に対応したユーザ１１０の発話「うん」１２３によって受信される音声要請を認識および分析し、電子機器１００と内部ネットワークを介して連動する宅内照明機器１３０のライト電源を制御する例を示している。

ここで、宅内の機器は、上述した宅内照明機器１３０の他にも、ＩＰＴＶ、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、周辺機器、エアコン、冷蔵庫、ロボット清掃機などのような家電製品はもちろん、水道、電気、冷暖房機器などのようなエネルギー消費装置、ドアロックや監視カメラなどのような保安機器などのように、オンライン上で連結して制御されることのできる多様な機器を含んでよい。また、内部ネットワークは、イーサネット（Ｅｔｈｅｒｎｅｔ）（登録商標）、ＨｏｍｅＰＮＡ、ＩＥＥＥ １３９４のような有線ネットワーク技術、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＵＷＢ（ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）、ジグビー（ＺｉｇＢｅｅ）（登録商標）、Ｗｉｒｅｌｅｓｓ １３９４、Ｈｏｍｅ ＲＦのような無線ネットワーク技術などが活用されてよい。

電子機器１００は、宅内の機器のうちの１つであってよい。例えば、電子機器１００は、宅内に備えられた人工知能スピーカやロボット清掃機などのような機器のうちの１つであってよい。また、電子機器１００は、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、携帯電話、ノート型パンコン、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレットＰＣなどのようなユーザ１１０のモバイル機器であってもよい。このように、電子機器１００は、ユーザ１１０の音声要請を受信し、宅内の機器を制御するために宅内の機器と連結可能な機能を備える機器であれば、特に制限されることはない。

応答情報は、図１の実施形態のように、基本的には音声基盤インタフェースに対応するメインメディア（一例として、スピーカ）から出力されてよいが、上述したように、本発明の実施形態では、応答情報が多様なメディアから出力されてよく、電子機器１００は、音声要請および／または応答情報に基づいて応答情報が出力されるメディアを決定してよい。例えば、図１は、ＩＰＴＶ１４０とユーザ１１０のモバイル機器１５０をさらに示している。この場合、応答情報は、ＩＰＴＶ１４０やモバイル機器１５０のディスプレイから視覚的にユーザ１１０に出力されてもよい。このとき、電子機器１００は、応答情報の出力のためのメディアを決定するだけではなく、聴覚的出力と視覚的出力の効率性に基づいて応答情報の出力のためのメディアを決定してよい。

図２は、本発明の一実施形態における、音声基盤のインタフェースを活用したサービス環境の例を示した図である。図２は、音声基盤インタフェースを含む電子機器１００がユーザ１１０の発話「今日の天気」２１０を認識および分析し、外部ネットワークを介して外部サーバ２２０から今日の天気に関する情報を取得し、取得した情報を「今日の天気は・・・」のように音声で合成して出力する例を示している。例えば、外部ネットワークは、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのようなネットワークのうちの１つ以上の任意のネットワークを含んでよい。

図２の実施形態でも、電子機器１００は、宅内の機器のうちの１つであるか、ユーザ１１０のモバイル機器のうちの１つであってよく、ユーザ１１０の音声要請を受信して処理するための機能と、外部ネットワークを介して外部サーバ２２０と通信して外部サーバ２２０が提供するサービスやコンテンツをユーザ１１０に提供するための機能を備える機器であれば、特に制限されることはない。このように、本発明の実施形態に係る電子機器１００は、音声基盤のインタフェースを利用してユーザ１１０の発話した音声要請を受信し処理することのできる機器であれば、特に制限されることはない。例えば、電子機器１００は、ユーザの音声要請を直接に認識および分析して音声要請を処理してもよいが、実施形態によっては、電子機器１００と連係する外部のプラットフォーム（一例として、上述したクラウド人工知能プラットフォーム）で音声要請を処理してもよい。

このとき、電子機器１００は、ユーザの音声要請に対応する応答情報を出力するためのメディアを、音声要請および／または応答情報に基づいて自動で決定してよい。図２では、電子機器１００が、「今日の天気は・・・」２３０のように応答情報を聴覚的に出力すると同時に、ＩＰＴＶ１４０のディスプレイにも視覚的に共に出力する例を示している。このために、電子機器１００は、応答情報の出力が可能な複数のメディアに関する情報を管理してよく、音声要請および／または応答情報に基づき、複数のメディアのうちから応答情報を出力するための少なくても１つのメディアを選択して応答情報を伝達してよい。

図３は、本発明の一実施形態における、クラウド人工知能プラットフォームの例を示した図である。図３は、電子機器３１０、クラウド人工知能プラットフォーム３２０、およびコンテンツ・サービス３３０を示している。

一例として、電子機器３１０は、宅内に備えられた機器を意味してよく、少なくとも上述したような電子機器１００を含んでよい。このような電子機器３１０や電子機器３１０にインストールおよび駆動されるアプリケーション（以下、アプリ）は、インタフェースコネクト３４０を介してクラウド人工知能プラットフォーム３２０と連係してよい。ここで、インタフェースコネクト３４０は、電子機器３１０や電子機器３１０にインストールおよび駆動されるアプリの開発のためのＳＤＫ（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ）および／または開発文書を開発者に提供してよい。また、インタフェースコネクト３４０は、電子機器３１０や電子機器３１０にインストールおよび駆動されるアプリが、クラウド人工知能プラットフォーム３２０が提供する機能を活用することのできるＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍ Ｉｎｔｅｒｆａｃｅ）を提供してよい。具体的な例として、開発者が、インタフェースコネクト３４０が提供するＳＤＫ（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ）および／または開発文書を利用して開発した機器やアプリは、インタフェースコネクト３４０が提供するＡＰＩを利用してクラウド人工知能プラットフォーム３２０が提供する機能を活用することが可能になる。

ここで、クラウド人工知能プラットフォーム３２０は、音声基盤のサービスを提供するための機能を提供してよい。例えば、クラウド人工知能プラットフォーム３２０は、受信した音声を認識し、出力する音声を合成するための音声処理モジュール３２１、受信した映像や動画を分析して処理するためのビジョン処理モジュール３２２、受信した音声にしたがって適した音声を出力するために適切な対話を決定するための対話処理モジュール３２３、受信した音声に適した機能を推薦するための推薦モジュール３２４、人工知能がデータ学習に基づいて文章単位で言語を翻訳するように支援するニューラル機械翻訳（Ｎｅｕｒａｌ Ｍａｃｈｉｎｅ Ｔｒａｎｓｌａｔｉｏｎ：ＮＭＴ）３２５などのように、音声基盤サービスを提供するための多様なモジュールを含んでよい。

例えば、図１および図２の実施形態において、電子機器１００が、ユーザ１１０の音声要請を、インタフェースコネクト３４０から提供されるＡＰＩを利用してクラウド人工知能プラットフォーム３２０に送信したとする。この場合、クラウド人工知能プラットフォーム３２０は、受信した音声要請を、上述したモジュール３２１〜３２５を活用して認識および分析してよく、受信した音声入力にしたがって適切な返答音声を合成して提供したり、適切な動作を推薦したりしてよい。

また、拡張キット３５０は、第３者コンテンツ開発者または会社が、クラウド人工知能プラットフォーム３２０を基盤として新たな音声基盤機能を実現することのできる開発キットを提供してよい。例えば、図２の実施形態において、電子機器１００は、受信したユーザ１１０の音声入力を外部サーバ２２０に送信し、外部サーバ２２０は、拡張キット３５０から提供されるＡＰＩに基づいてクラウド人工知能プラットフォーム３２０に音声入力を送信したとする。この場合、上述と同じように、クラウド人工知能プラットフォーム３２０は、受信した音声入力を認識および分析した後、適切な返答音声を合成して提供したり、音声入力によって処理されなければならない機能に関する推薦情報を外部サーバ２２０に提供したりしてよい。一例として、図２において、外部サーバ２２０は、音声要請「今日の天気」をクラウド人工知能プラットフォーム３２０に送信し、クラウド人工知能プラットフォーム３２０から、音声要請「今日の天気」の認識によって抽出されたキーワード「今日の」および「天気」を受信したとする。この場合、外部サーバ２２０は、キーワード「今日の」および「天気」に基づいて「今日の天気は・・・」のようなテキスト情報を生成し、クラウド人工知能プラットフォーム３２０に生成されたテキスト情報を再び送信してよい。このとき、クラウド人工知能プラットフォーム３２０は、テキスト情報を音声で合成して外部サーバ２２０に提供してよい。外部サーバ２２０は、合成された音声を電子機器１００に送信してよく、電子機器１００は、合成された音声「今日の天気は・・・」をスピーカから出力することにより、ユーザ１１０から受信された音声要請「今日の天気」が処理されてよい。

図４は、本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。図４の電子機器４１０は、上述した電子機器１００に対応してよく、サーバ４２０は、上述した外部サーバ２２０やクラウド人工知能プラットフォーム３２０を実現する１つのコンピュータ装置に対応してよい。

電子機器４１０とサーバ４２０は、メモリ４１１、４２１、プロセッサ４１２、４２２、通信モジュール４１３、４２３、および入力／出力インタフェース４１４、４２４を含んでよい。メモリ４１１、４２１は、コンピュータで読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永久大容量記憶装置（ｐｅｒｍａｎｅｎｔ ｍａｓｓ ｓｔｏｒａｇｅ ｄｅｖｉｃｅ）を含んでよい。ここで、ＲＯＭとディスクドライブのような永久大容量記憶装置は、メモリ４１１、４２１とは区分される別の永久記憶装置として電子機器４１０やサーバ４２０に含まれてもよい。また、メモリ４１１、４２１には、オペレーティングシステムと、少なくとも１つのプログラムコード（一例として、電気機器４１０にインストールされ、特定サービスの提供のために電子機器４１０で駆動するアプリケーションなどのためのコード）が格納されてよい。このようなソフトウェア構成要素は、メモリ４１１、４２１とは別のコンピュータで読み取り可能な記録媒体からロードされてよい。このような別のコンピュータで読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ−ＲＯＭドライブ、メモリカードなどのコンピュータで読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータで読み取り可能な記録媒体ではない通信モジュール４１３、４２３を通じてメモリ４１１、４２１にロードされてもよい。例えば、少なくとも１つのプログラムは、開発者またはアプリケーションのインストールファイルを配信するファイル配信システムがネットワーク４３０を介して提供するファイルによってインストールされるコンピュータプログラム（一例として、上述したアプリケーション）に基づいて電子機器４１０のメモリ４１１にロードされてよい。

プロセッサ４１２、４２２は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ４１１、４２１または通信モジュール４１３、４２３によって、プロセッサ４１２、４２２に提供されてよい。例えば、プロセッサ４１２、４２２は、メモリ４１１、４２１のような記録装置に格納されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。

通信モジュール４１３、４２３は、ネットワーク４３０を介して電子機器４１０とサーバ４２０とが互いに通信するための機能を提供してもよいし、電子機器４１０および／またはサーバ４２０が他の電子機器または他のサーバと通信するための機能を提供してもよい。一例として、電子機器４１０のプロセッサ４１２がメモリ４１１のような記録装置に格納されたプログラムコードにしたがって生成した要求が、通信モジュール４１３の制御にしたがってネットワーク４３０を介してサーバ４２０に伝達されてよい。これとは逆に、サーバ４２０のプロセッサ４２２の制御にしたがって提供される制御信号や命令、コンテンツ、ファイルなどが、通信モジュール４２３とネットワーク４３０を経て電子機器４１０の通信モジュール４１３を通じて電子機器４１０に受信されてもよい。例えば、通信モジュール４１３を通じて受信したサーバ４２０の制御信号や命令、コンテンツ、ファイルなどは、プロセッサ４１２やメモリ４１１に伝達されてよく、コンテンツやファイルなどは、電子機器４１０がさらに含むことのできる格納媒体（上述した永久記憶装置）に格納されてよい。

入力／出力インタフェース４１４は、入力／出力装置４１５とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、またはマウスなどの装置を、出力装置は、ディスプレイ、スピーカのような装置を含んでよい。他の例として、入力／出力インタフェース４１４は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置４１５は、電子機器４１０と１つの装置で構成されてもよい。また、サーバ４２０の入力／出力インタフェース４２４は、サーバ４２０と連結するか、サーバ４２０が含むことのできる入力または出力のための装置（図示せず）とのインタフェースのための手段であってもよい。

また、他の実施形態において、電子機器４１０およびサーバ４２０は、図４の構成要素よりも少ないか多い構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、電子機器４１０は、上述した入力／出力装置４１５のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。より具体的な例として、電子機器４１０がスマートフォンである場合、一般的にスマートフォンが含んでいる加速度センサやジャイロセンサ、カメラモジュール、物理的な各種ボタン、タッチパネルを利用したボタン、入力／出力ポート、振動のための振動器などのような多様な構成要素が電子機器４１０にさらに含まれるように実現されてよい。

本実施形態において、電子機器４１０は、ユーザの音声要請を受信するためのマイクおよび／または応答情報を聴覚的に出力するためのスピーカを入力／出力装置４１５として基本的に含んでよい。

図５は、本発明の一実施形態における、情報提供方法の例を示したフローチャートである。本発明の実施形態に係る情報提供方法は、上述した電子機器４１０のようなコンピュータ装置によって実行されてよい。このとき、電子機器４１０のプロセッサ４１２は、メモリ４１１が含むオペレーティングシステムのコードや、少なくとも１つのプログラムのコードによる制御命令を実行するように実現されてよい。ここで、プロセッサ４１２は、電子機器４１０に格納されたコードが提供する制御命令にしたがって電子機器４１０が図５の情報提供方法の含む段階５１０〜５５０を実行するように電子機器４１０を制御してよい。

段階５１０で、電子機器４１０は、音声基盤インタフェースに対応するメインメディアおよび電子機器４１０と連動して視覚的出力が可能な他の電子機器が含むサブメディアを含む複数のメディアに関する情報を管理してよい。このとき、電子機器４１０は、電子機器と連動して視覚的出力が可能な複数の互いに異なる電子機器が含む複数の互いに異なるサブメディアに関する情報を管理してよい。サブメディアは、一例として、他の電子機器のディスプレイや他の電子機器にインストールされたアプリケーションに対応してよい。一例として、電子機器４１０は、電子機器Ａのディスプレイ、電子機器Ａにインストールされた地図アプリケーション、電子機器Ａにインストールされたスケジュールアプリケーション、電子機器Ｂのディスプレイ、電子機器Ｂにインストールされた検索アプリケーションなどのように宅内電子機器のうちでも視覚的出力が可能な電子機器に関する情報と、該当の電子機器が含むアプリケーションをそれぞれのサブメディアとして設定し、該当のサブメディアに関する情報を管理してよい。また、電子機器４１０は、電子機器４１０が含む音声基盤インタフェースに対応するメインメディアに関する情報も共に管理してよい。

段階５２０で、電子機器４１０は、音声基盤インタフェースでユーザからの音声要請を受信してよい。例えば、電子機器４１０は、電子機器４１０が含むマイクまたは電子機器４１０と連動するマイクのような音声入力装置で、ユーザの発話による音声要請を受信してよい。

段階５３０で、電子機器４１０は、音声要請に対応する応答情報を取得してよい。このとき、電子機器４１０は、音声要請を直接に認識および分析して音声要請に対応する応答情報を生成してもよいが、実施形態によっては、上述したクラウド人工知能プラットフォーム３２０のような外部プラットフォームから応答情報を取得してもよい。例えば、電子機器４１０は、受信した音声要請を外部プラットフォームに送信したとする。このとき、外部プラットフォームは、受信した音声要請を認識および分析して適切な応答情報を生成してよく、生成された応答情報を電子機器４１０に送信してよい。

応答情報とは、音声要請に対する返答であって、ユーザの意図を確認するための情報や、ユーザの意図に適した動作の処理を知らせるための情報、および／またはユーザの意図に基づいて検索された検索結果などのように多様な情報を含んでよい。例えば、「音楽Ａをかけて」のようなユーザの音声要請に対する応答情報は、「音楽Ａをかけます」のような動作の処理を知らせるための情報と共に、コンテンツ「音楽Ａ」のオーディオ出力もさらに含んでよい。

段階５４０で、電子機器４１０は、音声要請および応答情報のうちの少なくとも１つに基づき、複数のメディアのうちから応答情報の出力のための少なくとも１つのメディアを決定してよい。言い換えれば、本発明の実施形態では、応答情報の出力のためのメディアが予め設定されているのではなく、音声要請および／または応答情報に基づいて多様なメディアのうちから選択されてよい。例えば、ユーザの発話によって認識される音声要請に基づき、応答情報を音声で合成して聴覚的に出力するだけではなく、その類型に応じて、聴覚的出力のためのメディア、視覚的出力のためのメディア、または視聴覚的出力のためのメディアなどを選択し、選択されたメディアから応答情報を出力してよい。このようなメディアの選択は、音声要請および／または応答情報から把握される聴覚的出力および視覚的出力の効率性を基盤としてよい。

段階５５０で、電子機器４１０は、決定された少なくとも１つのメディアから応答情報が出力されるように、応答情報を決定された少なくとも１つのメディアに伝達してよい。このように、本発明の実施形態によると、応答情報が視覚的に伝達される方が効率的なときには視覚的出力が可能なメディアを、応答情報が聴覚的に伝達される方が効率的なときには聴覚的出力が可能なメディアを選択するといったように、選択的なメディアの選択によって応答情報をユーザに提供することが可能となる。

図６は、本発明の一実施形態における、メディアに関する情報の例を示した図である。図６の表６００は、電子機器４１０と連動する電子機器を識別するための機器項目６１０、他の電子機器の宅内位置を識別するための位置項目６２０、他の電子機器が含むサブメディアを識別するための出力メディア項目６３０、サブメディアに関する情報を含む詳細項目６４０、およびサブメディアがどのような情報類型と関連するかを識別するための情報類型項目６５０を含む例を示している。電子機器４１０は、表６００に示すように、宅内で連動される他の電子機器に関する情報と共に、該当となる他の電子機器の出力メディアに関する情報を管理してよい。また、このような情報は、音声要請および／または応答情報の情報類型と予め連結されてよい。例えば、ユーザの音声要請や対応する応答情報が「場所」と関連する情報類型として分析される場合、電子機器４１０は、表６００に基づき、電子機器Ａの地図アプリケーションを応答情報の出力のためのメディアとして決定してよい。この場合、応答情報は、電子機器Ａに伝達されてよく、電子機器Ａは、電子機器Ａの地図アプリケーションから応答情報に対応する地図サービスをユーザに提供してよい。他の例として、応答情報は、地図アプリケーションに地図サービスを提供するサービスサーバに伝達されてよい。この場合、サービスサーバは、電子機器Ａにインストールされた地図アプリケーションで地図サービスを提供するようになる。このために、電子機器４１０は、サービスサーバにアクセスするための情報およびサービスサーバがユーザの電子機器Ａを識別することができるようなユーザのアカウントなどのような情報をさらに管理してもよい。例えば、電子機器４１０は、表６００で地図アプリケーションと関連付けてさらに格納するＵＲＬを利用してサービスサーバにアクセスしてよく、ユーザのアカウントと共に応答情報を伝達することにより、サービスサーバがユーザのアカウントに基づいて電子機器Ａにインストールされた地図アプリケーションで応答情報と関連する地図サービスを提供できるようにしてよい。

図７は、本発明の一実施形態における、メディアを決定する方法の例を示したフローチャートである。図７の段階７１０および７２０は、図５の段階５４０に含まれて実行されてよい。

段階７１０で、電子機器４１０は、音声要請の類型および応答情報の類型のうちの少なくとも１つの情報類型を分析してよい。例えば、音声要請の類型は、音声要請の主題（一例として、位置、場所、交通、検索、歌手、映画など）に基づいて分類されてよく、応答情報の類型は、応答情報が含むコンテンツの表現形式（一例として、テキスト、イメージ、動画、フラッシュ（ｆｌａｓｈ）など）に基づいて分類されてよい。

段階７２０で、電子機器４１０は、分析された情報類型に基づき、複数のメディアのうちの少なくとも１つのメディアを、応答情報を出力するためのメディアとして選択してよい。例えば、「場所」に対する音声要請に対応し、テキスト、イメージ、および座標（または住所）を含むウェプページが応答情報として取得された場合が考慮される。この場合、電子機器４１０は、テキストを音声で合成して出力するためのメインメディア、イメージを視覚的に出力するためのディスプレイに対応する第１サブメディア、および座標（または住所）を利用して地図サービスを提供するためのアプリケーションに対応する第２サブメディアの３つのメディアを選択し、３つのメディアそれぞれに取得した応答情報を伝達してよい。実施形態によっては、電子機器４１０は、応答情報をそれぞれのメディアで活用することのできる情報に加工してから伝達してよい。例えば、電子機器４１０は、応答情報として取得したウェプページから座標（または住所）を抽出し、抽出された座標（または住所）を含む地図サービスの要請を応答情報として地図アプリケーションに対応する第２サブメディアに送信してよい。

また、上述した例を参照しながら説明したように、決定された少なくとも１つのメディアは、他の電子機器のディスプレイに対応するサブメディアを含んでよい。この場合、電子機器４１０は、段階５５０で、応答情報が含む視覚情報が他の電子機器のディスプレイから出力されるように、視覚情報を他の電子機器に送信してよい。例えば、電子機器４１０は、ウェプページの例において、ウェプページが含むイメージや動画を他の電子機器に送信してよい。また、電子機器４１０は、ウェプページ自体を他の電子機器に送信してもよい。

また、決定された少なくとも１つのメディアは、他の電子機器にインストールされたアプリケーションに対応するサブメディアを含んでもよい。この場合、電子機器４１０は、段階５５０で、応答情報がアプリケーションで提供されるサービスと連係して他の電子機器から提供されるように、応答情報を他の電子機器またはアプリケーションを経てサービスを提供するサービスサーバに送信してもよい。このような実施形態については、上述で詳しく説明したとおりである。

また、上述したように、応答情報を重複的または分散的に出力するために複数のメディアが選択されてもよい。例えば、電子機器４１０は、段階５５０で、応答情報が聴覚的に出力されるように音声基盤インタフェースに対応するメインメディアに応答情報を送信し、応答情報が視覚的にさらに出力されるように他の電子機器に対応する第１サブメディアおよび他の電子機器にインストールされたアプリケーションに対応する第２サブメディアのうちの１つのサブメディアに応答情報をさらに送信してよい。上述したように、応答情報は、それぞれのメディアに適するように加工されてから分散して提供されてもよい。図２の実施形態では、「今日の天気は・・・」２３０のように電子機器１００のスピーカから聴覚的情報を出力し、ＩＰＴＶ１４０から視覚的情報をさらに出力する例について説明した。

一方、本発明の一実施形態に係る電子機器４１０は、応答情報の他に、応答情報と関連する追加情報をさらに提供してもよい。このために、電子機器４１０は、段階５３０で、あるいは段階５３０の後に、応答情報と関連する追加情報を取得してよい。一例として、電子機器４１０は、応答情報はメインメディアから聴覚的に出力し、追加情報は視覚的に出力されるように、他の電子機器に対応する第１サブメディアおよび他の電子機器にインストールされたアプリケーションに対応する第２サブメディアのうちの１つのサブメディアに追加情報をさらに送信してよい。実施形態によっては、電子機器４１０は、応答情報の類型に応じて応答情報を出力するためのメディアを選択して伝達し、追加情報の類型に応じて追加情報を出力するためのメディアを別に選択して伝達してもよい。例えば、ユーザが映画情報を音声で要請した場合、電子機器４１０は、該当の映画に関するテキスト情報を音声で合成してメインメディアから聴覚的に出力し、上映スケジュールや予約リンクのような追加情報を他の電子機器のディスプレイのような視覚情報伝達メディアから視覚的に出力してよい。他の例として、ユーザが歌手情報を音声で要請した場合、電子機器４１０は、該当の歌手に関するテキスト情報を音声で合成してメインメディアから聴覚的に出力し、コンサート情報やコンサートチケットの前売りリンク、または新たに発売されたアルバムに関する情報やアルバム購入サイトリンクを他の電子機器のディスプレイのような視覚情報伝達メディアから視覚的に出力してよい。

実施形態によっては、音声要請に対する複数の応答結果が存在する場合、音声要請に対して最も関連性の高い応答情報を音声で合成してメインメディアから聴覚的に出力し、応答情報の全体リストを他の電子機器のディスプレイのような視覚情報伝達メディアから視覚的に出力してもよい。この場合、音声要請に対して最も関連性の高い応答情報を除いた残りの応答情報が追加情報となってよい。

応答情報や追加情報は広告をさらに含んでよく、広告だけが別途で他のメディアから出力されてもよい。例えば、応答情報はメインメディアから聴覚的に出力され、広告はサブメディアから視覚的に出力される状況が考えられる。

一方、ユーザの位置と他の電子機器との位置間に基づいてメディアが決定されてもよい。

図８は、本発明の一実施形態における、ユーザの位置によってメディアを決定する例を示した図である。上述した図２では、聴覚的情報を電子機器１００から出力すると同時に、視覚的情報をＩＰＴＶ１４０から出力する例について説明した。一方、図６を参照しながら説明したように、視覚的情報の出力が可能な多様な電子機器が存在することもある。図８では、視覚的情報の出力が可能なＩＰＴＶ１４０とモバイル機器１５０のうち、ユーザ１１０からより近くに位置するモバイル機器１５０のメディアを選択する例を示している。

例えば、電子機器１００は、複数のメディアに対応して電子機器１００と連動する、複数の互いに異なる電子機器の位置を管理してよい。図６の表６００は、それぞれの電子機器の位置が管理される例について説明している。このとき、宅内の電子機器の位置は、多様な方式によって設定されてよい。例えば、このような位置は、ユーザ１１０や管理者によって電子機器１００に入力および設定されてもよく、電子機器１００が他の電子機器と通信するために送受信する信号の強度などのような周知の位置測位技術を活用して測定されてもよい。特に、モバイル機器１５０の場合には、その位置が位置測位を活用して動的に測定されるようになる。このとき、電子機器１００は、ユーザ１１０の位置と複数の他の電子機器の位置に基づいて測定される、ユーザ１１０と複数の他の電子機器との距離間をさらに利用して少なくとも１つのメディアを決定してよい。このとき、ユーザ１１０の位置は、ユーザ１１０の発話を基盤として測定されてよい。例えば、電子機器１００は、音声基盤のインタフェースが含む複数のマイクに入力された音声入力の位相変化（ｐｈａｓｅ ｓｈｉｆｔ）を基盤として音声入力と関連する位置情報を生成してよく、生成された位置情報をユーザ１１０の位置として決定してよい。複数のマイクに入力される同じ音信号の位相差を利用して音信号の発生位置を測定する技術は、ビームフォーミング技術のような周知技術の適用が可能であることは、当業者であれば容易に理解することができるであろう。この場合、電子機器１００は、ユーザ１１０の位置と他の電子機器の位置に基づき、ユーザ１１０から最も近くに位置する他の電子機器に応答情報を伝達してよい。例えば、図８の実施形態では、視覚的出力が可能なＩＰＴＶ１４０とモバイル機器１５０のうち、ユーザ１１０から最も近い位置に存在するモバイル機器１５０に応答情報が伝達される様子を示している。

一方、複数のユーザが存在する実施形態も考えられる。

図９は、本発明の一実施形態における、複数のユーザに情報を提供する例を示した図である。１つの空間内に複数のユーザ９１０および９２０が存在している場合が考えられる。このとき、電子機器１００は、周辺に位置する複数のユーザ９１０および９２０を認識してよい。ユーザの認識は、ユーザの音声を基盤として識別されてよい。このとき、電子機器１００は、複数のユーザのうちの少なくとも１人のユーザによって識別されるジェスチャートリガ、または複数のユーザそれぞれに対して予め設定された主題別の選好度に基づいて複数のユーザのうちから少なくとも１人のユーザを選定してよく、選定された少なくとも１人のユーザと連係するメディアを応答情報の出力のためのメディアとして選択してよい。

例えば、図９は、第１ユーザ９１０の発話「歌手Ａ」９３０に対応し、電子機器１００が「歌手Ａ」に関する情報「歌手Ａは・・・」をメインメディアで聴覚的に提供する例を示している。このとき、電子機器１００は、「歌手Ａ」に関する追加情報（一例として、コンサートのスケジュールおよびコンサートチケットの前売りリンク）をさらに取得してよく、このような追加情報を出力するための追加メディアをさらに選択してよい。この場合、電子機器１００は、複数のユーザ９１０および９２０のうちで特定のジェスチャーを示したユーザ、または「歌手Ａ」に対して特定の選好度をもっているユーザを選択してよい。図９では、第１ユーザ９１０が発話したにもかかわらず、第２ユーザ９２０と連係するメディア（モバイル機器９５０および９６０のうち、第２ユーザ９２０と連係するモバイル機器９６０が含むメディア）に追加情報が提供される例を示している。

ジェスチャートリガとは、手を上げるなどの行為のように予め設定されたジェスチャーを意味してよい。例えば、電子機器１００は、カメラに入力されるイメージを分析することにより、予め設定されたジェスチャーを示したユーザを選択してよい。他の例として、電子機器１００は、モバイル機器９６０を握っている方の手を上げる行為を、モバイル機器９６０から受信されるセンサの出力値を基盤として認識し、第２ユーザ９２０を選択してもよい。

一方、主題別の選好度は、応答情報と関連する主題に対するユーザの選好度を含んでよい。このために、電子機器１００は、主題別の選好度に関する情報をユーザ別に管理してよい。このような選好度情報は、ユーザが送受信するインスタントメッセージや、ＳＮＳにアップロードする情報、ユーザが好むチャンネルや放送プログラムなどのような既存の情報を分析して予め設定されてよい。例えば、「歌手Ａ」に対する音声要請が第１ユーザ９１０によってなされたが、第２ユーザ９２０が「歌手Ａ」に対して高い選好度をもつ場合、追加情報は、第２ユーザ９２０のモバイル機器９６０に伝達されるようになる。

図１０は、本発明の一実施形態における、応答情報の取得方法の例を示したフローチャートである。図１０の段階１０１０〜１０３０は、図５を参照しながら説明した段階５３０に含まれて実行されてよい。

段階１０１０で、電子機器４１０は、音声要請を電子機器とインタフェースコネクトを介して連結するクラウド人工知能プラットフォームに送信してよい。ここで、クラウド人工知能プラットフォームとインタフェースコネクトは、図３を参照しながら説明したクラウド人工知能プラットフォーム３２０およびインタフェースコンテンツ３４０にそれぞれ対応してよい。

段階１０２０で、電子機器４１０は、クラウド人工知能プラットフォームで音声要請を分析して生成されたクエリまたはクエリに対応する応答情報を受信してよい。応答情報を受信する場合、電子機器４１０は、受信した応答情報を利用して段階５４０を実行してよい。これに対し、クエリを受信する場合、電子機器４１０は、段階１０３０を実行してよい。

段階１０３０で、電子機器４１０は、クエリが受信された場合、ネットワークを介してクエリに対応する応答情報を収集してよい。この後、電子機器４１０は、収集された応答情報を利用して段階５４０を実行してよい。

以上のように、本発明の実施形態によると、人工知能スピーカのような電子機器が含む音声基盤インタフェースに対応するメインメディアだけではなく、電子機器と連動する他の電子機器が含むサブメディア（一例として、スマートフォン、ＩＰＴＶ、スマート冷蔵庫などが含むディスプレイ）のような複数のメディアに関する情報を管理し、音声基盤インタフェースに受信された音声要請とこのような音声要請に対応する応答情報のうちの少なくとも１つに基づき、複数のメディアのうちから応答情報の出力のためのメディアを自動で選択して応答情報を出力することができる。また、応答情報を聴覚的および／または視覚的に出力するだけではなく、選択されたメディアが提供するサービス（一例として、スマートフォンにインストールされたアプリケーションで提供するサービス）と連係するか、または応答情報および応答情報と関連する追加情報を互いに異なるメディアで提供することにより、情報の提供以後に発生し得る後続行動に容易に連結させることができる。さらに、応答情報をサブメディアに提供する場合にも、複数のサブメディアのうちのどのサブメディアに応答情報を提供したらよいかを効率的に決定することができる。

上述したシステムまたは装置は、ハードウェア構成要素、ソフトウェア構成要素、またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）および前記ＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを格納、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ格納媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で格納されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータで読み取り可能な記録媒体に格納されてよい。

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータで読み取り可能な媒体に記録されてよい。前記コンピュータで読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでよい。媒体は、コンピュータによって実行可能なプログラムを継続して格納するものであっても、実行またはダウンロードのために臨時で格納するものであってもよい。また、媒体は、単一または複数個のハードウェアが結合した形態の多様な記録手段または格納手段であってよいが、あるコンピュータシステムに直接接続する媒体に限定されてはならず、ネットワーク上に分散存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含んでプログラム命令語が格納されるように構成されたものであってよい。また、他の媒体の例として、アプリケーションを流通するアプリストアやその他の多様なソフトウェアを供給ないし流通するサイト、サーバなどで管理する記録媒体ないし格納媒体が挙げられてもよい。プログラム命令の例には、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。

以上のように、実施形態を、限定された実施形態と図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

本発明の実施形態は、更に以下の課題を解決する。

応答情報を聴覚的および／または視覚的に出力するだけでなく、選択されたメディアが提供するサービス（一例として、スマートフォンにインストールされたアプリケーションが提供するサービス）と連係するか、または応答情報および応答情報と関連する追加情報を互いに異なるメディアから提供することにより、情報の提供後に発生し得る後続行動に容易に連結させることができる情報提供方法と情報提供システム、および情報提供方法をコンピュータに実行させるコンピュータプログラムとその記録媒体を提供する。

応答情報をサブメディアから提供する場合にも、複数のサブメディアのうちのどのサブメディアから応答情報を提供したらよいかを効率的に決定することができる情報提供方法と情報提供システム、および情報提供方法をコンピュータに実行させるコンピュータプログラムとその記録媒体を提供する。

本発明の実施形態は、更に以下の効果を達成する。

応答情報を聴覚的および／または視覚的に出力するだけでなく、選択されたメディアが提供するサービス（一例として、スマートフォンにインストールされたアプリケーションが提供するサービス）と連係するか、または応答情報および応答情報と関連する追加情報を互いに異なるメディアから提供することにより、情報の提供以後に発生し得る後続行動に容易に連結させることができる。

応答情報をサブメディアから提供する場合にも、複数のサブメディアのうちのどのサブメディアから応答情報を提供したらよいかを効率的に決定することができる。

１００：電子機器
１１０：ユーザ
１４０：ＩＰＴＶ
１５０：モバイル機器
２２０：外部サーバ

Claims (20)

1. 音声基盤インタフェースを含む電子機器の情報提供方法であって、
   前記音声基盤インタフェースに対応するメインメディアおよび前記電子機器と連動して視覚的出力が可能な他の電子機器が含むサブメディアを含む複数のメディアに関する情報を管理する段階、
   前記音声基盤インタフェースでユーザからの音声要請を受信する段階、
   前記音声要請に対応する応答情報を取得する段階、
   前記音声要請の主題に基づいて分類される前記音声要請の情報類型を分析し、前記分析された情報類型に応じ、前記複数のメディアのうちから前記応答情報の出力のための少なくとも１つのメディアを決定する段階であって、前記決定された少なくとも１つのメディアは、前記他の電子機器にインストールされたアプリケーションに対応するサブメディアを含む、段階、および
   前記決定された少なくとも１つのメディアから前記応答情報が出力されるように、前記応答情報を前記決定された少なくとも１つのメディアに伝達する段階
   を含み、
   前記応答情報の出力のための少なくとも１つのメディアを決定する段階は、
   前記電子機器の周辺に位置する複数のユーザを認識する段階、
   前記複数のユーザそれぞれに対して予め設定された主題別の選好度に基づき、前記複数のユーザのうちから少なくとも１人のユーザを選定する段階、および
   前記選定された少なくとも１人のユーザと連係するメディアを前記応答情報の出力のためのメディアとして選択する段階、
   を含むことを特徴とする、情報提供方法。
2. 前記応答情報の出力のための少なくとも１つのメディアを決定する段階は、
   前記応答情報の情報類型をさらに分析する段階、および
   前記分析された応答情報の情報類型にさらに基づき、前記複数のメディアのうちの少なくとも１つのメディアを、前記応答情報を出力するためのメディアとして選択する段階
   を含むことを特徴とする、請求項１に記載の情報提供方法。
3. 前記応答情報の情報類型は、前記応答情報が含むコンテンツの表現形式に基づいて分類されることを特徴とする、請求項２に記載の情報提供方法。
4. 前記応答情報を前記決定された少なくとも１つのメディアに伝達する段階は、
   前記応答情報を伝達しようとするメディアに応じて前記応答情報を加工してから該当のメディアに送信することを特徴とする、請求項１に記載の情報提供方法。
5. 前記決定された少なくとも１つのメディアは、前記他の電子機器のディスプレイに対応するサブメディアを含み、
   前記応答情報を前記決定された少なくとも１つのメディアに伝達する段階は、
   前記応答情報に含まれる視覚情報が前記他の電子機器のディスプレイから出力されるように、前記視覚情報を前記他の電子機器に送信することを特徴とする、請求項１に記載の情報提供方法。
6. 前記応答情報を前記決定された少なくとも１つのメディアに伝達する段階は、
   前記応答情報が前記アプリケーションを経て提供されるサービスと連係して前記他の電子機器から提供されるように、前記応答情報を、前記他の電子機器または前記アプリケーションを経てサービスを提供するサービスサーバに送信することを特徴とする、請求項１に記載の情報提供方法。
7. 前記応答情報を前記決定された少なくとも１つのメディアに伝達する段階は、
   前記応答情報が聴覚的に出力されるように、前記音声基盤インタフェースに対応するメインメディアに前記応答情報を送信する段階、および
   前記応答情報が視覚的にさらに出力されるように、前記他の電子機器に対応する第１サブメディアおよび前記他の電子機器にインストールされたアプリケーションに対応する第２サブメディアのうちの１つのサブメディアに前記応答情報をさらに送信する段階
   を含むことを特徴とする、請求項１に記載の情報提供方法。
8. 前記応答情報と関連する追加情報を取得する段階
   をさらに含み、
   前記応答情報を前記決定された少なくとも１つのメディアに伝達する段階は、
   前記応答情報が聴覚的に出力されるように、前記音声基盤インタフェースに対応するメインメディアに前記応答情報を送信する段階、および
   前記追加情報が視覚的に出力されるように、前記他の電子機器に対応する第１サブメディアおよび前記他の電子機器にインストールされたアプリケーションに対応する第２サブメディアのうちの１つのサブメディアに前記追加情報をさらに送信する段階
   を含むことを特徴とする、請求項１に記載の情報提供方法。
9. 前記複数のメディアに対応し、前記電子機器と連動する複数の互いに異なる電子機器の位置を管理する段階、および
   前記ユーザの位置を取得する段階
   をさらに含み、
   前記応答情報の出力のための少なくとも１つのメディアを決定する段階は、
   前記ユーザの位置と前記複数の他の電子機器の位置に基づいて測定される前記ユーザと前記複数の他の電子機器との距離間をさらに利用して前記少なくとも１つのメディアを決定することを特徴とする、請求項１に記載の情報提供方法。
10. 前記応答情報の出力のための少なくとも１つのメディアを決定する段階は、
    前記複数のユーザのうちの少なくとも１人のユーザによって識別されるジェスチャートリガにさらに基づき、前記複数のユーザのうちから少なくとも１人のユーザを選定する段階、
    を含むことを特徴とする、請求項１に記載の情報提供方法。
11. 前記音声要請に対応する応答情報を取得する段階は、
    前記音声要請を前記電子機器とインタフェースコネクトを介して連結するクラウド人工知能プラットフォームに送信する段階、
    前記クラウド人工知能プラットフォームで前記音声要請を分析して生成されたクエリまたは前記クエリに対応する応答情報を受信する段階、および
    前記クエリが受信された場合、ネットワークを介して前記クエリに対応する応答情報を収集する段階
    を含むことを特徴とする、請求項１に記載の情報提供方法。
12. 請求項１〜１０のうちのいずれか一項に記載の方法をコンピュータに実行させるコンピュータプログラム。
13. 請求項１〜１１のうちのいずれか一項に記載の方法をコンピュータに実行させるコンピュータプログラムが記録されていることを特徴とする、コンピュータで読み取り可能な記録媒体。
14. 電子機器であって、
    音声基盤インタフェース、および
    コンピュータで読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサ
    を含み、
    前記少なくとも１つのプロセッサは、
    前記音声基盤インタフェースに対応するメインメディアおよび前記電子機器と連動して視覚的出力が可能な他の電子機器が含むサブメディアを含む複数のメディアに関する情報を管理し、
    前記音声基盤インタフェースでユーザからの音声要請を受信し、
    前記音声要請に対応する応答情報を取得し、
    前記音声要請の主題に基づいて分類される前記音声要請の情報類型を分析し、前記分析された情報類型に応じ、前記複数のメディアのうちから前記応答情報の出力のための少なくとも１つのメディアを決定し、前記決定された少なくとも１つのメディアは、前記他の電子機器にインストールされたアプリケーションに対応するサブメディアを含み、
    前記決定された少なくとも１つのメディアから前記応答情報が出力されるように、前記応答情報を前記決定された少なくとも１つのメディアに伝達し、
    前記応答情報の出力のための少なくとも１つのメディアを決定することは、
    前記電子機器の周辺に位置する複数のユーザを認識し、
    前記複数のユーザそれぞれに対して予め設定された主題別の選好度に基づき、前記複数のユーザのうちから少なくとも１人のユーザを選定し、および
    前記選定された少なくとも１人のユーザと連係するメディアを前記応答情報の出力のためのメディアとして選択する、 ことを特徴とする、電子機器。
15. 前記少なくとも１つのプロセッサは、
    前記応答情報の出力のための少なくとも１つのメディアを決定するために、
    前記応答情報の情報類型をさらに分析し、
    前記分析された応答情報の情報類型さらに基づき、前記複数のメディアのうちの少なくとも１つのメディアを、前記応答情報を出力するためのメディアとして選択すること
    を特徴とする、請求項１４に記載の電子機器。
16. 前記応答情報の情報類型は、前記応答情報が含むコンテンツの表現形式に基づいて分類されることを特徴とする、請求項１５に記載の電子機器。
17. 前記少なくとも１つのプロセッサは、
    前記応答情報を前記決定された少なくとも１つのメディアに伝達するために、前記応答情報を伝達しようとするメディアに応じて前記応答情報を加工してから該当のメディアに送信すること
    を特徴とする、請求項１４に記載の電子機器。
18. 前記決定された少なくとも１つのメディアは、前記他の電子機器のディスプレイに対応するサブメディアを含み、
    前記少なくとも１つのプロセッサは、
    前記応答情報を前記決定された少なくとも１つのメディアに伝達するために、前記応答情報に含まれる視覚情報が前記他の電子機器のディスプレイから出力されるように、前記視覚情報を前記他の電子機器に送信すること
    を特徴とする、請求項１４に記載の電子機器。
19. 前記少なくとも１つのプロセッサは、
    前記応答情報を前記決定された少なくとも１つのメディアに伝達するために、前記応答情報が前記アプリケーションを経て提供されるサービスと連係して前記他の電子機器から提供されるように、前記応答情報を、前記他の電子機器または前記アプリケーションを経てサービスを提供するサービスサーバに送信すること
    を特徴とする、請求項１４に記載の電子機器。
20. 前記少なくとも１つのプロセッサは、
    前記応答情報を前記決定された少なくとも１つのメディアに伝達するために、
    前記応答情報が聴覚的に出力されるように、前記音声基盤インタフェースに対応するメインメディアに前記応答情報を送信し、
    前記応答情報が視覚的にさらに出力されるように、前記他の電子機器に対応する第１サブメディアおよび前記他の電子機器にインストールされたアプリケーションに対応する第２サブメディアのうちの１つのサブメディアに前記応答情報をさらに送信すること
    を特徴とする、請求項１４に記載の電子機器。