JP7294337B2 - 情報処理装置及び情報処理方法、並びに情報処理システム - Google Patents

Description

本明細書で開示する技術は、音声をベースとするエージェントの対話を処理する情報処理装置及び情報処理方法、並びに情報処理システムに関する。

最近、音声などを用いてユーザと対話を行いながら、用途や状況に応じて種々の情報をユーザに提示するエージェントが普及し始めている。例えば、照明やエアコンなどの家電機器のオンオフや調整操作を代行する他、天気予報や株・為替情報、ニュースについて聞かれると音声で回答したり、商品の注文を受け付けたり、購入した書籍の内容を読み上げたりするエージェントが知られている。

エージェント機能は、一般に、家庭内などでユーザの周囲に設置されるエージェントデバイスと、クラウド上に構築されるエージェントサービスの連携により提供される（例えば、特許文献１を参照のこと）。例えば、エージェントデバイスは、ユーザが発話する音声を受け付ける音声入力、並びにユーザからの問い合せに対して音声で回答する音声出力といったユーザインターフェースを主に提供する。一方のエージェントサービス側では、エージェントデバイスで入力された音声の認識や意味解析、ユーザの問い合わせに応じた情報検索などの処理、処理結果に基づく音声合成など、負荷の高い処理を実行する。

また、ユーザと直接対話を行うエージェントデバイスは、専用の装置である他、屋内に設置されたテレビ受像機、エアコン、録画機、洗濯機などの各種ＣＥ機器やＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇ）デバイス、スマートフォンやタブレットなどの持ち運びが可能な情報端末、対話型ロボット、車内に設置されたカーナビなど、エージェント用アプリケーションが組み込まれている各種情報機器であってもよい（例えば、特許文献２を参照のこと）。

特表２０１７－５２７８４４号公報 ＷＯ２０１４／２０３４９５ 特開２００７－１４３０１０号公報 特開２０１６－１００６１３号公報

本明細書で開示する技術の目的は、音声をベースとするエージェントの対話を処理する情報処理装置及び情報処理方法、並びに情報処理システムを提供することにある。

本明細書で開示する技術の第１の側面は、
ユーザとのインタラクションを通じて再生されるエージェント機器の音声情報と、前記音声情報とは異なる他のコンテンツの音声情報とを取得する取得部と、
前記取得部によって取得された前記エージェント機器の音声情報に基づく音声出力信号に対して音場制御処理を行う制御部と、
を具備する情報処理装置である。

前記取得部は、前記エージェント機器上で再生中のコンテンツに連携したアプリケーションとのインタラクションを通じて、前記再生中のコンテンツに関連する前記情報を取得する。

また、前記制御部は、複数のスピーカーからの出力音声を波面合成して、前記エージェント機器の音場を制御して、エージェント機器の音声情報と、前記音声情報とは異なる他のコンテンツの音声情報との混じり合いを回避して、適切な場所に音像を定位する。

また、本明細書で開示する技術の第２の側面は、
ユーザとのインタラクションを通じて再生されるエージェント機器の音声情報と、前記音声情報とは異なる他のコンテンツの音声情報を取得する取得ステップと、
前記取得部によって取得された前記エージェント機器の音声情報に基づく音声出力信号に対して音場制御処理を行う制御ステップと、
を有する情報処理方法である。

また、本明細書で開示する技術の第３の側面は、
ユーザとのインタラクションを通じて音声情報を再生するエージェント機器と、
前記エージェント機器の音声情報と、前記音声情報とは異なる他のコンテンツの音声情報とを取得して、前記エージェント機器の音声情報に基づく音声出力信号に対して音場制御処理を行う制御装置と、
を具備する情報処理システムである。

但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。

本明細書で開示する技術によれば、音声をベースとするエージェントの対話を処理する情報処理装置及び情報処理方法、並びに情報処理システムを提供することができる。

なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、本明細書で開示する技術の適用環境の一例を示した図である。 図２は、エージェントデバイスとして動作することが可能な情報機器１００の構成例を模式的に示した図である。 図３は、クラウドを利用したエージェントクラウドプラットフォームの構成例を模式的に示した図である。 図４は、部屋内にテレビ受像機と連携する複数台のスピーカーを分散して配置している例を示した図である。 図５は、ＴＶエージェントの動作例を説明するための図である。 図６は、ＴＶエージェント３１０の音声ＵＩが音像定位された一例を示した図である。 図７は、ＴＶエージェント３１０の動作手順の一例を示したフローチャートである。 図８は、音場制御システム８００の構成例を模式的に示した図である。 図９は、パネルスピーカー技術の適用例を示した図である。 図１０は、映像コンテンツに対して音像を画像に一致させる処理を行う機能的構成を示した図である。 図１１は、ビジュアルコミュニケーションにおいて音像を画像に一致させる処理を行う機能的構成を示した図である。 図１２は、音声エージェントの音像を画像に一致させる処理を行う機能的構成を示した図である。 図１３は、テレビ画面１３００の構成を示した図である。

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

図１には、本明細書で開示する技術の適用環境の一例として、リビングルーム１を示している。サイドボード１３上には、テレビ受像機１１と、エージェントデバイス１２が設置されている。後述するように、テレビ受像機１１は、エージェント用アプリケーションが組み込まれており、エージェントデバイスとしても動作することができる。エージェントデバイスが実行する音声認識及び音声による応答処理等はエージェント機能と称される場合がある。また詳細は後述するが、このエージェント機能はその一部又はすべてがサーバ上で処理されるものであってもよい。本明細書では、エージェント機能として音声を用いるものを「音声エージェント」と称する場合もある。

また、リビングルーム１内には、テレビ受像機１１と対面するようにソファ１４が設置され、ソファ１４の前方にはソファテーブル１５が備えられている。

図１に示す例では、親子３人がソファ１４に座っている。３人は、テレビ受像機１１に表示されているテレビ番組の視聴者であるとともに、テレビ受像機１１に組み込まれているエージェント（エージェント機能）若しくはエージェントデバイス１２のユーザであり、エージェントに対して問い合わせして、返答を待つ。また、各ユーザは、リモコン（図示しない）を使ってテレビ受像機１１の選局、音量調整、入出力機器の切り替えなどさまざまなリモコン操作を行うことができるものとする。あるいは、各ユーザは、テレビ受像機１１に組み込まれているエージェントに対して、テレビ受像機１１の選局、音量調整、入出力機器の切り替えなどさまざまな操作を、音声により指示することもできる。

テレビ受像機１１は、チューナを内蔵し若しくは外付けチューナを介して放送信号を選局受信可能である。また、テレビ受像機１１は、ネットワークインターフェースカードを装備し、プロバイダーが提供するＯＴＴ（Ｏｖｅｒ ｔｈｅ Ｔｏｐ）サービスやテレビ会議などのビジュアルコミュニケーションに関連するデータ送受信を行うことが可能である。また、テレビ受像機１１上では、音声エージェント又はアシスタントを始めとしてあらかじめインストールされたアプリケーションを実行することが可能である。

したがって、テレビ受像機１１の画面上には、オンエア中又は録画した放送コンテンツや、ＯＴＴサービスにより配信されるストリーミングコンテンツ、テレビ会議（若しくは、Ｗｅｂ会議）などのビジュアルコミュニケーション、音声エージェント又はアシスタントのキャラクターといった複数のコンテンツのうち少なくとも１つが表示される。また、ＰＩＰ（Ｐｉｃｔｕｒｅ ｉｎ Ｐｉｃｔｕｒｅ）やＰＡＰ（Ｐｉｃｔｕｒｅ ａｎｄ Ｐｉｃｔｕｒｅ）といった技術を利用して、大画面上に２以上のコンテンツを同時に並列して表示することも可能である。図１３には、テレビ受信機１１の画面の表示例１３００を示している。同図に示す例では、テレビジョンの大画面１３００上に、オンエア中の放送コンテンツ１３０１と、ビジュアルコミュニケーション１３０２と、音声エージェントのキャラクター１３０３が並列して同時表示されている。また、図１３では省略しているが、大画面上には、テレビ受信機１１内部で生成するＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）などのグラフィックス情報を表示することもできる。

そして、テレビ受像機１１から発される音声の音波は、ソファ１４に座っている３人に直接波として届く他、壁面や天井、床面からの反射波としても届く。テレビ受像機１１から発される音声には、選局受信中のテレビ番組の音声と、エージェントから返信された合成音声が含まれる。エージェントデバイス１２から発される音声も同様に、ソファ１４に座っている３人に直接波として届く他、壁面や天井、床面からの反射波としても届く。

なお、本明細書で開示する技術の適用環境は、図１に示したような一般家庭内で家族が共有するリビングルームには限定されない。書斎などの特定のユーザの個室や寝室など、エージェント機能を提供するテレビ受像機が設置されるさまざまな部屋にも本明細書で開示する技術を適用可能である。また、家庭内だけでなく、企業のオフィスにも、本明細書で開示する技術を適用することができる。

図２には、エージェントデバイスとして動作することが可能な情報機器１００の構成例を模式的に示している。ここでは情報機器１００として、図１中のテレビ受像機１１を想定している。情報機器１００は、処理部１０１と、チューナ１０２と、通信部１０３と、表示部１０４と、音声入力部１０５と、音声出力部１０６と、撮像部１０７と、センサ部１０８と、リモコン受信部１０９と、記録部１１０を備えている。

チューナ１０２は、地上波放送並びに衛星放送の放送信号を選局受信する。また、通信部１０３は、イーサネット（登録商標）などの有線通信又はＷｉ－Ｆｉ（登録商標）などの無線通信を利用して、インターネットなどの外部ネットワークに接続している。例えば、通信部１０３は、プロバイダーが提供するＯＴＴサービスにより配信されるストリーミングコンテンツを受信する。また、通信部１０３は、テレビ会議などのビジュアルコミュニケーションに関連するデータ送受信を行う。また、通信部１０３は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）などの映像及び音声のデジタル信号を伝送する通信インターフェースを備え、ブルーレイ又はハードディスクなどの録画再生機やゲーム機などを情報機器１００に外付け接続するのに利用することができる。また、通信部１０３は、例えばＤＬＮＡ（登録商標）（Ｄｉｇｉｔａｌ Ｌｉｖｉｎｇ Ｎｅｔｗｏｒｋ Ａｌｌｉａｎｃｅ）などの規格に則って、ホームネットワークを介して家庭内の各ＣＥ機器と相互接続していてもよいし、ＩｏＴデバイスとのインターフェース機能をさらに備えていてもよい。

表示部１０４は、例えば液晶や有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）素子などで構成され、１６：９の縦横比からなる画面を備え、チューナ１０２で選局受信した放送コンテンツ並びに通信部１０３を介して受信するストリーミングコンテンツの映像やＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）、データ放送コンテンツを表示したり、ＯＴＴサービスにより配信されるストリーミングコンテンツを表示したり、テレビ会議などのビジュアルコミュニケーションの映像を表示したりするのに用いられる。また、表示部１０４は、音声エージェントなど情報機器１００（テレビ受像機１１）にあらかじめインストールされたアプリケーションの画像やＯＳＤなどのグラフィックスを表示したりするのに使用される。なお、表示部１０４の画面の一部又は全部の領域にタッチセンサが重畳されていてもよい。

音声入力部１０５は、マイクなどの収音素子で構成され、情報機器１００が設置された室内で発生する音声の入力に用いられる。室内で発生する音声として、テレビ番組の視聴者若しくは音声エージェントを利用するユーザによる発話を挙げることができる。音声入力部１０５は、複数のマイクを組み合わせたマイクロフォンアレイを備えていてもよい。一部又は全部のマイクロホンが情報機器１００に外付け接続されていてもよい。あるいは、テレビ受像機１１用のリモコンに搭載されたマイクを含んでいてもよいし、スマートフォンやウェアラブル機器などテレビ受像機１１の外部機器に搭載されたマイクを含んでいてもよい。音声入力部１０５が複数のマイクロホンを備える場合、ビームフォーム処理により、所望する音源位置からの音声、例えば音声エージェントに話し掛けるユーザの音声の収音感度を高めたり、逆に不要な音源位置からの音声、例えばその他のユーザの音声や、室内の他のＡＶ機器から出力される音響などの収音感度を低減させたりすることができる。

音声出力部１０６は、チューナ１０２で選局受信した番組コンテンツやデータ放送コンテンツの音声出力、並びに音声エージェント機能の合成音声の出力などに用いられる。音声出力部１０６は、スピーカーなどの音響発生素子で構成される。本実施形態では、音声出力部１０６は、複数のスピーカーを組み合わせたスピーカーアレイ（多チャンネルスピーカー若しくは超多チャンネルスピーカー）を備えていることを想定している（一部又は全部のスピーカーが情報機器１００（テレビ受像機１１）に外付け接続されていてもよい）。したがって、音声出力部１０６は、各スピーカーの出力制御に基づいて音場を生成して、所望の位置に音像を定位させたり、所望の位置以外の場所からは音声を聴こえ難くしたりすることができる。

コーン型スピーカーの他、フラットパネル型スピーカー（例えば、特許文献３を参照のこと）を音声出力部１０６に用いることができる。もちろん、異なるタイプのスピーカーを組み合わせたスピーカーアレイを音声出力部１０６として用いることもできる。また、スピーカーアレイは、振動を生成する１つ以上の加振器（アクチュエータ）によって表示部１０４を振動させることで音声出力を行うものを含んでもよい。加振器（アクチュエータ）は、表示部１０４に後付けされるような形態であってもよい。図９には、ディスプレイへのパネルスピーカー技術の適用例を示している。ディスプレイ９００は、背面のスタンド９０２で支持されている。また、ディスプレイ９００の裏面には、スピーカーユニット９０１が取り付けられている。スピーカーユニット９０１の左端には加振器（アクチュエータ）９０１－１が配置され、また、右端には加振器（アクチュエータ）９０１－２が配置されており、スピーカーアレイを構成している。各加振器（アクチュエータ）９０１－１及び９０１－２が、それぞれ左右の音声信号に基づいてディスプレイ９０１を振動させて音響出力することができる。また、スタンド９０２が、低音域の音響を出力するサブウーファーを内蔵してもよい。なお、ディスプレイ９００は、有機ＥＬ素子を用いた表示部１０４に相当する。

音声出力部１０６が複数のスピーカーを備える場合、所望の位置に音像を定位させたり（例えば、音声エージェントの音声の音像を、問い合わせたユーザに対して所定の相対位置となる場所に定位させる、あるいは、テレビ番組の音声とは混ざらない場所に定位させる）、所望の位置以外の場所からは音声を聴こえ難くしたりすることができる。また、音場における音声の波面を複数のマイクロホンで収音し、得られた収音信号に基づいて音場を再現する「波面合成」（例えば、特許文献４を参照のこと）などの音場再現手法を利用することもできる。

撮像部１０７は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｙｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｏｐｌｅｄ Ｄｅｖｉｃｅ）などのイメージセンサからなるカメラで構成され、主に情報機器１００の正面方向、例えば表示部１０４の画面前方にいるユーザを撮像する。撮像部１０７は、例えば、２台のカメラを用いたステレオカメラや、３台以上のカメラを用いた多眼カメラであってもよい。また、一部又は全部のカメラが情報機器１００に外付け接続されていてもよい。

センサ部１０８は、主に、情報機器１００が設置されている室内の環境情報をセンシングする。センサ部１０８の構成、すなわちどのようなセンサ素子を含むかは任意である。例えば、センサ部１０８は、物体検出センサや深度センサを含んでいてもよい。物体検出センサや深度センサの検出結果に基づいて（必要に応じて、撮像部１０７で撮影した画像に画像認識結果と併せて）、室内に設置された家具や部屋のレイアウトを検出することができる。また、センサ部１０８は、照度センサや温度センサ、湿度センサなどの環境情報を検出する環境センサを備えていてもよい。また、センサ部１０８は、赤外線センサや人感センサを備えていてもよい。また、センサ部１０８は、ユーザの脈拍や発汗、脳波、筋電位、呼気などを検出する生体センサを備えていてもよい。センサ部１０８を構成するセンサ部の一部又は全部が情報機器１００に外付け接続され、又は無線接続されていてもよい。

リモコン受信部１０９は、リモコン（図示しない）から赤外線通信や近距離無線通信などを利用して送信されるリモコンコマンドを受信処理する。リモコンの操作者は、例えば、図１に示したリビングにいるテレビ受像機１１の視聴ユーザなどである。

記録部１１０は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）などの大容量記録装置で構成され、主にチューナ１０２で受信した番組コンテンツの録画に使用される。記録部１１０は、情報機器１００内に配設される他、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）やＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などのインターフェースを介して情報機器１００に外付け接続される場合もある。

処理部１０１は、プロセッサ及びメモリを含み、メモリにロードしたプログラムを実行して、各種処理を実施して、情報機器１００内の動作を統括的にコントロールする。処理部１０１内では、基本的には、オペレーティングシステム（ＯＳ）が提供する実行環境下で、さまざまなアプリケーションが実行される。例えばマルチプロセッサが利用可能な場合、あるいはＯＳによってマルチスレッド実行が可能な場合においては、並列実行可能な処理単位はすべてメモリに読み出され並列実行させることができる。

処理部１０１において実行される処理として、リモコン受信部１０９で受信したリモコンコマンドに応じた選局、音量調整、録画、並びに画質調整などの機器１００内の操作や、チューナ１０２で選局受信された番組コンテンツの映像及び音声出力処理、記録部１１０に録画した番組コンテンツの再生出力処理、ＯＴＴサービスにより配信されるストリーミングコンテンツの再生出力処理、アプリケーションの実行、ＯＳＤの表示制御などを挙げることができる。処理部１０１が実行するアプリケーションの中には、チューナ１０２又は通信部１０３を介して受信したデータ放送アプリケーションやＯＴＴサービスのアプリケーション、音声エージェント、ビジュアルコミュニケーションなど処理部１０１内にあらかじめインストールされたアプリケーションを挙げることができる。また、処理部１０１が複数のエージェント用アプリケーションを並列実行することにより、情報機器１００が複数のエージェントデバイスとして機能することも可能である。

情報機器１００は、選局受信した放送コンテンツの映像及び音声出力、ＯＴＴサービスにより配信されるストリーミングコンテンツの再生出力、テレビ会議などのビジュアルコミュニケーションの再生出力、音声エージェントなどのグラフィックスの表示など、多種類の映像を表示する機能を備えている。また、情報機器１００は、ＰＩＰやＰＡＰ機能により、２以上の映像を並行して表示することもできる。

また、本実施形態では、情報機器１００は、音像を画像に一致させる音像定位を行うようになっている。何故ならば、映像に対応する音声が映像の表示位置とは異なる位置に定位されると、画面を視聴するユーザは違和感を覚えるからである。情報機器１００は、映像内に出現する音源を検出し、その音源の画面上の表示位置を計算して、その音源から発される音声を音源の表示位置に定位させる音声信号処理を実施することで、音像を画像に一致させるようにしている。

ここで、情報機器１００において、映像コンテンツ（放送及びＯＴＴサービスを含む）、ビジュアルコミュニケーション、グラフィックスの各々を表示する際に音像を画像に一致させるための処理について、それぞれ説明しておく。

（１）映像コンテンツの場合
映像が放送コンテンツやＯＴＴサービスのストリーミングコンテンツの場合、映像内に出現する音源とは、そのテレビ番組の出演者（若しくは、画面に表示されている話者）である。例えば映像解析により画像内の出演者の顔位置を検出することにより、音源を検出することができる。複数の出演者が同時に映っているときには、各出演者の顔位置をそれぞれ音源として検出する。あるいは、放送コンテンツのメタ情報として、各出演者の顔位置のデータが送られるようにしてもよい。テレビ番組を全画面表示しているときには、検出された顔位置が音源の表示位置になる。また、マルチウィンドウが適用されている場合には、テレビ番組を表示するウィンドウ内での顔位置を、音源の表示位置として計算する。そして、各出演者が発話する度に、その音声の音像を画面上でその出演者の顔が表示される位置に定位するように音声信号処理を施して、音声出力部１０６から出力するようにする。

図１０には、映像コンテンツに対して音像を画像に一致させる処理を行う機能的構成を模式的に示している。但し、図１０に示す各機能モジュールは、基本的には処理部１０１内で実装されるものとする。また、チューナ１０２で選局受信した放送コンテンツや通信部１０３で受信したＯＴＴサービスのストリーミングコンテンツは、映像と音声にデマルチプレクスされ、さらに映像信号と音声信号それぞれについてデコード処理された後に、処理部１０１に入力されるものとする。

映像処理部１００１は、デコード後の映像信号を入力すると、映像フレームに含まれる音源の位置を検出する。音源は、番組の出演者などの話者である。楽器など音響を出力する物体がフレームに含まれる場合には、これらも音源として位置検出を行うようにする。映像処理部１００１は、例えば映像信号の画質調整処理の過程で、映像解析などにより、画像内の話者の顔位置を検出することによって、音源を検出するようにする。あるいは、ストリームに付随して送られてくるメタ情報に音源位置の情報が含まれる場合には、メタ情報の復号処理によって音源位置を検出するようにしてもよい。映像内に複数の話者が同時に含まれている場合には、映像処理部１００１は、話者毎に音源として検出して、音源位置の検出を行う。映像処理部１００１による処理後の映像信号は、ビデオメモリ（図３には図示しない）内の映像用プレーンに一旦書き込まれた後、他のプレーンの画像情報と重畳されて表示部１０４の画面に表示出力される。

音声処理部１００２は、デコード後の音声信号を入力すると、音声出力部１０６に含まれる複数のスピーカーを使って、音声を出力する。映像処理部１００１から音源の位置情報が与えられる場合には、音声処理部１００２は、その音源の位置に音像を定位させて、音声出力部１０６から音声を出力する。

映像フレームが表示部１０４で全画面表示される場合には、音声処理部１００２は、映像処理部１００１が検出した音源位置を画面上の表示位置の情報に変換して、音像定位を行う。一方、表示部１０４の画面にマルチウィンドウが適用されている場合には、音声処理部１００２は、映像の表示に割り当てられたウィンドウの表示位置及びサイズの情報をウィンドウ制御部１００３から取得すると、映像処理部１００１が検出したフレーム内での音源位置を当該ウィンドウ内の位置に換算し、これにウィンドウの表示位置（オフセット）を加算することにより、画面上における音源の位置の情報を求めて、音像定位を行う。

複数の音源を含む映像の場合（例えば、映像内に複数の話者が同時に出現する場合）、映像処理部１００１は話者毎に音源位置を検出するとともに、音声処理部１００２は、入力された音声信号を音源毎（例えば話者毎）の音声に分離して、各音源をそれぞれに対応する音源位置に定位させて、音声出力部１０６から音声を出力する。

（２）ビジュアルコミュニケーションの場合
映像がテレビ会議などのビジュアルコミュニケーションの場合、映像内に出現する音源は、そのテレビ会議の参加者である。例えば、映像解析により画像内の会議出席者の顔位置を検出することにより、音源を検出することができる。会議参加者が複数いる場合には、各会議参加者の顔位置をそれぞれ音源として検出する。続いて、ビジュアルコミュニケーションのウィンドウ内で、会議参加者の顔位置を、音源の表示位置として計算する。そして、会議参加者が発言する度に、その音声の音像を該当する会議参加者の顔位置に定位するように音声信号処理を施して、音声出力部１０６から出力するようにする。

図１１には、ビジュアルコミュニケーションにおいて音像を画像に一致させる処理を行う機能的構成を模式的に示している。但し、図１１に示す各機能モジュールは、基本的には、処理部１０１内で実装されるものとする。また、通信部１０３で受信したビジュアルコミュニケーション用の通信信号が映像と音声にデマルチプレクスされ、さらに映像信号と音声信号それぞれについてデコード処理された後に、処理部１０１に入力されるものとする。

ビジュアルコミュニケーション（ＶＣ）処理部１１０１は、デコード後の映像信号を入力すると、テレビ会議の映像の表示処理を実施する。ここで、多地点通信によりビジュアルコミュニケーションが行われている場合には、ビジュアルコミュニケーション処理部１１０１は、表示部１０４の画面（若しくはビジュアルコミュニケーションに割り当てられたウィンドウ領域）を複数の領域に分割して、各分割領域に他の地点で撮影しているテレビ会議映像を表示出力する（すなわち、各地点に分割領域を割り当てる）ための処理を実行する。また、分割領域の総数が接続中の地点数よりも少ないときには、ビジュアルコミュニケーション処理部１１０１は、各分割領域の画面切り替えを行う。例えば、発言順序が回って来た地点や新たにイニシアチブを握った地点の映像が隠れている場合には、現在表示されている他の地点の映像と切り替えを行う。ビジュアルコミュニケーション処理部１１０１による処理後の映像信号は、ビデオメモリ（図１１には図示しない）内のビジュアルコミュニケーション用プレーンに一旦書き込まれた後、他のプレーンの画像情報と重畳されて表示部１０４の画面に表示出力される。

ビジュアルコミュニケーション処理部１１０１は、映像フレームに含まれる音源の位置を検出する。音源は、映像に写っているテレビ会議の参加者などの話者である。ビジュアルコミュニケーション処理部１１０１は、例えば顔検出処理によって、映像フレーム内の会議参加者の顔位置を検出することによって、音源を検出するようにする。また、上記のように多地点通信によりビジュアルコミュニケーションが行われている場合には、ビジュアルコミュニケーション処理部１１０１は、現在発言中の地点の映像を表示している分割領域を音源の位置として検出する。

音声処理部１１０２は、デコード後の音声信号を入力すると、音声出力部１０６に含まれる複数のスピーカーを使って、音声を出力する。ビジュアルコミュニケーション処理部１１０１から音源の位置情報が与えられる場合には、その音源の位置に音像を定位させて、音声出力部１０６から音声を出力する。多地点通信（前述）によりビジュアルコミュニケーションが行われている場合には、音声処理部１１０２は、現在発言中の地点の映像を表示している分割領域に音像を定位させる。

ビジュアルコミュニケーションの映像が表示部１１０４で全画面表示される場合には、音声処理部１１０２は、ビジュアルコミュニケーション処理部１１０１が検出した音源位置を画面上の表示位置の情報に変換して、音像定位を行う。多地点通信によりビジュアルコミュニケーションが行われている場合には、現在発言している地点の映像を流している分割領域に音像が定位される。

表示部１０４の画面にマルチウィンドウが適用されている場合には、音声処理部１１０２は、ビジュアルコミュニケーションに割り当てられたウィンドウの表示位置及びサイズの情報をウィンドウ制御部１１０３から取得すると、ビジュアルコミュニケーション処理部１１０１が検出した音源位置を当該ウィンドウ内の位置に換算し、これにウィンドウの表示位置（オフセット）を加算することにより、音源の画面上の表示位置の情報を求めて、音像定位を行う。多地点通信によりビジュアルコミュニケーションが行われている場合には、当該ウィンドウ内で、現在発言している地点の映像を流している分割領域に音像が定位される。

（３）グラフィックスの場合
音声エージェントの音源は音声エージェントの映像そのものである。したがって、音声エージェントの映像を生成するグラフィックス処理部から音声エージェントの表示位置を取得することにより、音源の位置を検出することができる。また、ユーザが部屋内を移動すると、音声エージェントも追従して大画面内で移動するような場合には、そのユーザの位置情報に基づいて音源の位置を検出するようにする。そして、音声エージェントが発話する度に、その音声エージェントの合成音声の音像を音声エージェントの表示位置に定位するように音声信号処理を施して、音声出力部１０６から出力するようにする。

図１２には、音声エージェントの音像を画像に一致させる処理を行う機能的構成を模式的に示している。但し、図１２に示す各機能モジュールは、基本的には、処理部１０１内で実装されるものとする。

本実施形態では、音声エージェント用のアプリケーションがあらかじめ情報機器１００にインストールされていることを想定している。処理部１０１内では、このようなアプリケーションを実行して、音声エージェントのグラフィックス（アニメーションキャラクタなど）を表示部１０４の画面に表示したり、音声エージェントからの音声メッセージを音声出力部１０６から音声出力したりする。但し、情報機器１００内で音声エージェント用のアプリケーションを実行するのではなく、情報機器１００が外部のエージェントサービスを利用することも想定される。この場合、情報機器１００は、通信部１０３を使って外部のエージェントサービスによる対話処理を利用し、情報機器１００上では音声の入出力と音声エージェントのグラフィックス表示のみをもっぱら行う。

グラフィックス処理部１２０１は、処理部１０１内のプロセッサが実行した対話処理結果に基づいて（若しくは、通信部１０３を介して外部のエージェントサービスから受け取った対話処理結果に基づいて）、音声エージェントのキャラクターのグラフィックスを生成する。そして、コンポーザ１２０２は、生成したキャラクターのアニメーションをコンポーズする。コンポーズされたキャラクターアニメーションの画像は、ビデオメモリ（図１２には図示しない）内のグラフィックス用プレーンに一旦書き込まれた後、他のプレーンの画像情報と重畳されて表示部１０４の画面に表示出力される。

また、グラフィックス処理部１２０１は、表示部１０４の画面上で音声エージェントのグラフィックスを表示させる位置に関する情報を、音声処理部１２０３に出力する。

音声処理部１２０３は、処理部１０１内のプロセッサ（若しくは、外部のエージェントサービス）によって生成された音声エージェントのメッセージ（テキスト）を音声合成して、音声出力部１０６に含まれる複数のスピーカーを使って、音声を出力する。上述したように、グラフィックス処理部１２０１から音声エージェントの表示位置の情報が与えられる場合には、音声処理部１２０３はその表示位置に音像を定位させて、音声出力部１０６から音声エージェントの音声を出力する。

続いて、情報機器１００がエージェントデバイスとして機能する場合について説明する。

エージェント機能は、一般に、ユーザの周囲に設置されるエージェントデバイスと、クラウド上に構築されるエージェントサービスの連携により提供される。図３には、クラウドを利用したエージェントクラウドプラットフォーム３００の構成例を模式的に示している。エージェントクラウドプラットフォーム３００はローカル側とクラウド側に区分される。

エージェントクラウドプラットフォーム３００のローカル側は、図１に示したリビングルーム１などに相当し、ＴＶエージェント３１０と、外部エージェントデバイス３２０を含んでいる。

ＴＶエージェント３１０は、情報機器１００（図１中のテレビ受像機１１に対応）に組み込まれているエージェントであり、情報機器１００が装備する音声入力部１０５、音声出力部１０６、撮像部１０７、及びセンサ部１０８などの各機能モジュールを活用することができる。

外部エージェントデバイス３２０は、図１中のエージェントデバイス１２に対応する。外部エージェントデバイス３２０は、音声エージェント専用のデバイスであり、ユーザと対話するための音声入力部３２１及び音声出力部３２２を備えている。但し、外部エージェントデバイス３２０は、「スマートスピーカー」、「ＡＩスピーカー」、「ＡＩアシスタント」などとも呼ばれる音声エージェント専用のデバイスに限られず、テレビ受像機１１以外のＣＥ機器や、ＩｏＴデバイス、情報端末などに組み込まれている音声エージェントであってもよい。

ＴＶエージェント３１０も外部エージェントデバイス３２０も、ユーザにとっては、音声ベースで対話を行うエージェントとして相違ない。但し、本実施形態では前者はテレビ受像機１１を介してユーザと対話する（若しくは、ＴＶと親和性の高いエージェントサービスを提供する）ことから「ＴＶエージェント」と呼び、後者はテレビ受像機１１の外部でユーザと対話する（若しくは、ＴＶ放送サービスとは結び付きの少ないエージェントサービスを提供する）ことから「外部エージェントデバイス」と呼んで、便宜上、両者を区別する。

一方、エージェントクラウドプラットフォーム３００のクラウド側は、エージェントシステム３３０と、複数の外部エージェントサービス３４０Ａ、３４０Ｂ、３４０Ｃ、…を含んでいる。エージェントシステム３３０並びに外部エージェントサービス３４０Ａ、３４０Ｂ、３４０Ｃ、…はいずれも、ローカル側のユーザからの問い合わせに回答するエージェントサービスを提供するという観点からは、ユーザの立場からは相違しない。但し、前者はＴＶエージェント３１０と直接連携してエージェントサービスを提供することから「エージェントシステム」と呼び、後者はＴＶエージェント３１０とは直接には連携せず、テレビ受像機１１の外部からエージェントサービスを提供することから「外部エージェントサービス」と呼んで、便宜上、両者を区別する。エージェントシステム３３０は、例えばテレビ受像機１１の製品製造元又は販売元が運営するサーバ装置上に構築されることもあるが、特定の運営形態には限定されない。また、外部エージェントサービス３４０Ａ、３４０Ｂ、３４０Ｃ、…の少なくとも一部（図３に示す例では、外部エージェントサービス３４０Ｃ）は、ローカル側に設置された外部エージェントデバイス３２０と直接連携している。

エージェントシステム３３０は、音声認識部３３１と、意味解析部３３２と、音声合成部３３３と、制御部３３４を備えている。

音声認識部３３１は、ＴＶエージェント３１０側の音声入力部１０５で収音されたユーザの発話を音声認識して、テキスト情報に変換する。意味解析部３３２は、音声認識されたテキスト情報に基づいて、ユーザの発話データの意味解析を行う。また、音声合成部３３３は、ユーザに対する回答となるテキスト情報を音声データに変換する。音声データは、ＴＶエージェント３１０に送られ、音声出力部１０６から問い合わせ元のユーザに対して音声出力される。なお、ＴＶエージェント３１０は、音声出力以外に、表示部１０４の画面の映像出力を併せて用いて、ユーザからの問い合わせに対する回答を出力するようにしてもよい。また、ＴＶエージェント３１０は、テレビ受像機１１とホームネットワーク経由で接続される他のＣＥ機器やＩｏＴデバイスの出力機能などを併せて用いて、ユーザからの問い合わせに対する回答を出力するようにしてもよい。

制御部３３４は、ＴＶエージェント３１０のユーザからの問い合わせに回答するための処理を実行する。例えば、制御部３３４は、ユーザが問い合わせた情報を検索したり、ユーザが要求したコンテンツを取得したり、商品の注文を行ったりする、ユーザからの問い合わせに回答するために、制御部３３４は、学習機能やＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）機能を搭載していてもよい。

また、制御部３３４は、ユーザからの問い合わせに回答するために、さらに外部エージェントサービス３４０Ａ、３４０Ｂ、３４０Ｃ、…を呼び出すことができる。制御部３３４は、リクエストすることが可能なすべての外部エージェントサービス３４０Ａ、３４０Ｂ、３４０Ｃ、…を呼び出してもよいし、いずれか一部の外部エージェントデバイスを選択して呼び出すようにしてもよい。例えば、各外部エージェントサービス３４０Ａ、３４０Ｂ、３４０Ｃ、…がそれぞれ固有の得意分野を有する場合には、制御部３３４は、ユーザからの問い合わせ内容や問い合わせしたユーザのプロファイル情報などに応じて、リクエスト先の外部エージェントサービスを取捨選択するようにしてもよい。また、ユーザから特定の外部エージェントサービスを指定する「起動ワード」が音声入力されたときには、制御部３３４は、入力された起動ワードに対応する外部エージェントサービスにそのままリクエストしてもよいし、起動ワードを考慮しつつ、リクエスト先の外部エージェントサービスを取捨選択するようにしてもよい。

また、エージェントシステム３３０から外部エージェントサービス３４０Ａ、３４０Ｂ、３４０Ｃ、…を呼び出す方法はいくつか考えられる。例えば、ユーザからの問い合わせを意味解析部３３２で意味解析して得たテキスト情報を、外部エージェントサービス３４０Ｂに送信してもよいし、そのテキスト情報を音声合成部３３３で音声合成した音声データを外部エージェントサービス３４０Ａに送信して、ユーザからの音声入力のような形態で問い合わせしてもよい。あるいは、エージェントシステム３３０が外部エージェントサービス３４０Ｃにリクエストする場合には、音声合成部３３３で音声合成した音声データをＴＶエージェント３１０に送信して、ＴＶエージェント３１０の音声出力部１０６から、あたかも室内のユーザが問い合わせるような音声を出力して、外部エージェントデバイス３２０を通じて問い合わせするようにすることもできる。

また、リクエスト先の外部エージェントサービス３４０Ａ、３４０Ｂ、３４０Ｃ、…からエージェントシステム１００に対して回答する方法もいくつか考えられる。例えば、外部エージェントサービス３４０Ｂのように、テキスト情報などからなる（若しくは、音声合成前の）処理結果がエージェントサービス３３０に送られてくる場合がある。また、外部エージェントサービス３４０Ａ、３４０Ｃのように、処理結果を音声合成した音声データが、エージェントサービス３３０に送られてくる場合もある。エージェントサービス３３０は、外部エージェントサービス３４０Ａ、３４０Ｃなどから送られてきた音声データを音声認識するための音声認識部３３１と、その音声認識結果を意味解析する意味解析部３３２をさらに備えている。

そして、制御部３３４は、各外部エージェントサービス３４０Ａ、３４０Ｂ、３４０Ｃからの回答を意味解析結果のレベルで集計して、ユーザからの問い合わせに対する回答文を生成する。複数の回答を集計する方法は任意である。エージェントシステム３３０自身が得た回答と照らし合わせて特定の外部エージェントサービスからの回答を選択してもよいし、多数決など所定の選択基準に基づいて特定の外部エージェントサービスからの回答を選択してもよいし、複数の外部エージェントサービスからの回答を合成して１つの回答文を生成するようにしてもよい。いずれにせよ、音声合成部３３３は、制御部３３４で生成した回答文を音声データに変換して、ＴＶエージェント３１０に送られる。そして、ＴＶエージェント３１０では、問い合わせ元のユーザに対する回答の音声が、音声出力部１０６から ユーザに対して音声出力される。

なお、エージェントシステム３３０が装備する音声認識部３３１と、意味解析部３３２と、音声合成部３３３と、制御部３３４のうち一部又は全部の機能モジュールがＴＶエージェント３１０に取り込まれていてもよい。あるいは、これらの機能モジュール３３１～３３４が１台のサーバ装置上に構築されていてもよいし、複数台のサーバ装置に分散して配置されてもよい。

各外部エージェントサービス３４０Ａ、３４０Ｂ、３４０Ｃ、…の機能的構成はほぼ同様である。以下では、代表して、外部エージェントサービス３４０Ｃの機能的構成について説明する。

外部エージェントサービス３４０Ｃは、音声認識部３４１Ｃと、意味解析部３４２Ｃと、処理部３４３Ｃと、音声合成部３４４Ｃを備えている。

音声認識部３４１Ｃは、外部エージェントデバイス３２０の音声入力部３２１で収音された発話を音声認識して、テキスト情報に変換する。なお、音声入力部３２１で収音する音声は、ユーザの発話の他、ＴＶエージェント３１０の音声出力部１０６から出力する音声である場合も想定される。

意味解析部３４２Ｃは、音声認識されたテキスト情報に基づいて、ユーザの発話データの意味解析を行う。処理部３４３Ｃは、ユーザからの問い合わせに回答するための処理を実行する。例えば、外部エージェントサービス３４０Ｃを指定する「起動ワード」がユーザから音声入力されたことが意味解析結果により分かると、処理部３４３Ｃは処理実行を開始する。

音声合成部３４４Ｃは、ユーザに対する回答となるテキスト情報を音声データに変換する。音声データは、外部エージェントデバイス３２０に送られ、音声出力部３２２から問い合わせ元のユーザに対して音声出力される。なお、音声合成部３４４Ｃで生成した音声データは、外部エージェントデバイス３２０に送信して音声出力される他、エージェントシステム３３０に送信され、音声認識部３３１に入力される場合も想定される。

なお、図３では、図面の簡素化のため、クラウド側の１つのエージェントシステム３３０が１台のＴＶエージェント３１０に対してエージェントサービスを提供するように描いているが、１つのエージェントシステム３３０が複数台のテレビ受像機上に組み込まれている複数のＴＶエージェントに対して同時にエージェントサービスを提供することが想定される。すなわち、現実には、１つのエージェントシステム３３０が各家庭に設置された多数のテレビ受像機のＴＶエージェントに対して、同時にエージェントサービスを提供する。

また、図３では、３つの外部エージェントサービス３４０Ａ、３４０Ｂ、３４０Ｃを描いているが、エージェントシステム３３０と連携する外部エージェントサービスの数は３つに限定されず、２以下又は４以上の外部エージェントサービスと連携することが想定される。

また、図３では、１台の外部エージェントデバイス３２０を描いているが、本明細書で開示する技術を実装する上で、外部エージェントデバイスは必ずしも必須の構成要素ではない。あるいは、ローカル側に２台以上の外部エージェントデバイスが併存していても、同様に、本明細書で開示する技術を実現可能である点を理解されたい。

図３中に示した複数のエージェントサービスのうち、外部エージェントサービス３４０Ａ、３４０Ｂ、３４０Ｃは、例えば「ＡＩエージェント」とも呼ばれ、本願の出願時点において既に広く利用されているサービスである。この種の外部エージェントサービスは、インターネットなどの広域ネットワーク経由で接続可能な無数の外部エージェントデバイス（図３中の、外部エージェントデバイス３２０に相当）を配下に置くことが想定されている。各ユーザは、自分が所有する外部エージェントデバイスを通じて外部エージェントサービスにログインすることができる。各外部エージェントサービスは、ログインしてきたユーザ毎にアカウントを設定し、各ユーザのプロファイル情報や履歴情報をアカウントに対応付けて管理する（以下、「アカウント切替え」機能とも呼ぶ）。そして、外部エージェントサービスは、例えばユーザから問い合わせを受ける度にプロファイル情報や履歴情報を逐次的に更新し又は学習機能を採り入れることで、個々のユーザにカスタマイズ又はパーソナライズした粒度の細かいサービスを提供することができる。

また、図３中に示した複数のエージェントサービスのうち、エージェントシステム３３０は、例えばテレビ受像機１１の製品製造元又は販売元が運営することが想定され、ＴＶエージェント３１０と直接連携してエージェントサービスを提供する。エージェントシステム３３０もＡＩエージェントであることに相違はないが、ＴＶエージェント３１０のユーザは、基本的にはテレビ受像機１１を視聴するユーザに限定されるものとする。エージェントシステム３３０は、テレビ受像機１１（すなわち、ローカル側）の撮像部１０７や音声入力部１０５で捕捉した画像や音声を認識して人識別した結果に基づいてユーザを特定して、ユーザ毎のアカウントを管理する。そして、エージェントシステム３３０は、ユーザから問い合わせを受ける度、あるいは、センサ部１０８（撮像部１０７や音声入力部１０５を含んでもよい）による検出結果に基づいて、各ユーザのプロファイル情報や履歴情報を更新し又は学習機能を採り入れることで、個々のユーザにカスタマイズ又はパーソナライズした粒度の細かいサービスを提供することができる。

なお、図３に示したエージェントクラウドプラットフォーム３００では、エージェントシステム３３０がテレビ受像機１１に組み込まれているＴＶエージェントと直接連携する構成となっているが、エージェントシステム３３０が直接連携することが可能な機器の種別はテレビ受像機には限定されない。例えば、スマートフォンやタブレットなどのユーザが持ち運び可能な情報端末、ユーザが着用するウェアラブル機器、あるいはエアコン、録画機、洗濯機などの各種ＣＥ機器やＩｏＴデバイス、対話型ロボット、車内に設置されたカーナビなど各種情報機器に組み込まれているエージェントがエージェントシステム３３０と直接連携するといった変形例も想定される。また、エージェントシステム３３０がテレビ受像機以外の機器と連携する場合には、外部エージェントデバイス３２０はテレビ受像機に組み込まれている音声エージェントであってもよい。

ここで、ＴＶエージェント３１０において想定されるユースケースについて、まとめておく。

まず、ＴＶエージェント３１０は、図１に示したような、テレビ受像機１１が設置されたリビングルーム１で、複数人の家族が一緒にテレビを観ている状況で動作することが想定される。図１に示した例では親子３人であるが、４人以上の家族がリビングルーム１にいてもよい。また、各自が自由に室内外に移動することも想定される。

ここで、ＴＶエージェント３１０が動作する部屋（リビングルーム１）は、正方形のような単純な形状とは限らず、また、テーブルやソファなどの家具や、観葉植物などさまざまな物体が設置されることにより、部屋の形状はさらに複雑化する。ＴＶエージェント３１０の音場を制御する際には、部屋の形状はもちろんのこと、家具の配置や家具の材質、室内温度、環境音、室内の人の状況も影響する。

また、リビングルーム１など、ＴＶエージェント３１０が動作する環境には、テレビ受像機１１に連携するスピーカーが複数存在するものとする。「連携」する、とは、テレビ受像機１１のコンテンツの音声出力に利用できるだけでなく、ＴＶエージェント３１０の音声出力にも利用できることを意味する。２以上のスピーカーを利用することにより、ＴＶエージェント３１０の音場を生成することができる。音場生成には、波面合成技術を利用してもよい。波面合成は、複数のスピーカーからそれぞれ出力する位相、振幅などを適切に制御して各波面を空間合成する技術であり、音像定位を制御したり、部屋内で聞こえる場所と聞こえない場所をエリア制御したりすることができる。スピーカーの台数を増やすことで、音像定位やエリア制御の解像度を高くすることができる。

例えば、テレビ受像機１１にフラットパネル型スピーカー（前述）を搭載することにより、連携するスピーカーの台数を増やすことができる（図９を参照のこと）。フラットパネル型スピーカーのようなテレビ受像機１１に組み込まれたスピーカーの他に（若しくは、組込み型のスピーカーの代わりに）、テレビ受像機１１に外付け接続した１以上のスピーカーを利用してもよい。また、室内で粗密なく一様に音像定位できるようにするには、複数のスピーカーを分散して配置することが好ましい。図４には、部屋内にテレビ受像機１１と連携する複数台のスピーカー４０１～４０６を分散して配置している例を示している。また、図示を省略するが、一部のスピーカーを天井や天井付近の上方位置にも設置するなどして、３次元空間に分散してスピーカーを配置することができれば、なお好ましい。

また、リビングルーム１など、ＴＶエージェント３１０が動作する環境には、さまざまなセンサが配置されている。例えば、テレビ受像機１１としての情報機器１００が装備するセンサ部１０８や、テレビ受像機１１に外付け接続又は無線接続されているセンサ類である。センサ部１０８の詳細については、上述を参照されたい。さらに、部屋の壁や天井、床、ソファやテーブルなどの家具に組み込まれたセンサデバイスが、テレビ受像機１１と通信して、部屋中から収集されるセンサ情報をＴＶエージェント３１０が利用できるようにしてもよい。センサデバイスは、属性情報を記憶したメモリを備え、例えば家具な材質な大きさ、重さなどの属性情報付きでセンサ情報を送信する。

また、図１では、図面の簡素化のため、１つのＴＶエージェントしか描いていないが、１台のテレビ受像機１１に複数の音声エージェントが搭載されていることも想定される。複数のＴＶエージェントの中には、外部エージェントサービスと連携するエージェントアプリケーションも含まれる。ＴＶエージェント３１０は、他の音声エージェントと共存する機能を有するものとする。

テレビ受像機１１は、選局受信した放送コンテンツや、ＯＴＴサービスによりストリーミング配信されるコンテンツを再生出力する。そして、テレビ受像機１１は、コンテンツの音声を大音量で再生出力するものとする。また、画面には、番組の出演者などの芸能人や、商品といった、さまざまなオブジェクトが表示される。ユーザは、表示オブジェクトに関する情報を、ＴＶエージェント３１０に問い合わせることが想定される。

また、ＴＶエージェント３１０は、テレビ受像機１１としての情報機器１００が装備するセンサ部１０８や、テレビ受像機１１に外付け接続又は無線接続されているセンサ類（上述）の検出信号を利用することができる。したがって、ＴＶエージェント３１０は、テレビ受像機１１内のセンサ部１０８や、部屋中のセンサからのセンサ情報を収集することで、ユーザの居場所や移動したこと、ユーザが行ったジェスチャ、各家具の設置位置を始めとする室内環境に関する情報を認識することができる。

ＴＶエージェント３１０は、天気予報や株・為替情報、ニュースなどのユーザからの音声による質問に対する回答、商品の注文の受け付け、購入した書籍の内容の読み上げ、照明やエアコンなどの家電機器のオンオフや調整操作など、外部エージェントデバイス３３０と同様の音声サービスをユーザに提供することができる。

また、ＴＶエージェント３１０は、テレビ受像機１１における選局、音量調整、録画、並びに画質調整などの機器１００内の操作や、コンテンツの再生に関する操作など、テレビ受像機１１に対する操作全般に関するユーザインターフェース（ＵＩ）を提供することができる。コンテンツの再生に関しては、テレビ受像機１１で録画したコンテンツの他に、ＯＴＴサービスから提供されるストリーミングコンテンツの再生に関する操作も含むものとする。

さらに、本実施形態では、ＴＶエージェント３１０は、再生中のコンテンツに連携したアプリケーションとのインタラクションを実現する。ここで言うアプリケーションには、オンエア中の放送番組に連携した放送アプリケーションや、ＯＴＴアプリケーションなども含まれる。

このインタラクションの機能によれば、ＴＶエージェント３１０は、再生中のコンテンツ（オンエア中又はストリーミング中の番組コンテンツ）の内容に関するユーザからの問い合わせに回答することができる。したがって、ユーザは、出演者やＢＧＭといった番組の内容に関わる情報を、コンテンツ再生を中断することなく且つリアルタイムで、ＴＶエージェント３１０にリクエストすることができる。

従来の（若しくは、一般的な構成からなる）テレビリモコンのユーザインターフェースでは、コンテンツの再生や音量調整といったテレビ受像機１１に対する操作を行うことはできても、再生中のコンテンツに連携したアプリケーションを操作することは難しい。これに対し、本実施形態では、ＴＶエージェント３１０がコンテンツに連携したアプリケーションとのインタラクション機能を装備することによって、ユーザは、オンエア中又は再生中のコンテンツに関連する情報を、コンテンツ再生を中断することなく且つリアルタイムで、ＴＶエージェント３１０経由で取得することが可能になる。

ＴＶエージェント３１０と、再生中のコンテンツに連携したアプリケーションとのインタラクションは、コンテンツ再生に連携するアプリケーションを、サーバ放送アプリケーションサーバ側のサーバ放送アプリケーションと連携させることで実現する。再生中のコンテンツに連携したアプリケーションは、放送アプリケーションサーバと直接通信することができる。また、再生中のコンテンツに連携したアプリケーションは、テレビ受像機１１のＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍ Ｉｎｔｅｒｆａｃｅ）経由で、ＴＶエージェント３１０のサーバとしてのエージェントシステム３３０と通信することができる。

ＴＶエージェント３１０にて、再生中のコンテンツに連携したアプリケーションとのインタラクションに関するＵＩを実現する仕組みについて、図５を参照しながら説明する。

前提として、放送局５０１からは、放送番組のコンテンツと、放送アプリケーションに関する制御情報（以下、「アプリケーション制御情報」とも言う）が配信される。テレビ受像機１１は、放送波を選局して、放送番組コンテンツ及びアプリケーション制御情報を受信することができる。また、テレビ受像機１１上では、受信したコンテンツが再生されるとともに、再生中のコンテンツに連携するアプリケーション５０３が実行される。

（手順１）まず、ＴＶエージェント３１０が、オンエア中の放送コンテンツに連携するアプリケーションの放送アプリケーションサーバ５０２を事前に登録する。

（手順２）ユーザは、テレビ受像機１１上で、放送中のコンテンツに連携するアプリケーションを操作する。このとき、放送中のコンテンツに連携するアプリケーション５０３は、サーバ５０２側の放送アプリケーションから、ＰＩＮ（Ｐｅｒｓｏｎａｌ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｎｕｍｂｅｒ）のような識別情報を取得して、ＴＶエージェント３１０のユーザに対して提示する。放送中のコンテンツに連携するアプリケーションは、例えば放送番組の画面上にＰＩＮを重畳して提示してもよいし、ＰＩＮを通知する音声メッセージを放送番組の音声信号に重畳して提示してもよい。その際、放送番組の出演者や音声と重ならないようにしてＰＩＮを提示することが好ましい。

（手順３）ユーザは、ＴＶエージェント３１０に対して、放送中のコンテンツにＰＩＮを有効化してもらうように、例えば音声によりリクエストする。

（手順４）ＴＶエージェント３１０からの音声の問い合わせに応じて、放送中のコンテンツに連携するアプリケーション５０３と、サーバ５０２側の放送アプリケーションとの連携が行われる。

放送中のコンテンツに連携するアプリケーションとサーバ５０２側の放送アプリケーションとの連携が行われた以降は、ＴＶエージェント３１０は、再生中のコンテンツに連携したアプリケーションとインタラクションを行うことができる。インタラクションの度に、上記の手順１～３を逐次的に繰り返す必要はない。

例えば、ユーザがＴＶエージェント３１０に対して、出演者やＢＧＭといった番組の内容に関わる情報を音声によりリクエストしたとする。

ＴＶエージェント３１０は、収音した音声データを、エージェントシステム３３０に送信する。そして、エージェントシステム３３０は、ＴＶエージェント３１０から受信したユーザの音声データを、音声認識及び意味解析して、ユーザからリクエストされた情報を、放送アプリケーションサーバ５０２に要求する。

放送アプリケーションサーバ５０２は、テレビ受像機１１上で実行されている、放送中のコンテンツに連携するアプリケーション５０３と既に連携している状態にある。放送アプリケーションサーバ５０２は、放送中のコンテンツに連携するアプリケーションに対して、エージェントシステム３３０からリクエストされた情報を要求する。

放送コンテンツに付随するデータ放送でリクエストされた情報が伝送されている場合には、放送中のコンテンツに連携するアプリケーション５０３は、この種のデータ放送を復号して、リクエストされた情報を取得することができる。あるいは、放送中のコンテンツに連携するアプリケーションは、放送コンテンツの映像又は音声をデータ解析して、ユーザからリクエストされている情報を取得するようにしてもよい。

そして、放送中のコンテンツに連携するアプリケーション５０３は、放送中の番組の出演者やＢＧＭといった、リクエストされた情報を返信する。このとき、放送中のコンテンツに連携するアプリケーション５０３は、放送アプリケーションサーバ５０２経由でエージェントシステム３３０に情報を返信するようにしてもよいし、テレビ受像機１１のＡＰＩ経由でエージェントシステム３３０に情報を返信するようにしてもよい。

エージェントシステム３３０は、放送中のコンテンツに連携するアプリケーションから返信された情報に基づいて、ユーザに対する回答を生成し、これを音声合成して、ＴＶエージェント３１０に送信する。そして、ＴＶエージェント３１０は、放送中の番組の出演者やＢＧＭといった、ユーザからの問い合わせに対する応答メッセージを、音声出力する。ＴＶエージェント３１０の映像（アバターなど）をテレビ画面に表示するようなエージェントサービスの場合、そのような映像の表示位置にＴＶエージェント３１０の音声を音像定位させることで、ユーザに違和感を与えないようにする。また、ＴＶエージェント３１０の音場生成には、複数のスピーカーからそれぞれ出力する位相、振幅などを適切に制御して各波面を空間合成する波面合成技術を利用してもよい。波面合成を実現するために、音声出力部１０６として、表示部１０４の画面に組み込まれたるフラットパネル型スピーカー（図９を参照のこと）を音声出力部１０６に用いてもよい。

なお、ＴＶエージェント３１０は、ユーザからの問い合わせに応じてインタラクションを行うだけでなく、主体的にインタラクションを行うことも想定される。ＴＶエージェント３１０は、例えばＡＩ機能などを利用して、再生するコンテンツ毎、あるいは再生中のコンテンツのチャプター毎又はシーン毎にコンテンツに対する興味の度合いを変化させる。そして、ＴＶエージェント３１０は、コンテンツに対する興味の度合いが高まると、上述した機能を利用して再生中のコンテンツに関する情報を収集して、ユーザとの会話を自律的に行う。他方、ＴＶエージェント３１０は、コンテンツに対する興味の度合いが低くなると、ユーザと会話を行う頻度を低下させたり、無口になったりする。

図５では、ＴＶエージェント３１０が再生中のコンテンツに連携したアプリケーション５０３とインタラクションする実施例を示した。もちろん、外部エージェントデバイス３２０のアプリケーションも、上記と同様の仕組みによって、外部エージェントサービス３４０を通じて、テレビ受像機１１で再生中のコンテンツに連携したアプリケーションとのインタラクションを実現することができる。

また、図５では、ＴＶエージェント３１０が放送コンテンツの連携したアプリケーションとインタラクションを行う仕組みを示したが、ＴＶエージェント３１０は、ＯＴＴサービスのアプリケーションを含め、放送アプリケーション以外のさまざまなアプリケーションと同様にインタラクションを行うことができる。もちろん、ＴＶエージェント３１０に限られず、外部エージェントデバイス３２０のアプリケーションも、ＯＴＴサービスのアプリケーションを含め、放送アプリケーション以外のさまざまなアプリケーションと同様にインタラクションを行うことができる。

テレビ受像機１１に組み込まれているＴＶエージェント３１０が音声サービスを実施する場合、テレビ放送の音声とＴＶエージェント３１０の音声ＵＩの音声が混ざり合って、ユーザが聴き取り難くなるという問題がある。なお、同様の問題は、音楽プレーヤーなどの音響出力機器に音声エージェントが組み込まれている場合にも生じ得る。付言すれば、ＴＶエージェント３１０の映像（アバターなど）をテレビ画面に表示するようなエージェントサービスの場合、そのような映像の表示位置とは異なる場所から音声が聞こえてくると、ユーザに違和感を与えてしまうことが懸念される。

また、リビングルーム１にテレビ受像機１１が設置されているような状況では（図１を参照のこと）、複数人の家族のように、ＴＶエージェント３１０が複数のユーザを相手にすることが想定される。ＴＶエージェント３１０は、ユーザ全員ではなく、一部のユーザのみとインタラクションを行う場合がある。例えば、ＴＶエージェント３１０が１人のユーザから受けたリクエストに対して返答する場合や、ＴＶエージェント３１０が一部のユーザに限定して主体的なインタラクションを行う場合などである。リクエストしなかったその他のユーザや、インタラクションの対象から外れたユーザにとっては、ＴＶエージェント３１０の音声サービスは邪魔であり、テレビ放送の音声を聴き取り難くするという問題がある。

また、１台のテレビ受像機１１にＴＶエージェント３１０以外の音声エージェントも搭載されている場合には、ユーザは音声サービスがどのエージェントによるものかを識別し難くなるという問題がある。複数の音声エージェントがそれぞれ異なるエージェントサービスと連携している場合には、互いの音声サービスが重なり合って聴き取り難くなるケースも想定される。テレビ受像機以外の情報機器に複数の音声エージェントが搭載される場合にも、同様の問題が生じ得る。

本実施形態では、波面合成に代表される音場生成技術を導入することにより、上述したような音声の混じり合い（若しくは、音声同士の干渉）を回避し、ＴＶエージェント３１０の音声の識別性を確保するようにしている。波面合成は、複数のスピーカーからそれぞれ出力する位相、振幅などを適切に制御して各波面を空間合成する技術であり、音像定位を制御したり、部屋内で聞こえる場所と聞こえない場所をエリア制御したりすることができる。例えば、図４に示したＴＶエージェント３１０の動作環境には、波面合成技術を導入することが可能である。

例えば、ＴＶエージェント３１０の音像を、テレビ画面の横や上、あるいは部屋の天井など、テレビ受像機１１から離間した場所に定位させることによって、ユーザは、テレビ放送の音声とＴＶエージェント３１０の音声ＵＩの音声とを識別し易くなる。また、インタラクションの相手となるユーザの肩や耳元、頭の上などにＴＶエージェント３１０の音声を音像定位させると、ユーザは、観ている番組とは異なるものから話し掛けられている印象を受けて、テレビ放送の音声とＴＶエージェント３１０の音声ＵＩの音声の混じり合いを防ぐことができる。

ＴＶエージェント３１０の映像（アバターなど）をテレビ画面に表示するようなエージェントサービスの場合、そのような映像の表示位置にＴＶエージェント３１０の音声を音像定位させることで、ユーザに違和感を与えないようにする。ＴＶエージェント３１０の音場生成には、複数のスピーカーからそれぞれ出力する位相、振幅などを適切に制御して各波面を空間合成する波面合成技術を利用してもよい。波面合成を実現するために、音声出力部１０６として、表示部１０４の画面に組み込まれたるフラットパネル型スピーカー（図９を参照のこと）を音声出力部１０６に用いてもよい。

付言すれば、出演者の顔といった放送コンテンツの画面の注目領域を避けて、ＴＶエージェント３１０の映像を表示したり、注目領域以外の位置にＴＶエージェント３１０の音像を定位させたりすることが好ましい。図６には、テレビ受像機１１の画面上で、注目領域（出演者など）を避けて表示されたＴＶエージェント３１０の映像（アバターなど）６０１に、ＴＶエージェント３１０の音声ＵＩが音像定位された様子を示している。当然、テレビ画面にアバターなどを表示させない場合においても、上記注目領域を避けた音像定位処理を行うことが可能である。室内にいるユーザ位置や属性については既述の通り各種センサによるセンシング結果を用いるものとする。これにより音声エージェントを利用するユーザにとって、放送コンテンツとエージェント音声とを聞き分け易くなる効果がある。

また、複数のユーザのうち、インタラクションの相手となるユーザにのみ、ＴＶエージェント３１０の音声を音像定位させるようにして、それ以外のユーザのテレビ番組の視聴を妨害しないようにする。波面合成技術によれば、１つの音源を複数の場所に音像定位させることができるので、インタラクションの相手が２人以上いる場合には、そのユーザ毎に音像定位すればよい。インタラクションの相手となるユーザと、それ以外のユーザがそれぞれ分かれて存在する場合には、波面合成により、ＴＶエージェント３１０の音声が聞こえるエリアと聞こえないエリアを生成するようにエリア制御してもよい。例えば、ソファに座っているユーザとはインタラクションするが、ダイニングテーブルにいるユーザとはインタラクションしない場合には、ＴＶエージェント３１０の音声がソファ付近では聞こえるが、ダイニングテーブル付近では聞こえないように、ＴＶエージェント３１０の音像をエリア制御する。

また、１台のテレビ受像機１１に複数のＴＶエージェントが搭載されている場合には、テレビ受像機１１の前方、右側、左側、天井（若しくは上空）、床など、ＴＶエージェント毎に音声を音像定位する場所を変えるようにして、識別性を確保するようにする。もちろん、ＴＶエージェント毎に音声ＵＩの音色を変えるようにしてもよい。

付言すれば、音場生成技術に加えて（若しくは、音場生成技術の代わりに）、各ＴＶエージェントに音声の衝突回避技術を導入して、ＴＶエージェント間で音声が混じり合わないようにしてもよい。例えば、各ＴＶエージェントは、ランダムバックオフ時間だけ待機してから発話を開始するようにして、他のＴＶエージェントの音声を干渉しないようにする。あるいは、各ＴＶエージェントに発話の優先順位を割り当てて、優先度の低いＴＶエージェントが優先度の高いＴＶエージェントの音声に割り込まないようにする。

また、ＴＶエージェント３１０に音場生成技術を導入する場合には、理論通りの音場を生成できるように、最適な環境を形成することが好ましい。ところが、音場は、テレビ受像機１１が設置された部屋の形状や、家具の配置や家具の材質、室内温度、環境音、室内の人の状況の影響を受ける。

そこで、例えば、テレビ受像機１１としての情報機器１００が装備するセンサ部１０８や、テレビ受像機１１に外付け接続又は無線接続されているセンサ類、さらには部屋の壁や天井、床、ソファやテーブルなどの家具に組み込まれたセンサデバイスなどを使ってセンシングされた環境データに基づいて、ＴＶエージェント３１０の音声ＵＩの音場を制御することが好ましい。

また、場合によっては、ＴＶエージェント３１０が最適な音声サービスを提供するには、インタラクションの相手となるユーザに対して、室内での居場所の変更や、家具などの部屋のレイアウトの変更を促すようにしてもよい。

また、せっかくユーザがＴＶエージェント３１０からの勧めに従って自ら移動したり、部屋のレイアウトを変更したりして環境を整えたとしても、理論通りには音場が改善されず、センシングされた環境データからは、音場制御に最適な室内環境を計算できないことも想定される。このような場合には、ＴＶエージェント３１０は、自らの音声ＵＩの聴こえ具合などを質問するといったユーザとの対話を通じて、センシングされた環境データでは不足する情報を取得するようにしてもよい。そして、対話を通じて新たに得られた情報を含めて室内の最適環境を再計算して、ユーザに再度部屋のレイアウトの変更を促すようにしてもよい。

図７には、ＴＶエージェント３１０の動作手順の一例をフローチャートの形式で示している。

ＴＶエージェント３１０は、例えば初期化処理の一部として、センサ部１０８や室内の各所に配置されたセンサデバイスからセンサ情報を収集する（ステップＳ７０１）。

そして、ＴＶエージェント３１０は、収集したセンサ情報に基づいて、部屋の構造や、部屋内に設置された家具などの物体の位置や材質を推定して、ＴＶエージェント３１０の音声ＵＩの音場制御に最適となる、ユーザや家具の位置を計算して（ステップＳ７０２）、その結果をユーザに提示する（ステップＳ７０３）。

ＴＶエージェント３１０は、室内の最適配置に関する情報を、例えばテレビ受像機１１から音声ガイダンスにより提示してもよいし、画面に表示するようにしてもよい。いずれにせよ、ユーザの視聴を妨げないようにして提示処理を行うことが好ましい。

ユーザは、ＴＶエージェント３１０から提示された通りに、部屋のレイアウトや自分の位置を忠実に変更する場合もあれば、一部しか変更しない場合や、全く変更しない場合も想定される。

その後、ＴＶエージェント３１０は、ユーザとのインタラクションを開始する（ステップＳ７０４）。ユーザとのインタラクションは、ユーザからの問い合わせに応じて開始される場合（例えば、ユーザがＴＶエージェント３１０の起動ワードを発話した場合）もあれば、ＴＶエージェント３１０が主体となってインタラクションを開始する場合もある。いずれにせよ、ＴＶエージェント３１０は、インタラクションの中に、自らの音声ＵＩの聴こえ具合などを質問する対話を含めるようして、ステップＳ７０１で収集した環境データでは不足する情報を取得するように努める。もちろん、ＴＶエージェント３１０は、ユーザとの通常のインタラクションとは切り離して、不足する情報を取得することを目的としたユーザとの対話を実施するようにしてもよい。

そして、ＴＶエージェント３１０は、ユーザとのインタラクションを通じて新たに取得した情報に基づいて、現在の部屋内の環境が音場の制御に最適若しくは許容範囲内であるかどうかをチェックする（ステップＳ７０５）。現在の部屋内の環境が音場の制御に最適若しくは許容範囲内であれば（ステップＳ７０５のＹｅｓ）、ＴＶエージェント３１０は、そのままユーザとのインタラクションを継続する。一方、現在の部屋内の環境が音場の制御に最適でない若しくは許容範囲内でなければ（ステップＳ７０５のＹｅｓ）、ステップＳ７０２に戻り、ＴＶエージェント３１０は、部屋内の最適配置の計算とユーザへの提示を繰り返し実施する。

図８には、波面合成などの音場生成技術を適用して、音声エージェントの音声が他のコンテンツの音声など他の音声と混じり合わないようにする音場制御システム８００の構成例を模式的に示している。図示の音場制御システム８００は、取得部８０１と、制御部８０２を備えている。取得部８０１並びに制御部８０２は、例えばテレビ受像機１１としての情報機器１００の処理部１０１で実現される機能モジュールを想定している。

取得部８０１は、ユーザとのインタラクションを通じて再生されるＴＶエージェント３１０の音声情報と、ＴＶエージェント３１０の音声情報とは異なる他のコンテンツの音声情報を取得する。ＴＶエージェント３１０の音声情報は、例えばエージェントシステム３３０内の制御部３３４で生成されたテキスト情報を、音声合成部３３３で音声信号に変換したものである。また、ＴＶエージェント３１０の音声情報とは異なる他のコンテンツの音声情報は、テレビ受像機１１が設置され、ＴＶエージェント３１０が動作する環境内で発生する、ＴＶエージェント３１０以外の音声情報である。ＴＶエージェント３１０の音声情報とは異なる他のコンテンツの音声情報は、主に、テレビ番組の放送コンテンツの音声である。また、外部エージェントデバイス３２０が（ＴＶエージェントとは無関係に）出力する音声情報や、ＴＶエージェント３１０が動作する環境内に設置されたオーディオ機器などから出力される楽曲などの音声情報も、ＴＶエージェント３１０の音声情報とは異なる他のコンテンツの音声情報に含めることができる。

取得部８０１は、ＴＶエージェント３１０の音声情報を、エージェントシステム３３０の音声合成部３３３から取得する。また、取得部８０１は、テレビ番組の放送コンテンツの音声情報を、チューナ１０２経由で取得する。また、取得部８０１は、放送コンテンツの音声情報に関連するデータ放送アプリケーションから、テレビ受像機１１が備えるＡＰＩ経由で取得する。また、取得部８０１は、放送コンテンツ以外の音声情報を、センサ部１０８から取得する。また、情報機器１００とはホームネットワーク経由で接続されるオーディオ機器で再生されるコンテンツの音声情報に関しては、通信部１０３を介して取得するようにしてもよい。

制御部８０２は、例えば、ＴＶエージェント３１０の動作環境内に分散して配置され、テレビ受像機１１と連携する複数台のスピーカー４０１～４０６の駆動を制御して、所望の音場を生成する。制御部８０２は、上記の取得部８０１によって取得されたＴＶエージェント３１０の音声情報に基づく音声出力信号に対して音場制御処理を行う。具体的には、制御部８０２は、ＴＶエージェントの音声情報に基づく音声出力が、他のコンテンツの音声情報に基づく音声出力と異なる音像定位位置となるように音場制御処理を行う。

ＴＶエージェント３１０の映像（アバターなど）をテレビ画面に表示するようなエージェントサービスの場合、制御部８０２は、ＴＶエージェント３１０の映像の表示位置にＴＶエージェント３１０の音声を音像定位させる。また、制御部８０２は、出演者の顔といった放送コンテンツの画面の注目領域を避けて、ＴＶエージェント３１０の映像を表示したり、注目領域以外の位置にＴＶエージェント３１０の音像を定位させたりする。また、ＴＶエージェント３１０が動作する環境内に複数のユーザが存在する場合には、制御部８０２は、ＴＶエージェント３１０のインタラクションの相手となるユーザにのみ、ＴＶエージェント３１０の音声を音像定位させるようにする。また、制御部８０２は、図７に示した処理手順に従って、ＴＶエージェント３１０の音声情報の音場をフィードバック制御することもできる。

なお、本実施形態においてはＩｏＴデバイスとの連携のため、波面合成技術のほかに頭部伝達関数（Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を利用した音場生成技術と組み合わせてもよい。例えば音声エージェントを利用してＩｏＴデバイスを操作した場合、操作対象となったＩｏＴデバイスの方向から応答反応音声を発生させるようにするなどが考えられる。ＩｏＴデバイスについては既述の通りエージェントデバイス側でＩｏＴ機器の属性情報として位置情報を持っていることから、位置情報に応じた頭部伝達関数を音声信号に畳み込むことで、上記効果を得ることができる。

さらに、リビング内の環境情報をセンシングした結果に基づいて、音声エージェントが発する音声を変化させることも可能である。例えば、音声エージェントを操作しているのが子供である場合、エージェント機器が発する音声速度を低減させたり、高齢者が音声エージェントを利用している場合には出力する音声信号の音圧や周波数を変化させたりすることが考えられる。

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、本明細書で開示する技術をテレビ受像機に組み込まれているＴＶエージェントに適用した実施形態を中心に説明してきたが、本明細書で開示する技術の要旨はこれに限定されるものではない。エアコン、録画機、洗濯機などの各種ＣＥ機器やＩｏＴデバイス、スマートフォンやタブレットなどのユーザが持ち運び可能な情報端末、ユーザが着用するウェアラブル機器、対話型ロボット、車内に設置されたカーナビなど各種情報機器に組み込まれているエージェントを利用したさまざまなエージェントシステムに対しても、同様に本明細書で開示する技術を適用して、必要に応じて外部エージェントサービスを利用できるようにすることができる。

要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）ユーザとのインタラクションを通じて再生されるエージェント機器の音声情報と、前記音声情報とは異なる他のコンテンツの音声情報とを取得する取得部と、
前記取得部によって取得された前記エージェント機器の音声情報に基づく音声出力信号に対して音場制御処理を行う制御部と、
を具備する情報処理装置。
（２）前記制御部は、前記エージェント機器の音声情報に基づく音声出力が、前記他のコンテンツの音声情報に基づく音声出力と異なる音像定位位置となるように音場制御処理を行う、
上記（１）に記載の情報処理装置。
（３）前記エージェント機器はテレビ受像機である、
上記（１）に記載の情報処理装置。
（４）前記取得部は、前記エージェント機器上で再生中のコンテンツに連携したアプリケーションとのインタラクションを通じて、前記再生中のコンテンツに関連する前記情報を取得する、
上記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）前記取得部は、前記エージェント機器上で再生中のコンテンツに連携したアプリケーションとアプリケーションサーバとの連携を通じて、前記再生中のコンテンツに関連する前記情報を取得する、
上記（４）に記載の情報処理装置。
（６）前記取得部は、前記エージェント機器が備えるＡＰＩ経由で、前記再生中のコンテンツに連携したアプリケーションから前記情報を取得する、
上記（４）に記載の情報処理装置。
（７）前記エージェント機器は前記アプリケーションサーバに事前登録する、
上記（４）乃至（６）のいずれかに記載の情報処理装置。
（８）前記取得部は、放送コンテンツに連携したアプリケーションと放送アプリケーションサーバとの連携を通じて前記情報を取得する、
上記（４）乃至（７）のいずれかに記載の情報処理装置。
（９）前記取得部は、ストリーミング中のコンテンツに連携したアプリケーションとストリーミング用アプリケーションサーバとの連携を通じて前記情報を取得する、
上記（４）乃至（８）のいずれかに記載の情報処理装置。
（１０）前記制御部は、複数のスピーカーからの出力音声を波面合成して、前記エージェント機器の音場を制御する、
上記（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）前記制御部は、前記エージェント機器以外の場所に前記エージェント機器の音像を定位させる、
上記（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２）前記制御部は、前記エージェント機器の画面に表示された所定画像の位置に前記エージェント機器の音声情報の音像を定位させる、
上記（１）乃至（１０）のいずれかに記載の情報処理装置。
（１３）前記制御部は、前記エージェント機器の画面上で、再生中のコンテンツの注目領域以外の位置に前記エージェント機器の音像を定位させる、
上記（１２）に記載の情報処理装置。
（１４）前記制御部は、特定のユーザがいる場所に前記エージェント機器の音像を定位させる、
上記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１５）前記制御部は、前記エージェント機器の音声が聞こえるエリアを制御する、
上記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１６）前記エージェント機器から出力する複数の音声情報の各音像をそれぞれ異なる場所に定位させる、
上記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）前記制御部は、前記音場の制御に適した環境を計算し、計算結果を提示する、
上記（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）前記制御部は、前記エージェント機器によるユーザとのインタラクションを通じて、前記環境の適否を判定する、
上記（１９）に記載の情報処理装置。
（１９）ユーザとのインタラクションを通じて再生されるエージェント機器の音声情報と、前記音声情報とは異なる他のコンテンツの音声情報を取得する取得ステップと、
前記取得部によって取得された前記エージェント機器の音声情報に基づく音声出力信号に対して音場制御処理を行う制御ステップと、
を有する情報処理方法。
（２０）ユーザとのインタラクションを通じて音声情報を再生するエージェント機器と、
前記エージェント機器の音声情報と、前記音声情報とは異なる他のコンテンツの音声情報とを取得して、前記エージェント機器の音声情報に基づく音声出力信号に対して音場制御処理を行う制御装置と、
を具備する情報処理システム。

１００…情報機器（テレビ受像機）
１０１…処理部、１０２…チューナ、１０３…通信部
１０４…表示部、１０５…音声入力部、１０６…音声出力部
１０７…撮像部、１０８…センサ部
１０９…リモコン受信部、１１０…記録部
３００…エージェントクラウドプラットフォーム
３１０…ＴＶエージェント、３２０…外部エージェントデバイス
３２１…音声入力部、３２２…音声出力部
３３０…エージェントシステム
３３１…音声認識部、３３２…意味解析部、３３３…音声合成部
３３４…制御部
４０１～４０６…スピーカー
５０１…放送局、５０２…放送アプリケーションサーバ
８００…音場制御システム、８０１…取得部、８０２…制御部
９００…ディスプレイ、９０１…スピーカーユニット
９０１－１及び９０１－２…加振器（アクチュエータ）
９０２…スタンド
１００１…映像処理部、１００２…音声処理部
１００３…ウィンドウ制御部
１１０１…ビジュアルコミュニケーション処理部
１１０２…音声処理部、１１０３…ウィンドウ制御部
１２０１…グラフィックス処理部、１２０２…コンポーザ
１２０３…音声処理部、１２０４…ウィンドウ制御部
１２０１…映像処理部、１２０２…コンポーザ、１２０３…音声処理部
１２０４…ウィンドウ制御部

Claims (20)

1. ユーザとのインタラクションを通じて再生されるエージェント機器の音声情報と、前記音声情報とは異なる他のコンテンツの音声情報とを取得する取得部と、
   前記取得部によって取得された前記エージェント機器の音声情報に基づく音声出力信号に対して音場制御処理を行う制御部と、
   を具備する情報処理装置。
2. 前記制御部は、前記エージェント機器の音声情報に基づく音声出力が、前記他のコンテンツの音声情報に基づく音声出力と異なる音像定位位置となるように音場制御処理を行う、
   請求項１に記載の情報処理装置。
3. 前記エージェント機器はテレビ受像機である、
   請求項１に記載の情報処理装置。
4. 前記取得部は、前記エージェント機器上で再生中のコンテンツに連携したアプリケーションとのインタラクションを通じて、前記再生中のコンテンツに関連する前記情報を取得する、
   請求項１に記載の情報処理装置。
5. 前記取得部は、前記エージェント機器上で再生中のコンテンツに連携したアプリケーションとアプリケーションサーバとの連携を通じて、前記再生中のコンテンツに関連する前記情報を取得する、
   請求項４に記載の情報処理装置。
6. 前記取得部は、前記エージェント機器が備えるＡＰＩ経由で、前記再生中のコンテンツに連携したアプリケーションから前記情報を取得する、
   請求項４に記載の情報処理装置。
7. 前記エージェント機器は前記アプリケーションサーバに事前登録する、
   請求項４に記載の情報処理装置。
8. 前記取得部は、放送コンテンツに連携したアプリケーションと放送アプリケーションサーバとの連携を通じて前記情報を取得する、
   請求項４に記載の情報処理装置。
9. 前記取得部は、ストリーミング中のコンテンツに連携したアプリケーションとストリーミング用アプリケーションサーバとの連携を通じて前記情報を取得する、
   請求項４に記載の情報処理装置。
10. 前記制御部は、複数のスピーカーからの出力音声を波面合成して、前記エージェント機器の音場を制御する、
    請求項１に記載の情報処理装置。
11. 前記制御部は、前記エージェント機器以外の場所に前記エージェント機器の音像を定位させる、
    請求項１に記載の情報処理装置。
12. 前記制御部は、前記エージェント機器の画面に表示された所定画像の位置に前記エージェント機器の音声情報の音像を定位させる、
    請求項１に記載の情報処理装置。
13. 前記制御部は、前記エージェント機器の画面上で、再生中のコンテンツの注目領域以外の位置に前記エージェント機器の音像を定位させる、
    請求項１２に記載の情報処理装置。
14. 前記制御部は、特定のユーザがいる場所に前記エージェント機器の音像を定位させる、
    請求項１に記載の情報処理装置。
15. 前記制御部は、前記エージェント機器の音声が聞こえるエリアを制御する、
    請求項１に記載の情報処理装置。
16. 前記エージェント機器から出力する複数の音声情報の各音像をそれぞれ異なる場所に定位させる、
    請求項１に記載の情報処理装置。
17. 前記制御部は、前記音場の制御に適した環境を計算し、計算結果を提示する、
    請求項１に記載の情報処理装置。
18. 前記制御部は、前記エージェント機器によるユーザとのインタラクションを通じて、前記環境の適否を判定する、
    請求項１７に記載の情報処理装置。
19. ユーザとのインタラクションを通じて再生されるエージェント機器の音声情報と、前記音声情報とは異なる他のコンテンツの音声情報を取得する取得ステップと、
    前記取得ステップで取得された前記エージェント機器の音声情報に基づく音声出力信号に対して音場制御処理を行う制御ステップと、
    を有する情報処理方法。
20. ユーザとのインタラクションを通じて音声情報を再生するエージェント機器と、
    前記エージェント機器の音声情報と、前記音声情報とは異なる他のコンテンツの音声情報とを取得して、前記エージェント機器の音声情報に基づく音声出力信号に対して音場制御処理を行う制御装置と、
    を具備する情報処理システム。

Images