JP4508917B2 - 情報呈示装置、情報呈示方法、および、情報呈示用プログラム - Google Patents

Description

本発明は、情報呈示装置、情報呈示方法、および、情報呈示用プログラムに関する。

近年、ユーザ一人ひとりの嗜好に合わせたアドバイスを行ったり、商品またはサービスを紹介したりする、いわゆるエージェント機能が種々提案されている。

このようなエージェント機能を有する装置では、例えば、人の形を模したキャラクタ等を表示させ、ユーザからの質問等に当該キャラクタが応答するように構成されているものがある。

ところで、このようなエージェント機能を有する装置の場合、常に同じキャラクタが表示されると、ユーザが飽きを感じてしまう。そこで、特許文献１に示すように、キャラクタを必要に応じて変更することができる技術が提案されている。

特開２００３−１７３４５１号公報（特許請求の範囲、要約書）

ところで、特許文献１に示す技術は、キャラクタについては変更することができるが、キャラクタが発生する音声および応答パターンについては変更することができない。このため、ユーザが飽きを感じてしまったり、ユーザが求めているのとは異なる応答がなされてしまったりするという問題点がある。

本発明は、上記の事情に基づきなされたもので、その目的とするところは、ユーザが真に求めている情報を呈示することができるとともに、呈示される情報に飽きを感じにくい情報呈示装置、情報呈示方法、および、情報呈示用プログラムを提供することを目的とする。

上述の目的を達成するため、本発明の情報呈示装置は、ユーザの入力情報に対応する情報をキャラクタによる応答として呈示する情報呈示装置において、キャラクタの応答パターンを示す複数のシナリオデータを記憶する第１の記憶手段と、キャラクタが応答する際の音声情報を記憶する第２の記憶手段と、音声情報に対応するキャラクタに関する情報を記憶する第３の記憶手段と、ユーザから所定の入力情報が供給された場合には、シナリオデータに基づいて音声情報、および、キャラクタに関する情報を第１〜第３の記憶手段から取得する取得手段と、取得手段によって取得された音声情報、および、キャラクタに関する情報を所定の出力装置にそれぞれ出力する出力手段と、第１の記憶手段に記憶されている複数のシナリオデータの中から選択されるシナリオデータに基づいてキャラクタの応答パターンを変更する変更手段と、を有している。

また、本発明の情報呈示装置は、上述の発明に加えて、音声情報が、キャラクタに応じた音声を出力するための情報であり、キャラクタに関する情報が、キャラクタを表示するための画像情報であるようにしている。

また、本発明の情報呈示装置は、上述の発明に加えて、変更手段が、シナリオデータ、音声情報、および、キャラクタに関する情報を他の記憶装置から取得して変更するようにしている。

また、本発明の情報呈示装置は、上述の発明に加えて、変更手段が、ユーザの入力情報に対応する専門分野に属するシナリオデータに変更すると共に、当該専門分野に応じたキャラクタおよび音声情報に変更するようにしている。

また、本発明の情報呈示装置は、上述の発明に加えて、変更手段が、ユーザからの要求に応じてぼけ役またはつっこみ役を示すキャラクタに変更し、シナリオデータおよび音声情報についても該当する情報に変更するようにしている。

また、本発明の情報呈示装置が実行する情報呈示方法は、ユーザの入力情報に対応する情報をキャラクタによる応答として呈示する情報呈示装置が実行する情報呈示方法において、ユーザから所定の入力情報が供給された場合には、応答パターンを示すシナリオデータに基づいて音声情報、および、キャラクタに関する情報を記憶装置から取得し、取得された音声情報、および、キャラクタに関する情報を所定の出力装置にそれぞれ出力し、複数のシナリオデータの中から選択されるシナリオデータに基づいてキャラクタの応答パターンを変更するようにしている。

また、本発明の情報呈示用プログラムは、ユーザの入力情報に対応する情報をキャラクタによる応答として呈示する処理をコンピュータに機能させるコンピュータ読み取り可能な情報呈示用プログラムにおいて、コンピュータを、キャラクタの応答パターンを示す複数のシナリオデータを記憶する第１の記憶手段、キャラクタが応答する際の音声情報を記憶する第２の記憶手段、音声情報に対応するキャラクタに関する情報を記憶する第３の記憶手段、ユーザから所定の入力情報が供給された場合には、シナリオデータに基づいて音声情報、および、キャラクタに関する情報を第１〜第３の記憶手段から取得する取得手段、取得手段によって取得された音声情報、および、キャラクタに関する情報を所定の出力装置にそれぞれ出力する出力手段、第１の記憶手段に記憶されている複数のシナリオデータの中から選択されるシナリオデータに基づいてキャラクタの応答パターンを変更する変更手段、として機能させるようにしている。

本発明は、ユーザが真に求めている情報を呈示することができるとともに、呈示される情報に飽きを感じにくい情報呈示装置、情報呈示方法、および、情報呈示用プログラムを提供することができる。

以下、本発明の一実施の形態について図に基づいて説明する。

図１は、本発明の実施の形態に係る情報呈示装置の構成例を示すブロック図である。この図に示すように、本発明の実施の形態に係る情報呈示装置１０は、ＣＰＵ（Central Processing Unit）１０ａ、ＲＯＭ（Read Only Memory）１０ｂ、ＲＡＭ（Random Access Memory）１０ｃ、ＨＤＤ（Hard Disk Drive）１０ｄ、ビデオ回路１０ｅ、Ｉ／Ｆ（Interface）１０ｆ、バス１０ｇ、表示装置１０ｈ、記憶装置１０ｉ、音声入力装置１０ｊ、および、音声出力装置１０ｋを有している。

ここで、取得手段および変更手段としてのＣＰＵ１０ａは、ＨＤＤ１０ｄに格納されているプログラムに応じて、各種演算処理を実行するとともに、装置の各部を制御する中央処理装置である。

ＲＯＭ１０ｂは、ＣＰＵ１０ａが実行するプログラムを格納した半導体記憶装置である。ＲＡＭ１０ｃは、ＣＰＵ１０ａが実行するプログラムを一時的に記憶する半導体記憶装置である。

第１の記憶手段、第２の記憶手段、および、第３の記憶手段としてのＨＤＤ１０ｄは、ＣＰＵ１０ａが実行するプログラムおよびデータを格納している。具体的には、ＨＤＤ１０ｄは、音声処理プログラム１０ｄ１、エージェント処理プログラム１０ｄ２、キャラクタ情報ＤＢ（Data Base）１０ｄ３、および、キャラクタ変更プログラム１０ｄ４を有している。ここで、音声処理プログラム１０ｄ１は、図２を参照して後述するように、音声の入出力および音声認識に関する処理を実行するためのプログラムである。エージェント処理プログラム１０ｄ２は、同じく、図２を参照して後述するように、音声処理プログラム１０ｄ１の処理に基づいて入力された音声に対応した所定の応答情報を取得し、音声として出力するためのプログラムである。キャラクタ情報ＤＢ１０ｄ３は、キャラクタに関する情報を格納するデータベースである。キャラクタ変更プログラム１０ｄ４は、キャラクタを変更する必要が生じた場合に、キャラクタ情報ＤＢ１０ｄ３に格納されている情報を他のキャラクタのものに変更するとともに、関連する情報を対応する情報に変更する処理を実行するプログラムである。

出力手段としてのビデオ回路１０ｅは、ＣＰＵ１０ａから供給された描画コマンドに応じた描画処理を実行するとともに、描画処理の結果として得られた画像を映像信号に変換して表示装置１０ｈへ出力する。

出力手段としてのＩ／Ｆ１０ｆは、記憶装置１０ｉおよび音声入力装置１０ｊからの出力される信号の表現形式を変換して入力するとともに、記憶装置１０ｉおよび音声出力装置１０ｋに対して出力する信号の表現形式を変換する。バス１０ｇは、ＣＰＵ１０ａ、ＲＯＭ１０ｂ、ＲＡＭ１０ｃ、ＨＤＤ１０ｄ、ビデオ回路１０ｅ、および、Ｉ／Ｆ１０ｆを相互に接続し、これらの間で情報の授受を可能とするための信号線群である。

表示装置１０ｈは、ビデオ回路１０ｅから出力される映像信号を表示するための装置であり、ＣＲＴ（Cathode Ray Tube）モニタ等によって構成される。記憶装置１０ｉは、例えば、ＣＤ（Compact Disk）−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）−ＲＯＭに記録された情報を読み出す装置である。また、記憶装置１０ｉとしては、記録可能な記録媒体（例えば、ＣＤ−Ｒ（Recordable）、ＤＶＤ−Ｒ、ＤＶＤ−ＲＡＭ）から情報を読み出すとともに、情報を書き込むことができる装置としてもよい。

音声入力装置１０ｊは、ユーザの音声を電気信号に変換した後に、ディジタルデータに変換して出力する装置であり、例えば、マイクロフォンおよびＡ／Ｄ（Analog to Digital）変換器等によって構成される。音声出力装置１０ｋは、ディジタル信号をアナログ信号に変換した後に、音声として出力する装置であり、例えば、Ｄ／Ａ（Digital to Analog）変換器およびスピーカ等によって構成される。

図２は、図１に示すＨＤＤに記憶されている音声処理プログラム１０ｄ１、エージェント処理プログラム１０ｄ２、および、キャラクタ変更プログラム１０ｄ４によって、実現される機能のブロックを説明するための図である。

この図において、音声認識部５０は、音声入力装置１０ｊを介して入力された音声データに含まれている雑音を除去する処理等を実行した後、エージェント処理部５２の単語データベース５２ｃを参照して、音声データに対する認識処理を施し、この音声データに対応する単語の候補と、それぞれの候補の尤度（スコア）とを出力する。

具体的には、音声認識部５０は、例えば、入力された音声データと、単語データベース５２ｃに登録されているすべての単語とのマッチング処理を行ってスコアを算出し、どの単語のスコアが最も高いかを検討する。例えば、ユーザの発話が「え〜と、？？？が減ったよ。」である場合に、？？？の部分が「お腹」とも「お墓」とも認識され得るときは、音声認識部５０は、「？？？」の部分については単語「お腹」に対するスコアが８０％で、単語「お墓」に対するスコアが６５％のようにスコアを計算する。そして、最も高いスコアを有する単語「お腹」を発話「？？？」に対する単語であるとして選択する。そして、音声認識部５０は、「え〜と、お腹が減ったよ。」というテキスト文字列（または単語ＩＤ（Identifier））を生成して、自然言語解析部５１に供給する。

なお、音声認識部５０が行う音声認識の手法は任意である。また、スコアの値が所定値を下回る単語については、候補として選択しないようにしてもよい。また、１つの音声入力に対して複数の単語の候補が選択されるようにしてもよい。具体的には、上述のように「お腹」を１つ選択するのではなく、「お腹」と「お墓」の双方を選択して、出力するようにすることも可能である。その場合には、特定した候補とそのスコアを示すデータ（以下、「単語データ」と称する）を生成して出力する。単語データは、単語情報そのものとスコアを含むものとしてもよいが、実際には単語ＩＤとスコアを含むものとした方がデータの取り扱い上有利である。

自然言語解析部５１は、音声認識部５０から供給された単語データ（またはテキストデータ）に形態素解析処理を施すことにより、単語データを構成する単語を品詞毎に分類し、分類結果を示すデータを単語データに付して、エージェント処理部５２に供給する。なお、自然言語解析部５１が行う分類の手法は任意であり、例えば、奈良先端技術大学で開発された日本語形態素解析の手法である“Ｃｈａｓｅｎ”を用いることができる。具体的には、自然言語解析部５１は、入力音声から所定の品詞（例えば、名詞、動詞のみ）を抽出して出力する。この結果、入力音声がユーザの自然な発話である場合（例えば、「あ〜お腹がすいたな。」）でも、処理に必要なキーワード（「お腹」および「すいた」）が抽出される。

エージェント処理部５２は、Ｉ／Ｆ５２ａ、カテゴリ辞書５２ｂ、単語データベース５２ｃ、処理項目データベース５２ｄ、および、ワイヤデータベース５２ｅを有し、自然言語解析部５１から供給された単語の品詞に基づいて、ユーザへの問いかけなどの処理を行う。例えば、ユーザが「お腹がすいたなあ」と発話した場合には、エージェント処理部５２はこれに対する問いかけとして「食事に行きますか」を音声合成処理部５３に出力する。

ここで、Ｉ／Ｆ５２ａは、図示せぬ他の処理部との間でデータを授受する場合に、データのフォーマット等を変換する。

カテゴリ辞書５２ｂは、単語を示すデータと、当該単語が属するカテゴリを示すデータとを相互に関連付けて格納している。例えば、単語「減った」はカテゴリ「食事」に対応付けられている。なお、１個の単語が複数のカテゴリに属するようにしてもよい（例えば、単語「昼食」を、カテゴリ「腹具合」および「時間帯」の双方に対応付けしてもよい）。

単語データベース５２ｃは、単語とその発音データとを関連付けして格納しており、音声認識部５０が入力された音声データを認識処理する際に利用される。

処理項目データベース５２ｄは、エージェント処理部５２が実行するトリガ取得処理、判別処理、および、入出力処理の内容を処理項目（ポインタ）毎に記述するデータを格納している。ここで、トリガ取得処理の内容を記述するデータは、一連の処理を開始するきっかけとなるトリガを指定するデータと、後述する進行方向の確率係数とを有している。取得するデータは、任意のものでよく、例えば、自然言語解析部５１から供給される単語データ、図示せぬクロックから供給される時刻を示すデータ、または、エージェント処理部５２自身が実行する処理から引き渡されるデータ等がある。

判別処理の内容を記述するデータは、進行方向の確率係数を、とり得る判別結果毎に記述したデータを含んでおり、また、後述する戻り方向の確率係数を含んでいる。なお、エージェント処理部５２は、後述するワイヤ（遷移定義データ）に基づいて処理の手順を決定するものであり、どのワイヤが示す遷移を実行するかは、直接的には上述の確率係数に従って決定するのではなく、後述する重み係数に従って決定する。

判別処理では、判別に用いるデータを、任意の取得源から取得することができる。例えば、取得源として、自然言語解析部５１、エージェント処理部５２が実行する他の処理等が考えられる。また、判別処理では、判別に先立って所定の出力先にデータを出力することもできる。例えば、所定の質問を示す音声データを、音声合成処理部５３に出力する等である。

入出力処理の内容を記述するデータは、入力あるいは出力するデータの内容を指定するデータからなっている。入力または出力するデータは、任意の内容を有していてよく、例えば、出力するデータは、音声合成処理部５３を介して音声出力装置１０ｋから音声として出力する音声データであってもよいし、入力するデータは外部の機器から供給されるデータであってもよい。

ワイヤデータベース５２ｅは、複数の処理間の遷移を記述するデータ、つまり、遷移定義データ（以下、定義遷移データを「ワイヤ」と称する）の集合からなっている。ワイヤは、例えば、図３に示すような書式で記述されたデータからなっており、図示するように、先行する処理から後続する処理への遷移について、当該先行する処理と、当該後続する処理と、当該遷移に対して与えられた重み係数と、を指定するデータである。ただし、先行の処理が判別処理である場合には、当該判別処理のどの判別結果からの遷移であるかまで記述される必要がある。

なお、上述した処理項目データが記述する確率係数を、接続されるワイヤが示す遷移が実行された実績に従ってエージェント処理部５２等によって書き換えるようにしてもよい。例えば、特定のワイヤが示す遷移が実行される頻度が所定値よりも高い場合、このワイヤが示す遷移元の処理項目を示す処理項目データに記述されている確率係数の値を従前よりも大きな値にエージェント処理部５２が書き換えることによって、このワイヤが示す遷移が起こりやすくする等である。そのような方法によれば、結果的にユーザの意図する応答がなされる確率が高くなる。

エージェント処理部５２は、処理項目データベース５２ｄおよびワイヤデータベース５２ｅが全体として表しているフローを実行する。処理項目データベース５２ｄおよびワイヤデータベース５２ｅは、例えば、図４に示すフローチャートとして表すことができる。

ここで、エージェント処理部５２の処理が、具体的にどのように行われるかについて、図４を参照して説明する。エージェント処理部５２は、図示するように、先行する第１の処理Ｐ１を実行して後述の第２の処理Ｐ２に遷移するようにワイヤＷ０１により定義されており、第２の処理Ｐ２を実行して後続の第３の処理Ｐ３に遷移するようにワイヤＷ０３によって定義されているとき、以下の処理が実行される。

なお、処理Ｐ１は、単語「痛い」を表す単語データが供給されたか否かを判断する処理であるとし、処理Ｐ２は、単語「頭」を表す単語データが供給されたか否かを判断する処理であるとし、処理Ｐ３は、「めまい」があるか否かを判定する処理である。なお、図示するように、処理Ｐ１〜Ｐ３の進行方向の確率係数はいずれも０．５であるものとする。また、エージェント処理部５２は、音声認識部５０が自然言語と分類された単語データのうち、自然言語解析部５１において名詞または動詞に分類された単語データのみを取得するものとする。

まず、エージェント処理部５２が第１の処理Ｐ１に達したとき、エージェント処理部５２は、ワイヤＷ０１，Ｗ０３，Ｗ０５のそれぞれの重み係数を計算し、計算結果をワイヤＷ０１，Ｗ０３，Ｗ０５に書き込む。これらの値は、各処理に予め設定されている進行方向の確率係数によって決定される。

具体的には、処理Ｐ１に処理が到達したとき、ワイヤＷ０１の重み係数は、処理Ｐ１のワイヤに係る確率係数の値すなわち０．５となる。処理Ｐ２のワイヤＷ０３の重み係数は、処理Ｐ１のワイヤＷ０１に係る重み係数０．５に処理Ｐ２のワイヤＷ０３に係る確率係数０．５を乗じた結果すなわち０．２５となる。ワイヤＷ０５の重み係数は、処理Ｐ１のワイヤＷ０１に係る確率係数０．５に処理Ｐ２のワイヤＷ０３に係る確率係数０．５を乗じた結果にさらに処理Ｐ３のワイヤＷ０５に係る確率係数０．５を乗じた結果、すなわち、０．１２５となる。

このようにして、ある処理を基点としたときのそれぞれのワイヤの重み係数が計算される。よって、現在の状況が遷移すると、現在の処理を基点としてその都度重み係数が計算されることになる。

具体的には、現在の状態が処理Ｐ２に遷移すると、ワイヤＷ０３の重み係数は、処理Ｐ２のワイヤＷ０３に係る確率係数に等しい値０．５となり、ワイヤＷ０５の重み係数は、処理Ｐ２のワイヤＷ０３に係る確率係数０．５と、処理Ｐ３のワイヤＷ０５に係る重み係数０．５との積すなわち０．２５となる。また、このとき、エージェント処理部５２は、逆方向、つまり処理Ｐ１に戻る方向に係るワイヤＷ０１の重み係数も再度書き込む。処理Ｐ２に遷移した場合では、ワイヤＷ０１に係る戻り方向の重み係数０．１がそのままワイヤＷ０１の重み係数となる。処理Ｐ３に遷移した場合は、さらに、ワイヤＷ０３に係る戻り方向の確率係数０．１がそのままワイヤＷ０３の重み係数となる。そして、処理Ｐ３に遷移した状態におけるワイヤＷ０１の重み係数は、処理Ｐ３に遷移した状態におけるワイヤＷ０３の重み係数０．１に、処理Ｐ２の戻り方向の確率係数０．１を乗じた値すなわち０．０１となる。

重み係数の計算は、関連するフローの処理のみではなく、すべてのフローのすべてのワイヤについて設定される。ここで、現在の処理に関連のないワイヤについては、予め定められた低い計数値を割り当てるようにすればよい。しかし、特に、トリガ取得処理を先行の処理とするワイヤについては、重み係数をある程度高く設定するようにする。そのようにすることで、直前までなされていた会話と著しく異なる内容の会話にもジャンプすることが可能になる。

エージェント処理部５２は、判別条件に係る１個または複数個の単語データもしくは状態データが自然言語解析部５１等から供給されると、以下の処理を実行する。なお、簡単のため、以下では、単語データが供給された場合を例に挙げて説明するが、状態データが供給された場合においても同様の処理がなされるものとする。

まず、前述の処理によって各ワイヤに対して設定された重み係数と、供給された単語データが示すスコアとの積を計算する。例えば、図４に示すフローの処理が実行されている場合において、単語「痛い」を示す単語データがスコア８０％で供給され、単語「頭」を示す単語データがスコア５０％で供給されたとし、また、単語「痛い」を条件とするワイヤＷ０１の重み係数が０．５、単語「頭」を条件とするワイヤＷ０３の重み係数が０．２５であったとする。この場合、ワイヤＷ０１およびＷ０３について求められる判別結果は、以下の式（１）および式（２）のようになる。

〔数１〕
ワイヤＷ０１についての判別結果：「痛い」に対するスコア８０％×ワイヤＷ０１の重み係数０．５＝４０

〔数２〕
ワイヤＷ０３についての判別結果：「頭」に対するスコア５０％×ワイヤＷ０３の重み係数０．２５＝１２．５

エージェント処理部５２は、スコアと重み係数との積を求める上述の処理を、フローの処理が有するワイヤのうち、少なくともスコアが設定されたすべてのワイヤについて行う。その結果、例えば、ワイヤＷ０１について求めた積（つまり、判別結果）が最も高い値を示した場合、入力された音声は単語「痛い」を示すものであったと認識して、ワイヤＷ０１が後続の処理としている処理Ｐ２に遷移することになる。

図２に戻って、音声合成処理部５３は、音片合成用データベース５３ａ、音素合成用データベース５３ｂ、素片合成用データベース５３ｃを有しており、エージェント処理部５２から供給されたテキストデータに対応する音声を合成して出力する。

ここで、音片合成用データベース５３ａは、音片合成を実行する際に用いる音片データを格納している。ここで、音片とは、１つ以上の音素からなる音声の集合である。例えば、音片として「食事に」と「行きますか？」をそれぞれ格納しておき、これらをつなぎ合わせて合成することにより「食事に行きますか？」という自然な音声を得ることができる。

音素合成用データベース５３ｂは、音素合成を実行する際に用いる音素データを格納している。ここで、音素とは、語と語の意味を区別する機能を有する音声の最小単位をいう。本実施の形態では、音片合成を優先して音声合成が実行されるが、音片データが存在しない場合には、音素を合成することにより、必要な音声データを生成する。

素片合成用データベース５３ｃは、音片合成用データベース５３ａに格納されている音片と、音素合成用データベース５３ｂに格納されている音素とを用いて音声を合成する場合に、これらを合成するためのデータを格納している。

音声出力装置１０ｋは、音声合成処理部５３から出力された音声データをＤ／A変換し、増幅器で増幅した後、スピーカから音声として出力する。

つぎに、本発明の実施の形態に係る情報呈示装置の動作について説明する。

図５は、本発明の実施の形態に係る情報呈示装置の動作を説明するためのフローチャートである。このフローチャートの処理が開始されると以下のステップが実行される。

ステップＳ１０：ＣＰＵ１０ａは、音声入力装置１０ｊの出力を参照し、ユーザが発話を行ったことが検出された場合には、音声の入力を開始する。

ステップＳ１１：ＣＰＵ１０ａは、音声処理プログラム１０ｄ１に基づいて音声認識を開始する。具体的には、音声入力装置１０ｊは、ユーザの発話を音声信号（アナログ信号）に変換した後、さらに、ディジタル信号に変換し、音声認識部５０に供給する。音声認識部５０では、当該発話が、対応するテキストデータに変換され、自然言語解析部５１に供給される。自然言語解析部５１では、当該発話を形態素（意味を有する最小単位）に分解し、それぞれの形態素の品詞を特定して出力する。

ステップＳ１２：ＣＰＵ１０ａは、ステップＳ１１の認識結果に基づいて、キャラクタを表示する。具体的は、ＣＰＵ１０ａは、ＨＤＤ１０ｄのキャラクタ情報ＤＢ１０ｄ３に格納されているデフォルトのキャラクタ画像データを読み出し、ビデオ回路１０ｅに供給して表示する。その結果、表示装置１０ｈには、図６に示すような画像が表示される。この例では、枠７０が表示され、枠７０内の最上部には、表示されているキャラクタを説明するタイトル７１として「薬の専門家」が表示されている。また、その下には、薬の専門家としてのキャラクタ７２が表示されている。なお、キャラクタ７２をアニメーション画像（動画像）とし、ユーザから入力された音声情報や時間の経過に応じて所定の動作を行うようにしてもよい。

ステップＳ１３：ＣＰＵ１０ａは、ステップＳ１１における音声認識処理の結果に応じて応答処理を実行する。例えば、図４のフローを例に挙げると、処理Ｐ１においてユーザから音声データ「痛い」が入力されたと判断され、処理Ｐ２において音声データ「頭」が入力されたと判断され、さらに、処理Ｐ３において「めまい」があると判断された場合には、例えば、エージェント処理部５２は、処理項目データベース５２ｄから該当するコメント「薬効成分アセサルチル酸が配合された○○○を食後に１錠服用すると良いでしょう。」を取得し、音声合成処理部５３に供給する。その結果、音声出力装置１０ｋからは前述のメッセージが図６に示すキャラクタの音声として出力される。なお、このとき、図６に示すキャラクタが音声に応じて口唇を動かしたり、身体の一部（例えば、手や足等）を動かしたりするようにしてもよい。

ステップＳ１４：ＣＰＵ１０ａは、ステップＳ１１の音声認識処理において、キャラクタを変更するようにユーザから要求がなされたか否かを判定し、要求がなされたと判定した場合には、ステップＳ１５に進み、それ以外の場合にはステップＳ１６に進む。例えば、ユーザが「投資の専門家に相談したい。」のような発話を行った場合には、ステップＳ１１においてキャラクタの変更が要求されていると判断し、ステップＳ１５に進む。

ステップＳ１５：ＣＰＵ１０ａは、キャラクタを変更する処理を実行する。この処理の詳細は、図８を参照して後述する。ステップＳ１５に示す処理が実行されてキャラクタが変更されると、表示装置１０ｈには、例えば、図７に示すような画像が表示されることになる。この例では、枠８０が表示され、枠８０内の最上部には、表示されているキャラクタを説明するためのタイトル８１として「投資の専門家」が表示されている。また、その下には、投資の専門家としてのキャラクタ８２が表示されている。なお、この新たなキャラクタは、図６のキャラクタと比較すると、キャラクタ自体の姿態が異なるのみならず、声質、話し方、会話に登場する専門用語、および、動作が異なっている。すなわち、後述するように、キャラクタの画像情報のみならず、音声情報、および、応答情報についても併せて変更される。

ステップＳ１６：ＣＰＵ１０ａは、処理を終了するか否かを判定し、終了しない場合にはステップＳ１０に戻って同様の処理を繰り返し、それ以外の場合には処理を終了する。

つぎに、図８を参照して、図５のステップＳ１５に示すキャラクタ変更処理の詳細について説明する。なお、１つのキャラクタは、図９に示すような複数のデータによって構成されている。この例では、キャラクタを構成するデータ１００としては、例えば、キャラクタ画像データ１０１、キャラクタ音声データ１０２、および、シナリオデータ１０３がある。ここで、キャラクタに関する情報としてのキャラクタ画像データ１０１は、図６または図７に示すキャラクタ７２およびキャラクタ８２を表示するための静止画または動画データである。音声情報としてのキャラクタ音声データ１０２は、キャラクタの音声および発話内容に関するデータであり、声色、口調、方言、使用する専門用語に関するデータである。応答情報としてのシナリオデータ１０３は、キャラクタのユーザに対する応答パターンを示すデータである。

図８のフローチャートの処理が開始されると、以下のステップが実行される。

ステップＳ３０：ＣＰＵ１０ａは、例えば、記憶装置１０ｉまたは図示せぬサーバ装置からネットワークを介してキャラクタ画像データ１０１を受信する。

ステップＳ３１：ＣＰＵ１０ａは、キャラクタ画像データ１０１の受信が完了したか否かを判定し、終了した場合にはステップＳ３２に進み、それ以外の場合には同様の処理を繰り返す。

ステップＳ３２：ＣＰＵ１０ａは、データが正常に受信できたか否かを判定し、受信できたと判定した場合にはステップＳ３３に進み、それ以外の場合にはステップＳ３０に戻って受信処理を繰り返す。

ステップＳ３３：ＣＰＵ１０ａは、例えば、記憶装置１０ｉまたは図示せぬサーバ装置からネットワークを介してキャラクタ音声データ１０２を受信する。

ステップＳ３４：ＣＰＵ１０ａは、キャラクタ音声データ１０２の受信が完了したか否かを判定し、終了した場合にはステップＳ３５に進み、それ以外の場合には同様の処理を繰り返す。

ステップＳ３５：ＣＰＵ１０ａは、データが正常に受信できたか否かを判定し、受信できたと判定した場合にはステップＳ３６に進み、それ以外の場合にはステップＳ３３に戻って受信処理を繰り返す。

ステップＳ３６：ＣＰＵ１０ａは、例えば、記憶装置１０ｉまたは図示せぬサーバ装置からネットワークを介してシナリオデータ１０３を受信する。

ステップＳ３７：ＣＰＵ１０ａは、シナリオデータ１０３の受信が完了したか否かを判定し、終了した場合にはステップＳ３８に進み、それ以外の場合には同様の処理を繰り返す。

ステップＳ３８：ＣＰＵ１０ａは、データが正常に受信できたか否かを判定し、受信できたと判定した場合にはステップＳ３９に進み、それ以外の場合にはステップＳ３６に戻って受信処理を繰り返す。

ステップＳ３９：ＣＰＵ１０ａは、以上の処理により受信したキャラクタ画像データ１０１、キャラクタ音声データ１０２、および、シナリオデータ１０３をＨＤＤ１０ｄに格納する。具体的には、ＣＰＵ１０ａは、キャラクタ変更処理部５４により、単語データベース５２ｃ、処理項目データベース５２ｄ、ワイヤデータベース５２ｅ、音片合成用データベース５３ａ、音素合成用データベース５３ｂ、素片合成用データベース５３ｃ、および、キャラクタ情報ＤＢ１０ｄ３に格納されているデータを、新たに受信したキャラクタ画像データ１０１、キャラクタ音声データ１０２、および、シナリオデータ１０３に含まれているデータにより更新する。

以上の処理によれば、ユーザからの要求がなされた場合には、表示装置１０ｈに表示されるキャラクタの画像が変更されるとともに、キャラクタの発する音声およびシナリオが変更されるので、ユーザの嗜好や目的に合ったキャラクタを選択することが可能になる。

また、キャラクタとともに対応可能な専門用語およびシナリオを併せて変更することにより、限られた記憶容量で、複数の専門分野に対応することが可能になる。

また、それぞれの専門分野に応じたキャラクタが表示されることから、ユーザが親しみ安いインターフェースを提供することが可能になる。

ところで、以上の実施の形態では、ユーザの要求に応じた専門分野に対応するキャラクタが表示されるようにしたが、例えば、漫才等に見られるいわゆる「ぼけ」および「つっこみ」のキャラクタを実現し、それぞれのキャラクタと対話するだけでなく、例えば、漫才の練習等に役立てることも可能である。

図１０は、漫才の練習に用いる場合の動作モードの一例を示す図である。この例では、練習モードとしては、ぼけ練習モード、つっこみ練習モード、および、自動実行モードを有している。ここで、ぼけ練習モードは、ユーザがぼけ役であり、情報呈示装置１０がつっこみ役であるモードであり、情報呈示装置１０がユーザの音声を認識し、その言葉に応じた音声を出力するモードである。また、つっこみ練習モードは、情報呈示装置１０がぼけ役であり、ユーザがつっこみ役であるモードであり、情報呈示装置１０がユーザの音声を認識し、その言葉に応じた音声を出力するモードである。また、自動実行モードは、ぼけ役およびつっこみ役の双方が情報呈示装置１０であるモードであり、ユーザは情報呈示装置１０によって呈示されるぼけ役とつっこみ役のやり取りをお手本として参照することが可能なモードである。

なお、ぼけ練習モードでは、表示装置１０ｈには、つっこみ役のキャラクタが表示される。また、つっこみ練習モードでは、表示装置１０ｈには、ぼけ役のキャラクタが表示される。さらに、自動実行モードでは、表示装置１０ｈには、ぼけ役とつっこみ役の双方のキャラクタが表示される。

図１１は、図１０に示すぼけ練習モードにおける情報呈示装置の応答パターンの一例を示す図である。この図では、あいづち、つっこみ、終了の３つのパターンが示されている。ここで、「あいづち」は、ユーザの話した内容にあいづちを打つ応答パターンであり、具体的には「ふむふむ」、「それで」等の応答パターンである。このような応答パターンは、例えば、ぼけ役のユーザの発話が終了して、所定時間の無音状態が検出された場合に選択されて呈示される。また、「つっこみ」は、例えば、ぼけ役のユーザの発話が終了し、所定時間の無音状態が検出された場合であって、ユーザの発話の語尾の声量が大きくなったときに選択されて呈示される。声量が大きくなるのはユーザがつっこんで欲しいことを意図している場合が多いためである。また、「終了」は、ネタを披露する時間は予め決まっている場合が多いので、例えば、所定の時間（例えば、開始から５分）が経過し、ユーザの発話が終了した場合に選択されて呈示される。なお、これら以外にもユーザの発話の内容の一部を繰り返す応答パターンを設けることも可能である。例えば、「最近は不景気でんな。」に対して「不景気でんな。」のような応答パターンである。

図１１に示す応答パターンは、図４に示すようなフローに係る処理項目データベース５２ｄおよびワイヤデータベース５２ｅをそれぞれの応答毎に準備することにより、実現できる。

図１２は、図１０に示すつっこみ練習モードにおける情報呈示装置１０の応答パターンの一例を示す図である。この図では、つっこみ練習モードには、「固定モード」、「半固定モード」、および、「自動モード」の３種類がある。ここで、固定モードは、シナリオは固定であり、情報呈示装置１０は、ユーザからの応答があった場合に、シナリオに定められた会話を次々に呈示していく。また、半固定モードは、シナリオはほとんど決まっているが、ユーザから呈示されるキーワードに応じて、シナリオをある程度変更することが可能なモードである。自動モードは、シナリオは予め決まっておらず、ユーザの呈示する情報に応じて、応答する情報をその都度決定するモードである。

具体的には、固定モードは、情報呈示装置１０から所定の発話がなされた後に、ユーザから所定の反応がなされた場合には、シナリオに基づいてつぎの発話に移行するように図４に示すようなフローを形成する。例えば、情報呈示装置１０が「最近は、雨がぎょうさん降りますなあ。」を呈示した場合に、ユーザが「そうですな。」と対応した場合には、予め設定されているつぎの発話「洗濯物が乾かんから、ええかげんにして欲しいですわ。」が情報呈示装置１０によって呈示される。

また、半固定モードは、情報呈示装置１０から所定の発話がなされた後に、ユーザから所定の反応がなされた場合には、当該反応に含まれている所定の情報（例えば、キーワード）に対応した発話を行うようにする。例えば、情報呈示装置１０が「最近は、雨がぎょうさん降りますなあ。」を呈示した場合に、ユーザが「雨と言えば、梅雨ですな。」と対応した場合には、情報呈示装置１０は予めキーワードとして設定されている「梅雨」を検出し、「梅雨」に対応するつぎの発話「しかし、今年の梅雨は長うおますなあ。」を呈示する。また、情報呈示装置１０が「最近は、雨がぎょうさん降りますなあ。」を呈示した場合に、ユーザが「カビが生えてこまりますわ。」と対応した場合には、情報呈示装置１０は予めキーワードとして設定されている「カビ」を検出し、「カビ」に対応するつぎの発話「おまえんとこはカビだらけやからな。」を呈示する。なお、半固定モードでは、情報呈示装置１０が呈示する応答の選択肢は、例えば、２〜３個と予め定まっているので、ユーザは、このキーワードを予め記憶しておき、状況に応じてキーワードを会話の中に織り交ぜて発言する必要がある。

また、自動モードは、図４に示すようなフローを複数準備しておき、ユーザの発話に応じて適切な応答を選択して呈示するようにする。例えば、ユーザが応答としてあいづちだけを打った場合（例えば、「ふむふむ」と発言した場合）には、予め準備されているシナリオに従って発言し、ユーザの応答に所定のキーワードが含まれている場合には、当該キーワードに関連する応答を検索して呈示する。なお、自動モードでは、シナリオは予め決まっていないため、ユーザは情報呈示装置１０の発話にあいづちを打ったり、つっこみを入れたり、話題を転換するためにキーワードを含むと考えられる情報を呈示したりして、会話を発展させる。

ところで、以上のような処理は、図１０に示す各モードが選択された場合に、選択されたモードに対応するキャラクタ画像データ１０１、キャラクタ音声データ１０２、および、シナリオデータ１０３を記憶装置１０ｉまたは図示せぬサーバ装置から検索して取得し、図２に示すエージェント処理部５２および音声合成処理部５３の各部に格納することにより実現できる。

なお、上述の実施の形態は、本発明の好適な例であるが、本発明は、これらに限定されるものではなく、本発明の要旨を逸脱しない範囲において、種々の変形、変更が可能である。

例えば、以上の実施の形態では、キャラクタに関する情報（キャラクタ画像データ）とともに、キャラクタ音声データおよびシナリオデータを併せて変更するようにしたが、これらのいずれか一方のみを変更するようにしてもよい。

また、以上の各実施の形態では、音声の入力に対して音声で出力するようにしたが、例えば、音声とともにテキスト情報を併せて出力するようにしてもよい。

また、以上の各実施の形態では、例えば、情報呈示装置１０をパーソナルコンピュータとして実施する場合を例に挙げて説明したが、例えば、携帯電話、ＰＤＡ（Personal Digital Assistant）、または、カーナビゲーション装置として実施することも可能であることはいうまでもない。

また、以上の実施の形態では、処理項目データベース５２ｄおよびワイヤデータベース５２ｅに基づき、図４に示すフローを用いて処理を実現するようにしたが、これ以外の方法によって実現することも可能である。

また、以上の実施の形態では、ユーザからの音声による要請に基づいてキャラクタ等を変更するようにしたが、例えば、図示せぬ入力装置から所定の入力がなされた場合に、キャラクタ等を変更するようにしてもよい。また、明示的に要求がなされない場合であっても、例えば、ユーザの発話に含まれている専門用語によって専門分野を判断し、それに応じてキャラクタ等を変更することも可能である。

また、以上の実施の形態では、キャラクタ等を変更する際には、記憶装置１０ｉから新たなキャラクタに関する情報を読み込んでＨＤＤ１０ｄの内容を更新するようにしたが、ＨＤＤ１０ｄに予め複数のキャラクタ等に関する情報を記憶しておき、これらの中から所望のキャラクタを選択するようにしてもよい。また、その場合に、ＨＤＤ１０ｄに格納されていないキャラクタが選択された場合には記憶装置１０ｉから取得して、いずれかのキャラクタ（例えば、使用されていないキャラクタ）と置換するようにしてもよい。

なお、上記の処理機能は、例えば、図１に示すようなコンピュータによって実現される。その場合、情報呈示装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ（Recordable）／ＲＷ（Rewritable）などがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）などがある。

プログラムを流通させる場合には、たとえば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、たとえば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送される毎に、逐次、受け取ったプログラムに従った処理を実行することもできる。

本発明は、ユーザの入力に応じた応答情報を呈示する情報呈示装置に利用することができる。

本発明の実施の形態に係る情報呈示装置の構成例を示すブロック図である。 図１に示す実施の形態において、ＨＤＤに記憶されているプログラムが実行された場合に、実現される機能ブロックを説明するための図である。 図２に示すワイヤデータベースに格納された情報を説明するための図である。 図３に示す情報によって実現されるフローの一例を説明するための図である。 図１に示す実施の形態に係る情報呈示装置の動作の一例を説明するためのフローチャートである。 図５に示すフローチャートの処理が実行された場合に表示装置に表示されるキャラクタの一例を示す図である。 図５に示すフローチャートの処理が実行された場合に表示装置に表示されるキャラクタの他の一例を示す図である。 図５に示すフローチャートのステップＳ１５の処理の詳細を説明するためのフローチャートである。 図８に示すフローチャートによって変更される情報の一例を示す図である。 図１に示す情報呈示装置によって実現される漫才練習用のモードの一例を示す図である。 ぼけ練習モードにおける情報呈示装置の応答の種類の一例を示す図である。 つっこみ練習モードにおける動作モードの一例を示す図である。

符号の説明

１０ 情報呈示装置
１０ａ ＣＰＵ（取得手段、変更手段）
１０ｄ ＨＤＤ（第１の記憶手段、第２の記憶手段、第３の記憶手段）
１０ｅ ビデオ回路（出力手段）
１０ｆ Ｉ／Ｆ（出力手段）

Claims (7)

1. ユーザの入力情報に対応する情報をキャラクタによる応答として呈示する情報呈示装置において、
   上記キャラクタの応答パターンを示す複数のシナリオデータを記憶する第１の記憶手段と、
   上記キャラクタが応答する際の音声情報を記憶する第２の記憶手段と、
   上記音声情報に対応するキャラクタに関する情報を記憶する第３の記憶手段と、
   上記ユーザから所定の入力情報が供給された場合には、上記シナリオデータに基づいて上記音声情報、および、上記キャラクタに関する情報を上記第１〜第３の記憶手段から取得する取得手段と、
   上記取得手段によって取得された上記音声情報、および、上記キャラクタに関する情報を所定の出力装置にそれぞれ出力する出力手段と、
   上記第１の記憶手段に記憶されている複数の上記シナリオデータの中から選択される上記シナリオデータに基づいて上記キャラクタの応答パターンを変更する変更手段と、
   を有することを特徴とする情報呈示装置。
2. 前記音声情報は、キャラクタに応じた音声を出力するための情報であり、
   前記キャラクタに関する情報は、キャラクタを表示するための画像情報である、
   ことを特徴とする請求項１記載の情報呈示装置。
3. 前記変更手段は、シナリオデータ、音声情報、および、キャラクタに関する情報を他の記憶装置から取得して変更することを特徴とする請求項１記載の情報呈示装置。
4. 前記変更手段は、ユーザの入力情報に対応する専門分野に属するシナリオデータに変更するとともに、当該専門分野に応じたキャラクタおよび音声情報に変更することを特徴とする請求項１記載の情報呈示装置。
5. 前記変更手段は、ユーザからの要求に応じてぼけ役またはつっこみ役を示すキャラクタに変更し、シナリオデータおよび音声情報についても該当する情報に変更することを特徴とする請求項１記載の情報呈示装置。
6. ユーザの入力情報に対応する情報をキャラクタによる応答として呈示する情報呈示装置が実行する情報呈示方法において、
   上記ユーザから所定の入力情報が供給された場合には、応答パターンを示すシナリオデータに基づいて上記音声情報、および、上記キャラクタに関する情報を記憶装置から取得し、
   取得された上記音声情報、および、上記キャラクタに関する情報を所定の出力装置にそれぞれ出力し、
   複数の上記シナリオデータの中から選択される上記シナリオデータに基づいて上記キャラクタの応答パターンを変更する、
   ことを特徴とする情報呈示方法。
7. ユーザの入力情報に対応する情報をキャラクタによる応答として呈示する処理をコンピュータに機能させるコンピュータ読み取り可能な情報呈示用プログラムにおいて、
   コンピュータを、
   上記キャラクタの応答パターンを示す複数のシナリオデータを記憶する第１の記憶手段、
   上記キャラクタが応答する際の音声情報を記憶する第２の記憶手段、
   上記音声情報に対応するキャラクタに関する情報を記憶する第３の記憶手段、
   上記ユーザから所定の入力情報が供給された場合には、上記シナリオデータに基づいて上記音声情報、および、上記キャラクタに関する情報を上記第１〜第３の記憶手段から取得する取得手段、
   上記取得手段によって取得された上記音声情報、および、上記キャラクタに関する情報を所定の出力装置にそれぞれ出力する出力手段、
   上記第１の記憶手段に記憶されている複数の上記シナリオデータの中から選択される上記シナリオデータに基づいて上記キャラクタの応答パターンを変更する変更手段、
   として機能させるコンピュータ読み取り可能な情報呈示用プログラム。

Images