JP4249665B2 - 音声対話方法及び装置 - Google Patents

Description

本発明は、利用者との対話処理を一時停止しその後対話処理を復帰（再開）させる場合の音声対話方法及び装置に関する。

利用者によるコンピュータへの音声入力に伴いコンピュータでの情報処理にて必要な音声応答出力を得る音声対話システムにあっては、従来は利用者の入力操作に始まりコンピュータ側（システム側）の音声応答処理にて利用者に音声入力を促しあるいは選択を促すことにより順に対話を進め、利用者が必要とする情報を得るものである。この場合、一般的には、このような利用者とコンピュータ（システム）との一連の対話は、対話が始まれば対話終了まで進行するかあるいは途中切断する必要が生じて最初からやり直すか、いずれかにて行われ、対話途中の中断（あるいはシステムの一時休止）及び対話の中断部分からの再開という制御プログラムは、現実に稼動しているシステムでは見当たらない。

一方、技術的な提案として、特許文献１では、音声対話中に対話の実行中の位置をマークして保存しておき、その後に保存されたマークの入力にて、始めから対話をやり直さなくてもそのマークされた位置にジャンプすることで途中の対話を省くことが可能であるという音声対話システムが開示されている。このとき、対話で入力された情報も保存され、呼び出すことができるので、入力内容についても再入力の手間も省けるというものである。
特許文献２及び特許文献３では、現在の話題が何かという情報（話題の焦点）をスタックとして管理する対話システムが開示され、ある音声対話の途中で、その時点までにシステムが進めようとしていた話題とは別の話題に関する新規の質問が利用者の発話として入力された際に、新たな話題として新規の質問に回答するというゴールを含んだ焦点情報を生成し、焦点情報を管理しているスタック領域を最上位にあるこれまで話題の焦点情報の上に積みあげ（プッシュし）、その新たな話題が完了しゴールが達成された際はスタックから完了した話題の焦点情報を取り除き（ポップし）、元の話題の焦点情報を再び参照可能とすることで、ある話題の一時中断とその復帰についてシステム発話の一貫性を保ちながら応答することを可能としている。

以上特許文献１〜３によれば、音声対話システムで実行中の対話を一時的に中断した際に、中断位置をマーキングしその入力情報と共に記憶し、その中断した対話を復帰させた際に記憶した情報を再開させることが可能となる。
このことを例えば利用者の希望の日付と地域を決定した天気予報として具体化したとき、利用者が例えば「３月２３日」「神奈川県東部」の天気を３月２２日知りたいとき、対話システムにて利用者（Ｕｓｅｒ）（Ｕとする）とシステム（Ｓｙｓｔｅｍ）（Ｓとする）とで入力音声及び出力音声のやり取り（対話）があったと仮定する。
今、システムＳからの出力音声として「神奈川県東部の３月２３日の天気」の確認があったとき、利用者Ｕから「中断」の入力がされ、その後３月２４日に対話の「再開」が入力されると、システムＳからの出力音声として、中断時の「神奈川県東部の３月２３日の天気」の確認から再開することになる。すなわち、「それでは、神奈川県東部の３月２３日の天気でよろしいでしょうか？」の如き確認のための中断時の出力音声が繰り返されてシステムから発話される。しかし、３月２３日は既に過去となっており、利用者にとっては３月２３日の天気は意味が無いので、利用者Ｕの入力音声としては当然「いいえ」となり、このためシステムからの出力音声としては「それでは、神奈川県東部の３月２３日をどのように直したらよいでしょう？」の如き情報の訂正の問合せが発話される。そして、利用者Ｕからは、例えば別の日付「３月２５日」などの日付指定の発話が入力される。
特開２００３−２２３１８７号公報 特開２００１−１４２８７０号公報 特開２００１−３５６７９７号公報

対話システムを上記具体例の天気予報にて述べたように、通常の天気予報では、未来の日付・時間の予報を知ることが目的であり、上述の対話例中３月２４日の中断後では中断前の入力情報中の「３月２３日」という日付情報は既に無効である（有効ではない）となる。
ところが、従来技術による対話システムでは中断前の入力情報が再開後にもそのまま繰り返され、中断後の入力情報としてすでに有効ではなくなった日付情報があること、すなわち無効となっている入力情報の存在を検知することができない。そのため、中断前の入力情報中に有効ではない日付情報があることを再開以降で利用者自身に確認させることになって負担を強いることになるという問題がある。

また、従来技術による対話システムでは、中断前の入力情報中にあって「地域」と「日付」のどちらの情報が有効でないか（具体例の場合は日付であるが）を認知することができないため、対話システムから「地域」と「日付」両方を提示して問合せ、情報の訂正を求めている。このため、この情報の訂正を認識するにあたり「地域」と「日付」の両方の訂正に関して認識可能にしなければならない。このことは、広範な発話を音声認識するための音声認識用文法と辞書を利用しなければならないこととなり、音声認識対象が広範になればそれだけ認識の精度が下がるという問題が生ずる。

更に、従来技術では、具体例にて示すように中断時の対話がそのまま繰り返されるので「それでは」という単語がそのまま用いられる等、システム応答文の表現が中断から再開までの時間間隔を全く考慮することなく、利用者からは唐突で不自然なシステムの応答文となってしまっている。
以上のことを勘案すると、音声対話システムの対話中における中断あるいはその後の再開につき、再開時にて入力情報の有効あるいは無効が顕著に表れる入力情報内の時情報の有効あるいは無効を判別していないという問題があり、またこの判別しないことに起因して上述のような派生的な問題を孕んでいる。

本発明は、上述の問題を解決するために発明されたもので、音声対話システムの対話中における中断あるいはその後の再開につき、再開時の入力情報の有効あるいは無効を判別する音声対話方法及びその装置の提供を目的とする。

上述の目的を達成する本発明は、音声入力を処理し応答音声を出力する音声対話において、対話の中断が入力されるとき、対話の中断時点までに入力された入力情報とその時点で実行中の対話シナリオの制御プログラム位置とその時点の時情報とからなる対話履歴を生成する対話履歴生成処理と、対話の再開が入力されるとき、上記対話履歴生成処理にて得られた対話履歴を取り出し、取り出された対話履歴中の入力情報内の時情報を対話の再開時点の時情報に照らして前記入力情報内の時情報が未だに有効か無効かを判定する対話履歴取得処理と、を有することを特徴とする。

本発明によれば、音声対話システムにあって、中断した対話の再開時に、日付や時刻などの時情報の有効性あるいは無効性について対話シナリオの目的に応じて自動的に判断することが可能となる。

ここで、図を参照して本発明の実施形態を説明する。
図１に、本発明の実施形態となる音声対話装置の全体の概略ブロック構成を示す。この音声対話装置において、まず対話制御装置１は、対話制御プログラム２の実行によって進行される対話シナリオの内容に従い、入力装置である発話理解装置３及び対話履歴取得装置４からの入力に基づいて対話制御用メモリ５を更新しながら装置全体の制御演算を行う。そして、この対話制御装置１による制御の対象は、入力装置である、利用者の音声入力を得て認識辞書７及び認識文法８によって音声を認識する音声認識装置６とこの音声認識装置６からの単語やフレーズを認識して発話理解結果を得る発話理解装置３、システムによって生成された応答音声を出力する音声出力装置９、対話シナリオの中断の際対話履歴記憶装置１０へ記憶すべき入力情報及び対話制御プログラム位置を対話制御用メモリ５より取り出す対話履歴生成装置１１、対話履歴記憶装置１０に記憶された対話履歴生成装置１１からの入力情報及び対話制御プログラム位置等の対話履歴情報を取り出しかつ後述の経過フラグによる判断あるいは中断経過時間量情報の演算を行う対話履歴取得装置４を有する。また、対話履歴生成装置１１及び対話履歴取得装置４には、その時の現在時刻情報を得るための時計１２が接続される。

この図１の構成において、まず音声認識装置６は、対話制御装置１からの制御信号に基づき、認識すべき文中の単語とその発音の情報を格納した認識辞書７と、認識すべき文中での単語の並び方を表した認識文法８とを用いて、利用者の音声を認識し単語列を出力するものである。
発話理解装置３は、対話制御装置１からの制御信号に基づき、音声認識装置６の出力した単語列からその音声対話装置にとって意味のある単語を取り出して発話理解結果として出力し、またはその音声対話装置にとって意味のあるフレーズを識別して発話理解結果として出力するものである。この発話理解装置３の出力情報である発話理解結果が利用者から対話制御装置１への入力情報となる。なお、前述の音声認識装置６がその認識結果として、孤立単語しか認識しない場合には、この認識結果を対話制御装置１への入力情報としてそのまま用いれば良く、したがってこの場合には発話理解装置３は省いても良い。

音声出力装置９は、対話制御装置１からの制御信号に基づき、対話制御装置１から指示された文字列または応答の意味（コンセプト）を表す情報から音声合成装置（図示省略）などを利用して音声を合成しシステム応答として出力する。この場合、対話制御装置１から指示された予め録音ないし合成されていた音声情報を再生することにより、利用者にシステム応答として出力する。
音声対話システムとしては、音声認識装置６及び発話理解装置３からの入力情報を取り込む対話制御装置１にて、対話シナリオに沿って対話制御用メモリ５とやり取りしつつ、演算にて応答文を作成して音声出力装置９から応答音声を出力する。

ここにおいて、対話中の中断及び再開があった場合には、主に対話履歴生成装置１１や対話履歴取得装置４において、ソフトウエアによる処理が行われる。 すなわち、対話履歴生成装置１１は、対話制御装置１からの制御信号に基づき、対話制御用メモリ５内に格納されている入力情報および、対話シナリオ中の実行位置である対話制御プログラム位置（対話シナリオ位置）を取り出し、時計１２から取り出したその時点の現在時刻情報を時情報とし、これらを組み合わせて対話履歴情報として対話履歴記憶装置１０へ保存する。

図５は、対話履歴生成装置１１における処理ソフトウエアを例示しており、フローチャートとしては、対話制御用メモリ５に記憶された入力情報及び対話シナリオ位置を取得し（ステップ５１）、時計１２により現在時刻情報を取得して時情報を得て（ステップ５２）、各入力情報、対話シナリオ位置及び時情報を組にして対話履歴情報として生成する（ステップ５３）。
対話履歴記憶装置１０は、少なくとも対話履歴生成装置１１による対話履歴情報を記憶する記憶装置であり、対話制御装置１の中断や電源遮断などによっても消去することなく記憶を維持するものである。この対話履歴記憶装置１０は、フラッシュメモリなどの不揮発性メモリ、ハードディスクドライブ、あるいは、対話制御装置１が動作している音声対話装置本体とは別のネットワークなどにて接続されたリレーショナルデータべ−ス装置などを用いて実現することができる。

また、対話履歴取得装置４は、対話制御装置１からの制御信号に基づき、対話履歴記憶装置１０における複数の対話履歴情報の中から該当する対話履歴情報を取得し、その対話履歴情報の中から入力情報および対話シナリオ位置および時情報を取り出し、しかもこの取り出した時刻を時情報として時計１２により取得して対話履歴情報中の時情報から取り出した時刻の時情報までの経過時間量を算出して中断経過時間量情報を得る。ここで、対話履歴情報生成時の時情報及び対話履歴情報取り出し時の時情報のほか、入力情報自体の中に日付や時刻などの時点を示す時情報の存在により、その入力情報自体の時情報と対話履歴情報取り出し時の時情報とを比較し、その対話システムの使用目的上、入力情報自体の時情報が無効となっている場合は真（無効である）、有効である場合は偽（有効である）を示す経過フラグを各々の入力情報に対して算出する。対話履歴取得装置４は、これら対話履歴情報中の入力情報、対話シナリオ位置、時情報、更には経過フラグ、対話履歴情報取り出し時刻の時情報、中断経過時間量情報を対話履歴取得情報として対話制御装置１に出力する。なお、この対話履歴取得装置４の処理ソフトウエアは、図６に示すフローチャートにて例示するが、この図６の説明は、後述の動作と共に説明する。また、入力情報に対する経過フラグの算出の過程は、図７に例示しており、対話システムの使用上の目的に応じて対話制御装置１からの必要な時間レベルと同時刻情報を有効と判定するか無効と判定するかのフラグが指示され、入力情報内の時情報と対話履歴情報取り出し時の時情報を用いて算出される。また、時計１２は、要求指令があるとき要求元に、要求指令を受けた時点での時刻を示す現在時刻情報を返す。

対話制御用メモリ５には、対話制御装置１の実行中に、各入力情報および対話制御プログラムの実行位置（対話シナリオ位置）が保存される。更に、この対話制御用メモリ５には、対話履歴取得装置４から対話履歴取得情報を対話制御装置１が受け取る場合、その中の各入力情報と経過フラグ、対話シナリオ位置、中断経過時間量情報が保存される。
対話制御プログラムは、対話制御用メモリ５の内容および発話理解装置３からの発話理解結果出力に基づき、音声認識装置６、発話理解装置３、音声出力装置９、対話履歴生成装置１１、対話履歴取得装置４、対話制御用メモリ５に対する対話制御装置１からの制御や指示の情報が記述されており、対話制御装置１により読み込まれて実行される。

次に、この実施形態における音声対話システムの全体の動作を対話シナリオに沿って図２以下にて説明する。この実施形態は、利用者の音声入力及びシステムの応答出力を対話制御プログラムに沿って入力し、処理し、出力するものであるが、この動作説明では対話の中断、再開（復帰）の動作について主眼に置く。もちろん、中断や再開が生じない状態では、通常の音声入力情報にて音声出力を得る対話が行われる。
また、この動作説明の前提として、複数の利用者についての識別は、例えば電話の場合には電話番号、ネットワークの場合にはアドレスやパスワード等のＩＤ情報にて行われる。したがって、中断時あるいは再開時の対話の整合については、例えばこのＩＤ情報の一致を見ることにより行われる。更に、対話の中断や再開に当たり、入力情報内の時情報と再開時の時情報を比較して対話システムの使用目的に照らし入力情報内の時情報の有効あるいは無効を判断するため、入力情報内の時情報は中断時点での時情報に限らず、中断時以前の任意の時点での入力情報内の時情報に関する有効あるいは無効を判断することも可能である。しかし、ここでの動作説明では、まず中断時の入力情報内に時情報が含まれるケースにつき述べる。

図２は、対話シナリオの一般的な大略フローチャートを示す。利用者からの最初の発話があり、利用者のＩＤの整合があった場合、図２に示すようにシステムからの開始応答が出力される（ステップ２１）。この後利用者からの発話が再開（復帰）の発話か否かを判断し（ステップ２２）、再開の場合には後述のような再開処理を行う（ステップ２３）。ステップ２２にて再開でなく対話シナリオの最初からの発話の場合、あるいはステップ２３での再開処理後の場合、通常の対話シナリオに沿い、単位シナリオ毎の処理が行われ（ステップ２４）、次いで全単位シナリオが処理されたか否か判断され（ステップ２５）、未だ全シナリオが未処理の場合次の単位シナリオに移行する処理（ステップ２６）が行われる。

次いで、音声対話システムについて天気予報を念頭において更に具体的に説明する。図３は、利用者からの音声で入力情報として取得し、地域と日付を特定することによる対話シナリオの具体的フローチャートである。ここでは、地域取得の処理にて再開判断を含めて示し、図２の単位シナリオ処理（ステップ２４）を地域取得１、日付取得１、入力確認１、再入力１としている。図３にあって、長方形で示される処理単位が単位シナリオ処理であり、対話制御用メモリ５にて対話制御プログラム位置（対話シナリオ位置）として記録される。ただし、「中断処理１」および「中断処理２」は、対話シナリオ位置として対話制御用メモリ５への記録は行わない。

図３にあって、まず地域取得１として地域を尋ね（ステップ３１）、地域に対する音声入力後日付取得１として地域を復唱しつつ日付を尋ね（ステップ３２）、日付に対する音声入力後、入力確認１として地域と日付を復唱しつつ確認し（ステップ３３）、確認の結果入力が否定されると再入力１として修正内容を尋ね（ステップ３４）、修正の発話にて入力確認１へ戻る。そして、入力確認１が肯定されると結果出力１として該当する天気予報を出力する（ステップ３５）。
図３における「中断処理１」は、「地域取得１」「日付取得１」「入力確認１」「再入力１」の各単位シナリオ処理における対話シナリオ位置において、利用者からの対話の中断を命令する発話が入力された場合に図３の破線にて示す如く呼び出される。この場合、現在の入力情報を保存して対話を一時中断する旨を伝える内容を音声出力装置９から出力する（ステップ３６）。

図３において「中断処理２」では、対話履歴生成装置１１に該当する対話シナリオ位置が実行された時点での対話履歴情報を生成するように指示する。すなわちこの時点での対話制御用メモリ5での入力情報、対話シナリオ位置（対話制御プログラム位置）、及び時計１２からの時情報を生成する（ステップ３７）。
また、図３において「再開処理１」は、音声対話装置開始直後の「地域取得１」の段階（ステップ３１）において、利用者の発話によって前回の対話を復帰させるよう指示する旨の発話理解結果が出力された場合に呼び出される（図３中鎖線で示される）。このとき、対話制御装置１は対話履歴取得装置４に対して前回の対話における対話履歴取得情報を出力するよう指示し、その結果として対話履歴取得装置４から出力された対話履歴取得情報中の情報を対話制御用メモリ５に取り込む。

「中断処理２」によって、対話履歴情報が対話履歴生成装置１１から対話履歴記憶装置１０に保存され、「再開処理１」にて対話履歴記憶装置１０から対話履歴取得情報が対話履歴取得装置４にて取得される。この対話履歴取得装置４内では、対話制御装置１から対話履歴取得情報の取得の指示を受けた際、図６に示すように対話履歴記憶装置１０内の対話履歴情報から対話制御装置１からの指示に該当する対話履歴情報を検索して取得する（ステップ６１）。検索には各対話履歴情報中に含まれる時計１２による時情報を指標として行うことができる。この場合、ここでは中断時点の対話履歴情報を探すことになるので時情報として最近のものを選べばよい。

次に、対話履歴取得装置４内では、取得した対話履歴情報中の時情報に対して、時計１２に対して要求指令を送信して現在時刻が示す時情報を得る（ステップ６２）。そして、対話履歴情報内の中断時の時情報と取得時に得られた現在時刻の時情報との経過量である中断経過時間量情報を求める（ステップ６３）。このとき、中断経過時間量情報は、何日何時間何分経過というような時間単位毎の数値の減算による単なる経過量値を求めるだけでなく、暦上の日付や月、年での差分も計算する。たとえば対話履歴情報中の時情報が「西暦２００４年３月２６日午後１時５分」を表している時、得られた現在時刻が「西暦２００４年４月１０日午後１時５分」であれば、「年の単位：無変化、月の単位：１月変化、日の単位：１５日変化、時間の単位：３６０時間、分の単位：２１６００分」を示すような情報を生成する。すなわち日付の境である午前０時を何回またいでいるか、月の境である月末を何回またいでいるか、年の境である年末を何回またいでいるかという暦上の変化分の情報を各時間レベルにて付与する。

更に、対話履歴取得装置４内では、取得した対話履歴情報中の入力情報自体に日付や時刻を表す時情報があるとき（ステップ６４）、この入力情報内の時情報と時計１２から取得した現在時刻の時情報と比較し、入力情報内の時情報がその音声対話装置の使用目的上有効であるか無効であるかを経過フラグ真あるいは偽を持って判定する（ステップ６５）。この場合の判定は、図７に示す方法により行われ、入力情報中の時情報が無効である場合にはその入力情報に対して経過フラグの真値が付与される。また、入力情報の時情報が有効である場合には経過フラグとして偽値が付与される。入力情報内の時情報があって経過フラグの真または偽及び入力情報内にとき情報がない場合、対話履歴取得装置４から対話履歴取得情報として対話履歴情報のほか経過フラグ及び中断経過時間量情報を追加して出力する（ステップ６６）。

ここで、図７を参照して経過フラグの判定方法を説明する。入力情報中の時情報が有効か無効かの判定には、図７に示すフローチャートが利用される。図７において、保存時刻情報は、入力情報内での時情報でありU１にて示し、現在時刻情報は、対話情報取得装置４での現在時刻の時情報でありU２にて示す。また、条件分岐で用いられる使用最小時間単位は、使用目的上必要とする時間単位の最小のレベルを示しUpにて表示し、同時刻有効判定フラグは、同時刻を有効とするか無効とするかのフラグでありFlgにて表示し，ｔｒｕｅは真で有効を示す。そして、これら使用最小時間単位及び同時刻有効判定フラグは、音声対話装置の使用目的に従い、対話シナリオ内であらかじめ指定される。

例えば図３の対話シナリオでは、使用最小時間単位について、入力情報のうち「日付取得」の日付は日を表している。ここである対話の実行時に、対話履歴中の「日付」入力情報内の時情報が「西暦２００４年３月２３日」だつたとする。このとき「再開処理１」における処理に基づいて対話履歴取得装置４が時計１２から取得した時情報の現在時刻のうち日付までの情報が「西暦２００４年３月２４日」だった場合、天気予報の問い合わせ、という使用目的において過去の日付を用いるのは不自然である。昨日以前になってしまった入力情報「日付」に対する経過フラグは真値（経過してしまった）と判定されるべきである。また、対話が復帰された現在時刻の日付と保存されていた入力情報の日付が共に「西暦２００４年３月２３日」である場合、当日の天気予報を調べるのは自然であるから経過フラグは偽値とするべきである。つまり、この音声対話装置が扱う時間情報の最低単位である日付において同じ日付の間ではまだ経過していないと判定されるべきである。

このような場合、図７経過フラグの判定時に、使用最小時間単位に「日」同時刻有効判定フラグは真（有効）として実行を指示することで、上記のような判定が行われる。このような仕組みを設けることで、対話履歴取得装置４内における入力情報中の時情報が有効か無効かの判定は、単にある日付や時刻を経過しているかどうかで判定されるのではなく、その音声対話装置（対話システム）の使用目的に合わせて判定されることに特徴がある。
ここで、図７でのフローチャートを述べる。ステップ７１では、保存時刻情報Ｕ１（２００４年３月２３日）と現在時刻情報Ｕ２（２００４年３月２４日）との比較において、この情報の使用時間最大レベルである年から始まり、月、日、時間、分のレベルを設定する。次にステップ７２では、保存時刻情報Ｕ１よりも現在時刻情報Ｕ２が大きいか（時間が経過しているか）判定し、同じ時間レベルにて差分かなければステップ７３に移り、この時間レベルが使用最小時間単位か否か判定する。今天気予報で年も月も同じ場合、ステップ７１、７２、７３を繰り返し、「日」の時間レベルになってステップ７３が満たされステップ７４に移行し経過フラグは真（無効）となる。仮に日の時間レベルでもステップ７２を満たさない場合、ステップ７３にて使用最小時間単位となるのでステップ７５に移行し、同時有効判定フラグが真か否か判定し、真の場合ステップ７６にて経過フラグは偽となって保存時刻情報は有効となる。すなわち同日の天気予報は有効となる。また、ステップ７５にて同時有効判定フラグが偽の場合ステップ７７に移行し保存時刻情報と現在時刻情報との全部を比較し、その結果にて経過フラグの真あるいは偽を判定する。

経過フラグの判定のもうひとつの例を挙げる。この音声対話装置の目的が映画や演劇などの公演チケットの予約システムであり、対話履歴情報内に保存されていた「予約希望公演開始時間」の入力情報内の時情報が「西暦２００４年３月２３日午後１８時」で、時計１２から得られた現在時刻情報が「西暦２００４年３月２３日午後１８時１０分」であった場合、すでに始まっている公演の予約を行うことは出来ないのでステップ７４にて経過フラグは真値とされるべきである。つまり、１８時丁度を過ぎて対話の再開処理が行われていたとしても、もはや経過してしまったと判定する。この場合、図７の経過フラグの判定時に、使用最小時間単位に「時間」、ステップ７５の同時刻有効判定フラグは偽として実行を指示することで上記のような判定が可能である。

このように、図６、図７にて示す対話履歴取得装置４における処理を経て、対話履歴取得装置４からは対話シナリオ位置、入力情報、経過フラグ、中断経過時間量情報を含んだ対話履歴取得情報が出力され、対話制御装置１に渡される。このとき、対話制御用メモリ５にはこれらの値が書き込まれる。ただし、対話シナリオ位置に関する情報は、以降の処理で参照するために、現在実行中の対話シナリオ位置が保存されている位置とは別の位置にて保存される。
図６、図７に示す対話履歴取得装置４での処理は、対話履歴生成装置１１での生成時に当たる中断処理の後における再開処理にかかわることであるが、ここで図３から図４に至る再開処理につき述べる。

図４における「再開処理１」では、対話履歴取得装置４から対話履歴取得情報を対話制御用メモリ５に取り込む（ステップ４１）、「再開処理２」では、対話を中断していた時間である中断経過時間量情報に基づいた中断時間間隔を表現する応答の再生を音声出力装置９に指示する。この表現の選択には、対話シナリオ中あるいは対話制御用メモリ５にあって図８に示す言語表現の第１テーブルの関係図に照らし、対話制御用メモリ５中の中断経過時間量情報を条件にして選択する（ステップ４２）。
図８の使用例としては、２日後に対話を再開した場合「日の単位」で「２日」経過していたら図８項番５該当するので日本語では「おととい」という表現を用いる。また、１カ月後に対話を再開し「月の単位」で「１月」経過していたら日本語では「先月」（図８項番１０）という表現を用いる。このような慣用的な表現を用いることで、中断時間を知らせる目的を果たすだけでなく、利用者にとって機械的でない自然でかつ簡潔な応答を出力することができる。こうして、対話の復帰時に、対話から復帰までの時間間隔についで慣用的な表現を用いて表現する自然で簡潔な応答を行う対話システムが構築可能となる。

次に、対話履歴取得情報中の入力情報に「地域」および「日付」が含まれていた場合この入力情報内の対話の内容としてそれら内容を知らせる表現を含んだ応答を出力するように音声出力装置１に指示する。しかし、保存されていた入力情報に「日付」に対する入力情報が含まれていても、その入力情報に対して経過フラグが真値（無効）を示している場合には「日付」の情報は読み上げない応答にする。この応答出力の決定には、対話シナリオ中あるいは対話制御用メモリ５にあって図９のような保存情報の第２テーブルを設け、この第２テーブル内の保存情報を対話制御用メモリ５の中断経過時間量情報と入力情報、経過フラグを条件に選択する（ステップ４２）。

図４中「再開処理３」では、対話履歴取得装置４から得られた対話シナリオ位置の情報を参照し、それが「地域取得１」であるかを判定し、そうであれば「地域取得１」へジャンプする（ステップ４３）。
図４中「再開処理４」では、対話履歴取得装置４から得られた対話シナリオ位置の情報を参照し、それが「日付取得１」であるかを判定し、そうであれば「日付取得１」へジャンプする（ステップ４４）。
更に、図４中「再開処理５」では、対話履歴取得装置４から得られた対話シナリオ位置の情報を参照し、それが「再入力１」であるかを判定し、そうであれば「再入力１」へジャンプする（ステップ４５）。

また更に、図４中「再開処理６」では、対話履歴取得装置４から得られた対話シナリオ位置の情報を参照し、それが「入力確認１」であるかを判定し、かつ、「日付」に対する経過フラグが偽値（有効）であるかを判定し、両方を満たせば「入力確認１」へジャンプする（ステップ４６）。
図４中「日付取得２」では、経過フラグが真を示し無効となっている「日付」を利用者に再度入力してもらうための応答処理が行われる（ステップ４７）。まず、日付を再入力するように促す内容の出力を音声出力装置９に指示すると共に、音声認識装置６に対して中断などの命令の他に日付に関する発話を認識するための文法および辞書を用いて認識を行うよう指示し利用者からの入力を待ち受ける。音声による入力が行われ、日付の情報が発話理解装置３から出力された場合、対話制御用メモリ５中に「日付」の入力情報としてその情報を記録する。

「再開処理６」の処理中、入力情報「日付」に対する経過フラグが真の状態であったときには、必ず「日付」の入力が必要になるため、もし、それを考慮せずに「入力確認１」にジャンプすると利用者からの否定により「再入力１」の処理を行うことになる。しかし、再入力１の処理では日付の他に地域について再入力する際の発話を許容するための文法や辞書を音声認識装置で用いている。そのため日付の発話を地域入力に関する発話に誤認識する可能性があった。
しかし、ここで述べたように、対話履歴情報取得時に判定した経過フラグの情報を用いて「再開処理６」から「日付取得２」までの一連の分岐処理により、日付の再入力のみを受け付けるように文法および辞書を設定して音声認識装置６を駆動させることで、精度の高い認識が可能となる。すなわち、有効性の判断において無効とされた日時に関する情報のみについて音声認識の対象とすることで、より認識精度の高い対話システムが構築可能である。これにより利用者の認知的負担の少ない音声対話システムが構築可能である。

またこの場合、「日付」の情報の有効性を利用者が判断するのではなく、システムが自動的に検知するので、利用者の負担を低減させることができる。
なお、図４中「地域取得１」では、地域を入力するように促す内容の出力を音声出力装置９に指示すると共に、音声認識装置６に対して中断、再開などの命令の他に地域に関する発話を認識するための文法および辞書を用いて認識を行うよう指示し利用者からの入力を待ち受ける。音声による入力が行われ、地域の情報が発話理解装置３から出力された場合、対話制御用メモリ５中に利用者入力情報中の「地域情報」として記録する。

図４中「日付取得１」では、次に日付を入力するように促す内容の出力を音声出力装置９に指示すると共に、音声認識装置６に対して中断などの命令の他に日付に関する発話を認識するための文法および辞書を用いて認識を行うよう指示し利用者からの入力を待ち受ける。音声による入力が行われ、日付の情報が発話理解装置３から出力された場合、対話制御用メモリ５中に「日付」の入力情報としてその情報を記録する。
図４中「入力確認１」では、対話制御用メモリ５中の「地域」と「日付」の入力情報を復唱として出力し、この情報で天気を知らせて良いかどうか肯定ないし否定するように促す内容の出力を音声出力装置９に指示すると共に、音声認識装置６に対して中断などの命令の他に肯定または否定に関する発話を認識するための文法および辞書を用いて認識を行うよう指示し利用者からの入力を待ち受ける。音声による入力が行われ、発話理解装置３からの出力が肯定を示す入力情報の場合「結果出力１」を実行し、否定を示す入力情報の場合「再入力１」を実行する。

図４中「再入力１」では、「入力確認１」での利用者からの否定の入力を受けて、修正内容を入力するように促す出力を音声出力装置９に指示すると共に、音声認識装置６に対して中断などの命令の他に地域および日付に関する発話を認識するための文法および辞書を用いて認識を行うよう指示し利用者からの入力を待ち受ける。
図３中「結果出力１」では、「入力確認１」での利用者からの肯定の入力を受けて、対話制御用メモリ５に記録されている「地域」と「日付」に対応する天気予報の内容を出力するよう音声出力装置９に指示する。

以上で述べた制御フローチャートにより、下記対話例のような対話が可能となる。
対話例（なお、下記にてUは利用者、Sはシステムである）
（下記の発話１〜発話６は３月２２日に行われたとする）
発話１：S：「お知りになりたい地域をお知らせ下さい」（地域取得１：による応答・認識）
発話２：U：「神奈川県東部です」
発話３：S：「それでは神奈川県東部のお知りなりたい日付はいつですか？」
（日付取得１：による応答認識）
発話４：U：「３月２３日です」
発話５：S：「それでは、神奈川県東部の３月２３日の天気でよろしいでしょうか？」（入力確認１：による応答・認識）
発話６：U：「この対話を一時中断します」
発話７：S：「それではこの対話を保存し中断します」（中断処理１：による応答。この後中断処理２による処理が行われる）
（下記、発話８〜発話１４は３月２４日に行われたとする）
発話８：S：「お知りになりたい地域をお知らせ下さい」（地域取得１：による応答・認識）
発話９：U：「先日の対話を復帰します」
発話１０：S：「おととい、神奈川県東部の天気をお調べになっていた件ですね。お調べになりたい日付をもう一度教えてください」（再開処理１：の処理後、再開処理２：による応答が行われ、再開処理３：、再開処理４：、再開処理５：、再開処理６：それぞれの判定処理の後に、日付取得２：の応答が行われている）
発話１１：U：「調べたい日は３月２５日です」
発話１２：S：「それでは、神奈川県東部の３月２５日の天気でよろしいでしょうか？」
（入力確認１：による応答・認識）
発話１３：U：「はい」、
発話１４：S：「神奈川県東部の３月２５日の天気は、晴れです」（結果出力１：による処理）
（対話例終わり）
以上、中断時の時情報を有する入力情報を念頭において実施形態を説明してきたが、本発明は中断前の任意の時点の入力情報について再開時にて有効か無効かを判断することができる。この場合、単位シナリオ処理毎に対話制御メモリ５に対話シナリオ位置と共に一旦記憶される入力情報に基づき対話履歴生成装置１１に中断と共に対話履歴情報として生成しておき、対話履歴記憶装置１０に保存し、再開時に対話履歴情報の中からシナリオ位置を選択してその入力情報を対話履歴取得装置に取り込み、対話制御装置１に出力することになる。そして、この該当する入力情報内の時情報につき再開時点の時情報と比較して経過フラグの有効あるいは無効を判定する。また、中断時と再開時との中断経過時間量情報をも算定して図８、図９のテーブルにて言語表現あるいは保存情報を選択する。なお、任意の時点の入力情報について有効あるいは無効の処理を行うに当たり、図２のステップ３７では中断処理２にあっては対話履歴生成装置１１に以前の任意の時点を含む対話履歴情報の生成を指示することになり、図６のステップ６１では対話履歴記憶装置中の任意の時点の対話履歴情報を検索、取得することになる。

また、これまでの実施形態の説明にあって具体的な説明としては、天気予報あるいは公演のチケット予約について述べたが、例えばチケット予約について座席の種類、座席数、等の選択肢が多くなるほど、中断の回数も多くなることえを勘案すれば、この選択肢が多くなる対話対象になるほど、入力情報内の時情報の有効あるいは無効の判定が効果的となり、威力を発揮する。
なお、本実施例においては、出力に音声合成装置を用いたが、画面にテキストを印字するなどの方法を用いても良い。

また、本実施例においては対話履歴情報の保存は、利用者からの中断の要請を受けてから行ったが、対話中の任意の時点で行ってもよい。

本発明の実施形態を示すブロック構成図である。 本発明に係る対話シナリオの大略を示すフローチャートである。 対話シナリオのフローチャートである。 図３に続く再開処理のフローチャートである。 対話履歴生成装置の処理フローチャートである。 対話履歴取得装置の処理フローチャートである。 経過フラグの判定方法の処理フローチャートである。 中断経過時間量を示す言語表現の関係図である。 再開処理における保存情報の関係図である。

Claims (11)

1. 音声入力を処理し応答音声を出力する音声対話方法において、
   対話の中断が入力されるとき、対話の中断時点までに入力された入力情報とその時点で実行中の対話シナリオの制御プログラム位置とその時点の時情報とからなる対話履歴を生成する対話履歴生成処理と、
   対話の再開が入力されるとき、上記対話履歴生成処理にて得られた対話履歴を取り出し、取り出された対話履歴中の入力情報内の時情報を対話の再開時点の時情報に照らして前記入力情報内の時情報が未だに有効か無効かを判定する対話履歴取得処理と、を有することを特徴とする音声対話方法。
2. 請求項１に記載の音声対話方法において、
   更に中断時点の時情報と再開時点の時情報とから中断から再開までの経過時間を求める演算を加えた前記対話履歴取得処理と、
   この対話履歴取得処理にて得られた中断時点から再開時点までの経過時間に即した自然言語表現を用いた応答を出力しかつ上記無効な判定の場合に入力情報内の時情報に対応する再開時点の時情報に基づく応答を出力する対話制御処理と、を有することを特徴とする音声対話方法。
3. 音声入力を処理し応答音声を出力する音声対話方法において、
   対話の中断が入力されるとき、対話中の任意の時点までに入力された入力情報とその時点で実行中の対話シナリオの制御プログラム位置とその時点の時情報とからなる対話履歴を生成する対話履歴生成処理と、
   対話の再開が入力されるとき、上記対話履歴生成処理にて得られた対話履歴を取り出し、取り出された対話履歴中の入力情報内の時情報を対話の再開時点の時情報に照らして前記入力情報内の時情報が未だに有効か無効かを判定する対話履歴取得処理と、を有することを特徴とする音声対話方法。
4. 請求項３に記載の音声対話方法において、
   更に上記任意の時点の時情報と再開時点の時情報とから任意の時点から再開時点までの経過時間を求める演算を加えた前記対話履歴取得処理と、
   この対話履歴取得処理にて得られた上記任意の時点から再開時点までの経過時間に即した自然言語表現を用いた応答を出力しかつ上記無効な判定の場合に入力情報内の時情報に対応する再開時点の時情報に基づく応答を出力する対話制御処理と、を有することを特徴とする音声対話方法。
5. 前記時情報が未だに有効か無効かの判定は、対話履歴の使用目的に合わせて判定することを特徴とする請求項１乃至４のいずれかに記載の音声対話方法。
6. 自然言語表現は、経過時間に応じた慣用的表現のテーブルにて取り出すことを特徴とする請求項１乃至５のいずれかに記載の音声対話方法。
7. 自然言語表現は、時情報の判定結果に応じた保存情報をテーブルにて取り出すことを特徴とする請求項１乃至６のいずれかに記載の音声対話方法。
8. 音声入力を処理し応答音声を出力する音声対話装置において、
   対話の中断時点までに入力された入力情報とその時点で実行中の対話シナリオの制御プログラム位置とその時点の時情報とからなる対話履歴を生成する対話履歴生成装置と、
   この対話履歴生成装置にて得られた対話履歴を取り出し、取り出された対話履歴中の入力情報内の時情報を対話の再開時点の時情報に照らして前記入力情報内の時情報が未だに有効か無効かを判定する対話履歴取得装置と、を有することを特徴とする音声対話装置。
9. 請求項８に記載の音声対話装置において、
   更に中断時点の時情報の時情報と再開時点の時情報とから中断から再開までの経過時間を求める演算を加えた前記対話履歴取得装置と、
   この対話履歴取得装置にて得られた中断時点から再開時点までの経過時間に即した自然言語表現を用いた応答を出力しかつ上記無効な判定の場合に入力情報内の時情報に対応する再開時点の時情報に基づく応答を出力する対話制御装置と、を有することを特徴とする音声対話装置。
10. 音声入力を処理し応答音声を出力する音声対話装置において、
    対話中の任意の時点までに入力された入力情報とその時点で実行中の対話シナリオの制御プログラム位置とその時点の時情報とからなる対話履歴を生成する対話履歴生成装置と、
    この対話履歴生成装置にて得られた対話履歴を取り出し、取り出された対話履歴中の入力情報内の時情報を対話の再開時点の時情報に照らして前記入力情報内の時情報が未だに有効か無効かを判定する対話履歴取得装置と、を有することを特徴とする音声対話装置。
11. 請求項１０に記載の音声対話装置において、
    更に上記任意の時点の時情報と再開時点の時情報とから任意の時点から再開時点までの経過時間を求める演算を加えた前記対話履歴取得装置と、
    この対話履歴取得装置にて得られた上記任意の時点から再開時点までの経過時間に即した自然言語表現を用いた応答を出力しかつ上記無効な判定の場合に入力情報内の時情報に対応する再開時点の時情報に基づく応答を出力する対話制御装置と、を有することを特徴とする音声対話装置。

Images