Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6943158B2 - 応答文生成装置、方法及びプログラム並びに音声対話システム - Google Patents
[go: Go Back, main page]

JP6943158B2 - 応答文生成装置、方法及びプログラム並びに音声対話システム - Google Patents

応答文生成装置、方法及びプログラム並びに音声対話システム Download PDF

Info

Publication number
JP6943158B2
JP6943158B2 JP2017228234A JP2017228234A JP6943158B2 JP 6943158 B2 JP6943158 B2 JP 6943158B2 JP 2017228234 A JP2017228234 A JP 2017228234A JP 2017228234 A JP2017228234 A JP 2017228234A JP 6943158 B2 JP6943158 B2 JP 6943158B2
Authority
JP
Japan
Prior art keywords
information
voice
emotion
word
response sentence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017228234A
Other languages
English (en)
Other versions
JP2019101064A (ja
Inventor
生聖 渡部
生聖 渡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017228234A priority Critical patent/JP6943158B2/ja
Priority to EP18203266.4A priority patent/EP3489950B1/en
Priority to US16/185,033 priority patent/US10861458B2/en
Priority to CN201811417322.0A priority patent/CN110032742B/zh
Priority to KR1020180148469A priority patent/KR102161579B1/ko
Publication of JP2019101064A publication Critical patent/JP2019101064A/ja
Application granted granted Critical
Publication of JP6943158B2 publication Critical patent/JP6943158B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/268—Morphological analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1807—Speech classification or search using natural language modelling using prosody or stress
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/221—Announcement of recognition results
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Machine Translation (AREA)

Description

本発明は、応答文生成装置、方法及びプログラム並びに音声対話システムに関する。
特許文献１には、人間の発話内容を解析し、オウム返しするための応答文を生成し、音声により出力する対話システムに関する技術が開示されている。特許文献１にかかる技術は、予め用意された特殊表現リストに基づいて、発話内容のテキストデータの解析結果の中から意思や主観の表現を抽出し、所定の相槌のフレームを付加して応答文を生成するものである。
特開２００９−１９３４４８号公報
上述の通り、特許文献１にかかる技術は、テキストデータ上で、特殊表現リスト内に定義された表現に一致することにより抽出対象を特定するものである。しかしながら、テキストデータ上で形式的に特殊表現に一致するとしても、実際の発話者の関心事とは一致していない可能性があるという問題点がある。例えば、発話内容の中で発話者が感情を込めて発話した表現が、抽出対象として特定されないおそれがある。そして、その場合には、応答文が発話者の関心事に合わなくなってしまう。
本発明は、このような問題を解決するためになされたものであり、利用者の関心事に合わせた内容でオウム返しによる応答文を生成するための応答文生成装置、方法及びプログラム並びに音声対話システムを提供することを目的とする。
本発明の第１の態様にかかる応答文生成装置は、ユーザの入力音声をテキスト情報へ変換する変換手段と、前記入力音声から韻律情報を抽出する抽出手段と、前記テキスト情報と前記韻律情報とに基づいて、前記ユーザの感情の生起を示す感情生起語を特定する特定手段と、前記テキスト情報の中から前記特定された感情生起語を含む文字列を選択し、当該選択した文字列に対する所定の加工により応答文を生成する生成手段と、を備える。
このように本態様では、ユーザの発話内容の音声データから抽出される韻律情報を用いてユーザが感情を表現した箇所に対応するテキスト情報内の文字列を感情生起語として特定する。そして、感情生起語を中心として応答文を生成するため、ユーザの関心事に合わせた内容でオウム返しによる応答文を生成して、ユーザへ音声応答することが可能となる。そのため、ユーザにより傾聴感を与える応答を行うことができる。
また、前記抽出手段は、前記入力音声の基本周波数の解析により、当該入力音声のうち強調された音声を前記韻律情報として抽出し、前記特定手段は、前記テキスト情報の中から、前記韻律情報が示す前記強調された音声に対応する文字列を前記感情生起語として特定することが望ましい。これにより、音声データの中から強調された箇所を適切に抽出することができ、より適切な応答文を生成することができる。
さらに、前記変換手段は、前記入力音声内の各音が発生した時間情報と前記テキスト情報内の各文字とを対応付け、前記抽出手段は、前記強調された音声の各音が発生した時間情報を前記韻律情報に含めて抽出し、前記特定手段は、前記テキスト情報の中から、前記韻律情報に含まれる前記時間情報に対応する文字列を、前記感情生起語として特定すると良い。これにより、入力音声に対応するテキスト情報の中から精度良く、強調された音声に対応する文字列を特定することができ、より適切な応答文を生成することができる。
また、前記感情生起語の候補を予め登録した辞書情報をさらに備え、前記特定手段は、前記辞書情報をさらに加味して、前記感情生起語を特定すると良い。これにより、韻律情報により複数の強調された表現が特定された場合であっても、より適切な感情生起語を特定することができ、オウム返しの応答文としての精度を向上することができる。
または、他の入力音声を機械学習することにより生成された単語感情推定モデルをさらに備え、前記特定手段は、前記単語感情推定モデルをさらに加味して、前記感情生起語を特定するようにしてもよい。これにより、韻律情報により複数の強調された表現が特定された場合であっても、より適切な感情生起語を特定することができ、オウム返しの応答文としての精度を向上することができる。
本発明の第２の態様にかかる応答文生成方法は、ユーザの入力音声をテキスト情報へ変換するステップと、前記入力音声から韻律情報を抽出するステップと、前記テキスト情報と前記韻律情報とに基づいて、前記ユーザの感情の生起を示す感情生起語を特定するステップと、前記テキスト情報の中から前記特定された感情生起語を含む文字列を選択し、当該選択した文字列に対する所定の加工により応答文を生成するステップと、を含む。
本発明の第３の態様にかかる応答文生成プログラムは、ユーザの入力音声をテキスト情報へ変換する処理と、前記入力音声から韻律情報を抽出する処理と、前記テキスト情報と前記韻律情報とに基づいて、前記ユーザの感情の生起を示す感情生起語を特定する処理と、前記テキスト情報の中から前記特定された感情生起語を含む文字列を選択し、当該選択した文字列に対する所定の加工により応答文を生成する処理と、をコンピュータに実行させる。これら第２の態様及び第３の態様であっても、第１の態様と同様の効果を期待できる。
本発明の第４の態様にかかる音声対話システムは、ユーザから入力音声を受け付ける音声入力手段と、前記入力音声をテキスト情報へ変換する変換手段と、前記入力音声から韻律情報を抽出する抽出手段と、前記テキスト情報と前記韻律情報とに基づいて、前記ユーザの感情の生起を示す感情生起語を特定する特定手段と、前記テキスト情報の中から前記特定された感情生起語を含む文字列を選択し、当該選択した文字列に対する所定の加工により応答文を生成する生成手段と、前記生成された応答文を音声へ変換して出力する音声出力手段と、を備える。
このように第４の態様では、各手段を複数の装置に分散して搭載するものである。そのため、例えば、ユーザと直接対話を行う対話ロボットと外部サーバとに分散させた場合、対話ロボット側の処理負担を軽減できる。また、外部サーバ側で処理能力を容易に向上させることができる。そのため、第４の態様では、第１の態様と同様の効果に加え、上述した更なる効果を奏することができる。
本発明により、利用者の関心事に合わせた内容でオウム返しによる応答文を生成するための応答文生成装置、方法及びプログラム並びに音声対話システムを提供することができる。
本発明の実施の形態１にかかる応答文生成装置の構成を示すブロック図である。 本発明の実施の形態１にかかる応答文生成処理の流れを示すフローチャートである。 本発明の実施の形態２にかかる応答文生成装置の構成を示すブロック図である。 本発明の実施の形態３にかかる音声対話システムの全体構成を示すブロック図である。
以下では、上述した各態様を含む本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。
＜発明の実施の形態１＞
雑談型の対話ロボットにおいては、傾聴を示す発話は雑談の自然さを演出できるため、有効である。その中で、オウム返しの応答は、ユーザの発話内の語句を直接利用して応答するものである。例えば、ユーザが「昨日は暑かったね。」と発話した場合、そのオウム返しの応答として対話ロボットが「暑かったね。」と応答することが望ましいといえる。
ここで、従来の音声対話システムでは、本来の応答文を生成するまでのつなぎの応答として、オウム返し文が用いられていた。そのため、これまでのオウム返し文の生成プロセスは簡易なものが多かった。しかしながら、雑談型の対話ロボットにおけるオウム返しは、上述した通り重要な応答の一つであるため、従来よりは複雑な言語処理を行う価値が出てきた。
そこで、本実施形態では、ユーザの発話内容の中からユーザの感情の変化が表れる表現語を推定し、その表現語を含めてオウム返しによる応答文を生成するものである。つまり、オウム返しの応答文を生成する際に、ユーザの関心事に合わせた語彙を選択するものである。これにより、ユーザに高い傾聴感を与えるようなオウム返しの応答をすることができる。
図１は、本発明の実施の形態１にかかる応答文生成装置１００の構成を示すブロック図である。応答文生成装置１００は、ユーザＵが発話した内容を入力音声２０１として受け付け、発話内容の中からユーザＵの関心事に近い語句を特定し、当該語句を含めた応答文を生成して、出力音声２０９として出力するものである。このようにして、応答文生成装置１００は、ユーザＵと対話を行う。そのため、応答文生成装置１００は、音声対話システムの一例といえる。また、本実施形態にかかる応答文生成装置１００は、例えば、ロボット、ＰＣ（Personal Computer）、携帯端末（スマートフォン、タブレットなど）等に搭載することができる。
尚、応答文生成装置１００は、例えば、演算処理等と行うＣＰＵ（Central Processing Unit）、ＣＰＵによって実行される演算プログラム等が記憶されたＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）からなるメモリ、外部と信号の入出力を行うインターフェイス部（Ｉ／Ｆ）、などからなるマイクロコンピュータを中心にして、ハードウェア構成されている。ＣＰＵ、メモリ、及びインターフェイス部は、データバスなどを介して相互に接続されている。
応答文生成装置１００は、例えば、音声入力部１１０と、変換部１２０と、抽出部１３０と、感情生起語特定部１４０と、応答文生成部１５０と、音声出力部１６０とを備える。音声入力部１１０は、マイク等を用いてユーザＵから入力音声２０１を受け付け、変換部１２０及び抽出部１３０へ入力音声２０２を出力する。音声入力部１１０は、音声入力手段の一例である。
変換部１２０は、入力音声２０２をテキスト情報へ変換する。変換部１２０は、変換手段の一例である。変換部１２０は、少なくとも変換したテキスト情報又はテキスト情報に対して所定の解析が行われた解析結果２０５を感情生起語特定部１４０へ出力する。また、変換部１２０は、入力音声２０２内の各音が発生した時間情報とテキスト情報内の各文字とを対応付けるものとする。ここで、時間情報とは、例えば、入力音声２０２の開始時点からの各音が発生するまでに経過時間や時刻情報である。つまり、時間情報は、テキスト情報内の各文字の位置を特定できる情報であるものとする。
ここで、変換部１２０は、音声認識部１２１と、形態素解析部１２２と、係受け解析部１２３とを備える。音声認識部１２１は、例えば、入力音声２０２である音声情報をデジタル化する。音声認識部１２１は、そのデジタル化した情報から発話区間を検出し、検出した発話区間の音声情報に対して、統計言語モデルなどを参照してパターンマッチングを行うことで音声認識を行う。
ここで、統計言語モデルは、例えば、単語の出現分布やある単語の次に出現する単語の分布等、言語表現の出現確率を計算するための確率モデルであり、形態素単位で連結確率を学習したものである。統計言語モデルは、記憶部（不図示）などに予め記憶されている。音声認識部１２１は、音声認識結果であるテキスト情報２０３を形態素解析部１２２へ出力する。
形態素解析部１２２は、入力音声２０２に対応するテキスト情報２０３を複数の形態素に分割し、各形態素に対してその品詞種類（名詞、形容詞、動詞、副詞など）を付加した品詞情報付き形態素情報を生成する。形態素解析部１２２は、音声認識部１２１により認識されたテキスト情報２０３の構文を解析する。形態素解析部１２２は、例えば、一般的な形態素解析器を用いてテキスト情報２０３である文字列情報に対して形態素解析などを行い、文字列情報の意味解釈を行う。形態素解析部１２２は、解析結果２０４を係受け解析部１２３へ出力する。
係受け解析部１２３は、解析結果２０４内の各形態素情報の間の係受けの関係を解析し、解析結果２０５（形態素情報、係り受け情報、認識結果のテキスト情報などを含む）を感情生起語特定部１４０に出力する。
抽出部１３０は、抽出手段の一例である。抽出部１３０は、入力音声２０２から韻律情報２０６を抽出する。具体的には、抽出部１３０は、入力音声２０２の基本周波数の解析により、入力音声２０２のうち強調された音声を韻律情報２０６として抽出する。ここで、韻律情報２０６とは、入力音声２０２における抑揚、強勢、アクセントの強弱等を示す情報であるが、ここでは、特に、ユーザＵが入力音声２０２の中で他の音と比べて強調した音の位置を示す情報であるものとする。尚、抽出部１３０は、強調された箇所として複数の箇所を韻律情報２０６に含めても構わない。
例えば、抽出部１３０は、直前（１サンプル前）の入力音声の基本周波数と今回の入力音声の基本周波数との比率を算出し、今回の基本周波数が一定値以上、増加していると判定した場合、音声の強調されている箇所であると判定する。または、抽出部１３０は、過去の発話の履歴から基本周波数の範囲を算出し、今回の入力音声の基本周波数の範囲がその範囲を超えている場合、音声の強調されている箇所であると判定する。
さらに、抽出部１３０は、強調された音声の各音が発生した時間情報を韻律情報２０６に含めて抽出する。尚、ここでの時間情報は、入力音声２０２内の各音の位置を特定できる情報であるものとする。そのため、韻律情報２０６には、ユーザＵが入力音声２０２の中で他の音と比べて強調した音に対応する時間情報が含まれるといえる。尚、抽出部１３０は、韻律特徴抽出に関する公知技術を適用しても構わない。
感情生起語特定部１４０は、特定手段の一例である。感情生起語特定部１４０は、テキスト情報である解析結果２０５と韻律情報２０６とに基づいて、ユーザＵの感情の生起を示す感情生起語２０７を特定する。具体的には、感情生起語特定部１４０は、解析結果２０５の中から、韻律情報２０６が示す強調された音声に対応する文字列を感情生起語２０７として特定する。より詳細には、感情生起語特定部１４０は、解析結果２０５の中から、韻律情報２０６に含まれる時間情報に対応する文字列を、感情生起語２０７として特定する。感情生起語特定部１４０は、特定した感情生起語２０７と、解析結果２０５に相当するテキスト情報２０７ａを応答文生成部１５０へ出力する。
応答文生成部１５０は、生成手段の一例である。応答文生成部１５０は、テキスト情報２０７ａの中から、特定された感情生起語２０７を含む文字列を選択し、当該選択した文字列に対する所定の加工により応答文２０８を生成する。例えば、応答文生成部１５０は、テキスト情報２０７ａの中から感情生起語２０７を含む述語項を選択する。特に、応答文生成部１５０は、テキスト情報２０７ａに含まれる形態素情報や係り受け情報を加味して、感情生起語２０７を含む述語項を選択するとよい。この際、応答文生成部１５０は、複数の述語項を選択しても構わない。また、応答文生成部１５０は、所定の加工として選択された述語項のうち語尾などを変形させてもよい。または、応答文生成部１５０は、所定の加工として選択された述語項の一部を除去し、他の語句を結合してもよい。例えば、応答文生成部１５０は、述語項のうち述語部分を除いて質問系に加工してもよい。応答文生成部１５０は、生成した応答文２０８を音声出力部１６０へ出力する。尚、所定の加工はこれに限定されない。
音声出力部１６０は、応答文生成部１５０により生成された応答文２０８を音声へ変換し、スピーカ等を用いてユーザＵに対して出力音声２０９として出力する。音声出力部１６０は、音声出力手段の一例である。
尚、応答文生成装置１００は、少なくとも変換部１２０、抽出部１３０、感情生起語特定部１４０及び応答文生成部１５０を備えていればよい。その場合、応答文生成装置１００は、記憶部（不図示）に予め入力音声２０２を保存しておき、変換部１２０及び抽出部１３０は、記憶部から入力音声２０２を読み出して、それぞれの処理を行うようにしてもよい。また、その場合、応答文生成部１５０は、応答文２０８を記憶部に保存してもよい。
図２は、本発明の実施の形態１にかかる応答文生成処理の流れを示すフローチャートである。まず、音声入力部１１０は、ユーザＵの発話内容を音声入力する（Ｓ１０１）。ここでは、例えば、ユーザＵが「たまに行く海外旅行が楽しいよね」と発話したものとする。
次に、音声認識部１２１は、音声入力部１１０からの入力音声２０２について音声認識する（Ｓ１０２）。そして、形態素解析部１２２は、音声認識されたテキスト情報２０３に対して形態素解析を行う（Ｓ１０３）。続いて、係受け解析部１２３は、形態素解析による解析結果２０４に対して係受け解析を行う（Ｓ１０４）。
また、ステップＳ１０２〜Ｓ１０４と並行して、抽出部１３０は、入力音声２０２から韻律情報２０６を抽出する（Ｓ１０５）。ここでは、例えば、「海外旅行」がユーザＵにより強調されたものとし、入力音声２０２のうち「海外旅行」の音に対応する位置や時間情報が韻律情報２０６に含まれるものとする。
ステップＳ１０４及びＳ１０５の後、感情生起語特定部１４０は、解析結果２０５と韻律情報２０６に基づいて、感情生起語２０７を特定する（Ｓ１０６）。例えば、感情生起語特定部１４０は、解析結果２０５の中から、ユーザＵにより強調された「海外旅行」の文字列を感情生起語２０７として特定する。
そして、応答文生成部１５０は、テキスト情報２０７ａの中から感情生起語２０７を含む文字列を選択する（Ｓ１０７）。例えば、応答文生成部１５０は、テキスト情報２０７ａの中から感情生起語２０７を含む述語項として「海外旅行が楽しい」を選択する。続いて、応答文生成部１５０は、選択した文字列に対する所定の加工により応答文２０８を生成する（Ｓ１０８）。例えば、応答文生成部１５０は、述語項「海外旅行が楽しい」から述語を除いて質問系にした応答文「海外旅行が？」を生成する。
その後、音声出力部１６０は、応答文２０８を音声に変換する（Ｓ１０９）。例えば、応答文「海外旅行が？」に対応する音声データが生成される。そして、音声出力部１６０は、変換後の出力音声２０９をユーザＵに対して出力する（Ｓ１１０）。例えば、音声出力部１６０は、「海外旅行が？」という音声をユーザＵに対して出力する。
このように、ユーザＵは、自己の発話内で強調した表現に対する適切なオウム返しの応答を得ることができる。つまり、本実施の形態にかかる応答文生成装置１００によりユーザの関心事に合わせた内容でオウム返しによる応答文を生成することができる。そのため、ユーザＵは、応答文生成装置１００からより高い傾聴感を得ることができる。
＜発明の実施の形態２＞
本発明の実施の形態２は、上述した実施の形態１の変形例である。
図３は、本発明の実施の形態２にかかる応答文生成装置１００ａの構成を示すブロック図である。応答文生成装置１００ａは、上述した応答文生成装置１００と比べて、感情生起語辞書１７０が追加されたものである。感情生起語辞書１７０は、少なくとも１つ以上の感情生起語の候補が文字列情報として予め登録されたデータベースである。そして、感情生起語特定部１４０ａは、上述した感情生起語特定部１４０の処理に加え、感情生起語辞書１７０をさらに加味して、感情生起語２０７を特定する。これにより、韻律情報において複数の箇所が強調されている音として示されている場合などに、感情生起語辞書１７０に登録された感情生起語の候補により絞り込みを行うことができる。よって、オウム返しの応答文としての精度を向上することができる。
例えば、入力音声２０１が上記と同様に「たまに行く海外旅行が楽しいよね」であり、ユーザＵが強調した音が「海外旅行」と「楽しい」の２カ所であったものとする。この場合、抽出部１３０は、「海外旅行」と「楽しい」の２カ所を特定する位置又は時間情報等を韻律情報２０６に含める。そして、感情生起語特定部１４０ａは、まず、解析結果２０５の中から韻律情報２０６が示す時間情報に対応する文字列として「海外旅行」と「楽しい」とを特定する。続いて、感情生起語特定部１４０ａは、感情生起語辞書１７０を参照し、登録されている感情生起語の候補「楽しい」と、上記で特定された２つの文字列とを比較する。そして、感情生起語特定部１４０ａは、比較により一致した「楽しい」を感情生起語２０７として特定する。
その後、応答文生成部１５０は、テキスト情報２０７ａの中から特定された感情生起語「楽しい」を含む述語項「海外旅行が楽しい」を選択する。そして、応答文生成部１５０は、例えば、述語項「海外旅行が楽しい」から、感情生起語「楽しい」を残して語尾を変形させて応答文「楽しいですよね。」を生成する。
このように、本実施の形態２では、感情生起語辞書を加味して感情生起語を特定することで、複数の感情生起語の候補がある場合であっても、精度良く感情生起語を特定できる。また、特定された感情生起語を加味して、ユーザが強調した表現に応じた適切なオウム返し文を生成することができる。
尚、本実施の形態２では、感情生起語辞書１７０に代えて、単語感情推定モデルを用いても構わない。ここで、単語感情推定モデルは、事前に他の入力音声を機械学習することにより生成された感情生起語の推定モデルである。この場合、感情生起語特定部１４０ａは、上述した感情生起語特定部１４０の処理に加え、単語感情推定モデルをさらに加味して、感情生起語２０７を特定する。これにより、オウム返しの応答文としての精度を向上することができる。
尚、本実施の形態２では、感情生起語辞書１７０に代えて、固有名詞データベースを用いても構わない。ここで、固有名詞データベースは、少なくとも１つ以上の固有名詞が文字列情報として予め登録されたデータベースである。この場合、感情生起語特定部１４０ａは、上述した感情生起語特定部１４０の処理に加え、固有名詞データベースをさらに加味して、感情生起語２０７を特定する。これにより、オウム返しの応答文としての精度を向上することができる。
さらに、本実施の形態２では、感情生起語辞書１７０、単語感情推定モデル及び固有名詞データベースのうち２以上の組合せを用いても構わない。これにより、オウム返しの応答文としての精度をさらに向上することができる。
＜発明の実施の形態３＞
本発明の実施の形態３は、上述した実施の形態１又は２の変形例である。本実施の形態３では、対話ロボット内にはユーザとの音声のやり取りと外部のコンピュータとの通信機能のみを持たせ、当該コンピュータには上述した応答文生成装置１００又は１００ａの一部の構成を有するようにしたものである。
図４は、本発明の実施の形態３にかかる音声対話システム５００の全体構成を示すブロック図である。音声対話システム５００は、ユーザＵと対話ロボット３００とが対話を行うものである。但し、対話ロボット３００は、ユーザＵの発話に対するオウム返しの応答文の生成を外部の応答文生成装置４００に依頼するものである。対話ロボット３００と応答文生成装置４００とは、例えば、ＬＴＥ（Long Term Evolution）などの通信網を介して通信接続され、相互にデータ通信を行なうことができる。
対話ロボット３００は、少なくともユーザＵとの音声対話を行うための最少限の構成を有していればよい。但し、対話ロボット３００は、公知の対話ロボットの機能を搭載していてもよい。また、対話ロボット３００は、ユーザＵと対話を行うための通常の応答文を生成する機能を有していても良い。
対話ロボット３００は、例えば、音声入力部３１０と、通信部３２０と、音声出力部３３０とを備える。音声入力部３１０及び音声出力部３３０は、上述した音声入力部１１０及び音声出力部１６０と同等の機能を有する。但し、音声入力部３１０は、ユーザＵから受け付けた入力音声２０１を通信部３２０へ入力音声２０２として出力する。また、音声出力部３３０は、通信部３２０から受け付けた応答文２０８ｂを音声に変換して出力音声２０９としてユーザＵへ出力する。
通信部３２０は、例えば、無線通信による通信データの送受信を行う。通信部３２０は、入力音声２０２を通信データ２０２ａとしてネットワークを介して応答文生成装置４００へ送信する。また、通信部３２０は、応答文生成装置４００からネットワークを介して通信データ２０８ａを受信する。通信部３２０は、受信した通信データ２０８ａに含まれる応答文２０８ｂを音声出力部３３０へ出力する。
応答文生成装置４００は、コンピュータ等の情報処理装置である。応答文生成装置４００は、例えば、ネットワーク上に設置されたサーバである。応答文生成装置４００は、通信部４１０と、変換部４２０と、抽出部４３０と、感情生起語特定部４４０と、応答文生成部４５０と、を備える。変換部４２０、抽出部４３０、感情生起語特定部４４０及び応答文生成部４５０は、上述した変換部１２０、抽出部１３０、感情生起語特定部１４０及び応答文生成部１５０と同等の機能を有する。
通信部４１０は、例えば、無線通信又は有線通信による通信データの送受信を行う。通信部４１０は、対話ロボット３００からネットワークを介して通信データ２０２ａを受信し、通信データ２０２ａに含まれる入力音声２０２ｂを変換部４２０及び抽出部４３０へ出力する。また、通信部４１０は、応答文生成部４５０から出力される応答文２０８を受け付け、通信データ２０８ａとして対話ロボット３００へ送信する。
尚、対話ロボット３００及び応答文生成装置４００は、上述した構成に限定されない。例えば、対話ロボット３００は、応答文生成装置４００の構成の一部を有していてもよい。つまり、対話ロボット３００及び応答文生成装置４００は、両方の構成を併せて、応答文生成装置１００又は１００ａの構成を実現すればよい。
このように、対話ロボット３００と応答文生成装置４００とで処理を分担することで、対話ロボット３００の処理を軽減し、対話ロボット３００の小型軽量化を図ることができる。また、応答文生成装置４００の処理能力を増強することで、音声対話システム５００としての処理能力を容易に向上させることができ、より複雑な応答を行うことができる。さらに、保守点検を行う際に、対話ロボット３００側に主要な構成要素があると、保守作業員が、対話ロボット３００が存在する場所まで出向く必要がある。しかし、応答文生成装置４００側に主要な構成要素を設けることで、その必要がなく、保守点検などのメンテナンスにかかる人的負荷が軽減される。
尚、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disc）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
１００ 応答文生成装置
１００ａ 応答文生成装置
１１０ 音声入力部
１２０ 変換部
１２１ 音声認識部
１２２ 形態素解析部
１２３ 係受け解析部
１３０ 抽出部
１４０ 感情生起語特定部
１４０ａ 感情生起語特定部
１５０ 応答文生成部
１６０ 音声出力部
１７０ 感情生起語辞書
２０１ 入力音声
２０２ 入力音声
２０２ａ 通信データ
２０２ｂ 入力音声
２０３ テキスト情報
２０４ 解析結果
２０５ 解析結果
２０６ 韻律情報
２０７ 感情生起語
２０７ａ テキスト情報
２０８ 応答文
２０８ａ 通信データ
２０８ｂ 応答文
２０９ 出力音声
３００ 対話ロボット
３１０ 音声入力部
３２０ 通信部
３３０ 音声出力部
４００ 応答文生成装置
４１０ 通信部
４２０ 変換部
４３０ 抽出部
４４０ 感情生起語特定部
４５０ 応答文生成部
５００ 音声対話システム
Ｕ ユーザ

Claims (6)

  1. ユーザの入力音声をテキスト情報へ変換する変換手段と、
    前記入力音声から韻律情報を抽出する抽出手段と、
    前記テキスト情報と前記韻律情報とに基づいて、前記ユーザの感情の生起を示す感情生起語を特定する特定手段と、
    前記テキスト情報の中から前記特定された感情生起語を含む文字列を選択し、当該選択した文字列に対する所定の加工により応答文を生成する生成手段と、
    前記感情生起語の候補を予め登録した辞書情報と、
    を備え、
    前記抽出手段は、前記入力音声の基本周波数の解析により、当該入力音声のうち強調された音声を前記韻律情報として抽出し、
    前記特定手段は、
    前記強調された音声として複数の箇所が前記韻律情報に示されている場合、前記テキスト情報のうち前記韻律情報が示す前記強調された音声に対応する複数の文字列の中から、前記辞書情報に登録された前記感情生起語の候補を用いて絞り込みを行うことにより、前記感情生起語を特定する
    応答文生成装置。
  2. 前記変換手段は、前記入力音声内の各音が発生した時間情報と前記テキスト情報内の各文字とを対応付け、
    前記抽出手段は、前記強調された音声の各音が発生した時間情報を前記韻律情報に含めて抽出し、
    前記特定手段は、前記テキスト情報の中から、前記韻律情報に含まれる前記時間情報に対応する文字列を、前記感情生起語として特定する
    請求項１に記載の応答文生成装置。
  3. 他の入力音声を機械学習することにより生成された単語感情推定モデルをさらに備え、
    前記特定手段は、前記単語感情推定モデルをさらに加味して、前記感情生起語を特定する
    請求項１又は２に記載の応答文生成装置。
  4. ユーザの入力音声をテキスト情報へ変換するステップと、
    前記入力音声から韻律情報を抽出するステップと、
    前記テキスト情報と前記韻律情報とに基づいて、前記ユーザの感情の生起を示す感情生起語を特定するステップと、
    前記テキスト情報の中から前記特定された感情生起語を含む文字列を選択し、当該選択した文字列に対する所定の加工により応答文を生成するステップと、
    を含み、
    前記抽出するステップにおいて、前記入力音声の基本周波数の解析により、当該入力音声のうち強調された音声を前記韻律情報として抽出し、
    前記特定するステップにおいて、前記強調された音声として複数の箇所が前記韻律情報に示されている場合、前記テキスト情報のうち前記韻律情報が示す前記強調された音声に対応する複数の文字列の中から、辞書情報に登録された前記感情生起語の候補を用いて絞り込みを行うことにより、前記感情生起語を特定する
    応答文生成方法。
  5. ユーザの入力音声をテキスト情報へ変換する処理と、
    前記入力音声から韻律情報を抽出する処理と、
    前記テキスト情報と前記韻律情報とに基づいて、前記ユーザの感情の生起を示す感情生起語を特定する処理と、
    前記テキスト情報の中から前記特定された感情生起語を含む文字列を選択し、当該選択した文字列に対する所定の加工により応答文を生成する処理と、
    をコンピュータに実行させ、
    前記抽出する処理は、前記入力音声の基本周波数の解析により、当該入力音声のうち強調された音声を前記韻律情報として抽出し、
    前記特定する処理は、前記強調された音声として複数の箇所が前記韻律情報に示されている場合、前記テキスト情報のうち前記韻律情報が示す前記強調された音声に対応する複数の文字列の中から、辞書情報に登録された前記感情生起語の候補を用いて絞り込みを行うことにより、前記感情生起語を特定する
    応答文生成プログラム。
  6. ユーザから入力音声を受け付ける音声入力手段と、
    前記入力音声をテキスト情報へ変換する変換手段と、
    前記入力音声から韻律情報を抽出する抽出手段と、
    前記テキスト情報と前記韻律情報とに基づいて、前記ユーザの感情の生起を示す感情生起語を特定する特定手段と、
    前記テキスト情報の中から前記特定された感情生起語を含む文字列を選択し、当該選択した文字列に対する所定の加工により応答文を生成する生成手段と、
    前記生成された応答文を音声へ変換して出力する音声出力手段と、
    前記感情生起語の候補を予め登録した辞書情報と、
    を備え、
    前記抽出手段は、前記入力音声の基本周波数の解析により、当該入力音声のうち強調された音声を前記韻律情報として抽出し、
    前記特定手段は、
    前記強調された音声として複数の箇所が前記韻律情報に示されている場合、前記テキスト情報のうち前記韻律情報が示す前記強調された音声に対応する複数の文字列の中から、前記辞書情報に登録された前記感情生起語の候補を用いて絞り込みを行うことにより、前記感情生起語を特定する
    音声対話システム。
JP2017228234A 2017-11-28 2017-11-28 応答文生成装置、方法及びプログラム並びに音声対話システム Active JP6943158B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017228234A JP6943158B2 (ja) 2017-11-28 2017-11-28 応答文生成装置、方法及びプログラム並びに音声対話システム
EP18203266.4A EP3489950B1 (en) 2017-11-28 2018-10-30 Response sentence generation apparatus, method and program
US16/185,033 US10861458B2 (en) 2017-11-28 2018-11-09 Response sentence generation apparatus, method and program, and voice interaction system
CN201811417322.0A CN110032742B (zh) 2017-11-28 2018-11-26 响应语句生成设备、方法和存储介质以及语音交互系统
KR1020180148469A KR102161579B1 (ko) 2017-11-28 2018-11-27 응답문 생성 장치, 방법 및 프로그램, 그리고 음성 대화 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017228234A JP6943158B2 (ja) 2017-11-28 2017-11-28 応答文生成装置、方法及びプログラム並びに音声対話システム

Publications (2)

Publication Number Publication Date
JP2019101064A JP2019101064A (ja) 2019-06-24
JP6943158B2 true JP6943158B2 (ja) 2021-09-29

Family

ID=64048716

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017228234A Active JP6943158B2 (ja) 2017-11-28 2017-11-28 応答文生成装置、方法及びプログラム並びに音声対話システム

Country Status (5)

Country Link
US (1) US10861458B2 (ja)
EP (1) EP3489950B1 (ja)
JP (1) JP6943158B2 (ja)
KR (1) KR102161579B1 (ja)
CN (1) CN110032742B (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7151181B2 (ja) * 2018-05-31 2022-10-12 トヨタ自動車株式会社 音声対話システム、その処理方法及びプログラム
WO2020101263A1 (en) * 2018-11-14 2020-05-22 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling thereof
KR102888903B1 (ko) * 2019-03-22 2025-11-21 삼성전자주식회사 응답을 제공하는 전자 장치와 이의 동작 방법
CN110502631B (zh) * 2019-07-17 2022-11-04 招联消费金融有限公司 一种输入信息响应方法、装置、计算机设备和存储介质
CN110827827A (zh) * 2019-11-27 2020-02-21 维沃移动通信有限公司 一种语音播报方法及电子设备
RU2762702C2 (ru) * 2020-04-28 2021-12-22 Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк) Система и способ автоматизированной оценки намерений и эмоций пользователей диалоговой системы
CN111583968A (zh) * 2020-05-25 2020-08-25 桂林电子科技大学 一种语音情感识别方法和系统
CN111984758A (zh) * 2020-06-29 2020-11-24 联想(北京)有限公司 一种应答信息处理方法、智能设备及存储介质
JP7368335B2 (ja) * 2020-09-24 2023-10-24 Kddi株式会社 ポジティブなオウム返し的応答文によって対話するプログラム、装置及び方法
WO2023102931A1 (zh) * 2021-12-10 2023-06-15 广州虎牙科技有限公司 韵律结构的预测方法、电子设备、程序产品及存储介质
US12354592B2 (en) 2022-01-07 2025-07-08 Samsung Electronics Co., Ltd. Method and system for generating an intelligent voice assistant response
WO2023238341A1 (ja) * 2022-06-09 2023-12-14 日本電信電話株式会社 音声応答文学習方法、音声応答文生成方法、音声応答文学習装置、音声応答文生成装置及びプログラム
JP2024155783A (ja) * 2023-04-19 2024-10-31 ソフトバンクグループ株式会社 電子機器
JP2024155781A (ja) * 2023-04-19 2024-10-31 ソフトバンクグループ株式会社 電子機器
CN116913278B (zh) * 2023-09-12 2023-11-17 腾讯科技（深圳）有限公司 语音处理方法、装置、设备和存储介质
CN118588085B (zh) 2024-08-05 2024-12-03 南京硅基智能科技有限公司 语音交互方法、语音交互系统和存储介质

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5918222A (en) * 1995-03-17 1999-06-29 Kabushiki Kaisha Toshiba Information disclosing apparatus and multi-modal information input/output system
JP3006677B2 (ja) * 1996-10-28 2000-02-07 日本電気株式会社 音声認識装置
US7590538B2 (en) * 1999-08-31 2009-09-15 Accenture Llp Voice recognition system for navigating on the internet
JP2001117922A (ja) * 1999-10-15 2001-04-27 Sony Corp 翻訳装置および翻訳方法、並びに記録媒体
JP4054507B2 (ja) * 2000-03-31 2008-02-27 キヤノン株式会社 音声情報処理方法および装置および記憶媒体
GB2380556A (en) * 2001-10-05 2003-04-09 Hewlett Packard Co Camera with vocal control and recording
US20030167167A1 (en) * 2002-02-26 2003-09-04 Li Gong Intelligent personal assistants
JP2003330490A (ja) * 2002-05-15 2003-11-19 Fujitsu Ltd 音声対話装置
USH2189H1 (en) * 2002-10-21 2007-05-01 Oracle International Corporation SQL enhancements to support text queries on speech recognition results of audio data
JP2005266198A (ja) * 2004-03-18 2005-09-29 Pioneer Electronic Corp 音響情報再生装置および音楽データのキーワード作成方法
JP2006071936A (ja) * 2004-09-01 2006-03-16 Matsushita Electric Works Ltd 対話エージェント
US8214214B2 (en) * 2004-12-03 2012-07-03 Phoenix Solutions, Inc. Emotion detection device and method for use in distributed systems
GB2433150B (en) * 2005-12-08 2009-10-07 Toshiba Res Europ Ltd Method and apparatus for labelling speech
US8073681B2 (en) * 2006-10-16 2011-12-06 Voicebox Technologies, Inc. System and method for a cooperative conversational voice user interface
JP4213755B2 (ja) * 2007-03-28 2009-01-21 株式会社東芝 音声翻訳装置、方法およびプログラム
WO2008126355A1 (ja) * 2007-03-29 2008-10-23 Panasonic Corporation キーワード抽出装置
US20080300872A1 (en) * 2007-05-31 2008-12-04 Microsoft Corporation Scalable summaries of audio or visual content
WO2009021183A1 (en) * 2007-08-08 2009-02-12 Lessac Technologies, Inc. System-effected text annotation for expressive prosody in speech synthesis and recognition
JP2009193448A (ja) 2008-02-15 2009-08-27 Oki Electric Ind Co Ltd 対話システム、方法及びプログラム
US20090210411A1 (en) 2008-02-15 2009-08-20 Oki Electric Industry Co., Ltd. Information Retrieving System
US9922640B2 (en) * 2008-10-17 2018-03-20 Ashwin P Rao System and method for multimodal utterance detection
KR101131278B1 (ko) * 2010-03-02 2012-03-30 포항공과대학교 산학협력단 대화 로그를 이용한 학습 기반 대화 시스템 성능 향상 방법 및 그 장치
JP5496863B2 (ja) * 2010-11-25 2014-05-21 日本電信電話株式会社 感情推定装置、その方法、プログラム及びその記録媒体
JP5602653B2 (ja) * 2011-01-31 2014-10-08 インターナショナル・ビジネス・マシーンズ・コーポレーション 情報処理装置、情報処理方法、情報処理システム、およびプログラム
EP2498250B1 (en) * 2011-03-07 2021-05-05 Accenture Global Services Limited Client and server system for natural language-based control of a digital network of devices
US8918320B2 (en) * 2012-01-03 2014-12-23 Nokia Corporation Methods, apparatuses and computer program products for joint use of speech and text-based features for sentiment detection
KR101977072B1 (ko) * 2012-05-07 2019-05-10 엘지전자 주식회사 음성 파일과 관련된 텍스트의 표시 방법 및 이를 구현한 전자기기
KR20140026220A (ko) * 2012-06-15 2014-03-05 삼성전자주식회사 단말 장치 및 단말 장치의 제어 방법
US9020822B2 (en) * 2012-10-19 2015-04-28 Sony Computer Entertainment Inc. Emotion recognition using auditory attention cues extracted from users voice
US9105042B2 (en) * 2013-02-07 2015-08-11 Verizon Patent And Licensing Inc. Customer sentiment analysis using recorded conversation
KR102065045B1 (ko) * 2013-03-15 2020-01-10 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR20140120560A (ko) * 2013-04-03 2014-10-14 삼성전자주식회사 통역 장치 제어 방법, 통역 서버의 제어 방법, 통역 시스템의 제어 방법 및 사용자 단말
US20160133251A1 (en) * 2013-05-31 2016-05-12 Longsand Limited Processing of audio data
US10068588B2 (en) * 2014-07-21 2018-09-04 Microsoft Technology Licensing, Llc Real-time emotion recognition from audio signals
JP6295869B2 (ja) 2014-07-23 2018-03-20 トヨタ自動車株式会社 応答生成装置、応答生成方法及びプログラム
US10127927B2 (en) * 2014-07-28 2018-11-13 Sony Interactive Entertainment Inc. Emotional speech processing
JP6122816B2 (ja) * 2014-08-07 2017-04-26 シャープ株式会社 音声出力装置、ネットワークシステム、音声出力方法、および音声出力プログラム
US10803850B2 (en) * 2014-09-08 2020-10-13 Microsoft Technology Licensing, Llc Voice generation with predetermined emotion type
US9484032B2 (en) * 2014-10-27 2016-11-01 Xerox Corporation Methods and systems for navigating through multimedia content
CN104361896B (zh) * 2014-12-04 2018-04-13 上海流利说信息技术有限公司 语音质量评价设备、方法和系统
US10552877B2 (en) * 2015-08-19 2020-02-04 Veritone, Inc. Engine and system for the transcription and assessment of media files
US10141010B1 (en) * 2015-10-01 2018-11-27 Google Llc Automatic censoring of objectionable song lyrics in audio
KR102525209B1 (ko) * 2016-03-03 2023-04-25 한국전자통신연구원 원시 발화자의 목소리와 유사한 특성을 갖는 합성음을 생성하는 자동 통역 시스템 및 그 동작 방법
US20190051302A1 (en) * 2018-09-24 2019-02-14 Intel Corporation Technologies for contextual natural language generation in a vehicle

Also Published As

Publication number Publication date
JP2019101064A (ja) 2019-06-24
US20190164551A1 (en) 2019-05-30
EP3489950B1 (en) 2020-08-12
CN110032742A (zh) 2019-07-19
KR102161579B1 (ko) 2020-10-05
CN110032742B (zh) 2023-09-01
EP3489950A1 (en) 2019-05-29
KR20190062274A (ko) 2019-06-05
US10861458B2 (en) 2020-12-08

Similar Documents

Publication Publication Date Title
JP6943158B2 (ja) 応答文生成装置、方法及びプログラム並びに音声対話システム
EP3370230B1 (en) Voice interaction apparatus, its processing method, and program
JP5506738B2 (ja) 怒り感情推定装置、怒り感情推定方法およびそのプログラム
US11270691B2 (en) Voice interaction system, its processing method, and program therefor
JP7059813B2 (ja) 音声対話システム、その処理方法及びプログラム
CN105390137B (zh) 响应生成方法、响应生成装置和响应生成程序
Vekkot et al. Hybrid framework for speaker-independent emotion conversion using i-vector PLDA and neural network
JP6828667B2 (ja) 音声対話装置、音声対話方法及びプログラム
US20040006469A1 (en) Apparatus and method for updating lexicon
Quang et al. Automatic question detection: prosodic-lexical features and cross-lingual experiments
JP6176137B2 (ja) 音声対話装置、音声対話システム及びプログラム
JP2016024384A (ja) 応答生成装置、応答生成方法及びプログラム
Nguyen et al. Prosodic phrasing modeling for Vietnamese TTS using syntactic information
JP6773074B2 (ja) 応答生成方法、応答生成装置及び応答生成プログラム
Prakash et al. Exploring an inter-pausal unit (ipu) based approach for indic end-to-end tts systems
KR20080011859A (ko) 문말 억양 예측 방법 및 이를 기반으로 하는 음성합성 방법및 시스템
Bernal Ortiz HUMAN-MACHINE SPEAKER IDENTIFICATION ACCORDING TO TOBI PRINCIPLES
Park et al. Analytic Study of Text-Free Speech Synthesis for Raw Audio using a Self-Supervised Learning Model
Aljameel et al. Stuttering Disfluency Correction System Using
Aljameel et al. Stuttering Disfluency Correction System Using Artificial Intelligence
JP2024135351A (ja) 会話文生成装置、会話文生成システムおよび会話文生成方法
Elmas et al. Whisperer: A Real-Time Prompting System with Multilayered Semantic Matching and Adaptive Speech Synthesis
Barra-Chicote et al. The GTH-CSTR Entries for the Speech Synthesis Albayzin 2010 Evaluation: HMM-based Speech Synthesis Systems considering morphosyntactic features and Speaker Adaptation Techniques
CN120708591A (zh) 语音合成方法、装置和电子设备
Zhou et al. Emotion recognition and conversion for mandarin speech

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210810

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210823

R151 Written notification of patent or utility model registration

Ref document number: 6943158

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151