JP6434363B2 - 音声入力装置、音声入力方法、およびプログラム - Google Patents

Description

この発明は、音声認識技術に関し、特に、複数の項目へ発話により入力を行う音声入力技術に関する。

音声を用いた入力インタフェースとして、利用者の音声認識結果を入力内容として利用するものが広く知られている。例えば、音声認識結果を用いたウェブ検索機能は多くのスマートフォン端末に実装されている。ウェブ検索で用いられている音声入力インタフェースでは、音声認識結果をそのまま、あるいは整形や言い換え等を行った上で検索語として利用している。この場合、利用者が発声した発話と検索語が一対一となる。

しかしながら、スケジュール管理やアドレス帳登録など、意味合いの異なる複数の入力項目を埋めるアプリケーションも存在する。複数の入力項目を埋めるアプリケーションやサービスに従来の音声入力技術を用いる場合、例えば、以下のような入力形式が考えられる。

（１）音声認識を用いた音声インタフェースの多くは一般的に入力するフィールドと一対一に紐付いているため、複数の項目を入力する場合は、項目毎に音声入力を行い、音声認識結果を項目に投入し、利用者に表示する。

（２）対話的に各項目の情報を利用者から聞き出して入力する。

上記（１）の形式では、複数項目の入力に用いると各項目数分の発声および音声認識処理が必要となり、入力完了までに時間がかかり効率が悪い。上記（２）の形式では、観光案内など日常的には利用しないものであればよいが、予定投入アプリケーションなど同じ利用者が日常的に利用するものでは同様のやり取りを毎回行う必要が生じるため不便である。

日常的に繰り返し利用するアプリケーションでは、一度の発声で複数の項目に対応した情報を抽出し、投入を行えると利便性が高い。ひとつの発話から複数の必要な情報を抽出する技術は一般的なテキスト解析技術を用いることで実現可能である（例えば、非特許文献１参照）。例えば、鉄道の経路検索アプリケーションにおいて、「東京駅から横須賀駅まで」と発話することで、東京駅を出発駅とし、横須賀駅を到着駅として抽出し、経路を検索することができる。これは発話する文法やルールを予めアプリケーションが保持しておくことにより実現できる。従来の音声入力では、投入された結果、あるいは、アプリケーションが解釈して処理した結果（前述の例の場合、経路検索結果）のみが利用者に表示される。

ローネン・フェルドマン、"テキストマイニングハンドブック"、東京電機大学出版局、pp. 126-132、2010年

しかしながら、アプリケーションで必要な項目が容易に想定される程度に少ない場合（上述の例では、「出発駅」、「到着駅」）は、発話と結果の結びつきがわかりやすいが、予定登録アプリケーションのように、多数の項目（例えば、「開始日時」、「終了日時」、「場所」、「予定の内容」、「参加者」など）から構成される入力の場合、結果（投入された項目）のみ利用者に表示しても、どのように話せばよかったのか、自分が話した言葉がどのように解釈されたのか、どのような言葉が受け付けられるのか、理解することが難しい。入力項目が多いほど、利用者がどのように話せばよいか推測することは困難である。

この発明の目的は、このような点に鑑みて、音声認識結果と処理結果を対応付けて利用者に表示することができる音声入力技術を提供することである。

上記の課題を解決するために、この発明の音声入力装置は、入力音声を音声認識して形態素解析された音声認識結果を生成する音声認識部と、音声認識結果から所定の入力項目に対応する情報を抽出し、各入力項目に対応する項目出力内容を生成する音声認識結果処理部と、音声認識結果に項目出力内容を対応付けて表示し、入力項目のうち対応する項目出力内容が存在しない入力項目があればその旨を表示する処理内容表示部と、を含む。

この発明の音声入力技術は、音声認識結果と処理結果を対応付けて利用者に表示することができる。これにより利用者は、どのように話せばよいか、どのような発話が受け入れてもらえるのか、といったアプリケーションの仕様を理解することが容易となり、アプリケーション活用の習熟効果がある。

図１は、音声入力装置の機能構成を例示する図である。 図２は、音声入力方法の処理手続きを例示する図である。 図３は、音声入力インタフェースの初期状態を例示する図である。 図４は、音声認識結果処理部の処理手続きを例示する図である。 図５は、処理内容表示部の処理手続きを例示する図である。 図６は、利用者へ表示される処理内容の例を示す図である。 図７は、音声入力インタフェースの完了状態を例示する図である。

以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

実施形態の音声入力装置は、図１に例示するように、音声入力部１、音声認識部２、音声認識結果処理部３、処理内容表示部４、および処理結果投入部５を含む。この音声入力装置が、図２に例示する各ステップの処理を行うことにより実施形態の音声入力方法が実現される。

音声入力装置は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。音声入力装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。音声入力装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。また、音声入力装置が備える各処理部の少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。

図２を参照して、実施形態の音声入力方法の処理手続きを説明する。

ステップＳ１において、音声入力部１へ利用者の音声が入力され、入力音声信号が生成される。入力音声信号は音声認識部２へ送る。音声入力部１は、例えば、利用者の操作により音声の取得を開始する。図３は、音声入力装置が利用者に示す音声入力インタフェースの例である。例えば、画面左上に配置されたマイクのアイコンが付されたボタン１０を利用者が押下することで、音声入力部１は音声の取得を開始する。なお、この例では音声認識すべきタスクは予め決定されているものとし、タスク名がタスク表示欄１１で表示されている。タスクの入力項目は予め定められている。図３の例は、予定投入アプリケーションであり、入力項目としては、タイトル１２、日付１３（開始日付〜終了日付）、時間１４（開始時刻〜終了時刻）、実施場所１５、参加者１６、および内容１７が定められている。

ステップＳ２において、音声入力部２は、入力音声に対して音声認識処理を行い、音声認識結果を出力する。音声認識結果は、利用者の発声した内容のテキスト情報だけではなく、形態素の品詞情報や読み情報も含まれる。音声認識処理には、例えば、参考文献１に記載の音声認識技術を用いることができる。音声認識結果は音声認識結果処理部３へ送られる。
〔参考文献１〕野田喜昭、山口義和、大附克年、今村明弘、“音声認識エンジンVoiceRexを開発”、NTT技術ジャーナル、vol. 11、no. 12、pp. 14-17、1999年

ステップＳ３において、音声認識結果処理部３は、音声認識結果から所定の入力項目に対応する情報を抽出し、各入力項目に対応する項目出力内容を生成する。この際、情報の抽出ができなかった入力項目が、予め定めたルール（以下、補完ルールと呼ぶ。）に従って補完することが可能な場合には、その補完ルールに従って情報を設定した補完情報を生成する。また、情報を抽出できた入力項目が情報を一意に特定できない内容であった場合には、予め定めたルール（以下、補正ルールと呼ぶ。）に従って情報を補正して項目出力内容を更新する。

図４を参照して、音声認識結果処理部３の動作をより詳しく説明する。

ステップＳ３１において、音声認識結果処理部３は、音声認識結果から入力項目に対応する情報を抽出する。入力項目は予め定められており、図３の例では、「タイトル」、「開始日付」、「終了日付」、「開始時刻」、「終了時刻」、「実施場所」、「参加者」、「内容」である。日付や時刻のように、限られた候補のみが入力可能な項目であれば、予め候補発話集合データを準備しておき、音声認識結果と比較することで情報を抽出することができる。例えば、「3月20日にA社と打ち合わせをする」という発話から日付に該当する「3月20日」のみを抽出する。また、タイトルなどを音声認識結果から抽出する場合は、日時や時刻などの情報を除いた内容語のみを抽出し、タイトルとすることができる。例えば、「3月20日にA社と打ち合わせをする」という発話から「3月20日に」を除いた「A社と打ち合わせ」のみを抽出する。これらは一般的なテキスト解析技術で実現可能である。

ステップＳ３２において、音声認識結果処理部３は、音声認識結果から抽出した情報が一意に特定できない内容であった場合、補正ルールに従って情報を補正する。例えば、音声認識結果から「3月20日」という情報を抽出した場合に、その「3月20日」は何年の3月20日なのか明確ではない。このとき補正ルールとして、日付については将来に向かって直近の日に特定することを定めておき、「2015年3月20日」と補正することが考えられる。同様に、音声認識結果から「日曜日」という情報を抽出した場合に、その「日曜日」は今週なのか来週以降のいずれの日曜日なのか明確ではない。このとき上記のような補正ルールを用いて、「2015年3月8日」のように特定の日付に変換することが可能である。

このようにして、音声認識結果処理部３では、音声認識結果を入力として、各項目のラベル情報（例えば、「日付」、「時刻」、「内容」など）と、それぞれに対応する項目出力内容（例えば、「3月20日の17時にA社と打ち合わせをする」という発話であれば、「2015年3月20日」、「17時」、「A社と打ち合わせ」など）と、それぞれを抽出した元となった音声認識結果（例えば、「3月20日」、「17時」、「A社と打ち合わせ」など）と、音声認識結果全文（例えば、「3月20日の17時にA社と打ち合わせをする」など）を出力する。

ステップＳ３３において、音声認識結果処理部３は、処理続行に必要な入力項目が抽出できているかを判定する。抽出できている場合には処理を完了し、ラベル情報、項目出力内容、および音声認識結果を処理内容表示部４へ送る。いずれかの入力項目が抽出できていない場合にはステップＳ３４へ処理を進める。

ステップＳ３４において、音声認識結果処理部３は、情報を抽出できなかった入力項目（以下、入力不足項目と呼ぶ。）に対して補完が可能か否かを判定する。すなわち、入力不足項目に対して補完ルールが存在するかどうか、存在する場合には補完ルールに従って情報の設定が可能であるか、を判定する。補完ルールとは、例えば、予定投入アプリケーションの場合で、音声認識結果から日付に関する情報が抽出できなかった際に、当日の日付を代用するなど、タスクに応じてどのように補完するかを規定したルールである。補完可能な入力項目が存在する場合にはステップＳ３５へ処理を進める。補完可能な項目が存在しない場合にはステップＳ３６へ処理を進める。

ステップＳ３５において、音声認識結果処理部３は、入力不足項目に対して補完ルールに従って情報を設定した補完情報を生成する。ラベル情報、項目出力内容、補完情報、および音声認識結果は処理内容表示部４へ送られる。

ステップＳ３６において、音声認識結果処理部３は、音声認識結果から抽出できず補完もできなかった入力不足項目に関する不足情報を生成する。ラベル情報、項目出力内容、不足情報、および音声認識結果は処理内容表示部４へ送られる。

ステップＳ４において、処理内容表示部４は、音声認識結果に項目出力内容を対応付けて表示する。入力項目のうち対応する項目出力内容が存在しない入力項目があれば、必要な入力項目が抽出できなかった旨を表示する。この際、利用者の発話でどのような情報が欠けていたのかを併せて表示する。入力項目の補完が行われた場合は、音声認識結果に項目出力内容に加えて補完情報を対応付けて表示する。すなわち、処理内容表示部４は、入力必須の情報が欠けている点だけではなく、正しく抽出された入力項目、補完された入力項目についても表示を行う。これにより、利用者は自身の発話のどこがエラーとみなされたかだけでなく、どこまでが受け入れられたのかも知ることができる。したがって、アプリケーションの理解度が高まる効果が期待できる。

処理内容表示部４は、ラベル情報、音声認識結果、項目出力内容、補完情報、および不足情報を用いて表示内容を決定する。例えば、開始時刻、終了時刻、および実施場所の入力が必須の予定投入アプリケーションにおいて、「3月20日にAさんと打ち合わせ」と発話した場合に、ラベル情報は「開始日付」、「終了日付」、「開始時刻」、「終了時刻」、「実施場所」、「参加者」、「内容」といった入力可能な全項目名が設定されている。項目出力内容は、音声認識結果から抽出された情報、もしくは補正ルールに従って更新された情報であり、ラベル毎に「開始日付：2015年3月20日」、「参加者：Aさん」、「内容：打ち合わせ」が設定されている。補完情報は、音声認識結果から抽出できなかったが補完することができた「開始時刻：10:00」、「終了時刻：10:30」、「終了日付：3月20日」が設定されている。不足情報は、必須の入力項目ながら抽出も補完もできなかった「実施場所」が入る。

図５を参照して、処理内容表示部４の動作をより詳しく説明する。

ステップＳ４１において、処理内容表示部４は、ラベル情報、項目出力内容、および音声認識結果を用いて、音声認識結果とラベル情報の対応付けを行う。具体的には、図６（Ａ）に示す音声認識結果とラベル情報の対応付け例のように、音声認識結果と各ラベルとの対応がわかるように表示を行う。図６（Ａ）の例では、「3月20日」という音声認識結果を「開始日付」という入力項目に対して対応付けたことを、下線とラベルを付すことによって示している。

ステップＳ４２において、処理内容表示部４は、各入力項目において音声認識結果と項目出力内容が異なるか否かを判定する。音声認識結果と項目出力内容が異なる場合は、ステップＳ４３へ処理を進める。音声認識結果と項目出力内容がすべて等しい場合は、ステップＳ４４へ処理を進める。

ステップＳ４３において、処理内容表示部４は、音声認識結果と項目出力内容が異なる場合は、音声認識結果から抽出された情報が補正された結果であるため、発話内容がどのように解釈されたかがわかるように対応付けて表示する。具体的には、図６（Ｂ）に示す項目出力内容表示例のように、「3月20日」という音声認識結果を「2015年3月20日」という内容と解釈して項目出力内容を更新したことを示す。

ステップＳ４４において、処理内容表示部４は、入力項目の補完が行われたこと、および入力項目に不足があることを利用者へ通知する。補完情報がある場合、例えば、図６（Ｃ）に示す補完情報表示例のように、どのように補完処理が行われたかがわかるように表示する。不足情報がある場合、例えば、図６（Ｄ）に示す入力不足情報表示例のように、入力が必須な項目が何であるかわかるように利用者に表示する。

不足情報がある場合には、利用者が処理内容の表示を確認した後に処理を終了する。利用者は音声入力から再度やり直すことができ、入力不足項目に対応する情報を含めて発話することが可能となる。不足情報がない場合には、必須の入力項目がすべて設定されている場合であるため、処理を続行する。

ステップＳ５において、処理結果投入部５は、音声認識インタフェースの各入力欄に各ラベルに対応する項目出力内容を投入する。図７は、音声入力インタフェースに対して処理結果を投入した状態の例である。図７の例では、タイトル１２、日付１３、参加者１６、および内容１７は音声認識結果から抽出された内容が入力されており、時間１４は補完された内容が入力されている。実施場所１５は一回目の発話で入力不足項目として表示され、再度の発話において入力された内容である。

上記のように構成することにより、この発明の音声入力技術は、音声認識結果から抽出できた項目、所定のルールに従って補完された項目、所定のルールに従って自動的に解釈された項目のそれぞれの内容を利用者へ表示することができる。これにより、利用者は自身の発話がどのように処理されたのかを詳細に確認することができるため、そのアプリケーションが必要とする入力項目について理解することが容易となり、アプリケーションの習熟効果が向上する。

この発明は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。上記実施形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。

［プログラム、記録媒体］
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

１ 音声入力部
２ 音声認識部
３ 音声認識結果処理部
４ 処理内容表示部
５ 処理結果投入部

Claims (5)

1. 入力音声を音声認識して形態素解析された音声認識結果を生成する音声認識部と、
   上記音声認識結果から所定の入力項目に対応する情報を抽出し、予め定めたルールに従って各入力項目の内容を表す項目出力内容を生成する音声認識結果処理部と、
   上記音声認識結果に上記項目出力内容を対応付けて表示し、上記入力項目のうちその内容を表す項目出力内容が存在しない入力項目があればその旨を表示する処理内容表示部と、
   を含む音声入力装置。
2. 請求項１に記載の音声入力装置であって、
   上記音声認識結果処理部は、情報を抽出できなかった入力項目に対して予め定めた補完ルールに従って情報を設定した補完情報を生成するものであり、
   上記処理内容表示部は、上記音声認識結果に上記項目出力内容とともに上記補完情報を対応付けて表示するものである、
   音声入力装置。
3. 請求項１または２に記載の音声入力装置であって、
   上記音声認識結果処理部は、情報を抽出できた入力項目に対して予め定めた補正ルールに従って抽出された情報を補正して上記項目出力内容を更新するものである、
   音声入力装置。
4. 音声認識部が、入力音声を音声認識して形態素解析された音声認識結果を生成する音声認識ステップと、
   音声認識結果処理部が、上記音声認識結果から所定の入力項目に対応する情報を抽出し、予め定めたルールに従って各入力項目の内容を表す項目出力内容を生成する音声認識結果処理ステップと、
   処理内容表示部が、上記音声認識結果に上記項目出力内容を対応付けて表示し、上記入力項目のうちその内容を表す項目出力内容が存在しない入力項目があればその旨を表示する処理内容表示ステップと、
   を含む音声入力方法。
5. 請求項１から３のいずれかに記載の音声入力装置としてコンピュータを機能させるためのプログラム。