JP6635049B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。

近年、マイクロフォンによって集音された情報（以下、単に「集音情報」とも言う。）を取得し、集音情報に対して音声認識処理を行うことによって文字列を認識する技術が存在する。一方、集音情報に対する音声らしさを評価する技術が開示されている（例えば、特許文献１および特許文献２参照）。

特開２０１０−３８９４３号公報 特開２００７−３２８２２８号公報

しかし、集音情報に基づく音の認識処理の精度を向上させることが可能な技術が提供されることが望まれる。

本開示によれば、集音部より得られる集音情報に基づく音の認識処理を音声認識処理部に実行させる認識制御部と、前記音の認識処理により得られる認識結果を出力させるための出力信号を生成する出力制御部と、を備え、前記出力制御部は、前記集音情報に基づく音の種類の評価結果を前記認識結果よりも前に出力部に出力させる、情報処理装置が提供される。

本開示によれば、集音部より得られる集音情報に基づく音の認識処理を音声認識処理部に実行させることと、前記音の認識処理により得られる認識結果を出力させるための出力信号を生成することと、を含み、前記集音情報に基づく音の種類の評価結果を前記認識結果よりも前に出力部に出力させること、を含む、情報処理方法が提供される。

本開示によれば、コンピュータを、集音部より得られる集音情報に基づく音の認識処理を音声認識処理部に実行させる認識制御部と、前記音の認識処理により得られる認識結果を出力させるための出力信号を生成する出力制御部と、を備え、前記出力制御部は、前記集音情報に基づく音の種類の評価結果を前記認識結果よりも前に出力部に出力させる、情報処理装置として機能させるためのプログラムが提供される。

以上説明したように本開示によれば、集音情報に基づく音の認識処理の精度を向上させることが可能な技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の実施形態に係る情報処理システムの構成例を示す図である。 同実施形態に係る情報処理システムの機能構成例を示すブロック図である。 出力部によって表示される集音中画面の例を示す図である。 音声認識処理が成功した場合における表示例を示す図である。 音声認識処理が失敗した場合における表示例を示す図である。 音声らしさの評価結果が閾値より高い場合における評価結果オブジェクトの表示画面例（画面全体の一部を抜粋）を示す図である。 音声らしさの評価結果が閾値より低い場合における評価結果オブジェクトの表示画面例（画面全体の一部を抜粋）を示す図である。 音声らしさの評価結果が閾値よりも高くなったり低くなったりする例（画面全体の一部を抜粋）を示す図である。 集音通知オブジェクトから評価結果オブジェクトへの変化の例を示す図である。 形状または透明度の異なる二つの評価結果オブジェクトの例を示す図である。 動きの異なる二つの評価結果オブジェクトの例を示す図である。 音声らしさの評価結果の出力例を示す図である。 時間の経過に従って集音情報の音声らしさが変化する様子を示す図である。 閾値を用いて音声らしさの判定を行う場合における情報処理システムの動作の流れの例を示すフローチャートである。 発話終了時における画面表示の例を示す図である。 閾値を用いて集音情報が音声らしいか否かを判断する場合における音声らしさの時間変化の例を示す図である。 閾値を用いて無音区間を検出する場合における音量の時間変化の例を示す図である。 発話終了時における音声らしさと音量との組み合わせに対応する処理の例を示す図である。 発話終了時のシーケンスを変更した情報処理システムの動作の流れの例を示すフローチャートである。 発話開始時における画面表示の例を示す図である。 発話終了時における音声らしさと音量との組み合わせに対応する処理の例を示す図である。 発話開始時のシーケンスを変更した情報処理システム１０の動作の流れの例を示すフローチャートである。 出力部による表示形態の変形例を示す図である。 情報処理システムのハードウェア構成例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットまたは数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

なお、説明は以下の順序で行うものとする。
１．本開示の実施形態
１．１．システム構成例
１．２．機能構成例
１．３．情報処理システムの機能詳細
１．４．発話終了時の変形例
１．５．発話開始時の変形例
１．６．表示形態の変形例
１．７．その他の変形例
１．８．ハードウェア構成例
２．むすび

＜１．本開示の実施形態＞
［１．１．システム構成例］
まず、図面を参照しながら本開示の実施形態に係る情報処理システム１０の構成例について説明する。図１は、本開示の実施形態に係る情報処理システム１０の構成例を示す図である。図１に示したように、本開示の実施形態に係る情報処理システム１０は、画像入力部１１０と、操作入力部１１５と、集音部１２０と、出力部１３０とを備える。情報処理システム１０は、ユーザＵ（以下、単に「ユーザ」とも言う。）によって発せられた音声に基づく音の認識処理を行うことが可能である。なお、以下の説明において、音声（ｖｏｉｃｅまたはｓｐｅｅｃｈ）と音（ｓｏｕｎｄ）とは区別して用いられる。

画像入力部１１０は、画像を入力する機能を有する。図１に示した例では、画像入力部１１０は、テーブルＴｂｌに埋め込まれた２つのカメラを含んでいる。しかし、画像入力部１１０に含まれるカメラの数は１以上であれば特に限定されない。かかる場合、画像入力部１１０に含まれる１以上のカメラそれぞれが設けられる位置も特に限定されない。また、１以上のカメラには、単眼カメラが含まれてもよいし、ステレオカメラが含まれてもよい。

操作入力部１１５は、ユーザＵの操作を入力する機能を有する。図１に示した例では、操作入力部１１５は、テーブルＴｂｌの上方に存在する天井から吊り下げられた１つのカメラを含んでいる。しかし、操作入力部１１５に含まれるカメラが設けられる位置は特に限定されない。また、カメラには、単眼カメラが含まれてもよいし、ステレオカメラが含まれてもよい。また、操作入力部１１５はユーザＵの操作を入力する機能を有していればカメラでなくてもよく、例えば、タッチパネルであってもよいし、ハードウェアボタンであってもよい。

出力部１３０は、テーブルＴｂｌに画面を表示する機能を有する。図１に示した例では、出力部１３０は、テーブルＴｂｌの上方に天井から吊り下げられている。しかし、出力部１３０が設けられる位置は特に限定されない。また、典型的には、出力部１３０は、テーブルＴｂｌの天面に画面を投影することが可能なプロジェクタであってよいが、画面を表示する機能を有すれば、他の形態のディスプレイであってもよい。

なお、本明細書では、テーブルＴｂｌの天面が画面の表示面となる場合を主に説明するが、画面の表示面は、テーブルＴｂｌの天面以外であってもよい。例えば、画面の表示面は、壁であってもよいし、建物であってもよいし、床面であってもよいし、地面であってもよいし、天井であってもよいし、他の場所にある面であってもよい。また、出力部１３０が表示面を有する場合には、画面の表示面は、出力部１３０が有する表示面であってもよい。

集音部１２０は、集音する機能を有する。図１に示した例では、集音部１２０は、テーブルＴｂｌの上方に存在する３つのマイクロフォンとテーブルＴｂｌの上面に存在する３つのマイクロフォンとの合計６つのマイクロフォンを含んでいる。しかし、集音部１２０に含まれるマイクロフォンの数は１以上であれば特に限定されない。かかる場合、集音部１２０に含まれる１以上のマイクロフォンそれぞれが設けられる位置も特に限定されない。

ただし、集音部１２０が、複数のマイクロフォンを含んでいれば、複数のマイクロフォンそれぞれによって集音された集音情報に基づいて音の到来方向が推定され得る。また、集音部１２０が指向性を有するマイクロフォンを含んでいれば、指向性を有するマイクロフォンによって集音された集音情報に基づいて音の到来方向が推定され得る。

以上、本開示の実施形態に係る情報処理システム１０の構成例について説明した。

［１．２．機能構成例］
続いて、本開示の実施形態に係る情報処理システム１０の機能構成例について説明する。図２は、本開示の実施形態に係る情報処理システム１０の機能構成例を示すブロック図である。図２に示したように、本開示の実施形態に係る情報処理システム１０は、画像入力部１１０と、操作入力部１１５と、集音部１２０と、出力部１３０と、情報処理装置１４０（以下、「制御部１４０」とも言う。）と、を備える。

情報処理装置１４０は、情報処理システム１０の各部の制御を実行する。例えば、情報処理装置１４０は、出力部１３０から出力する情報を生成する。また、例えば、情報処理装置１４０は、画像入力部１１０、操作入力部１１５および集音部１２０それぞれが入力した情報を、出力部１３０から出力する情報に反映させる。図２に示したように、情報処理装置１４０は、入力画像取得部１４１と、集音情報取得部１４２と、操作検出部１４３と、認識制御部１４４と、音声認識処理部１４５と、出力制御部１４６とを備える。これらの各機能ブロックについての詳細は、後に説明する。

なお、情報処理装置１４０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；中央演算処理装置）などで構成されていてもよい。情報処理装置１４０がＣＰＵなどといった処理装置によって構成される場合、かかる処理装置は、電子回路によって構成され得る。

以上、本開示の実施形態に係る情報処理システム１０の機能構成例について説明した。

［１．３．情報処理システムの機能詳細］
続いて、本開示の実施形態に係る情報処理システム１０の機能詳細について説明する。本開示の実施形態においては、集音部１２０が集音し、認識制御部１４４が集音部１２０より得られる集音情報に基づく音の認識処理を音声認識処理部１４５に実行させ、出力制御部１４６が音声認識処理により得られる認識結果を出力させるための出力信号を生成する。ここで、出力制御部１４６は、集音情報に基づく音の種類の評価結果を認識結果よりも前に出力部１３０に出力させる。

かかる構成によれば、ユーザは集音情報の音の種類の評価結果を把握することによって発話を調整することができるため、集音情報に基づく音の認識処理の精度を向上させることが可能となる。例えば、集音情報の音量がユーザにフィードバックされるだけでは、ノイズ音量が高くてユーザの発話音声があまり集音されていなくても、ユーザの発話音声が集音されているように勘違いしてしまう可能性がある。あるいは、音の認識処理がされていないような発話をしていてもユーザは自分の発話音声が音の認識処理されていないことに気づかない可能性がある。本開示の実施形態によれば、これらの可能性も低減され得る。

なお、本明細書においては、音の種類として音声らしさを主に用いて説明するが、音の種類は音声らしさに限定されない。例えば、音の種類は、音楽らしさであってもよいし、鼻歌らしさであってもよいし、ＴＶの音らしさであってもよい。また、音の認識処理も特に限定されない。以下に説明するように、音の認識処理は、集音情報に基づいて文字列を特定する処理を含んでもよい。文字列の特定には、音声認識処理が用いられてもよいし、音楽認識処理が用いられてもよい。また、音の認識処理は、集音情報に基づく音声認識処理を含んでもよい。

また、本明細書においては、認識結果と評価結果とが同一の出力部１３０から出力される例を主に説明するが、認識結果と評価結果とは同一の出力部１３０から出力されなくてもよい。例えば、認識結果は出力部１３０から出力されるが、評価結果は出力部１３０とは異なる図示しない出力部（例えば、ヘッドマウントディスプレイなど）から出力されてもよい。

また、本明細書においては、集音部１２０によって得られた同一の集音情報に対して音声認識処理と音の種類の評価との双方がなされる例を主に説明するが、同一の集音情報に対して音声認識処理と音の種類の評価との双方がなされなくてもよい。例えば、集音部１２０によって得られたアナログ信号が相異なる第１の信号および第２の信号に変換され、第１の信号に対して音声認識処理がなされ、第２の信号に対して音の種類の評価がなされてもよい。したがって、集音部１２０によって得られたアナログ信号に基づいて、音声認識処理と音の種類の評価との双方がなされればよい。

出力部１３０によって出力されるデータ形式は特に限定されない。例えば、出力制御部１４６は、評価結果に応じたオブジェクト（以下、「評価結果オブジェクト」とも言う。）を出力部１３０に表示させてよい。図３は、出力部１３０によって表示される集音中画面の例を示す図である。まず、ユーザが音声認識処理開始操作オブジェクトＧ１４を選択する操作を行い、音声認識処理開始操作オブジェクトＧ１４を選択する操作が操作入力部１１５によって入力されると、操作検出部１４３によって検出され、出力制御部１４６は、図示しない初期画面を表示させる。出力制御部１４６が図示しない初期画面を表示させると、ユーザは集音部１２０に向かって発話を開始する。

図３を参照すると、出力制御部１４６は、集音中画面Ｇ１０−１を表示させている。集音中画面Ｇ１０−１には、音声認識処理を開始させるための音声認識処理開始操作オブジェクトＧ１４、音声認識処理によって得られた文字列（以下、「認識文字列」とも言う。）の表示欄である認識文字列表示欄Ｇ１１が含まれる。

また、集音中画面Ｇ１０−１には、認識文字列を全部削除するための全削除操作オブジェクトＧ１２、認識文字列を確定するための確定操作オブジェクトＧ１３が含まれる。また、集音中画面Ｇ１０−１には、認識文字列におけるカーソル位置を前に戻すための移動操作オブジェクトＧ１５、認識文字列におけるカーソル位置を後ろに進めるための移動操作オブジェクトＧ１６、カーソル位置の文字または単語を削除するための削除操作オブジェクトＧ１７が含まれる。

集音中画面Ｇ１０−１に示すように、集音部１２０によって集音された集音情報が集音情報取得部１４２によって取得されると、出力制御部１４６は、音声らしさを評価して得られる評価結果に応じた評価結果オブジェクトＭｕを音声認識処理により得られる認識結果より前に表示させる。評価結果オブジェクトＭｕは、静止していてもよいし、集音中画面Ｇ１０−１に示したように動きを有していてもよい。例えば、評価結果オブジェクトＭｕが動きを有する場合、評価結果オブジェクトＭｕの移動方向Ｄｅは、ユーザによる発話音声の音源から集音部１２０への到来方向に応じて決まってよい。なお、ユーザによる発話音声の到来方向の推定手法も特に限定されない。

例えば、認識制御部１４４は、音声認識処理開始操作オブジェクトＧ１４を選択する操作を行ったユーザの指方向（例えば、指の根元から指先への方向）に一致または類似する１の到来方向をユーザによる発話音声の到来方向として推定してもよい。類似範囲はあらかじめ定められていてよい。また、指方向は入力画像を解析することによって取得されてよい。

あるいは、認識制御部１４４は、集音部１２０によって入力された音の到来方向をユーザによる発話音声の到来方向として推定してもよい。音の到来方向が複数あった場合には、複数の到来方向のうち最初に入力された音の到来方向をユーザによる発話音声の到来方向として推定してもよいし、複数の到来方向のうち音声認識処理開始操作オブジェクトＧ１４を選択する操作を行ったユーザの指方向に一致または類似する１の到来方向をユーザによる発話音声の到来方向として推定してもよい。

あるいは、認識制御部１４４は、複数の到来方向のうち集音部１２０によって最も大きな音量で入力された音の到来方向をユーザによる発話音声の到来方向として推定してもよい。このようにしてユーザによる発話音声の到来方向が推定され得る。一方において、認識制御部１４４は、ユーザによる発話音声の到来方向以外の方向から集音部１２０によって入力された音をノイズとして取得してよい。

また、図３には、出力制御部１４６が、ユーザによる発話音声の到来方向（移動方向Ｄｅ）に評価結果オブジェクトＭｕを移動させる例が示されている。これによって、ユーザは自分の発話音声が集音部１２０によって集音されていることを直感的に把握することが可能となる。しかし、評価結果オブジェクトＭｕの動きは、かかる動きに限定されない。また、図３には、評価結果オブジェクトＭｕの移動先が、音声認識処理開始操作オブジェクトＧ１４である例が示されている。しかし、評価結果オブジェクトＭｕの移動先は、かかる例に限定されない。

また、図３には、出力制御部１４６が、集音部１２０による集音に応じて次々と出現した円形状の評価結果オブジェクトＭｕを移動させる例が示されているが、評価結果オブジェクトＭｕの表示態様はかかる例に限定されない。例えば、出力制御部１４６は、集音情報に応じた所定の情報（例えば、集音情報の音声らしさ、音量など）に基づいて評価結果オブジェクトＭｕの各種パラメータを制御してよい。このときに用いられる集音情報は、ユーザによる発話音声の到来方向からの集音情報であるとよい。また、評価結果オブジェクトＭｕのパラメータは、評価結果オブジェクトＭｕの形状、透明度、色、サイズおよび動きのうち、少なくともいずれか一つを含んでもよい。

なお、集音情報から音声らしさを評価する手法は特に限定されない。例えば、集音情報から音声らしさを評価する手法として、特許文献（特開２０１０−３８９４３号公報）に記載されている手法を採用することも可能である。また、例えば、集音情報から音声らしさを評価する手法として、特許文献（特開２００７−３２８２２８号公報）に記載されている手法を採用することも可能である。ここでは、音声らしさの評価が、出力制御部１４６によって行われる例を説明するが、音声らしさの評価は、図示しないサーバによって行われてもよい。

認識制御部１４４は、集音情報取得部１４２によって取得された集音情報に対する音声認識処理を音声認識処理部１４５に開始させる。音声認識処理を開始させるタイミングは限定されない。例えば、認識制御部１４４は、評価結果オブジェクトＭｕが音声認識処理開始操作オブジェクトＧ１４に到達してから、評価結果オブジェクトＭｕに対応する集音情報に対する音声認識処理を音声認識処理部１４５に開始させてよい。音声認識処理開始操作オブジェクトＧ１４に到達した評価結果オブジェクトＭｕは、音声認識処理開始操作オブジェクトＧ１４に溜まっているように表示されてもよい。

ここで、音声認識処理を行わせる区間の終端もどのように決定されてもよい。例えば、認識制御部１４４は、集音情報において音量が所定の音量を下回る時間が閾値を超えた区間（以下、単に「無音区間」とも言う。）が存在するかを検出し、無音区間を検出したタイミングに基づいて、音声認識処理を行わせる区間の終端を決定してもよい。画面Ｇ１０−３は、無音区間が検出された場合に表示される画面である。

画面Ｇ１０−３に示すように、無音区間が検出されたタイミングが、音声認識処理を行わせる区間の終端として決定されてよい。画面Ｇ１０−３は、音声認識処理を行わせる区間の終端が決定された後の画面である。画面Ｇ１０−３を参照すると、評価結果オブジェクトＭｕが増加している。続いて、音声認識処理部１４５は、集音情報の一部または全部に対する音声認識処理を音声認識処理部１４５に行わせる。具体的には、認識制御部１４４は、無音区間が除外された集音情報に対する音声認識処理を音声認識処理部１４５に行わせる。

音声認識処理部１４５は、無音区間が除外された集音情報に対する音声認識処理を行う。例えば、音声認識処理部１４５は、ユーザによる発話音声の到来方向からの集音情報に対して音声認識処理を行うことにより認識文字列を取得するのがよい。そうすれば、集音部１２０によって入力された音声に対して直接的に音声認識処理が行われる場合と比較して、ノイズの少ない音声に対して音声認識処理が行われるため、音声認識処理の精度が向上することが期待される。音声認識処理が成功であるか否かによって、以降の動作が異なってくる。

図４は、音声認識処理が成功した場合における表示例を示す図である。画面Ｇ１０−２に示すように、音声認識処理部１４５による音声認識処理が成功すると、出力制御部１４６は、評価結果オブジェクトＭｕを認識文字列表示欄Ｇ１１の方に移動させてもよい。そうすれば、ユーザは、認識文字列が認識文字列表示欄Ｇ１１に表示されることを予想することが可能となる。また、画面Ｇ１０−２に示すように、出力制御部１４６は、評価結果オブジェクトＭｕを認識文字列表示欄Ｇ１１の方にさらに移動させてもよい。

また、画面Ｇ１０−２を参照すると、出力制御部１４６は、認識文字列表示欄Ｇ１１に認識文字列「Ｉ ｄｒｏｖｅ ｙｏｕｒ ｃａｒ ｔｏ ａｉｒｐｏｒｔｓ」を表示させている。その他に、出力制御部１４６は、選択候補表示欄Ｇ１８、選択候補切り替え操作オブジェクトＧ１９などを表示させている。選択候補表示欄Ｇ１８に表示される選択候補は特に限定されないが、画面Ｇ１０−１２に示された例では、選択候補として、予測変換カテゴリ、ｐｈｒａｓｅカテゴリ、オリジナルフォームカテゴリなどが表示されている。

図５は、音声認識処理が失敗した場合における表示例を示す図である。画面Ｇ１０−４に示すように、音声認識処理部１４５による音声認識処理が失敗すると、出力制御部１４６は、評価結果オブジェクトＭｕを認識文字列表示欄Ｇ１１が存在しない方（例えば、下方）に移動させてもよい。そうすれば、ユーザは、音声認識処理が失敗したことを予想することが可能となる。また、画面Ｇ１０−４に示すように、出力制御部１４６は、評価結果オブジェクトＭｕを認識文字列表示欄Ｇ１１が存在しない方（例えば、下方）にさらに移動させてもよい。

評価結果オブジェクトＭｕの表示態様は一定であってもよいが、音声らしさの評価結果と閾値との関係によって評価結果オブジェクトＭｕは変更されてもよい。例えば、出力制御部１４６は、評価結果が閾値より高い場合と評価結果が閾値より低い場合とにおいて、異なる評価結果オブジェクトＭｕを出力部１３０に出力させるとよい。そうすれば、ユーザは音声らしさの評価結果を容易に把握することができる。

図６は、音声らしさの評価結果が閾値より高い場合における評価結果オブジェクトＭｕの表示画面例（画面全体の一部を抜粋）を示す図である。図７は、音声らしさの評価結果が閾値より低い場合における評価結果オブジェクトＭｕの表示画面例（画面全体の一部を抜粋）を示す図である。図８は、音声らしさの評価結果が閾値よりも高くなったり低くなったりする例（画面全体の一部を抜粋）を示す図である。

画面Ｇ２０−１を参照すると、ユーザＵが発話を行っており、ノイズは特に発生していない。この例の場合、音声らしさの評価結果が閾値より高くなるため、出力制御部１４６は、第１の表示態様（例えば、円形）の評価結果オブジェクトＭｕを出力部１３０に出力させてよい。一方、画面Ｇ２０−２を参照すると、機器Ｅ１および機器Ｅ２からノイズが発生しており、ユーザＵは特に発話していない。この例の場合、音声らしさの評価結果が閾値より低くなるため、出力制御部１４６は、第１の表示態様（例えば、円形）とは異なる第２の表示態様（例えば、輪郭の尖った形状）の評価結果オブジェクトＭｕを出力部１３０に出力させてよい。

さらに、画面Ｇ２０−３を参照すると、機器Ｅ１および機器Ｅ２からノイズが発生しているとともに、ユーザＵも発話している。このときには、音声らしさの評価結果が閾値より高くなったり閾値より低くなったりするため、出力制御部１４６は、音声らしさの評価結果に基づいて、異なる二つの表示態様（例えば、円形と輪郭の尖った形状）の間で評価結果オブジェクトＭｕを切り替えてもよい。

以上に説明した例では、評価結果オブジェクトＭｕは、出現してから音声認識処理開始操作オブジェクトＧ１４に到達するまで同一の表示態様であるが、評価結果オブジェクトＭｕは、出現してから音声認識処理開始操作オブジェクトＧ１４に到達するまでに変化してもよい。例えば、出力制御部１４６は、集音情報が得られたときに集音を通知するための集音通知オブジェクトを出力部１３０に表示させ、評価結果が得られたときに評価結果に応じて集音通知オブジェクトを評価結果オブジェクトに変化させてもよい。そうすれば、ユーザは自分が発話音声のうち音声らしい区間と音声らしくない区間とを把握することが可能となる。

図９は、集音通知オブジェクトから評価結果オブジェクトへの変化の例を示す図である。まず、画面２０−４に示すように、出力制御部１４６は、集音情報が得られたときに集音通知オブジェクトＭｕを出力部１３０に表示させてよい。このとき、出力制御部１４６は、常に一定の集音通知オブジェクトを出力部１３０に表示させてもよいが、集音情報の音量に応じて変化させてもよい。すなわち、出力制御部１４６は、集音された段階において集音通知オブジェクトＭｕを出力部１３０に表示させてもよい。そうすれば、ユーザは自分の発話音量を把握することが可能である。この段階では、音声らしさの評価結果は、得られていなくてもよい。

画面２０−５を参照すると、出力制御部１４６が、第１の表示態様（例えば、円形）の評価結果オブジェクトＭｕを、第２の表示態様（例えば、輪郭の尖った形状）の評価結果オブジェクトＭｕに変化させている。同様に、画面２０−６を参照すると、出力制御部１４６が、第１の表示態様（例えば、円形）の評価結果オブジェクトＭｕを、第２の表示態様（例えば、輪郭の尖った形状）の評価結果オブジェクトＭｕに変化させている。評価結果オブジェクトＭｕに変化させるタイミングは特に限定されない。例えば、音声らしさの評価結果は、算出された順に評価結果オブジェクトＭｕに反映されてもよい。

上記したように、評価結果オブジェクトＭｕは、評価結果オブジェクトＭｕの形状、透明度、色、サイズおよび動きのうち、少なくともいずれか一つに基づいて変化されてもよい。ここで、評価結果オブジェクトＭｕの形状、透明度および動きを例に挙げて、評価結果オブジェクトＭｕの変化の例を説明する。

図１０は、形状または透明度の異なる二つの評価結果オブジェクトＭｕの例を示す図である。図１０に示すように、出力制御部１４６は、評価結果オブジェクトＭｕの形状を変化させるときには、音声らしさの評価結果に従って評価結果オブジェクトＭｕの形状を変化させてもよい。例えば、図１０に示すように、出力制御部１４６は、音声らしさが低くなるほど評価結果オブジェクトＭｕの輪郭の尖り具合を鋭くしてもよいし、輪郭の尖り部分の数を多くしてもよい。

また、図１０に示すように、出力制御部１４６は、評価結果オブジェクトＭｕの透明度を変化させるときには、音声らしさの評価結果に従って評価結果オブジェクトＭｕの透明度を変化させてもよい。例えば、図１０に示すように、出力制御部１４６は、音声らしさが低くなるほど評価結果オブジェクトＭｕの透明度を高くしてもよい。また、出力制御部１４６は、評価結果オブジェクトＭｕの動きを変化させるときには、音声らしさの評価結果に従って評価結果オブジェクトＭｕの動きを変化させてもよい。

図１１は、動きの異なる二つの評価結果オブジェクトＭｕの例を示す図である。図１１に示すように、出力制御部１４６は、評価結果オブジェクトＭｕの動きを変化させるときには、音声らしさの評価結果に従って評価結果オブジェクトＭｕの動きを変化させてもよい。例えば、図１１に示すように、出力制御部１４６は、音声らしさが閾値より高い場合には、評価結果オブジェクトＭｕを所定のターゲット位置（例えば、音声認識処理開始操作オブジェクトＧ１４など）に移動させてよい（移動方向Ｄｅ）。

一方、出力制御部１４６は、音声らしさが閾値より低い場合には、評価結果オブジェクトＭｕを所定のターゲット位置（例えば、音声認識処理開始操作オブジェクトＧ１４など）に移動させなくてよい（移動方向Ｄｅ１および移動方向Ｄｅ２）。このようにターゲット位置に移動する評価結果オブジェクトＭｕは、ノイズ除去処理が実行されたことによりノイズが除去された集音情報に該当し、ターゲット位置に移動しない評価結果オブジェクトＭｕは、集音情報のうちノイズに該当し得る。したがって、ユーザにノイズ除去処理が実行されているか否かを把握させることができる。

なお、出力制御部１４６は、音声らしさが閾値より低い場合には、評価結果オブジェクトＭｕを所定のターゲット位置（例えば、音声認識処理開始操作オブジェクトＧ１４など）に移動させない例を説明した。しかし、出力制御部１４６は、音声らしさが閾値より低い場合、評価結果オブジェクトＭｕの軌道を変更する以外に、他の手法が採用されてもよい。例えば、出力制御部１４６は、音声らしさが閾値より低い場合、所定のターゲット位置（例えば、音声認識処理開始操作オブジェクトＧ１４など）において跳ね返るようなアニメーションを評価結果オブジェクトＭｕに付してもよい。

また、音声らしさの評価結果の出力の手法としては、他の手法も想定される。図１２は、音声らしさの評価結果の出力例を示す図である。例えば、出力制御部１４６は、音声らしさの評価結果が閾値より低い場合と音声らしさの評価結果が閾値より高い場合とにおいて、音声認識処理開始操作オブジェクトＧ１４の色を異ならせてもよい。出力制御部１４６は、「アイコン表示」にあるように、音声らしさの評価結果が閾値より高い場合には、着色がなされていない音声認識処理開始操作オブジェクトＧ１４＃を表示させてよい。

一方、出力制御部１４６は、音声らしさの評価結果が閾値より低い場合には、着色がなされている音声認識処理開始操作オブジェクトＧ１４を表示させてよい。なお、音声らしさの評価結果は連続値であるため、音声認識処理開始操作オブジェクトＧ１４の色は、連続的に変化されてもよい。例えば、出力制御部１４６は、図１２に示すように、インジケータＧ２１の表示を行ってもよい。

一方、出力制御部１４６は、音声認識処理開始操作オブジェクトＧ１４を表示させてよい。なお、音声らしさの評価結果は連続値であるため、音声認識処理開始操作オブジェクトＧ１４の色は、連続的に変化されてもよい。また、例えば、出力制御部１４６は、図１２に示すように、インジケータＧ２１およびインジケータＧ２２の表示を行ってもよい。インジケータＧ２２は、インジケータＧ２１と異なり、集音情報の音量を示してよい。ユーザは、このインジケータ表示を見ながら、どう発話すると音声らしさが上昇するかをトライアンドエラーで学習することによって音声認識処理にとって認識しやすい発話に誘導することが可能である。

また、上記では、出力制御部１４６が、インジケータＧ２１およびインジケータＧ２２の双方を表示させる例を説明した。しかし、表示される部品は、インジケータＧ２１およびインジケータＧ２２に限定されない。例えば、出力制御部１４６は、集音情報のパラメータが増加してくると、インジケータ２１およびインジケータＧ２２の代わりに、イコライザのようなフィードバックに切り替えることも可能である。

また、出力制御部１４６は、閾値を出力部１３０に出力させてもよい。閾値はどのように表現されてもよい。例えば、音声らしさの評価結果が色によって示される場合には、閾値は音声らしさの評価結果が示す各色の中間色によって表現されてもよい。また、音声らしさの評価結果がインジケータによって示される場合には、閾値は該当する位置に設けられるバーによって表現されてもよい。

続いて、音声らしさの評価結果と閾値とを比較する場合について詳細に説明する。図１３は、時間の経過に従って集音情報の音声らしさが変化する様子を示す図である。図１３に示したＭＣは、マイクロフォンがＯＮにされている領域である。図１３に示すように、集音情報の音声らしさが変化しているとする。このとき、音声らしさが閾値（Ｔｈ＿ｍｉｎ）より高い領域は、音声らしい領域に相当する。一方、音声らしさが閾値（Ｔｈ＿ｍｉｎ）より低い領域は、音声らしくない領域に相当する。

なお、閾値（Ｔｈ＿ｍｉｎ）はあらかじめ定められていてもよいし、情報処理システム１０の動作の途中において動的に変更されてもよい。また、音声らしさは不連続な値であってもよいが、音声らしさの評価結果が連続値によって得られる場合には、音声らしさとして連続値がそのまま用いられてもよい。また、ここでは、一つの閾値を用いて、集音情報が音声らしいか否かを判断する例を説明した。しかし、閾値の数は複数であってもよい。

続いて、閾値を用いて音声らしさの判定を行う場合における情報処理システム１０の動作の流れについて説明する。図１４は、閾値を用いて音声らしさの判定を行う場合における情報処理システム１０の動作の流れの例を示すフローチャートである。なお、図１４のフローチャートは、閾値を用いて音声らしさの判定を行う場合における情報処理システム１０の動作の流れの例に過ぎないため、閾値を用いて音声らしさの判定を行う場合における情報処理システム１０の動作の流れは、図１４のフローチャートに示された例に限定されない。

まず、集音情報取得部１４２は、集音部１２０によって集音された集音情報を取得する（Ｓ１１）。続いて、出力制御部１４６は、集音情報から音量を算出して（Ｓ１３）、音量をＵＩ（画面）表示させ（Ｓ１７）、Ｓ１１に動作を移行させる。一方、出力制御部１４６は、集音情報から音声らしさを算出し（Ｓ１２）、音声らしさが閾値Ｔｈ＿ｍｉｎ以上である場合には（Ｓ１４において「Ｙｅｓ」）、集音情報が音声らしい旨を示すようにＵＩ（画面）を更新して（Ｓ１６）、Ｓ１１に動作を移行させる。

一方、出力制御部１４６は、音声らしさが閾値Ｔｈ＿ｍｉｎを超えない場合には（Ｓ１４において「Ｎｏ」）、集音情報が音声らしくない旨を示すようにＵＩ（画面）を更新して（Ｓ１５）、Ｓ１１に動作を移行させる。以上、閾値を用いて音声らしさの判定を行う場合における情報処理システム１０の動作の流れについて説明した。

［１．４．発話終了時の変形例］
続いて、発話終了時の変形例について説明する。音声認識処理を行わせる区間の終端はどのように決定されてもよい。一例として、認識制御部１４４は、集音情報において音量が所定の音量を下回る時間が閾値を超えた区間（以下、単に「無音区間」とも言う。）が存在するかを検出し、無音区間を検出したタイミングに基づいて、音声認識処理を行わせる区間の終端を決定してもよい。例えば、無音区間が検出されたタイミングが、音声認識処理を行わせる区間の終端として決定されてよい。しかし、ユーザが発話を終えてもノイズが存在するために無音区間が検出されにくくなってしまうことがある。かかる例について説明する。

図１５は、発話終了時における画面表示の例を示す図である。画面Ｇ２０−８に示すように、ユーザがノイズ環境で発話した場合、画面Ｇ２０−９に示すように、発話を終了したとしても無音区間が検出されない可能性がある。無音区間が検出されないと、音声認識処理を行わせる区間の終端が決定されない。また、無音区間が検出されないと、音声解析に動作が移行されない場合もある。そこで、認識制御部１４４は、ユーザの発話後に音声らしさの評価結果が閾値よりも低い場合、かつ、集音情報の音量が所定の音量を上回っている場合、音声認識処理を行わせる区間の終端を決定するための条件を追加または変更するとよい。

画面２０−１０に示した例では、音量が「中」であり、音声らしさが「低」であるため、認識制御部１４４が、音声らしさの評価結果が閾値よりも低く、集音情報の音量が所定の音量を上回っていると判断した場合を想定する。かかる場合、出力制御部１４６は、音声認識処理を終わらせるかを問うメッセージ（例えば、「発話終了？」など）を表示させ、音声認識処理を行わせる区間の終端を決定するための発話終了操作オブジェクトＢ１を表示させるとよい。認識制御部１４４は、ユーザによる発話終了操作オブジェクトＢ１の選択操作によって音声認識処理を行わせる区間の終端を決定してよい。

音声らしさと音量との具体的な変化を見ながら説明を続ける。図１６は、閾値を用いて集音情報が音声らしいか否かを判断する場合における音声らしさの時間変化の例を示す図である。図１７は、閾値を用いて無音区間を検出する場合における音量の時間変化の例を示す図である。図１６において、Ｔｈ＿ｓ１は、集音情報が音声らしいか否かを判断するための閾値である。また、図１７において、Ｔｈ＿ｖ１は、無音区間を検出するための閾値である。

図１６を参照すると、ユーザの発話があった後、音声らしさは下がっている。しかし、図１７を参照すると、音量は発話時と比べて下がっているものの、所定の時間（Ｔ＿ｓｋｅｐｔｉｃ）の間、無音区間検出に必要な程度には小さくなってはいない。すなわち、出力制御部１４６は、音声らしさの評価結果が閾値（Ｔｈ＿ｓ１）よりも低く、集音情報の音量が所定の音量を上回っていると判断し、ユーザの発話が終了している可能性があることを示すイベントＥ＿ｓｋｅｐｔｉｃを発行する。

このイベントが発行されると、アプリケーションではこのイベントを受け取り、音声認識処理を終わらせるかを問うメッセージを表示させ、音声認識処理を行わせる区間の終端を決定するための発話終了操作オブジェクトＢ１を表示させる。図１８は、発話終了時における音声らしさと音量との組み合わせに対応する処理の例を示す図である。図１８に示すように、音声らしさが閾値より大きい場合、かつ、音量が閾値より大きい場合には、ユーザが発話中である可能性がある。

また、音声らしさが閾値より大きい場合、かつ、音量が閾値より小さい場合には、音量が不十分な発話がユーザによってなされた可能性がある（無音区間検出は実行される可能性がある）。また、音声らしさが閾値より小さい場合、かつ、音量が大きい場合には、ユーザが存在する環境がノイズ環境であり、イベントＥ＿ｓｋｅｐｔｉｃが発行される可能性がある。また、音声らしさが閾値より小さい場合、かつ、音量が閾値より小さい場合には、ユーザによる発話が終了した可能性がある（無音区間が検出される可能性がある）。

続いて、発話終了時のシーケンスを変更した情報処理システム１０の動作の流れについて説明する。図１９は、発話終了時のシーケンスを変更した情報処理システム１０の動作の流れの例を示すフローチャートである。なお、図１９のフローチャートは、発話終了時のシーケンスを変更した情報処理システム１０の動作の流れの例に過ぎないため、発話終了時のシーケンスを変更した情報処理システム１０の動作の流れは、図１９のフローチャートに示された例に限定されない。

まず、集音情報取得部１４２は、集音部１２０によって集音された集音情報を取得する（Ｓ１１）。続いて、出力制御部１４６は、ユーザ発話がない場合には（Ｓ１８において「Ｎｏ」）、Ｓ１１に動作を移行させる。一方、出力制御部１４６は、ユーザ発話があった場合には（Ｓ１８において「Ｙｅｓ」）、集音情報から音声らしさおよび音量を算出して（Ｓ１２、Ｓ１３）、Ｓ２６に動作を移行させる。出力制御部１４６は、音量が閾値Ｔｈ＿ｖ１以上である場合には（Ｓ２６において「Ｙｅｓ」）、Ｓ２７に動作を移行させるが、音量が閾値Ｔｈ＿ｖ１を下回る場合には（Ｓ２６において「Ｎｏ」）、Ｓ２２に動作を移行させる。

出力制御部１４６は、音声らしさが閾値Ｔｈ＿ｓ１以上である場合（Ｓ２７において「Ｙｅｓ」）、ユーザ発話中と判定し（Ｓ３１）、Ｓ１１に動作を移行させる。一方、出力制御部１４６は、音声らしさが閾値Ｔｈ＿ｓ１未満である場合（Ｓ２７において「Ｎｏ」）、ユーザの存在する環境がノイズ環境であると判定し（Ｓ２８）、イベントを発行し（Ｅ＿ｓｋｅｐｔｉｃ）、ＵＩ（画面）を変更して（例えば、終了ボタンの表示）（Ｓ３０）、Ｓ１１に動作を移行させる。

出力制御部１４６は、音声らしさが閾値Ｔｈ＿ｓ１以上である場合（Ｓ２２において「Ｙｅｓ」）、音量が不十分な発話であると判定するが（Ｓ２３）、無音区間を検出し（Ｓ２５）、Ｓ１１に動作を移行させる。一方、出力制御部１４６は、音声らしさが閾値Ｔｈ＿ｓ１未満である場合（Ｓ２２において「Ｎｏ」）、発話終了であると判定して（Ｓ２４）、無音区間を検出し（Ｓ２５）、Ｓ１１に動作を移行させる。以上、発話終了時のシーケンスを変更した情報処理システム１０の動作の流れについて説明した。

［１．５．発話開始時の変形例］
続いて、発話開始時の変形例について説明する。図２０は、発話開始時における画面表示の例を示す図である。画面２０−１１に示すように、発話開始時にユーザがノイズ環境に存在してしまった場合には、無音区間が検出されにくくなってしまう。しかし、発話開始時においてユーザがノイズ環境に存在することも想定される。したがって、認識制御部１４４は、ユーザの発話前に集音情報の音量が所定の音量を上回っている場合、音声認識処理を行わせる区間の終端を決定するための条件を追加または変更するとよい。以下に具体例を説明する。画面Ｇ２０−１１を参照すると、発話前（または発話開始直後）からユーザが存在する環境のノイズが大きくなってしまっている。このとき、評価結果オブジェクトＭｕは表示されていなくてもよい。

画面Ｇ２０−１２が表示されているとき、認識制御部１４４は、集音情報の音量が所定の音量を上回っていると判断したとする。その場合、無音区間検出が困難になることが予想されるため、認識制御部１４４は、入力方式をＰＴＴ（Ｐｕｓｈ Ｔｏ Ｔａｌｋ）方式に切り替える。ＰＴＴ方式は、ユーザが音声認識処理開始操作オブジェクトＧ１４を押下し始めてから押下し終えるまで集音される（画面Ｇ２０−１３、画面２０−１４）。これによって、無音区間検出がなされなくても、音声認識処理開始操作オブジェクトＧ１４への押下を終了する操作によって音声認識処理を行わせる区間の終端が決定され得る。

図２１は、発話終了時における音声らしさと音量との組み合わせに対応する処理の例を示す図である。図２１に示すように、音声らしさが閾値より大きい場合、かつ、音量が閾値より大きい場合には、ユーザが発話中である可能性があると考えられる。また、音声らしさが閾値より大きい場合、かつ、音量が閾値より小さい場合には、無音区間が検出可能な環境にユーザが存在する可能性がある（ユーザが小声で話している可能性がある）。

また、音声らしさが閾値より小さい場合、かつ、音量が大きい場合には、ユーザが存在する環境がノイズ環境であり、入力方法がＰＴＴに変更される。また、音声らしさが閾値より小さい場合、かつ、音量が閾値より小さい場合には、ユーザが通常環境（静かな環境）に存在する可能性がある。

続いて、発話開始時のシーケンスを変更した情報処理システム１０の動作の流れについて説明する。図２２は、発話開始時のシーケンスを変更した情報処理システム１０の動作の流れの例を示すフローチャートである。なお、図２２のフローチャートは、発話開始時のシーケンスを変更した情報処理システム１０の動作の流れの例に過ぎないため、発話開始時のシーケンスを変更した情報処理システム１０の動作の流れは、図２２のフローチャートに示された例に限定されない。

まず、集音情報取得部１４２は、集音部１２０によって集音された集音情報を取得する（Ｓ１１）。続いて、出力制御部１４６は、ユーザ発話前でない場合には（Ｓ４１において「Ｎｏ」）、Ｓ１１に動作を移行させる。一方、出力制御部１４６は、ユーザ発話前である場合には（Ｓ４１において「Ｙｅｓ」）、集音情報から音声らしさおよび音量を算出して（Ｓ１２、Ｓ１３）、Ｓ２６に動作を移行させる。出力制御部１４６は、音量が閾値Ｔｈ＿ｖ１以上である場合には（Ｓ２６において「Ｙｅｓ」）、Ｓ２７に動作を移行させるが、音量が閾値Ｔｈ＿ｖ１を下回る場合には（Ｓ２６において「Ｎｏ」）、Ｓ２２に動作を移行させる。

出力制御部１４６は、音声らしさが閾値Ｔｈ＿ｓ１以上である場合（Ｓ２７において「Ｙｅｓ」）、ユーザ発話中と判定し（Ｓ３１）、Ｓ１１に動作を移行させる。一方、出力制御部１４６は、音声らしさが閾値Ｔｈ＿ｓ１未満である場合（Ｓ２７において「Ｎｏ」）、ユーザの存在する環境がノイズ環境であると判定し（Ｓ２８）、ユーザがノイズ環境に存在すると判定し（Ｓ２８）、最初から終了ボタンを表示させ（Ｓ４４）、入力方式をＰＴＴ方式に変更し（Ｓ４５）、Ｓ１１に動作を移行させる。

出力制御部１４６は、音声らしさが閾値Ｔｈ＿ｓ１以上である場合（Ｓ２２において「Ｙｅｓ」）、無音区間が検出可能な環境にユーザが存在すると判定し（Ｓ４３）、Ｓ１１に動作を移行させる。一方、出力制御部１４６は、音声らしさが閾値Ｔｈ＿ｓ１未満である場合（Ｓ２２において「Ｎｏ」）、ユーザが通常環境（静かな環境）に存在すると判定して（Ｓ４２）、Ｓ１１に動作を移行させる。以上、発話開始時のシーケンスを変更した情報処理システム１０の動作の流れについて説明した。

［１．６．表示形態の変形例］
上記においては、出力部１３０がテーブルＴｂｌの天面に画面を投影することが可能なプロジェクタである例について説明した。しかし、出力部１３０による表示形態は、かかる例に限定されない。以下では、出力部１３０による表示形態の変形例について説明する。図２３は、出力部１３０による表示形態の変形例を示す図である。図２３に示すように、情報処理システム１０が携帯端末である場合に、出力部１３０は、携帯端末に備わっていてもよい。携帯端末の種類は特に限定されず、タブレット端末であってもよいし、スマートフォンであってもよいし、携帯電話であってもよい。

［１．７．その他の変形例］
続いて、その他の変形例について説明する。上記では、音声らしさの評価結果を出力させる例を説明した。しかし、認識制御部１４４は、音声らしさと閾値との関係に応じて音声認識処理を実行させるか否かを制御してもよい。例えば、認識制御部１４４は、評価結果が閾値よりも高い場合に、集音情報に対する音声認識処理を行わせてもよい。一方、認識制御部１４４は、評価結果が閾値よりも低い場合に、集音情報に対する音声認識処理を行わせなくてもよい。

また、上記では、音声らしさと音量との双方に基づいて音声認識処理を行わせる区間の終端を決定する例を説明した。しかし、認識制御部１４４は、音声らしさと音量とのうちいずれか一方に基づいて音声認識処理を行わせる区間の終端を決定してもよい。例えば、認識制御部１４４は、集音情報において評価結果が閾値よりも低い時間が所定の時間を超えたタイミングに基づいて、音声認識処理を行わせる区間の終端を決定してもよい。より具体的には、認識制御部１４４は、集音情報において評価結果が閾値よりも低い時間が所定の時間を超えたタイミングを、音声認識処理を行わせる区間の終端として決定してもよい。

また、上記では、集音情報に対する音声らしさを評価する例を説明した。しかし、集音情報に対する他の評価が追加的に行われてもよい。かかる場合、二つの評価を用いるようにしてもよい。例えば、出力制御部１４６は、集音情報の音声らしさを評価して得られる第１の評価結果が第１の閾値より高い場合と集音情報の所定の第２の評価結果が第２の閾値より高い場合とにおいて、異なる評価結果オブジェクトを出力部１３０に出力させてもよい。音声らしさの評価結果オブジェクトは、口のアイコンであってもよい。第２の評価も音声認識処理と同様に、出力制御部１４６が行ってもよいし、サーバが行ってもよい。

ここで、第２の評価結果は、集音情報の音楽らしさを評価して得られる評価結果を含んでよい。音楽らしさの評価結果オブジェクトは、音符アイコンであってもよい。集音情報から音楽らしさを評価する手法については特に限定されないが、特許文献（特開２０１０−３８９４３号公報）に記載されている手法を採用することも可能である。また、第２の評価結果は、鼻歌らしさを評価して得られる評価結果を含んでもよいし、ＴＶの音らしさを評価して得られる評価結果を含んでもよい。

また、認識制御部１４４は、集音情報に基づく音の種類の第１の評価結果（例えば、音声らしさ）が第１の閾値より高い場合に、集音情報に基づく第１の音の認識処理（例えば、音声認識処理）を行わせ、集音情報の所定の第２の評価結果（例えば、音楽らしさ）が第２の閾値より高い場合に、集音情報に基づく第２の音の認識処理（例えば、音楽認識処理）を行わせてもよい。音楽認識処理は、集音情報から楽曲に関する情報（例えば、曲名、歌手名など）を認識する処理であってよい。

また、出力制御部１４６は、評価結果の履歴に基づいて、出力部１３０に出力させる評価結果オブジェクトを決定してもよい。そうすれば、音声らしさの評価結果が閾値を頻繁にまたぐような状況になった場合でも、評価結果オブジェクトがちらつくことを防止することが可能となる。より具体的には、出力制御部１４６は、所定期間の評価結果の平均値に基づいて、出力部１３０に出力させる評価結果オブジェクトを決定してもよい。

あるいは、出力制御部１４６は、所定期間に評価結果が閾値をまたいだ頻度に基づいて、出力部１３０に出力させる評価結果オブジェクトを決定してもよい。例えば、出力制御部１４６は、所定期間に評価結果が閾値をまたいだ頻度が多いほど、評価結果の変動を低減するように補正してもよい。また、出力制御部１４６は、所定期間の評価結果に基づいて閾値自体を補正してもよい。

以上、その他の変形例について説明した。

［１．８．ハードウェア構成例］
次に、図２４を参照して、本開示の実施形態に係る情報処理システム１０のハードウェア構成について説明する。図２４は、本開示の実施形態に係る情報処理システム１０のハードウェア構成例を示すブロック図である。

図２４に示すように、情報処理システム１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０３、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０５を含む。また、情報処理システム１０は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理システム１０は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理システム１０は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理システム１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、ユーザの音声を検出するマイクロフォンを含んでもよい。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理システム１０の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理システム１０に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置９３３も、ユーザの手の動き、ユーザの指などを撮像することによって、入力装置として機能し得る。このとき、手の動きや指の向きに応じてポインティング位置が決定されてよい。

出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、プロジェクタなどの表示装置、ホログラムの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などであり得る。出力装置９１７は、情報処理システム１０の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。また、出力装置９１７は、周囲を明るくするためライトなどを含んでもよい。

ストレージ装置９１９は、情報処理システム１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理システム１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。

接続ポート９２３は、機器を情報処理システム１０に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポートなどであり得る。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理システム１０と外部接続機器９２９との間で各種のデータが交換され得る。

通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カードなどであり得る。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。

撮像装置９３３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。

センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理システム１０の筐体の姿勢など、情報処理システム１０自体の状態に関する情報や、情報処理システム１０の周辺の明るさや騒音など、情報処理システム１０の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。

以上、情報処理システム１０のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更され得る。

＜２．むすび＞
以上説明したように、本開示の実施形態によれば、集音部１２０より得られる集音情報に基づく音の認識処理を音声認識処理部１４５に実行させる認識制御部１４４と、音の認識処理により得られる認識結果を出力させるための出力信号を生成する出力制御部１４６と、を備え、出力制御部１４６は、前記集音情報に基づく音の種類の評価結果を前記認識結果よりも前に出力部に出力させる、情報処理装置１４０が提供される。かかる構成によれば、ユーザは集音情報の音の種類の評価結果を把握することによって発話を調整することができるため、集音情報に基づく音の認識処理の精度を向上させることが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記においては、出力部１３０による表示形態の変形例を説明したが、出力部１３０による表示形態は、上記した例に限定されない。例えば、出力部１３０は、ヘッドマウントディスプレイ以外のウェアラブル端末（例えば、時計、眼鏡など）に備わるディスプレイであってもよい。また、例えば、出力部１３０は、車載向けナビゲーションシステムに備わるディスプレイであってもよい。また、例えば、出力部１３０は、ヘルスケア分野において利用されるディスプレイであってもよい。

また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記した情報処理システム１０が有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。

また、出力制御部１４６は、出力部１３０に表示内容を表示させるための表示制御情報を生成し、生成した表示制御情報を出力部１３０に出力することで、当該表示内容が出力部１３０に表示されるように出力部１３０を制御することが可能である。かかる表示制御情報の内容はシステム構成にあわせて適宜変更されてよい。

具体的な一例として、情報処理装置１４０を実現するためのプログラムは、ウェブアプリケーションであってもよい。かかる場合、表示制御情報は、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）、ＳＧＭＬ（Ｓｔａｎｄａｒｄ Ｇｅｎｅｒａｌｉｚｅｄ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）などのマークアップ言語により実現されてもよい。

なお、上述した情報処理システム１０の動作が実現されれば、各構成の位置は特に限定されない。具体的な一例として、画像入力部１１０、操作入力部１１５および集音部１２０と出力部１３０と情報処理装置１４０とは、ネットワークを介して接続された互いに異なる装置に設けられてもよい。この場合には、情報処理装置１４０が、例えば、ウェブサーバやクラウドサーバのようなサーバに相当し、画像入力部１１０、操作入力部１１５および集音部１２０と出力部１３０とが当該サーバにネットワークを介して接続されたクライアントに相当し得る。

また、情報処理装置１４０が有するすべての構成要素が同一の装置に収まっていなくてもよい。例えば、入力画像取得部１４１と、集音情報取得部１４２と、操作検出部１４３と、認識制御部１４４と、音声認識処理部１４５と、出力制御部１４６とのうち、一部は情報処理装置１４０とは異なる装置に存在していてもよい。例えば、音声認識処理部１４５は、入力画像取得部１４１と、集音情報取得部１４２と、操作検出部１４３と、認識制御部１４４と、出力制御部１４６とを備える情報処理装置１４０とは異なるサーバに存在していてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
集音部より得られる集音情報に基づく音の認識処理を音声認識処理部に実行させる認識制御部と、
前記音の認識処理により得られる認識結果を出力させるための出力信号を生成する出力制御部と、を備え、
前記出力制御部は、前記集音情報に基づく音の種類の評価結果を前記認識結果よりも前に出力部に出力させる、
情報処理装置。
（２）
前記出力部はディスプレイであり、
前記出力制御部は、前記評価結果に応じた評価結果オブジェクトを前記出力部に表示させる、
前記（１）に記載の情報処理装置。
（３）
前記出力制御部は、前記集音情報が得られたときに集音を通知するための集音通知オブジェクトを前記出力部に表示させ、前記評価結果が得られたときに前記評価結果に応じて前記集音通知オブジェクトを前記評価結果オブジェクトに変化させる、
前記（２）に記載の情報処理装置。
（４）
前記出力制御部は、前記集音情報が得られたときに前記集音情報の音量に応じた前記集音通知オブジェクトを前記出力部に表示させる、
前記（３）に記載の情報処理装置。
（５）
前記出力制御部は、前記評価結果に基づいて、前記評価結果オブジェクトの形状、透明度、色、サイズおよび動きのうち少なくともいずれか一つを制御する、
前記（２）に記載の情報処理装置。
（６）
前記出力制御部は、前記評価結果が閾値よりも高い場合と前記評価結果が前記閾値よりも低い場合とにおいて、異なる評価結果オブジェクトを前記出力部に出力させる、
前記（２）に記載の情報処理装置。
（７）
前記認識制御部は、前記評価結果が閾値よりも高い場合に、前記集音情報に基づく音声認識処理を行わせる、
前記（２）に記載の情報処理装置。
（８）
前記認識制御部は、前記評価結果が閾値よりも低い場合に、前記集音情報に基づく音声認識処理を行わせない、
前記（２）に記載の情報処理装置。
（９）
前記出力制御部は、前記評価結果の履歴に基づいて、前記出力部に出力させる前記評価結果オブジェクトを決定する、
前記（２）に記載の情報処理装置。
（１０）
前記認識制御部は、前記評価結果が閾値よりも高い場合に、前記評価結果オブジェクトを所定のターゲット位置に移動させる、
前記（２）に記載の情報処理装置。
（１１）
前記音の認識処理は、前記集音情報に基づいて文字列を特定する処理を含む、
前記（１）に記載の情報処理装置。
（１２）
前記出力制御部は、前記閾値を前記出力部に出力させる、
前記（６）に記載の情報処理装置。
（１３）
前記認識制御部は、前記集音情報において前記評価結果が前記閾値よりも低い時間が所定の時間を超えたタイミングに基づいて、音声認識処理を行わせる区間の終端を決定する、
前記（６）に記載の情報処理装置。
（１４）
前記認識制御部は、前記集音情報において音量が所定の音量を下回る時間が所定の時間を超えたタイミングに基づいて、音声認識処理を行わせる区間の終端を決定する、
前記（６）に記載の情報処理装置。
（１５）
前記認識制御部は、ユーザの発話後に前記評価結果が前記閾値よりも低い場合、かつ、前記集音情報の音量が所定の音量を上回っている場合、音声認識処理を行わせる区間の終端を決定するための条件を追加または変更する、
前記（６）に記載の情報処理装置。
（１６）
前記集音情報に基づく音の種類の評価結果は、前記集音情報に基づく音声らしさの評価結果である、
前記（１）に記載の情報処理装置。
（１７）
前記出力制御部は、前記集音情報に基づく音の種類の第１の評価結果が第１の閾値より高い場合と前記集音情報の所定の第２の評価結果が第２の閾値より高い場合とにおいて、異なる評価結果オブジェクトを前記出力部に出力させる、
前記（１）に記載の情報処理装置。
（１８）
前記音の認識処理は、前記集音情報に基づく音声認識処理を含む、
前記（１）に記載の情報処理装置。
（１９）
集音部より得られる集音情報に基づく音の認識処理を音声認識処理部に実行させることと、
前記音の認識処理により得られる認識結果を出力させるための出力信号を生成することと、を含み、
前記集音情報に基づく音の種類の評価結果を前記認識結果よりも前に出力部に出力させること、
を含む、情報処理方法。
（２０）
コンピュータを、
集音部より得られる集音情報に基づく音の認識処理を音声認識処理部に実行させる認識制御部と、
前記音の認識処理により得られる認識結果を出力させるための出力信号を生成する出力制御部と、を備え、
前記出力制御部は、前記集音情報に基づく音の種類の評価結果を前記認識結果よりも前に出力部に出力させる、
情報処理装置として機能させるためのプログラム。
（２１）
前記認識制御部は、前記評価結果が閾値よりも低い場合に、前記評価結果オブジェクトを前記ターゲット位置に移動させない、
前記（２）〜（５）のいずれか一項に記載の情報処理装置。
（２２）
前記認識制御部は、ユーザの発話前に前記集音情報の音量が所定の音量を上回っている場合、前記音声認識処理を行わせる区間の終端を決定するための条件を追加または変更する、
前記（６）〜（１２）のいずれか一項に記載の情報処理装置。
（２３）
前記認識制御部は、前記集音情報に基づく音の種類の第１の評価結果が第１の閾値より高い場合に、前記集音情報に基づく第１の音の認識処理を行わせ、前記集音情報に基づく音の種類の第２の評価結果が第２の閾値より高い場合に、前記集音情報に基づく第２の音の認識処理を行わせる、
前記（１）に記載の情報処理装置。

１０ 情報処理システム
１１０ 画像入力部
１１５ 操作入力部
１２０ 集音部
１３０ 出力部
１４０ 情報処理装置（制御部）
１４１ 入力画像取得部
１４２ 集音情報取得部
１４３ 操作検出部
１４４ 認識制御部
１４５ 音声認識処理部
１４６ 出力制御部

Claims (10)

1. 集音部より得られる集音情報に基づく音の認識処理を音声認識処理部に実行させる認識制御部と、
   前記音の認識処理により得られる認識結果を出力させるための出力信号を生成する出力制御部と、を備え、
   前記出力制御部は、
   前記集音情報に基づく音の種類の評価結果に応じた評価結果オブジェクトを前記認識結果よりも前に、ディスプレイである出力部に表示させ、
   前記評価結果が閾値よりも高い場合と前記評価結果が前記閾値よりも低い場合とにおいて、異なる前記評価結果オブジェクトを前記出力部に表示させ、
   前記認識制御部は、
   ユーザの発話後に前記評価結果が前記閾値よりも低い場合、かつ、前記集音情報の音量が所定の音量を上回っている場合、音声認識処理を行わせる区間の終端を決定するための条件を追加または変更する、
   情報処理装置。
2. 前記出力制御部は、前記集音情報が得られたときに集音を通知するための集音通知オブジェクトを前記出力部に表示させ、前記評価結果が得られたときに前記評価結果に応じて前記集音通知オブジェクトを前記評価結果オブジェクトに変化させる、
   請求項１に記載の情報処理装置。
3. 前記出力制御部は、前記集音情報が得られたときに前記集音情報の音量に応じた前記集音通知オブジェクトを前記出力部に表示させる、
   請求項２に記載の情報処理装置。
4. 前記出力制御部は、前記評価結果に基づいて、前記評価結果オブジェクトの形状、透明度、色、サイズおよび動きのうち少なくともいずれか一つを制御する、
   請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記音の認識処理は、前記集音情報に基づいて文字列を特定する処理を含む、
   請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記出力制御部は、前記閾値を前記出力部に出力させる、
   請求項１〜５のいずれか１項に記載の情報処理装置。
7. 前記集音情報に基づく音の種類の評価結果は、前記集音情報に基づく音声らしさの評価結果である、
   請求項１〜６のいずれか１項に記載の情報処理装置。
8. 前記出力制御部は、前記集音情報に基づく音の種類の第１の評価結果が第１の閾値より高い場合と前記集音情報の所定の第２の評価結果が第２の閾値より高い場合とにおいて、異なる前記評価結果オブジェクトを前記出力部に出力させる、
   請求項１〜７のいずれか１項に記載の情報処理装置。
9. 集音部より得られる集音情報に基づく音の認識処理を音声認識処理部に実行させることと、
   前記音の認識処理により得られる認識結果を出力させるための出力信号を生成することと、を含み、
   前記集音情報に基づく音の種類の評価結果に応じた評価結果オブジェクトを前記認識結果よりも前にディスプレイである出力部に表示させることと、
   前記評価結果が閾値よりも高い場合と前記評価結果が前記閾値よりも低い場合とにおいて、異なる前記評価結果オブジェクトを前記出力部に表示させることと、
   ユーザの発話後に前記評価結果が前記閾値よりも低い場合、かつ、前記集音情報の音量が所定の音量を上回っている場合、音声認識処理を行わせる区間の終端を決定するための条件を追加または変更することと、
   をさらに含む、情報処理方法。
10. コンピュータを、
    集音部より得られる集音情報に基づく音の認識処理を音声認識処理部に実行させる認識制御部と、
    前記音の認識処理により得られる認識結果を出力させるための出力信号を生成する出力制御部と、を備える情報処理装置として機能させるためのプログラムであって、
    前記出力制御部は、
    前記集音情報に基づく音の種類の評価結果に応じた評価結果オブジェクトを前記認識結果よりも前に、ディスプレイである出力部に表示させ、
    前記評価結果が閾値よりも高い場合と前記評価結果が前記閾値よりも低い場合とにおいて、異なる前記評価結果オブジェクトを前記出力部に表示させ、
    前記認識制御部は、
    ユーザの発話後に前記評価結果が前記閾値よりも低い場合、かつ、前記集音情報の音量が所定の音量を上回っている場合、音声認識処理を行わせる区間の終端を決定するための条件を追加または変更する、
    プログラム。

Images