JP7706086B2

JP7706086B2 - 音声品質評価装置、音声品質評価方法、および音声品質評価プログラム

Info

Publication number: JP7706086B2
Application number: JP2021088897A
Authority: JP
Inventors: 尚大辻
Original assignee: グリーン株式会社
Priority date: 2021-05-27
Filing date: 2021-05-27
Publication date: 2025-07-11
Anticipated expiration: 2041-05-27
Also published as: JP2022181759A

Description

本発明は、音声品質を評価する技術に関する。

近年、通信ネットワークを介して、ビデオ会議や遠隔授業等を行う機会が増加している。そこで、この音声の品質を簡便に評価できる技術が必要とされている。

例えば、特許文献１では、入力された音声の誤り訂正及びフィルタ処理後のサンプルの初期音声認識結果とフィルタ処理後の原文を比較し、音声評価点数を算出する音声評価方法等が提案されている。
また、特許文献２では、入力された音声認識データを記憶部に記録させ、検索部により音声認識データと辞書データをマッチングして、音声認識結果を作成する技術が提案されている。

特開２０１６－５１１７９号公報特開２０１８－５４７１７号公報

電話システムの音声品質評価は、古くからMOS（Mean Opinion Score）と呼ばれる主観品質評価方法が用いられてきた。また、コンピュータを用いてMOSによる主観評価の結果を推測する客観的品質手法POLQA（Perceptual Objective Listening Quality Assessment：知覚客観受話品質評価）が知られている。POLQAは、リファレンス音声と呼ばれる原音声と、それを受話側で録音した音声とを比較し、MOS値を算出する手法である。

ここで、ビデオ会議や遠隔授業等における音声品質評価においては、数十分から数時間等に渡って、話者の発話内容を受話側で正確に聞き取れるか否かが肝要である。しかしながら、POLQAは、長時間に渡って伝送される音声の品質評価には適していない。POLQAにはリファレンス音声、リファレンス映像に対する基準が定められており、基準を満たさない通常の会話、音声に対する評価は対象にされていない。また、POLQAは音声データ同士を比較する手法であるので、長い音声データを評価しようとする場合にはデータ量が大きくなり、処理コストが膨大である。そのため、例えば「パケット化された音声や映像がネットワーク状態の変化によりどのような影響受けるか」といった時間的変化の評価は困難である。

また、POLQAは、原音声と受話側音声との差異を評価する手法であるため、受話側で聞き取れる発話内容の正確性を適切に評価しているとはいえない。例えば、POLQAは、イコライジング処理等の音声品質を向上させる処理を行った場合であっても、音声に差異があると判断された結果、低い評価がなされる。同様に、ビデオ会議や遠隔授業等、収音データに空間雑音や音の反響が含まれるような状況において、雑音を除去する処理を行って再生した場合であっても、音声に差異があると判断され、評価が低くなってしまう。

そこで、本発明は、ネットワークを介して伝送される音声データにおいて、伝送の品質評価を簡便に行うことを目的とする。

上記目的を達成するため、本発明の一の観点に係る音声品質評価装置は、参照テキストを参照音声データに変換する音声生成部と、前記音声生成部により生成される前記参照音声データを、ネットワークを介して再生装置に送信する参照音声送信部と、前記再生装置から再生される評価対象音声データを取得する評価対象音声取得部と、前記評価対象音声データに含まれる言葉を音声認識して評価対象テキストを生成する音声認識部と、前記評価対象テキストに基づいて、前記ネットワークを介して受信される音声の品質評価を行う評価部と、を備える。

前記評価部は、前記評価対象テキストと前記参照テキストを比較して、前記品質評価を行うものとしてもよい。

前記音声認識部は、前記参照音声データに含まれる言葉を音声認識して第２参照テキストを生成し、前記評価部は、前記評価対象テキストと前記第２参照テキストを比較して、前記品質評価を行うものとしてもよい。

前記音声認識部は、前記参照音声データに含まれる言葉を音声認識して第２参照テキストを生成し、前記評価部は、前記参照テキストと前記第２参照テキストを比較して第１評価を行い、前記参照テキストと前記評価対象テキストを比較して第２評価を行い、前記第１評価および前記第２評価の結果に基づいて、前記品質評価を行うものとしてもよい。

上記目的を達成するため、本発明の別の観点に係る音声品質評価方法は、参照テキストを参照音声データに変換する音声生成処理と、前記音声生成処理により生成される前記参照音声データを、ネットワークを介して再生装置に送信する参照音声送信処理と、前記再生装置から再生される評価対象音声データを取得する評価対象音声取得処理と、前記評価対象音声データに含まれる言葉を音声認識して評価対象テキストを生成する音声認識処理と、前記評価対象テキストに基づいて、前記ネットワークを介して受信される音声の品質評価を行う評価処理と、を含む。

上記目的を達成するため、本発明のさらに別の観点に係る音声品質評価プログラムは、参照テキストを参照音声データに変換する音声生成命令と、前記音声生成命令により生成される前記参照音声データを、ネットワークを介して再生装置に送信する参照音声送信命令と、前記再生装置から再生される評価対象音声データを取得する評価対象音声取得命令と、前記評価対象音声データに含まれる言葉を音声認識して評価対象テキストを生成する音声認識命令と、前記評価対象テキストに基づいて、前記ネットワークを介して受信される音声の品質評価を行う評価命令と、をコンピュータに実行させる。
なお、コンピュータプログラムは、各種のデータ読取可能な記録媒体に格納して提供したり、インターネット等のネットワークを介してダウンロード可能に提供したりすることができる。

本発明に係る音声品質評価装置によれば、ネットワークを介して伝送される音声データにおいて、伝送の品質評価を簡便に行うことができる。

本発明の第１の実施形態に係る音声品質評価装置の機能ブロック図である。上記音声品質評価装置において処理されるデータの１例であって、（ａ）参照テキストの例、（ｂ）参照テキストを読み上げた参照音声データの例、（ｃ）ネットワークを介して受信した評価対象音声データの例、（ｄ）上記ネットワークを介して受信した音声データを音声認識して得られる評価対象テキストの例、を示す概念図である。上記音声品質評価装置によって実行される一連の処理の流れを示すフローチャートである。本発明の第２の実施形態に係る音声品質評価装置によって実行される、一連の処理の流れを示すフローチャートである。本発明の第３の実施形態に係る音声品質評価装置によって実行される、一連の処理の流れを示すフローチャートである。

以下、本発明の実施形態に係る音声品質評価装置、音声品質評価方法、および音声品質評価プログラムについて、図を参照して説明する。

＜第１実施形態＞
●音声品質評価装置の構成
図１に示すように、音声品質評価装置１は、ネットワークＮＷを介して送受信される音声の品質を評価する装置である。ネットワークＮＷは、例えばインターネットの他、有線又は無線で接続される適宜の通信回線であってよく、形式は任意である。

例えば、音声品質評価装置１は、ネットワークＮＷを介して再生装置５０に接続されている。再生装置５０は、例えばパーソナルコンピュータ、スマートホン又はタブレット等の端末であり、ビデオ通話の視聴者が視聴している端末である。

音声品質評価装置１は、ネットワークＮＷを介して参照音声の音声データ（以下、「参照音声データ」ともいう。）を再生装置５０に送信する。再生装置５０は、この参照音声データを音声に変換し、再生する。なお、参照音声データは、ネットワークＮＷ上の適宜の装置、例えばサーバを経由して再生装置５０に受信されてもよい。音声品質評価装置１は、ネットワークＮＷを介して伝送され、再生装置５０で再生される音声データを取得し、この音声の品質を評価する。

音声品質評価装置１は、メモリなどの記憶媒体、プロセッサ、通信モジュール、及び入力／出力インターフェース等で構成され、プロセッサが記憶媒体に記録されたコンピュータプログラムを実行することで、図１に示した機能ブロックを実現するようになっている。記憶媒体は、コンピュータ読み取り可能記録媒体であって、ＲＡＭ（random access memory）、ＲＯＭ（read only memory）、ディスクドライブ、ＳＳＤ（solid state drive）、フラッシュメモリ（flash memory）のような記憶装置等を含んでよい。ここで、ＲＯＭやディスクドライブ、ＳＳＤ、フラッシュメモリのような非一時的な記憶装置は、メモリとは区分される別の格納装置として音声品質評価装置１に含まれてもよい。

音声品質評価装置１は、上記したハードウェア構成により、例えば、主として、参照テキスト取得部１１、音声生成部１２、参照音声送信部１３、評価対象音声取得部１４、音声認識部１５、評価部１６を具備する。なお、音声品質評価装置１の構成の一部又は全部が、別のハードウェア構成により実現されていてもよいし、一部又は全部がクラウドコンピュータにより実現されていてもよい。また、音声品質評価装置１の機能の一部が再生装置５０の内部に構成されていてもよい。この場合、例えば評価対象音声取得部１４、音声認識部１５、評価部１６が再生装置５０に構成されていてもよい。

参照テキスト取得部１１は、音声の品質評価に用いる参照テキストを取得する機能部である。参照テキストは、例えば図２（ａ）に示すようなテキストデータであり、日本語に限らず適宜の言語であってよい。参照テキスト取得部１１は、参照テキストを適宜のネットワークを介して取得してもよいし、音声品質評価装置１が有する適宜の入力手段を介して入力を受け付けてもよい。

図２（ｂ）の概念図に示すように、音声生成部１２は、参照テキスト取得部１１により取得した参照テキストを参照音声データに変換する機能部である。音声生成部１２は、人工音声により参照テキストを読み上げて参照音声データに変換してもよい。また、音声生成部１２は、参照テキストをディスプレイ等の表示部に表示させ、アナウンサー等の正確な発話をする話者に読み上げを促す構成であってもよい。この場合、音声生成部１２は、話者により読み上げられた音声を収音する構成を有する。

参照音声送信部１３は、音声生成部１２により生成される参照音声データを、ネットワークＮＷを介して再生装置５０に送信する機能部である。再生装置５０は、受信した参照音声データを音声として再生する。このとき、再生装置５０は、音声データに適宜の信号処理を施してから再生してもよい。この信号処理は、例えばイコライジング処理、ノイズキャンセリング処理、周波数フィルタ処理又は増幅処理等、音声に含まれる言葉をより明瞭に聞き取れるようにするための音響信号処理であってもよいし、ネットワークＮＷによる伝送に起因して欠損した情報を補完する処理であってもよい。

なお、参照音声データは、ネットワークＮＷ上の適宜の装置、例えばサーバを経由して再生装置５０に受信されてもよい。また、上述の信号処理は、当該装置により参照音声データに施されてもよい。

評価対象音声取得部１４は、再生装置５０から再生される音声データ（以下、「評価対象音声データ」ともいう。）を取得する機能部である。評価対象音声取得部１４は、再生装置５０に接続され、音声データを取得する。
図２（ｃ）の概念図に示すように、評価対象音声データは、参照音声データと一部が異なっている。同図の例では、領域Ｌに示される一部のデータの振幅が小さくなっている様子を示している。評価対象音声データは、伝送の過程で参照音声データよりも劣化したデータの他、再生装置５０又はネットワークＮＷ上の装置において行われる上記した適宜の信号処理により、発話内容が聞き取りやすく加工されたデータであってもよい。

音声認識部１５は、評価対象音声データに含まれる言葉を音声認識して評価対象テキストを生成する機能部である。図２（ｄ）の例では、領域Ｗに示される一部のテキストが、参照テキストとは異なっている様子を示している。

評価部１６は、評価対象テキストに基づいて、ネットワークＮＷを介して受信される音声の品質評価を行う機能部である。本実施形態においては、評価部１６は、評価対象テキストと参照テキストを比較して、音声の品質評価を行う。
音声の品質評価スコアは、例えば以下の式（１）により計算される。

品質評価スコア＝評価対象テキストで正確に認識されている音数／参照テキストの音数×１００
・・・（１）

品質評価スコアは、値が大きいほど音声品質が良いことを示し、評価対象テキストにおいてすべての音が正確に認識されている場合には、品質評価スコアは１００となる。図２の例では、参照テキストの音が９３字であり、評価対象テキストはこのうち８９字を正確に認識できていることから、品質評価スコアは９６である。品質評価スコアは、音声品質評価装置１が有する、又は接続されている適宜の表示部に表示される。

評価部１６は、評価対象テキストの全文に対して１個の品質評価スコアを算出してもよいし、消化対象テキストを複数に分割してそれぞれ品質評価スコアを算出し、１個の参照テキストに対して時間軸に沿った複数の品質評価スコアが算出されるようになっていてもよい。１個の参照テキストに対し複数の品質評価スコアを算出する構成によれば、ネットワークの伝送状態の時間変化を評価することができる。この場合に、評価部１６は、評価対象テキストを互いに重複がないように分割してもよいし、時間軸上で一部を重複させながら分割してもよい。なお、音声認識部１５が音声データを分割した上でそれぞれテキストデータに変換してもよい。この場合には、評価部１６は各テキストデータに対し評価を行う。

●処理フロー
図３を用いて、音声品質評価装置１が伝送される音声を評価する処理フローについて説明する。
まず、参照テキスト取得部１１により、参照テキストを取得する（ステップＳ１１）。ついで、音声生成部１２により、参照テキストに基づいて参照音声データを取得する（ステップＳ１２）。ついで、参照音声送信部１３により、参照音声を再生装置５０に送信する（ステップＳ１３）。

ついで、評価対象音声取得部１４により、再生装置５０において再生される対象音声データを取得する（ステップＳ１４）。ついで、音声認識部１５により、対象音声データを音声認識し、テキストデータを生成する（ステップＳ１５）。評価部１６により、参照テキストと評価対象テキストとの一致率を評価し、品質評価スコアを算出する（ステップＳ１６）。ついで、品質評価スコアを適宜の表示部に表示する（ステップＳ１７）。

このような本発明に係る音声品質評価装置によれば、話者の発話内容を受話側で正確に聞き取れるかという観点に着目し、ネットワークによる伝送の品質評価を行うことができる。また、本発明に係る音声品質評価装置によれば、テキストデータ同士を比較評価するため、音声データ同士を比較する構成に比べて解析するデータ量を圧縮することができる。したがって、長時間の発話における伝送の品質評価が可能である。また、評価対象音声をテキストデータにして評価を行う構成によれば、音質を向上させる処理を行った場合にも、発話内容が正確に伝送されているかを適切に評価することができる。

＜第２実施形態＞
本発明の第２実施形態に係る音声品質評価装置について、第１実施形態と異なる部分を中心に説明する。この実施形態において、音声認識部１５は、参照音声データに含まれる言葉を音声認識して第２参照テキストを生成し、評価部１６は、評価対象テキストと第２参照テキストを比較して、音声の品質評価を行う。なお、第１実施形態と同様の構成については適宜説明を省略し、同じ符号を付した。

図４に示すように、第２実施形態に係る音声品質評価装置においては、参照テキストを取得し（ステップＳ１１）、参照音声データを生成した後（ステップＳ１２）、音声認識部１５により参照音声データの音声認識を行い、第２参照テキストを生成する（ステップＳ２１）。また、参照音声データを送信して（ステップＳ１３）、再生装置５０を介して評価対象音声データを取得し（ステップＳ１４）、音声認識を行う（ステップＳ１５）。ステップＳ２１と、ステップＳ１３乃至Ｓ１５との順番は任意であり、同時に行われてもよい。

ついで、評価部１６により、第２参照テキストと評価対象テキストの一致率を評価し、品質評価スコアを算出し（ステップＳ２２）、この品質評価スコアを表示部に表示する（ステップＳ２３）。
この場合の品質評価スコアは、例えば以下の式（２）で表される。

品質評価スコア＝評価対象テキストで正確に認識されている音数／第２参照テキストの音数×１００
・・・（２）

この構成によれば、音声認識部１５による誤認識がある場合には、第２参照テキストと評価対象テキストの双方に同様の誤認識が現れるので、品質評価スコアにおける誤認識の影響を除去できる。すなわち、本実施形態においては、音声認識部１５による影響を除いて音声品質を評価できる。

＜第３実施形態＞
本発明の第３実施形態に係る音声品質評価装置について、第２実施形態と異なる部分を中心に説明する。この実施形態において、音声認識部１５は、参照音声データに含まれる言葉を音声認識して第２参照テキストを生成し、評価部１６は、参照テキストと第２参照テキストを比較して第１評価を行うとともに、参照テキストと評価対象テキストを比較して第２評価を行った上で、第１評価および前記第２評価の結果に基づいて、音声の品質評価を行う。
なお、第１実施形態又は第２実施形態と同様の構成については適宜説明を省略し、同じ符号を付した。

図５に示すように、第３実施形態に係る音声品質評価装置においては、参照テキストを取得し（ステップＳ１１）、参照音声データを生成した後（ステップＳ１２）、音声認識部１５により参照音声データの音声認識を行い、第２参照テキストを生成する（ステップＳ２１）。次いで、参照テキストと、第２参照テキストとの一致率（以下、「第１一致率」ともいう。）を算出する第１評価を行う（ステップＳ３１）。

また、参照音声データを送信して（ステップＳ１３）、再生装置５０を介して評価対象音声データを取得し（ステップＳ１４）、音声認識を行う（ステップＳ１５）ついで、参照テキストと評価対象テキストとの一致率（以下、「第２一致率」ともいう。）を算出する第２評価を行う（ステップＳ３２）。ステップＳ２１およびステップＳ３１と、ステップＳ１３乃至Ｓ１５およびステップＳ３２との順番は任意であり、同時に行われてもよい。

ついで、評価部１６により、第１一致率および第２一致率を比較して品質評価スコアを算出し（ステップＳ３３）、この品質評価スコアを表示部に表示する（ステップＳ３４）。例えば、品質評価スコアは、以下の式（３）により表される。

品質評価スコア＝第２一致率／第１一致率×１００・・・（３）

また、品質評価スコアに加えて、第１一致率および第２一致率をそれぞれ表示部に表示してよい。

この構成によれば、音声認識部１５による音声認識の正確性を第１一致率および第２一致率で確認できるとともに、品質評価スコアにより伝送前後の音声品質の評価を確認できる。

このように、本発明に係る音声品質評価装置によれば、ネットワークを介して伝送される音声データにおいて、伝送の品質評価を簡便に行うことができる。

なお、本説明においてはネットワークによる伝送前後の音声品質の評価を例に説明したが、本発明に係る音声品質評価装置はネットワークに限らず、発話内容を伝達する機構全般の評価に用いることができる。また、音声品質評価装置は、ネットワークの評価に用いるのみならず、ビデオ会議又は遠隔授業を行っている話者に略リアルタイム又は事後的に視認させ、正確に伝送されなかった部分を確認させたり、当該部分を再度話すよう促すといったシステムを構築することで、ビデオ会議等における正確な情報共有の一助となるようにしてもよい。

１音声品質評価装置
１１参照テキスト取得部
１２音声生成部
１３参照音声送信部
１４評価対象音声取得部
１５音声認識部
１６評価部
ＮＷネットワーク

Claims

参照テキストを参照音声データに変換する音声生成部と、
前記音声生成部により生成される前記参照音声データを、ネットワークを介して再生装置に送信する参照音声送信部と、
前記再生装置から再生される評価対象音声データを取得する評価対象音声取得部と、
前記評価対象音声データに含まれる言葉を音声認識して評価対象テキストを生成する音声認識部と、
前記評価対象テキストに基づいて、前記ネットワークを介して受信される音声の品質評価を行う評価部と、
を備え、
前記音声認識部は、前記参照音声データに含まれる言葉を音声認識して第２参照テキストを生成し、
前記評価部は、前記評価対象テキストと前記第２参照テキストを比較して、前記品質評価を行う、
音声品質評価装置。
参照テキストを参照音声データに変換する音声生成部と、
前記音声生成部により生成される前記参照音声データを、ネットワークを介して再生装置に送信する参照音声送信部と、
前記再生装置から再生される評価対象音声データを取得する評価対象音声取得部と、
前記評価対象音声データに含まれる言葉を音声認識して評価対象テキストを生成する音声認識部と、
前記評価対象テキストに基づいて、前記ネットワークを介して受信される音声の品質評価を行う評価部と、
を備え、
前記音声認識部は、前記参照音声データに含まれる言葉を音声認識して第２参照テキストを生成し、
前記評価部は、前記参照テキストと前記第２参照テキストを比較して第１評価を行い、前記参照テキストと前記評価対象テキストを比較して第２評価を行い、前記第１評価および前記第２評価の結果に基づいて、前記品質評価を行う、
音声品質評価装置。
参照テキストを参照音声データに変換する音声生成処理と、
前記音声生成処理により生成される前記参照音声データを、ネットワークを介して再生装置に送信する参照音声送信処理と、
前記再生装置から再生される評価対象音声データを取得する評価対象音声取得処理と、
前記評価対象音声データに含まれる言葉を音声認識して評価対象テキストを生成する音声認識処理と、
前記評価対象テキストに基づいて、前記ネットワークを介して受信される音声の品質評価を行う評価処理と、
を含み、
前記音声認識処理は、前記参照音声データに含まれる言葉を音声認識して第２参照テキストを生成し、
前記評価処理は、前記評価対象テキストと前記第２参照テキストを比較して、前記品質評価を行う、
音声品質評価方法。
参照テキストを参照音声データに変換する音声生成処理と、
前記音声生成処理により生成される前記参照音声データを、ネットワークを介して再生装置に送信する参照音声送信処理と、
前記再生装置から再生される評価対象音声データを取得する評価対象音声取得処理と、
前記評価対象音声データに含まれる言葉を音声認識して評価対象テキストを生成する音声認識処理と、
前記評価対象テキストに基づいて、前記ネットワークを介して受信される音声の品質評価を行う評価処理と、
を含み、
前記音声認識処理は、前記参照音声データに含まれる言葉を音声認識して第２参照テキストを生成し、
前記評価処理は、前記参照テキストと前記第２参照テキストを比較して第１評価を行い、前記参照テキストと前記評価対象テキストを比較して第２評価を行い、前記第１評価および前記第２評価の結果に基づいて、前記品質評価を行う、
音声品質評価方法。
参照テキストを参照音声データに変換する音声生成命令と、
前記音声生成命令により生成される前記参照音声データを、ネットワークを介して再生装置に送信する参照音声送信命令と、
前記再生装置から再生される評価対象音声データを取得する評価対象音声取得命令と、
前記評価対象音声データに含まれる言葉を音声認識して評価対象テキストを生成する音声認識命令と、
前記評価対象テキストに基づいて、前記ネットワークを介して受信される音声の品質評価を行う評価命令と、
をコンピュータに実行させ、
前記音声認識命令は、前記参照音声データに含まれる言葉を音声認識して第２参照テキストを生成し、
前記評価命令は、前記評価対象テキストと前記第２参照テキストを比較して、前記品質評価を行う、
音声品質評価プログラム。
参照テキストを参照音声データに変換する音声生成命令と、
前記音声生成命令により生成される前記参照音声データを、ネットワークを介して再生装置に送信する参照音声送信命令と、
前記再生装置から再生される評価対象音声データを取得する評価対象音声取得命令と、
前記評価対象音声データに含まれる言葉を音声認識して評価対象テキストを生成する音声認識命令と、
前記評価対象テキストに基づいて、前記ネットワークを介して受信される音声の品質評価を行う評価命令と、
をコンピュータに実行させ、
前記音声認識命令は、前記参照音声データに含まれる言葉を音声認識して第２参照テキストを生成し、
前記評価命令は、前記参照テキストと前記第２参照テキストを比較して第１評価を行い、前記参照テキストと前記評価対象テキストを比較して第２評価を行い、前記第１評価および前記第２評価の結果に基づいて、前記品質評価を行う、
音声品質評価プログラム。