JP7368779B2 - 音声信号変換モデル学習装置、音声信号変換装置、音声信号変換モデル学習方法及びプログラム - Google Patents

Description

特許法第３０条第２項適用 ２０１９年４月５日、”ＷａｖｅＣｙｃｌｅＧＡＮ２：Ｔｉｍｅ－ｄｏｍａｉｎ Ｎｅｕｒａｌ Ｐｏｓｔ－ｆｉｌｔｅｒ ｆｏｒ Ｓｐｅｅｃｈ Ｗａｖｅｆｏｒｍ Ｇｅｎｅｒａｔｉｏｎ”のウェブアドレスｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１９０４．０２８９２及びｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１９０４．０２８９２ｖ１．ｐｄｆに掲載。

本発明は、音声信号変換モデル学習装置、音声信号変換装置、音声信号変換モデル学習方法及びプログラムに関する。

人間のコミュニケーション能力や身体機能を拡張する可能性を秘めているとして、パラメトリックなボコーダ方式による音声生成（非特許文献１参照）や統計的声質変換（非特許文献２参照）等の入力された情報から所望の音声を生成する技術が研究されている。例えば、パラメトリックなボコーダ方式による音声生成の技術は、システム構築の容易さ及びその汎用性の高さから，身体障碍者の補助（非特許文献３及び４参照）や、言語教育支援（非特許文献５及び６参照）や、アミューズメント（非特許文献７参照）への応用が広く研究されている。

H. Zen, A. Senior, and M. Schuster, "Statistical parametric speech synthesis using deep neural networks," 2013 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp.7962-7966, 2013. T. Toda, A.W. Black, and K. Tokuda, "Voice conversion based on maximum-likelihood estimation of spectral parameter trajectory," IEEE Transactions on Audio, Speech and Language Processing (TASLP), vol.15, no.8, pp.2222-2235, 2007. J. Yamagishi, C. Veaux, S. King, and S. Renals, "Speech synthesis technologies for individuals with vocal disabilities: Voice banking and reconstruction," Acoustical Science and Technology, vol.33, no.1, pp.1-5, 2012. K. Tanaka, T. Toda, G. Neubig, S. Sakti, and S. Nakamura, "A hybrid approach to electrolaryngeal speech enhancement based on noise reduction and statistical excitation generation," IEICE Transactions on Information and Systems, vol.97, no.6, pp.1429-1437, 2014. D. Felps, H. Bortfeld, and R. Gutierrez-Osuna, "Foreign accent conversion in computer assisted pronunciation training," Speech Communication, vol.51, no.10, pp.920-932, 2009. S. Aryal and R. Gutierrez-Osuna, "Can voice conversion be used to reduce non-native accents?," 2014 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp.7879-7883, 2014. K. Kobayashi, T. Toda, and S. Nakamura, "Intra-gender statistical singing voice conversion with direct waveform modication using log-spectral differential," Speech Communication,vol.99, pp.211-220, 2018. J. Zhu, T. Park, P. Isola, and A.A. Efros, "Unpaired image-to-image translation using cycle-consistent adversarial networks," 2017 IEEE International Conference on Computer Vision(ICCV), pp.2242-2251, 2017.

しかしながら、上述の従来技術等を用いて生成された音声は、実際に人間が発する声音との違いが大きいという問題があった。人間が発する声音との違いを引き起こす原因の１つは生成された特徴量を過剰に平滑化してしまうことであった。このような過剰な平滑化を抑制する方法として、機械学習の方法の１つであるＧＡＮ（Generative Adversarial Networks）が提案されている。ＧＡＮを用いた方法としては、例えばＳＥＧＡＮ（Speech Enhancement Generative Adversarial Network）が提案されている（非特許文献８参照）。しかしながら、これまで提案されているＳＥＧＡＮを用いた手法では、学習データの中に振幅スペクトルが同一だが位相スペクトルが異なる目標音声波形が存在した場合は学習が成立しないという課題もあり、制限の少ない学習データを使い実際に人間が発する声音との違いを小さくすることは難しかった。また、このような問題は人間に限らず動物が発する音声の音声生成においても同様の課題であった。

上記事情に鑑み、本発明は、より動物が発する音声に近い音声を生成する技術を提供することを目的としている。

本発明の一態様は、入力された音声信号である入力信号を実際に動物が発する音声である自然信号との類似の度合を示す自然信号度が前記入力信号よりも高い音声信号に変換する学習済みモデルを機械学習の方法で得る学習部、を備え、前記機械学習の方法は、入力された音声信号に対して自然信号度を高める変換である順変換処理を実行することで前記音声信号よりも自然信号度の高い信号である順変換信号を出力する第１生成部と、入力された信号が順変換信号と自然信号とのいずれであるかを識別する第１識別部と、入力された音声信号に対して自然信号度を低める変換である逆変換処理を実行することで前記音声信号よりも自然信号度の低い逆変換信号を出力する第２生成部と、入力された信号が予め用意された信号であって合成された信号である事前合成信号と逆変換信号とのいずれであるかを識別する第２識別部とが、前記第１識別部及び前記第２識別部の識別結果に基づいて学習する方法である、音声信号変換モデル学習装置である。

本発明により、より動物が発する音声に近い音声を生成することが可能となる。

実施形態の音声信号生成システム１００の概要を説明する説明図。 実施形態における音声信号変換モデル学習装置１の概要を説明する説明図。 実施形態における順変換信号識別処理の流れの一例を示すフローチャート。 実施形態における順変換学習処理の流れの一例を示す第１のフローチャート。 実施形態における順変換学習処理の流れの一例を示す第２のフローチャート。 実施形態における順変換信号識別学習処理の流れの一例を示すフローチャート。 実施形態における逆変換信号識別処理の流れの一例を示すフローチャート。 実施形態における逆変換学習処理の流れの一例を示すフローチャート。 実施形態における逆変換信号識別学習処理の流れの一例を示すフローチャート。 実施形態における音声信号変換モデル学習装置１が実行する処理の流れの一例を示すフローチャート。 実施形態における音声信号変換モデル学習装置１のハードウェア構成の一例を示す図。 実施形態における制御部１０の機能構成の一例を示す図。 実施形態における音声信号変換装置２のハードウェア構成の一例を示す図。 実施形態における制御部２０の機能構成の一例を示す図。 実施形態における音声信号変換装置２が実行する処理の流れの一例を示すフローチャート。 第１実験の実験結果の一例を示す第１の図。 第１実験の実験結果の一例を示す第２の図。 第２実験の実験結果の一例を示す図。 第３実験の実験結果の一例を示す図。

（実施形態）
図１及び図２を用いて、実施形態の音声信号生成システム１００の概要を説明する。図１は、実施形態の音声信号生成システム１００の概要を説明する説明図である。音声信号生成システム１００は、合成された音声信号（以下「合成信号」という。）であって自然信号との類似の度合（以下「自然信号度」という。）が低い音声信号（以下「不自然合成信号」という。）の自然信号度を向上させる。自然信号は、実際に人間が発する音声である。すなわち音声信号生成システム１００は、入力された不自然合成信号を入力された不自然合成信号よりも自然信号度が高い合成信号である自然合成信号に変換する。なお、不自然合成信号を自然合成信号に変換するとは、不自然合成信号に基づき自然合成信号を生成することと同値である。

音声信号生成システム１００は、音声信号変換モデル学習装置１及び音声信号変換装置２を備える。音声信号変換モデル学習装置１は、不自然合成信号に基づき自然合成信号を生成する学習済みのモデル（以下「音声信号変換モデル」という。）を機械学習によって得る。以下説明の簡単のため、機械学習を行うことを学習という。なお、機械学習を行うとは、機械学習モデルにおけるパラメータの値を好適に調整することを意味する。以下の説明において、Ａであるように学習するとは、機械学習モデルにおけるパラメータの値がＡを満たすように調整されることを意味する。Ａは予め定められた条件を表す。

音声信号変換モデル学習装置１は、自然信号と合成信号とを入力とし、音声波形識別器及び音声特徴量識別器を識別器の学習において用いる循環型敵対的学習（ＣｙｃｌｅＧＡＮ：Cycle Generative Adversarial Networks）によって音声信号変換モデルを学習する。音声波形識別器は、学習に用いる音声信号の波形（以下「音声波形」という。）に基づいて音声信号が自然信号か否かを識別する識別器である。音声特徴量識別器は学習に用いる音声信号から所定の条件を満たす情報を音声特徴量として取得し、取得した音声特徴量に基づいて音声信号が自然信号か否かを識別する識別器である。以下、音声波形識別器と音声特徴量識別器とを用いるＣｙｃｌｅＧＡＮを畳み込みＣｙｃｌｅＧＡＮという。なお、音声特徴量は、例えば、音声信号の位相スペクトルである。なお、後述するように、音声信号変換モデル学習装置１に入力される自然信号と合成信号とは、予め音声信号変換モデル学習装置１が備える記憶部に記憶済みであってもよい。

畳み込みＣｙｃｌｅＧＡＮは、学習に用いる音声信号の音声波形と音声特徴量とをそれぞれ異なる識別器で学習するニューラルネットワークである。一般に、学習に用いるデータの特徴量を特徴量ごとに異なる識別器で学習するニューラルネットワークを畳み込みニューラルネットワークという。そのため畳み込みＣｙｃｌｅＧＡＮは、ＣｙｃｌｅＧＡＮを変形させたニューラルネットワークでもあり畳み込みニューラルネットワークを変形させたニューラルネットワークでもある。

図２は、実施形態における音声信号変換モデル学習装置１の概要を説明する説明図である。音声信号変換モデル学習装置１は、第１生成部１１０、第１識別部１２０、第１入力決定部１３０、第２生成部１５０、第２識別部１６０及び第２入力決定部１７０を備える。第１生成部１１０、第１識別部１２０、第２生成部１５０及び第２識別部１６０は、学習する機能部である。音声信号変換モデル学習装置１においては、第１生成部１１０、第１識別部１２０、第１入力決定部１３０、第２生成部１５０、第２識別部１６０及び第２入力決定部１７０が協働してＣｙｃｌｅＧＡＮを実行する。

第１生成部１１０は、入力された音声信号に対して順変換処理を実行する。順変換処理は、入力された音声信号の自然信号度を向上させる処理である。第１生成部１１０は順変換処理後の音声信号を順変換信号として出力する。第１生成部１１０は、詳細を後述する第１識別部１２０の識別結果に基づいて学習する。第１生成部１１０は、学習により、順変換処理によって自然信号度をより向上させるように学習する。

順変換処理によって自然信号度をより向上させるような学習の具体例は、第１識別部１２０の識別結果が誤りである確率が低いほど大きな値を示す関数である損失関数の値を小さくするようにパラメータの値を好適に調整する処理である。

第１識別部１２０は、入力された音声信号が自然信号と順変換信号とのいずれであるかを識別する。第１識別部１２０は、この識別結果に基づいて学習する。第１識別部１２０は、音声波形識別部１２１、音声特徴量識別部１２２、統合識別部１２３及び第１判定部１４０を備える。

音声波形識別部１２１には第１識別部１２０に入力された音声信号が入力される。音声波形識別部１２１に入力される音声信号は、詳細を後述する第１入力決定部１３０によって決定された音声信号であって、自然信号又は順変換信号である。音声波形識別部１２１は、入力された音声信号の音声波形に基づいて第１識別部１２０に入力された音声信号が自然信号と順変換信号とのいずれであるかを識別する。音声波形識別部１２１は、音声波形識別器の一例である。

音声特徴量識別部１２２には第１識別部１２０に入力された音声信号が入力される。すなわち、音声特徴量識別部１２２に入力される音声信号は音声波形識別部１２１に入力される音声信号と同一である。音声特徴量識別部１２２は、入力された音声信号に基づき音声特徴量を取得する。音声特徴量識別部１２２は、取得した音声特徴量に基づいて第１識別部１２０に入力された音声信号が自然信号と順変換信号とのいずれであるかを識別する。音声特徴量識別部１２２は、音声特徴量識別器の一例である。

統合識別部１２３は、音声波形識別部１２１の識別結果と音声特徴量識別部１２２の識別結果とに基づいて、第１識別部１２０に入力された音声信号が自然信号と順変換信号とのいずれであるかを識別する。統合識別部１２３の識別結果が、第１識別部１２０による識別結果である。統合識別部１２３の識別結果が、第１判定部１４０に出力される。

第１判定部１４０は、第１入力決定部１３０の決定結果に基づき統合識別部１２３の識別結果が正しか否かを判定する。

音声波形識別部１２１、音声特徴量識別部１２２及び統合識別部１２３は、第１判定部１４０の判定結果に基づき学習する。音声波形識別部１２１、音声特徴量識別部１２２及び統合識別部１２３は、学習により、識別の精度をより向上させるように学習する。識別の精度をより向上させるような学習の具体例は、統合識別部１２３の識別結果が誤りである確率が低いほど大きな値を示す関数である損失関数の値を大きくするようにパラメータの値を好適に調整する処理である。

第１入力決定部１３０は、第１識別部１２０に入力する音声信号を順変換信号と自然信号とのいずれにするかを決定する。

第１入力決定部１３０が第１識別部１２０に入力する音声信号として自然信号を決定した場合には、図２の中央列に記載の自然信号群に属する１つの自然信号が第１識別部１２０に入力される。前記自然信号群は学習のために予め用意された自然信号の集合である。なお、図２の中央列に記載の合成信号群は学習のために予め用意された合成信号の集合である。以下、合成信号群に属する合成信号を事前合成信号という。

第１入力決定部１３０が第１識別部１２０に入力する合成信号として合成信号を決定した場合には、順変換信号が第１識別部１２０に入力される。

第２生成部１５０は、入力された音声信号に対して逆変換処理を実行する。音声信号として順変換信号が入力された場合、取得した順変換信号に対して逆変換処理を実行する。音声信号として自然信号が入力された場合、取得した自然信号に対して逆変換処理を実施する。逆変換処理は入力された音声信号の自然信号度を低下させる処理である。第２生成部１５０は、逆変換処理後の音声信号を逆変換信号として出力する。第２生成部１５０は、詳細を後述する第２識別部１６０の識別結果に基づいて学習する。第２生成部１５０は、学習により、逆変換処理によって自然信号度をより低下させるように学習する。

逆変換処理によって自然信号度をより低下させるような学習の具体例は、第２識別部１６０の識別結果が誤りである確率が低いほど大きな値を示す関数である損失関数の値を小さくするようにパラメータの値を好適に調整する処理である。

第２識別部１６０は、入力された音声信号が逆変換信号と事前合成信号とのいずれであるかを識別する。第２識別部１６０は、第２識別部１６０の識別結果に基づいて学習する。第２識別部１６０は、音声波形識別部１６１、音声特徴量識別部１６２、統合識別部１６３及び第２判定部１８０を備える。

音声波形識別部１６１は、第２識別部１６０に入力された音声信号の音声波形に基づいて第２識別部１６０に入力された音声信号が逆変換信号と事前合成信号とのいずれであるかを識別する。音声波形識別部１６１は、音声波形識別器の一例である。

音声特徴量識別部１６２は、第２識別部１６０に入力された音声信号の音声特徴量に基づいて第２識別部１６０に入力された音声信号が逆変換信号と事前合成信号とのいずれであるかを識別する。音声特徴量識別部１６２は、音声特徴量識別器の一例である。

統合識別部１６３は、音声波形識別部１６１の識別結果と音声特徴量識別部１６２の識別結果とに基づいて、第２識別部１６０に入力された音声信号が逆変換信号と事前合成信号とのいずれであるかを識別する。統合識別部１６３の識別結果が、第２識別部１６０による識別結果である。統合識別部１６３の識別結果が、第２判定部１８０に出力される。

第２判定部１８０は、第２入力決定部１７０の決定結果に基づき第２識別部１６０の識別結果が正しか否かを判定する。

音声波形識別部１６１、音声特徴量識別部１６２及び統合識別部１６３は、第２判定部１８０の判定結果に基づき学習する。音声波形識別部１６１、音声特徴量識別部１６２及び統合識別部１６３は、学習により、識別の精度をより向上させるように学習する。識別の精度をより向上させるような学習の具体例は、統合識別部１６３の識別結果が誤りである確率が低いほど大きな値を示す関数である損失関数の値を大きくするようにパラメータの値を好適に調整する処理である。

第２入力決定部１７０は、第２生成部１５０に入力する音声信号を順変換信号と自然信号とのいずれにするかを決定する。また、第２入力決定部１７０は、第２識別部１６０に入力する音声信号を逆変換信号と事前合成信号とのいずれにするかも決定する。

第１生成部１１０、第１識別部１２０、第２生成部１５０及び第２識別部１６０は協働して動作することで、以下の式で表される目的関数Ｌを小さくするように学習する。すなわち目的関数Ｌは、第１生成部１１０、第１識別部１２０、第２生成部１５０及び第２識別部１６０が学習する際の損失関数である。

Ｈ１は自己同一損失を表す。より具体的には、Ｈ１は以下の式（１８）で表される。

Ｈ２からＨ９の和は敵対的損失を表す。なお、Ｄ_{ｘｗａｖｅ}は、音声信号ｘの波形に基づいて音声信号ｘがどのような信号であるかを識別する識別器を表す。なお、Ｄ_{ｙｗａｖｅ}は、音声信号ｙの波形に基づいて音声信号ｙがどのような信号であるかを識別する識別器を表す。なお、Ｄ_ｘｍｓｐは、音声信号ｘの音声特徴量に基づいて音声信号ｘがどのような信号であるかを識別する識別器を表す。なお、Ｄ_ｙｍｓｐは、音声信号ｙの音声特徴量に基づいて音声信号ｙがどのような信号であるかを識別する識別器を表す。以下、説明の簡単のため、識別器を記号Ｄで表す。なお、Ｄｍｓｐ（Ａ）はＡが目的となっている音声特徴量であるかどうかの確率を出力する関数である。また、ｌｏｇ（１－Ｄｍｓｐ（Ａ））は、Ａが目的の音声特徴量ではない確率を出力する関数である。

Ｆ（Ａ）は、ハニング窓で窓掛けされた高速フーリエ変換行列をＡに畳み込んだ後に畳み込み後のＡの絶対値に対してメルフィルターを畳み込む処理を意味する。

目的関数におけるＬ_ｃｙｃの項のλ_ｃｙｃは重みを表す。Ｌ_ｃｙｃは学習においてハイパーパラメータである。Ｇ_ｘ→ｙは写像であって音声信号ｘを音声信号ｙに変換する写像を表す。音声信号ｙは音声信号ｘよりも自然信号度が高い音声信号である。Ｄ_ｙは、入力された音声信号ｙについて自然信号か合成信号かを見分ける識別関数を表す。Ｇ_ｙ→ｘは写像であって音声信号ｙを音声信号ｘに変換する写像を表す。Ｄ_ｘは、入力された音声信号ｘについて自然信号か合成信号かを見分ける識別関数を表す。

Ｌ_ａｄｖは、敵対的学習における目的関数を表す。すなわちＬ_ａｄｖは、敵対的損失を表す。敵対的損失とは敵対的学習における損失関数が表す値である。Ｌ_ｉｄは、恒等写像を表す。恒等写像は、写像Ｇ_ｘ→ｙへの入力が音声信号ｘではなくて音声信号ｙであった場合に、目的関数Ｌを変化させないために目的関数Ｌに存在する。恒等写像Ｌ_ｉｄの値は恒等写像損失を表す。

Ｌ１は第１生成部１１０及び第１識別部１２０が協働して実行する敵対的学習における損失関数を表す。Ｌ２は第２生成部１５０及び第２識別部１６０が協働して実行する敵対的学習における損失関数を表す。Ｌ３は、ＣｙｃｌｅＧＡＮにおける循環無矛盾損失を表す関数である。すなわち、Ｌ３は、第１生成部１１０、第１識別部１２０、第２生成部１５０及び第２識別部１６０が協働して実行するＣｙｃｌｅＧＡＮにおいて写像Ｇ_ｘ→ｙと写像Ｇ_ｙ→ｘとが１対１対応であるか否かを表す関数である。

このように、目的関数Ｌは、敵対的損失を表す関数と、無矛盾損失を表す関数と、恒等写像損失を表す関数とによって表される関数である。

ここで、順変換信号識別処理、順変換学習処理、順変換信号識別学習処理、逆変換信号識別処理、逆変換学習処理及び逆変換信号識別学習処理それぞれの処理の流れの一例を説明する。順変換信号識別処理は、第１識別部１２０が入力された音声信号が自然信号か順変換信号かを識別する処理である。順変換学習処理は第１生成部１１０が学習する処理である。順変換信号識別学習処理は第１識別部１２０が学習する処理である。逆変換信号識別処理は、第２識別部１６０が入力された音声信号が逆変換信号か事前合成信号かを識別する処理である。逆変換学習処理は第２生成部１５０が学習する処理である。逆変換信号識別学習処理は、第２識別部１６０が学習する処理である。

図３は、実施形態における順変換信号識別処理の流れの一例を示すフローチャートである。音声波形識別部１２１が第１識別部１２０に入力された音声信号を取得し、取得した音声波形に基づいて第１識別部１２０に入力された音声信号が自然信号と順変換信号とのいずれであるかを識別する（ステップＳ１０１）。次に音声特徴量識別部１２２が第１識別部１２０に入力された音声信号の音声特徴量を取得し、取得した音声特徴量に基づいて第１識別部１２０に入力された音声信号が自然信号と順変換信号とのいずれであるかを識別する（ステップＳ１０２）。次に統合識別部１２３が音声波形識別部１２１の識別結果と音声特徴量識別部１２２の識別結果とに基づき予め定められた所定の規則にしたがい、第１識別部１２０に入力された音声信号が自然信号と順変換信号とのいずれであるかを識別する（ステップＳ１０３）。ステップＳ１０３における統合識別部１２３の識別結果が、第１判定部１４０に出力される。

図４は、実施形態における順変換学習処理の流れの一例を示す第１のフローチャートである。第１入力決定部１３０が第１識別部１２０に入力する音声信号を順変換信号に決定する（ステップＳ２０１）。次に第１生成部１１０が、合成信号群から合成信号を１つ取得し、取得した合成信号に対して順変換処理を実行することで順変換信号を生成する（ステップＳ２０２）。次に第１生成部１１０は生成した順変換信号を第１識別部１２０に出力する（ステップＳ２０３）。次に第１識別部１２０は取得した音声信号について、順変換信号識別処理を実行する（ステップＳ２０４）。すなわち、ステップＳ１０１～ステップＳ１０３の処理が実行される。次に第１判定部１４０が、第１入力決定部１３０の決定結果と比較して第１識別部１２０の識別結果が正しか否かを判定する（ステップＳ２０５）。次に第１生成部１１０が第１判定部１４０の判定結果に基づき順変換処理によって自然信号度をより向上させるように学習する（ステップＳ２０６）。具体的には、第１生成部１１０は目的関数Ｌをより小さくするように学習する。

図５は、実施形態における順変換学習処理の流れの一例を示す第２のフローチャートである。以下、図３又は図４に記載の処理と同様の処理については図３又は図４と同じ符号を付すことで説明を省略する。

第２生成部１５０が逆変換信号を出力する（ステップＳ３０１）。次に第１生成部１１０が、第２生成部１５０が出力した逆変換信号を取得し、取得した逆変換信号に対して順変換処理を実行することで順変換信号を生成する（ステップＳ３０２）。次にステップＳ２０３～ステップＳ２０６の処理が実行される。

図６は、実施形態における順変換信号識別学習処理の流れの一例を示すフローチャートである。以下、図３～図５に記載の処理と同様の処理については図３～図５と同じ符号を付すことで説明を省略する。

第１入力決定部１３０が第１識別部１２０に入力する音声信号を、自然信号と順変換信号とのいずれにするかを決定する（ステップＳ４０１）。次に、ステップＳ２０４及びステップＳ２０５の処理が実行される。次に第１識別部１２０が、識別の精度をより向上させるように学習する（ステップＳ４０２）。具体的には、第１識別部１２０が目的関数Ｌをより大きくするように学習する。より具体的には、目的関数Ｌをより大きくするように音声波形識別部１２１及び音声特徴量識別部１２２が学習する。

図７は、実施形態における逆変換信号識別処理の流れの一例を示すフローチャートである。音声波形識別部１６１が第２識別部１６０に入力された音声信号の音声波形を取得し、取得した音声波形に基づいて第２識別部１６０に入力された音声信号が逆変換信号と事前合成信号とのいずれであるかを識別する（ステップＳ５０１）。次に音声特徴量識別部１６２が第２識別部１６０に入力された音声信号を取得し、取得した音声特徴量に基づいて第２識別部１６０に入力された音声信号が逆変換信号と事前合成信号とのいずれであるかを識別する（ステップＳ５０２）。次に統合識別部１６３が音声波形識別部１６１の識別結果と音声特徴量識別部１６２の識別結果とに基づき予め定められた所定の規則にしたがい、第２識別部１６０に入力された音声信号が逆変換信号と事前合成信号とのいずれであるかを識別する（ステップＳ５０３）。ステップＳ５０３における統合識別部１６３の識別結果が、第２判定部１８０に出力される。

図８は、実施形態における逆変換学習処理の流れの一例を示すフローチャートである。第２入力決定部１７０が第２識別部１６０に入力する音声信号を逆変換信号に決定する（ステップＳ６０１）。次に第２生成部１５０が、順変換信号を取得し、取得した順変換信号に対して逆変換処理を実行することで逆変換信号を生成する（ステップＳ６０２）。次に第２生成部１５０は生成した逆変換信号を第２識別部１６０に出力する（ステップＳ６０３）。次に第２識別部１６０は取得した音声信号について、逆変換信号識別処理を実行する（ステップＳ６０４）。すなわち、ステップＳ４０１～ステップＳ４０３の処理が実行される。次に第２判定部１８０が、第２入力決定部１７０の決定結果と比較して第２識別部１６０の識別結果が正しか否かを判定する（ステップＳ６０５）。次に第２生成部１５０が第２判定部１８０の判定結果に基づき逆変換処理によって自然信号度をより向上させるように学習する（ステップＳ６０６）。具体的には、第２生成部１５０は目的関数Ｌをより小さくするように学習する。なお、第２生成部１５０が、自然信号を取得し、逆変換信号を生成した場合についても、同様にステップＳ６０２からステップＳ６０６の処理を行う。

図９は、実施形態における逆変換信号識別学習処理の流れの一例を示すフローチャートである。以下、図７又は図８に記載の処理と同様の処理については図７又は図８と同じ符号を付すことで説明を省略する。

第２入力決定部１７０が第２識別部１６０に入力する音声信号を、自然信号と逆変換信号とのいずれにするかを決定する（ステップＳ７０１）。次に、ステップＳ６０４及びステップＳ６０５の処理が実行される。次に第２識別部１６０が、識別の精度をより向上させるように学習する（ステップＳ７０２）。具体的には、第２識別部１６０が目的関数Ｌをより大きくするように学習する。より具体的には、目的関数Ｌをより大きくするように音声波形識別部１６１及び音声特徴量識別部１６２が学習する。

図１０は、実施形態における音声信号変換モデル学習装置１が実行する処理の流れの一例を示すフローチャートである。図１０では、ステップＳ２０１が行われた場合を例にその後の処理の流れの一例を説明する。また、図１０では、ステップＳ６０１の処理が行われる場合を例に処理の流れの一例を説明する。以下、図３～図９に記載の処理と同様の処理については、図３～図９に記載の符号と同じ符号を付することで説明を省略する。

ステップＳ２０１から始まって、ステップＳ２０２、ステップＳ２０３、ステップＳ２０４、ステップＳ２０５、ステップＳ２０６、ステップＳ４０２、ステップＳ６０１、ステップＳ６０２、ステップＳ６０４、ステップＳ６０５、ステップＳ６０６、ステップＳ７０２の順番に処理が実行される。ステップＳ７０２の次に、終了条件が満たされたか否かが判定される（ステップＳ８０１）。終了条件は、例えば学習の回数が所定の回数を超えたという条件である。終了条件が満たされたか否かは、例えば後述する管理部１０２によって判定される。

終了条件が満たされる場合（ステップＳ８０１：ＹＥＳ）、処理が終了する。一方、終了条件が満たされない場合（ステップＳ８０１：ＮＯ）、ステップＳ３０１の処理が実行される。次にステップＳ３０２の処理が実行される。ステップＳ３０２の次にステップＳ２０３の処理に戻る。

なお、ステップＳ２０６の処理とステップＳ４０２の処理とは実行される順番が逆でもよい。なお、ステップＳ６０６の処理とステップＳ７０２の処理とは実行される順番が逆でもよい。

なお、ステップＳ２０１の処理に代えて、第１入力決定部１３０が第１識別部１２０に入力する音声信号を自然信号に決定する処理が実行された場合、ステップＳ６０２からステップＳ３０２の処理は実行されない。このような場合、図６の処理が実行された後、処理が終了する。

なお、ステップＳ６０１の処理に代えて、第２入力決定部１７０が第２識別部１６０に入力する音声信号を自然信号に決定する処理が実行された場合、ステップＳ６０２からステップＳ６０４の処理とステップＳ６０６の処理とが実行されない。

このように音声信号変換モデル学習装置１は、順変換信号識別処理、順変換学習処理、順変換信号識別学習処理、逆変換信号識別処理、逆変換学習処理及び逆変換信号識別学習処理の実行により学習のたびに自然信号度がより高い音声信号変換モデルを得る。

図１１は、実施形態における音声信号変換モデル学習装置１のハードウェア構成の一例を示す図である。
音声信号変換モデル学習装置１は、バスで接続されたＣＰＵ（Central Processing Unit）等のプロセッサ９１とメモリ９２とを備える制御部１０を備え、プログラムを実行する。音声信号変換モデル学習装置１は、プログラムの実行によって制御部１０、入力部１１、インタフェース部１２、記憶部１３及び出力部１４を備える装置として機能する。より具体的には、プロセッサ９１が記憶部１３に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９２に記憶させる。プロセッサ９１が、メモリ９２に記憶させたプログラムを実行することによって、音声信号変換モデル学習装置１は、制御部１０、入力部１１、インタフェース部１２、記憶部１３及び出力部１４を備える装置として機能する。

制御部１０は、音声信号変換モデル学習装置１が備える各種機能部の動作を制御する。制御部１０は、例えば順変換信号識別処理、順変換学習処理、順変換信号識別学習処理、逆変換信号識別処理、逆変換学習処理及び逆変換信号識別学習処理を実行する。

入力部１１は、マウスやキーボード、タッチパネル等の入力装置を含んで構成される。入力部１１は、これらの入力装置を自装置に接続するインタフェースとして構成されてもよい。入力部１１は、自装置に対する各種情報の入力を受け付ける。入力部１１は、例えば学習の開始を指示する入力を受け付ける。入力部１１は、例えば合成信号群に追加する合成信号の入力を受け付ける。入力部１１は、例えば自然信号群に追加する自然信号の入力を受け付ける。

インタフェース部１２は、自装置を外部装置に接続するための通信インタフェースを含んで構成される。インタフェース部１２は、有線又は無線を介して外部装置と通信する。外部装置は、例えばＵＳＢ（Universal Serial Bus）メモリ等の記憶装置であってもよい。外部装置が例えば合成信号を出力する場合、インタフェース部１２は外部装置との通信によって外部装置が出力する合成信号を取得する。外部装置が例えば自然信号を出力する場合、インタフェース部１２は外部装置との通信によって外部装置が出力する自然信号を取得する。

インタフェース部１２は、自装置を音声信号変換装置２に接続するための通信インタフェースを含んで構成される。インタフェース部１２は、有線又は無線を介して音声信号変換装置２と通信する。インタフェース部１２は、音声信号変換装置２との通信により、音声信号変換装置２に音声信号変換モデルを出力する。

記憶部１３は、磁気ハードディスク装置や半導体記憶装置などの非一時的コンピュータ読み出し可能な記憶媒体装置を用いて構成される。記憶部１３は音声信号変換モデル学習装置１に関する各種情報を記憶する。記憶部１３は、例えば予め自然信号群を記憶する。記憶部１３は、例えば予め合成信号群を記憶する。記憶部１３は、例えば入力部１１又はインタフェース部１２を介して入力された合成信号及び自然信号を記憶する。記憶部１３は、例えば第１識別部１２０の識別結果を記憶する。

記憶部１３は、例えば第２識別部１６０の識別結果を記憶する。記憶部１３は、例えば第１判定部１４０の判定結果を記憶する。記憶部１３は、例えば第２判定部１８０の判定結果を記憶する。記憶部１３は、例えば第１入力決定部１３０の決定結果を記憶する。記憶部１３は、例えば第２入力決定部１７０の決定結果を記憶する。記憶部１３は、例えば音声信号変換モデルを記憶する。

出力部１４は、各種情報を出力する。出力部１４は、例えばＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ等の表示装置を含んで構成される。出力部１４は、これらの表示装置を自装置に接続するインタフェースとして構成されてもよい。出力部１４は、例えば入力部１１に入力された情報を出力する。

図１２は、実施形態における制御部１０の機能構成の一例を示す図である。制御部１０は、被管理部１０１及び管理部１０２を備える。被管理部１０１は、第１生成部１１０、第１識別部１２０、第１入力決定部１３０、第１判定部１４０、第２生成部１５０、第２識別部１６０、第２入力決定部１７０及び第２判定部１８０を備える。被管理部１０１は、自然信号群及び合成信号群が含む各音声信号を用いた順変換信号識別処理、順変換学習処理、順変換信号識別学習処理、逆変換信号識別処理、逆変換学習処理及び逆変換信号識別学習処理の実行により音声信号変換モデルを得る。音声信号変換モデルは具体的には、第１生成部１１０による順変換処理を表す学習済みのモデルである。

管理部１０２は、被管理部１０１の動作を制御する。管理部１０２は、例えば被管理部１０１による順変換信号識別処理、順変換学習処理、順変換信号識別学習処理、逆変換信号識別処理、逆変換学習処理及び逆変換信号識別学習処理それぞれの実行のタイミングを制御する。

管理部１０２は、例えば入力部１１、インタフェース部１２、記憶部１３及び出力部１４の動作を制御する。管理部１０２は、例えば記憶部１３から各種情報を読み出し被管理部１０１に出力する。管理部１０２は、例えば入力部１１に入力された情報を取得し被管理部１０１に出力する。管理部１０２は、例えば入力部１１に入力された情報を取得し記憶部１３に記録する。管理部１０２、例えばインタフェース部１２に入力された情報を取得し被管理部１０１に出力する。管理部１０２、例えばインタフェース部１２に入力された情報を取得し記憶部１３に記録する。管理部１０２は、例えば入力部１１に入力された情報を出力部１４に出力させる。

管理部１０２は、例えば第１識別部１２０の識別結果を記憶部１３に記録する。管理部１０２は、例えば第２識別部１６０の識別結果を記憶部１３に記録する。記憶部１３は、例えば第１判定部１４０の判定結果を記憶部１３に記録する。記憶部１３は、例えば第２判定部１８０の判定結果を記憶部１３に記録する。記憶部１３は、例えば第１入力決定部１３０の決定結果を記憶部１３に記録する。記憶部１３は、例えば第２入力決定部１７０の決定結果を記憶部１３に記録する。

図１３は、実施形態における音声信号変換装置２のハードウェア構成の一例を示す図である。
音声信号変換装置２は、バスで接続されたＣＰＵ等のプロセッサ９３とメモリ９４とを備える制御部２０を備え、プログラムを実行する。音声信号変換装置２は、プログラムの実行によって制御部２０、入力部２１、インタフェース部２２、記憶部２３及び出力部２４を備える装置として機能する。より具体的には、プロセッサ９３が記憶部２３に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９４に記憶させる。プロセッサ９３が、メモリ９４に記憶させたプログラムを実行することによって、音声信号変換装置２は、制御部２０、入力部２１、インタフェース部２２、記憶部２３及び出力部２４を備える装置として機能する。

制御部２０は、音声信号変換装置２が備える各種機能部の動作を制御する。制御部２０は、例えば音声信号変換モデル学習装置１が得た音声信号変換モデルを用いて、不自然合成信号を自然合成信号に変換する。

入力部２１は、マウスやキーボード、タッチパネル等の入力装置を含んで構成される。入力部２１は、これらの入力装置を自装置に接続するインタフェースとして構成されてもよい。入力部２１は、自装置に対する各種情報の入力を受け付ける。入力部２１は、例えば不自然合成信号を自然合成信号に変換する処理の開始を指示する入力を受け付ける。入力部２１は、例えば変換対象の不自然合成信号の入力を受け付ける。

インタフェース部２２は、自装置を外部装置に接続するための通信インタフェースを含んで構成される。インタフェース部２２は、有線又は無線を介して外部装置と通信する。外部装置は、例えば自然合成信号の出力先である。このような場合、インタフェース部２２は、外部装置との通信によって外部装置に自然合成信号を出力する。自然合成信号の出力際の外部装置は、例えばスピーカー等の音声出力装置である。

外部装置は、例えば音声信号変換モデルを記憶したＵＳＢメモリ等の記憶装置であってもよい。外部装置が例えば音声信号変換モデルを記憶しており音声信号変換モデルを出力する場合、インタフェース部２２は外部装置との通信によって音声信号変換モデルを取得する。

外部装置は、例えば不自然合成信号の出力元である。このような場合、インタフェース部２２は、外部装置との通信によって外部装置から不自然合成信号を取得する。

インタフェース部２２は、自装置を音声信号変換モデル学習装置１に接続するための通信インタフェースを含んで構成される。インタフェース部２２は、有線又は無線を介して音声信号変換モデル学習装置１と通信する。インタフェース部２２は、音声信号変換モデル学習装置１との通信により、音声信号変換モデル学習装置１から音声信号変換モデルを取得する。

記憶部２３は、磁気ハードディスク装置や半導体記憶装置などの非一時的コンピュータ読み出し可能な記憶媒体装置を用いて構成される。記憶部２３は音声信号変換装置２に関する各種情報を記憶する。記憶部１３は、例えばインタフェース部２２を介して取得した音声信号変換モデルを記憶する。

出力部２４は、各種情報を出力する。出力部２４は、例えばＣＲＴディスプレイや液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置を含んで構成される。出力部２４は、これらの表示装置を自装置に接続するインタフェースとして構成されてもよい。出力部２４は、例えば入力部２１に入力された情報を出力する。

図１４は、実施形態における制御部２０の機能構成の一例を示す図である。制御部２０は、変換対象取得部２０１、変換部２０２及び音声信号出力制御部２０３を備える。

変換対象取得部２０１は、変換対象となる不自然合成信号を取得する。変換対象取得部２０１は、例えば入力部２１に入力された不自然合成信号を取得する。変換対象取得部２０１は、例えばインタフェース部２２に入力された不自然合成信号を取得する。

変換部２０２は、変換対象取得部２０１が取得した変換対象を、音声信号変換モデルを用いて自然合成信号に変換する。自然合成信号は音声信号出力制御部２０３に出力される。

音声信号出力制御部２０３は、インタフェース部２２の動作を制御する。音声信号出力制御部２０３は、インタフェース部２２の動作を制御することでインタフェース部２２に自然合成信号を出力させる。

図１５は、実施形態における音声信号変換装置２が実行する処理の流れの一例を示すフローチャートである。制御部２０が、インタフェース部２２に入力された不自然合成信号を取得する（ステップＳ９０１）。次に制御部２０が、記憶部２３に記憶された音声信号変換モデルを用いて不自然合成信号を自然合成信号に変換する（ステップＳ９０２）。次に制御部２０がインタフェース部２２の動作を制御して自然合成信号を出力先に出力させる（ステップＳ９０３）。出力先は、例えばスピーカー等の外部装置である。

（実験結果）
音声信号生成システム１００が得た音声信号変換モデルと、他の学習方法で得られた音声信号変換モデルとの比較実験（以下「第１実験」という。）の実験結果を図１６及び図１７によって示す。

第１実験は、女性ナレーターの日本語音声のデータセットに含まれる４３７文を用いて行われた。日本語音声のデータセットの４３７文のうち４０７文（約１時間）が音声信号変換モデルを得るために使用された。日本語音声のデータセットの４３７文のうち３０文（４分）が、音質の自然さに関する５段階ＭＯＳ（Mean Opinion Score）評価を得るために使用された。音声のサンプリングレートは２２．０５ｋＨｚであった。被験者は１０名であった。各被験者は学習方法ごとにランダムに選択された３０文及び２０文について評価した。

図１６は第１実験の実験結果の一例を示す第１の図である。図１７は第１実験の実験結果の一例を示す第２の図である。図１６及び図１７の横軸は、音声信号変換モデルを得る手法を示す。図１６及び図１７の縦軸は、音質の自然さに関する５段階ＭＯＳ評価を示す。図１６及び図１７における点線の横軸は、自然音声の評価結果を表す。

“ＳＰＳＳ”はＤＮＮ（Deep Neural Network）テキスト音声合成（ＳＰＳＳ：Statistical Parametric Speech Synthesis）の方法を示す。“ＧＡＮｖ”は音声特徴量上での補正手法を示す。“Ｖ１”は、畳み込みニューラルネットワークに対してダウンサンプリングモジュールを用いる手法を示す。

“Ｖ２”は、第１識別部１２０に代えて第１簡易識別部を備え第２識別部１６０に代えて第２簡易識別部を備える音声信号生成システム１００によって音声信号変換モデルを得る手法を示す。第１簡易識別部は、音声波形識別部１２１を備え、音声特徴量識別部１２２及び統合識別部１２３を備えず入力された音声信号の波形によって入力された音声信号が自然信号か順変換信号かを識別する識別器である。第２簡易識別部は、音声波形識別部１６１を備え、音声特徴量識別部１６２及び統合識別部１６３を備えず入力された音声信号の波形によって入力された音声信号が逆変換信号か事前合成信号かを識別する識別器である。

“Ｖ２ｍｓｐ”は、第１識別部１２０に代えて第３簡易識別部を備え第２識別部１６０に代えて第４簡易識別部を備える音声信号生成システム１００によって音声信号変換モデルを得る手法を示す。第３簡易識別部は、音声波形識別部１２１、音声特徴量識別部１２２及び統合識別部１２３を備える。第３簡易識別部が備える音声特徴量識別部１２２は、識別に用いる特徴量として識別対象の音声信号のメルスペクトログラムを用いる。第４簡易識別部は、音声波形識別部１６１、音声特徴量識別部１６２及び統合識別部１６３を備える。第４簡易識別部が備える音声特徴量識別部１６２は、識別に用いる特徴量として識別対象の音声信号のメルスペクトログラムを用いる。

“Ｖ２ｐｈ”は、第１識別部１２０に代えて第５簡易識別部を備え第２識別部１６０に代えて第６簡易識別部を備える音声信号生成システム１００によって音声信号変換モデルを得る手法を示す。第５簡易識別部は、音声波形識別部１２１、音声特徴量識別部１２２及び統合識別部１２３を備える。第５簡易識別部が備える音声特徴量識別部１２２は、識別に用いる特徴量として識別対象の音声信号の位相スペクトルを用いる。第６簡易識別部は、音声波形識別部１６１、音声特徴量識別部１６２及び統合識別部１６３を備える。第６簡易識別部が備える音声特徴量識別部１６２は、識別に用いる特徴量として識別対象の音声信号の位相スペクトルを用いる。

“Ｖ２ｍｆｃｃ”は、第１識別部１２０に代えて第７簡易識別部を備え第２識別部１６０に代えて第８簡易識別部を備える音声信号生成システム１００によって音声信号変換モデルを得る手法を示す。第７簡易識別部は、音声波形識別部１２１、音声特徴量識別部１２２及び統合識別部１２３を備える。第７簡易識別部が備える音声特徴量識別部１２２は、識別に用いる特徴量として識別対象の音声信号のメル周波数ケプストラム係数を用いる。第８簡易識別部は、音声波形識別部１６１、音声特徴量識別部１６２及び統合識別部１６３を備える。第８簡易識別部が備える音声特徴量識別部１６２は、識別に用いる特徴量として識別対象の音声信号のメル周波数ケプストラム係数を用いる。

図１６及び図１７は、Ｖ１がＳＰＳＳと比較して大幅に音質改善していることを示す。なお、音質の改善とは、自然信号度が高くなることを意味する。図１６及び図１７は、Ｖ１がＧＡＮｖよりも音質を改善していることを示す。図１６及び図１７は、Ｖ２がＳＰＳＳよりも音質を改善していることを示す。図１６及び図１７は、Ｖ２がＶ１よりも音質を改善していないことを示す。これは、Ｖ２の方がＶ１よりも雑音の多い音声を生成するためである。図１６及び図１７は、Ｖ２ｍｓｐ及びＶ２ｍｆｃｃがＶ１、Ｖ２、Ｖ２ｐｈ、ＳＰＳＳ及びＧＡＮｖよりも高いＭＯＳ評価であることを示す。

また、図１６及び図１７は、Ｖ２ｍｓｐ及びＶ２ｍｆｃｃについて、両側Ｍａｎｎ－Ｗｈｉｔｎｅｙ検定のｐ値が０．０５以上であることを示す。このことは、Ｖ２ｍｓｐ及びＶ２ｍｆｃｃによって変換された音声信号は自然信号との統計的な差異が無いことを示す。図１６及び図１７は、Ｖ２ｐｈは雑音を含む音声でありＶ２よりもＭＯＳ評価が低いことを示す。図１６及び図１７の結果より、音声波形の識別器（すなわち音声波形識別部１２１及び１６１）と音声特徴量識別部１２２及び１６２とを用いることが有効であることを示唆している。なお、図１６及び図１７において、“Ｖ２ｍｓｐ”、“Ｖ２ｐｈ”及び“Ｖ２ｍｆｃｃ”は音声信号生成システム１００が得た音声信号変換モデルを用いて音声を変換する処理の一例である。

音声信号生成システム１００が得た音声信号変換モデルと、他の学習方法で得られた音声信号変換モデルとの比較実験（以下「第２実験」という。）の実験結果を図１８によって示す。

第２実験は、英語音声のデータセットＬＪＳｐｅｅｃｈ（参考文献１参照）に含まれる１３１００文を用いて行われた。英語音声のデータセットの１３１００文のうち４０文が、音質の自然さに関する５段階ＭＯＳ評価を得るために使用された。音声のサンプリングレートは２２．０５ｋＨｚであった。被験者は１４名であった。各被験者は学習方法ごとに１５文について評価した。第２実験では、スペクトル歪みも算出された。

図１８は第２実験の実験結果の一例を示す図である。図１８は、学習方法ごとに、最小有意差（ＬＳＤ：Least squared distance）とＭＯＳの評価結果とを示す。WORLDは参考文献２に記載の方法である。Griffin-Limは参考文献３に記載の方法である。Open WaveNetは参考文献４に記載の方法である。WaveGlowは参考文献５に記載の方法である。

参考文献１：“The LJ Speech Dataset” ［online］［令和２年３月３０日検索］、インターネット〈ＵＲＬ：https://keithito.com/LJ-Speech-Dataset/>
参考文献２：M. Morise, F. Yokomori, and K. Ozawa, “WORLD: a vocoder-based high-quality speech synthesis system for real-time applications,” IEICE Transactions on Information and Systems, vol.99, no.7, pp.1877-1884, 2016.
参考文献３：D. Griffin and J. Lim, “Signal estimation from modified short-time Fourier transform,” IEEE Transactions on Audio, Speech and Language Processing (TASLP), vol.32, no.2,pp. 236-243, 1984.
参考文献４：Ryuichi Yamamoto et al. “WaveNet vocoder”［online］［令和２年３月３０日検索］、インターネット〈ＵＲＬ：https://doi.org/10.5281/zenodo.1472609>
参考文献５：R. Prenger, R. Valle, and B. Catanzaro, “WaveGlow: A flow-based generative network for speech synthesis,” 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp.3617-3621, 2019.

図１８は、Griffin-LimのＬＳＤが最も低いことを示す。図１８は、WORLDのＬＳＤは、パラメトリックボコーダであるため大きく歪んでいることを示す。一方で、図１８は、Griffin-LimとWORLDとの間にＭＯＳ評価の差異は無いことを示す。

図１８は、WaveGlowとopen WaveNetとを比較した場合に、open WaveNetの方がＬＳＤが大きいことを示す。一方、図１８は、WaveGlowとopen WaveNetとを比較した場合に、WaveGlowの方がＭＯＳ評価が高いことを示す。これらの結果は、４前後のＬＳＤは、ＭＯＳ評価に影響を与えない可能性が高いことを示す。図１８は、Ｖ２ｍｓｐが最も高いＬＳＤとＭＯＳ評価とを得ていることを示す。

なお、図１８において“Recorded”は収録音声そのもの示す。“Recorded”は、変換後の音声として目標とする音声そのものである。そのため、”Recorded”に対応するＬＳＤの値は無い。

音声信号生成システム１００は、入力された波形を自然信号度の高い波形へ変換する。そのため、音声信号生成システム１００は、例えば元の音声よりも帯域が削減された音声（劣化音声）が入力された場合であっても、入力された音声を帯域が復元された音声に変換することができる。このことは、音声信号生成システム１００が、帯域を拡大したことを意味する。

音声信号生成システム１００が得た音声信号変換モデルと、他の学習方法で得られた音声信号変換モデルとの比較実験（以下「第３実験」という。）の実験結果を図１９によって示す。

第３実験では、英語音声のデータセットＶＣＴＫ（参考文献６参照）に含まれる１０９話者中ランダムに選ばれた６０話者ごとのランダム５０文（合計３０００文）が音声信号変換モデルを得るために使用された。第３実験では、残りの話者からランダムに男女２名ずつが選ばれた後、選ばれた話者ごとに発話文をランダムに２文（合計８文）が選ばれ、音質に関するＭＵＳＨＲＡテストが行われた。

参考文献６：Ryuichi Yamamoto et al. “WaveNet vocoder”［online］［令和２年３月３０日検索］、インターネット〈ＵＲＬ：https://doi.org/10.5281/zenodo.1472609>

図１９は第３実験の実験結果の一例を示す図である。図１９の縦軸はＭＵＳＨＲＡテストのテスト結果を示す。図１９の横軸は評価対象の方法を示す。図１９の横軸の“４８”は４８ｋＨｚでサンプリングされた自然音声を示す。図１９の横軸の“１６ｔｏ４８”は音声信号生成システム１００により帯域が拡張された音声を示す。

図１９の横軸の“８ｔｏ４８”は音声信号生成システム１００により帯域が拡張された音声を示す。図１９の横軸の“８ｔｏ１６ｔｏ４８”は音声信号生成システム１００により帯域が拡張された音声を示す。“１６ｔｏ４８”と“８ｔｏ４８”と“８ｔｏ１６ｔｏ４８”との違いは以下の通りである。

“１６ｔｏ４８”は、“１６”が劣化音声として音声信号変換装置２に入力され、“１６”に音声信号生成システム１００が得た音声信号変換モデルが適用され、“１６”の帯域が４８ｋＨｚまで拡張された結果の音声を示す。“１６”は、４８ｋＨｚでサンプリングされた音声を１６ｋＨｚまでダウンサンプリングした音声を示す。

“８ｔｏ１６ｔｏ４８”は、“８”が劣化音声として音声信号変換装置２に入力され、“８”に音声信号生成システム１００が得た音声信号変換モデルが適用され、“８”の帯域が４８ｋＨｚまで拡張された結果の音声を示す。“１６”の帯域が４８ｋＨｚまで拡張された結果の音声を示す。“８”は、４８ｋＨｚでサンプリングされた音声を１６ｋＨｚまでダウンサンプリングした音声を示す。

“８ｔｏ１６ｔｏ４８”は、“８”が劣化音声として音声信号変換装置２に入力され“１６”に変換され、次に“１６”が劣化音声として音声信号変換装置２に入力され“４８”に変換された音声を示す。“４８”は、４８ｋＨｚでサンプリングされた音声を示す。

図１９の横軸の“１６”は１６ｋＨｚにダウンサンプリングされた自然音声を示す。図１９の横軸の“４”は４ｋＨｚにダウンサンプリングされた自然音声を示す。

図１９は、“１６ｔｏ４８”は原音との違いが小さいことを示す。図１９は、“８ｔｏ４８”は原音より大きく劣化していることを示す。劣化の理由は、音声では１６ｋＨｚ以下に情報が集約されるため８ｋＨｚにダウンサンプリングすることで大きく情報量が落ち、学習が上手くいかなかったためである。図１９は、“８ｔｏ１６ｔｏ４８”が“８ｔｏ４８”よりも高音質であることを示す。

このように構成された実施形態の音声信号生成システム１００は、音声信号の音声波形又は音声特徴量の一方だけでなく両方を用い、順変換信号識別処理、順変換学習処理、順変換信号識別学習処理、逆変換信号識別処理、逆変換学習処理及び逆変換信号識別学習処理の実行により音声信号変換モデルを得る。そのため、このように構成された音声信号生成システム１００は、音声波形だけを用いて音声信号変換モデルを得る場合よりも自然信号度の高い音声信号を生成することができる。すなわち、このように構成された音声信号生成システム１００は、より人間が発する音声に近い音声を生成することができる。なお、音声波形だけを用いて音声信号変換モデルを得る方法は、例えばＳＥＧＡＮ（Speech Enhancement Generative Adversarial Network）である。

また、このように構成された実施形態の音声信号生成システム１００は、順変換信号識別処理、順変換学習処理、順変換信号識別学習処理、逆変換信号識別処理、逆変換学習処理及び逆変換信号識別学習処理の実行により音声信号変換モデルを得る。そのため、音声信号生成システム１００は、音声波形及び音声特徴量を用いて畳み込みニューラルネットワークのみにより音声信号変換モデルを取得する場合よりも、より人間が発する音声に近い音声を生成することができる。

このように構成された実施形態の音声信号生成システム１００は、順変換信号識別処理、順変換学習処理、順変換信号識別学習処理、逆変換信号識別処理、逆変換学習処理及び逆変換信号識別学習処理を用いる。そのため、学習用に用いる音声信号のアライメントが低い場合であっても人間が発する音声に近い音声を生成することができる。そのため、音声信号生成システム１００は、アライメントが高い場合にのみ有効なＳＥＧＡＮ（Speech Enhancement Generative Adversarial Networks）（参考文献７参照）よりも、適用場面が限定されないという効果を奏する。なお、アライメントが高いとは、学習用の音声信号と音声信号生成システム１００によって出力したいユーザの理想とする音声信号との違いが小さいことを意味する。アライメントが高い学習用の音声信号は、例えば理想環境で収録された音声に対して計算機上で雑音を重畳し雑音環境下音声を模擬したのちに雑音除去が行われた音声信号である。アライメントが低い学習用の音声信号は、テキスト音声合成や音声変換において生成された合成音声である。このような音声信号は音声信号の長さも信号ごとに異なるため、この点でもアライメントが低い。

参考文献７：S. Pascual et al., “SEGAN: Speech enhancement generative adversarial network,” 2017 Annual Conference of the International Speech Communication Association (INTERSPEECH), pp.3642-3646, 2017.

（変形例）
なお、音声信号生成システム１００が音声信号変換モデルを生成する方法は、必ずしも畳み込みＣｙｃｌｅＧＡＮである必要は無い。音声信号生成システム１００が音声信号変換モデルを生成する方法（以下「モデル生成方法」という。）は、以下の学習方法条件を満たす方法であればどのようなものであってもよい。

学習方法条件は第１条件を含む。第１条件は、モデル生成方法は入力された音声信号に対して自然信号度を高める変換である順変換処理を実行することで前記音声信号よりも自然信号度の高い信号である順変換信号を出力する第１の生成器を用いる方法である、という条件である。

学習方法条件は第２条件を含む。第２条件は、モデル生成方法は入力された信号が順変換信号と自然信号とのいずれであるかを識別する第１の識別器を用いる方法である、という条件である。

学習方法条件は第３条件を含む。第３条件は、モデル生成方法は入力された信号に対して自然信号度を低める変換である逆変換処理を実行することで順変換信号よりも自然信号度の低い逆変換信号を出力する第２の生成器を用いる方法である、という条件である。

学習方法条件は第４条件を含む。第４条件は、モデル生成方法は入力された信号が予め用意された信号であって合成された信号である事前合成信号と逆変換信号とのいずれであるかを識別する第２の識別器を用いる方法である、という条件である。なお、第２識別部１６０が合成信号群から読み出す合成信号は、事前合成信号の一例である。

学習方法条件は第５条件を含む。第５条件は、モデル生成方法は第１生成器と、第１の識別器と、第２生成器と、第２の識別器とが第１の識別器の識別結果と第２の識別器との識別結果に基づいて学習する、という条件である。

学習方法条件はさらに、以下の弱識別器条件を含んでもよい。弱識別器条件は、第１の識別器と第２の識別器との少なくとも１つは音声波形識別器と音声特徴量識別器とを用いて学習する、という条件を含む。そのため、モデル生成方法は、例えば第１生成器及び第２生成器と異なる第３生成器と、第１の識別器と第２の識別器と異なる第３の識別器と、を用いる方法であってもよい。

第１生成部１１０の第１生成器の一例である。第１識別部１２０は第１の識別器の一例である。第２生成部１５０は第２生成器の一例である。第２識別部１６０は第２の識別器の一例である。

なお、音声信号変換モデルを生成する方法が少なくとも第１条件～第５条件を満たしていれば、音声信号生成システム１００は学習用に用いる音声信号のアライメントが低い場合であっても人間が発する音声に近い音声を生成することができる。

なお、音声波形識別部１２１及び音声波形識別部１６１は、音高の知覚的尺度に基づいて変換された周波数スペクトルに基づいて音声信号を識別してもよい。音高の知覚的尺度は例えばメル尺度である。音高の知覚的尺度に基づいて変換された周波数スペクトルは、例えばメル周波数ケプストラム係数で表されるスペクトルである。周波数スペクトルは、例えば位相スペクトルであってもよい。周波数スペクトルは、振幅スペクトルであってもよい。音高の知覚的尺度に基づいて変換された周波数スペクトルは、例えばメルスペクトログラムであってもよい。このように、音高の知覚的尺度に基づくことで人の知覚の情報も音声の生成に用いることができるため、音声信号生成システム１００より人間が発する音声に近い音声を生成することができる。

なお、音声信号変換モデル学習装置１は必ずしも入力された音声信号を人間の発する音声に近い音声の音声信号に変換する学習モデルを学習する必要は無い。音声信号変換モデル学習装置１は入力された音声信号を犬や猫等の人間以外の動物の音声に近い音声の音声信号に変換する学習モデルを学習してもよい。このような場合、音声信号変換装置２は入力された音声を人間以外の動物の音声に近い音声信号に変換する。上述の通り、本実施形態における動物は人間を含む。

なお、不自然信号と自然合成信号とは、同じ種別の動物の音声信号であることが望ましいが必ずしも同じでなくてもよい。

なお、被管理部１０１は学習部の一例である。なお、不自然信号は入力信号の一例である。

音声信号変換モデル学習装置１は、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。この場合、音声信号変換モデル学習装置１が備える各機能部は、複数の情報処理装置に分散して実装されてもよい。例えば、第１生成部１１０と、第１識別部１２０と、第２生成部１５０と、第２識別部１６０とはそれぞれ異なる情報処理装置に実装されてもよい。

音声信号変換装置２は、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。この場合、音声信号変換装置２が備える各機能部は、複数の情報処理装置に分散して実装されてもよい。

なお、音声信号生成システム１００の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１００…音声信号生成システム、 １…音声信号変換モデル学習装置、 ２…音声信号変換装置、 １０…制御部、 １１…入力部、 １２…インタフェース部、 １３…記憶部、 １４…出力部、 １０１…被管理部、 １０２…管理部、 １１０…第１生成部、 １２０…第１識別部、 １２１…音声波形識別部、 １２２…音声特徴量識別部、 １２３…統合識別部、 １３０…第１入力決定部、 １４０…第１判定部、 １５０…第２生成部、 １６０…第２識別部、 １６１…音声波形識別部、 １６２…音声特徴量識別部、 １６３…統合識別部、 １７０…第２入力決定部、 １８０…第２判定部、 ２０…制御部、 ２１…入力部、 ２２…インタフェース部、 ２３…記憶部、 ２４…出力部、 ２０１…変換対象取得部、 ２０２…変換部、 ２０３…音声信号出力制御部、 ９１…プロセッサ、 ９２…メモリ、 ９３…プロセッサ、 ９４…メモリ

Claims (8)

1. 入力された音声信号である入力信号を、実際に動物が発する音声である自然信号との類似の度合を示す自然信号度が前記入力信号よりも高い音声信号に変換する学習済みモデルを機械学習の方法で得る学習部、
   を備え、
   前記機械学習の方法は、入力された音声信号に対して自然信号度を高める変換である順変換処理を実行することで前記音声信号よりも自然信号度の高い信号である順変換信号を出力する第１生成部と、入力された信号が順変換信号と自然信号とのいずれであるかを識別する第１識別部と、入力された音声信号に対して自然信号度を低める変換である逆変換処理を実行することで前記音声信号よりも自然信号度の低い逆変換信号を出力する第２生成部と、入力された信号が予め用意された信号であって合成された信号である事前合成信号と逆変換信号とのいずれであるかを識別する第２識別部とが、前記第１識別部及び前記第２識別部の識別結果に基づいて学習する方法である、
   音声信号変換モデル学習装置。
2. 前記機械学習の方法は、循環型敵対的学習（ＣｙｃｌｅＧＡＮ：Cycle Generative Adversarial Networks）の方法である、
   請求項１に記載の音声信号変換モデル学習装置。
3. 前記第１識別部及び前記第２識別部の少なくとも１つは学習に用いる音声信号の波形に基づいて前記音声信号が自然信号か否かを識別する音声波形識別器と、前記音声信号から所定の条件を満たす情報である音声特徴量を取得し、取得した音声特徴量に基づいて前記音声信号が自然信号か否かを識別する音声特徴量識別器と、を用いて学習する、
   請求項１又は２に記載の音声信号変換モデル学習装置。
4. 前記音声波形識別器は、音高の知覚的尺度に基づいて変換された前記音声信号の周波数スペクトルである、
   請求項３に記載の音声信号変換モデル学習装置。
5. 入力された音声信号である入力信号を、実際に動物が発する音声である自然信号との類似の度合を示す自然信号度が前記入力信号よりも高い音声信号に変換する学習済みモデルを機械学習の方法で得る学習部、を備え、前記機械学習の方法は、入力された音声信号に対して自然信号度を高める変換である順変換処理を実行することで前記音声信号よりも自然信号度の高い信号である順変換信号を出力する第１生成部と、入力された信号が順変換信号と自然信号とのいずれであるかを識別する第１識別部と、入力された音声信号に対して自然信号度を低める変換である逆変換処理を実行することで前記音声信号よりも自然信号度の低い逆変換信号を出力する第２生成部と、入力された信号が予め用意された信号であって合成された信号である事前合成信号と逆変換信号とのいずれであるかを識別する第２識別部とが、前記第１識別部及び前記第２識別部の識別結果に基づいて学習する方法である音声信号変換モデル学習装置が得た前記学習済みモデルを用いて、入力された音声信号を変換する変換部、
   を備える音声信号変換装置。
6. 入力された音声信号である入力信号を、実際に動物が発する音声である自然信号との類似の度合を示す自然信号度が前記入力信号よりも高い音声信号に変換する学習済みモデルを機械学習の方法で得る学習ステップ、
   を有し、
   前記機械学習の方法は、入力された音声信号に対して自然信号度を高める変換である順変換処理を実行することで前記音声信号よりも自然信号度の高い信号である順変換信号を出力する第１生成部と、入力された信号が順変換信号と自然信号とのいずれであるかを識別する第１識別部と、入力された音声信号に対して自然信号度を低める変換である逆変換処理を実行することで前記音声信号よりも自然信号度の低い逆変換信号を出力する第２生成部と、入力された信号が予め用意された信号であって合成された信号である事前合成信号と逆変換信号とのいずれであるかを識別する第２識別部とが、前記第１識別部及び前記第２識別部の識別結果に基づいて学習する方法である、
   音声信号変換モデル学習方法。
7. 請求項１から４のいずれか一項に記載の音声信号変換モデル学習装置としてコンピュータを機能させるためのプログラム。
8. 請求項５に記載の音声信号変換装置としてコンピュータを機能させるためのプログラム。

Images