JP7745214B2 - 音声特徴量算出方法、音声特徴量算出装置、及び、口腔機能評価装置 - Google Patents

Description

本発明は、被評価者の音声特徴量を算出する音声特徴量算出方法、音声特徴量算出装置、及び、音声特徴量算出装置を利用した口腔機能評価装置に関する。

被評価者の首に摂食嚥下機能を評価するための器具を装着させ、摂食嚥下機能評価指標（マーカー）として、咽頭運動特徴量を取得し、被評価者の摂食嚥下機能を評価する方法が開示されている（例えば、特許文献１参照）。

特開２０１７－２３６７６号公報

しかしながら、上記特許文献１に開示された方法では、摂食嚥下機能等の口腔機能を評価するために、被評価者に器具を装着する必要があり、被評価者に不快感を与え、被評価者に負担が生じる場合がある。また、歯科医師、歯科衛生士、言語聴覚士又は内科医師等の専門家による視診、問診又は触診等によっても口腔機能を評価することはできるが、高齢者は、加齢による影響で、ずっとむせていたり、食べこぼしをしたりしているにもかかわらず、高齢だから当然の症状であるとして口腔機能の低下が見過ごされることがある。口腔機能の低下が見過ごされることで、例えば食事量の低下からくる低栄養を招き、低栄養が免疫力の低下を招く。加えて、誤嚥もしやすく、誤嚥と免疫力低下が結果として誤嚥性肺炎に至らしめるおそれにつながる悪循環を招く。

ところで、このような方法を利用せずとも被評価者が発話した音声から被評価者の口腔機能を評価することができるが、その評価等に用いられる音声の特徴量の算出において、正確性に課題があった。

そこで、本発明は、被評価者の音声から、より適切に音声の特徴量を算出することが可能な音声特徴量算出方法等を提供することを目的とする。

本発明の一態様に係る音声特徴量算出方法は、コンピュータによって実行され、被評価者が発話した音声から、前記被評価者の音声の特徴量を算出するための音声特徴量算出方法であって、前記被評価者が発話した音声を集音することで得られる音声データを取得し、取得した前記音声データにおいて前記被評価者が音声を発していない期間に集音された音の第１平均強度に基づいて、前記音声データにおける音圧を調整し、音圧の調整後の前記音声データから少なくとも音圧に関する特徴量を含む前記特徴量を算出する。

また、本発明の一態様に係る音声特徴量算出装置は、被評価者が発話した音声から、前記被評価者の音声の特徴量を算出する音声特徴量算出装置であって、前記被評価者が発話した音声を集音することで得られる音声データを取得する取得部と、取得した前記音声データにおいて前記被評価者が音声を発していない期間に集音された音の第１平均強度に基づいて、前記音声データにおける音圧を調整する音圧調整部と、音圧の調整後の前記音声データから少なくとも音圧に関する特徴量を含む前記特徴量を抽出することで算出する抽出部と、を備える。

また、本発明の一態様に係る口腔機能評価装置は、上記に記載の音声特徴量算出装置と、前記音声データから抽出される前記特徴量のうち音圧に関する特徴量を演算に含む推定式と、音圧の調整後の前記音声データから抽出された前記特徴量とに基づいて、前記被評価者の口腔機能の推定値を算出する算出部と、算出された前記推定値を、口腔機能評価指標を用いて判定することで、前記被評価者の口腔機能の低下状態を評価する評価部と、を備える。

本発明の口腔機能評価方法等によれば、被評価者の音声から、より適切に音声の特徴量を算出することが可能となる。

実施の形態に係る口腔機能評価システムの構成を示す図である。 実施の形態に係る口腔機能評価システムの特徴的な機能構成を示すブロック図である。 実施の形態に係る口腔機能評価方法による被評価者の口腔機能を評価する処理手順を示すフローチャートである。 実施の形態に係る口腔機能評価方法に用いられる音声データについての処理手順を示すフローチャートである。 実施の形態に係る口腔機能評価方法において出力される情報の一例を示す図である。 実施の形態の別例に係る口腔機能評価方法に用いられる音声データについての処理手順を示すフローチャートである。 実施の形態に係る音声データの音圧の調整について説明する第１図である。 実施の形態に係る音声データの音圧の調整について説明する第２図である。 実施の形態に係る音声データの音圧の調整について説明する第３図である。 実施の形態に係る口腔機能評価方法において音圧を調整することと正確性（推定精度）との関係を示すグラフである。 実施の形態に係る口腔機能評価方法による被評価者の音声の取得方法の概要を示す図である。 被評価者が「えをかくことにきめたよ」と発話した音声を示す音声データの一例を示す図である。 被評価者が「えをかくことにきめたよ」と発話した音声のフォルマント周波数の変化の一例を示す図である。 被評価者が「からからから・・・」と繰り返し発話した音声を示す音声データの一例を示す図である。 被評価者が「いったい」と発話した音声を示す音声データの一例を示す図である。 日本語の音節又は定型文と、発音の際の舌の動き又は口の開閉の程度が類似する中国語の音節又は定型文の一例を示す図である。 母音の国際音声記号を示す図である。 子音の国際音声記号を示す図である。 被評価者が「ｇａｏ ｄａｏ ｗｕ ｄａ ｋａ ｊｉ ｋｅ ｄａ ｙｉ ｗｕ ｚｈｅ」と発話した音声を示す音声データの一例を示す図である。 被評価者が「ｇａｏ ｄａｏ ｗｕ ｄａ ｋａ ｊｉ ｋｅ ｄａ ｙｉ ｗｕ ｚｈｅ」と発話した音声のフォルマント周波数の変化の一例を示す図である。 口腔機能評価指標の一例を示す図である。 口腔機能の要素毎の評価結果の一例を示す図である。 口腔機能の要素毎の評価結果の一例を示す図である。 口腔機能に関する提案を行う際に用いられる予め定められたデータの一例である。

以下、実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。

（実施の形態）
［口腔機能の要素］
本発明は、口腔機能の低下の評価方法等に関するものであり、口腔機能には様々な要素がある。

例えば、口腔機能の要素には、舌苔付着度、口腔粘膜湿潤度、咬合力、舌圧、頬圧、残存歯数、嚥下機能及び咀嚼機能などがある。ここでは、舌苔付着度、口腔粘膜湿潤度、咬合力、舌圧及び咀嚼機能について簡単に説明する。

舌苔付着度は、舌に細菌又は食べ物の沈着がどの程度あるかを示すものである。舌苔がないか、薄い場合には、機械的な擦過（食事摂取など）環境があること、唾液による洗浄作用があること、飲み込みの動き（舌の動き）が正常であることがわかる。一方で、舌苔が厚い場合には、舌の動きが悪く、食事を摂りにくいことから、栄養不足又は筋力不足を招くおそれがあることがわかる。口腔粘膜湿潤度は、舌の乾燥度合いであり、乾燥していると話すための運動が阻害される。また、食べ物は口腔に取り込まれた後に粉砕されるが、そのままでは飲み込みにくいため、粉砕された食べ物を飲み込みやすくするために唾液が粉砕された食べ物をまとめる働きをする。しかし、口腔が乾燥していると食塊（粉砕された食べ物がまとまったもの）が形成されにくい。咬合力は、硬いものを噛む力であり、顎の筋力の強さである。舌圧は、舌が口蓋を押す力を表す指標である。舌圧が弱くなると飲み込みの動きが摂りにくくなる場合がある。また、舌圧が弱くなると舌を動かす速度が落ちることがあり話速度が落ちる場合がある。咀嚼機能は、口腔の総合的な機能である。

本発明では、被評価者が発した音声から被評価者の口腔機能の低下状態（例えば口腔機能の要素についての低下状態）を評価することができる。口腔機能が低下している被評価者が発話した音声には特定の特徴がみられ、これを韻律特徴量として抽出することで、被評価者の口腔機能を評価することができるためである。本発明は、口腔機能評価方法、当該方法をコンピュータ等に実行させるプログラム、当該コンピュータの一例である口腔機能評価装置、及び、口腔機能評価装置を備える口腔機能評価システムによって実現される。以下では、口腔機能評価システムを示しながら、口腔機能評価方法等について説明する。

［口腔機能評価システムの構成］
実施の形態に係る口腔機能評価システム２００の構成に関して説明する。

図１は、実施の形態に係る口腔機能評価システム２００の構成を示す図である。

口腔機能評価システム２００は、被評価者Ｕの音声を解析することで被評価者Ｕの口腔機能を評価するためのシステムであり、図１に示されるように、口腔機能評価装置１００と、携帯端末３００（端末の一例）とを備える。

口腔機能評価装置１００は、携帯端末３００によって、被評価者Ｕが発した音声を示す音声データを取得し、取得した音声データから被評価者Ｕの口腔機能を評価する装置である。

携帯端末３００は、被評価者Ｕが第一フォルマント周波数の変化もしくは第二フォルマント周波数の変化を含む２モーラ以上からなる、又は、弾き音、破裂音、無声音、促音及び摩擦音の少なくとも１つを含む、音節又は定型文を発話した音声を非接触により集音する集音装置であり、集音した音声を示す音声データを口腔機能評価装置１００へ出力する。例えば、携帯端末３００は、マイクを有するスマートフォン又はタブレット等である。なお、携帯端末３００は、集音機能を有する装置であれば、スマートフォン又はタブレット等に限らず、例えば、ノートＰＣ等であってもよい。また、口腔機能評価システム２００は、携帯端末３００の代わりに、集音装置（マイク）を備えていてもよい。また、口腔機能評価システム２００は、被評価者Ｕの個人情報を取得するための入力インターフェースを備えていてもよい。当該入力インターフェースは、例えば、キーボード、タッチパネル等の入力機能を有するものであれば特に限定されない。また、口腔機能評価システム２００において、マイクの音量が設定されてもよい。

携帯端末３００は、ディスプレイを有し、口腔機能評価装置１００から出力される画像データに基づいた画像等を表示する表示装置であってもよい。つまり、携帯端末３００は、画像として、口腔機能評価装置１００から出力される情報を提示するための提示装置の一例である。なお、表示装置は携帯端末３００でなくてもよく、液晶パネル又は有機ＥＬパネルなどによって構成されるモニタ装置であってもよい。つまり、本実施の形態では、携帯端末３００が集音装置でもあり表示装置でもあるが、集音装置（マイク）と入力インターフェースと表示装置とが別体に設けられていてもよい。

口腔機能評価装置１００と携帯端末３００とは、音声データ又は後述する評価結果を示す画像を表示するための画像データ等を送受信可能であればよく、有線で接続されていてもよいし、無線で接続されていてもよい。

口腔機能評価装置１００は、携帯端末３００によって集音された音声データに基づいて被評価者Ｕの音声を分析し、分析した結果から被評価者Ｕの口腔機能を評価し、評価結果を出力する。例えば、口腔機能評価装置１００は、評価結果を示す画像を表示するための画像データ、もしくは、評価結果に基づいて生成された被評価者Ｕに対する口腔に関する提案をするためのデータを携帯端末３００へ出力する。こうすることで、口腔機能評価装置１００は、被評価者Ｕへ口腔機能の程度や口腔機能の低下の予防等するための提案を通知できるため、例えば、被評価者Ｕは口腔機能の低下の予防や改善を行うことができる。

なお、口腔機能評価装置１００は、例えば、パーソナルコンピュータであるが、サーバ装置であってもよい。また、口腔機能評価装置１００は、携帯端末３００であってもよい。つまり、以下で説明する口腔機能評価装置１００が有する機能を携帯端末３００が有していてもよい。

図２は、実施の形態に係る口腔機能評価システム２００の特徴的な機能構成を示すブロック図である。口腔機能評価装置１００は、音声特徴量算出装置４００と、算出部１３０と、評価部１４０と、出力部１５０と、提案部１６０と、記憶部１７０とを備える。

音声特徴量算出装置４００は、被評価者Ｕの音声の特徴量（韻律特徴量）を抽出することで算出する装置である。音声特徴量算出装置４００は、具体的には、取得部１１０と、Ｓ／Ｎ比算出部１１５と、音圧調整部１１６と、抽出部１２０と、情報出力部１８０と、を備える。なお、ここでは、音声特徴量算出装置４００が、口腔機能評価装置１００に内蔵されている例を示すが、音声特徴量算出装置４００は、口腔機能評価装置１００とは別に設けられてもよい。その場合、音声特徴量算出装置４００の取得部１１０とは別に、口腔機能評価装置１００が、音声データ及び個人情報等を取得する取得部を備えてもよい。

取得部１１０は、被評価者Ｕが発話した音声を携帯端末３００が非接触により集音することで得られる音声データを取得する。当該音声は、被評価者Ｕが第一フォルマント周波数の変化もしくは第二フォルマント周波数の変化を含む２モーラ以上からなる音節又は定型文を発話した音声である。又は、当該音声は、弾き音、破裂音、無声音、促音及び摩擦音の少なくとも１つを含む音節又は定型文を発話した音声である。ただし、後述する一部の状況においては、音声は、任意の文を発話した音声である場合もある。また、取得部１１０は、さらに、被評価者Ｕの個人情報を取得してもよい。例えば、個人情報は携帯端末３００に入力された情報であり、年齢、体重、身長、性別、ＢＭＩ（Ｂｏｄｙ Ｍａｓｓ Ｉｎｄｅｘ）、歯科情報（例えば、歯の数、入れ歯の有無、咬合支持の場所、機能歯数、残存歯数など）、血清アルブミン値又は喫食率等である。なお、個人情報は、ＥＡＴ－１０（イート・テン）と呼ばれる嚥下スクリーニングツール、聖隷式嚥下質問紙、問診、Ｂａｒｔｈｅｌ Ｉｎｄｅｘ又は基本チェックリスト等により取得されてもよい。取得部１１０は、例えば、有線通信又は無線通信を行う通信インターフェースである。

Ｓ／Ｎ比算出部１１５は、取得した音声データにおけるＳ／Ｎ比を算出する処理部分である。音声データにおけるＳ／Ｎ比とは、取得した音声データにおいて被評価者Ｕが音声を発していない期間（暗騒音のみの期間）に集音された音の第１平均強度に対する、被評価者Ｕが音声を発している期間に集音された音の第２平均強度の比である。そのため、Ｓ／Ｎ比算出部１１５は、音声データから被評価者Ｕが音声を発していない期間分の音を抽出して第１平均強度を算出すること、及び、音声データから被評価者Ｕが音声を発している期間分の音を抽出して第２平均強度を算出することが可能なように構成されている。Ｓ／Ｎ比算出部１１５は、具体的には、プロセッサ、マイクロコンピュータ、又は、専用回路によって実現される。

音圧調整部１１６は、取得した音声データのＳ／Ｎ比が、口腔機能の評価に適していない状況を示す場合に、この音声データに対して、音圧の調整処理を行うことで、口腔機能の評価に適した調整後の音声データを生成して出力する処理部である。音圧調整部１１６による音声データの音圧の調整については後述する。音圧調整部１１６は、具体的には、プロセッサ、マイクロコンピュータ、又は、専用回路によって実現される。

抽出部１２０は、取得部１１０で取得された被評価者Ｕの音声データ、又は、音圧調整部１１６によって音圧が調整された音声データを解析する処理部である。抽出部１２０は、具体的には、プロセッサ、マイクロコンピュータ、又は、専用回路によって実現される。

抽出部１２０は、取得部１１０が取得した、又は、音圧調整部１１６が出力した音声データから韻律特徴量を抽出することによって算出する。韻律特徴量とは、評価部１４０が被評価者Ｕの口腔機能を評価するために用いる音声データから抽出される被評価者Ｕの音声の特徴を示す数値である。韻律特徴量は、音圧較差及び音圧較差の時間変化の少なくとも１つからなる音圧に関する特徴量を含む。また、韻律特徴量は、他に、話速度、第一フォルマント周波数、第二フォルマント周波数、第一フォルマント周波数の変化量、第二フォルマント周波数の変化量、第一フォルマント周波数の時間変化、第二フォルマント周波数の時間変化、開口時間、閉口時間、及び破裂音の時間の少なくとも１つを含んでいてもよい。

情報出力部１８０は、Ｓ／Ｎ比を増大させるための情報を出力する処理部である。情報出力部１８０は、算出されたＳ／Ｎ比が一定の基準を満たさない場合に、被評価者Ｕが発話した音声を集音する環境を改善させるような指示の情報を生成して出力する。情報出力部１８０は、具体的には、プロセッサ、マイクロコンピュータ、又は、専用回路によって実現される。

算出部１３０は、抽出部１２０で抽出された韻律特徴量と、あらかじめ設定された推定式とに基づいて、被評価者Ｕの口腔機能の推定値を算出する。算出部１３０は、具体的には、プロセッサ、マイクロコンピュータ、又は、専用回路によって実現される。

評価部１４０は、算出部１３０で算出された推定値を、口腔機能評価指標を用いて判定することで、被評価者Ｕの口腔機能の低下状態を評価する。口腔機能評価指標を示す指標データ１７２は、記憶部１７０に記憶されている。評価部１４０は、具体的には、プロセッサ、マイクロコンピュータ、又は、専用回路によって実現される。

出力部１５０は、算出部１３０で算出された推定値を提案部１６０に出力する。また、出力部１５０は、評価部１４０で評価された被評価者Ｕの口腔機能の評価結果を携帯端末３００等に出力してもよい。出力部１５０は、具体的には、プロセッサ、マイクロコンピュータ、又は、専用回路、及び、有線通信又は無線通信を行う通信インターフェースによって実現される。

提案部１６０は、算出部１３０で算出された推定値を、予め定められたデータに照合することで、被評価者Ｕの口腔機能に関する提案を行う。予め定められたデータである提案データ１７３は、記憶部１７０に記憶されている。また、提案部１６０は、取得部１１０が取得した個人情報についても提案データ１７３と照合して、被評価者Ｕに対する口腔に関する提案を行ってもよい。提案部１６０は、当該提案を携帯端末３００へ出力する。提案部１６０は、例えば、プロセッサ、マイクロコンピュータ又は専用回路、及び、有線通信又は無線通信を行う通信インターフェースによって実現される。

記憶部１７０は、複数の学習データに基づいて算出された口腔機能の推定式を示す推定式データ１７１、被評価者Ｕの口腔機能の推定値を判定するための口腔機能評価指標を示す指標データ１７２、口腔機能の推定値と提案内容との関係を示す提案データ１７３、及び、被評価者Ｕの上記個人情報を示す個人情報データ１７４が記憶されている記憶装置である。推定式データ１７１は、被評価者Ｕの口腔機能の推定値の算出が行われるときに算出部１３０によって参照される。指標データ１７２は、被評価者Ｕの口腔機能の低下状態の評価が行われるときに評価部１４０によって参照される。提案データ１７３は、被評価者Ｕに対する口腔機能に関する提案が行われるときに提案部１６０によって参照される。個人情報データ１７４は、例えば、取得部１１０を介して取得されたデータである。なお、個人情報データ１７４は、予め記憶部１７０に記憶されていてもよい。記憶部１７０は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、半導体メモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等によって実現される。

また、記憶部１７０には、音声特徴量算出装置４００の各機能部、算出部１３０、評価部１４０、出力部１５０及び提案部１６０を実現するためにコンピュータに実行されるプログラム、被評価者Ｕの口腔機能の評価結果を出力する際に用いられる当該評価結果を示す画像データ、及び、提案内容を示す画像、動画、音声又はテキスト等のデータも記憶されていてもよい。また、記憶部１７０には、後述する指示用の画像が記憶されていてもよい。

図示していないが、口腔機能評価装置１００は、第一フォルマント周波数の変化もしくは第二フォルマント周波数の変化を含む２モーラ以上からなる、又は、弾き音、破裂音、無声音、促音及び摩擦音の少なくとも１つを含む、音節又は定型文を発音することを被評価者Ｕに指示するための指示部を備えていてもよい。指示部は、具体的には、記憶部１７０に記憶された、上記音節又は定型文を発音することを指示するための指示用の画像の画像データ、又は、指示用の音声の音声データを取得し、当該画像データ又は当該音声データを携帯端末３００に出力する。

［口腔機能評価方法の処理手順］
続いて、口腔機能評価装置１００が実行する口腔機能評価方法における具体的な処理手順について説明する。

図３Ａは、実施の形態に係る口腔機能評価方法による被評価者Ｕの口腔機能を評価する処理手順を示すフローチャートである。図４は、口腔機能評価方法による被評価者Ｕの音声の取得方法の概要を示す図である。

まず、指示部は、第一フォルマント周波数の変化もしくは第二フォルマント周波数の変化を含む２モーラ以上からなる、又は、弾き音、破裂音、無声音、促音及び摩擦音の少なくとも１つを含む、音節又は定型文を発音することを指示する（ステップＳ１０１）。例えば、ステップＳ１０１において、指示部は、記憶部１７０に記憶された、被評価者Ｕへの指示用の画像の画像データを取得し、当該画像データを、携帯端末３００に出力する。そうすると、図４の（ａ）に示すように、携帯端末３００には、被評価者Ｕへの指示用の画像が表示される。なお、図４の（ａ）では、「えをかくことにきめたよ」が定型文の一例として示されているが、「はなさかじいさんとさるかにかっせん」、「はなびのえをかく」、「ひまわりがさいた」等の定型文を発話することが指示されてもよい。また、「いっぱい」、「いったい」、「いっかい」、「ぱったん」、「かっぱ」、「しっぽ」、「きっかり」、「かってに」等の音節を発話することが指示されてもよい。また、「から」、「さら」、「ちゃら」、「じゃら」、「しゃら」、「きゃら」、「ぷら」等の音節を発話することが指示されてもよい。また、「あえい」、「いえあ」、「あい」、「いあ」、「かけき」、「きけか」、「なねに」、「ちてた」、「ぱぺぴ」、「ぴぺぱ」、「かてぴ」、「ちぺか」、「かき」、「たち」、「ぱぴ」、「みさ」、「らり」、「わに」、「にわ」、「えお」、「いお」、「いう」、「てこ」、「きろ」、「てる」、「ぺこ」、「めも」、「えも」等の音節を発話することが指示されてもよい。発音の指示は、このような音節を繰り返し発声させる指示であってもよい。

また、指示部は、記憶部１７０に記憶された、被評価者Ｕへの指示用の音声の音声データを取得し、当該音声データを、携帯端末３００に出力することで、発音することを指示する指示用の画像を用いずに発音することを指示する指示用の音声を用いて上記指示を行ってもよい。さらに、発音することを指示する指示用の画像及び音声を用いずに、被評価者Ｕの口腔機能を評価したい評価者（家族、医師等）が自身の声で被評価者Ｕに上記指示を行ってもよい。

例えば、発話される音節又は定型文は、発話するために口の開閉又は舌の前後の動きを伴う、２つ以上の母音又は母音及び子音の組み合わせを含んでいてもよい。例えば、このような音節又は定型文として、日本語においては、「えをかくことにきめたよ」等がある。「えをかくことにきめたよ」の「えを」を発話するためには、舌の前後の動きを伴い、「えをかくことにきめたよ」の「きめた」を発話するためには、口の開閉を伴う。「えをかくことにきめたよ」の「えを」の部分には、母音「ｅ」及び母音「ｏ」の第二フォルマント周波数が含まれ、また、母音「ｅ」及び母音「ｏ」が隣り合っていることから、第二フォルマント周波数の変化量が含まれる。また、この部分には、第二フォルマント周波数の時間変化が含まれる。「えをかくことにきめたよ」の「きめた」の部分には、母音「ｉ」、母音「ｅ」及び母音「ａ」の第一フォルマント周波数が含まれ、また、母音「ｉ」、母音「ｅ」及び母音「ａ」が隣り合っていることから、第一フォルマント周波数の変化量が含まれる。また、この部分には、第一フォルマント周波数の時間変化が含まれる。「えをかくことにきめたよ」が発話されることで、音圧較差、第一フォルマント周波数、第二フォルマント周波数、第一フォルマント周波数の変化量、第二フォルマント周波数の変化量、第一フォルマント周波数の時間変化、第二フォルマント周波数の時間変化、話速度等の韻律特徴量を抽出することができる。

例えば、発話される定型文には、弾き音と当該弾き音とは異なる子音からなる音節の繰り返しを含んでいてもよい。例えば、このような定型文として、日本語においては、「からからから・・・」等がある。「からからから・・・」と繰り返し発話されることで、音圧較差、音圧較差の時間変化、音圧の時間変化、繰り返しの回数等の韻律特徴量を抽出することができる。

例えば、発話される音節又は定型文は、母音及び破裂音の組み合わせを少なくとも１つ含んでいてもよい。例えば、このような音節として、日本語においては、「いったい」等がある。「いったい」と発話されることで、音圧較差、破裂音の時間（母音間の時間）等の韻律特徴量を抽出することができる。

ところで、音圧較差の韻律特徴量は、暗騒音の影響を受けやすいため、特に、Ｓ／Ｎ比が比較的小さい集音環境である場合は、音圧較差の韻律特徴量が、推定値の推定において正確性への悪影響を及ぼす可能性がある。そこで、本発明では、Ｓ／Ｎ比算出部１１５において算出されたＳ／Ｎ比に応じて、算出される（抽出される）音圧較差の特徴量が適切となるように、音声データの音圧を調整する。本発明では、このようにすることで、適切な音圧較差の韻律特徴量が算出され、推定値の推定において不適切な音圧較差の韻律特徴量が正確性へ悪影響を及ぼす可能性を低減して、推定値を推定することを可能にしている。

このための具体的な処理などの動作について、図３Ｂ～図３Ｈを用いて説明する。図３Ｂは、実施の形態に係る口腔機能評価方法に用いられる音声データについての処理手順を示すフローチャートである。図３Ｃは、実施の形態に係る口腔機能評価方法において出力される情報の一例を示す図である。図３Ｄは、実施の形態の別例に係る口腔機能評価方法に用いられる音声データについての処理手順を示すフローチャートである。図３Ｅ～図３Ｇは、実施の形態に係る音声データの音圧の調整について説明する図である。図３Ｈは、実施の形態に係る口腔機能評価方法において音圧を調整することと正確性（推定精度）との関係を示すグラフである。

図３Ｂに示すように、Ｓ／Ｎ比算出部１１５は、Ｓ／Ｎ比を算出するために、暗騒音を測定し、暗騒音のみの第１平均強度（音圧）を算出する（ステップＳ２０１）。暗騒音の測定においては、被評価者Ｕが音声を発していない期間の音を抽出して用いればよく、例えば、上記したように、被評価者Ｕが指示された音節又は定型文を発話しているときに、音節又は定型文の前後の暗騒音のみの期間に音を抽出してもよいし、定型文の中に音が途切れる箇所があれば、その箇所を暗騒音のみの期間として、音を抽出してもよい。

続いて、Ｓ／Ｎ比算出部１１５は、Ｓ／Ｎ比を算出するために、被評価者Ｕの発話時の第２平均強度（音圧）を算出する（ステップＳ２０２）。このとき、指示された音節又は定型文を発話している際の音を利用してもよいし、音の集音のために、別に任意の音節又は定型文を発話させる指示を行ってもよい。あるいは、被評価者Ｕが、口腔機能の評価を行う直前に誰かと会話している状況であれば、その状況を利用して、第１平均強度及び第２平均強度を算出してもよい。

そして、Ｓ／Ｎ比算出部１１５は、第１平均強度に対する第２平均強度の比を算出することにより、Ｓ／Ｎ比を算出する（ステップＳ２０３）。ここで、算出したＳ／Ｎ比は、情報出力部１８０へと出力される。そして、情報出力部１８０は、Ｓ／Ｎ比が第２閾値よりも大きいか否かを判定する（ステップＳ２０４）。Ｓ／Ｎ比が第２閾値以下と判定された場合（Ｓ２０４でＮｏ）、情報出力部１８０は、Ｓ／Ｎ比を増大させるための集音環境を改善させる情報を生成して出力する（ステップＳ２０５）。

例えば、図３Ｃには、このような情報が出力された場合の一例として、「マイクの接続状態を確認するか、発話時の声量を大きくしてください」ということを携帯端末３００に表示させたときの状態が示されている。このように、情報を出力して、暗騒音を低減させる、すなわち、第１平均強度を低下させること、及び、発話時の声量を大きくさせる、すなわち、第２平均強度を増大させることの少なくとも一方を行わせることでＳ／Ｎ比を増大させる指示がされる。なお、被評価者が発話する際の環境音を低減させるように、「集音場所を移動してください」ということを携帯端末３００に表示させてもよい。

また、同様の効果を奏する別例として、図３Ｄに示すフローが実行されてもよい。図３Ｄでは、図３Ｂに対して、ステップＳ２０４に代えて、ステップＳ２０４ａが、ステップＳ２０１の後、かつ、ステップＳ２０２の前に実行される点で異なり、その他の点で共通している。ここでは、Ｓ／Ｎ比を算出することなく、単に暗騒音の大小のみで、情報の出力の有無を判定している。具体的には、ステップＳ２０４ａでは、第１平均強度が音圧閾値よりも小さいか否かを判定している。第１平均強度が音圧閾値よりも小さい場合（Ｓ２０４でＹｅｓ）、ステップＳ２０２、ステップＳ２０３を実行して、ステップＳ２０６に進む。一方で、第１平均強度が音圧閾値以上の場合（Ｓ２０４でＮｏ）、ステップＳ２０５に進み、情報出力部１８０がＳ／Ｎ比を増大させるための集音環境を改善させる情報を生成して出力する。この例では、Ｓ／Ｎ比を算出することなく、単に第１平均強度のみで、情報の出力の有無を判定できる点で、図３Ｂに示す例に比べて有利である。つまり、第２平均強度を算出するために被評価者Ｕに発話を指示するよりも以前に、ノイズ量の観点で集音環境の良し悪しを判定できる点にメリットがある。

図３Ｂに戻り、Ｓ／Ｎ比が第２閾値よりも大きいと判定された場合（Ｓ２０４でＹｅｓ）（又は、図３Ｄで、ステップＳ２０３の後に）、情報出力部１８０は特に何もせず、ステップＳ２０６へと進む。具体的には、算出したＳ／Ｎ比は、音圧調整部１１６にも出力される。音圧調整部１１６は、Ｓ／Ｎ比が第１閾値よりも大きいか否かを判定する（ステップＳ２０６）。Ｓ／Ｎ比が第１閾値以下と判定された場合（Ｓ２０６でＮｏ）、音圧調整部１１６は、音声データの音圧を調整し（ステップＳ２０８）、処理を終了する。一方、Ｓ／Ｎ比が第１閾値より大きいと判定された場合（Ｓ２０６でＹｅｓ）、音圧調整部１１６は、音声データの音圧を調整せず（ステップＳ２０７）、処理を終了する。

このようにして、Ｓ／Ｎ比に応じて、音声データの音圧の調整が行われ（又は、行われず）、当該音声データが韻律特徴量の抽出に供される。

ここで、図３Ｅ～図３Ｆを用いて音圧の調整について説明する。図３Ｅでは、Ｓ／Ｎ比が第２閾値よりも小さい（又は、第１平均強度が音圧閾値より大きい）場合の音声データの時間に対する強度の変化の推移を示している。図３Ｅの例では、音圧の調整をしたとしても適切な韻律特徴量の抽出ができないほどに、Ｓ／Ｎ比の数値が小さいので、集音環境を改善させるべく、情報出力部１８０からの情報の出力が行われる。したがって、図３Ｅに示すような音声データの場合には、韻律特徴量の抽出も、口腔機能の評価も行われない。

図３Ｆでは、Ｓ／Ｎ比が第２閾値以上、かつ、第１閾値よりも小さい場合の音声データの時間に対する強度の変化の推移（上段）、及び、時間に対する基本周波数（ピッチ）の変化の推移（下段）を示している。図３Ｆの例では、音圧の調整が行われており、取得された音声データ（実線）に対して、音圧の調整がされた音声データ（破線）が生成される。図中に示すように、ここでの音圧の調整は、音声データにおける音圧が極小値を示すタイミング、かつ、基本周波数が０を示すタイミング（図中の白抜き矢印の箇所）に対して実施される。これにより、無音かつ、音声の強度が極小となるタイミングの音圧を適切に調整することが可能となる。

また、音圧の調整においては、静寂時の音声の強度と、第１平均強度との差分の音圧を、上記のタイミングにおける極小値の音圧から減算される。その結果、音声データにおける極大箇所周辺に大きな変化を生じさせずに、極小値のみが低下して、暗騒音の影響が低減される。そうすることで、極大値と極小値との差で特徴づけられる音圧較差等が、より適切な特徴量として抽出されるようになる。なお、上記の静寂時の音声の強度は、事前に設定された仮想的な強度を記憶部１７０などに格納しておき、音圧の調整の際に読み出して利用されてもよいし、同じ集音条件での過去に実測された強度の最低値を静寂時の音声の強度として利用してもよい。

一方、図３Ｇでは、Ｓ／Ｎ比が第１閾値以上の場合の音声データの時間に対する強度の変化の推移を示している。図３Ｇの例では、健常者の音声データの一例を実線で示し、有症者の音声データの一例を破線で示している。Ｓ／Ｎ比が第１閾値以上の場合には、無闇に音圧の調整を行うと、有症者の音声データが、疑似的に健常者の音声データのように判断される可能性がある。そのため、Ｓ／Ｎ比が第１閾値以上の場合には、音圧の調整を禁止するように設定することが有効である。

以上のことから、第２閾値は、音圧の調整をしたとしても適切な韻律特徴量の抽出ができないようなＳ／Ｎ比よりも大きい値に設定されるように、経験的又は実験的に決定されているとよい。また、第１閾値は、有症者の音声データに対する音圧の調整がなされないように、経験的又は実験的に決定されているとよい。例えば、図３Ｈでは、（ａ）に、Ｓ／Ｎ比を考慮せずにそのままの音声データから韻律特徴量を抽出した場合のＳ／Ｎ比と推定精度との関係が示されており、（ｂ）に、Ｓ／Ｎ比に応じて、音圧の調整を行った音声データから韻律特徴量を抽出した場合のＳ／Ｎ比と推定精度との関係が示されている。

図３Ｈに示されるように、Ｓ／Ｎ比が第１閾値以上であれば（ａ）及び（ｂ）いずれでも同じ推定精度を示している。しかしながら、Ｓ／Ｎ比が第１閾値より小さくかつ第２閾値以上の範囲では、図３Ｈの（ａ）は、暗騒音によって影響された音圧に関する韻律特徴量が推定精度を低下させることで、図３Ｈの（ｂ）よりも推定精度が低下してしまう。また、図３Ｈの（ｂ）に一点鎖線で示すように、Ｓ／Ｎ比が第２閾値より小さくなれば、Ｓ／Ｎ比を増大させる指示がされるので、推定値が推定される前に、Ｓ／Ｎ比が改善された環境に移行して再度音声データの取得から処理が行われるので、推定精度が低い状態で推定値が推定されにくくなっている。ただし、このＳ／Ｎ比が第２閾値より小さい状態でも、図３Ｈの（ａ）に比べて推定精度が高いことがあり、この状態で推定値を推定したとしても有用である可能性もある。

図３Ａの説明に戻り、音声データは、音節又は定型文を被評価者Ｕが異なる話速度で少なくとも２回発話した音声を集音することで得られてもよい。例えば、被評価者Ｕは、「えをかくことにきめたよ」を普段通りの速さとそれよりも速い速さでそれぞれ発話するように指示される。「えをかくことにきめたよ」を普段通りの速さとそれよりも速い速さでそれぞれ発話されることで、口腔機能の状態の保持の程度を推定できる。

次に、図３Ａに示されるように、取得部１１０は、ステップＳ１０１において指示を受けた被評価者Ｕの音声データを、携帯端末３００を介して取得する（ステップＳ１０２）。図４の（ｂ）に示すように、ステップＳ１０２において、例えば、被評価者Ｕは、「えをかくことにきめたよ」等の音節又は定型文を携帯端末３００に向けて発する。取得部１１０は、被評価者Ｕが発した音節又は定型文を、音声データとして取得する。

次に、抽出部１２０は、Ｓ／Ｎ比が第１閾値よりも大きい場合に、取得部１１０が取得した音声データから韻律特徴量を抽出し、Ｓ／Ｎ比が第１閾値以下の場合に、音圧調整部１１６が出力した音声データから韻律特徴量を抽出する（ステップＳ１０３）。

例えば、取得部１１０が取得した音声データが、「えをかくことにきめたよ」を発話した音声から得られる音声データの場合、抽出部１２０は、音圧較差、第一フォルマント周波数、第二フォルマント周波数、第一フォルマント周波数の変化量、第二フォルマント周波数の変化量、第一フォルマント周波数の時間変化、第二フォルマント周波数の時間変化及び話速度を韻律特徴量として抽出する。これについて、図５Ａ及び図５Ｂを用いて説明する。

図５Ａは、被評価者Ｕが「えをかくことにきめたよ」と発話した音声を示す音声データの一例を示す図である。図５Ａに示すグラフの横軸は時間であり、縦軸はパワー（音圧）である。なお、図５Ａのグラフの縦軸に示すパワーの単位は、デシベル（ｄＢ）である。

図５Ａに示すグラフには、「え」、「を」、「か」、「く」、「こ」、「と」、「に」、「き」、「め」、「た」、「よ」に対応する音圧の変化が確認される。取得部１１０は、図３Ａに示すステップＳ１０２において、被評価者Ｕから図５Ａに示す音声データを取得する。取得された音声データでは、Ｓ／Ｎ比算出部によってＳ／Ｎ比が算出され、算出されたＳ／Ｎ比に応じて、抽出部１２０に供される音声データが、取得部１１０が取得した音声データ、又は、音圧調整部１１６が出力した音声データのいずれかに決定される。

抽出部１２０は、例えば、図３Ａに示すステップＳ１０３において、既知の方法により、図５Ａに示す音声データに含まれる「か（ｋａ）」における「ｋ」及び「ａ」の各音圧、「こ（ｋｏ）」における「ｋ」及び「ｏ」の各音圧、「と（ｔｏ）」における「ｔ」及び「ｏ」の各音圧、「た（ｔａ）」における「ｔ」及び「ａ」の各音圧を抽出する。抽出部１２０は、抽出した「ｋ」及び「ａ」の各音圧から、「ｋ」及び「ａ」の音圧較差Ｄｉｆｆ＿Ｐ（ｋａ）を韻律特徴量として抽出する。同じように、抽出部１２０は、「ｋ」及び「ｏ」の音圧較差Ｄｉｆｆ＿Ｐ（ｋｏ）、「ｔ」及び「ｏ」の音圧較差Ｄｉｆｆ＿Ｐ（ｔｏ）、「ｔ」及び「ａ」の音圧較差Ｄｉｆｆ＿Ｐ（ｔａ）を韻律特徴量として抽出する。例えば、音圧較差によって、飲み込みの力（舌が口蓋に接触する圧力）又は食べ物をまとめる力に関する口腔機能を評価することができる。また、「ｋ」を含む音圧較差によって、喉への飲食物の流入防止能力に関する口腔機能も評価することができる。

図５Ｂは、被評価者Ｕが「えをかくことにきめたよ」と発話した音声のフォルマント周波数の変化の一例を示す図である。具体的には、図５Ｂは、第一フォルマント周波数及び第二フォルマント周波数の変化の一例を説明するためのグラフである。

第一フォルマント周波数は、人の音声の低周波数側から数えて１番目に見られる振幅のピーク周波数であり、口の開閉に関する特徴が反映されやすいことが知られている。第二フォルマント周波数は、人の音声の低周波数側から数えて２番目に見られる振幅のピーク周波数であり、舌の前後の動きに関する影響が反映されやすいことが知られている。

抽出部１２０は、被評価者Ｕが発話した音声を示す音声データから、複数の母音それぞれの第一フォルマント周波数及び第二フォルマント周波数を韻律特徴量として抽出する。例えば、抽出部１２０は、「えを」における、母音「ｅ」に対応する第二フォルマント周波数Ｆ２ｅ及び母音「ｏ」に対応する第二フォルマント周波数Ｆ２ｏを韻律特徴量として抽出する。また、例えば、抽出部１２０は、「きめた」における、母音「ｉ」に対応する第一フォルマント周波数Ｆ１ｉ、母音「ｅ」に対応する第一フォルマント周波数Ｆ１ｅ及び母音「ａ」に対応する第一フォルマント周波数Ｆ１ａを韻律特徴量として抽出する。

さらに、抽出部１２０は、母音が連続した文字列の第一フォルマント周波数の変化量と第二フォルマント周波数の変化量を韻律特徴量として抽出する。例えば、抽出部１２０は、第二フォルマント周波数Ｆ２ｅ及び第二フォルマント周波数Ｆ２ｏの変化量（Ｆ２ｅ－Ｆ２ｏ）、ならびに、第一フォルマント周波数Ｆ１ｉ、第一フォルマント周波数Ｆ１ｅ及び第一フォルマント周波数Ｆ１ａの変化量（Ｆ１ｅ－Ｆ１ｉ、Ｆ１ａ－Ｆ１ｅ、Ｆ１ａ－Ｆ１ｉ）を韻律特徴量として抽出する。

さらに、抽出部１２０は、母音が連続した文字列の第一フォルマント周波数の時間変化と第二フォルマント周波数の時間変化を韻律特徴量として抽出する。例えば、抽出部１２０は、第二フォルマント周波数Ｆ２ｅ及び第二フォルマント周波数Ｆ２ｏの時間変化、ならびに、第一フォルマント周波数Ｆ１ｉ、第一フォルマント周波数Ｆ１ｅ及び第一フォルマント周波数Ｆ１ａの時間変化を韻律特徴量として抽出する。図５Ｂには、第一フォルマント周波数Ｆ１ｉ、第一フォルマント周波数Ｆ１ｅ及び第一フォルマント周波数Ｆ１ａの時間変化の一例を示しており、当該時間変化は、ΔＦ１／ΔＴｉｍｅである。このΔＦ１は、Ｆ１ａ－Ｆ１ｉである。

例えば、第二フォルマント周波数、第二フォルマント周波数の変化量又は第二フォルマント周波数の時間変化によって、食べ物をまとめる動き（舌の前後左右の動き）に関する口腔機能を評価することができる。また、例えば、第一フォルマント周波数、第一フォルマント周波数の変化量又は第一フォルマント周波数の時間変化によって、食べ物を粉砕する能力に関する口腔機能を評価することができる。また、第一フォルマント周波数の時間変化によって、早く口を動かす能力に関する口腔機能を評価することができる。

また、図５Ａに示すように、抽出部１２０は、話速度を韻律特徴量として抽出してもよい。例えば、抽出部１２０は、被評価者Ｕが「えをかくことにきめたよ」を発話し始めてから発話し終わるまでの時間を韻律特徴量として抽出してもよい。また、例えば、抽出部１２０は、「えをかくことにきめたよ」の全てを発話し終わるまでの時間に限らず、「えをかくことにきめたよ」の特定の部分を発話し始めてから発話し終わるまでの時間を韻律特徴量として抽出してもよい。また、例えば、抽出部１２０は、「えをかくことにきめたよ」の全て又は特定の部分の１語又は複数語を発話するのにかかる平均時間を韻律特徴量として抽出してもよい。例えば、話速度によって、飲み込みの動き、食べ物をまとめる動き又は舌の巧緻性に関する口腔機能を評価することができる。

例えば、取得部１１０が取得した音声データが、「からからから・・・」と繰り返し発話した音声から得られる音声データの場合、抽出部１２０は、音圧較差の時間変化を韻律特徴量として抽出する。これについて、図６を用いて説明する。

図６は、被評価者Ｕが「からからから・・・」と繰り返し発話した音声を示す音声データの一例を示す図である。図６に示すグラフの横軸は時間であり、縦軸はパワー（音圧）である。なお、図６のグラフの縦軸に示すパワーの単位は、デシベル（ｄＢ）である。

図６に示すグラフには、「か」、「ら」に対応する音圧の変化が確認される。取得部１１０は、図３Ａに示すステップＳ１０２において、被評価者Ｕから図６に示す音声データを取得する。抽出部１２０は、例えば、図３Ａに示すステップＳ１０３において、既知の方法により、図６に示す音声データに含まれる「か（ｋａ）」における「ｋ」及び「ａ」の各音圧、「ら（ｒａ）」における「ｒ」及び「ａ」の各音圧を抽出する。抽出部１２０は、抽出した「ｋ」及び「ａ」の各音圧から、「ｋ」及び「ａ」の音圧較差Ｄｉｆｆ＿Ｐ（ｋａ）を韻律特徴量として抽出する。同じように、抽出部１２０は、「ｒ」及び「ａ」の音圧較差Ｄｉｆｆ＿Ｐ（ｒａ）を韻律特徴量として抽出する。例えば、抽出部１２０は、繰り返し発話される「から」のそれぞれについて、音圧較差Ｄｉｆｆ＿Ｐ（ｋａ）及び音圧較差Ｄｉｆｆ＿Ｐ（ｒａ）を韻律特徴量として抽出する。そして、抽出部１２０は、抽出した音圧較差Ｄｉｆｆ＿Ｐ（ｋａ）のそれぞれから、音圧較差Ｄｉｆｆ＿Ｐ（ｋａ）の時間変化を韻律特徴量として抽出し、抽出した音圧較差Ｄｉｆｆ＿Ｐ（ｒａ）のそれぞれから、音圧較差Ｄｉｆｆ＿Ｐ（ｒａ）の時間変化を韻律特徴量として抽出する。例えば、音圧較差の時間変化によって、飲み込みの動き、食べ物をまとめる動き又は食べ物を粉砕する能力に関する口腔機能を評価することができる。

なお、抽出部１２０は、音圧の時間変化を韻律特徴量として抽出してもよい。例えば、「からからから・・・」と繰り返し発話される際の各「から」における最小の音圧（「ｋ」の音圧）の時間変化が抽出されてもよいし、各「から」における最大の音圧（「ａ」の音圧）の時間変化が抽出されてもよいし、各「から」における「か」と「ら」の間の音圧（「ｒ」の音圧）の時間変化が抽出されてもよい。例えば、音圧の時間変化によって、飲み込みの動き、食べ物をまとめる動き又は食べ物を粉砕する能力に関する口腔機能を評価することができる。

また、図６に示すように、抽出部１２０は、所定の時間あたりに「から」を発声できた回数である繰り返し回数を特徴量として抽出してもよい。所定の時間は特に限定されないが、５秒等である。例えば、所定の時間あたりの繰り返し回数によって、飲み込みの動き又は食べ物をまとめる動きに関する口腔機能を評価することができる。

例えば、取得部１１０が取得した音声データが、「いったい」を発話した音声から得られる音声データの場合、抽出部１２０は、音圧較差及び破裂音の時間を韻律特徴量として抽出する。これについて、図７を用いて説明する。

図７は、被評価者Ｕが「いったい」と発話した音声を示す音声データの一例を示す図である。ここでは、「いったいいったい・・・」と繰り返し発話した音声を示す音声データの一例を示している。図７に示すグラフの横軸は時間であり、縦軸はパワー（音圧）である。なお、図７のグラフの縦軸に示すパワーの単位は、デシベル（ｄＢ）である。

図７に示すグラフには、「い」、「っ」、「た」、「い」に対応する音圧の変化が確認される。取得部１１０は、図３Ａに示すステップＳ１０２において、被評価者Ｕから図７に示す音声データを取得する。抽出部１２０は、例えば、図３Ａに示すステップＳ１０３において、既知の方法により、図７に示す音声データに含まれる「た（ｔａ）」における「ｔ」及び「ａ」の各音圧を抽出する。抽出部１２０は、抽出した「ｔ」及び「ａ」の各音圧から、「ｔ」及び「ａ」の音圧較差Ｄｉｆｆ＿Ｐ（ｔａ）を韻律特徴量として抽出する。例えば、音圧較差によって、飲み込みの力又は食べ物をまとめる力に関する口腔機能を評価することができる。また、抽出部１２０は、破裂音の時間Ｔｉｍｅ（ｉ－ｔａ）（「ｉ」と「ｔａ」の間の破裂音の時間）を韻律特徴量として抽出する。例えば、破裂音の時間によって、飲み込みの動き、食べ物をまとめる動き又は舌の安定した動きに関する口腔機能を評価することができる。

なお、発話される音節又は定型文として日本語での音節又は定型文を例にあげて説明したが、日本語に限らずどのような言語であってもよい。

図８は、日本語の音節又は定型文と、発音の際の舌の動き又は口の開閉の程度が類似する中国語の音節又は定型文の一例を示す図である。

世界には様々な言語が存在するが、発音の際の舌の動き又は口の開閉の程度が類似するものが存在する。例えば、中国語の
（以下、ｇａｏ ｄａｏ ｗｕ ｄａ ｋａ ｊｉ ｋｅ ｄａ ｙｉ ｗｕ ｚｈｅと記載する）を発音する際の発音の際の舌の動き又は口の開閉の程度は、日本語の「えをかくことにきめたよ」を発音する際の発音の際の舌の動き又は口の開閉の程度と類似しているため、日本語の「えをかくことにきめたよ」と類似する韻律特徴量を抽出することができる。なお、本明細書では声調符号の記載を省略している。図８には、日本語及び中国語について、発音の際の舌の動き又は口の開閉の程度が類似する音節又は定型文の例が参考までにいくつか示されている。

また、世界に存在する様々な言語に、発音の際の舌の動き又は口の開閉の程度が類似するものが存在することについて、図９Ａ及び図９Ｂを用いて簡単に説明する。

図９Ａは、母音の国際音声記号を示す図である。

図９Ｂは、子音の国際音声記号を示す図である。

図９Ａに示す母音の国際音声記号の位置関係は、横方向は舌の前後の動きを示しており、近いほど舌の前後の動きが類似し、縦方向は口の開閉の程度を示しており、近いほど口の開閉の程度が類似する。図９Ｂに示す子音の国際音声記号の表は、横方向は、唇から喉までの、発音の際に使用する部位を示しており、表の同じマス目にある国際音声記号によって同じ音を同じ部位を使用して発音することができる。このため、世界に存在する様々な言語について、本発明を適用することができる。

例えば、口の開閉を大きくしたい場合には、図９Ａに示す縦方向に離れた国際音声記号（例えば「ｉ」と「ａ」）が連続したものが音節又は定型文に含むようにする。これにより、韻律特徴量として第一フォルマント周波数の変化量を大きくすることができる。また、例えば、舌の前後の位置を大きくしたい場合には、図９Ａに示す横方向に離れた国際音声記号（例えば「ｉ」と「ｕ」）が連続したものが音節又は定型文に含むようにする。これにより、韻律特徴量として第二フォルマント周波数の変化量を大きくすることができる。

例えば、取得部１１０が取得した音声データが、「ｇａｏ ｄａｏ ｗｕ ｄａ ｋａ ｊｉ ｋｅ ｄａ ｙｉ ｗｕ ｚｈｅ」を発話した音声から得られる音声データの場合、抽出部１２０は、音圧較差、第一フォルマント周波数、第二フォルマント周波数、第一フォルマント周波数の変化量、第二フォルマント周波数の変化量、第一フォルマント周波数の時間変化、第二フォルマント周波数の時間変化及び話速度を韻律特徴量として抽出する。これについて、図１０Ａ及び図１０Ｂを用いて説明する。

図１０Ａは、被評価者Ｕが「ｇａｏ ｄａｏ ｗｕ ｄａ ｋａ ｊｉ ｋｅ ｄａ ｙｉ ｗｕ ｚｈｅ」と発話した音声を示す音声データの一例を示す図である。図１０Ａに示すグラフの横軸は時間であり、縦軸はパワー（音圧）である。なお、図１０Ａのグラフの縦軸に示すパワーの単位は、デシベル（ｄＢ）である。

図１０Ａに示すグラフには、「ｇａｏ」、「ｄａｏ」、「ｗｕ」、「ｄａ」、「ｋａ」、「ｊｉ」、「ｋｅ」、「ｄａ」、「ｙｉ」、「ｗｕ」、「ｚｈｅ」に対応する音圧の変化が確認される。取得部１１０は、図３Ａに示すステップＳ１０２において、被評価者Ｕから図１０Ａに示す音声データを取得する。抽出部１２０は、例えば、図３Ａに示すステップＳ１０３において、既知の方法により、図１０Ａに示す音声データに含まれる「ｄａｏ」における「ｄ」及び「ａ」の各音圧、「ｋａ」における「ｋ」及び「ａ」の各音圧、「ｋｅ」における「ｋ」及び「ｅ」の各音圧、「ｚｈｅ」における「ｚｈ」及び「ｅ」の各音圧を抽出する。抽出部１２０は、抽出した「ｄ」及び「ａ」の各音圧から、「ｄ」及び「ａ」の音圧較差Ｄｉｆｆ＿Ｐ（ｄａ）を韻律特徴量として抽出する。同じように、抽出部１２０は、「ｋ」及び「ａ」の音圧較差Ｄｉｆｆ＿Ｐ（ｋａ）、「ｋ」及び「ｅ」の音圧較差Ｄｉｆｆ＿Ｐ（ｋｅ）、「ｚｈ」及び「ｅ」の音圧較差Ｄｉｆｆ＿Ｐ（ｚｈｅ）を韻律特徴量として抽出する。例えば、音圧較差によって、飲み込みの力又は食べ物をまとめる力に関する口腔機能を評価することができる。また、「ｋ」を含む音圧較差によって、喉への飲食物の流入防止能力に関する口腔機能も評価することができる。

図１０Ｂは、被評価者Ｕが「ｇａｏ ｄａｏ ｗｕ ｄａ ｋａ ｊｉ ｋｅ ｄａ ｙｉ ｗｕ ｚｈｅ」と発話した音声のフォルマント周波数の変化の一例を示す図である。具体的には、図１０Ｂは、第一フォルマント周波数及び第二フォルマント周波数の変化の一例を説明するためのグラフである。

抽出部１２０は、被評価者Ｕが発話した音声を示す音声データから、複数の母音それぞれの第一フォルマント周波数及び第二フォルマント周波数を韻律特徴量として抽出する。例えば、抽出部１２０は、「ｊｉ」における母音「ｉ」に対応する第一フォルマント周波数Ｆ１ｉ、「ｋｅ」における母音「ｅ」に対応する第一フォルマント周波数Ｆ１ｅ及び「ｄａ」における母音「ａ」に対応する第一フォルマント周波数Ｆ１ａを韻律特徴量として抽出する。また、例えば、抽出部１２０は、「ｙｉ」における母音「ｉ」に対応する第二フォルマント周波数Ｆ２ｉ及び「ｗｕ」における母音「ｕ」に対応する第二フォルマント周波数Ｆ２ｕを韻律特徴量として抽出する。

さらに、抽出部１２０は、母音が連続した文字列の第一フォルマント周波数の変化量と第二フォルマント周波数の変化量を韻律特徴量として抽出する。例えば、抽出部１２０は、第一フォルマント周波数Ｆ１ｉ、第一フォルマント周波数Ｆ１ｅ及び第一フォルマント周波数Ｆ１ａの変化量（Ｆ１ｅ－Ｆ１ｉ、Ｆ１ａ－Ｆ１ｅ、Ｆ１ａ－Ｆ１ｉ）、ならびに、第二フォルマント周波数Ｆ２ｉ及び第二フォルマント周波数Ｆ２ｕの変化量（Ｆ２ｉ－Ｆ２ｕ）を韻律特徴量として抽出する。

さらに、抽出部１２０は、母音が連続した文字列の第一フォルマント周波数の時間変化と第二フォルマント周波数の時間変化を韻律特徴量として抽出する。例えば、抽出部１２０は、第一フォルマント周波数Ｆ１ｉ、第一フォルマント周波数Ｆ１ｅ及び第一フォルマント周波数Ｆ１ａの時間変化、ならびに、第二フォルマント周波数Ｆ２ｉ及び第二フォルマント周波数Ｆ２ｕの時間変化を韻律特徴量として抽出する。

例えば、第二フォルマント周波数、第二フォルマント周波数の変化量又は第二フォルマント周波数の時間変化によって、食べ物をまとめる動きに関する口腔機能を評価することができる。また、例えば、第一フォルマント周波数、第一フォルマント周波数の変化量又は第一フォルマント周波数の時間変化によって、食べ物を粉砕する能力に関する口腔機能を評価することができる。また、第一フォルマント周波数の時間変化によって、早く口を動かす能力に関する口腔機能を評価することができる。

また、図１０Ａに示すように、抽出部１２０は、話速度を韻律特徴量として抽出してもよい。例えば、抽出部１２０は、被評価者Ｕが「ｇａｏ ｄａｏ ｗｕ ｄａ ｋａ ｊｉ ｋｅ ｄａ ｙｉ ｗｕ ｚｈｅ」を発話し始めてから発話し終わるまでの時間を韻律特徴量として抽出してもよい。また、例えば、抽出部１２０は、「ｇａｏ ｄａｏ ｗｕ ｄａ ｋａ ｊｉ ｋｅ ｄａ ｙｉ ｗｕ ｚｈｅ」の全てを発話し終わるまでの時間に限らず、「ｇａｏ ｄａｏ ｗｕ ｄａ ｋａ ｊｉ ｋｅ ｄａ ｙｉ ｗｕ ｚｈｅ」の特定の部分を発話し始めてから発話し終わるまでの時間を韻律特徴量として抽出してもよい。また、例えば、抽出部１２０は、「ｇａｏ ｄａｏ ｗｕ ｄａ ｋａ ｊｉ ｋｅ ｄａ ｙｉ ｗｕ ｚｈｅ」の全て又は特定の部分の１語又は複数語を発話するのにかかる平均時間を韻律特徴量として抽出してもよい。例えば、話速度によって、飲み込みの動き、食べ物をまとめる動き又は舌の巧緻性に関する口腔機能を評価することができる。

図３Ａでの説明に戻り、算出部１３０は、抽出された韻律特徴量と、複数の学習データに基づいて算出された口腔機能の推定式とに基づいて、被評価者Ｕの口腔機能の推定値を算出する（ステップＳ１０４）。

口腔機能の推定式は、予め、複数の被験者に対して行った評価結果を元に設定されている。被験者が発話した音声特徴量を収集し、また、被験者の口腔機能を実際に診断し、音声特徴量と診断結果との間の相関を重回帰式などを利用して統計的解析により設定する。代表値として用いる音声特徴量の選び方によって、推定式は異なる種類を生成できる。このようにして、予め、推定式を生成できる。

また、音声特徴量と診断結果との間の相関関係を表すために、機械学習を利用して設定しても構わない。機械学習の手法として、ロジスティクス回帰、SVM (Support Vector Machine)、ランダムフォレストなどがある。

例えば、推定式は、口腔機能の要素に対応する係数、及び、抽出された韻律特徴量が代入され、上記係数が掛けられる変数を含むように構成することができる。以下の式１から式５は、推定式の一例である。

舌苔付着度の推定値＝（Ａ１×Ｆ２ｅ）＋（Ｂ１×Ｆ２ｏ）＋（Ｃ１×Ｆ１ｉ）＋（Ｄ１×Ｆ１ｅ）＋（Ｅ１×Ｆ１ａ）＋（Ｆ１×Ｄｉｆｆ＿Ｐ（ｋａ））＋（Ｇ１×Ｄｉｆｆ＿Ｐ（ｋｏ））＋（Ｈ１×Ｄｉｆｆ＿Ｐ（ｔｏ））＋（Ｊ１×Ｄｉｆｆ＿Ｐ（ｔａ））＋（Ｋ１×Ｄｉｆｆ＿Ｐ（ｋａ））＋（Ｌ１×Ｄｉｆｆ＿Ｐ（ｒａ））＋（Ｍ１×Ｎｕｍ（ｋａｒａ））＋（Ｎ１×Ｄｉｆｆ＿Ｐ（ｔａ））＋（Ｐ１×Ｔｉｍｅ（ｉ－ｔａ））＋Ｑ１
（式１）

口腔粘膜湿潤度の推定値＝（Ａ２×Ｆ２ｅ）＋（Ｂ２×Ｆ２ｏ）＋（Ｃ２×Ｆ１ｉ）＋（Ｄ２×Ｆ１ｅ）＋（Ｅ２×Ｆ１ａ）＋（Ｆ２×Ｄｉｆｆ＿Ｐ（ｋａ））＋（Ｇ２×Ｄｉｆｆ＿Ｐ（ｋｏ））＋（Ｈ２×Ｄｉｆｆ＿Ｐ（ｔｏ））＋（Ｊ２×Ｄｉｆｆ＿Ｐ（ｔａ））＋（Ｋ２×Ｄｉｆｆ＿Ｐ（ｋａ））＋（Ｌ２×Ｄｉｆｆ＿Ｐ（ｒａ））＋（Ｍ２×Ｎｕｍ（ｋａｒａ））＋（Ｎ２×Ｄｉｆｆ＿Ｐ（ｔａ））＋（Ｐ２×Ｔｉｍｅ（ｉ－ｔａ））＋Ｑ２
（式２）

咬合力の推定値＝（Ａ３×Ｆ２ｅ）＋（Ｂ３×Ｆ２ｏ）＋（Ｃ３×Ｆ１ｉ）＋（Ｄ３×Ｆ１ｅ）＋（Ｅ３×Ｆ１ａ）＋（Ｆ３×Ｄｉｆｆ＿Ｐ（ｋａ））＋（Ｇ３×Ｄｉｆｆ＿Ｐ（ｋｏ））＋（Ｈ３×Ｄｉｆｆ＿Ｐ（ｔｏ））＋（Ｊ３×Ｄｉｆｆ＿Ｐ（ｔａ））＋（Ｋ３×Ｄｉｆｆ＿Ｐ（ｋａ））＋（Ｌ３×Ｄｉｆｆ＿Ｐ（ｒａ））＋（Ｍ３×Ｎｕｍ（ｋａｒａ））＋（Ｎ３×Ｄｉｆｆ＿Ｐ（ｔａ））＋（Ｐ３×Ｔｉｍｅ（ｉ－ｔａ））＋Ｑ３
（式３）

舌圧の推定値＝（Ａ４×Ｆ２ｅ）＋（Ｂ４×Ｆ２ｏ）＋（Ｃ４×Ｆ１ｉ）＋（Ｄ４×Ｆ１ｅ）＋（Ｅ４×Ｆ１ａ）＋（Ｆ４×Ｄｉｆｆ＿Ｐ（ｋａ））＋（Ｇ４×Ｄｉｆｆ＿Ｐ（ｋｏ））＋（Ｈ４×Ｄｉｆｆ＿Ｐ（ｔｏ））＋（Ｊ４×Ｄｉｆｆ＿Ｐ（ｔａ））＋（Ｋ４×Ｄｉｆｆ＿Ｐ（ｋａ））＋（Ｌ４×Ｄｉｆｆ＿Ｐ（ｒａ））＋（Ｍ４×Ｎｕｍ（ｋａｒａ））＋（Ｎ４×Ｄｉｆｆ＿Ｐ（ｔａ））＋（Ｐ４×Ｔｉｍｅ（ｉ－ｔａ））＋Ｑ４ （式４）

咀嚼機能の推定値＝（Ａ５×Ｆ２ｅ）＋（Ｂ５×Ｆ２ｏ）＋（Ｃ５×Ｆ１ｉ）＋（Ｄ５×Ｆ１ｅ）＋（Ｅ５×Ｆ１ａ）＋（Ｆ５×Ｄｉｆｆ＿Ｐ（ｋａ））＋（Ｇ５×Ｄｉｆｆ＿Ｐ（ｋｏ））＋（Ｈ５×Ｄｉｆｆ＿Ｐ（ｔｏ））＋（Ｊ５×Ｄｉｆｆ＿Ｐ（ｔａ））＋（Ｋ５×Ｄｉｆｆ＿Ｐ（ｋａ））＋（Ｌ５×Ｄｉｆｆ＿Ｐ（ｒａ））＋（Ｍ５×Ｎｕｍ（ｋａｒａ））＋（Ｎ５×Ｄｉｆｆ＿Ｐ（ｔａ））＋（Ｐ５×Ｔｉｍｅ（ｉ－ｔａ））＋Ｑ５
（式５）

Ａ１、Ｂ１、Ｃ１、・・・、Ｐ１、Ａ２、Ｂ２、Ｃ２、・・・、Ｐ２、Ａ３、Ｂ３、Ｃ３、・・・、Ｐ３、Ａ４、Ｂ４、Ｃ４、・・・、Ｐ４、Ａ５、Ｂ５、Ｃ５、・・・、Ｐ５、は、係数であり、具体的には、口腔機能の要素に対応する係数である。例えば、Ａ１、Ｂ１、Ｃ１、・・・、Ｐ１は、口腔機能の要素の１つである舌苔付着度に対応する係数であり、Ａ２、Ｂ２、Ｃ２、・・・、Ｐ２は、口腔機能の要素の１つである口腔粘膜湿潤度に対応する係数であり、Ａ３、Ｂ３、Ｃ３、・・・、Ｐ３は、口腔機能の要素の１つである咬合力に対応する係数であり、Ａ４、Ｂ４、Ｃ４、・・・、Ｐ４は、口腔機能の要素の１つである舌圧に対応する係数であり、Ａ５、Ｂ５、Ｃ５、・・・、Ｐ５は、口腔機能の要素の１つである咀嚼機能に対応する係数である。

Ｑ１は舌苔付着度に対応する定数であり、Ｑ２は口腔粘膜湿潤度に対応する定数であり、Ｑ３は咬合力に対応する定数であり、Ｑ４は舌圧に対応する定数であり、Ｑ５は咀嚼機能に対応する定数である。

Ａ１、Ａ２、Ａ３、Ａ４、Ａ５が掛けられるＦ２ｅと、Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５が掛けられるＦ２ｏとは、被評価者Ｕが「えをかくことにきめたよ」と発話したときの発話データから抽出された韻律特徴量である第二フォルマント周波数が代入される変数である。Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５が掛けられるＦ１ｉと、Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５が掛けられるＦ１ｅと、Ｅ１、Ｅ２、Ｅ３、Ｅ４、Ｅ５が掛けられるＦ１ａとは、被評価者Ｕが「えをかくことにきめたよ」と発話したときの発話データから抽出された韻律特徴量である第一フォルマント周波数が代入される変数である。Ｆ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５が掛けられるＤｉｆｆ＿Ｐ（ｋａ）と、Ｇ１、Ｇ２、Ｇ３、Ｇ４、Ｇ５が掛けられるＤｉｆｆ＿Ｐ（ｋｏ）と、Ｈ１、Ｈ２、Ｈ３、Ｈ４、Ｈ５が掛けられるＤｉｆｆ＿Ｐ（ｔｏ）と、Ｊ１、Ｊ２、Ｊ３、Ｊ４、Ｊ５が掛けられるＤｉｆｆ＿Ｐ（ｔａ）とは、被評価者Ｕが「えをかくことにきめたよ」と発話したときの発話データから抽出された韻律特徴量である音圧較差が代入される変数である。Ｋ１、Ｋ２、Ｋ３、Ｋ４、Ｋ５が掛けられるＤｉｆｆ＿Ｐ（ｋａ）と、Ｌ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５が掛けられるＤｉｆｆ＿Ｐ（ｒａ）とは、被評価者Ｕが「から」と発話したときの発話データから抽出された韻律特徴量である音圧較差が代入される変数である。Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５が掛けられるＮｕｍ（ｋａｒａ）とは、被評価者Ｕが一定期間内に「から」と繰り返し発話したときの発話データから抽出された韻律特徴量である繰り返し回数が代入される変数である。Ｎ１、Ｎ２、Ｎ３、Ｎ４、Ｎ５が掛けられるＤｉｆｆ＿Ｐ（ｔａ）は、被評価者Ｕが「いったい」と発話したときの発話データから抽出された韻律特徴量である音圧較差が代入される変数である。Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５が掛けられるＴｉｍｅ（ｉ－ｔａ）は、被評価者Ｕが「いったい」と発話したときの発話データから抽出された韻律特徴量である破裂音の時間が代入される変数である。

上記式１から式５に示されるように、例えば、算出部１３０は、被評価者Ｕの口腔機能の要素（例えば、舌苔付着度、口腔粘膜湿潤度、咬合力、舌圧及び咀嚼機能）毎に推定値を算出する。なお、これらの口腔機能の要素は一例であり、口腔機能の要素には、被評価者Ｕの舌苔付着度、口腔粘膜湿潤度、咬合力、舌圧、頬圧、残存歯数、嚥下機能及び咀嚼機能の少なくとも１つが含まれていればよい。

また、例えば、抽出部１２０は、複数種類の音節又は定型文（例えば、上記式１から式５では、「えをかくことにきめたよ」、「から」及び「いったい」）を被評価者Ｕが発話した音声を集音することで取得された音声データから複数の韻律特徴量を抽出し、算出部１３０は、抽出された複数の韻律特徴量と推定式とに基づいて、口腔機能の推定値を算出する。算出部１３０は、複数種類の音節又は定型文の音声データから抽出された複数の韻律特徴量を１つの推定式に代入することで、口腔機能の推定値を精度よく算出することができる。

なお、推定式として一次式が示されているが、推定式は二次式等の多次式であってもよい。

次に、評価部１４０は、算出部１３０により算出された推定値を、口腔機能評価指標を用いて判定することで、被評価者Ｕの口腔機能の低下状態を評価する（ステップＳ１０５）。例えば、評価部１４０は、算出された口腔機能の要素毎の推定値を、口腔機能の要素毎に定められた口腔機能評価指標を用いて判定することで、被評価者Ｕの口腔機能の低下状態を口腔機能の要素毎に評価する。口腔機能評価指標は、口腔機能を評価するための指標であり、例えば、口腔機能が低下していると判定する条件である。口腔機能評価指数について、図１１を用いて説明する。

図１１は、口腔機能評価指標の一例を示す図である。

口腔機能評価指標は、口腔機能の要素毎に定められる。例えば、舌苔付着度に対して５０％以上という指標が定められ、口腔粘膜湿潤度に対して２７以下という指標が定められ、咬合力に対して５００Ｎ未満という指標が定められ（株式会社ジーシーのデンタルプレスケールＩＩを利用した場合）、舌圧に対して３０ｋＰａ未満という指標が定められ、咀嚼機能に対して１００ｍｇ／ｄＬ未満という指標が定められる（指標については、日本歯科医学会の「口腔機能低下症に関する基本的な考え方（https://www.jads.jp/basic/pdf/document_02.pdf）」を参照）。評価部１４０は、算出された口腔機能の要素毎の推定値と、口腔機能の要素毎に定められた口腔機能評価指標とを比較することで、被評価者Ｕの口腔機能の低下状態を口腔機能の要素毎に評価する。例えば、算出された舌苔付着度の推定値が５０％以上である場合、口腔機能の要素として口腔衛生が低下状態となっていると評価される。同じように、算出された口腔粘膜湿潤度の推定値が２７以下である場合、口腔機能の要素として口腔粘膜湿潤度が低下状態となっていると評価され、算出された咬合力の推定値が５００Ｎ未満である場合、口腔機能の要素として咬合力が低下状態となっていると評価され、算出された舌圧の推定値が３０ｋＰａ未満である場合、口腔機能の要素として舌圧が低下状態となっていると評価され、算出された咀嚼機能の推定値が１００ｍｇ／ｄＬ未満である場合、口腔機能の要素として咀嚼機能が低下状態となっていると評価される。なお、舌苔付着度、口腔粘膜湿潤度、咬合力、舌圧及び咀嚼機能に対して定められる口腔機能評価指標として、図１１に示されるものは一例であり、これに限らない。例えば、咀嚼機能に対して残歯の指標が定められてもよい。また、口腔機能の要素として舌苔付着度、口腔粘膜湿潤度、咬合力、舌圧及び咀嚼機能を示しているが、これらは一例である。例えば、舌口唇運動機能低下に対しては、舌の動き、唇の動き、唇の強さなどの口腔機能の要素がある。

図３Ａでの説明に戻り、出力部１５０は、評価部１４０が評価した被評価者Ｕの口腔機能の評価結果を出力する（ステップＳ１０６）。例えば、出力部１５０は、評価結果を携帯端末３００へ出力する。この場合、出力部１５０は、例えば、有線通信又は無線通信を行う通信インターフェースを含んでいてもよく、評価結果に対応する画像の画像データを記憶部１７０から取得して、携帯端末３００へ取得した画像データを送信する。当該画像データ（評価結果）の一例を図１２及び図１３に示す。

図１２及び図１３は、口腔機能の要素毎の評価結果の一例を示す図である。図１２に示すように、評価結果は、ＯＫ又はＮＧの２段階の評価結果であってもよい。ＯＫは正常を意味し、ＮＧは異常を意味する。なお、口腔機能の要素毎に正常、異常が示されなくてもよく、例えば、低下の疑いのある要素の評価結果だけが示されてもよい。また、評価結果は、２段階の評価結果に限らず、評価の程度が３段階以上に分かれた細かい評価結果であってもよい。この場合、記憶部１７０に記憶された指標データ１７２には、１つの要素に対して複数の指標が含まれていてもよい。また、図１３に示すように、評価結果は、レーダーチャートで表現されてもよい。図１２及び図１３には、口腔機能の要素として、口の清潔さ、食べ物をまとめる力、硬いものを噛む力、舌の力及びあごの動きが示されている。口の清潔さは舌苔付着度、食べ物をまとめる力は口腔粘膜湿潤度、硬いものを噛む力は咬合力、舌の力は舌圧、あごの動きは咀嚼機能の推定値を基にして、それぞれ評価結果が提示されている。なお、図１２及び図１３は、一例であり、評価項目の文言、口腔機能の項目、また、これらの対応する組み合わせは図１２及び図１３に示されるものに限らない。

図３Ａでの説明に戻り、提案部１６０は、算出部１３０により算出された推定値を、予め定められたデータ（提案データ１７３）に照合することで、被評価者Ｕの口腔機能に関する提案を行う（ステップＳ１０７）。ここで、予め定められたデータについて、図１４を用いて説明する。

図１４は、口腔機能に関する提案を行う際に用いられる予め定められたデータ（提案データ１７３）の一例である。

図１４に示すように、提案データ１７３は、口腔機能の要素毎に評価結果と提案内容とが対応付けられたデータである。例えば、提案部１６０は、算出された口の清潔さの推定値が５０％未満である場合には、指標を満たしているので、ＯＫと判断し、口の清潔さに対応付けられた提案内容による提案を行う。なお、具体的な提案内容については記載を省略しているが、例えば、記憶部１７０は、提案内容を示すデータ（例えば、画像、動画、音声、テキスト等）を含み、提案部１６０は、このようなデータを用いて被評価者Ｕへ口腔機能に関する提案を行う。

［効果等］
以上説明したように、本開示の第１態様に係る音声特徴量算出方法は、コンピュータによって実行され、被評価者Ｕが発話した音声から、被評価者Ｕの音声の韻律特徴量（特徴量）を算出するための音声特徴量算出方法であって、被評価者Ｕが発話した音声を集音することで得られる音声データを取得し、取得した音声データにおいて被評価者Ｕが音声を発していない期間に集音された音の第１平均強度に基づいて、音声データにおける音圧を調整し、音圧の調整後の音声データから少なくとも音圧に関する特徴量を含む韻律特徴量を算出する。

これによれば、被評価者Ｕが発話した音声から算出される音圧に関する特徴量が、例えば、口腔機能の評価等の用途において、そのまま使用するのに適していない場合などに、音圧の調整後の音声データから、音圧に関する特徴量が適切である韻律特徴量を算出することができる。これにより、算出される音圧に関する特徴量が、例えば、被評価者Ｕの口腔機能の評価等に用いるという観点でより適切なものとなる。すなわち、被評価者の音声から、より適切に音声の韻律特徴量を算出することが可能となる。

また、例えば、第２態様に係る音声特徴量算出方法は、第１態様に記載の音声特徴量算出方法であって、取得した音声データにおいて被評価者Ｕが音声を発している期間に集音された音の第２平均強度の、第１平均強度に対する比であるＳ／Ｎ比をさらに算出し、算出したＳ／Ｎ比が第１閾値以下の場合に、音声データにおける音圧を調整してもよい。

これによれば、Ｓ／Ｎ比が第１閾値以下であるか否かの条件により、音圧に関する特徴量がそのまま使用するのに適していないかを判定できる。その判定に従って、音声データの音圧を調整し、音圧の調整後の音声データから音圧に関する特徴量を算出することができる。これにより、算出される音圧に関する特徴量が、例えば、被評価者Ｕの口腔機能の評価等に用いるという観点でより適切なものとなる。すなわち、被評価者の音声から、より適切に音声の韻律特徴量を算出することが可能となる。

また、例えば、第３態様に係る音声特徴量算出方法は、第２態様に記載の音声特徴量算出方法であって、算出したＳ／Ｎ比が第１閾値より大きい場合に、音声データにおける音圧を調整しなくてもよい。

これによれば、Ｓ／Ｎ比が第１閾値より大きいか否かの条件により、音圧に関する特徴量がそのまま使用するのに適しているかを判定できる。その判定に従って、音声データの音圧を調整することなく、音圧がそのままの音声データから音圧に関する特徴量を算出することができる。これにより、算出される音圧に関する特徴量が、例えば、被評価者Ｕの口腔機能の評価等に用いるという観点でより適切なものとなる。すなわち、被評価者の音声から、より適切に音声の韻律特徴量を算出することが可能となる。

また、例えば、第４態様に係る音声特徴量算出方法は、第１～第３態様のいずれか１態様に記載の音声特徴量算出方法であって、音声データにおける音圧の調整では、予め測定された静寂時の音の強度と、第１平均強度との差分の音圧を音声データにおける音圧から減算することで音圧を調整してもよい。

これによれば、本来の静寂時の音圧に対応する予め測定された静寂時の音の強度と、音声データにおける音声が集音された条件における被評価者Ｕが発声していないときの音の強度との差分の音圧を求め、その差分を減じることで、被評価者Ｕが発声していないときの音の強度が本来の静寂時の音圧に対応する強度になるように音圧を調整することができる。

また、例えば、第５態様に係る音声特徴量算出方法は、第１～第４態様のいずれか１態様に記載の音声特徴量算出方法であって、音声データにおける音圧の調整は、音声データのうち音圧が極小値を示すタイミングに対して実施されてもよい。

これによれば、被評価者Ｕが発声していないときを、音圧が極小値を示すタイミングによって特定して音圧の調整をすることができる。

また、例えば、第６態様に係る音声特徴量算出方法は、第５態様に記載の音声特徴量算出方法であって、音声データにおける音圧の調整は、音声データのうち基本周波数が０を示すタイミングに対して実施されてもよい。

これによれば、被評価者Ｕが発声していないときを、音声データのうち基本周波数が０を示すタイミングによって特定して音圧の調整をすることができる。

また、例えば、第７態様に係る音声特徴量算出方法は、第１～第６態様のいずれか１態様に記載の音声特徴量算出方法であって、特徴量は、音圧較差及び音圧較差変化の少なくとも一方と、フォルマント、フォルマント変化、開口時間、閉口時間、破裂音の時間、及び、話速度の少なくともいずれかと、を含んでいてもよい。

これによれば、算出される特徴量に、音圧に関する特徴量として音圧較差及び音圧較差変化の少なくとも一方を含め、その他の特徴量としてフォルマント、フォルマント変化、開口時間、閉口時間、破裂音の時間、及び、話速度の少なくともいずれかを含めることができる。

また、例えば、第８態様に係る音声特徴量算出方法は、第２又は第３態様に記載の音声特徴量算出方法であって、算出したＳ／Ｎ比が第２閾値以下の場合に、Ｓ／Ｎ比を増大させるための情報をさらに出力してもよい。

これによれば、Ｓ／Ｎ比が第１閾値よりもさらに小さい第２閾値よりも小さいような不適な環境で集音された音声データから韻律特徴量を算出しようとしている場合に、その環境を改善させるための働きかけを行うことができる。このような不適な環境で集音された音声データから韻律特徴量を算出することが行われることが抑制される。

また、例えば、第９態様に係る音声特徴量算出方法は、第２又は第３態様のいずれか１態様に記載の音声特徴量算出方法であって、第１平均強度が音圧閾値以上の場合に、Ｓ／Ｎ比を増大させるための情報をさらに出力してもよい。

これによれば、第１平均強度が音圧閾値以上のような不適な環境で集音された音声データから韻律特徴量を算出しようとしている場合に、その環境を改善させるための働きかけを行うことができる。このような不適な環境で集音された音声データから韻律特徴量を算出することが行われることが抑制される。

また、例えば、図３Ａに示されるように、第一フォルマント周波数の変化もしくは第二フォルマント周波数の変化を含む２モーラ以上からなる、又は、弾き音、破裂音、無声音、促音及び摩擦音の少なくとも１つを含む、音節又は定型文を被評価者Ｕが発話した音声を集音することで得られる音声データを取得する取得ステップ（ステップＳ１０２）と、取得された音声データから韻律特徴量を抽出する抽出ステップ（ステップＳ１０３）と、複数の学習データに基づいて算出された口腔機能の推定式と、抽出された韻律特徴量とに基づいて、被評価者Ｕの口腔機能の推定値を算出する算出ステップ（ステップＳ１０４）と、算出された推定値を、口腔機能評価指標を用いて判定することで、被評価者Ｕの口腔機能の低下状態を評価する評価ステップ（ステップＳ１０５）と、を含んでもよい。

これによれば、口腔機能の評価に適した音声データを取得することで、簡便に被評価者Ｕの口腔機能の評価が可能となる。つまり、被評価者Ｕが携帯端末３００等の集音装置に向けて上記音節又は定型文を発話するだけで、被評価者Ｕの口腔機能の評価が可能となる。特に、複数の学習データに基づいて算出された推定式を用いて口腔機能の推定値が算出されるため、口腔機能の低下状態を定量的に評価できる。また、韻律特徴量を直接閾値と比較することで口腔機能を評価するのではなく、韻律特徴量及び推定式から推定値が算出され、当該推定値が閾値（口腔機能評価指標）と比較されるため、口腔機能の低下状態を精度良く評価することができる。

例えば、推定式は、口腔機能の要素に対応する係数、及び、抽出された韻律特徴量が代入され、上記係数が掛けられる変数を含んでいてもよい。

これによれば、抽出された韻律特徴量を推定式に代入するだけで、容易に口腔機能の推定値を算出することができる。

例えば、算出ステップでは、被評価者Ｕの口腔機能の要素毎に推定値を算出し、評価ステップでは、算出された口腔機能の要素毎の推定値を、口腔機能の要素毎に定められた口腔機能評価指標を用いて判定することで、被評価者Ｕの口腔機能の低下状態を口腔機能の要素毎に評価してもよい。

これによれば、口腔機能の低下状態を要素毎に評価することができる。例えば、口腔機能の要素に応じて係数が異なる推定式を口腔機能の要素毎に準備することで、口腔機能の低下状態を要素毎に容易に評価することができる。

例えば、口腔機能の要素には、被評価者Ｕの舌苔付着度、口腔粘膜湿潤度、咬合力、舌圧、頬圧、残存歯数、嚥下機能及び咀嚼機能の少なくとも１つが含まれていてもよい。

これによれば、被評価者Ｕの舌苔付着度、口腔粘膜湿潤度、咬合力、舌圧、頬圧、残存歯数、嚥下機能及び咀嚼機能の少なくとも１つの口腔機能の要素についての低下状態を評価することができる。

例えば、韻律特徴量は、話速度、音圧較差、音圧較差の時間変化、第一フォルマント周波数、第二フォルマント周波数、第一フォルマント周波数の変化量、第二フォルマント周波数の変化量、第一フォルマント周波数の時間変化、第二フォルマント周波数の時間変化及び破裂音の時間の少なくとも１つを含んでいてもよい。

口腔機能が低下することで、発音に変化が現れることから、これらの韻律特徴量から口腔機能の低下状態を評価することができる。

例えば、抽出ステップでは、複数種類の音節又は定型文を被評価者Ｕが発話した音声を集音することで取得された音声データから複数の韻律特徴量を抽出し、算出ステップでは、抽出された複数の韻律特徴量と推定式とに基づいて、推定値を算出してもよい。

これによれば、１つの推定式に対して複数種類の音節又は定型文に基づいて抽出される複数の韻律特徴量を用いることで、口腔機能の推定値の算出の精度を高めることができる。

例えば、音節又は定型文は、発話するために口の開閉又は舌の前後の動きを伴う、２つ以上の母音又は母音及び子音の組み合わせを含んでいてもよい。

これによれば、被評価者Ｕがこのような音節又は定型文を発話した音声から、第一フォルマント周波数の変化量、第一フォルマント周波数の時間変化、第二フォルマント周波数の変化量又は第二フォルマント周波数の時間変化を含む韻律特徴量を抽出することができる。

例えば、音声データは、音節又は定型文を被評価者Ｕが異なる話速度で少なくとも２回発話した音声を集音することで得られてもよい。

これによれば、被評価者Ｕがこのような音節又は定型文を発話した音声から、口腔機能の状態の保持の程度を推定できる。

例えば、定型文は、弾き音と当該弾き音とは異なる子音からなる音節の繰り返しを含んでいてもよい。

これによれば、被評価者Ｕがこのような音節又は定型文を発話した音声から、音圧較差の時間変化、音圧の時間変化及び繰り返し回数を含む韻律特徴量を抽出することができる。

例えば、音節又は定型文は、母音及び破裂音の組み合わせを少なくとも１つ含んでいてもよい。

これによれば、被評価者Ｕがこのような音節又は定型文を発話した音声から、音圧較差及び破裂音の時間を含む韻律特徴量を抽出することができる。

例えば、口腔機能評価方法は、さらに、算出された推定値を、予め定められたデータに照合することで、被評価者Ｕの口腔機能に関する提案を行う提案ステップを含んでいてもよい。

これによれば、被評価者Ｕは、口腔機能が低下したときにどのような対策をすればよいかの提案を受けることができる。

本開示の第１０態様に係る音声特徴量算出装置４００は、被評価者Ｕが発話した音声から、被評価者Ｕの音声の特徴量を算出する音声特徴量算出装置４００であって、被評価者Ｕが発話した音声を集音することで得られる音声データを取得する取得部１１０と、取得した音声データにおいて被評価者Ｕが音声を発していない期間に集音された音の第１平均強度に基づいて、音声データにおける音圧を調整する音圧調整部１１６と、音圧の調整後の音声データから少なくとも音圧に関する特徴量を含む特徴量を抽出することで算出する抽出部１２０と、を備える。

これによれば、上記に記載の音声特徴量算出方法と同様の効果を奏することができる。

本開示の第１１態様に係る口腔機能評価装置１００は、第１０態様に記載の音声特徴量算出装置４００と、音声データから抽出される特徴量のうち音圧に関する特徴量を演算に含む推定式と、音圧の調整後の音声データから抽出された特徴量とに基づいて、被評価者Ｕの口腔機能の推定値を算出する算出部１３０と、算出された推定値を、口腔機能評価指標を用いて判定することで、被評価者Ｕの口腔機能の低下状態を評価する評価部１４０と、を備える。

これによれば、音声特徴量算出装置４００を用いて、被評価者Ｕの口腔機能を評価することができる。

例えば、被評価者Ｕが発話した音声の集音に用いられる集音装置（マイク）と、評価された被評価者Ｕの口腔機能の低下状態を提示するための提示装置（携帯端末３００）と、をさらに備えてもよい。

また、例えば、第一フォルマント周波数の変化もしくは第二フォルマント周波数の変化を含む２モーラ以上からなる、又は、弾き音、破裂音、無声音、促音及び摩擦音の少なくとも１つを含む、音節又は定型文を被評価者Ｕが発話した音声を集音することで得られる音声データを取得する取得部１１０と、取得された音声データから韻律特徴量を抽出する抽出部１２０と、複数の学習データに基づいて算出された口腔機能の推定式と、抽出された韻律特徴量とに基づいて、被評価者Ｕの口腔機能の推定値を算出する算出部１３０と、算出された推定値を、口腔機能評価指標を用いて判定することで、被評価者Ｕの口腔機能の低下状態を評価する評価部１４０と、を備えてもよい。

これによれば、簡便に被評価者Ｕの口腔機能の評価が可能な口腔機能評価装置１００を提供できる。

また、例えば、口腔機能評価装置１００と、音節又は定型文を被評価者Ｕが発話した音声を非接触により集音する集音装置（携帯端末３００）と、を備えてもよい。

これによれば、簡便に被評価者Ｕの口腔機能の評価が可能な口腔機能評価システム２００を提供できる。

（その他の実施の形態）
以上、実施の形態に係る口腔機能評価方法等について説明したが、本発明は、上記実施の形態に限定されるものではない。

例えば、推定式の候補は、専門家が被評価者Ｕの口腔機能を実際に診断した際に得られた評価結果に基づいて、更新されてもよい。これにより、口腔機能の評価精度を高めることができる。口腔機能の評価精度を高めるために機械学習が用いられてもよい。

また、例えば、提案データ１７３は、被評価者Ｕが提案内容を評価して、その評価結果に基づいて更新されてもよい。例えば、被評価者Ｕにとって問題ない口腔機能についての提案がされた場合には、被評価者Ｕは、この提案内容に対して間違っていると評価する。そして、この評価結果に基づいて提案データ１７３が更新されることで、上記のような誤った提案がされないようになる。このように、被評価者Ｕに対する口腔機能に関する提案内容をより効果的なものとすることができる。なお、口腔機能に関する提案内容をより効果的なものとするのに機械学習が用いられてもよい。

また、例えば、口腔機能の評価結果は、個人情報と共にビッグデータとして蓄積されて、機械学習に用いられてもよい。また、口腔機能に関する提案内容は、個人情報と共にビッグデータとして蓄積されて、機械学習に用いられてもよい。

また、例えば、上記実施の形態では、口腔機能評価方法は、口腔機能に関する提案を行う提案ステップ（ステップＳ１０７）を含んでいたが、含んでいなくてもよい。言い換えると、口腔機能評価装置１００は、提案部１６０を備えていなくてもよい。

また、例えば、上記実施の形態では、取得ステップ（ステップＳ１０２）では、被評価者Ｕの個人情報を取得したが、取得しなくてもよい。言い換えると、取得部１１０は、被評価者Ｕの個人情報を取得しなくてもよい。

また、例えば、口腔機能評価方法におけるステップは、コンピュータ（コンピュータシステム）によって実行されてもよい。そして、本発明は、それらの方法に含まれるステップを、コンピュータに実行させるためのプログラムとして実現できる。さらに、本発明は、そのプログラムを記録したＣＤ－ＲＯＭ等である非一時的なコンピュータ読み取り可能な記録媒体として実現できる。

例えば、本発明が、プログラム（ソフトウェア）で実現される場合には、コンピュータのＣＰＵ、メモリ及び入出力回路等のハードウェア資源を利用してプログラムが実行されることによって、各ステップが実行される。つまり、ＣＰＵがデータをメモリ又は入出力回路等から取得して演算したり、演算結果をメモリ又は入出力回路等に出力したりすることによって、各ステップが実行される。

また、上記実施の形態の口腔機能評価装置１００及び口腔機能評価システム２００に含まれる各構成要素は、専用又は汎用の回路として実現されてもよい。

また、上記実施の形態の口腔機能評価装置１００及び口腔機能評価システム２００に含まれる各構成要素は、集積回路（ＩＣ：Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現されてもよい。

また、集積回路はＬＳＩに限られず、専用回路又は汎用プロセッサで実現されてもよい。プログラム可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又は、ＬＳＩ内部の回路セルの接続及び設定が再構成可能なリコンフィギュラブル・プロセッサが、利用されてもよい。

さらに、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて、口腔機能評価装置１００及び口腔機能評価システム２００に含まれる各構成要素の集積回路化が行われてもよい。

その他、実施の形態に対して当業者が思いつく各種変形を施して得られる形態や、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。

１００ 口腔機能評価装置
１１０ 取得部
１１５ Ｓ／Ｎ比算出部
１１６ 音圧調整部
１２０ 抽出部
１３０ 算出部
１４０ 評価部
１５０ 出力部
１６０ 提案部
１８０ 情報出力部
２００ 口腔機能評価システム
３００ 携帯端末（端末、マイク、提示装置）
４００ 音声特徴量算出装置
Ｕ 被評価者

Claims (6)

1. コンピュータによって実行され、被評価者が発話した音声から、前記被評価者の音声の特徴量を算出するための音声特徴量算出方法であって、
   前記被評価者が発話した音声を集音することで得られる音声データを取得し、
   取得した前記音声データにおいて前記被評価者が音声を発していない期間に集音された音の第１平均強度に基づいて、前記音声データにおける音圧を調整し、
   音圧の調整後の前記音声データから少なくとも音圧に関する特徴量を含む前記特徴量を算出し、
   取得した前記音声データにおいて前記被評価者が音声を発している期間に集音された音の第２平均強度の、前記第１平均強度に対する比であるＳ／Ｎ比をさらに算出し、
   算出した前記Ｓ／Ｎ比が第１閾値以下の場合に、前記音声データにおける音圧を調整し、かつ、算出した前記Ｓ／Ｎ比が前記第１閾値より大きい場合に、前記音声データにおける音圧を調整せず、
   前記音声データにおける音圧の調整では、予め測定又は設定された静寂時の音の強度と、前記第１平均強度との差分の音圧を前記音声データにおける音圧から減算することで音圧を調整し、かつ、
   前記音声データにおける音圧の調整は、前記音声データのうち音圧が極小値を示すタイミング、かつ、基本周波数が０を示すタイミングに対して実施される
   音声特徴量算出方法。
2. 前記特徴量は、音圧較差及び音圧較差変化の少なくとも一方と、フォルマント、フォルマント変化、開口時間、閉口時間、破裂音の時間、及び、話速度の少なくともいずれかと、を含む
   請求項１に記載の音声特徴量算出方法。
3. 算出した前記Ｓ／Ｎ比が第２閾値以下の場合に、前記Ｓ／Ｎ比を増大させるための情報をさらに出力する
   請求項１に記載の音声特徴量算出方法。
4. 前記第１平均強度が音圧閾値以上の場合に、前記Ｓ／Ｎ比を増大させるための情報をさらに出力する
   請求項１に記載の音声特徴量算出方法。
5. 被評価者が発話した音声から、前記被評価者の音声の特徴量を算出する音声特徴量算出装置であって、
   前記被評価者が発話した音声を集音することで得られる音声データを取得する取得部と、
   取得した前記音声データにおいて前記被評価者が音声を発していない期間に集音された音の第１平均強度に基づいて、前記音声データにおける音圧を調整する音圧調整部と、
   音圧の調整後の前記音声データから少なくとも音圧に関する特徴量を含む前記特徴量を抽出することで算出する抽出部と、
   取得した前記音声データにおいて前記被評価者が音声を発している期間に集音された音の第２平均強度の、前記第１平均強度に対する比であるＳ／Ｎ比を算出するＳ／Ｎ比算出部と、を備え、
   前記音圧調整部は、
   算出した前記Ｓ／Ｎ比が第１閾値以下の場合に、前記音声データにおける音圧を調整し、かつ、算出した前記Ｓ／Ｎ比が前記第１閾値より大きい場合に、前記音声データにおける音圧を調整せず、
   予め測定又は設定された静寂時の音の強度と、前記第１平均強度との差分の音圧を前記音声データにおける音圧から減算することで前記音声データにおける音圧を調整し、かつ、
   前記音声データにおける音圧の調整を、前記音声データのうち音圧が極小値を示すタイミング、かつ、基本周波数が０を示すタイミングに対して実施する
   音声特徴量算出装置。
6. 請求項５に記載の音声特徴量算出装置と、
   前記音声データから抽出される前記特徴量のうち前記音圧に関する特徴量を演算に含む推定式と、音圧の調整後の前記音声データから抽出された前記特徴量とに基づいて、前記被評価者の口腔機能の推定値を算出する算出部と、
   算出された前記推定値を、口腔機能評価指標を用いて判定することで、前記被評価者の口腔機能の低下状態を評価する評価部と、を備える
   口腔機能評価装置。