JP7754432B2 - 嚥下障害の判定装置および判定方法 - Google Patents

Description

本開示は嚥下障害の判定装置および判定方法（医療行為を除く）に関する。

飲み込む力が低下した状態である嚥下障害により、食事がうまく取れず、のどに詰まる窒息や、飲み込んだ水分や食べ物が気管に入ってしまう誤嚥のリスクが高まることが知られている。このように嚥下障害を放置しておくと、低栄養状態が続きフレイルや要介護状態となる原因となったり、窒息や誤嚥性肺炎など生命の危機を招いたりすることもある。このため、嚥下障害は、早めに判定し、適切な対策を施すのが望ましい。

従来、被験者の喉の動きを検出することにより、嚥下障害を判定する装置が提案されている。特許文献１は、被験者の頸部に二軸加速度計を位置決めして嚥下障害の有無を判定する装置を提供する。

特許第５９７７２５５号公報

しかしながら、特許文献１は加速度計を被験者の頸部に両面テープで貼付する等、被験者に身体的負担を強いるものであった。また、センサ装置の取り付け位置がずれないようにするなど、被験者に対する検査を実施する検査担当者にも負担が多い。このため、被験者や検査担当者の負担を軽減するなど、より簡易に嚥下障害の判定を可能にする装置を研究・開発する余地が残っていた。

本開示は、このような状況に鑑みてなされたものであり、より簡易に嚥下障害の判定が可能な判定装置を提供することを目的とする。

本発明者らは鋭意研究を行った結果、被験者の発話による音声データと、その被験者の嚥下障害の進行の度合いとの間には相関があることを発見した。また、嚥下障害の進行の度合いに基づき分類したグループ間において、所定の音響特徴量に有意な差があることを発見した。これらの発見に基づき、発明者らは音声解析に基づく嚥下障害の判定装置を作成することに成功した。すなわち、本開示の判定装置の詳細は以下の通りである。

［１］音声解析により嚥下障害を判定する判定装置であって、前記判定装置は：
被験者が発話した音声データを入力する入力手段；
前記入力手段で入力した音声データを解析する解析手段；
前記解析手段による解析結果に基づいて被験者の嚥下障害を判定する判定手段、
を備える判定装置。

［２］前記解析手段は、前記音声データを以下の式Ｆ（ａ）に示す音響特徴量を使用して音声解析することを特徴とする、［１］に記載の判定装置：

（式中、ｇは嚥下障害の有無や進行の度合いを判定する線形または非線形モデルであり、ｘ_ｎは前記音声データとして入力するフレーズに固有の係数であり、ｆ（ｎ）は音響パラメータであって、前記音響パラメータは、フォルマント周波数、メル周波数ケプストラム、周波数スペクトラム、音量のエンベロープ、波形の変動情報、ゼロ交差率、ハースト指数、および閉鎖開放から声帯振動が始まるまでの時間、から成る群から１つまたは複数が選択される）。

［３］前記解析手段は、前記音声データをフォルマント周波数またはメル周波数ケプストラムに基づき作成された音響特徴量を使用して音声解析することを特徴とする、［１］または［２］に記載の判定装置。

［４］前記判定装置は、前記解析結果を入力した場合に嚥下障害の進行の度合いを出力するように機械学習処理が施されている、［１］～［３］のいずれか１つに記載の判定装置。

［５］前記判定装置は、被験者の前記音声データの入力を同一のフレーズを使用して少なくとも２回行い、前記同一のフレーズにより解析された前記解析結果の差分または平均値に基づいて、嚥下障害の進行の度合いを判定する、［１］～［４］のいずれか１つに記載の判定装置。

［６］前記入力手段は、被験者が前記嚥下障害の進行の度合いに関連するフレーズを発話した音声データを入力する、［１］～［５］のいずれか１つに記載の判定装置。

［７］前記入力手段は、被験者が

の少なくとも１つの音を含む発話をした音声データを入力する、［１］～［６］のいずれ
か１つに記載の判定装置。

［８］音声解析により嚥下障害を判定する方法であって、前記方法は：
被験者が発話した音声データを入力する入力工程；
前記入力工程で入力した音声データを解析する解析工程；
前記解析工程による解析結果に基づいて被験者の嚥下障害を判定する判定工程、
を備える、方法。

［９］［１］～［７］のいずれか１つに記載の判定装置の各手段としてコンピュータを機能させるためのプログラム。

本開示によれば、音声解析により嚥下障害を判定する判定装置を提供することができる。また、音声解析により嚥下障害を判定する判定方法を提供することができる。さらに、判定装置は、被験者の嚥下障害の有無を判定するだけではなく、嚥下障害の進行の度合いを判定することができる。

図１は判定装置の構成を説明する図である。 図２は判定装置により実行される処理の一例を示すフローチャートである。 図３は入出力部１２に入力する音声データの一例を示す図である。 図４は本願発明の一実施例の結果を示すＲＯＣ曲線である。 図５は本願発明の一実施例の結果を示すＲＯＣ曲線である。 図６は本願発明の一実施例の結果を示す箱ヒゲ図である。 図７は、同じ発話内容で複数回の発話をした場合のフォルマント解析の値のばらつきを示す図である。 図８はフォルマント解析の値と嚥下障害の進行の度合いとの関係を示す図である。 図９Ａは１３次メル周波数ケプストラム解析の値と嚥下障害の進行の度合いとの関係を示す図である。 図９Ｂは１３次メル周波数ケプストラム解析の値と嚥下障害の進行の度合いとの関係を示す図である。 図１０は音韻クラスと活性化される音素との関係を表す図である。 図１１は嚥下障害がない健常者が発した「ぱ」と中等度以上の嚥下障害がある人が発した「ぱ」とに対して音素解析を実行した場合の結果である。 図１２は音響特徴量による嚥下障害の重症度による分類性能を検証した箱ヒゲ図である。 図１３は音響特徴量による嚥下障害の重症度による分類性能を検証した箱ヒゲ図である。 図１４は音響特徴量による嚥下障害の重症度による分類性能を検証した箱ヒゲ図である。 図１５は音響特徴量による嚥下障害の重症度による分類性能を検証した箱ヒゲ図である。 図１６は音響特徴量による嚥下障害の重症度による分類性能を検証した箱ヒゲ図である。 図１７は音響特徴量による嚥下障害の重症度による分類性能を検証した箱ヒゲ図である。 図１８は音声データを示す図である。 図１９は音声の強度解析結果と嚥下障害の評価結果との相関関係を表す実験結果である。 図２０は各音響特徴量の箱ヒゲ図の結果である。 図２１は各音響特徴量の箱ヒゲ図の結果である。 図２２は音素解析および強度解析の手法を含めて作成された音響特徴量セットを用いた機械学習モデルにより、軽度以上の嚥下障害を判定した際のＲＯＣ曲線の結果である。 図２３は音素解析および強度解析の手法を含めて作成された音響特徴量セットを用いた機械学習モデルにより、中等度以上の嚥下障害を判定した際のＲＯＣ曲線の結果である。

以下、本開示を実施するための形態について、図面を参照して詳細に説明するが、以下に記載する構成要件の説明は、本開示の一実施態様としての一例であり、これらの内容に限定されるものではない。

＜第１実施形態＞
本開示の嚥下障害の判定装置は、主な構成要素として解析手段と判定手段を備える。解析手段は嚥下障害の進行の度合いを解析可能な音響特徴量（以下、「Ｆ（ａ）」と称することがある。）を使用して音響解析を行う。また、判定手段は、解析手段により取得した解析結果を入力した場合に嚥下障害の進行の度合いを出力するような機械学習処理が施されていてもよい。

判定装置（以下、「情報処理装置」と称することがある。）の構成について図１を用いて説明する。情報処理装置１０は、全体の動作を制御する制御部１１、各種の入出力を行う入出力部１２、各種データやプログラム等を記憶する記憶部１３、外部との通信を行う通信部１４、および各ブロック同士が相互通信可能なように接続する内部バス１５、を備える。

情報処理装置１０は、例えばコンピュータであり、スマートフォン、ＰＤＡ、タブレット、又はノートパソコンなどの、被験者が携帯可能な装置であってもよいし、被験者が携帯せずに設置位置に固定されたコンピュータでもよい。ＰＤＡは、Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔの略称である。

制御部１１は、例えばＣＰＵ、ＭＣＵ又はＭＰＵと呼ばれる装置であり、例えば記憶部１３に記憶されたプログラムが実行される。ＣＰＵはＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。ＭＣＵはＭｉｃｒｏ Ｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔの略称である。ＭＰＵはＭｉｃｒｏ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔの略称である。

入出力部１２は、情報処理装置１０を操作する被験者に対する入出力を行う装置である。入出力部１２は、ディスプレイ、キーボード、マウス、ボタン、タッチパネル、プリンタ、マイク、及びスピーカなどによる、情報や信号の入出力を行う。本実施例では、入出力部１２は、少なくともマイクの役割を果たし、このマイクによって音声データを入力する。また、本実施例では、入出力部１２は、少なくともディスプレイの役割を果たし、このディスプレイに、後述する嚥下障害の判定結果を表示する。

記憶部１３は、例えば、ＲＯＭ、ＲＡＭ、ＨＤＤ、又はフラッシュメモリといった装置であり、制御部１１で実行するプログラムや各種データを記憶する。ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略称である。

通信部１６は、外部との通信を行う。通信部１６による通信は、有線通信でもよいし、無線通信でもよい。通信部１６による通信は、如何なる通信方式でもよい。制御部１１は、通信部１６によって、音声データなどの各種データの送受信を行うことが出来る。制御部１１は、後述する嚥下障害の判定結果を、通信部１６によって外部機器に送信するようにしてもよい。

次に図２を用いて判定装置（情報処理装置）１０により実行される処理の一例を示す。まず、ステップＳ２０１において、制御部１１は入出力部１２によって被験者の音声データを入力する。次に、ステップＳ２０２において、算出部（または解析部）で音声データから音響特徴量を算出する。次に、ステップＳ２０３において、推定部（または判定部）で嚥下障害の有無や進行の度合いを推定（または判定）する。次に、推定結果（または判定結果）を入出力部１２に出力して、フローを終了する。

なお、ステップＳ２０１の入出力部１２はマイクを使用してもよい。被験者はマイクに向けて発話を行い、音声データを入力する。音声データは予め録音しておいた音声データを使用してもよい。

＜音声入力に際し選択されるフレーズ＞
音声入力に際し選択されるフレーズは、被験者の嚥下障害の進行の度合いを音声解析するのに適切なフレーズである。嚥下障害の進行が進むと、舌の動く程度、舌の前後位置、顎の開き具合、歯の噛み合わせ状態、歯の数、唾液の分泌量、筋肉の衰え等に起因し、咽喉頭や口腔内での音の共鳴の具合なども影響をうける。嚥下障害の進行の度合いを解析するのに適切なフレーズとは、上記の嚥下障害の進行に伴い変化する音の共鳴の具合などを発見し易いフレーズである。

例えば、音声入力に際し選択されるフレーズとして

の音を含むフレーズが好ましい。より詳細な説明は図３の説明と併せて後述する。

図３は、入出力部１２に入力する音声データの一例を示す。図３は

の発音を含むフレーズをまとめた一例であるため、本開示の音声入力をこれらのフレーズに限定するものではない。被験者は、図３に示すＰｈｒａｓｅ０１（Ｐｈ０１）～Ｐｈｒａｓｅ１０（Ｐｈ１０）のうち、少なくとも１つを音声入力すべきフレーズとして選択できる。もちろん、Ｐｈｒａｓｅ０１（Ｐｈ０１）～Ｐｈｒａｓｅ１０（Ｐｈ１０）のうち幾つかを組合わせて音声入力してもよい。

図３において、Ｐｈ０１は「ぱ」と発話する音声データである。Ｐｈ０２は「ま」と発話する音声データである。Ｐｈ０３は「た」と発話する音声データである。Ｐｈ０４は「ら」と発話する音声データである。Ｐｈ０５は「か」と発話する音声データである。Ｐｈ０６は「ご」と発話する音声データである。Ｐｈ０７は「パンダのたからもの」と発話する音声データである。Ｐｈ０８は「たまご」と発話する音声データである。Ｐｈ０９は「バナナバナナバナナバナナバナナ」と出来るだけ速く５回以上繰り返して発話する音声データである。Ｐｈ１０は「きものきものきものきものきもの」と出来るだけ速く５回以上繰り返して発話する音声データである。フレーズＰｈ０１～Ｐｈ１０と、嚥下障害との関連性についてさらに説明する。

＜＜Ｐｈ０１、Ｐｈ０２＞＞
Ｐｈ０１、Ｐｈ０２は、「ぱ（ｐａ）」、「ま（ｍａ）」の発音であり、唇を閉じる動きが必要で、嚥下機能としては咀嚼の時に口腔内の食べ物をこぼさないようにし、口腔内圧を高めることによって飲み込む際の食事の移送に関係する。

その他の発音の例としては、

等がある。

＜＜Ｐｈ０３、Ｐｈ０４＞＞
Ｐｈ０３、Ｐｈ０４は、「た（ｔａ）」、「ら（ｒａ）」の発音である。「た（ｔａ）」は舌の先を使う動きであり、嚥下機能としては、咀嚼の機能、送り込み動作（口の中の水分や食物を喉の奥に移動する動き）に関係する。「ら（ｒａ）」は舌の先を比較的にスムーズに動かす必要があり、舌の動きのスムーズさをみられる音である。「た」と同じように舌の先を使い、咀嚼の機能、送り込み動作（口の中の水分や食物を喉の奥に移動する動き）に関係する。

その他の発音の例としては、

等がある。

＜＜Ｐｈ０５、Ｐｈ０６＞＞
Ｐｈ０５、Ｐｈ０６は、「か（ｋａ）」、「ご（ｇｏ）」の発音である。両方とも舌の奥を使う動きであり、嚥下機能としては、送り込み動作や咽頭内圧を高める動作を行い、食物の移送に関係する。

その他の音の例としては、

等がある。

＜＜Ｐｈ０７、Ｐｈ０８＞＞
Ｐｈ０７（パンダのたからもの）、Ｐｈ０８（たまご）は唇および舌による音の組合せによる評価を行っている。

＜＜Ｐｈ０９、Ｐｈ１０＞＞
Ｐｈ０９（バナナバナナバナナバナナバナナ）、Ｐｈ１０（きものきものきものきものきもの）は、鼻腔共鳴の評価、唇および舌による組合せの評価、ディアドコキネシスの評価、リズムの評価を行っている。

以上のようなフレーズを音声入力して音声データを取得し、ステップＳ２０２の音声解析を行う。音声解析の際に算出部（解析部）において音響特徴量の算出を行う。音響特徴量について以下に詳しく述べる。

＜音響特徴量＞
音響特徴量とは、音声解析すべき音声データの特徴を、定量的に表すための数値パラメータである。本開示では、ステップＳ２０３において、判定部で嚥下障害の有無や進行の度合いを判定するが、音響特徴量に基づく音声解析の結果を入力として判定処理を出力するように機械学習処理が施されるため、精度向上のためにも音響特徴量の選択は重要である。

本開示において、音響特徴量Ｆ（ａ）は、以下の式で示すことができる。

式中、ｇは嚥下障害の有無や進行の度合いを判定する線形または非線形モデルであり、ｘ_ｎは音声データとして入力するフレーズに固有の係数であり、ｆ（ｎ）は音響パラメータであって、フォルマント周波数、メル周波数ケプストラム、周波数スペクトラム、音声のエンベロープ、波形の変動情報、ゼロ交差率、ハースト指数、および閉鎖開放から声帯振動が始まるまでの時間、から成る群から１つまたは複数が選択される。また、同じフレーズの音声データが２つ以上ある場合には、その平均値または差分、３回以上の場合にはバラツキ（分散や標準偏差）や中央値などを含むことができる。また、音響特徴量は、数値に大きな開きがあるため、それぞれを正規化しても良い。さらに、３群以上の嚥下障害の有無や進行の度合いを判定する場合は、特徴量を２つ以上に分割しても良い。

音響パラメータの種類には、以下のようなものがある。

（１） 音声のエンベロープ（アタックタイム、ディケイタイム、サステインレベル、リリースタイム）
（２） 波形の変動情報（Ｓｈｉｍｍｅｒ、Ｊｉｔｔｅｒ、倍音対雑音比 ＨＮＲ：Ｈａｒｍｏｎｉｃｓ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ、信号雑音比 ＳＮＲ：Ｓｉｇｎａｌｓ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）
（３） ゼロ点交差率
（４） ハースト指数
（５） 閉鎖開放から声帯振動が始まるまでの時間（ＶＯＴ：Ｖｏｉｃｅ Ｏｎｓｅｔ Ｔｉｍｅ）
（６） メル周波数ケプストラムのある係数に関する発話内分布の統計値（第１四分位点、中央値、第３四分位点、９５パーセント点、９８パーセント点、算術平均、幾何平均、第３四分位点と中央値の差など）
（７） 周波数スペクトラムの変化の速さにおける発話内分布の統計値（第１四分位点、中央値、第３四分位点、９５パーセント点、９８パーセント点、算術平均、幾何平均、第３四分位点と中央値の差など）
（８） メル周波数ケプストラムのある係数の時間変化に関する発話内分布の統計値（第１四分位点、中央値、第３四分位点、９５パーセント点、９８パーセント点、算術平均、幾何平均、第３四分位点と中央値の差など）
（９） メル周波数ケプストラムのある係数の時間変化の時間変化に関する発話内分布の統計値（第１四分位点、中央値、第３四分位点、９５パーセント点、９８パーセント点、算術平均、幾何平均、第３四分位点と中央値の差など）
（１０）周波数スペクトラム９０パーセントロールオフの発話内時間変化における２次回帰近似に対する二乗誤差
（１１）周波数スペクトラム重心の発話内時間変化における２次回帰近似に対する算術誤差その他、ピッチレート、有声音である確率、任意範囲の周波数パワー、音階、話速（一定時間におけるモーラ数）、ポーズ・間、音量など
（１２）任意のフォルマント周波数（第１フォルマント、第２フォルマント、第３フォルマント、第４フォルマント、第５フォルマント、第６フォルマント、・・・）に関する発話内分布の統計値（第１四分位点、中央値、第３四分位点、９５パーセント点、９８パーセント点、算術平均、幾何平均、第３四分位点と中央値の差など）
（１３）任意のフォルマント周波数（第１フォルマント、第２フォルマント、第３フォルマント、第４フォルマント、第５フォルマント、第６フォルマント、・・・）の時間変化に関する発話内分布の統計値（第１四分位点、中央値、第３四分位点、９５パーセント点、９８パーセント点、算術平均、幾何平均、第３四分位点と中央値の差など）
（１４）任意のフォルマント周波数（第１フォルマント、第２フォルマント、第３フォルマント、第４フォルマント、第５フォルマント、第６フォルマント、・・・）の時間変化の時間変化に関する発話内分布の統計値（第１四分位点、中央値、第３四分位点、９５パーセント点、９８パーセント点、算術平均、幾何平均、第３四分位点と中央値の差など）

上述してきた音響特徴量の中から、嚥下障害の進行の度合いと相関性を有する音響特徴量に基づいて、あるいは嚥下障害の程度で分類を行った際の各群間における音響特徴量の差に基づいて、ステップＳ２０３では判定の処理を実行する。上記の音響特徴量を用いて判定を行った例を図４～６を用いて説明する。

被験者は６５歳以上の高齢者であり、被験者の嚥下機能は、嚥下機能テストの結果や誤嚥の度合いから言語聴覚士が確認をし、被験者をそれぞれ嚥下障害がない健常者と、軽度の嚥下障害がある人と、中等度以上の嚥下障害がある人に分類した。

（実施例１）
図４は、被験者が図３に示す１０種類のフレーズを２回ずつ読み上げた音声データを入力とし、上述した音響パラメータ（１）～（１４）のうち７つを用いて特定のプログラムを作成した場合、嚥下障害の有無の分類性能を検証したＲＯＣ曲線である。横軸は「１－特異度」を示し、縦軸は感度を示す。ＡＵＣは０．９４１であり、十分な分類性能を有していることが確認できた。

（実施例２）
図５は、被験者が図３に示す１０種類のフレーズを２回ずつ読み上げた音声データを入力とし、上述した音響パラメータ（１）～（１４）のうち１つの音響パラメータを用いて音響特徴量を算出し、その値の平均値を用いて作成した特定のプログラムの嚥下障害の進行の度合い（中等度以上の嚥下障害であるか否か）に関する分類性能を検証したＲＯＣ曲線である。横軸は「１－特異度」を示し、縦軸は感度を示す。ＡＵＣは０．９８１であり、十分な分類性能を有していることが確認できた。また、図４、５の結果から判断して、プログラムを組合わせて処理することにより、まず図４に係るプログラムを用いて嚥下障害の有無を判定し、次いで嚥下障害が有りと判定された被験者群をさらに図５に係るプログラムを用いて嚥下障害の進行の度合い（軽度または中程度以上）を判定することもできる。

（実施例３）
図６は、被験者が図３に示す１０種類のフレーズを２回ずつ読み上げた音声データを入力とし、上述した音響パラメータ（１）～（１４）のうち１つの音響パラメータを用いて音響特徴量を算出し、その値の平均値を用いて作成した特定のプログラムの嚥下障害の進行の度合いに関する分類性能を検証した箱ヒゲ図である。図６では、健常者、軽度嚥下障害、および中等度以上の嚥下障害を区別する。横軸は健常、軽度嚥下障害、中等度以上の嚥下障害を示し、縦軸は３群判定のスコアの分布を示す。図６からも、上記プログラムが十分な分類性能を有していることが確認できた。

上記図４～６およびそれら図面に関する説明から、特定の音響特徴量を用いて判定を行う判定装置は十分に実用に耐えうることが確認できた。次に、音声データと音響パラメータとの対応関係に関して、幾つか具体例を用いて説明する。なお繰り返しとなるが以降の具体例は、本願発明を実施する上での一例であり、本願発明がこれらの実施例に限定されるものではない。

（実施例４）
図７は、音声データをフォルマント解析した結果について、同じ発話内容で複数回の発話をした場合のばらつきと、被験者の嚥下障害の進行の度合いとの関係を示す図である。図７では、発話内容としてＰｈ０７「パンダのたからもの」の音声データを用いている。横軸は、健常、軽度嚥下障害、中等度以上の嚥下障害を有する被験者の発話に関する時間軸であり、縦軸は第１フォルマントｆ１に係る値である。それぞれ１回目の発話と２回目の発話に関し、複数発話ごとにまとめ、その順番を時間軸に沿ってプロットしている。被験者はそれぞれが２回ずつ発話しており、最初の８人は健常者（グラフ左）であり、次の１７人は軽度嚥下障害を有し（グラフ中央）、次の１８人は中等度以上の嚥下障害を有している（グラフ右）。

図７から、健常者の場合、１回目の発話と２回目の発話とでｆ１の値の差分が小さいことが分かる。これに対して、軽度の嚥下障害がある人及び中等度以上の嚥下障害がある人の場合、１回目の発話と２回目の発話とでｆ１の値の差分が大きい。このことから、ステップＳ２０１で入力した音声データがＰｈ０７の場合、ステップＳ２０３では、ｆ１により、今回の被験者が健常者であるか、それとも軽度の嚥下障害がある人及び中等度以上の嚥下障害がある人であるかを判定することが出来る。

たとえば、ステップＳ２０３では、健常者のｆ３又はｆ５をあらかじめ記憶しておき、被験者のｆ３又はｆ５が、健常者のｆ３又はｆ５に対して閾値以上の乖離がある場合に、その被験者には嚥下障害があると判定することが出来る。図７では、Ｐｈ０７のｆ１についてのみ示したが、他の音声データ及び他のフォルマント解析結果（例えばｆ１以外のｆ２～ｆ５のいずれか）並びにその他の周波数解析についても有効性を確認することが出来る。また、図７では、２回の発話でのｆ１の値の差分を対象にしたが、他の発話回数を採用することも出来る。例えば３回以上の発話でのフォルマント解析結果の最大値と最小値との差分により、嚥下障害の程度（嚥下障害の有無、及び重症度）を判定するようにしてもよい。

（実施例５）
図８は、図３に示した各音声データと、フォルマント周波数に基づく音響特徴量の値とを比較し、かつ嚥下障害の進行の度合いを照らし合わせた表である。横方向の項目は、「健常ｖｓ軽度」、「健常ｖｓ中等度以上」、「軽度ｖｓ中等度以上」の各項目を示す。縦方向の項目は、発話内容を示す。表中、「＊＊＊」はＰ値＜０．０１、「＊＊」はＰ値＜０．０３３３３、「＊」はＰ値＜０．０５、「ｎｓ」は有意差がなかったことをそれぞれ示している。なお、本願では、Ｐ値＜０．１であれば有意差ありとみなしている。また、ｆ１は第１フォルマント、ｆ２は第２フォルマント、ｆ３は第３フォルマント、ｆ４は第４フォルマント、ｆ５は第５フォルマントである。有意差の評価には、２群比較での有意差の検定ではｔ検定（対応なし、片側）を、３群以上の多重比較検定ではボンフェローニの多重比較検定を用い、有意水準には１０％を設定した。なお、群比較による有意差の評価には、今回用いたｔ検定を含むパラメトリック検定、ノンパラメトリック検定、比率による検定、分散比による検定など、いずれを用いても良い。

図８の結果から、Ｐｈ０１は、「健常ｖｓ軽度」の項目においてｆ３、ｆ５で有意差を示した。また「健常ｖｓ中等度以上」の項目においてｆ１、ｆ５で有意差を示した。また、「軽度ｖｓ中等度以上」の項目において、ｆ１、ｆ２で有意差を示した。

また、Ｐｈ０２は、「健常ｖｓ軽度」の項目においてｆ４、ｆ５で有意差を示した。また「健常ｖｓ中等度以上」の項目においてｆ３～ｆ５で有意差を示した。また、「軽度ｖｓ中等度以上」の項目において、ｆ３、ｆ４で有意差を示した。

また、Ｐｈ０３は、「健常ｖｓ軽度」の項目においてｆ３で有意差を示した。また「健常ｖｓ中等度以上」の項目においてｆ１、ｆ２で有意差を示した。また、「軽度ｖｓ中等度以上」の項目において、ｆ１～ｆ４で有意差を示した。

また、Ｐｈ０４は、「健常ｖｓ中等度以上」の項目においてｆ２～ｆ４で有意差を示した。また、「軽度ｖｓ中等度以上」の項目において、ｆ１～ｆ４で有意差を示した。Ｐｈ０４は「健常ｖｓ軽度」の項目においていずれのフォルマントも有意差を示さなかったが、他の２群を比較することにより「健常ｖｓ軽度」の判定をすることは可能である。

また、Ｐｈ０５は、「健常ｖｓ軽度」の項目においてｆ２、ｆ５で有意差を示した。また「健常ｖｓ中等度以上」の項目においてｆ１で有意差を示した。また、「軽度ｖｓ中等度以上」の項目において、ｆ１、ｆ２で有意差を示した。

また、Ｐｈ０６は、「健常ｖｓ軽度」の項目においてｆ３、ｆ５で有意差を示した。また「健常ｖｓ中等度以上」の項目においてｆ５で有意差を示した。Ｐｈ０６は「軽度ｖｓ中等度以上」の項目においていずれのフォルマントも有意差を示さなかったが、他の２群を比較することにより「軽度ｖｓ中等度以上」の判定をすることは可能である。

また、Ｐｈ０７は、「健常ｖｓ軽度」の項目においてｆ３、ｆ５で有意差を示した。また「健常ｖｓ中等度以上」の項目においてｆ１で有意差を示した。また、「軽度ｖｓ中等度以上」の項目において、ｆ１、ｆ３で有意差を示した。

また、Ｐｈ０８は、「健常ｖｓ軽度」の項目においてｆ１、ｆ３、ｆ５で有意差を示した。また「健常ｖｓ中等度以上」の項目においてｆ１で有意差を示した。また、「軽度ｖｓ中等度以上」の項目において、ｆ１、ｆ３、ｆ４で有意差を示した。

また、Ｐｈ０９は、「健常ｖｓ軽度」の項目においてｆ２～ｆ４で有意差を示した。また「健常ｖｓ中等度以上」の項目においてｆ１、ｆ４、ｆ５で有意差を示した。また、「軽度ｖｓ中等度以上」の項目において、ｆ３、ｆ４で有意差を示した。

また、Ｐｈ１０は、「健常ｖｓ軽度」の項目においてｆ３、ｆ５で有意差を示した。また「健常ｖｓ中等度以上」の項目においてｆ１、ｆ３、ｆ５で有意差を示した。また、「軽度ｖｓ中等度以上」の項目において、ｆ１、ｆ３で有意差を示した。

以上の結果から、Ｐｈ０１～Ｐｈ１０は、全てのフレーズにおいて、健常と軽度嚥下障害、健常と中等度以上の嚥下障害、軽度嚥下障害と中等度以上の嚥下障害とを区別できることが確認できた。従って、被験者が

の少なくとも１つの音を含む発話をした音声データを入力すれば、健常と軽度嚥下障害、健常と中等度以上の嚥下障害、軽度嚥下障害と中等度以上の嚥下障害とを区別できることが確認できた。

フォルマント解析は従来、口唇から舌の範囲を第１、第２フォルマントで解析する傾向にあるため、第１、第２フォルマントまでを重視し、第３フォルマント以降を軽視する傾
向にあった。しかし、本発明者らは、特に嚥下障害の進行の度合いを判定する上で口唇よりも奥の咽頭腔の形状や、その複雑な形状変化の連動は、第３フォルマント以降を確認しなければ分からないことを音声解析の研究によって明らかにした。特に高齢者の嚥下障害においては、咽頭腔の形状変化もあり、ｆ３以降の音声解析を行うことは嚥下障害の進行の度合いを判定する上で有効である。

（実施例６）
さらに、図９Ａおよび図９Ｂは、図３に示した各音声データを２回発話したデータの差分をとり１３次メル周波数ケプストラム解析した結果の、嚥下障害の程度（嚥下障害の有無、及び重症度）の判定における有効な特徴量の１つを示した表である。

図９Ａの表は図３に示した各音声データを２回発話した音声データの２発話の平均値を音響パラメータとして用いたものである。図９Ｂの表は図３に示した各音声データを２回発話した音声データの２発話間の差分を音響パラメータとして用いたものである。それぞれ、横方向の項目には、１３次メル周波数ケプストラム係数または動的特徴量の平均値、最大値、最小値、範囲値、平均最小値、傾きを示す。縦方向の項目は発話内容を示す。表中、「〇」（マル）は嚥下障害の有無の判定に有効であることを示す。二重のマルは、嚥下障害の進行の度合いの判定に有効であることを示す。

図９Ａおよび図９Ｂから、音声解析として１３次メル周波数ケプストラム解析を行った場合も、健常と軽度嚥下障害、健常と中等度以上の嚥下障害、軽度嚥下障害と中等度以上の嚥下障害とを区別して判定できることが確認できた。

＜第２実施形態＞
次に、第２実施形態について説明する。なお、第２実施形態の判定装置の構成は、第１実施形態と同様の構成となるため、同一符号を付して説明を省略する。

第２実施形態の判定装置は、被験者の嚥下障害を判定する際に、音素解析を利用する点が第１実施形態と異なる。

第２実施形態の判定装置の解析手段は、被験者が発話した音声データに対して音素解析を行うことにより音響特徴量を作成する。そして、第２実施形態の判定装置の判定手段は、解析手段による解析結果である音響特徴量を使用して音声解析を実行することにより、嚥下障害の進行の度合いを判定する。

（実施例７）
図１０は、音韻クラスと活性化される音素との関係を表す図である。なお、同一の音素であっても、複数の音韻クラスに属する場合がある。例えば、図１０に示されているように、音素／ａ／は、「ｖｏｃａｌｉｃ」「ｂａｃｋ」「ｏｐｅｎ」「ｖｏｉｃｅｄ」に属し、音素／ｐ／は「ｃｏｎｓｏｎａｎｔａｌ」「ｓｔｏｐ」「ｌａｂｉａｌ」に属する。また、図１１は、嚥下障害がない健常者は発した「ぱ」と、中等度以上の嚥下障害がある人が発した「ぱ」とに対して音素解析を実行した場合の結果である。

図１１の（Ａ），（Ｃ），（Ｅ），（Ｇ），及び（Ｉ）は、健常者が発した「ぱ」に対する音素解析結果であり、図１１の（Ｂ），（Ｄ），（Ｆ），（Ｈ），及び（Ｊ）は、中等度以上の嚥下障害がある人が発した「ぱ」に対する音素解析結果である。なお、図１１の各グラフは横軸が時刻（ｓ）を表し、縦軸が各音韻クラスの音素事後確率（Ｐｈｏｎｏｌｏｇｉｃａｌ ｐｏｓｔｅｒｉｏｒｓ）を表す。図１１に示されている中央部の波形が、被験者から発せられた音声の音声データに相当する。

図１１の（Ａ）と（Ｂ）とは、音韻クラスが「ｖｏｃａｌｉｃ」「ｂａｃｋ」「ｃｏｎｓｏｎａｎｔａｌ」「ａｎｔｅｒｉｏｒ」である場合の音素解析結果である。また、図１１の（Ｃ）と（Ｄ）とは、音韻クラスが「ｏｐｅｎ」「ｎａｓａｌ」「ｃｌｏｓｅ」「ｓｔｏｐ」である場合の音素解析結果である。また、図１１の（Ｅ）と（Ｆ）とは、音韻クラスが「ｃｏｎｔｉｎｕａｎｔ」「ｆｌａｐ」「ｌａｔｅｒａｌ」「ｔｒｉｌｌ」である場合の音素解析結果である。また、図１１の（Ｇ）と（Ｈ）とは、音韻クラスが「ｖｏｉｃｅ」「ｌａｂｉａｌ」「ｓｔｒｉｄｅｎｔ」「ｄｅｎｔａｌ」である場合の音素解析結果である。また、図１１の（Ｉ）と（Ｊ）とは、音韻クラスが「ｖｅｌａｒ」「ｐａｕｓｅ」である場合の音素解析結果である。

図１１に示されているように、健常者と中等度以上の嚥下障害がある人とでは、音素解析結果である音韻クラスの波形において大きな差異がある。このため、音素解析結果は、嚥下障害の有無を判定する際の音響特徴量として有用であると考えられる。

図１２～図１７に、音韻クラスの音素解析結果である、各音響特徴量による嚥下障害の有無の分類性能を検証した箱ヒゲ図を示す。なお、図中の音韻クラス（例えば、「ｃｏｎｓｏｎａｎｔａｌ」「ｃｌｏｓｅ」「ｄｅｎｔａｌ」「ｖｅｌａｒ」「ｓｔｏｐ」「ａｎｔｅｒｉｏｒ」「ｂａｃｋ」「ｃｏｎｔｉｎｕａｎｔ」「ｏｐｅｎ」「ｌａｂｉａｌ」）の後に記載されている「ｍｅａｎ」は平均を表し、「ｍｅｄｉａｎ」は中央値を表し、「ｓｔｄ」は標準偏差を表す。また、図１２～図１７内の「ｈｅａｌｔｈｙ」は健常者を表し、「ｍｉｌｄ」は嚥下障害が軽度である人を表し、「ｓｅｖｅｒｅ」は嚥下障害が中等度以上である人を表す。また、図１２～図１７内の縦軸は、平均、中央値、及び標準偏差等の各統計量の値を表す。具体的には、図１２～図１７内の縦軸は、被験者があるフレーズを発した際の、各時刻の音韻クラスの音響特徴量の値の平均、中央値、及び標準偏差等である。

図１２は、被験者が「ぱ」を発した際の音響特徴量の統計量である。図１２の上段に示されているように、健常者と嚥下障害が軽度以上である人とを分別する際には、その一例として、音韻クラス「ｃｌｏｓｅ」の標準偏差である「ｃｌｏｓｅ＿ｓｔｄ」と、音韻クラス「ｃｏｎｓｏｎａｎｔａｌ」の標準偏差である「ｃｏｎｓｏｎａｎｔａｌ＿ｓｔｄ」が有用な音響特徴量であることが分かる。また、図１２の下段に示されているように、健常者及び嚥下障害が軽度である人と嚥下障害が中等度以上である人とを分別する際には、その一例として、音韻クラス「ｃｌｏｓｅ」の平均である「ｃｌｏｓｅ＿ｍｅａｎ」と、音韻クラス「ｃｌｏｓｅ」の中央値である「ｃｌｏｓｅ＿ｍｅｄｉａｎ」が有用な音響特徴量であることが分かる。

図１３も、被験者が「ぱ」を発した際の音響特徴量の統計量である。図１３に示されているように、健常者及び嚥下障害が軽度である人と嚥下障害が中等度以上である人を分別する際には、その一例として、音韻クラス「ｄｅｎｔａｌ」の平均値である「ｄｅｎｔａｌ＿ｍｅａｎ」と、音韻クラス「ｄｅｎｔａｌ」の中央値である「ｄｅｎｔａｌ＿ｍｅｄｉａｎ」と、音韻クラス「ｖｅｌａｒ」の中央値である「ｖｅｌａｒ＿ｍｅｄｉａｎ」とが有用な音響特徴量であることが分かる。

また、図１４及び図１５は、被験者が「ら」を発した際の音響特徴量の統計量である。図１４に示されているように、健常者と、嚥下障害が軽度である人と、嚥下障害が中等度以上である人を分別する際には、その一例として、音韻クラス「ｃｌｏｓｅ」の平均値である「ｃｌｏｓｅ＿ｍｅａｎ」と中央値である「ｃｌｏｓｅ＿ｍｅｄｉａｎ」と、音韻クラス「ｄｅｎｔａｌ」の標準偏差である「ｄｅｎｔａｌ＿ｓｔｄ」と、音韻クラス「ｓｔｏｐ」の平均値である「ｓｔｏｐ＿ｍｅａｎ」が有用な音響特徴量であることが分かる。

また、図１５に示されているように、健常者と、嚥下障害が軽度である人と、嚥下障害が中等度以上である人を分別する際には、その一例として、音韻クラス「ｖｅｌａｒ」の平均値である「ｖｅｌａｒ＿ｍｅａｎ」と中央値である「ｖｅｌａｒ＿ｍｅｄｉａｎ」が有用な音響特徴量であることが分かる。

また、図１６及び図１７は、被験者が「たまご」を発した際の音響特徴量の統計量である。図１６及び図１７については詳細な説明は省略するものの、図１２～図１５と同様に、各音韻クラスの音響特徴量は、嚥下障害の度合いを判定するのに有用である。

以上図１２～図１７に例示されているように、各音韻クラスの統計量は、嚥下障害の度合いを判定するのに有用である。このため、健常と軽度嚥下障害、健常と中等度以上の嚥下障害、軽度嚥下障害と中等度以上の嚥下障害とを区別して判定できることが確認できる。

このため、第２実施形態の判定装置の解析手段は、被験者が発した音声の音声データに対して音素解析を行うことにより、音声データに含まれる音素を特定する。そして、第２実施形態の判定装置の解析手段は、音声データに含まれる音素が属する音韻クラスを特定する。なお、同一の音素であっても、複数の音韻クラスに属する場合がある。例えば、図１０に示されているように、音素／ａ／は、「ｖｏｃａｌｉｃ」「ｂａｃｋ」「ｏｐｅｎ」「ｖｏｉｃｅｄ」に属し、音素／ｐ／は「ｃｏｎｓｏｎａｎｔａｌ」「ｓｔｏｐ」「ｌａｂｉａｌ」に属する。このため、第２実施形態の判定装置の解析手段は、時系列データである音声データの各時刻の音韻クラスの音素事後確率（Ｐｈｏｎｏｌｏｇｉｃａｌ ｐｏｓｔｅｒｉｏｒｓ）を計算する。そして、第２実施形態の判定装置の判定手段は、解析手段によって得られた各時刻の音韻クラスの音素事後確率の統計量（例えば、各時刻の音素事後確率の平均、中央値、及び標準偏差等）に基づいて、被験者の嚥下障害の度合いを判定する。このため、第２実施形態の判定装置によれば、被験者が発した音声の音声データを音素解析することにより、被験者の嚥下障害の度合いを精度良く判定することができる。

＜第３実施形態＞
次に、第３実施形態について説明する。なお、第３実施形態の判定装置の構成は、第１実施形態と同様の構成となるため、同一符号を付して説明を省略する。

第３実施形態の判定装置は、被験者の嚥下障害を判定する際に、音声の強度解析を利用する点が第１実施形態及び第２実施形態と異なる。

第３実施形態の判定装置の解析手段は、被験者が発話した音声データに対して音声の強度解析を行うことにより音響特徴量を作成する。そして、第３実施形態の判定装置の判定手段は、解析手段による解析結果である音響特徴量を使用して音声解析を実行することにより、嚥下障害の進行の度合いを判定する。

（実施例８）
図１８は、音声データを示す図である。図１８の横軸は時刻を表し、縦軸は音声の強度を表す。なお、図１８中の黒丸は、音声データのピーク点を表す。

図１９の上段の４行は、被験者が発したフレーズＰｈ０９「ばななばなな・・・ばなな」及びＰｈ１０「きものきものきもの・・・きもの」についての音声の強度解析結果と嚥下障害の評価結果との相関関係を表す実験結果である。図１９の「ｐｅａｋ＿ａｖｅ」は音声データの強度のピーク点の平均を表し、「ｐｅａｋ＿ｓｄ」は音声データの強度のピーク点の標準偏差を表し、「ｐｅａｋ＿ｓｐａｎ＿ａｖｅ」は音声データの強度のピーク点間の間隔の平均を表し、「ｐｅａｋ＿ｓｐａｎ＿ｓｄ」は音声データの強度のピーク点間の間隔の標準偏差を表している。

図１９は、ボンフェローニ法による検定結果のうちの「ｐｅａｋ＿ａｖｅ」「ｐｅａｋ＿ｓｄ」「ｐｅａｋ＿ｓｐａｎ＿ａｖｅ」「ｐｅａｋ＿ｓｐａｎ＿ｓｄ」を用いた、健常者と嚥下障害が軽度以上である人の分別、および健常者及び嚥下障害が軽度である人と嚥下障害が中等度以上である人の分別の結果である。図１９に示されているように、Ｐｈ０９の「ｐｅａｋ＿ｓｄ」を用いた健常者及び嚥下障害が軽度である人と嚥下障害が中等度以上である人の分別が有効であること、Ｐｈ０９の「ｐｅａｋ＿ｓｐａｎ＿ｓｄ」を用いた健常者及び嚥下障害が軽度である人と嚥下障害が中等度以上である人の分別が有効であること、Ｐｈ１０の「ｐｅａｋ＿ａｖｅ」を用いた健常者及び嚥下障害が軽度である人と嚥下障害が中等度以上である人の分別が有効であること、Ｐｈ１０の「ｐｅａｋ＿ｓｄ」を用いた健常者及び嚥下障害が軽度である人と嚥下障害が中等度以上である人の分別が有効であることがわかる。

図２０及び図２１は、各音響特徴量の箱ヒゲ図である。

図２０の左側は、フレーズＰｈ０９についての音響特徴量「ｐｅａｋ＿ｓｄ」の箱ヒゲ図であり、嚥下障害の症状との関連が見られ、特に嚥下障害が中等度以上である人の分別に有効であることが確認できた。

図２０の右側は、フレーズＰｈ０９についての音響特徴量「ｐｅａｋ＿ｓｐａｎ＿ｓｄ」の箱ヒゲ図であり、嚥下障害の症状との関連が見られ、特に嚥下障害が中等度以上である人の分別に有効であることが確認できた。

図２１は、フレーズＰｈ１０についての音響特徴量「ｐｅａｋ＿ｓｄ」の箱ヒゲ図であり、嚥下障害の症状との関連が見られ、特に嚥下障害が中等度以上である人の分別に有効であることが確認できた。

以上、図１９～図２１に示されているように、音声データの強度解析結果は、嚥下障害の度合いを判定するのに有用である。このため、健常と軽度嚥下障害、健常と中等度以上の嚥下障害、軽度嚥下障害と中等度以上の嚥下障害とを区別して判定できることが確認できる。

このため、第３実施形態の判定装置の解析手段は、被験者が発した音声の音声データに対して強度解析を行うことにより、強度解析に関する音響特徴量を生成する。例えば、第３実施形態の判定装置の解析手段は、強度解析に関する音響特徴量として、上述したようなデータを生成する。そして、第３実施形態の判定装置の判定手段は、解析手段によって得られた音響特徴量に基づいて、被験者の嚥下障害の度合いを判定する。このため、第３実施形態の判定装置によれば、被験者が発した音声の音声データを強度解析することにより、被験者の嚥下障害の度合いを精度良く判定することができる。なお、上記実施例では、被験者が発するフレーズとしてフレーズＰｈ０９「ばななばなな・・・ばなな」及びＰｈ１０「きものきものきもの・・・きもの」を例示したが、これに限らず、所定フレーズの繰り返しを含むようなものであれば、どのようなものであってもよい。例えば「ぱたかぱたかぱたか」「ぱぱぱぱ」「たたたた」といったフレーズであってもよい。このようなフレーズは、鼻腔共鳴（鼻にかかる）を発生させるフレーズであり、嚥下障害の度合いを判定するのに有用であると考えられる。また、繰り返しを含むフレーズを採用することにより、繰り返しによって発生するリズムの一定性を判定することができるため、これも、嚥下障害の度合いを判定するのに有用であると考えられる。

なお、第２実施形態の音素解析と第３実施形態の強度解析とを組み合わせて、被験者の嚥下障害の度合いを判定するようしにてもよい。この場合には、判定装置の解析手段は、音声データに対して音素解析を行うことにより作成された音響特徴量と、音声データに対して強度解析を行うことにより作成された音響特徴量とを用いて、被験者の嚥下障害の度合いを判定する。これにより、音素解析及び強度解析の何れか一方のみを用いる場合よりも、被験者の嚥下障害の度合いを精度良く判定することができる。なお、音響特徴量の組み合わせは、音素解析に関する音響特徴量と強度解析に関する音響特徴量との組み合わせに限定されず、フォルマント周波数、メル周波数ケプストラム、周波数スペクトラム、音声のエンベロープ、波形の変動情報、ゼロ交差率、ハースト指数、及び閉鎖開放から声帯振動が始まるまでの時間等を含めたいかなる組み合わせであってもよい。

（実施例９）
図２２及び図２３は、音声データに対して音素解析を行うことにより作成された音響特徴量と、音声データに対して強度解析を行うことにより作成された音響特徴量とを用いて、被験者の嚥下障害の度合いを判定した場合のＲＯＣ曲線図である。図２２及び図２３は、音響特徴量セットを用いた機械学習モデルにより、軽度以上の嚥下障害（図２２）又は中等度以上の嚥下障害（図２３）を判定した際のＲＯＣ曲線の結果である。より詳細には、図２２及び図２３は、フォルマント周波数に基づき作成された音響特徴量、メル周波数ケプストラムに基づき作成された音響特徴量、音素解析を行うことにより作成された音響特徴量、及び強度解析を行うことにより作成された音響特徴量の４つの音響特徴量を用いて、被験者の嚥下障害の度合いを判定した場合のＲＯＣ曲線図である。図２２は、軽度以上の嚥下障害を判定した場合のＲＯＣ曲線図である。また、図２３は、中等度以上の嚥下障害を判定した場合のＲＯＣ曲線図である。図２２に示される軽度以上の嚥下障害を判定した場合のＡＵＣは０．９９５４（Ｐ値＜０.００１）であり、十分な分類性能を有していることが確認できた。また、図２３に示される中等度度以上の嚥下障害を判定した場合のＡＵＣは１．０００（Ｐ値＜０.００１）であり、十分な分類性能を有していることが確認できた。このため、音声データに対して音素解析を行うことにより作成された音響特徴量と、音声データに対して強度解析を行うことにより作成された音響特徴量とを用いることにより、被験者の嚥下障害の度合いを精度良く判定することができることが確認された。

以上、本開示の好ましい実施例について説明したが、本開示は、上述の実施例に限定されない。本開示の目的は、上述の実施例の機能を実現するプログラムコード（コンピュータプログラム）を格納した記憶媒体をシステムあるいは装置に供給し、供給されたシステムあるいは装置のコンピュータが記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施例の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本開示を構成することになる。また、上述した実施形態では、コンピュータがプログラムを実行することにより、各処理部として機能するものとしたが、処理の一部または全部を専用の電子回路（ハードウェア）で構成するようにしても構わない。本開示は、説明された特定の実施例に限定されるものではなく、各実施例の各構成同士の置換を含み、特許請求の範囲に記載された本開示の趣旨の範囲内において、種々の変形・変更が可能である。

2021年9月29日に出願された日本国特許出願2021-159606号の開示は、その全体が参照により本明細書に取り込まれる。本明細書に記載された全ての文献、特許出願、および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (11)

1. 音声解析により嚥下状態を判定する判定装置であって、前記判定装置は：
   被験者が発した音声の時系列データである音声データの入力を受け付ける入力手段；
   前記入力手段で受け付けた音声データを解析する解析手段；
   前記解析手段による解析結果に基づいて被験者の嚥下状態を判定する判定手段、
   を備え、
   前記解析手段が、前記音声データに対して音素解析を行うことにより、前記音声データに含まれる音素を特定し、前記音声データに含まれる音素が属する音韻クラスを特定し、前記音声データの各時刻の音韻クラスの音素事後確率（Ｐｈｏｎｏｌｏｇｉｃａｌ ｐｏｓｔｅｒｉｏｒｓ）を計算し、
   前記判定手段が、前記解析手段によって得られた前記各時刻の音韻クラスの音素事後確率に基づいて、前記被験者の嚥下障害の度合いを判定する、
   判定装置。
2. 前記解析手段は、更に、前記音声データを以下の式Ｆ（ａ）に示す音響特徴量を計算し、
   前記判定手段は、前記解析手段によって得られた、前記各時刻の音韻クラスの音素事後確率と、前記音響特徴量とに基づいて、前記被験者の嚥下障害の度合いを判定する、
   請求項１に記載の判定装置：
   
   （式中、ｇは嚥下状態の有無や進行の度合いを判定する線形または非線形モデルであり、ｘ_ｎは前記音声データとして入力するフレーズに固有の係数であり、ｆ（ｎ）は音響パラメータであって、前記音響パラメータは、フォルマント周波数、メル周波数ケプストラム、周波数スペクトラム、音声のエンベロープ、波形の変動情報、ゼロ交差率、ハースト指数、および閉鎖開放から声帯振動が始まるまでの時間、から成る群から１つまたは複数が選択される）。
3. 前記解析手段は、更に、前記音声データのフォルマント周波数またはメル周波数ケプストラムに基づき作成された音響特徴量を取得し、
   前記判定手段は、前記解析手段によって得られた、前記各時刻の音韻クラスの音素事後確率と、前記音響特徴量とに基づいて、前記被験者の嚥下障害の度合いを判定する、
   請求項１に記載の判定装置。
4. 前記判定手段は、前記音韻クラスの音素事後確率を入力した場合に前記被験者の嚥下障害の度合いを出力するように機械学習処理が施されている機械学習モデルに対して、前記解析手段によって得られた前記音韻クラスの音素事後確率を入力することにより、前記機械学習モデルから出力される前記被験者の嚥下障害の度合いを取得し、前記被験者の嚥下障害の度合いを判定する、
   請求項１に記載の判定装置。
5. 前記入力手段は、更に、前記被験者が同一のフレーズを２回発した際の前記音声データの各々を受け付け、
   前記判定手段は、前記音響特徴量に基づいて前記被験者の嚥下障害の度合いを判定する際に、前記被験者によって発せられた２回の前記同一のフレーズの各々に対応する、２つの前記音声データから得られた前記音響特徴量の差分または平均値に基づいて、前記被験者の嚥下障害の度合いを判定する、
   請求項２または請求項３に記載の判定装置。
6. 前記入力手段は、前記被験者が前記嚥下障害の度合いに関連するフレーズを発話した際の前記音声データの入力を受け付ける、
   請求項１または請求項２に記載の判定装置。
7. 前記入力手段は、前記被験者が
   
   の少なくとも１つの音を含む発話をした際の前記音声データの入力を受け付ける、
   請求項１または請求項２に記載の判定装置。
8. 前記解析手段は、更に、前記音声データに対して音声の強度解析を行うことにより作成された音響特徴量を取得し、
   前記判定手段は、前記解析手段によって得られた、前記各時刻の音韻クラスの音素事後確率と、前記音響特徴量とに基づいて、前記被験者の嚥下障害の度合いを判定する、
   請求項１に記載の判定装置。
9. 前記音声データは、前記被験者が所定フレーズの繰り返しを発話した際の音声データである、
   請求項１または請求項２に記載の判定装置。
10. コンピュータが音声解析により嚥下状態を判定する方法であって、前記方法は：
    被験者が発した音声の時系列データである音声データの入力を受け付ける入力工程；
    前記入力工程で受け付けた音声データを解析する解析工程；
    前記解析工程による解析結果に基づいて被験者の嚥下状態を判定する判定工程、
    を備え、
    前記解析工程が、前記音声データに対して音素解析を行うことにより、前記音声データに含まれる音素を特定し、前記音声データに含まれる音素が属する音韻クラスを特定し、前記音声データの各時刻の音韻クラスの音素事後確率（Ｐｈｏｎｏｌｏｇｉｃａｌ ｐｏｓｔｅｒｉｏｒｓ）を計算し、
    前記判定工程が、前記解析工程によって得られた前記各時刻の音韻クラスの音素事後確率に基づいて、前記被験者の嚥下障害の度合いを判定する、
    処理をコンピュータが実行する方法。
11. 請求項１または請求項２に記載の判定装置の各手段としてコンピュータを機能させるためのプログラム。