<実施形態>
本発明の一実施形態について、図面を参照しながら説明する。
<概要>
図1(a)は、本実施例に係る聴覚補助器具100の一例を示す外観図である。また、図1(b)は、聴覚補助器具100を装用者Uが装用した使用例を示す図である。
図1(a)に示すように、聴覚補助器具100は、装用者に対して、音声を出力する機能を有するものであり、図示するように一例として補聴器であってよいが、聴覚補助器具100は、補聴器に限定するものではない。前述のように、聴覚補助器具100は、少なくとも音声を出力する機能と、装用者Uの体調を特定する機能があればよく、例えば、内耳型ではなく外耳型のヘッドホンや、イヤホンあるいはヘッドホン付きのヘッドマウントディスプレイなどにより実現されてもよい。
本実施形態においては、図1(b)に示すように、聴覚補助器具100は、装用者Uの耳に、スピーカ部101が挿入されて使用される。
図1(a)に示すように、聴覚補助器具100を起動、終了(オン/オフ)するためのディップスイッチ102や、本実施形態に係る装用者Uの体調に基づく音声制御処理を実行の可否を入力するためのスイッチ103や、スピーカ部101から出力される音声の音量を装用者Uが能動的に指定することができるジョグダイヤルキー104、周囲の音を集音するための集音部150等を備えてよい。また、聴覚補助器具100は、図1には図示していないが、必要に応じて、その他の各種機能を実現するための各種スイッチ等を備えてよい。
また、図1には図示していないが、聴覚補助器具100は、装用者Uが保持する情報処理装置200(図3参照)とネットワークを介して通信可能に接続されてよく、情報処理装置200との連動により、以降で説明する機能が実現されてもよい。
なお、ネットワークは、各種の機器との間を相互に接続させるためのネットワークであり、例えば、無線ネットワークや有線ネットワークである。具体的には、ネットワークは、ワイヤレスLAN(wireless LAN:WLAN)や広域ネットワーク(wide area network:WAN)、ISDNs(integrated service digital networks)、無線LANs、LTE(long term evolution)、LTE-Advanced、第4世代(4G)、第5世代(5G)、CDMA(code division multiple access)、WCDMA(登録商標)、イーサネット(登録商標)などである。また、ネットワークは、これらの例に限られず、例えば、公衆交換電話網(Public Switched Telephone Network:PSTN)やブルートゥース(Bluetooth(登録商標))、ブルートゥースローエナジー(Bluetooth Low Energy)、光回線、ADSL(Asymmetric Digital Subscriber Line)回線、衛星通信網などであってもよく、どのようなネットワークであってもよい。ネットワークは、ユーザの住居に備えられる場合には、ホームネットワークと呼称されることもある。また、ネットワークは、例えば、NB-IoT(Narrow Band IoT)や、eMTC(enhanced Machine Type Communication)であってもよい。なお、NB-IoTやeMTCは、IoT向けの無線通信方式であり、低コスト、低消費電力で長距離通信が可能なネットワークである。また、ネットワークは、これらの組み合わせであってもよい。また、ネットワークは、これらの例を組み合わせた複数の異なるネットワークを含むものであってもよい。例えば、ネットワークは、LTEによる無線ネットワークと、閉域網であるイントラネットなどの有線ネットワークとを含むものであってもよい。
<構成>
<聴覚補助器具100の構成例>
図2は、聴覚補助器具100の構成を示すブロック図である。図2に示すように、聴覚補助器具100は、体温測定部120と、心拍測定部130と、集音部150と、制御部170と、記憶部180と、出力部190と、を備える。また、聴覚補助器具100は、通信部110と、位置情報取得部140と、録音部160と、を備えてもよい。聴覚補助器具100の各部は互いに通信可能に接続されていてよい。
通信部110は、外部の装置と通信を実行するための通信インターフェースである。通信部110は、聴覚補助器具100に宛てられた音声データ又は音声ファイル(以降、音声データとのみ記載する)を受信し、制御部170に伝達する機能を有する。また、通信部110は、制御部170から、指定されたデータを、情報処理装置200に送信する機能を有する。
体温測定部120は、装用者Uの体温を測定する機能を有する体温計である。体温測定部120は、一例として、装用者Uの鼓膜温度を測定する赤外線センサにより実現されてよいが、これに限定するものではない。体温測定部120は、測定した体温を、制御部170に伝達する。
心拍測定部130は、装用者Uの耳の血管の血流から装用者の心拍数を測定する機能を有する心拍計である。心拍測定部130は、測定した心拍数を制御部170に伝達する。ここでいう心拍数は、単位時間当たりの心拍数であり、基本的には1分間の心拍数であってよいが、1分に限定するものではない。心拍測定部130は、一例として、聴覚補助器具100の装着時に装用者に向けて発光するエミッタ(LED)と、エミッタから照射され、人体内で反射された光を受光する光検出器からなることとしてよい。即ち、心拍測定部130は、反射型脈波センサとして構成されてよい。エミッタから照射された光は、脈動に伴って容積が変化する血管によって吸収される。したがって、脈動による容積変化によって光の吸収率も変化することから、検出された反射波においては、減衰率の差として脈動が検出される。なお、心拍測定部130の実現手法はこれに限定するものではない。
位置情報取得部140は、聴覚補助器具100の位置情報を取得する。位置情報取得部140は、一般に知られるGNSS(Global Navigation Satellite System)によって実現することができるが、これに限定するものではない。また、位置情報取得部140は、装用者Uが保持する情報処理装置が取得した位置情報を、聴覚補助器具100の位置情報として取得することとしてもよい。位置情報取得部140は、取得した位置情報を制御部170に伝達する。
集音部150は、聴覚補助器具100の周囲の音声を集音するマイクである。集音部150は、集音した音声を音声信号に変換して制御部170に伝達する。なお、集音部150は、集音した音声のうち、雑音を除去するためのノイズキャンセル機能を有していてもよい。また、このノイズキャンセル機能は、制御部170の機能として実現されてもよい。
録音部160は、集音部150が集音した音声を記憶部180に記憶する機能を有する。なお、集音部150が集音した音声の録音は、集音部150が集音した音声を逐次通信部110を介して情報処理装置200に送信し、情報処理装置200により、実行されてもよい。録音部160により録音は、逐次実行されてもよいし、装用者Uからの録音の指示に基づいて実行されることとしてもよい。
制御部170は、聴覚補助器具100の各部を制御する機能を有するプロセッサである。制御部170は、記憶部180に記憶されている各種のプログラムを実行し、記憶部180に記憶されているデータを利用して、聴覚補助器具100の各種の機能を実現する。制御部170は、体温測定部120が測定した装用者Uの体温と、心拍測定部130が測定した心拍数に基づいて、必要に応じて音声の音量または周波数を制御(調整)して、出力部190から出力させる。また、制御部170は、集音部150が集音した音声に対して音声任処理を実行し、特定のキーワードが含まれる場合に対応する音声制御処理を実行する。また、制御部170は、集音部150が集音した音声に特定の音が含まれる場合に、対応する音声制御処理を実行する。また、制御部170は、聴覚補助器具100が特定の位置に存在する場合に、その位置に対応する音声制御処理を実行する。制御部170が実行する制御内容の更なる詳細については、後述する。
記憶部180は、聴覚補助器具100が動作上必要とするプログラム並びにデータを記憶する機能を有する。記憶部180は、例えば、HDD(Hard Disc Drive)、SSD(Solid State Drive)、フラッシュメモリなど、各種の記録媒体により実現することができるが、これらに限定するものではない。
記憶部180は、制御部170が、装用者Uの体調に基づく音声制御処理を実行するために参照する、音声制御テーブルを記憶する。音声制御テーブルの詳細については、図4を用いて後述する。
記憶部180は、第1記憶部181と、第2記憶部182と、第3記憶部183と、を備えてもよい。第1記憶部181、第2記憶部182、第3記憶部183は、それぞれ別個のメモリとして実現されてもよいし、それぞれ、記憶部180の記憶領域内の個別の領域として実現されてもよい。
第1記憶部181は、装用者Uにより指定された、もしくは、予め指定された特定のキーワードを記憶する機能を有する。ここで、特定のキーワードとは、装用者Uによって設定される文言であって、装用者Uにとって聞き取りづらい文言のことであってよい。また、特定のキーワードは、装用者Uにとって重要な文言であってもよく、一例として、装用者Uに対して危険を知らせる「危ない!」というような単語であってもよい。また、あるいは、特定のキーワードは、濁音や半濁音を含む文言であってもよい。集音部150が集音した音声に対して音声認識処理を行って、得られたデータに、第1記憶部181に記憶されている特定のキーワードが含まれている場合には、制御部170は、音声制御処理として、より聞き取りやすい音量、周波数に変換する処理を実行する。なお、この場合の音声制御処理の対象となる音声は、特定のキーワードを検知した後に継続して集音部150により集音する音声であってもよいし、特定のキーワードを含む音声が録音部160によって録音されて、再生される際の音声であってもよい。
第2記憶部182は、装用者Uにより指定された、もしくは、聴覚補助器具100の製作者等により予め指定された特定の音(音声データ)を記憶する機能を有する。ここで、特定の音とは、装用者Uによって、予め設定される音であってもよいし、聴覚補助器具100の製作者等により設定される音であってよい。特定の音は、一例として、緊急車両のサイレンの音であったり、車両のクラクション音であったり、災害速報を通知する音であったりしてよいが、これらに限定するものではない。第2記憶部182は、集音部150が集音した音声に、特定の音を検知した場合に、制御部170が実行すべき音声制御処理の内容を記憶する。
第3記憶部183は、特定の位置範囲を示す情報を記憶する機能を有する。また、第3記憶部183は、聴覚補助器具100が記憶している特定の位置範囲内に存在する場合に、制御部170が実行する音声制御処理の内容を記憶する。ここで、特定の位置範囲とは、事前に定められた音声制御処理を実行する範囲のことである。また、事前に定められた音声制御処理とは、第3記憶部183に、初期情報として、もしくは、装用者Uにより設定された情報としての、出力する音の音量と周波数で音声を出力部190から出力させる処理のことである。
出力部190は、制御部170から指定されたデータを出力する。出力部190は、音声を出力するスピーカとして実現されてよく、制御部170から伝達された音声データを出力する。また、出力部190は、制御部170から指定されたデータを、通信部110を介して情報処理装置200に送信し、情報処理装置200がデータの表示等により、出力を実現するものであってもよい。
以上が、聴覚補助器具100の説明である。
<情報処理装置200の構成例>
図3は、情報処理装置200の構成例を示すブロック図である。情報処理装置200は、聴覚補助器具100との間で音声データ等の各種データのやり取りが可能なコンピュータシステムである。情報処理装置200は、一例として、携帯電話、スマートフォン、タブレット端末などであってよいが、これらに限定するものではなく、PCやノートPCなどであってもよい。
図3に示すように、情報処理装置200は、通信部210と、入力部220と、制御部230と、記憶部240と、出力部250と、を備える。
通信部210は、他の機器と通信する機能を有する通信インターフェースである。通信部210は、ネットワーク300を介して、聴覚補助器具100から送信された音声データを、受信する。そして、通信部210は、受信した音声データを、制御部230に伝達する。また、通信部210は、制御部230からの指示に従って、指定されたデータを聴覚補助器具100に送信する。
入力部220は、情報処理装置200のユーザ(装用者U)からの入力を受け付ける入力インターフェースである。入力部220は、各種入力を実現するハードキーやタッチパネルなどにより実現されてよいが、これらに限定するものではない。また、入力部220は、マイク等による音声入力を実現するものであってもよい。入力部220は、受け付けた入力内容を制御部230に伝達する。
制御部230は、情報処理装置200の各部を制御する機能を有するプロセッサである。制御部230は、記憶部240に記憶されている各種のプログラムを実行し、記憶部240に記憶されているデータを利用して、情報処理装置200の各種の機能を実現する。制御部230は、聴覚補助器具100から受信した音声データを記憶部240に記憶したり、装用者Uからの入力にしたがって、記憶部240に記憶した音声データを出力部260に再生させたりする。
記憶部240は、情報処理装置200が動作上必要とするプログラムおよびデータを記憶する機能を有する。記憶部240は、例えば、HDD、SSD、フラッシュメモリなどの各種の記憶媒体により実現することができるが、これらに限定するものではない。
出力部250は、制御部230から指定されたデータを出力する機能を有する。出力部250は、画像や文字、音声を出力するものであってよく、情報処理装置200に備え付けられたモニタやスピーカ等により実現することとしてもよいし、情報処理装置200と接続された聴覚補助器具100を含む各種器具に出力すべきデータを送信することによって出力することとしてもよい。
以上が、情報処理装置200の構成である。
<データ>
図4は、聴覚補助器具100が、装用者Uの体調に基づいて音声制御処理の内容を示す音声制御テーブル400のデータ構成例を示すデータ概念図である。図4に示すように、音声制御テーブル400は、装用者Uの体調を示す体温401と心拍402とに、音声制御処理の音量403と音質404とを対応付けた情報である。
体温401は、装用者Uの体温であって、体温測定部120により測定された体温に対応する情報である。ここでは、一例として、36℃、37℃、38℃を示しているが、これは、それぞれ、36℃台、37℃台、38℃台を意味する。なお、体温の数値は一例であり、ここの装用者Uにとって好ましい温度が聴覚補助器具100に対して設定されて、記憶部180に記憶される。
心拍402は、装用者Uの心拍であって、心拍測定部130により測定された心拍に対応する情報である。図4において、心拍について、「通常」、「早い」などと示しているが、心拍の「通常」とは、装用者Uにとっての平時の心拍の平均値あるいは、その平均値を含む誤差範囲のことであってよい。また、ここでいう「早い」とは、「通常」より早い(心拍の数としては多い)値であればよい。実際のデータ上は、心拍402は、各音声制御処理を実行する際の心拍の数値範囲を示す情報であり、一例として、「通常」は、「65~75bpm」などというように登録されていてよく、その場合の早いは、「76~bpm」というように登録されていてもよい。
音量403は、装用者Uの体調が対応する体温401と心拍402の組み合わせを示す場合に、出力する音声の音量を指定する情報である。図4における音量403の「通常」とは、装用者Uが通常出力音声として指定している音量の値のことであり、実際のデータとしては音量の制御値であってよい。同様に、「小さめ」とは、「通常」として設定されている音量よりも低い音量の値のことを指す。なお、通常の音量とは、集音部150が集音した音声を出力する場合に、集音した音声の音量そのままで出力するものであってもよく、その場合の「小さめ」は、その入力された音声の音量よりも低い音量であればよい。音量403は、聴覚補助器具100が出力可能な音声の音量の段階を示す情報により規定されてもよい。例えば、聴覚補助器具100が出力可能な音声の音量が、0~10の10段階で出力が可能である場合には、通常の音量を「5」とし、小さめは、「3」というように設定されてもよい。
音質404は、装用者Uの体調が対応する体温401と心拍402の組み合わせを示す場合に、出力する音声の音質を指定する情報である。図4においては、「通常」、「雑音抑制大」、「雑音抑制小」などと記載しているが、これは、実質的には出力する音声の周波数を指定する情報である。音質404における「通常」とは、装用者Uが通常出力音質として指定している周波数のことであってよい。一般に、人間の可聴周波数は、20Hzから20kHzと言われており、その中でも特に、2000Hzから4000Hzの周波数の音を聞き取りやすいとされている。そこで、雑音抑制小の場合には、一例として、2000Hzに設定し、雑音抑制大の場合には、より聞き取りやすい3000Hzに設定するというような設定をすることが考えられるがこれに限定するものではない。また、装用者Uの個性に応じて、聞き取りやすい周波数は異なってくるため、音量403や音質404は個別の設定をすることが好ましい。なお、図4において音質404の通常とは、集音部が集音した音声の周波数そのままの状態の音声を出力するものであってもよく、その場合に、雑音抑制小、雑音抑制大は、その周波数よりも聞き取りやすい周波数になっていればよい。
図4に示す音声制御テーブル400の場合、一例として、装用者の体温401が「37℃」で、心拍402が「早い」場合に、制御部170は、音声制御処理として、出力する音声の音量を通常よりも「小さめ」にし、その音質404として、雑音抑制を少しだけきかせた、即ち、周波数を通常よりも少しだけ聞き取りやすい周波数に変換する処理を行うことになる。
なお、本実施形態においては、音声制御テーブルを聴覚補助器具100の記憶部180が記憶することとしているが、同等の音声制御処理を実行するためのプログラムにより実現することとしてもよい。また、音声制御テーブル400に含まれる制御内容は、図4に示した内容に限定するものではなく、その他の体温、心拍の組み合わせとそれに対する音声制御処理が含まれてよい。また、音声制御テーブル400に記憶されていない状態に関しては、音声制御処理としては通常時と同様であってよい。例えば、図4の例でいえば、体温が37℃、心拍が通常であれば、音量及び音質について通常の状態の音声を出力するようにしてよい。
装用者Uの体調が悪い場合には通常よりも意識が混濁するとともに、音声が聞き取りにくくなる傾向にある。そのため、音が聞き取りやすくなるように、人として聞き取りやすい周波数の音で出力することが望まれる。また、一方で、そのように体調が悪い場合には、大きな音は装用者Uにとって好ましくない(例えば、体温が高い場合には風邪をひいている可能性があり、そのような場合に頭痛等を併発していると大きな音は装用者にとって余計に頭痛を促すことになるので好ましくない)ので、音量を下げるようにすることが好ましい。したがって、聴覚補助器具100による音声制御処理は、装用者Uの体調が悪くなったと推定される場合に、音量を下げ、周波数を聞き取りやすい周波数に変換するものであり、音声制御テーブル400はそのように構成されることが望ましい。
<動作>
図5は、聴覚補助器具100の動作例を示すフローチャートである。
図5に示すように、聴覚補助器具100の体温測定部120は、装用者Uの体温を測定する(ステップS501)。そして、体温測定部120は、測定した体温を示す情報を、制御部170に伝達する。
また、聴覚補助器具100の心拍測定部130は、装用者Uの心拍を測定する(ステップS502)。そして、心拍測定部130は、測定した心拍を示す情報を、制御部170に伝達する。
聴覚補助器具100の制御部170は、体温測定部120から伝達された装用者Uの体温と、心拍測定部130から伝達された装用者Uの心拍と、図4に示す音声制御テーブル400に基づいて、出力部190から出力させる音声の音量や周波数を調整する音声制御処理を実行する(ステップS503)。なお、音声制御処理の対象となる音声(音源)は、集音部150が集音した音声に対して実行するものであってもよいし、それ以外の音声に対して実行するものであってもよい。
そして、制御部170は、音声制御処理により音量や周波数を調整した音声を、出力部190から出力させて(ステップS504)、処理を終了する。なお、図5に示す処理において、ステップS501とステップS502の処理の実行順序は逆であってもよく、並行して実行されてもよい。
このようにして、聴覚補助器具100は、装用者Uの体調に基づいて、自動的に出力する音声を調整するので、装用者Uの体調に対して、負担をかけず、かつ、聞き取りやすい音声を出力することができる。
<聴覚補助器具の位置に基づく音声制御処理>
ここまでは装用者Uの体調に基づく音声制御処理について説明した。ここから、その他の装用者Uにとって聞き取りづらい状況下で音声を聞き取りやすくするための一手法について説明する。即ち、装用者Uの位置に応じた音声制御処理を行う例を説明する。
図6は、装用者Uが自身の情報処理装置200を用いて、位置に基づく音声制御処理を行う、その位置の指定と、制御内容の設定を行うための表示画面例600を示している。音質設定601は、出力する音声の周波数の指定を行うことを示しており、音量設定602は、出力する音声の音量の指定を行うことを示しており、位置情報設定603は、位置に基づく音声制御処理を実行する位置、あるいは、その範囲の指定を行うことを示している。
音質設定601や音量設定602については、装用者Uが、自身が情報処理装置200に対して音質や音量の設定を行った場合に、その設定された音質および音量でサンプル音声を出力することで装用者Uにとって聞き取りやすい音声になっているかを検証して設定することとしてよい。
位置情報設定603としては、装用者Uの現在位置、即ち、情報処理装置200の現在位置を表示し、設定することとしてもよいし、装用者Uが表示された地図に対して位置を指定することとにより設定することとしてもよい。また、あるいは、装用者Uが地図に対して、音声制御処理を実行する範囲を指定することとしてもよい。
音質設定601、音量設定602、位置情報設定603の設定を終了すると、装用者Uは、登録ボタン604を押下する。これにより、設定した内容が、情報処理装置200に登録(記憶)されるとともに、情報処理装置200から聴覚補助器具100に送信される。そして、聴覚補助器具100は、受信した、位置情報に基づく音声制御処理の内容を第1音制御情報として記憶部180に記憶する。この位置情報に基づく音声制御処理は、複数の位置の登録ができてよい。また、それぞれの位置に応じて、音声制御処理の内容は、同じであってもよいし、個別の音声制御処理が実行されてよい。例えば、記憶部180には、位置に基づく音声制御処理として実行するための第1音声制御情報として、{位置:((X1、Y1)~(X2、Y2))、音量:V1、音質:F1}というように、位置と音量と音質とが対応付けられて記憶されてよい。音声制御の内容を統一する場合には、この第1音声制御情報の音量及び音質は省略することとしてもよく、その場合には、位置に基づく音声制御処理としての音量と音質を別途記憶しておくとよい。なお、ここで、位置の(X1、Y1)、(X2、Y2)は経緯度情報であってよく、(X1、Y1)~(X2、Y2)は、点(X1、Y1)と点(X2、Y2)を対角とする矩形範囲を示すものであってよいが、これに限定するものではない。また、位置は、点(X1,Y1)のみで示されてもよく、その場合の制御範囲は、点(X1、Y1)を中心として所定の距離Hを半径とする円内部を制御範囲とすることとしてもよい。
図7は、聴覚補助器具100による位置情報に基づく音声制御処理を実行する際の動作例を示すフローチャートである。
図7に示すように、聴覚補助器具100の位置情報取得部140は、適宜、聴覚補助器具100の位置情報を取得し(ステップS701)、制御部170に伝達する。
制御部170は、伝達された位置情報が、記憶部180に設定した第1音声制御情報のいずれかにより規定される位置情報の範囲内に含まれるか否かを判定する(ステップS702)。
制御部170は、伝達された位置情報が、第1音声制御情報のいずれかの位置情報の範囲内に含まれる場合には(ステップS702のYES)、制御部170は、記憶部180に記憶した第1音声制御情報に基づいて、対応付けられている音量、音質になるように出力部190から出力する音声に対して音声制御処理を実行する(ステップS703)。
制御部170は、第1音声制御情報で指定される音声制御処理を施した音声を出力部190から出力させる(ステップS704)。
位置情報取得部140は、取得した位置情報を適宜制御部170に伝達する。制御部170は、伝達された位置情報が示す位置が、第1音声制御情報で示される位置範囲から外れたか否かを判定する(ステップS705)。外れていない場合には(ステップS705のNO)、ステップS703の処理に戻って、第1音声制御情報に基づく音声制御処理、即ち、位置情報に基づく音声制御処理を継続する。
一方で、制御部170は、伝達された位置情報が示す位置が、第1音声制御情報で示される位置の範囲外にいると判定すると(ステップS705のYES)、制御部170は、位置情報に基づく音声制御処理を解除し(ステップS706)、処理を終了する。
このように、聴覚補助器具100は、装用者Uが自身の生活圏において、音が聞き取りづらい場所(例えば、繁華街や工事現場など)に差し掛かった場合に、出力部190が出力する音(集音部150が集音した音声であってよいがこれに限定するものではない)に対して装用者Uが自身で設定した聞き取りやすくなる音に変換する処理を実行することで、喧噪の中でも聞き取りやすい音を、装用者Uに提供することができる。
なお、図7に示す処理は、聴覚補助器具100の動作として説明したが、これは、情報処理装置200との連動により実現されてもよい。例えば、一例として、聴覚補助器具100が位置情報取得部140を備えていないような場合には、位置情報の測定は情報処理装置200が行い、情報処理装置200が位置情報設定603により設定されている位置範囲に入った場合に、情報処理装置200から聴覚補助器具100に対して、位置に基づく音声制御処理を実行するように指示することとしてもよい。
<特定のキーワードに基づく音声制御処理>
上述では、装用者Uの体調に基づく音声制御処理、装用者U(聴覚補助器具100又は情報処理装置200)の位置に基づく音声制御処理を行う例を説明した。ここでは、特定のキーワードに基づく音声制御処理を行う例を説明する。装用者Uにとって、一例として、濁音や半濁音など、聞き取りにくい音がある場合がある。また、装用者Uによってはフレーズとしてひとつながりの単語として認識しにくい単語もある。そこで、聴覚補助器具100は、特定のキーワードを検知した場合に、装用者Uがその単語を聞き取りやすくなるよう音声制御処理を実行する。これは、装用者Uと他者との会話の中で、継続して同じ単語が使用される場合に有用であるとともに、会話の録音音声を聞きなおす場合などに特に有用である。
図8は、特定のキーワードに基づく音声制御処理を行うための情報処理装置200における、その特定のキーワードの設定と、その際の音声制御処理の設定を行う際の表示画面例800を示している。
音質設定801は、出力する音声の周波数の指定を行うことを示しており、音量設定802は、出力する音声の音量の指定を行うことを示しており、特定のキーワード803は、特定のキーワードに基づく音声制御処理を実行するトリガとなる単語の指定を行うことを示している。
音質設定801や音量設定802については、装用者Uが、自身が情報処理装置200に対して音質や音量の設定を行った場合に、その設定された音質および音量でサンプル音声を出力することで装用者Uにとって聞き取りやすい音声になっているかを検証して設定することとしてよい。
音質設定801、音量設定802、特定のキーワード803の設定を終了すると、装用者Uは、登録ボタン804を押下する。これにより、設定した内容が、情報処理装置200に登録(記憶)されるとともに、情報処理装置200から聴覚補助器具100に送信される。そして、聴覚補助器具100は、受信した、特定のキーワードに基づく音声制御処理の内容を、第2音声制御情報として、記憶部180に記憶する。この特定のキーワードに基づく音声制御処理は、複数のキーワードの登録ができてよい。また、それぞれのキーワードに応じて、音声制御処理の内容は、同じであってもよいし、個別の音声制御処理が実行されてよい。例えば、記憶部180には、特定のキーワードに基づく音声制御処理として実行するための第2音声制御情報として、{特定のキーワード:XXXXXX、音量:V2、音質:F2}というように、特定のキーワードを示す単語もしくは文字列と、音量と、音質とが対応付けられて記憶されてよい。
聴覚補助器具100は、集音部150が集音した音声に対して、周知の音声認識処理を実行し、音声をテキストデータに変換して、そのテキストデータが特定のキーワードに一致する場合に、特定のキーワードに基づく音声制御処理、つまり、第2音声制御情報に基づく音声制御処理を実行する。
図9は、聴覚補助器具100の特定のキーワードに基づく音声制御処理を実行する際の動作例を示すフローチャートである。
図9に示すように、聴覚補助器具100の集音部150は、周囲の音声を集音する(ステップS901)。集音部150は、集音した音声を示す集音情報を制御部170に伝達する。
制御部170は、伝達された集音情報に対して、周知の音声認識処理を実行する(ステップS902)。ここでいう音声認識処理は、音声信号である集音情報の中から、人の声を抽出して、その会話内容をテキストデータに変換することをいう。
制御部170は、変換後のテキストデータに、第2音声制御情報として登録されているキーワードが含まれているか否かを判定する(ステップS903)。変換したテキストデータに、第2音声制御情報として登録されているキーワードが含まれている場合には(ステップS903のYES)、制御部170は、出力部190から出力すべき音声を、第2音声制御情報で設定されている音量及び音質の音声に変換する(ステップS904)。
そして、制御部170は、変換後の音声を出力部190から出力させて(ステップS905)、処理を終了する。
テキストデータに、第2音声制御情報として登録されているキーワードが含まれていない場合には(ステップS903のNO)、処理を終了する。
なお、図9においては、特定のキーワードに基づく音声制御処理の終了条件については、特に示していないが、一例として、特定のキーワードが検出されなくなってから、所定時間が経過した場合に、特定のキーワードに基づく音声制御処理を終了することとしてもよい。あるいは、他の音声制御処理の開始条件が満たされた場合(例えば、装用者Uの体調が悪くなった場合や、第1音声制御情報で示される位置に装用者Uが入った場合など)に、特定のキーワードに基づく音声制御処理を終了し、条件を満たした音声制御処理を開始することとしてもよい。また、特定のキーワードについて、対応する音声を予め記憶部に記憶しておき、特定のキーワードに該当する部分を、記憶していた音声で置換して出力する構成としてもよい。この構成は、後述する録音音声の再生処理を行う際の音声制御処理において特に有効である。
このように、聴覚補助器具100は、装用者Uにとって聞き取りづらい単語を、対話者が話した場合などに、以降の対話者との会話を装用者Uが聞き取りやすくするための、特定のキーワードに基づく音声制御処理を実行することができる。
<特定の音に基づく音声制御処理>
上述では、装用者Uの体調、装用者Uの位置、装用者Uにとっての特定のキーワード、に基づく音声制御処理について説明した。ここでは、更に、特定の音に基づく音声制御処理の例について説明する。装用者Uが、難聴である場合に、非常に重要な音を聞き逃してしまう可能性がある。例えば、緊急災害速報の音であったり、緊急車両のサイレンの音であったり、火事を知らせるベルの音であったり、赤子の泣き声であったり、様々な音が聞き逃すと、後々問題を発生する可能性がある音がある。このような音を検出した場合の、聴覚補助器具100による音声制御処理について説明する。
図10は、特定の音に基づく音声制御処理を行うための情報処理装置200における、その特定の音の設定と、その際の音声制御処理の設定を行う際の表示画面例1000を示している。
音質設定1001は、出力する音声の周波数の指定を行うことを示しており、音量設定1002は、出力する音声の音量の指定を行うことを示しており、特定の音1003は、特定の音に基づく音声制御処理を実行するトリガとなる単語の指定を行うことを示している。
音質設定1001や音量設定1002については、装用者Uが、自身が情報処理装置200に対して音質や音量の設定を行った場合に、その設定された音質および音量で登録する予定の音声を出力することで装用者Uにとって聞き取りやすい音声になっているかを検証して設定することとしてよい。
特定の音1003は、周囲で聞こえた場合に、装用者Uが聞き取りやすくして欲しい音であり、情報処理装置200で周囲の音を録音したものを用いてもよいし、対応する音源を別の装置やネットワークから取得したものを用いることとしてもよい。
再生ボタン1005は、タッチすることで、対応する特定の音1003を再生、出力するための入力インターフェースである。再生ボタン1005により再生される特定の音1003は、対応する音質設定、音量設定に変換された音声であってよい。
音質設定1001、音量設定1002、特定の音1003の設定を終了すると、装用者Uは、登録ボタン1004を押下する。これにより、設定した内容が、情報処理装置200に登録(記憶)されるとともに、情報処理装置200から聴覚補助器具100に送信される。そして、聴覚補助器具100は、受信した、特定の音に基づく音声制御処理の内容を、第3音声制御情報として、記憶部180に記憶する。この特定の音に基づく音声制御処理は、複数の音の登録ができてよい。また、それぞれの特定の音に応じて、音声制御処理の内容は、同じであってもよいし、個別の音声制御処理が実行されてよい。例えば、記憶部180には、特定の音に基づく音声制御処理として実行するための第3音声制御情報として、{特定の音:YYYYYY(特定の音の実データ)、音量:V3、音質:F3}というように、特定の音を示す音データと、音量と、音質とが対応付けられて記憶されてよい。
聴覚補助器具100は、集音部150が集音した音声が、記憶部180に記憶した特定の音に一致する場合に、特定の音に基づく音声制御処理、つまり、第2音声制御情報に基づく音声制御処理を実行する。
図11は、聴覚補助器具100による特定の音に基づく音声制御処理を実行する際の動作例を示すフローチャートである。
図11に示すように、聴覚補助器具100の集音部150は、周囲の音を集音する(ステップS1101)。集音部150は、集音した音声を制御部170に伝達する。
制御部170は、集音部150から伝達された音声に、記憶部180に記憶されている特定の音が含まれているか否かを判定する(ステップS1102)。一例として、制御部170は、伝達された音声と、第3音声制御情報として登録されている音と、の相関をとって、所定の閾値以上の相関があるか否かに基づいて、集音した音声に特定の音が含まれるか否かを判定することとしてもよい。
集音した音声に、特定の音が含まれていた場合に(ステップS1102のYES)、特定の音に基づく音声制御処理、即ち、記憶部180に記憶されている第3音声制御情報に基づく音声制御処理を実行する(ステップS1103)。
そして、制御部170は、第3音声制御情報に基づく音声制御処理を施した後の音声を出力部190に出力させて(ステップS1104)、処理を終了する。
一方で、集音した音声に、特定の音が含まれていない場合には(ステップS1102のNO)、音声制御処理を行わずに処理を終了する。
なお、ここでは、集音した音声に対する音声制御処理を行うほか、あるいは、行わずに、集音した音と同じ音であって、記憶部180に予め記憶した音を、集音した音声の代わりに出力部190から出力することとしてもよい。緊急災害速報の音や、緊急車両のサイレン等は、予め決まっている音であることから、記憶部180に記憶した音を出力する方が、集音した音声よりも明瞭な音を装用者Uに提供することができる。また、緊急災害速報の場合などは、緊急災害速報を通知している公共団体からそのデータを、ネットワークを介して取得した音声データを再生する態様で装用者Uに提供するようにしてもよい。また、この通知は、音声による通知ではなく、文書データによる通知であってもよく、その場合には、情報処理装置200が聴覚補助器具100から特定した音が何であるかの情報を受信し、受信した情報に対応する文書情報や画像を表示することとしてもよい。例えば、特定の音が救急車のサイレンであった場合には、文書情報として予め記憶部240に「救急車が近くを通ります。注意してください。」というような情報を記憶しておき、情報処理装置200の表示画面に表示することとしてもよい。また、緊急災害速報の音を特定の音として検出した場合には、防災センター等からメール等により送信される文書情報や画像を情報処理装置200の表示画面に表示することとしてもよい。
また、図11では、特定の音に基づく音声制御処理を終了するタイミングについては規定していないが、特定の音を検出したときから、所定の時間経過後に終了することとしてもよいし、他の音声制御処理の条件を満たした場合に、第3音声制御処理に基づく音声の提供を中止し、条件を満たした音声制御処理に移行することとしてよい。
このように、聴覚補助器具100は、装用者Uにとって聞き逃してはいけない、聞き逃すことが望ましくない音を検出した場合に、その音が聞き取りやすくなるように音声制御処理を実行することができる。したがって、装用者Uは、その重要な音の聞き逃しの可能性を低減することができる。
<まとめ>
上述したように、聴覚補助器具100は、装用者Uの体調に応じて、出力する音声に対する音声制御処理を実行することができる。したがって、聴覚補助器具100は、装用者Uの体調によって、聞き取りやすい音声を提供することができ、装用者Uはどのような体調であっても、聞き取りやすい音声を聞くことができ、例えば、熱があるときであっても対話者の会話内容が聞き取りにくくなる可能性を低減することができる。また、聴覚補助器具100は、装用者Uが置かれている環境(特定の位置にいる、特定の音が聞こえるなど)に応じた音声制御処理を実行するので、装用者Uが周囲の音声を聞き取りにくい環境などにおいて聞き取りやすい音声を提供することができる。
<変形例>
上記実施形態に係る基地局は、上記実施形態に限定されるものではなく、他の手法により実現されてもよいことは言うまでもない。以下、各種変形例について説明する。
(1)上記実施形態において聴覚補助器具100は、各種の条件、即ち、装用者Uの体調、特定の位置、特定のキーワード、特定の音に基づく音声制御処理を行う例を説明した。これらの条件について、上記では説明していないが、当然にそれぞれの音声制御処理を実行するための条件が複数成立する場合がある。このような場合を想定して、聴覚補助器具100には、予め複数の条件が成立する場合に、いずれの音声制御処理を優先するのかについての優先度情報が設定されていてよい。基本的には、装用者Uの体調に基づく音声制御処理を優先する仕様であってよいが、これに限定するものではない。優先度情報は、例えば、体調、特定の音、特定のキーワード、特定の位置の順に、音声制御処理の優先度が設定されていてよいが、この順序に限定するものではない。また、この優先度情報は予め設定されていることとしてもよいし、装用者Uが自身で設定することとしてもよい。また、上述では説明していないが、聴覚補助器具100、あるいは、情報処理装置200は、聴覚補助器具100に対して、その優先度情報を設定するための設定部を備えることとしてもよい。これにより、聴覚補助器具100は、複数の条件が重複した場合に、実行すべき音声制御処理を決定することができる。また、装用者Uにとって好みの音声制御処理を優先することができる。
なお、ここでは、優先度に基づく制御を行う例を示したが、複数の条件が成立した場合に、それぞれの条件で実行する音声制御処理の平均値を算出して、音声制御処理を実行する態様であってもよい。
(2)上記実施形態において、聴覚補助器具100は、装用者Uに対して、音声制御処理を実行したことを通知することとしてもよい。図12から図14を用いて具体的に説明する。
図12(a)、(b)は、聴覚補助器具100が、装用者Uの体調、特定の位置、キーワード、音のいずれかに基づいて、音声制御処理を実行した場合に、装用者Uにその旨を通知する例を示す図である。図12(a)は、情報処理装置200に表示する例を示しており、図12(b)は、文字や画像をレンズ等に表示することが可能なスマートグラス(眼鏡)を用いて通知する例を示している。
図12(a)に示すように、聴覚補助器具100が、音声制御処理を実行した場合には、音声制御処理を実行したこと、および、その制御内容を示す情報を情報処理装置200に送信する。そして、情報処理装置200は、制御内容として、音声制御処理を実行した対象の音声を示す音声内容と、実行した制御内容を示す音声制御と、を示す表示画面を表示画面例1200に示すように表示する。また、情報処理装置200の表示画面例1200には、その他に、音声制御処理に関する各種の入力キーが表示されてもよい。例えば、図12(a)に示すように、表示されている音声内容を再生するための再生ボタン1201や、上述した特定のキーワードを登録するための聞き難い単語登録ボタン1202、装用者Uが手動で音量や音質を調整するための音量/音質調整ボタン1203、その他の聴覚補助器具100に係る設定を実行するためのその他設定ボタン1204などが表示されてよい。
再生ボタン1201をタッチすれば、情報処理装置200から音声内容として表示されている内容の音声データが、聴覚補助器具100に送信され、聴覚補助器具100の出力部190から出力される。なお、情報処理装置200の出力部250から出力することとしてもよい。
聞き難い単語登録ボタン1202をタッチすれば、例えば、図8に示す表示画面例800の表示に切り替わって、特定のキーワードの登録画面に移行する。
音量/音質調整ボタン1203をタッチすれば、例えば、図6、図8、図10に示す表示画面例のうち、音質設定と音量設定が表示された表示画面が表示されて、聴覚補助器具100の出力部190から出力される音声の周波数や音量を装用者Uが手動で調整できる。
その他設定ボタン1204をタッチすれば、その他の設定をするための表示画面に移行する。
なお、ここに示した表示例は一例であり、これらのボタンはなくてもよいし、更に、その他のボタンが含まれてもよい。
図12(a)の例では、音声として、「こんにちは!今日もいい天気ですね!」という音声に対して、「音量低下」処理を実行したことを表示する例を示している。また、その音声制御処理の理由として、装用者Uの心拍と体温が示されている例を示している。
また、図12(a)に示した音声内容や音声制御の情報は、図12(b)に例示するように、スマートグラス(眼鏡)のレンズ1211a、1211bに表示するようにしてもよい。図12(b)に示す例では、スマートグラスの左側のレンズ1211aに音声内容を表示し、右側のレンズ1211bに音声制御の内容を表示した例を示している。
図13は、このような表示処理を実現するための聴覚補助器具100の動作例を示すフローチャートである。また、図14は、図12(a)、(b)に示す情報処理装置200やスマートグラスの動作例を示すフローチャートである。図14については、ここでは、情報処理装置200の動作として説明する。
まず、図13に示すように、聴覚補助器具100は、上記実施形態に示した図5、図7、図9、図11に示す音声制御処理のいずれかを実行したとする(ステップS1301)。
聴覚補助器具100の通信部110は、ステップS1301で実行した音声制御処理の内容を示す情報を、情報処理装置200に送信し(ステップS1302)、処理を終了する。これにより、聴覚補助器具100から情報処理装置200に音声制御の内容が伝達される。
図14は、情報処理装置200の動作例を示すフローチャートである。図14に示すように、情報処理装置200の通信部210は、聴覚補助器具100から送信された音声制御処理の内容を示す音声制御処理情報を受信する(ステップS1401)。ここで、音声制御処理の内容を示す音声制御処理情報は、音声制御処理として実行した制御の内容(音量の上げ下げ、周波数の上げ下げ、あるいは、指定した音量や周波数)の他、その制御を実行することになった原因を示す情報を含んでよい。通信部210は、受信した情報を、制御部230に伝達する。
制御部230は、通信部210から伝達された情報に基づき、聴覚補助器具100が音声制御処理を実行したことを通知する(ステップS1402)。即ち、制御部230は、出力部250に、一例として、「音声制御処理を実行しました」というようなメッセージを表示させる。
そして、制御部230は、音声制御処理情報に基づいて、実行された音声制御処理の内容を通知し(ステップS1403)、処理を終了する。即ち、制御部230は、出力部250に、一例として、「音量を下げました。周波数を上げました」というようなメッセージを表示させる。また、その際に、その音声制御処理の原因となった理由(例えば、装用者の体温が「37.8℃」で、心拍が「78bps」であるなど)を示す情報を表示させてもよい。
なお、ここでは、一例として、音声制御処理を実行したことを示す情報を文章で、情報処理装置200の表示部(出力部250)に表示することで、装用者Uに通知する例を示したが、通知の態様は、文章の表示に限定するものではない。情報処理装置200、あるいは、聴覚補助器具100から音声により通知をすることとしてもよい。この場合には、予め、「音声制御処理を実行しました」というような音声メッセージを予め記憶部に記憶しておくことで、その音声メッセージを再生することで、音声制御処理の実行を通知することができる。また、あるいは、聴覚補助器具100、あるいは、情報処理装置200に、音声制御処理を実行したことを通知するためのインジケータ(例えば、LED)を用いて通知することとしてもよい。
また、図14では、音声制御処理を実行したことの通知、音声制御処理の内容の通知の両方を実行する例を示しているが、これらの通知は、いずれか一方の通知のみであってもよい。
これにより、装用者Uは、聴覚補助器具100により音声制御処理を実行されたことを認識することができる。また、その際に、その理由も併せて表示されれば、装用者Uが自身の環境を認識することができる。例えば、自身では気づきにくいちょっとした体調の変化などを認識することもできる。
(3)上記実施形態においては、聴覚補助器具100は、装用者Uが行った他者との対話を録音し、録音した音声を再生することとしてもよい。図15から図17を用いて具体的に説明する。
図15は、聴覚補助器具100と情報処理装置200との間のやり取りの例を示すシーケンス図である。図15に示すシーケンス図は、聴覚補助器具100と情報処理装置200とで連動して、聴覚補助器具100が集音した音声を録音し、その録音した音声を再生する処理の例を示している。
図15に示すように、聴覚補助器具100は、周囲の音声を録音し、録音音声を情報処理装置200に送信する(ステップS1501)。録音音声のデータは、ストリーミングにより送信されてもよいし、一定長のデータとして送信されてもよい。
情報処理装置200は、聴覚補助器具100から録音音声を受信すると、受信した録音音声を記憶部240に記憶する(ステップS1502)。
その後に、情報処理装置200は、装用者Uから、装用者Uが聞きたい録音音声の再生指示入力を受け付ける(ステップS1503)。すると、情報処理装置200は、指定された録音音声を、聴覚補助器具100に送信する(ステップS1504)。
録音音声を受信すると、聴覚補助器具100は、受信した録音音声に対して、必要に応じて音声制御処理を実行する(ステップS1505)。そして、録音音声制御処理を施した音声を再生する(ステップS1506)。
図16は、図15に示すやり取りを実現するための聴覚補助器具100の動作例を示すフローチャートである。
図16に示すように、聴覚補助器具100の録音部160は、集音部150が集音した音声の録音を実行する(ステップS1601)。録音した音声は、記憶部180に記憶されてもよい。
制御部170は、通信部110を介して、録音音声を情報処理装置200に送信する(ステップS1602)。これにより、録音音声が情報処理装置200で記憶される。
制御部170は、通信部110を介して、情報処理装置200から録音音声を受信しているかを判定する(ステップS1603)。録音音声を受信していない場合には(ステップS1603のNO)、処理を終了する。
録音音声を受信した場合には(ステップS1603のYES)、受信した録音音声に対して、音声制御処理を実行する。ここで実行する音声制御処理は、上記実施形態に示した装用者Uの体調、位置、特定のキーワード、音、に基づく音声制御処理のいずれであってもよい。なお、特定のキーワード、音については、予め、受信した録音音声をスキャニングしておく(事前に特定のキーワードあるいは音が含まれていないかどうかを検出する)ことで、音声制御処理を実行するかどうかを決定してよい。
そして、制御部170は、音声制御処理を施した録音音声を、出力部190から出力させ(ステップS1605)、処理を終了する。なお、ステップS1604において条件を満たさなかった場合には、受信した録音音声をそのまま出力する。
図17は、図15に示すやり取りを実現するための情報処理装置200の動作例を示すフローチャートである。
図17に示すように、情報処理装置200の通信部210は、聴覚補助器具100から送信された録音音声を受信する(ステップS1701)。通信部210は、受信した録音音声を制御部230に伝達する。
制御部230は、伝達された録音音声を、記憶部240に記憶する(ステップS1702)。
その後に、制御部230は、入力部220に対して、録音音声の再生指示の入力を受け付けたか否かを判定する(ステップS1703)。入力部220を介して、録音音声の再生指示の入力を受け付けた場合には(ステップS1703のYES)、制御部230は、指定されている録音音声を記憶部240から読み出して、通信部210を介して聴覚補助器具100に送信し(ステップS1704)、処理を終了する。録音音声の再生指示の入力を受け付けていない場合には(ステップS1703のNO)、処理を終了する。
なお、ここでは、聴覚補助器具100と情報処理装置200との連動で録音再生処理を実現する例を示したが、聴覚補助器具100に十分な記憶容量があり、録音再生のための入力インターフェースがあれば、聴覚補助器具100単体により実現されてもよい。
このように、聴覚補助器具100は、装用者Uが他者と交わした会話等を録音再生することができる。したがって、対話中において装用者Uが聞き取れなかったり、理解できなかった内容等があったりした場合に、装用者Uは、録音音声を聞きなおすことで、対話の内容を確認することができる。
(4)上記実施の形態において、聴覚補助器具100は、聴覚検査の器具として用いられてもよい。図18から図21を参照して、聴覚補助器具100を用いて聴覚検査の手法について具体的に説明する。
図18(a)、(b)は、聴覚検査を行う際の、情報処理装置200における表示画面例を示している。図18(a)は、聴覚検査の結果が出る前の表示画面例1800を示しており、図18(b)は、聴覚検査の結果が出た後の表示画面例1802を示している。
図18(a)に示すように聴覚検査の際には、装用者Uが音が聞こえた際に、聞こえたことの意思表示をするためのボタン1801が表示されている。装用者Uがボタン1801にタッチしたタイミングが、装用者Uが聴覚検査の音が聞こえたと認識したタイミングとして、情報処理装置200に記録される。
図18(b)に示すように、聴覚検査を行った後には、情報処理装置200は、その検査結果を表示する。ここでは、聴覚検査の結果の一例として、聴覚検査の各周波数の音に対して、どの音量(何dB)で聞こえたのかを示すグラフを表示する例を示している。なお、聴覚検査の結果は、「よく聞こえている」、「聞こえていない」、「聞き取りづらい音があるようです」というように、文章で提示するようにしてもよい。
図19は、聴覚補助器具100で聴覚検査を実施する場合の、聴覚補助器具100と情報処理装置200との間のやり取りの例を示している。
図19に示すように、情報処理装置200は、装用者Uから聴覚検査を実施する旨の入力を受け付ける(ステップS1901)。これにより聴覚検査が実施されることになるが、聴覚検査においては、以降のステップS1902~S1906の工程が聴覚検査で検査が必要な音源全てについて終了するまで繰り返し実行される。
情報処理装置200は、検査対象の録音データ、即ち、聴覚検査用として記憶部240に記憶されている音声データあるいは聴覚検査の音として出力する音の周波数を示す情報を、聴覚補助器具100に送信する(ステップS1902)。
聴覚補助器具100は、受信した音声データを再生する(ステップS1903)。このとき、聴覚補助器具100は、音声データの再生の音量を最小値から徐々に上げていきながら再生する。また、聴覚補助器具100は、周波数のみを通知されていた場合には、聴覚補助器具100が記憶部180に記憶している聴覚検査用の音を指定された周波数で再生することとしてよい。
装用者Uは、再生されている音が聞き取れたタイミングで、情報処理装置200に音が聞こえた旨の入力を、図18(a)の例でいえば、ボタン1801に対して行う(ステップS1904)。この入力を受け付けて、情報処理装置200は聴覚補助器具100に対して、聞き取りの入力があった旨を送信する(ステップS1905)。
聴覚補助器具100は、情報処理装置200からの聞き取りがあった旨の情報を受信して、音声の再生出力を終了する(ステップS1906)。そして、聴覚補助器具100は、その時の音声を再生している際の音量を示す音量情報を、情報処理装置200に送信する(ステップS1907)。
聴覚検査として再生すべき全ての周波数の音についての検査が終了していない場合には、ステップS1902に戻って次の音声データの検査を行い、終了している場合には、ステップS1907の処理に移行する。なお、情報処理装置200は、聴覚検査について全ての検査が終了したタイミングで聴覚補助器具100に対して、聴覚検査が終了したことを示す情報を送信することとしてもよい。
情報処理装置200は、ステップS1902からS1906の処理により得られた結果から、聴覚検査の結果を示す情報を表示する(ステップS1908)。
図20は、図19に示すやり取りを実現するための聴覚補助器具100の動作例を示すフローチャートである。
図20に示すように、聴覚補助器具100の制御部170は、通信部110を介して、情報処理装置200から、聴覚検査用の音声データを受信しているか否かを判定する(ステップS2001)。受信していない場合には(ステップS2001のNO)、待機する。
聴覚検査用の音声データを受信していた場合には(ステップS2001のYES)、制御部170は、受信した音声データを、出力部190に出力させる(ステップS2002)。ここで、制御部170は、最初の段階では、所定の音量(基本的には最小音量)で音声データを再生する。
制御部170は、情報処理装置200から装用者Uからの聞き取りの入力があった旨の通知を、通信部110を介して受信したか否かを判定する(ステップS2003)。聞き取りの入力があった旨の通知を受信していない場合は(ステップS2003のNO)、制御部170は、再生している音声の音量を上げる(ステップS2004)。そして、ステップS2002の処理に戻る。この場合のステップS2002における所定の音量は、制御部170が音量を上げた後の音量を意味する。
一方、聞き取りの入力があった旨の通知を受信した場合は(ステップS2003のYES)、制御部170は、音声の再生を終了し、その際の音量を示す音量情報を通信部110に情報処理装置200に宛てて送信させる(ステップS2005)。
そして、制御部170は、通信部110を介して情報処理装置200から、聴覚検査の終了情報を受信しているか否かを判定する(ステップS2006)。聴覚検査の終了情報を受信していない場合には(ステップS2006のNO)、ステップS2001の処理に戻り、受信している場合には(ステップS2006のYES)、処理を終了する。
図21は、図19に示すやり取りを実現するための情報処理装置200の動作例を示すフローチャートである。
図21に示すように、情報処理装置200の入力部220は、装用者Uから、聴覚検査の実行の入力を受け付ける(ステップS2101)。入力部220は、受け付けた入力内容を制御部230に伝達する。これにより、制御部230は、聴覚補助器具100を用いた聴覚検査を開始する。
制御部230は、聴覚検査用の音声データを記憶部240から読み出し、通信部210を介して、聴覚補助器具100に送信する(ステップS2102)。
制御部230は、入力部220を介して、装用者Uから音声を聞き取れたことを示す入力を受け付けたか否かを判定する(ステップS2103)。音声の聞き取りの入力があるまでは(ステップS2103のNO)、待機する。なお、このとき、余りにも長い時間(例えば、2分)、聞き取りの入力がない場合には、制御部170は、その周波数の音を装用者Uは聞き取れないと判定し、自動でステップS2105の処理に移行するように構成してもよい。
聞き取りの入力があった場合には(ステップS2103のYES)、制御部230は通信部210を介して、聞き取りの入力があった旨の通知を聴覚補助器具100に送信する(ステップS2104)。そして、通信部210は聴覚補助器具100から送信された音量情報を受信し(ステップS2105)、制御部230に伝達する。制御部230は、受信した音量情報を記憶部240に記憶する。そして、制御部230は、次に再生すべき音声データがあるか否かを判定し(ステップS2106)、ある場合には(ステップS2106のYES)、ステップS2102の処理に戻り、ない場合には(ステップS2106のNO)、ステップS2107の処理に移行する。
聴覚検査を終了すると、制御部230は、記憶部240に記憶されている音量情報と、その際に出力していた音声の周波数とに基づいて、聴覚検査の結果を示す検査結果を生成し、出力部190に出力させ(ステップS2105)、処理を終了する。一例として、制御部230は、図18(b)に示すようなグラフを検査結果として表示する。
このように、聴覚補助器具100は、聴覚検査の器具として利用することもできる。したがって、装用者Uに、多機能な聴覚補助器具100を提供することでき、装用者Uの利便性に寄与することができる。
なお、ここでは、聴覚補助器具100と情報処理装置200との連動により聴覚検査を実施する例を示したが、これは、聴覚補助器具100単体により実現することとしてもよい。即ち、聴覚補助器具100に聴覚検査用の入力ボタンを設け、音が聞こえたら該入力ボタンを押下することとし、検査結果については、音声メッセージにより、装用者Uに伝達するように構成するとよい。
(5)上記実施の形態において、聴覚補助器具100は、装用者Uの好みの音声制御を学習するための学習部を備えてもよい。即ち、聴覚補助器具100が音声制御処理を実行した後に、所定時間内に、音量の変更、周波数の変更等の入力を行った場合に、聴覚補助器具100が実行した音声制御処理を気に入らなかったと推定することができる。したがって、一例として、同じ音声制御処理を複数回実行した場合であって、所定回数以上、装用者Uが所定の入力を行った場合には、その変更後の方の音声制御の方が装用者Uの好みの音量、あるいは、音質であると学習するようにしてよい。そして、以降においては、学習後の音声制御処理を実行するようにしてもよい。
また、上記実施形態においては、聴覚補助器具100は、ルールベースによる音声制御処理を実行する例を示したが、学習部が音声制御処理を実行するタイミング(装用者Uが音量や周波数の調整をしたタイミング)とその時の周囲の環境や集音している音声あるいは音声の内容等と、調整後の音量や周波数等を学習することで、いつどのような環境下で、どのような音声制御処理をすべきかを推定可能な学習モデルを生成し、生成した学習モデルを用いた推定による音声制御処理を実行することとしてもよい。即ち、聴覚補助器具100の環境(装用者の体調が通常と異なる、特定の場所にいる、キーワードを含む音声を集音している、特定の音を集音しているなど)と、装用者Uにより実行された音声に対する入力内容(音量の上げ下げ、周波数の指定)とを対応付けた情報を教師データとして学習した学習モデルを用いて、聴覚補助器具100の環境を示す情報を入力とした推定処理を行って実行すべき音声制御処理を推定し、推定した音声制御処理を実行することとしてよい。
(6)本開示の各実施形態のプログラムは、コンピュータに読み取り可能な記憶媒体に記憶された状態で提供されてもよい。記憶媒体は、「一時的でない有形の媒体」に、プログラムを記憶可能である。記憶媒体は、HDDやSSDなどの任意の適切な記憶媒体、またはこれらの2つ以上の適切な組合せを含むことができる。記憶媒体は、揮発性、不揮発性、または揮発性と不揮発性の組合せでよい。なお、記憶媒体はこれらの例に限られず、プログラムを記憶可能であれば、どのようなデバイスまたは媒体であってもよい。
なお、聴覚補助器具100は、例えば、記憶媒体に記憶されたプログラムを読み出し、読み出したプログラムを実行することによって、各実施形態に示す複数の機能部の機能を実現することができる。また、当該プログラムは、任意の伝送媒体(通信ネットワークや放送波等)を介して、聴覚補助器具100に提供されてもよい。聴覚補助器具100は、例えば、インターネット等を介してダウンロードしたプログラムを実行することにより、各実施形態に示す複数の機能部の機能を実現する。このプログラムは、情報処理装置200によって実行されるものであってもよい。
なお、当該プログラムは、例えば、ActionScript、JavaScript(登録商標)などのスクリプト言語、Objective―C、Java(登録商標)などのオブジェクト指向プログラミング言語、HTML5などのマークアップ言語などを用いて実装できる。
聴覚補助器具100における処理の少なくとも一部は、1以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。また、聴覚補助器具100の各機能部は、上記実施形態に示した機能を実現する1または複数の回路によって実現されてもよく、1の回路により複数の機能部の機能が実現されることとしてもよい。
(7)本開示の実施形態を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本開示の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を1つに組み合わせたり、或いは分割したりすることが可能である。また、各実施形態に示す構成を適宜組み合わせることとしてもよい。