JP4534582B2 - 音声ストリーム再生装置及び音声ストリーム再生方法 - Google Patents

Description

本発明は、インターネット電話などの音声ストリーム再生装置及び音声ストリーム再生方法に関する。

インターネットなどのネットワークを介して、音声や映像などの時間軸上に連続したメディアを配信する技術は一般に「ストリーミング」と呼ばれ、インターネットラジオや、インターネット電話などの基礎を成す。インターネットはパケット交換型配信なので、データの到達時間は保障されず、ネットワークの混雑状態によって遅延が生じる場合がある。これにより、ストリーム送信を受信する側で、音声の途切れのような現象が発生する。

遅延に対処する最も一般的な方法では、図５に示すように、受信側にバッファメモリ１１０を用意し、受信したパケットを一時的にバッファメモリ１１０の末尾に追加することにより蓄積しながら、上記バッファメモリ１１０の先頭から定期的にパケットを取り出してデコーダ１２０で復号し、再生装置１３０により再生するようにしている。これによりネットワークの遅延はバッファメモリ１１０内のデータの量により吸収することができる。

この場合、バッファメモリ１１０の長さすなわちバッファメモリ１１０内に滞留しているパケットの量が伝送遅延として利用者に知覚される。バッファメモリ１１０を短くすると遅延は少なくなるが、パケット受信に遅延が生じた場合、バッファメモリ１１０が空になるので、音声が途切れるなど、再生の障害になる。

バッファサイズと遅延に対する耐性はトレードオフの関係にあり、データを多くバッファリングすれば、再生が開始するまでの時間がより多くかかるが、ネットワーク伝送遅延に対する耐性はより改善される。

バッファリングはインターネットラジオのような放送型のストリーミングで広く利用されている。

ところで、インターネット電話のように、双方向のストリーミングでは、バッファリングによる遅延そのものが問題となる。お互いの会話の間に遅延が生じると、国際電話で会話しているように、会話のタイミングがずれてしまう。したがってバッファサイズをあまり大きくとることは、インターネット電話では不向きである。一方、バッファサイズを小さくすると、ネットワーク遅延に対する余裕がなくなり、音の不自然な途切れを生じてしまう。

そこで、本発明の目的は、上述の如き従来の問題点に鑑み、インターネット電話等の実時間性が要求される音声ストリーム通信において、音声の欠落やパケットの廃棄をすることなく音声再生を可能にする。

本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。

本発明では、インターネット電話では通信内容が音声会話であることに着目し、音声のピッチを変えずに時間方向に伸縮させることでネットワーク遅延を吸収する。

本発明に係る音声ストリーム再生装置は、受信パケットを一時蓄積する記憶手段と、上記記憶手段から受信パケットを取り出して復号する復号手段と、上記復号手段により受信パケットを復号して得られる音声データに対して音声のピッチを保存したまま時間軸を伸縮させる処理を行う時間軸圧縮伸張処理手段と、上記記憶手段に一時蓄積されている受信パケット量を基準量に保ちつつ、上記記憶手段に一時蓄積されている受信パケット数をＮとし、規定のバッファ遅延に相当するパケット数をＭとしたとき、Ｗ＝Ｍ／Ｎによって規定される上記時間軸圧縮伸張処理手段によって実行される処理における時間軸の伸縮率Ｗを、音声のピッチを保存したまま時間軸を伸縮させることが可能な所定の範囲の値とする制御手段とを備えることを特徴とする。

本発明に係る音声ストリーム再生方法は、受信パケットを一時蓄積する記憶手段から受信パケットを取り出して復号する復号ステップと、上記記憶手段に一時蓄積されている受信パケット量を基準量に保ちつつ、上記記憶手段に一時蓄積されている受信パケット数をＮとし、規定のバッファ遅延に相当するパケット数をＭとしたとき、Ｗ＝Ｍ／Ｎによって規定される伸縮率Ｗを、音声のピッチを保存したまま時間軸を伸縮させることが可能な所定の範囲の値として、上記復号ステップで受信パケットを復号して得られる音声データに対して時間軸を伸縮させる処理を行う時間軸圧縮伸張処理ステップとを含むことを特徴とする。

本発明では、インターネット電話等の、実時間性が要求される音声ストリーム通信において、音高を維持したまま再生時間を伸縮する信号処理を適用することで、パケット到来が遅延する場合にバッファ内の音声再生時間を伸張させ、逆にバッファ量が多い時に再生時間を縮小させることで、音声の欠落やパケットの廃棄をすることなく音声を再生することができる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。

本発明は、例えば図１に示すような構成の音声ストリーム再生装置１０に適用される。

この音声ストリーム再生装置１０は、インターネットなどのネットワークを介して送られてくる音声パケットを受信して再生するもので、受信した音声パケットを一時的に記憶するバッファメモリ１、このバッファメモリ１から音声パケットを取り出して復号するデコーダ２、このデコーダ２により音声パケットを復号することによって得られた音声データに対して、時間軸を伸縮させる処理を施す時間軸圧縮伸張処理部３、上記バッファメモリ１に一時蓄積されている受信パケット量が基準量になるように、上記時間軸圧縮伸張処理部３による時間軸の伸縮量を制御する制御部４、上記時間軸圧縮伸張処理部３により時間軸を伸縮させる処理が施された音声データを音声に変換して出力するスピーカなどを備える再生装置５からなる。

このような構成の音声ストリーム再生装置１０では、受信した音声パケットをバッファメモリ１の末尾に追加することにより蓄積しながら、上記バッファメモリ１の先頭から定期的に音声パケットを取り出してデコーダ２で復号し、このデコーダ２で音声パケットを復号することにより得られる音声データに対して、時間軸圧縮伸張処理部３により音声のピッチを保存したまま時間軸を伸縮させる処理を施す。

ここで、時間軸圧縮伸張処理部３による音声のピッチを保存したまま時間軸を伸縮させる処理は、所謂カラオケ演奏装置等において伴奏のテンポを変化させたり、音声の早聞きなどに利用されているものであって、上記時間軸圧縮伸張処理部３は、例えば図２に示すように、音声信号波形をフーリエ変換するフーリエ変換部３１、このフーリエ変換部３１によるフーリエ変換出力に対して時間軸の伸縮処理を施す伸縮処理部３２、この伸縮処理部３２の出力を逆フーリエ変換する逆フーリエ変換部３３により構成される。

制御部４は、バッファメモリ１に一時蓄積されている受信パケット量が基準量になるように時間軸圧縮伸張処理部３による時間軸の伸縮量を制御する。すなわち、制御部４は、バッファメモリ１内のパケットの量が少なくなると、再生音声を伸張させて再生時間を延ばし、逆に、バッファメモリ１内のパケットの量が多い場合は再生音声を圧縮して再生時間を少なくするように、上記時間軸圧縮伸張処理部３による時間軸の伸縮量を制御する。

このように時間軸圧縮伸張処理部３による時間軸の伸縮量を制御することによって、バッファメモリ１の長さを短くして遅延時間を短くしても、音声の欠落やパケットの廃棄をすることなく音声を連続的に再生することができる。

すなわち、図３の（Ａ）に示す送信元の音声に対し、従来方式では（Ｂ）に示すようにパケット遅延によって音声が途切れたり、パケット遅着によってパケットが欠落することがあったが、本発明によれば（Ｃ）に示すように、時間軸圧縮伸張処理部３による時間軸の伸縮量を制御することによって、音声の欠落やパケットの廃棄をすることなく音声を連続的に再生することができる。

また、従来方式ではすべてのパケットを再生すると、遅延の分だけ全体の再生時刻が遅れていくか、パケットを廃棄して時刻遅れを回復しなければならないが、本発明ではその遅れも発生しない。

この音声ストリーム再生装置１０では、バッファメモリ１中のパケットの量に応じて、再生音声を伸縮させる。例えば、伸張して再生した場合は、再生時間が標準より長くかかるので、必然的にパケットを取り出す頻度が減る。逆に、縮小して再生した場合はパケットを取り出す頻度が増す。このようにして、ネットワーク上の伝送遅延のばらつきがあった場合でも、バッファメモリ１中のパケットがなるべく基準量付近であるように維持することができる。

ここで、伸縮する度合い、すなわち、標準の長さからどれくらい変化させるかは、様々な方針で決定することができる。たとえば、バッファメモリ１中のパケットと、基準量の差によって伸縮の度合いを変化させることができる。また、聞こえてくる音声が不自然にならないように、伸縮の度合いに上限・下限を設定することも可能である。

上記制御部４は、例えば図４のフローチャートに示す手順に従って、上記時間軸圧縮伸張処理部３による時間軸の伸縮量を制御する。

すなわち、上記制御部４は、バッファメモリ１から音声パケットを取り出す毎に（ステップＳ１）、上記バッファメモリ１に一時蓄積されている受信パケット数をＮとし、規定のバッファ遅延に相当するパケット数をＭとして、Ｗ＝Ｍ／Ｎなる伸縮率Ｗを求める（ステップＳ２）。

次に、上記伸縮率Ｗが規定の上下限値を越えてしまうか否かを判定し（ステップＳ３）、上記伸縮率Ｗが規定の上下限値を越えてしまう場合に、上記伸縮率Ｗを０．８≦Ｗ≦１．２に制限する（ステップＳ４）。

そして、このようにして決定した伸縮率Ｗで音声データに対して音声のピッチを保存したまま時間軸を伸縮させる処理を時間軸圧縮伸張処理部３により行う（ステップＳ５）。

具体的には、例えば１０ｍｓごとに音声を符号化し、パケットとして送信するものとした場合、受け側のバッファメモリ１遅延をパケットＭ個分、すなわちＭ＝１０ならバッファメモリ１による遅延が１００ｍｓとする。この際、上記ステップＳ２では、バッファメモリ１内のパケット数Ｎに応じて、次に再生すべきパケットの伸縮率Ｗを以下のように計算する。

Ｗ＝Ｍ／Ｎ
例えば、バッファメモリ１に１５個パケットが蓄積している場合、再生時の伸縮率Ｗは０．６となる。また、バッファメモリ１に５個パケットがある場合は、再生時の伸縮率Ｗは２となる。これにより、バッファモリ１中に蓄積されたパケットの再生に要する時間はほぼ一定になる。

ただし、再生音声の自然さを保障するために、上記ステップＳ３，Ｓ４において、伸縮率Ｗに上限・下限（例えば０．８≦Ｗ≦１．２など）を設定することができる。

ここで、上記ステップＳ３，Ｓ４では、上記伸縮率Ｗが規定の上下限値を越えてしまう場合に、上記伸縮率Ｗを０．８≦Ｗ≦１．２に制限するようにしたが、音声ストリームの内容により、伸縮の方針を以下のように変更することも可能である。

すなわち、例えばパケット音声の内容を(a)無音、(b) 持続音（「えー」など）、(c )音楽、(d) それ以外（会話）の四種類に分類し、伸縮率Ｗを、それぞれの場合に応じた伸縮率の上限ＷＭＡＸ，下限ＷＭＩＮによって、例えば、次の表１に示すように制限する。

ＷＭＩＮａ≦Ｗ≦ＷＭＡＸａ
ＷＭＩＮｂ≦Ｗ≦ＷＭＡＸｂ
ＷＭＩＮｃ≦Ｗ≦ＷＭＡＸｃ
ＷＭＩＮｄ≦Ｗ≦ＷＭＡＸｄ

本発明を適用した音声ストリーム再生装置の構成を示すブロック図である。 上記音声ストリーム再生装置における時間軸圧縮伸張処理部の構成例を示すブロック図である。 上記音声ストリーム再生装置による再生出力を従来方式と比較して模式的に示す図である。 上記音声ストリーム再生装置における時間軸の伸縮量を制御する制御部の動作を示すフローチャートである。 従来の音声ストリーム再生装置の構成例を示すブロック図である。

符号の説明

１ バッファメモリ、２ デコーダ、３ 時間軸圧縮伸張処理部、４ 制御部、５ 再生装置、１０ 音声ストリーム再生装置

Claims (4)

1. 受信パケットを一時蓄積する記憶手段と、
   上記記憶手段から受信パケットを取り出して復号する復号手段と、
   上記復号手段により受信パケットを復号して得られる音声データに対して音声のピッチを保存したまま時間軸を伸縮させる処理を行う時間軸圧縮伸張処理手段と、
   上記記憶手段に一時蓄積されている受信パケット量を基準量に保ちつつ、上記記憶手段に一時蓄積されている受信パケット数をＮとし、規定のバッファ遅延に相当するパケット数をＭとしたとき、Ｗ＝Ｍ／Ｎによって規定される上記時間軸圧縮伸張処理手段によって実行される処理における時間軸の伸縮率Ｗを、音声のピッチを保存したまま時間軸を伸縮させることが可能な所定の範囲の値とする制御手段と
   を備える音声ストリーム再生装置。
2. 上記制御手段は、上記伸縮率Ｗが規定の上下限値を越えてしまう場合に、上記伸縮率Ｗを０．８≦Ｗ≦１．２の範囲内の値に制限する請求項１記載の音声ストリーム再生装置。
3. 上記制御手段は、上記復号手段により受信パケットをデコードして得られる音声データが無音である場合には、０．５≦Ｗ≦２．０の範囲内の値に、上記音声データが持続音である場合には、０．６６≦Ｗ≦１．５の範囲内の値に、上記音声データが音楽である場合には、１．０≦Ｗ≦１．０の範囲内の値に、上記音声データが会話である場合には、０．８≦Ｗ≦１．２の範囲内の値に、それぞれ音声データに応じて閾値を切り替えて、上記伸縮率Ｗを制限する請求項１に記載の音声ストリーム再生装置。
4. 受信パケットを一時蓄積する記憶手段から受信パケットを取り出して復号する復号ステップと、
   上記記憶手段に一時蓄積されている受信パケット量を基準量に保ちつつ、上記記憶手段に一時蓄積されている受信パケット数をＮとし、規定のバッファ遅延に相当するパケット数をＭとしたとき、Ｗ＝Ｍ／Ｎによって規定される伸縮率Ｗを、音声のピッチを保存したまま時間軸を伸縮させることが可能な所定の範囲の値として、上記復号ステップで受信パケットを復号して得られる音声データに対して時間軸を伸縮させる処理を行う時間軸圧縮伸張処理ステップと
   を含む音声ストリーム再生方法。

Images