JP3579334B2

JP3579334B2 - Subjective quality estimation method, subjective quality estimation device, fluctuation absorption allowable time estimation method, and fluctuation absorption allowable time estimation device

Info

Publication number: JP3579334B2
Application number: JP2000247421A
Authority: JP
Inventors: 征貴増田; 織　　克典
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 2000-08-17
Filing date: 2000-08-17
Publication date: 2004-10-20
Anticipated expiration: 2020-08-17
Also published as: JP2002064539A

Description

【０００１】
【発明の属する技術分野】
本発明は、主観品質推定方法、主観品質推定装置および揺らぎ吸収許容時間推定方法に関し、特にパケット網におけるリアルタイム系アプリケーションの主観品質を推定する主観品質推定方法、主観品質推定装置および揺らぎ吸収許容時間推定方法に関するものである。
【０００２】
【従来の技術】
パケット網におけるリアルタイム系アプリケーション（例えば、ＶｏＩＰ：ＶｏｉｃｅｏｖｅｒＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ／インターネットを用いた音声通話など）の品質評価は、主観／客観評価によって行われる。特に、ユーザの知覚的品質を定量的に表すために、主観評価が主流である。この主観評価としては、音声のわかりやすさを示す明瞭度、音声の大きさを示すラウドネス評価値、音声の自然性を示す平均オピニオン値などの評価尺度が用いられる。このような主観品質は、ネットワーク品質（パケットごとの性能情報；例えば、パケット損失など）に影響を受ける。
【０００３】
【発明が解決しようとする課題】
ここで、ネットワーク品質には様々な要因が存在することやリアルタイム系アプリケーションの機器の機能が多種多様であることなどから、従来より、主観品質に影響を与える主要なネットワーク要因が明確にされていなかった。したがって、主観品質とネットワーク品質との間で精度のよい対応がとられておらず、実際の主観品質評価を行うことなく精度よく主観品質を推定できないという問題点があった。さらに、リアルタイム系アプリケーションでは、パケット受信間隔のある程度の揺らぎについて吸収する機能を有しているが、このときの揺らぎ吸収許容時間は未知な場合が多く、精度よく主観品質を推定するにはこの揺らぎ吸収許容時間を推定する必要があった。
本発明はこのような課題を解決するためのものであり、実際の主観品質評価を行うことなく、ネットワーク品質に基づいて精度よく主観品質を推定できる主観品質推定方法、主観品質推定装置および揺らぎ吸収許容時間推定方法を提供することを目的としている。
【０００４】
【課題を解決するための手段】
このような目的を達成するために、本発明にかかる主観品質推定方法は、送信側端末および受信側端末のリアルタイム系アプリケーションでやり取りされるパケットのうち連続する複数のパケットを試験用パケットとして用い、送信側端末から一定間隔で送信されたこれら試験用パケットのうち受信側端末へ到着しなかった損失パケットと、直前到着パケットとの到着間隔がリアルタイム系アプリケーションの揺らぎ吸収許容時間を越えた遅着パケットとを無効パケットと判定してこれら無効パケット数を計数し、送信側から送信された全試験用パケット数に対する無効パケット数の割合を無効パケット率として算出し、予め生成しておいた無効パケット率と主観品質評価値との関係を示す推定モデルを参照して、無効パケット率に対応する主観品質評価値を推定し、主観品質推定結果として出力するようにしたものである。
【０００５】
主観品質の推定に用いる推定モデルについては、送信側端末と受信側端末との間のネットワーク負荷を仮想的に変化する環境下でそれぞれのネットワーク負荷ごとに得られた主観品質評価値を取得するとともに、そのネットワーク負荷時での無効パケット率を算出し、各ネットワーク負荷ごとに得られた主観品質評価値と無効パケット率とから、主観品質評価値と無効パケット率との対応関係を示す回帰曲線を導出し、推定モデルとして用いるようにしてもよい。
【０００６】
また、リアルタイム系アプリケーションの揺らぎ吸収許容時間が未知の場合は、各ネットワーク負荷ごとに得られた主観品質評価値を取得するとともに、揺らぎ吸収許容時間に代えて任意の仮定許容時間を用いてそのネットワーク負荷時での無効パケット率を算出し、各ネットワーク負荷ごとに得られた主観品質評価値と無効パケット率とから、主観品質評価値と無効パケット率との対応関係を示す回帰曲線を導出するとともに、その回帰曲線の寄与率を算出し、異なる仮定許容時間ごとに得られた複数の回帰曲線のうち、その寄与率が最も高い回帰曲線を推定モデルとして用いるとともに、そのときの仮定許容時間を推定揺らぎ吸収許容時間として揺らぎ吸収許容時間の代わりに用いるようにしてもよい。
【０００７】
本発明にかかる揺らぎ吸収許容時間推定方法は、リアルタイム系アプリケーションの揺らぎ吸収許容時間として予想される仮定許容時間を設定するとともに、送信側端末と受信側端末との間の様々なネットワーク負荷のもとで、送信側端末および受信側端末のリアルタイム系アプリケーションでやり取りされるパケットのうち連続する複数のパケットを試験用パケットとして用い、送信側端末から一定間隔で送信されたこれら試験用パケットのうち受信側端末へ到着しなかった損失パケットと、直前到着パケットとの到着間隔が仮定許容時間を越えた遅着パケットとを無効パケットと判定してこれら無効パケット数を計数し、送信側から送信された全試験用パケット数に対する無効パケット数の割合を無効パケット率として算出し、各ネットワーク負荷ごとに得られた主観品質評価値とそのときの無効パケット率とから、主観品質評価と無効パケット率との対応関係を示す回帰曲線を導出するとともに、その回帰曲線の寄与率を算出し、異なる仮定許容時間ごとに得られた複数の回帰曲線のうち、その寄与率が最も高い回帰曲線が得られた仮定許容時間をリアルタイム系アプリケーションの揺らぎ吸収許容時間として推定するようにしたものである。
【０００８】
本発明にかかる主観品質推定装置は、送信側端末および受信側端末のリアルタイム系アプリケーションでやり取りされるパケットのうち連続する複数のパケットを試験用パケットとして用い、上記の主観品質推定方法に基づきリアルタイム系アプリケーションの主観品質を推定するようにしたものである。
また、本発明にかかる他の主観品質推定装置は、送信側端末および受信側端末のリアルタイム系アプリケーションでやり取りされるパケットのうち連続する複数のパケットを試験用パケットとして用い、送信側端末から一定間隔で送信されたこれら試験用パケットのうち受信側端末へ到着しなかった損失パケットと、直前到着パケットとの到着間隔がリアルタイム系アプリケーションの揺らぎ吸収許容時間を越えた遅着パケットとを無効パケットと判定してこれら無効パケット数を計数する無効パケット判定部と、送信側から送信された全ての試験用パケット数に対する無効パケット数の割合を無効パケット率として算出する無効パケット率算出部と、主観品質評価値を推定する評価推定部とを設け、この評価推定部で、予め生成しておいた無効パケット率と主観品質評価値との関係を示す推定モデルを参照して、無効パケット率に対応する主観品質評価値を推定し、主観品質推定結果として出力するようにしたものである。
また、本発明にかかる揺らぎ吸収許容時間推定装置は、パケット網を介して接続された送信側端末と受信側端末との間で用いられるリアルタイム系アプリケーションの、受信パケット間隔の揺らぎを吸収しうる揺らぎ吸収許容時間を推定する揺らぎ吸収許容時間推定装置であって、リアルタイム系アプリケーションの揺らぎ吸収許容時間として予想される仮定許容時間を設定するとともに、送信側端末と受信側端末との間の様々なネットワーク負荷のもとで、送信側端末および受信側端末のリアルタイム系アプリケーションでやり取りされるパケットのうち連続する複数のパケットを試験用パケットとして用い、送信側端末から一定間隔で送信されたこれら試験用パケットのうち受信側端末へ到着しなかった損失パケットと、直前到着パケットとの到着間隔が仮定許容時間を越えた遅着パケットとを無効パケットと判定してこれら無効パケット数を計数する無効パケット判定部と、送信側から送信された全試験用パケット数に対する無効パケット数の割合を無効パケット率として算出する無効パケット率算出部と、各ネットワーク負荷ごとに得られた主観品質評価値とそのときの無効パケット率とから、主観品質評価と無効パケット率との対応関係を示す回帰曲線を導出するとともに、その回帰曲線の寄与率を算出する寄与率算出部と、異なる仮定許容時間ごとに得られた複数の回帰曲線のうち、その寄与率が最も高い回帰曲線が得られた仮定許容時間をリアルタイム系アプリケーションの揺らぎ吸収許容時間として推定する揺らぎ吸収許容時間推定部とを備えるものである。
【０００９】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
図１は本発明の一実施の形態にかかる主観品質推定装置で主観品質が推定される測定系を示すブロック図、図２は主観品質推定装置を示すブロック図である。以下では、パケット網としてＡＴＭ（ＡｓｙｎｃｈｒｏｎｏｕｓＴｒａｎｓｆｅｒＭｏｄｅ）回線からなるＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）を利用して、このＷＡＮを介して接続される２つのＬＡＮ−ＡとＬＡＮ−Ｂの間で用いられるリアルタイム系アプリケーション、ここではＶｏＩＰ（ＶｏｉｃｅｏｖｅｒＩＰ：インターネットを用いた音声通話など）の主観品質を推定評価する場合を例として説明する。
【００１０】
パケット送信側となるＬＡＮ−Ａには、ＶｏＩＰなどのリアルタイム系アプリケーションを実行する送信側端末１、ＬＡＮ−Ａを構成するハブ（ＨＵＢ）２、送信側端末１のＶｏＩＰから送信された試験用パケットをハブ２を介して監視（キャプチャ）する送信側パケット監視装置３、ＷＡＮのＡＴＭ回線５とＬＡＮ−Ａとを接続するためのルータ４が設けられている。
パケット受信側となるＬＡＮ−Ｂには、ＶｏＩＰなどのリアルタイム系アプリケーションを実行する受信側端末８、ＬＡＮ−Ｂを構成するハブ（ＨＵＢ）７、受信側端末１のＶｏＩＰで受信される試験用パケットをハブ２を介して監視（キャプチャ）する受信側パケット監視装置９、ＷＡＮのＡＴＭ回線５とＬＡＮ−Ｂとを接続するためのルータ６が設けられている。
【００１１】
さらにパケット受信側となるＬＡＮ−Ｂには、受信側パケット監視装置９で得られた各パケットの性能情報に基づき送信側端末１および受信側端末８で実行されているＶｏＩＰなどのリアルタイム系アプリケーションの主観品質を推定する主観品質推定装置１０が設けられている。
主観評価とは、最終的にアプリケーションを利用する形態で、利用者たる人間がその品質を評価するものである。この主観品質推定装置１０では、電話系の総合品質評価に用いられるオピニオン評価法に準じて主観評価を推定する。オピニオン評価法は、系列範疇法（ＭｅｔｈｏｄｏｆＳｕｃｃｅｓｓｉｖｅＣａｔｅｇｏｒｉｅｓ）と呼ばれる心理測定法の一種である。被験者は被試験音声の品質を、日常使用している電話の品質に照らして「非常によい」〜「非常に悪い」まで５段階で評価する。そして、その評価に４〜０点（あるいは５〜１点）の評点を与え、多数の被験者による投票率にしだがって加重平均値を求めたものをＭＯＳ値（ＭｅａｎＯｐｉｎｉｏｎＳｏｕｒｃｅ：平均オピニオン値）として用いる（例えば、浅谷，「通信ネットワークの品質設計」，社団法人電子情報通信学会，１９９３，Ｍａｒなど参照）。
【００１２】
試験時には、送信側端末１および受信側端末８のリアルタイム系アプリケーションでやり取りされるパケットのうち連続する複数のパケットが試験用パケットとして用いられる。パケットの性能情報としては、試験時に一定の間隔で送信されたこれら試験用パケットの送信／到着時刻、全送信／到着パケット数、パケットシーケンス番号、パケットごとの到着間隔などがあげられる。主観品質推定装置１０では、これらパケットの性能情報から、試験時に用いた全パケットに対するＶｏＩＰ上で音声再生されない無効パケットの割合を示す無効パケット率を算出し、その無効パケット率からＭＯＳ値を推定している。このとき、予め無効パケット率とＭＯＳ値との関係をモデル化しておき、その推定モデルを用いて無効パケット率からＭＯＳ値を推定している。この推定モデルとして本発明では回帰曲線を用いているがこれに限定されるものではない。また、主観品質評価値については、ＭＯＳ値に限定されるものではなく他の評価値を用いてもよい。
【００１３】
図１において、２Ａ，２Ｂは背景負荷生成装置であり、それぞれハブ２とハブ７に接続されている。この背景負荷生成装置２Ａ，２Ｂで送信側端末１と受信側端末８との間の通信路に対して、仮想的に所望のネットワーク負荷を与えることができる。これにより、予め種々のネットワーク負荷発生させてパケットの性能情報を採取するとともに、被験者による本来の主観評価を行い、無効パケット率とＭＯＳ値との関係を示す推定モデルここでは回帰曲線を生成する。なお、この背景負荷生成装置２Ａ，２Ｂは回帰曲線を生成するデータを採取するために用いるものであり、所望の回帰曲線が生成されれば、その後の実際の主観品質評価時には不要となる。
【００１４】
次に、図２を参照して、主観品質の推定動作について説明する。図２は主観品質推定装置を示すブロック図である。この主観品質推定装置は、受信側パケット監視装置９で得られた各パケットの性能情報９Ａを用いて無効パケットの判定を行う無効パケット判定部１１、無効パケット判定部からの出力に基づき無効パケット率を算出する無効パケット算出部１２、無効パケット率算出部で算出された無効パケット算出率に基づき、無効パケット率とＭＯＳ値との対応関係を示す推定モデル１４を参照して、主観品質の推定結果を示すＭＯＳ値１５を出力する評価推定部１３とから構成されている。特に無効パケット判定部１１には、損失パケットを判定する損失パケット判定手段１１Ａと遅着パケットを判定する遅着パケット判定手段１１Ｂとが設けられている。
【００１５】
本発明では、リアルタイム系アプリケーションで正常に機能せず、主観品質の低下要因となる無効パケットとして、損失パケットと遅着パケットを想定している。損失パケットとは何らかの原因でネットワーク上で損失したパケットを指す。また遅着パケットとは何らかの原因で通常より遅れて到着したためＶｏＩＰなどのリアルタイム系アプリケーションで正常に音声再生されなかったパケットを指す。リアルタイム系アプリケーションではパケットの到着タイミングの揺らぎを吸収するために揺らぎ吸収バッファを有しており、この揺らぎ吸収バッファ分の許容時間すなわち揺らぎ吸収許容時間（揺らぎ吸収バッファサイズ）以内の到着遅れであれば正常に音声再生できる。したがって、この揺らぎ吸収許容時間より遅れたパケットは正常に音声再生されないため、このような遅着パケットを無効パケットとして扱っている。
【００１６】
図３に損失パケットと遅着パケットの判定方法を示す。
損失パケット判定手段１１Ａでは、パケットごとの性能情報のうち送信パケットに対して送信順に付与されたパケットシーケンス番号などを用いて、到着しなかったパケットすなわち損失パケットの有無を判定し、損失パケット数を計数出力する。図３ではパケットＰ_３，Ｐ_７が損失パケットと判定される。なお、受信側パケット監視装置９でネットワーク上でのパケット損失数が得られる場合には、そのパケット損失数をそのまま損失パケット数として出力してもよい。
【００１７】
遅着パケット判定手段１１Ｂでは、パケットごとの性能情報のうち到着時刻を用いて各パケットの到着間隔を算出する。そして、その到着間隔とＶｏＩＰの揺らぎ吸収許容時間と比較して遅着パケットの有無を判定し、遅着パケット数を計数出力する。図３では、到着間隔ｔ_１〜ｔ_７が算出されて揺らぎ吸収許容時間ｔ_ＢＳ（例えば３０ｍｓ）と比較される。この場合はｔ_６＞ｔ_ＢＳであることからパケットＰ_９が遅着パケットとして判定される。
【００１８】
無効パケット率算出部１２では、無効パケット判定部１１の損失パケット判定手段１１Ａから出力された損失パケット数Ｐ_Ｌ、および遅着パケット判定手段１１Ｂから出力された遅着パケット数Ｐ_Ｄに基づき、次のようにして無効パケット率Ｒ_Ｐを算出する。
Ｒ_Ｐ＝（Ｐ_Ｌ＋Ｐ_Ｄ）／全送信パケット数
評価推定部１３では、無効パケット率算出部１２で算出された無効パケット率に基づき推定モデル１４を参照してＭＯＳ値を推定する。ここでの推定モデル１４は、実際の計測などにより得られた無効パケット率を説明変数とし、そのときのＭＯＳ値を目的変数として、両者の関係を予め回帰曲線でモデル化したものである。回帰曲線としては、２次関数や指数関数など必要に応じて各種関数のいずれかを選択すればよい。
【００１９】
図４は無効パケット率とＭＯＳ値との関係を示す回帰曲線、図５はパケット損失率とＭＯＳ値との関係を示す回帰曲線である。これら回帰曲線は、図１に示した測定系の背景負荷生成装置２Ａ，２Ｂを制御して、種々のネットワーク負荷を仮想的に発生させて実際に試験して得られたものである。ＭＯＳ値については、ネットワーク上で音声を流して録音した２２４条件の音声ファイル各々に対し、２０人の被験者が５段階で評価を行い、その平均値を音声ファイルに対するＭＯＳ値を算出して用いた。また、このときの無効パケット率とパケット損失率とを算出し、これらの対応関係から回帰曲線を求めた。なお、パケット損失率とは、全送信パケット数に対する損失パケット数の割合であり、図５の回帰曲線には揺らぎ吸収バッファに対する遅着パケットについては考慮されていない。
【００２０】
図４と図５を比較すると、図５に比較して図４のばらつきが小さいことがわかる。例えば、図４の無効パケット率＝０％では、ＭＯＳ値が２．９〜４．３の範囲であるのに対して、図５のパケット損失率＝０％では、ＭＯＳ値が１．７〜４．３の範囲にあり、図４に比較して１．８倍以上のばらつきがある。また回帰曲線の寄与率（決定係数）についても、図４では０．８２１５であるのに対して、図５では０．６９９９であり、回帰曲線のデータへのあてはまりの良さは図４のほうが優れていることがわかる。したがって、揺らぎ吸収許容時間を越えた遅着パケットを考慮したことにより、さらに精度よくＭＯＳ値を推定できる。
【００２１】
このように、無効パケット判定部１１において、各パケットごとの性能情報９Ａから、受信側へ到着しなかった損失パケット数と、パケット到着間隔がリアルタイム系アプリケーションの揺らぎ吸収許容時間を越えた遅着パケットとを無効パケットとして判定し、無効パケット率算出部１２において、これら判定結果から全送信パケット数に対する無効パケット数の割合すなわち無効パケット率を算出し、評価推定部１３おいて、その無効パケット率に基づき、予め用意しておいた無効パケット率とＭＯＳ値との関係を示す推定モデル１４を参照して、対応するＭＯＳ値を推定出力するようにしたので、実際の主観品質を行うことなく精度よく主観品質を推定できる。
【００２２】
以上の説明において、受信側パケット監視装置９で得られたパケットごとの性能情報９Ａに基づいて主観品質推定装置１０で主観品質を推定するタイミングについては、特に規定されない。例えば、試験用パケットに関する性能情報９Ａがすべて得られた時点で、主観品質推定装置１０により主観品質を推定するようにしもよい。また、試験用パケットに関する性能情報９Ａが逐次得られる状態で、主観品質推定装置１０により無効パケットの判定を並列的に実行してもよい。
また、試験用パケットをキャプチャするための送信側パケット監視装置３や受信側パケット監視装置９については、ワークステーション用の既存のアプリケーション（例えば、ＵＮＩＸコマンド：ｔｃｐｄｕｍｐなど）を利用できる。
【００２３】
次に、揺らぎ吸収許容時間が未知の場合について説明する。以上では、ＶｏＩＰなどのリアルタイム系アプリケーションが持つ揺らぎ吸収許容時間が既知の場合について説明したが、揺らぎ吸収許容時間については未知の場合もある。このような場合は、実際の揺らぎ吸収許容時間に最も近しい等価許容時間を決定して用いればよい。
まず、揺らぎ吸収許容時間（揺らぎ吸収バッファサイズ）を仮定する。
仮定許容時間と無効パケット率との関係は図６に示すようなグラフに表される。無効パケット率の最も低い値が損失パケット率に相当する。このグラフの範囲の中で仮定許容時間を選択する。
【００２４】
そして、前述の揺らぎ吸収許容時間に代えて選択した仮定許容時間を用い、被験者による実際の主観評価を行うとともに、そのときの無効パケット率を算出し、これらから仮定許容時間ごとに回帰曲線とその回帰曲線の寄与率を得る。図７に仮定許容時間と寄与率との対応例を示す。この寄与率とは回帰曲線のデータ（ここでは無効パケット率とＭＯＳ値）へのあてはまりの良さを示す評価指標であり、回帰分析において一般的には決定係数Ｒ^２とも呼ばれている。
【００２５】
このようにして異なる仮定許容時間ごとに得られた複数の回帰曲線のうち、その寄与率が最も高い回帰曲線を推定モデルとして用いるとともに、そのときの仮定許容時間を推定揺らぎ吸収許容時間として揺らぎ吸収許容時間の代わりに用いればよい。図７では、寄与率＝０．８２１５が最も高くこのときの仮定許容時間が推定揺らぎ許容時間として用いられる。
これにより、リアルタイム系アプリケーションの揺らぎ吸収許容時間（揺らぎ吸収バッファサイズ）が未知の場合でも、実際の揺らぎ吸収許容時間に最も近しい推定揺らぎ吸収許容時間を用いて精度よく主観評価を推定できる。
【００２６】
なお、仮定許容時間の選択方法については、寄与率が低い状態ではある程度大きな間隔で仮定許容時間を変化させ、寄与率が高くなるにつれて間隔を小さくして仮定許容時間を変化させるようにしてもよく、有効な仮定許容時間を効率よく見つけることができる。
また、以上の説明では、背景負荷生成装置２Ａ，７Ａにより送信側端末１と受信側端末８との間のネットワーク負荷を仮想的に与える場合すなわち実験的なネットワークを用いた場合を例として説明したが、ネットワーク負荷が変動する実際のネットワークであっても本発明を適用でき、前述と同様の作用効果が得られる。
【００２７】
【発明の効果】
以上説明したように、本発明は、試験用パケットのうち受信側端末へ到着しなかった損失パケットと、直前到着パケットとの到着間隔がリアルタイム系アプリケーションの揺らぎ吸収許容時間を越えた遅着パケットとを無効パケットと判定してこれら無効パケット数を計数し、送信側から送信された全ての試験用パケット数に対する無効パケット数の割合を無効パケット率として算出し、予め生成しておいた無効パケット率と主観品質評価値との関係を示す推定モデルを参照して、無効パケット率に対応する主観品質評価値を推定し、主観品質推定結果として出力するようにしたので、実際の主観品質を行うことなく精度よく主観品質を推定できる。
【図面の簡単な説明】
【図１】本発明の主観品質推定装置で主観品質が推定される測定系を示すブロック図である。
【図２】図１の主観品質推定装置を示すブロック図である。
【図３】損失パケットと遅着パケットの判定方法を示す説明図である。
【図４】無効パケット率とＭＯＳ値との関係を示す回帰曲線である。
【図５】パケット損失率とＭＯＳ値との関係を示す回帰曲線である。
【図６】仮定許容時間と無効パケット率との関係を示すグラフである。
【図７】仮定許容時間と寄与率との対応例である。
【符号の説明】
１…送信側端末、２，７…ＨＵＢ、２Ａ，７Ａ…背景負荷生成装置、３…送信側パケット監視装置、４，６ルータ、５…ＡＴＭ回線、８…受信側端末、９…受信側パケット監視装置、１０主観品質推定装置、１１…無効パケット判定部、１１Ａ…損失パケット判定手段、１１Ｂ…遅着パケット判定手段、１２…無効パケット率算出手段、１３…評価推定部、１４…推定モデル、１５…ＭＯＳ値（主観評価値）。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a subjective quality estimating method, a subjective quality estimating device, and an allowable fluctuation time estimating method, and more particularly to a subjective quality estimating method for estimating the subjective quality of a real-time application in a packet network, a subjective quality estimating device, and a fluctuation allowable allowable time estimation. It is about the method.
[0002]
[Prior art]
The quality evaluation of a real-time application (for example, VoIP: Voice over Internet Protocol / voice call using the Internet) in a packet network is performed by subjective / objective evaluation. In particular, subjective evaluation is mainstream in order to quantitatively express the perceptual quality of a user. As the subjective evaluation, evaluation measures such as intelligibility indicating the intelligibility of the voice, loudness evaluation value indicating the loudness of the voice, and average opinion value indicating the naturalness of the voice are used. Such subjective quality is affected by network quality (performance information for each packet; for example, packet loss, etc.).
[0003]
[Problems to be solved by the invention]
Here, the main network factors that affect the subjective quality have not been clarified from the past, because there are various factors in the network quality and the functions of the devices for real-time applications are diverse. Was. Therefore, there has been a problem that an accurate correspondence is not taken between the subjective quality and the network quality, and the subjective quality cannot be accurately estimated without actually performing the subjective quality evaluation. Furthermore, real-time applications have a function to absorb a certain amount of fluctuations in the packet reception interval, but the permissible time for fluctuation absorption at this time is often unknown, and this fluctuation is necessary to estimate subjective quality accurately. It was necessary to estimate the permissible absorption time.
The present invention is intended to solve such a problem, and a subjective quality estimating method, a subjective quality estimating apparatus, and a fluctuation absorbing method capable of accurately estimating subjective quality based on network quality without actually performing subjective quality evaluation. It is intended to provide an allowable time estimation method.
[0004]
[Means for Solving the Problems]
In order to achieve such an object, the subjective quality estimation method according to the present invention uses a plurality of continuous packets among packets exchanged in a real-time application of a transmitting terminal and a receiving terminal as a test packet, Of these test packets transmitted at regular intervals from the transmitting terminal, a lost packet that did not arrive at the receiving terminal and a delayed packet whose arrival interval between the immediately preceding packet and the real-time application fluctuation fluctuation allowable time exceeded Are determined as invalid packets, the number of these invalid packets is counted, and the ratio of the number of invalid packets to the total number of test packets transmitted from the transmitting side is calculated as the invalid packet rate. Refer to the estimation model showing the relationship between Watch estimates the quality evaluation value is obtained by the output as a result subjective quality estimation.
[0005]
For the estimation model used for estimating subjective quality, the subjective quality evaluation value obtained for each network load is obtained in an environment where the network load between the transmitting terminal and the receiving terminal is virtually changed. Calculate the invalid packet rate at the time of the network load, and form a regression curve showing the correspondence between the subjective quality evaluation value and the invalid packet rate from the subjective quality evaluation value and the invalid packet rate obtained for each network load. It may be derived and used as an estimation model.
[0006]
If the permissible fluctuation time of the real-time application is unknown , obtain the subjective quality evaluation value obtained for each network load, and use an arbitrary assumed permissible time instead of the permissible fluctuation time for the network. Calculate the invalid packet rate under load, and derive a regression curve showing the correspondence between the subjective quality evaluation value and invalid packet rate from the subjective quality evaluation value and invalid packet rate obtained for each network load. , Calculate the contribution rate of the regression curve, and use the regression curve with the highest contribution rate as the estimation model among the multiple regression curves obtained for each different assumed allowable time, and estimate the assumed allowable time at that time The permissible fluctuation absorption time may be used instead of the permissible fluctuation absorption time.
[0007]
The fluctuation absorption allowable time estimating method according to the present invention sets the assumed allowable time as the fluctuation absorption allowable time of the real-time application, and performs the calculation under various network loads between the transmitting terminal and the receiving terminal. A plurality of continuous packets among the packets exchanged in the real-time application of the transmitting terminal and the receiving terminal are used as test packets, and the receiving side of these test packets transmitted from the transmitting terminal at regular intervals is used. Lost packets that have not arrived at the terminal and delayed packets whose arrival interval between the immediately preceding packet has exceeded the assumed allowable time are determined to be invalid packets, the number of these invalid packets is counted, and all packets transmitted from the transmitting side are counted. the ratio of the number of invalid packets to the test for the number of packets calculated as an invalid packet ratio, the net Subjective quality assessment values obtained for each chromatography click load and invalid packet ratio at that time, with deriving the regression curve showing the correspondence between the subjective quality assessment and invalid packet ratio, calculates the contribution rate of the regression curve Then, among a plurality of regression curves obtained for different assumed allowable times, the assumed allowable time at which the regression curve having the highest contribution rate was obtained is estimated as the fluctuation absorption allowable time of the real-time application. is there.
[0008]
The subjective quality estimating apparatus according to the present invention uses a plurality of continuous packets among the packets exchanged in the real-time application of the transmitting terminal and the receiving terminal as test packets, and uses the real-time system based on the subjective quality estimating method described above. It estimates the subjective quality of the application.
Another subjective quality estimating apparatus according to the present invention uses a plurality of continuous packets among the packets exchanged in the real-time application of the transmitting terminal and the receiving terminal as test packets, and transmits the packets at fixed intervals from the transmitting terminal. Of these test packets transmitted in step 2, a lost packet that did not arrive at the receiving terminal and a delayed packet whose arrival interval between the immediately preceding packet and the arrival interval exceeded the allowable fluctuation time of the real-time application were determined to be invalid packets. An invalid packet determining unit that counts the number of invalid packets, an invalid packet rate calculating unit that calculates a ratio of the number of invalid packets to the total number of test packets transmitted from the transmitting side as an invalid packet rate, and a subjective quality evaluation. And an evaluation estimating unit for estimating the value. Referring to estimation model showing the relationship between the efficiency packet rate and subjective quality assessment value, to estimate the subjective quality assessment value corresponding to the invalid packet ratio, it is obtained so as to output as the result subjective quality estimation.
Further, the fluctuation absorption allowable time estimating apparatus according to the present invention is capable of absorbing fluctuation of a reception packet interval of a real-time application used between a transmitting terminal and a receiving terminal connected via a packet network. A fluctuation absorption allowable time estimating apparatus for estimating a permissible absorption time, wherein an assumed permissible time estimated as a fluctuation absorption permissible time of a real-time application is set, and various networks between a transmitting terminal and a receiving terminal are set. Under the load, a plurality of continuous packets among the packets exchanged in the real-time application of the transmitting terminal and the receiving terminal are used as test packets, and these test packets transmitted from the transmitting terminal at regular intervals. Of lost packets that did not arrive at the receiving terminal, An invalid packet judging unit for judging a late arrival packet whose arrival interval exceeds the assumed allowable time as an invalid packet and counting the number of these invalid packets, and the number of invalid packets with respect to the total number of test packets transmitted from the transmitting side. From the subjective quality evaluation value obtained for each network load and the invalid packet rate at that time, the correspondence between the subjective quality evaluation and the invalid packet rate is calculated. And a contribution ratio calculation unit for calculating the contribution ratio of the regression curve, and a regression curve having the highest contribution ratio among a plurality of regression curves obtained at different assumed allowable times. A fluctuation absorption allowable time estimating unit for estimating the assumed allowable time as the fluctuation absorption allowable time of the real-time application.
[0009]
BEST MODE FOR CARRYING OUT THE INVENTION
Next, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a measurement system in which subjective quality is estimated by a subjective quality estimation device according to an embodiment of the present invention, and FIG. 2 is a block diagram showing a subjective quality estimation device. In the following, a real-time system used between two LAN-A and LAN-B connected via a WAN (Wide Area Network) formed of an ATM (Asynchronous Transfer Mode) line as a packet network is used. An example in which the subjective quality of an application, here, VoIP (Voice over IP: voice communication using the Internet, etc.) is estimated and evaluated will be described.
[0010]
The LAN-A serving as a packet transmitting side includes a transmitting terminal 1 that executes a real-time application such as VoIP, a hub (HUB) 2 that constitutes the LAN-A, and a test packet transmitted from the VoIP of the transmitting terminal 1. A transmission side packet monitoring device 3 for monitoring (capturing) the data via the hub 2 and a router 4 for connecting the ATM line 5 of the WAN and the LAN-A are provided.
The LAN-B serving as a packet receiving side includes a receiving terminal 8 for executing a real-time application such as VoIP, a hub (HUB) 7 constituting the LAN-B, and a test packet received by the VoIP of the receiving terminal 1. A packet monitoring device 9 for monitoring (capturing) the data via the hub 2 and a router 6 for connecting the ATM line 5 of the WAN to the LAN-B.
[0011]
Further, the LAN-B serving as a packet receiving side has a real-time application such as VoIP executed on the transmitting side terminal 1 and the receiving side terminal 8 based on the performance information of each packet obtained by the receiving side packet monitoring device 9. A subjective quality estimation device 10 for estimating subjective quality is provided.
In the subjective evaluation, the quality of the application is finally evaluated by a user as a user. The subjective quality estimating apparatus 10 estimates a subjective evaluation according to an opinion evaluation method used for overall quality evaluation of a telephone system. The opinion evaluation method is a kind of a psychometric method called a method of successive categories (Method of Successive Categories). The subject evaluates the quality of the speech under test on a five-point scale from "very good" to "very bad" in light of the quality of the telephones he uses everyday. Then, a score of 4 to 0 (or 5 to 1) is given to the evaluation, and a weighted average is calculated based on the voting rate of a large number of subjects, and a MOS value (Mean Opinion Source: average opinion value) is obtained. (For example, see Asaya, “Quality Design of Communication Network”, The Institute of Electronics, Information and Communication Engineers, 1993, Mar, etc.).
[0012]
During the test, a plurality of continuous packets among the packets exchanged in the real-time application of the transmitting terminal 1 and the receiving terminal 8 are used as test packets. The packet performance information includes the transmission / arrival time, the total number of transmitted / arrival packets, the packet sequence number, the arrival interval for each packet, and the like, of these test packets transmitted at regular intervals during the test. The subjective quality estimating apparatus 10 calculates the invalid packet rate indicating the ratio of invalid packets that are not reproduced on VoIP to all the packets used in the test from the performance information of these packets, and estimates the MOS value from the invalid packet rate. ing. At this time, the relationship between the invalid packet rate and the MOS value is modeled in advance, and the MOS value is estimated from the invalid packet rate using the estimation model. In the present invention, a regression curve is used as the estimation model, but the present invention is not limited to this. Further, the subjective quality evaluation value is not limited to the MOS value, and another evaluation value may be used.
[0013]
In FIG. 1, reference numerals 2A and 2B denote background load generators, which are connected to the hub 2 and the hub 7, respectively. The background load generators 2A and 2B can virtually apply a desired network load to the communication path between the transmitting terminal 1 and the receiving terminal 8. As a result, various network loads are generated in advance to collect the packet performance information, and the subject performs an original subjective evaluation, and generates an estimation model indicating the relationship between the invalid packet rate and the MOS value, here, a regression curve. The background load generators 2A and 2B are used to collect data for generating a regression curve, and if a desired regression curve is generated, it is not necessary at the time of actual subjective quality evaluation thereafter.
[0014]
Next, the estimation operation of the subjective quality will be described with reference to FIG. FIG. 2 is a block diagram showing the subjective quality estimation device. The subjective quality estimating apparatus includes an invalid packet determining unit 11 that determines an invalid packet using the performance information 9A of each packet obtained by the receiving side packet monitoring device 9, and an invalid packet rate based on an output from the invalid packet determining unit. The invalid packet calculating unit 12 calculates the subjective quality estimation result based on the invalid packet calculating ratio calculated by the invalid packet ratio calculating unit, referring to the estimation model 14 indicating the correspondence between the invalid packet ratio and the MOS value. And an evaluation estimating unit 13 that outputs a MOS value 15 indicating the following. In particular, the invalid packet determination unit 11 includes a lost packet determination unit 11A that determines a lost packet and a late arrival packet determination unit 11B that determines a late arrival packet.
[0015]
In the present invention, a lost packet and a late arrival packet are assumed as invalid packets that do not function properly in a real-time application and cause a decrease in subjective quality. A lost packet refers to a packet lost on the network for some reason. The late arrival packet indicates a packet that has not been normally reproduced by a real-time application such as VoIP because the packet arrived later than usual for some reason. A real-time application has a fluctuation absorbing buffer for absorbing fluctuations in packet arrival timing. If the arrival delay is within the permissible time of the fluctuation absorbing buffer, that is, the fluctuation absorbing permissible time (fluctuation absorbing buffer size). Sound can be reproduced normally. Therefore, since a packet delayed after the fluctuation absorption allowable time is not normally reproduced, the delayed packet is treated as an invalid packet.
[0016]
FIG. 3 shows a method of determining a lost packet and a late arrival packet.
The lost packet determination unit 11A determines the packet that has not arrived, that is, the presence or absence of a lost packet, using a packet sequence number or the like assigned to the transmission packet in the transmission order among the performance information of each packet, and Count output. In FIG. 3, packets P ₃ and P ₇ are determined to be lost packets. When the number of packet losses on the network can be obtained by the receiving-side packet monitoring device 9, the number of lost packets may be directly output as the number of lost packets.
[0017]
The late arrival packet determination means 11B calculates the arrival interval of each packet using the arrival time in the performance information of each packet. Then, the presence / absence of the late arrival packet is determined by comparing the arrival interval with the VoIP fluctuation absorption allowable time, and the number of late arrival packets is counted and output. In FIG. 3, the arrival intervals t _{1 to} t ₇ are calculated and compared with the fluctuation absorption allowable time t _BS (for example, 30 ms). In this case, since t ₆ > t _BS , packet P ₉ is determined as a late arrival packet.
[0018]
The invalid packet rate calculation unit 12 calculates the following based on the number P _{L of} lost packets output from the lost packet determination unit 11A of the invalid packet determination unit 11 and the number P _{D of} delayed packets output from the delayed packet determination unit 11B. The invalid packet rate _RP is calculated as follows.
R _P = (P _L + P _D ) / total number of transmitted packets The estimating and estimating unit 13 estimates the MOS value with reference to the estimation model 14 based on the invalid packet rate calculated by the invalid packet rate calculating unit 12. The estimation model 14 here is a model in which the relationship between the two is preliminarily modeled by a regression curve, using the invalid packet rate obtained by actual measurement or the like as an explanatory variable and the MOS value at that time as an objective variable. As the regression curve, any of various functions such as a quadratic function and an exponential function may be selected as needed.
[0019]
FIG. 4 is a regression curve showing the relationship between the invalid packet rate and the MOS value, and FIG. 5 is a regression curve showing the relationship between the packet loss rate and the MOS value. These regression curves are obtained by controlling the background load generators 2A and 2B of the measurement system shown in FIG. 1 to virtually generate various network loads and actually testing them. For the MOS value, 20 subjects evaluated each of the 224 audio files recorded by streaming audio on the network in five steps, and the average value was used by calculating the MOS value for the audio file. . At this time, the invalid packet rate and the packet loss rate were calculated, and a regression curve was obtained from the correspondence between them. Note that the packet loss rate is the ratio of the number of lost packets to the total number of transmitted packets, and the regression curve in FIG. 5 does not consider late arrival packets for the fluctuation absorbing buffer.
[0020]
When FIG. 4 is compared with FIG. 5, it can be seen that the variation of FIG. 4 is smaller than that of FIG. For example, when the invalid packet rate = 0% shown in FIG. 4, the MOS value is in the range of 2.9 to 4.3, whereas when the packet loss rate = 0% shown in FIG. 5, the MOS value is 1.7 to 4.3. It is in the range of 4.3, and has a variation of 1.8 times or more as compared with FIG. In addition, the contribution rate (determination coefficient) of the regression curve is 0.8215 in FIG. 4, but 0.6999 in FIG. 5. FIG. 4 shows that the regression curve is better applied to the data. You can see that it is. Therefore, the MOS value can be more accurately estimated by considering the late arrival packet exceeding the fluctuation absorption allowable time.
[0021]
As described above, in the invalid packet determination unit 11, from the performance information 9A for each packet, the number of lost packets that did not arrive at the receiving side and the late arrival packets whose packet arrival intervals exceeded the fluctuation absorption allowable time of the real-time application. Are determined as invalid packets, and the invalid packet rate calculation unit 12 calculates the ratio of the number of invalid packets to the total number of transmitted packets, that is, the invalid packet rate, from the results of these determinations. Based on the estimation model 14 indicating the relationship between the invalid packet rate and the MOS value prepared in advance, the corresponding MOS value is estimated and output. Therefore, the actual MOS quality is accurately estimated without performing the actual subjective quality. Subjective quality can be estimated.
[0022]
In the above description, the timing at which the subjective quality estimation device 10 estimates the subjective quality based on the performance information 9A for each packet obtained by the reception side packet monitoring device 9 is not particularly defined. For example, the subjective quality may be estimated by the subjective quality estimating apparatus 10 when all the performance information 9A on the test packet is obtained. Further, the subjective quality estimation device 10 may execute the determination of the invalid packet in parallel in a state where the performance information 9A on the test packet is sequentially obtained.
As for the transmission-side packet monitoring device 3 and the reception-side packet monitoring device 9 for capturing a test packet, an existing application for a workstation (for example, a UNIX command: tcpdump) can be used.
[0023]
Next, the case where the fluctuation absorption allowable time is unknown will be described. In the above, the case where the permissible fluctuation absorption time of the real-time application such as VoIP is known has been described. However, the permissible fluctuation absorption time may not be known. In such a case, the equivalent allowable time closest to the actual fluctuation absorption allowable time may be determined and used.
First, an allowable fluctuation absorption time (fluctuation absorption buffer size) is assumed.
The relationship between the assumed allowable time and the invalid packet rate is represented by a graph as shown in FIG. The lowest value of the invalid packet rate corresponds to the lost packet rate. Select the assumed allowable time within the range of this graph.
[0024]
Then, using the assumed permissible time selected in place of the aforementioned fluctuation absorption permissible time, the subject performs an actual subjective evaluation, calculates the invalid packet rate at that time, and calculates a regression curve and Get the contribution of the regression curve. FIG. 7 shows a correspondence example between the assumed allowable time and the contribution ratio. This is a contribution ratio is an evaluation index indicating the goodness of true to the data of the regression curve (invalid packet ratio and MOS values in this case), generally also referred to as determination coefficient R ² in the regression analysis.
[0025]
Among the regression curves obtained for each of the different allowable allowable times, the regression curve having the highest contribution rate is used as the estimation model, and the assumed allowable time at that time is used as the estimated fluctuation absorption allowable time. It may be used instead of the allowable time. In FIG. 7, the assumed allowable time at which the contribution ratio = 0.215 is the highest is used as the estimated fluctuation allowable time.
As a result, even when the fluctuation absorption allowable time (fluctuation absorption buffer size) of the real-time system application is unknown, the subjective evaluation can be accurately estimated using the estimated fluctuation absorption allowable time closest to the actual fluctuation absorption allowable time.
[0026]
As to the method of selecting the assumed allowable time, the assumed allowable time may be changed at a relatively large interval in a state where the contribution rate is low, and the interval may be decreased as the contribution rate increases to change the assumed allowable time. , Effective effective allowable time can be found efficiently.
In the above description, the case where the network load between the transmitting terminal 1 and the receiving terminal 8 is virtually given by the background load generating devices 2A and 7A, that is, the case where an experimental network is used has been described as an example. However, the present invention can be applied to an actual network in which the network load fluctuates, and the same operational effects as described above can be obtained.
[0027]
【The invention's effect】
As described above, the present invention relates to a test packet, a lost packet that has not arrived at the receiving terminal, and a late arrival packet in which the arrival interval between the immediately preceding packet has exceeded the fluctuation absorption allowable time of the real-time application. Is determined as invalid packets, the number of invalid packets is counted, and the ratio of the number of invalid packets to the total number of test packets transmitted from the transmitting side is calculated as the invalid packet rate. The subjective quality evaluation value corresponding to the invalid packet rate is estimated by referring to the estimation model indicating the relationship between the subjective quality evaluation value and the subjective quality evaluation value, and the subjective quality evaluation value is output as the subjective quality estimation result. And the subjective quality can be estimated with high accuracy.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a measurement system in which subjective quality is estimated by a subjective quality estimation device of the present invention.
FIG. 2 is a block diagram showing the subjective quality estimation device of FIG.
FIG. 3 is an explanatory diagram showing a method of determining a lost packet and a late arrival packet.
FIG. 4 is a regression curve showing a relationship between an invalid packet rate and a MOS value.
FIG. 5 is a regression curve showing a relationship between a packet loss rate and a MOS value.
FIG. 6 is a graph showing a relationship between an assumed allowable time and an invalid packet rate.
FIG. 7 is an example of correspondence between assumed allowable time and contribution rate.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Sending terminal, 2,7 HUB, 2A, 7A ... Background load generating device, 3 ... Sending packet monitoring device, 4,6 router, 5 ... ATM line, 8 ... Receiving terminal, 9 ... Receiving packet Monitoring device, 10 subjective quality estimation device, 11: invalid packet determination unit, 11A: lost packet determination unit, 11B: late arrival packet determination unit, 12: invalid packet rate calculation unit, 13: evaluation estimation unit, 14: estimation model, 15 ... MOS value (subjective evaluation value).

Claims

A subjective quality estimation method for estimating the subjective quality of a real-time application used between a transmitting terminal and a receiving terminal connected via a packet network,
A plurality of continuous packets among the packets exchanged in the real-time application of the transmitting terminal and the receiving terminal are used as test packets, and the test packets transmitted from the transmitting terminal at regular intervals are transmitted to the receiving terminal. A lost packet that has not arrived, and a late arrival packet in which the arrival interval between the immediately preceding arrival packet and the fluctuation absorption allowable time of the real-time application is determined to be an invalid packet, and the number of these invalid packets is counted.
The ratio of the number of invalid packets to the total number of test packets transmitted from the transmitting side is calculated as an invalid packet ratio,
Referring to an estimation model indicating a relationship between a previously generated invalid packet rate and a subjective quality evaluation value, estimating a subjective quality evaluation value corresponding to the invalid packet rate, and outputting the result as a subjective quality estimation result. Characteristic subjective quality estimation method.

In the subjective quality estimation method according to claim 1,
In an environment in which the network load between the sending terminal and the receiving terminal changes virtually, the subjective quality evaluation value obtained for each network load is obtained , and the invalid packet rate at that network load is calculated. Calculate,
A subjective regression curve indicating the correspondence between the subjective quality evaluation value and the invalid packet rate from the subjective quality evaluation value and the invalid packet rate obtained for each network load, and using the regression curve as the estimation model. Quality estimation method.

In the subjective quality estimation method according to claim 1,
If the permissible fluctuation absorption time of the real-time application is unknown,
Acquiring the subjective quality evaluation value obtained for each network load , calculating the invalid packet rate at the time of network load using any assumed allowable time instead of the fluctuation absorption allowable time,
From the subjective quality evaluation value and the invalid packet rate obtained for each network load, a regression curve indicating the correspondence between the subjective quality evaluation value and the invalid packet rate is derived, and the contribution rate of the regression curve is calculated.
Among a plurality of regression curves obtained for different assumed allowable times, the regression curve having the highest contribution rate is used as the estimation model, and the assumed allowable time at that time is used as the estimated fluctuation absorption allowable time. A subjective quality estimation method characterized in that it is used instead of.

A real-time application used between a transmitting terminal and a receiving terminal connected via a packet network, a fluctuation absorption allowable time estimating method for estimating a fluctuation absorption allowable time capable of absorbing fluctuation of a reception packet interval,
While setting the assumed allowable time as the fluctuation absorption allowable time of the real-time application, under various network loads between the transmitting terminal and the receiving terminal,
A plurality of continuous packets among the packets exchanged in the real-time application of the transmitting terminal and the receiving terminal are used as test packets, and the test packets transmitted from the transmitting terminal at regular intervals are transmitted to the receiving terminal. Lost packets that have not arrived, and the late arrival packet whose arrival interval between the immediately preceding arrival packet exceeds the assumed allowable time are determined as invalid packets, and the number of these invalid packets is counted.
The ratio of the number of invalid packets to the total number of test packets transmitted from the transmitting side is calculated as an invalid packet ratio,
From the subjective quality evaluation value obtained for each network load and the invalid packet rate at that time, a regression curve indicating the correspondence between the subjective quality evaluation and the invalid packet rate is derived, and the contribution rate of the regression curve is calculated. And
A plurality of regression curves obtained for different assumed allowable time periods, wherein the assumed allowable time period in which a regression curve having the highest contribution rate is obtained is estimated as the fluctuation absorption allowable time period of the real-time application. Absorption allowable time estimation method.

A subjective quality estimating apparatus for estimating the subjective quality of a real-time system application used between a transmitting terminal and a receiving terminal connected via a packet network,
A plurality of continuous packets among packets exchanged in the real-time application of the transmitting terminal and the receiving terminal are used as test packets, and the subjective quality of the real-time application is determined based on the subjective quality estimating method according to claims 1 to 3. Subjective quality estimation device to estimate.

A subjective quality estimating apparatus for estimating the subjective quality of a real-time system application used between a transmitting terminal and a receiving terminal connected via a packet network,
A plurality of continuous packets among the packets exchanged in the real-time application of the transmitting terminal and the receiving terminal are used as test packets, and the test packets transmitted from the transmitting terminal at regular intervals are transmitted to the receiving terminal. An invalid packet determining unit that determines a lost packet that has not arrived and a late packet whose arrival interval between the immediately preceding packet and the arrival time exceeds the permissible time for fluctuation absorption of the real-time application as invalid packets and counts the number of these invalid packets. When,
An invalid packet rate calculation unit that calculates a ratio of the number of invalid packets to the number of all test packets transmitted from the transmitting side as an invalid packet rate,
With reference to an estimation model indicating a relationship between the invalid packet rate and the subjective quality evaluation value that has been generated in advance, an estimation estimation for estimating a subjective quality evaluation value corresponding to the invalid packet rate and outputting the result as a subjective quality estimation result. And a subjective quality estimating device.

A fluctuation absorption allowable time estimating apparatus for estimating a fluctuation absorption allowable time of a real-time application used between a transmitting terminal and a receiving terminal connected via a packet network, which can absorb fluctuation of a reception packet interval. hand,
In addition to setting the assumed allowable time as the fluctuation absorption allowable time of the real-time application, the real-time system of the transmitting terminal and the receiving terminal under various network loads between the transmitting terminal and the receiving terminal. A plurality of consecutive packets among the packets exchanged by the application are used as test packets, and among the test packets transmitted from the transmitting terminal at regular intervals, a lost packet that has not arrived at the receiving terminal and a packet immediately before arrival An invalid packet determination unit that determines a late arrival packet whose arrival interval with a packet exceeds the assumed allowable time as an invalid packet and counts the number of these invalid packets;
An invalid packet rate calculation unit that calculates a ratio of the number of invalid packets to the total number of test packets transmitted from the transmitting side as an invalid packet rate,
From the subjective quality evaluation value obtained for each network load and the invalid packet rate at that time, a regression curve showing the correspondence between the subjective quality evaluation and the invalid packet rate is derived, and the contribution rate of the regression curve is calculated. A contribution ratio calculation unit to
Among a plurality of regression curves obtained for different assumed allowable times, a fluctuation absorption allowable time estimating unit that estimates the assumed allowable time for which the regression curve having the highest contribution rate is obtained as the fluctuation absorption allowable time of the real-time application. And a fluctuation absorption permissible time estimating device.