Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP3711981B2 - Stream quality observation apparatus, program, and recording medium - Google Patents
[go: Go Back, main page]

JP3711981B2 - Stream quality observation apparatus, program, and recording medium - Google Patents

Stream quality observation apparatus, program, and recording medium Download PDF

Info

Publication number
JP3711981B2
JP3711981B2 JP2003012099A JP2003012099A JP3711981B2 JP 3711981 B2 JP3711981 B2 JP 3711981B2 JP 2003012099 A JP2003012099 A JP 2003012099A JP 2003012099 A JP2003012099 A JP 2003012099A JP 3711981 B2 JP3711981 B2 JP 3711981B2
Authority
JP
Japan
Prior art keywords
communication
stream
received packet
quality
quality value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003012099A
Other languages
Japanese (ja)
Other versions
JP2004228746A (en
Inventor
英明 宮崎
仁 山内
正信 森永
訓行 福山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2003012099A priority Critical patent/JP3711981B2/en
Publication of JP2004228746A publication Critical patent/JP2004228746A/en
Application granted granted Critical
Publication of JP3711981B2 publication Critical patent/JP3711981B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Small-Scale Networks (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

【0001】
【発明が属する技術分野】
本発明は、インターネット上のストリーム配信やVoIPなどのシステムにおいて音声・ビデオなどのストリーム品質低下の原因となるネットワーク箇所を特定する技術に関わる。
【0002】
【従来の技術】
近年、ネットワークのブロードバンド化にともなって、音声や映像のストリーム配信サービスやインターネット電話サービスが普及してきている。このようなサービスを提供する業者(以下、サービス提供業者と呼ぶ)とその利用者とを接続する通信経路は、図2に示すように複数のネットワークセグメントで構成されたネットワーク網となることが多い。ここで言うネットワークセグメントとは、LANを構成する単位であるブロードキャストリクエストが到達できるネットワーク範囲であるブロードキャストドメインであっても良いし、又は組織のイントラネットを構成するWANであっても良く、ネットワークを論理的に区分けした範囲とする。図2で示す送信装置はサービス提供業者に相当し、受信装置は利用者に相当すると考える。前述の複数のネットワークセグメントで構成されたネットワーク網とは、図2で示すところのネットワークA400及びネットワークB500で構成されるネットワーク網に相当する。この様な接続形態において、ストリーム通信で配信される音声や映像が途切れるといった事象が発生した場合、ストリーム通信のネットワーク品質の低下を招いている原因となる箇所を特定することが必要となってくる。特にサービス提供業者は、問題となる箇所が、自らが管轄するネットワーク網内か、外部の通信事業者が管轄するネットワーク網内かを識別し、早急に対応する必要がある。
【0003】
ネットワークのサービス品質の観測結果から問題箇所を特定する従来の技術としては、ネットワークのサービス品質(ビットエラーレート、パケット損失レート、データジッタ、遅延変異等)を観測し、ネットワークの品質が基準より劣るようになれば、別の経路に切り替える機能を有する通信コントローラがある(特許文献1参照)。ここでの経路の切替は、各経路のサービス品質を観測することにより、ネットワーク品質の低下した箇所を特定し、自動的に行われるものとしている。
【0004】
また、サービス品質、セルの廃棄、セルの喪失及びその他のネットワークの品質値を複数のネットワーク要素から収集し、特定のノードや特定のリンクについて、サービス品質が低下していることを検出することができるデータモニタリング装置がある(特許文献2参照)。
【0005】
また、ネットワークのサービス品質を観測する従来の技術としては、送信装置と受信装置間のパケットロス・ジッタを求めるために送信装置から受信装置にpingコマンドを定期的に発行し、pingの応答の有無や応答までの時間により、ネットワーク品質を表すパケットロス率やジッタ値を求めるという技術が普及している。
【0006】
【特許文献1】
特開平11-27327号公報
【0007】
【特許文献2】
特開平10-233773号公報
【0008】
【発明が解決しようとする課題】
上述の特許文献1,2に開示された従来の方法は、ネットワーク上を流れる全てのパケットを観測対象としており、ストリーム通信以外のパケットを観測対象に含む可能性があるため、観測結果とストリーム通信のネットワーク品質との関係が不明確であるという問題がある。すなわち、ネットワーク品質を表す値の一つであるパケットロス率を、ネットワーク上を流れる全てのパケットを観測対象として求めた場合、パケットロス率はストリーム通信以外のパケットの損失を含んだ値となる可能性がある。ところが、損失したパケットに占めるストリーム通信のパケットの割合を特定することができないため、全てのパケットを対象にして得たパケットロス率からは、実際のストリーム通信のネットワーク品質を判断することができない。
【0009】
この不具合を解決する技術として、ストリーム通信のネットワーク品質を表すパケットロス率及びジッタ値を、ストリーム通信を行う受信装置で観測し、ストリーム通信を行う送信装置に通知する技術が規約化されている。
【0010】
しかし、これより得られるストリーム通信のネットワーク品質からは、送信装置と受信装置とを接続するネットワーク網が複数のネットワークセグメントで構成されている場合に、送信装置と受信装置とを接続する通信網をさらに細分化した区間の品質を得ることが出来ない。そのため、音声や映像のストリームを配信しているサービス提供業者は、ストリーム通信の品質低下を招く原因となる箇所が、自らが管轄するネットワーク網内か、外部の通信事業者が管轄するネットワーク網かを識別することが困難となっている。
【0011】
上述のように、送信装置から受信装置までの通信経路を対象区間とした観測値からは、通信経路をさらに細分化した区間についての品質を得ることが出来ない、という問題がある。この問題を解決する公知の手段として、送信装置から受信装置までの通信経路上に観測地点を設ける方法がある。例えば図2に示すように、送信装置と受信装置とを接続する通信路であるネットワークA400とネットワークB500との間に観測装置を接続した場合、送信装置から受信装置へ(以下、下り方向と呼ぶ)送信されるパケットを、観測装置を用いて観測することで、送信装置と観測装置との間の下り方向のネットワーク品質を得ることが出来る。同様に、受信装置から送信装置へ(以下、上り方向と呼ぶ)送信されるパケットを、観測装置を用いて観測することで、受信装置と観測装置との間の上り方向のネットワーク品質を得ることが出来る。
【0012】
これにより、送信装置から受信装置までの通信経路を、さらに細分化した区間の品質を得ることが出来るが、前述の観測により得られたネットワークA400及びネットワークB500の品質値は、観測対象となる回線の方向が異なる。すなわち、ストリーム通信で配信される音声や映像を構成するストリームデータは、下り方向の回線を利用して送信装置から受信装置へ送られるが、前述の方法は全ての観測区間において下り方向を観測できていないため、ストリーム通信で配信される音声や映像を構成するストリームデータを実際に観測したことにはならない。このため、例えばADSLのように上り方向と下り方向とで帯域が異なる回線を使用した場合、上り方向と下り方向との回線でネットワークの品質値が異なる可能性があり、前述の方法ではストリーム通信に関する正確なネットワーク品質を観測することが出来ない、という問題がある。
【0013】
そこで本発明は、複数の異なるネットワークセグメントで構成されるネットワーク網を介して接続された送信装置と受信装置とを含むストリーム通信システムにおいて、送信装置と受信装置とを接続する通信経路を細分化した区間を観測対象とすると共に、送信装置と受信装置とを接続する通信経路が上り方向と下り方向とで回線の帯域が非対称又は対称であることに関係なく、ストリーム通信に関するネットワーク品質の正常性の判断を可能とすることを目的とする。
【0014】
【課題を解決するための手段】
本発明は、複数の異なるネットワークセグメントで構成されたネットワーク網を介して接続された送信装置と受信装置を含むストリーム通信システムにおいて、送信装置と受信装置とを接続する通信経路を構成するネットワークセグメントの間に接続され、送信装置と受信装置とを接続する通信経路におけるストリーム通信のネットワーク品質を観測する装置であって、送信端末と受信端末間における通信設定を通知する接続要求を取得し、前記接続要求に対してセション単位で一意となるセション識別子を割り振り、当該識別子に対応して前記通信設定を保持する接続要求取得処理手段と、前記通信設定に基づいて確立されている送信装置と受信装置とを接続する通信経路におけるストリーム通信のストリームデータを構成するパケットを受信するストリームデータ受信処理手段と、前記接続要求取得処理手段で保持された通信設定に基づいて、前記ストリームデータ受信処理手段を用いて受信した受信パケットに対して前記セション識別子を割り振り、前記受信パケットとセション識別子を対応付けて管理するセション識別処理手段と、前記受信パケットのパケット種別を識別するパケット種別識別処理手段と、前記パケット種別識別処理手段により前記受信パケットが受信装置から送信装置へ送信された受信状況メッセージであると判定された場合は、前記受信パケットから受信パケット中に含まれる送信装置と受信装置とを接続する通信経路におけるストリームの品質値を生成する第一の品質値生成処理手段と、前記受信パケット種別識別処理手段により前記受信パケットが送信装置から受信装置へ送信されたストリームデータであると判定された場合は、前記受信パケットから得られる情報をもとに送信装置と観測装置とを接続する通信経路におけるストリーム通信の品質値を生成する第二の品質値生成処理手段と、同一のセション識別子で対応付けされた前記第一及び第二の品質値生成処理手段を用いて生成した品質値から、観測装置と受信装置とを接続する通信経路におけるストリーム通信の品質値を生成する第三の品質値生成処理手段と、を備えることを特徴とする。
【0015】
【発明の実施の形態】
制御プロトコルとしてRTSP(Real Time Streaming Protocol;RFC2326)、ストリームデータ用プロトコルとしてRTP(Real-time Transport Protocol;RFC1889)を使用したストリーム通信システムを例に実施例を記述する。なお、制御プロトコルとしてH.323やSIP(Session Initiation Protocol)などの他のプロトコルを使用したり、ストリームデータプロトコルとしてRDT(Real Data Transport; RealNetworks社)などのプロトコルを使用してもよい。
【0016】
本発明の実施例1におけるシステム構成を図2に示す。実施例1の観測装置100は、送信装置200と受信装置300とを接続するネットワークA400とネットワークB500との間に接続され、制御プロトコルであるRTSPとストリームデータRTPと受信状況メッセージを含むRTCP(RTP Control Protocol)とを中継する中継装置として動作する。前記中継装置としては、RTSPプロキシが公知のものとして存在するため、中継装置としての動作の詳細な内容については省略する。
【0017】
図1にストリーム品質観測装置100の内部構成を示す。ストリーム品質観測装置100は、通信制御部150、ストリームデータ解析部130、受信状況メッセージ解析部140、ストリーム品質解析部120、表示制御部110、ストリーム管理データベース101を含んだ構成となる。
【0018】
ストリーム管理データベース101は、セション管理データベース102と各セションの受信パケットリスト103と品質データ104と規定値データ105,106の4種類のデータベースを含む。
【0019】
通信制御部150は、送信装置‐観測装置間及び観測装置‐受信装置間のコネクションを管理し、送信装置‐受信装置間でやり取りされるデータを中継するRTSPプロキシとしての機能を実現させるための図示しない中継処理手段を持つ。さらに通信制御部150は、セション管理データベース102に基づいて送信装置‐受信装置間のセションごとにデータの振り分けを行うセション識別部151と、パケット種別により受信パケットをストリームデータと受信状況メッセージとに振り分けを行うパケット種別識別部152を含む。前記中継処理手段は、公知のRTSPプロキシと同様の処理手順により実現される。
【0020】
ストリームデータ解析部130は、ストリームデータのフォーマットを解析し、ストリームデータより取得したシーケンス番号とタイムスタンプ及び受信時刻を、受信パケットリスト103に記録する。さらに、ストリームデータ解析部130は、受信パケットリスト103に記録した値より、ストリーム品質観測装置100で観測した受信パケットよりジッタ値J1、パケットロス率P1を生成する処理を含み、求めた値を品質データ104に記録する。
【0021】
受信状況メッセージ解析部140は、受信状況メッセージのフォーマットを解析し、受信状況メッセージに含まれている受信装置で観測されたパケットロス率P2及びジッタ値J2を取得する。さらに受信状況メッセージ解析部は、取得した品質値と通信制御部150にて取得したセションIDとを、品質管理データ104においてセションIDが一意となるように関連付けて記録する。
【0022】
ストリーム品質解析部120は、品質データ104に登録されている現在のJ1、J2、P1、P2の値から観測装置‐受信装置間のジッタ値J3、パケットロス率P3を求める処理と品質低下の原因個所を検出する処理を含む。
【0023】
表示制御部110は、セションID107-1、受信装置IPアドレス107-2、送信装置IPアドレス107-3、警告表示107-4より構成される表示データ107の内容を、表示装置を介して表示する。
【0024】
次に、記憶されている各種データについて図5乃至図11を用いて説明する。
【0025】
図5に示すセション管理データベースは、セションID102-1、受信装置IPアドレス102-2、送信装置IPアドレス102-3、受信状況メッセージ受信ポート102-4より構成される。
【0026】
図6に示す受信パケットリストは、受信時刻103-1、シーケンス番号103-2、タイムスタンプ103-3より構成される。
【0027】
図7に示す品質データは、セションID104-1、送信装置-中継装置間のパケットロス率(P1)104-5及びジッタ値(J1)104-6、送信装置-受信装置間のパケットロス率(P2)104-7及びジッタ値(J2)104-8、受信装置-観測装置間のパケットロス率(P3)104-9及びジッタ値(J3)104-10より構成される。
【0028】
図8及び図9に示す規定値データは、受信(送信)装置IPアドレス105-1(106-1)、パケットロス規定値105-2(106-2)、ジッタ規定値105-3(106-3)よりなる。
【0029】
図10に示す表示データは、セションID107-1、受信装置IPアドレス107-2、送信装置IPアドレス107-3、警告表示107-4より構成される。
【0030】
次に、図4に示すフローチャートを用いて、パケット受信時の処理の流れを説明する。
【0031】
まず観測装置100は、ストリーム通信を行う送信装置200から受信装置300へ送信されるストリームデータのパケットを、ネットワークA400を介して受信し(#401)、通信制御部150が実行される。実行された通信制御部150は、セション識別処理部151を用いてセション識別処理を受信パケットに対して行う(#402)。このセション識別処理#402では、受信装置のIPアドレスと送信装置のIPアドレス及び受信ポート番号を、受信パケットから取得し、取得した値とセション管理データベース102に記録されているデータとを照合することにより、セションを一意に識別するためのセションID102-1を得る(#402)。
【0032】
ここで用いられるセション管理データベース102の内容は、ストリーム通信を行う送信装置より送信されたRTSPのSETUP応答メッセージのパケットから取得した情報を用いて、前述のセション識別処理#402が実行される前に作成される。前述のRTSPのSETUP応答のメッセージは、ストリーム通信を行う受信装置から送信装置へ送信されるRTSPのSETUP要求に対する応答として、前述の送信装置から受信装置へ送信されるRTSPのパケットであり、この応答メッセージには受信装置で使用するストリームデータ(以下、RTPと呼称する場合がある)及び受信状況メッセージ(以下、RTCPと呼称する場合がある)のポート番号が記述されている。通信制御部150は、前述の応答メッセージより送信装置及び受信装置のIPアドレスとストリームデータ及び受信状況メッセージのポート番号を取得し、取得した値を受信装置のIPアドレス102-2、送信装置のIPアドレス102-3、ストリームデータ受信ポート102-4、受信状況メッセージ受信ポート102-5に各値の組み合わせが一意となるように関連付けて記録する。さらに通信制御部150は、前述の値の組み合わせをセション管理データベースにおいて一意に識別するための任意の値を、前述の値の組み合わせに関連付けてセションID102-1に記録することにより、セション管理データベース102を作成する。
【0033】
次に通信制御部150は、パケット種別識別処理部152を用いて、受信パケットのパケット種別を識別し、その種別に応じた解析処理を実行する(#403)。
【0034】
実行されたパケット種別識別処理部152は、受信パケットから受信装置及び送信装置のIPアドレスと受信ポート番号を取得し、取得した受信装置及び送信装置のIPアドレスの組み合わせに関連付けられているセション情報群を、セション管理データベースから取得する。前述のセション情報は、セション管理データベースに記録されている1レコードに相当し、セションID、受信装置及び送信装置のIPアドレス、ストリームデータ受信ポート、受信状況メッセージ受信ポートより構成される。次にパケット種別識別処理部152は、受信パケットから取得したポート番号を、取得したセション情報群のストリームデータ及び受信状況メッセージの受信ポートと照合し、ストリームデータ受信ポートと一致した場合は受信パケットの種別をストリームデータとして判定し、受信状況メッセージ受信ポートと一致した場合は受信パケットの種別を受信状況メッセージとして判定する。
【0035】
前述の識別処理において、パケット種別がストリームデータと判定された受信パケットは、ストリームデータ解析部130へ伝えられる(#403-1)。一方、パケット種別が受信状況メッセージと判定された受信パケットは、受信状況メッセージ解析部140へ伝えられる(#403-2)。
【0036】
ストリームデータ解析部130は、ストリームデータのフォーマット情報を備えており、フォーマット情報に基づいて、受信パケットからシーケンス番号とタイムスタンプ(送信装置からパケットが送信されたときの送信装置の時刻)を取得し、この取得処理実行時の観測装置の時刻(以下、受信時刻と呼ぶ)をシステム時刻から取得し、取得した各値を受信パケットリスト103の受信時刻103-1、シーケンス番号103-2、タイムスタンプ103-3に記録する。例えば図12に示すようにRTPのフォーマット情報700は、データの3〜4バイト目がシーケンス番号701、5〜8バイト目がタイムスタンプ702という形式になっており、受信パケットの3〜4バイト目及び5〜8バイト目より、シーケンス番号とタイムスタンプを取得することが出来る。
【0037】
次にストリームデータ解析部130は、受信パケットリスト103に記録した値から、パケットロス率P1、ジッタ値J1を求め、品質データ104のパケットロス率P1(104-5)、ジッタ値J1(104-6)に記録する(#405)。前述の処理は、あらかじめ設定する所定の時間間隔をもって繰返し実行される。
【0038】
パケットロス率P1の求め方は、受信パケットリスト103において、受信したパケット数Rとその受信したパケットのシーケンス番号103-2を参照し、スキップしている回数Sをカウントする。この回数Sをパケットロスの数とし、パケットロス率P1を次式で求める。
【0039】
【数1】

Figure 0003711981
ジッタ値J1は、タイムスタンプ103-3とRFC1889に記述されているアルゴリズムを使用して求める。
【0040】
受信状況メッセージ解析部140は、受信状況メッセージについてのフォーマット情報を備えており、フォーマット情報に基づいて、受信パケットからパケットロス率P2、ジッタ値J2を取得し(#406)、品質データ104の送信装置-受信装置間の品質値104-3のパケットロス率P2(104-7)及びジッタ値J2(104-8)に、前述のセションIDに対応付けて記録する(#407)。
【0041】
ストリーム品質解析部120は、品質データ104から、送信装置-観測装置間の品質値104-2のパケットロス率P1(104-5)及びジッタ値J1(104-6)と、送信装置-受信装置間の品質値104-3のパケットロス率P2(104-7)及びジッタ値J2(104-8)とを取得する。次にストリーム品質解析部120は、取得した送信装置-受信装置間の品質値104-3から、取得した送信装置-観測装置間の品質値104-2を減算することにより、受信装置-観測装置間の品質値104-4を生成し、パケットロス率P3(104-9)とジッタ値J3(104-10)に記録する(#408)。
【0042】
観測装置‐受信装置間のジッタ値J3及びパケットロス率P3は、次式を用いて求める。
【0043】
【数2】
Figure 0003711981
【0044】
【数3】
Figure 0003711981
次にストリーム品質解析部120は、品質データ104に記録されている各品質値について、正常性の判定処理を行う(#409)。この判定処理は、品質データ104に記録されている各品質値と規定値データ105,106とを比較することで行う。例えば、送信装置-観測装置間のジッタ値の判定処理は、品質データ104の送信装置-観測装置間のジッタ値J1(104-6)と、規定値データ(送信側)106のジッタ規定値106-3について、条件式[J1>ジッタ規定値]を評価し、評価結果が真となる場合は、送信装置-観測装置間のジッタ値J1(104-6)は異常であると判定し、評価結果が偽となる場合は正常と判定する(#409)。同様に、受信装置-観測装置間のジッタ値の判定処理は、品質データ104の受信装置-観測装置間のジッタ値J3(104-10)と規定値データ(受信側)105のジッタ規定値105-3について、条件式[J3>ジッタ規定値]を評価し、評価結果が真となる場合は、受信装置-観測装置間のジッタ値J3(104-10)は異常であると判定し、評価結果が偽となる場合は正常と判定する(#409)。パケットロス率についても同様に、各ネットワーク区間の品質値について、条件式[生成処理手段を用いて生成したパケットロス率>パケットロス規定率]を評価し、評価結果が真となる場合は異常と判定し、評価結果が偽となる場合は正常と判定する(#409)。
【0045】
前述の規定値データ105及び規定値データ106は、観測装置100を起動する前に設定されているものとし、ジッタ値及びパケットロス率と音声・映像ストリームの品質との関係を実験により調査して定めても良いし、又はプロバイダ事業者と利用者の間で交わされるサービス品質保証契約(SLA)で定めた値を用いても良い。
【0046】
次にストリーム品質解析部120は、前述のセションIDを用いてセション管理データベース102より得られる受信装置IPアドレス102-2及び送信装置IPアドレス102-3と、品質データ104に記録されているセションID104-1と、前述の判定結果とを用いて、表示データ107を作成し(#410)、表示制御部110を実行する。
【0047】
実行された表示制御部110は、ストリーム品質解析部120より通知された表示データ107を表示装置を介して表示する(#411)。
【0048】
本発明の実施例2におけるシステム構成を図3に示す。実施例2の観測装置100は、送信装置200と受信装置300とを接続するネットワークA400とネットワークB500との間に接続され、ハブ600のミラーリング機能を利用して、送信装置と受信装置間で送受信されるパケットのコピーを受信し、受信したパケットを観測する装置として機能する。
【0049】
本実施例2は、実施例1の観測装置で行っていた中継処理に相当する処理をハブ600で行うという点で実施例1と異なる以外は、実施例1と同じ構成となる。すなわち、ストリームデータ解析部130、受信状況メッセージ解析部140、ストリーム品質解析部120、表示制御部110については実施例1と同様となる。
【0050】
また以上で説明した実施例は、ストリーム通信の品質の正常性を判定する基準として、各品質値の種別毎(ジッタ値、パケットロス率)に1つの規定値を設けた例を示したが、品質が正常である状態から異常への遷移の判定に用いる第一の規定値と、異常である状態から正常への遷移の判定に用いる第二の規定値との2つの規定値を設けても良い。この場合、第一の規定値と第二の規定値とは次の関係式を満たすものとする。
【0051】
・第一の規定値 ≧ 第二の規定値
前記第一及び第二の規定値は、いずれか一方を設定することにより、他方の値を算出処理により導出しても良い。前記第一及び第二の規定値により、品質値が規定値近傍を推移する場合において、正常と異常とが短い間隔で交互に判定されることを避けることが可能となり、利用者の誤認を防ぐという効果を期待できる。
【0052】
【発明の効果】
本発明により、インターネット上のストリーム配信やVoIPなどのシステムにおいてユーザの音声・ビデオのストリーム品質が低下した時に、原因が送信装置側のネットワークか受信装置側のネットワークか識別できるようになる。
【0053】
以上の説明に関して更に以下の項を開示する。
【0054】
(付記1)複数の異なるネットワークセグメントで構成されたネットワーク網を介して接続された送信装置と受信装置を含むストリーム通信システムにおいて、送信装置と受信装置との通信経路を構成するネットワークセグメントの間に接続され、送信装置と受信装置とを接続する通信経路におけるストリーム通信のネットワーク品質を観測する装置であって、
送信装置と受信装置とを接続する通信経路におけるストリーム通信のストリームデータを構成するパケットを受信する受信処理手段と、
前記受信処理手段を用いて受信した受信パケットに対してセション単位で一意となるセション識別子を割り振り、前記受信パケットとセション識別子を対応付けて管理するセション識別処理手段と、
前記受信パケットのパケット種別を識別するパケット種別識別処理手段と、
前記パケット種別識別処理手段により前記受信パケットが受信装置から送信装置へ送信された受信状況メッセージであると判定された場合は、前記受信パケットから受信パケット中に含まれる送信装置と受信装置とを接続する通信経路におけるストリームの品質値を生成する第一の品質値生成処理手段と、
前記受信パケット種別識別処理手段により前記受信パケットが送信装置から受信装置へ送信されたストリームデータであると判定された場合は、前記受信パケットから得られる情報をもとに送信装置と観測装置とを接続する通信経路におけるストリーム通信の品質値を生成する第二の品質値生成処理手段と、
同一のセション識別子で対応付けされた前記第一及び第二の品質値生成処理手段を用いて生成した品質値から、観測装置と受信装置とを接続する通信経路におけるストリーム通信の品質値を生成する第三の品質値生成処理手段と、
を備えることを特徴とするストリーム品質観測装置。
【0055】
(付記2)送信装置と観測装置間及び観測装置と受信装置間におけるストリーム通信の品質値と、品質の判断基準とする目的であらかじめ設定された規定値と、を比較することによりストリーム通信の品質の正常性を判定する品質判定処理手段と、
を備えることを特徴とする付記1に記載のストリーム品質観測装置。
【0056】
(付記3)前記品質判定処理手段により判定された送信装置と観測装置間及び受信装置と観測装置間におけるストリーム通信の品質の結果をセション単位に表示する表示処理手段と、
を備えることを特徴とする付記2に記載のストリーム品質観測装置。
【0057】
(付記4)複数の異なるネットワークセグメントで構成されたネットワーク網を介して接続された送信装置と受信装置を含むストリーム通信システムにおいて、送信装置と受信装置とを接続する通信経路を構成するネットワークセグメントの間に接続され、送信装置と受信装置とを接続する通信経路におけるストリーム通信のネットワーク品質を観測する装置としてコンピュータを機能させるプログラムであって、
送信装置と受信装置とを接続する通信経路におけるストリーム通信のストリームデータを構成するパケットを受信する処理と、
前記受信処理で受信した受信パケットに対してセション単位で一意となるセション識別子を割り振り、前記受信パケットとセション識別子を対応付けて管理する処理と、
前記受信パケットのパケット種別を識別する処理と、
前記パケット種別識別処理により前記受信パケットが受信装置から送信装置へ送信された受信状況メッセージであると判定された場合は、前記受信パケットから得られる情報をもとに送信装置と受信装置とを接続する通信経路におけるストリーム通信の品質値を生成する第一の品質値生成処理と、
前記受信パケット種別識別処理により前記受信パケットが送信装置から受信装置へ送信されたストリームデータであると判定された場合は、前記受信パケットから得られる情報をもとに送信装置と観測装置とを接続する通信経路におけるストリーム通信の品質値を生成する第二の品質値生成処理と、
同一のセション識別子で対応付けされた前記第一及び第二の品質値生成処理で生成した品質値から、観測装置と受信装置とを接続する通信経路におけるストリーム通信の品質値を生成する第三の品質値生成処理と、
をコンピュータに行わせることを特徴とするプログラム。
【0058】
(付記5)送信装置と観測装置間及び観測装置と受信装置間におけるストリーム通信の品質値と、品質の判断基準とする目的であらかじめ設定された規定値と、を比較することによりストリーム通信の品質の正常性を判定する品質判定処理、
をコンピュータに行わせることを特徴とする付記4に記載のプログラム。
【0059】
(付記6) 前記品質判定処理により判定された送信装置と観測装置間及び観測装置と受信装置間におけるストリーム通信の品質の結果をセション単位に表示する処理、
をコンピュータに行わせることを特徴とする付記5に記載のプログラム。
【0060】
(付記7)複数の異なるネットワークセグメントで構成されたネットワーク網を介して接続された送信装置と受信装置を含むストリーム通信システムにおいて、送信装置と受信装置とを接続する通信経路を構成するネットワークセグメントの間に接続され、送信装置と受信装置とを接続する通信経路におけるストリーム通信のネットワーク品質を観測する装置としてコンピュータを機能させるプログラムを記録したコンピュータ可読の記録媒体であって、
送信装置と受信装置とを接続する通信経路におけるストリーム通信のストリームデータを構成するパケットを受信する処理と
前記受信処理で受信した受信パケットに対してセション単位で一意となるセション識別子を割り振り、前記受信パケットとセション識別子を対応付けて管理する処理と、
前記受信パケットのパケット種別を識別する処理と、
前記パケット種別識別処理により前記受信パケットが受信装置から送信装置へ送信された受信状況メッセージであると判定された場合は、前記受信パケットから受信パケット中に含まれる送信装置と受信装置とを接続する通信経路におけるストリーム通信の品質値を生成する第一の品質値生成処理と、
前記受信パケット種別識別処理により前記受信パケットが送信装置から受信装置へ送信されたストリームデータであると判定された場合は、前記受信パケットから得られる情報をもとに送信装置と観測装置とを接続する通信経路におけるストリーム通信の品質値を生成する第二の品質値生成処理と、
同一のセション識別子で対応付けされた前記第一及び第二の品質値生成処理で生成した品質値から、観測装置と受信装置とを接続する通信経路におけるストリーム通信の品質値を生成する第三の品質値生成処理と、
をコンピュータに行わせることを特徴とするプログラムを記録したコンピュータ可読の記録媒体。
【0061】
(付記8)送信装置と観測装置間及び観測装置と受信装置間におけるストリーム通信の品質値と、品質の判断基準とする目的であらかじめ設定された規定値と、を比較することによりストリーム通信の品質の正常性を判定する品質判定処理、
をコンピュータに行わせることを特徴とする付記7に記載のプログラムを記録したコンピュータ可読の記録媒体。
【0062】
(付記9) 前記品質判定処理により判定された送信装置と観測装置間及び観測装置と受信装置間におけるストリーム通信の品質の結果をセション単位に表示する処理、
をコンピュータに行わせることを特徴とする付記8に記載のプログラムを記録したコンピュータ可読の記録媒体。
【図面の簡単な説明】
【図1】観測装置の構成を示す図
【図2】実施例1のシステム構成を示す図
【図3】実施例2のシステム構成を示す図
【図4】パケット受信時の処理の内容を示すフローチャート図
【図5】実施例1のセション管理データベースの内容を示す図
【図6】受信パケットリストの内容を示す図
【図7】品質データの内容を示す図
【図8】規定値データ(受信側)の内容を示す図
【図9】規定値データ(送信側)の内容を示す図
【図10】表示データの内容を示す図
【図11】実施例2のセション管理データベースの内容を示す図
【図12】RTPのデータ形式(ストリームデータ)を示す図[0001]
[Technical field to which the invention belongs]
The present invention relates to a technique for identifying a network location that causes a drop in the quality of audio / video streams in systems such as stream distribution on the Internet and VoIP.
[0002]
[Prior art]
In recent years, with the trend toward broadband networks, audio and video stream distribution services and Internet telephone services have become widespread. A communication path that connects such a service provider (hereinafter referred to as a service provider) and a user thereof is often a network composed of a plurality of network segments as shown in FIG. . The network segment referred to here may be a broadcast domain that is a network range that can be reached by a broadcast request that is a unit constituting a LAN, or may be a WAN that constitutes an organization's intranet. It is a range that is divided into different areas. The transmission device shown in FIG. 2 corresponds to a service provider, and the reception device corresponds to a user. The network configured by the plurality of network segments corresponds to the network configured by the network A 400 and the network B 500 shown in FIG. In such a connection form, when an event such as interruption of audio or video delivered by stream communication occurs, it is necessary to identify a location that causes a decrease in network quality of stream communication. . In particular, the service provider needs to identify whether the problem location is in the network network that the service provider has jurisdiction over or in the network network that the external telecommunications carrier has jurisdiction, and must respond immediately.
[0003]
Conventional techniques for identifying problem areas from network service quality observation results include observing network service quality (bit error rate, packet loss rate, data jitter, delay variation, etc.), and network quality is inferior to the standard. If it becomes like that, there exists a communication controller which has the function to switch to another path | route (refer patent document 1). The switching of the route here is performed automatically by observing the service quality of each route to identify a portion where the network quality has deteriorated and automatically.
[0004]
In addition, service quality, cell discard, cell loss, and other network quality values are collected from multiple network elements to detect degradation of service quality for specific nodes and specific links. There is a data monitoring device that can be used (see Patent Document 2).
[0005]
In addition, as a conventional technique for observing network service quality, a ping command is periodically issued from the transmitting device to the receiving device to determine the packet loss and jitter between the transmitting device and the receiving device, and whether there is a ping response. In addition, a technique of obtaining a packet loss rate and a jitter value representing network quality depending on the response time and response time has become widespread.
[0006]
[Patent Document 1]
Japanese Patent Laid-Open No. 11-27327
[0007]
[Patent Document 2]
JP-A-10-233773
[0008]
[Problems to be solved by the invention]
In the conventional methods disclosed in Patent Documents 1 and 2 described above, all packets flowing on the network are to be observed, and packets other than stream communication may be included in the observation target. There is a problem that the relationship with network quality is unclear. In other words, when the packet loss rate, which is one of the values that represent network quality, is obtained by observing all packets flowing on the network, the packet loss rate can be a value that includes the loss of packets other than stream communication. There is sex. However, since the ratio of stream communication packets to lost packets cannot be specified, the actual network quality of stream communication cannot be determined from the packet loss rate obtained for all packets.
[0009]
As a technique for solving this problem, a technique has been established in which a packet loss rate and a jitter value representing network quality of stream communication are observed by a receiving apparatus that performs stream communication and notified to a transmitting apparatus that performs stream communication.
[0010]
However, according to the network quality of the stream communication obtained from this, when the network network connecting the transmission device and the reception device is composed of a plurality of network segments, the communication network connecting the transmission device and the reception device is Furthermore, it is impossible to obtain the quality of subdivided sections. For this reason, service providers that distribute audio and video streams are likely to experience a drop in the quality of stream communications within their own network or through a network managed by an external carrier. It has become difficult to identify.
[0011]
As described above, there is a problem that the quality of a section obtained by further subdividing the communication path cannot be obtained from the observation value in which the communication path from the transmitting apparatus to the receiving apparatus is the target section. As a known means for solving this problem, there is a method of providing an observation point on a communication path from a transmission device to a reception device. For example, as shown in FIG. 2, when an observation apparatus is connected between a network A 400 and a network B 500, which are communication paths connecting the transmission apparatus and the reception apparatus, the transmission apparatus is connected to the reception apparatus (hereinafter referred to as the downlink direction). ) By observing the transmitted packet using the observation device, it is possible to obtain the network quality in the downlink direction between the transmission device and the observation device. Similarly, an upstream network quality between the receiving device and the observation device is obtained by observing a packet transmitted from the receiving device to the transmission device (hereinafter referred to as the uplink direction) using the observation device. I can do it.
[0012]
As a result, the quality of the section obtained by further subdividing the communication path from the transmission device to the reception device can be obtained. However, the quality values of the network A400 and the network B500 obtained by the above-described observation are the lines to be observed. The direction of is different. In other words, stream data constituting audio and video distributed by stream communication is sent from the transmission device to the reception device using the downlink line, but the above method can observe the downlink direction in all observation sections. Therefore, it does not mean that the stream data constituting the audio and video distributed by the stream communication is actually observed. For this reason, for example, when using a line with different bandwidths in the upstream and downstream directions such as ADSL, the network quality value may be different between the upstream and downstream lines. There is a problem that accurate network quality cannot be observed.
[0013]
Therefore, the present invention subdivides a communication path for connecting a transmission device and a reception device in a stream communication system including a transmission device and a reception device connected via a network composed of a plurality of different network segments. Regardless of whether the communication path connecting the transmission device and the reception device is the uplink direction or the downlink direction and the bandwidth of the line is asymmetric or symmetric, the normality of the network quality related to stream communication The purpose is to enable judgment.
[0014]
[Means for Solving the Problems]
The present invention relates to a stream communication system including a transmission device and a reception device connected via a network constituted by a plurality of different network segments, and a network segment constituting a communication path connecting the transmission device and the reception device. An apparatus for observing network quality of stream communication in a communication path that is connected between a transmission apparatus and a reception apparatus, A connection request for notifying a communication setting between a transmitting terminal and a receiving terminal is acquired, a session identifier that is unique for each session is allocated to the connection request, and a connection request is acquired to hold the communication setting corresponding to the identifier Established based on processing means and the communication settings Receives a packet that constitutes stream data of stream communication in a communication path connecting the transmission device and the reception device. Stream data A reception processing means; Based on the communication settings held by the connection request acquisition processing means, the stream data reception processing means For received packets received using Said Session identification processing means for allocating a session identifier and managing the received packet in association with the session identifier, packet type identification processing means for identifying the packet type of the received packet, and the packet type identification processing means If it is determined that the message is a reception status message transmitted from the receiving device to the transmitting device, a quality value of a stream in a communication path connecting the transmitting device and the receiving device included in the received packet is generated from the received packet. When the first quality value generation processing unit and the received packet type identification processing unit determine that the received packet is stream data transmitted from the transmitting device to the receiving device, information obtained from the received packet is obtained. The stream in the communication path connecting the transmitter and the observation device From the quality value generated using the second quality value generation processing means for generating the quality value of the communication and the first and second quality value generation processing means associated with the same session identifier, And third quality value generation processing means for generating a quality value of stream communication in a communication path connecting the receiver and the receiving device.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
An embodiment will be described by taking a stream communication system using RTSP (Real Time Streaming Protocol; RFC2326) as a control protocol and RTP (Real-time Transport Protocol; RFC1889) as a stream data protocol as an example. Note that other protocols such as H.323 and SIP (Session Initiation Protocol) may be used as the control protocol, and protocols such as RDT (Real Data Transport; RealNetworks) may be used as the stream data protocol.
[0016]
FIG. 2 shows a system configuration according to the first embodiment of the present invention. An observation apparatus 100 according to the first embodiment is connected between a network A 400 and a network B 500 that connect a transmission apparatus 200 and a reception apparatus 300, and includes an RTCP (RTP) including a control protocol RTSP, stream data RTP, and a reception status message. It operates as a relay device that relays (Control Protocol). As the relay device, an RTSP proxy exists as a publicly known device, and thus the detailed contents of the operation as the relay device are omitted.
[0017]
FIG. 1 shows an internal configuration of the stream quality observation apparatus 100. The stream quality observation apparatus 100 includes a communication control unit 150, a stream data analysis unit 130, a reception status message analysis unit 140, a stream quality analysis unit 120, a display control unit 110, and a stream management database 101.
[0018]
The stream management database 101 includes four types of databases: a session management database 102, a received packet list 103 for each session, quality data 104, and specified value data 105 and 106.
[0019]
The communication control unit 150 manages connections between the transmission device and the observation device and between the observation device and the reception device, and realizes a function as an RTSP proxy that relays data exchanged between the transmission device and the reception device. Has no relay processing means. Further, the communication control unit 150 distributes the received packets into stream data and reception status messages according to the packet type, and a session identification unit 151 that distributes data for each session between the transmission device and the reception device based on the session management database 102 A packet type identifying unit 152 for performing The relay processing means is realized by a processing procedure similar to that of a known RTSP proxy.
[0020]
The stream data analysis unit 130 analyzes the format of the stream data, and records the sequence number, time stamp, and reception time acquired from the stream data in the reception packet list 103. Further, the stream data analysis unit 130 includes processing for generating a jitter value J1 and a packet loss rate P1 from the received packet observed by the stream quality observation device 100 from the value recorded in the received packet list 103, Record in data 104.
[0021]
The reception status message analysis unit 140 analyzes the format of the reception status message, and acquires the packet loss rate P2 and the jitter value J2 observed by the receiving device included in the reception status message. Further, the reception status message analysis unit records the acquired quality value and the session ID acquired by the communication control unit 150 in association with each other in the quality management data 104 so that the session ID is unique.
[0022]
The stream quality analysis unit 120 calculates the jitter value J3 between the observation device and the reception device and the packet loss rate P3 from the current values of J1, J2, P1, and P2 registered in the quality data 104, and causes of quality degradation. Includes processing to detect the location.
[0023]
The display control unit 110 displays the contents of the display data 107 including the session ID 107-1, the receiving device IP address 107-2, the transmitting device IP address 107-3, and the warning display 107-4 via the display device. .
[0024]
Next, various stored data will be described with reference to FIGS.
[0025]
The session management database shown in FIG. 5 includes a session ID 102-1, a reception device IP address 102-2, a transmission device IP address 102-3, and a reception status message reception port 102-4.
[0026]
The received packet list shown in FIG. 6 includes a reception time 103-1, a sequence number 103-2, and a time stamp 103-3.
[0027]
The quality data shown in FIG. 7 includes the session ID 104-1, the packet loss rate (P1) 104-5 between the transmission device and the relay device, the jitter value (J1) 104-6, and the packet loss rate between the transmission device and the reception device ( P2) 104-7, a jitter value (J2) 104-8, a packet loss rate (P3) 104-9 between the receiving device and the observation device, and a jitter value (J3) 104-10.
[0028]
The specified value data shown in FIGS. 8 and 9 includes the receiving (transmitting) device IP address 105-1 (106-1), the packet loss specified value 105-2 (106-2), and the jitter specified value 105-3 (106-). 3).
[0029]
The display data shown in FIG. 10 includes a session ID 107-1, a receiving device IP address 107-2, a transmitting device IP address 107-3, and a warning display 107-4.
[0030]
Next, the flow of processing at the time of packet reception will be described using the flowchart shown in FIG.
[0031]
First, the observation apparatus 100 receives a stream data packet transmitted from the transmission apparatus 200 that performs stream communication to the reception apparatus 300 via the network A 400 (# 401), and the communication control unit 150 is executed. The executed communication control unit 150 uses the session identification processing unit 151 to perform session identification processing on the received packet (# 402). In this session identification process # 402, the IP address of the receiving device, the IP address of the transmitting device, and the receiving port number are acquired from the received packet, and the acquired value is collated with the data recorded in the session management database 102. Thus, a session ID 102-1 for uniquely identifying the session is obtained (# 402).
[0032]
The content of the session management database 102 used here is the information acquired from the RTSP SETUP response message packet transmitted from the transmission apparatus that performs stream communication, before the above-described session identification process # 402 is executed. Created. The RTSP SETUP response message is an RTSP packet transmitted from the transmitting device to the receiving device as a response to the RTSP SETUP request transmitted from the receiving device that performs stream communication to the transmitting device. The message describes the port number of stream data (hereinafter referred to as RTP) used by the receiving apparatus and a reception status message (hereinafter also referred to as RTCP). The communication control unit 150 acquires the IP addresses of the transmission device and the reception device, the stream data, and the port number of the reception status message from the response message described above, and uses the acquired values as the IP address 102-2 of the reception device and the IP address of the transmission device. The values 102-3, the stream data reception port 102-4, and the reception status message reception port 102-5 are recorded in association with each other so that each value combination is unique. Further, the communication control unit 150 records an arbitrary value for uniquely identifying the combination of the values in the session management database in the session ID 102-1 in association with the combination of the values, so that the session management database 102 Create
[0033]
Next, the communication control unit 150 identifies the packet type of the received packet using the packet type identification processing unit 152, and executes analysis processing according to the type (# 403).
[0034]
The executed packet type identification processing unit 152 acquires the IP address and the receiving port number of the receiving device and the transmitting device from the received packet, and the session information group associated with the acquired combination of the receiving device and the IP address of the transmitting device. Is acquired from the session management database. The session information described above corresponds to one record recorded in the session management database, and includes a session ID, an IP address of the reception device and the transmission device, a stream data reception port, and a reception status message reception port. Next, the packet type identification processing unit 152 collates the port number acquired from the received packet with the received stream data of the acquired session information group and the reception port of the reception status message. The type is determined as stream data, and when it matches the reception status message reception port, the type of the received packet is determined as the reception status message.
[0035]
In the above identification processing, the received packet whose packet type is determined to be stream data is transmitted to the stream data analysis unit 130 (# 403-1). On the other hand, the received packet whose packet type is determined to be the reception status message is transmitted to the reception status message analysis unit 140 (# 403-2).
[0036]
The stream data analysis unit 130 includes format information of stream data, and acquires a sequence number and a time stamp (time of the transmission device when the packet is transmitted from the transmission device) from the received packet based on the format information. The time of the observation device at the time of execution of the acquisition process (hereinafter referred to as reception time) is acquired from the system time, and the acquired values are received time 103-1, sequence number 103-2, time stamp of the received packet list 103. Record in 103-3. For example, as shown in FIG. 12, RTP format information 700 has a format in which the third to fourth bytes of the data are in the format of sequence number 701 and the fifth to eighth bytes are in time stamp 702, and the third to fourth bytes of the received packet. And the sequence number and time stamp can be obtained from the 5th to 8th bytes.
[0037]
Next, the stream data analysis unit 130 obtains the packet loss rate P1 and the jitter value J1 from the values recorded in the received packet list 103, and obtains the packet loss rate P1 (104-5) and jitter value J1 (104- Record in 6) (# 405). The above-described processing is repeatedly executed at a predetermined time interval set in advance.
[0038]
The method of obtaining the packet loss rate P1 refers to the number R of received packets and the sequence number 103-2 of the received packet in the received packet list 103, and counts the number of skipped times S. The number of times S is the number of packet losses, and the packet loss rate P1 is obtained by the following equation.
[0039]
[Expression 1]
Figure 0003711981
The jitter value J1 is obtained using an algorithm described in the time stamp 103-3 and RFC1889.
[0040]
The reception status message analysis unit 140 includes format information about the reception status message, acquires the packet loss rate P2 and the jitter value J2 from the received packet based on the format information (# 406), and transmits the quality data 104. The packet loss rate P2 (104-7) and jitter value J2 (104-8) of the quality value 104-3 between the device and the receiving device are recorded in association with the session ID (# 407).
[0041]
The stream quality analysis unit 120, from the quality data 104, the packet loss rate P1 (104-5) and jitter value J1 (104-6) of the quality value 104-2 between the transmission device and the observation device, and the transmission device-reception device The packet loss rate P2 (104-7) and the jitter value J2 (104-8) of the quality value 104-3 are acquired. Next, the stream quality analysis unit 120 subtracts the acquired transmission device-observation device quality value 104-2 from the acquired transmission device-reception device quality value 104-3, thereby obtaining the reception device-observation device. A quality value 104-4 is generated and recorded in the packet loss rate P3 (104-9) and the jitter value J3 (104-10) (# 408).
[0042]
The jitter value J3 and the packet loss rate P3 between the observation device and the reception device are obtained using the following equations.
[0043]
[Expression 2]
Figure 0003711981
[0044]
[Equation 3]
Figure 0003711981
Next, the stream quality analysis unit 120 performs normality determination processing for each quality value recorded in the quality data 104 (# 409). This determination process is performed by comparing each quality value recorded in the quality data 104 with the specified value data 105 and 106. For example, the determination process of the jitter value between the transmission device and the observation device includes the jitter value J1 (104-6) between the transmission device and the observation device of the quality data 104 and the jitter specification value 106 of the specified value data (transmission side) 106. -3, the conditional expression [J1> specified jitter value] is evaluated. If the evaluation result is true, the jitter value J1 (104-6) between the transmitter and the observation device is determined to be abnormal and evaluated. If the result is false, it is determined as normal (# 409). Similarly, the determination processing of the jitter value between the receiving device and the observation device is performed by the jitter value J3 (104-10) between the receiving device and the observation device of the quality data 104 and the jitter specified value 105 of the specified value data (receiving side) 105. -3, evaluate the conditional expression [J3> specified jitter value]. If the evaluation result is true, determine that the jitter value J3 (104-10) between the receiver and the observation device is abnormal and evaluate If the result is false, it is determined as normal (# 409). Similarly, for the packet loss rate, evaluate the conditional expression [packet loss rate generated using the generation processing means> packet loss specified rate] for the quality value of each network section, and if the evaluation result is true, it is considered abnormal. If the evaluation result is false, it is determined as normal (# 409).
[0045]
The above-mentioned specified value data 105 and specified value data 106 are assumed to be set before starting the observation device 100, and the relationship between the jitter value and the packet loss rate and the quality of the audio / video stream is investigated by experiment. It may be determined, or a value determined by a service quality assurance agreement (SLA) exchanged between the provider operator and the user may be used.
[0046]
Next, the stream quality analysis unit 120 uses the above-described session ID to obtain the reception device IP address 102-2 and the transmission device IP address 102-3 obtained from the session management database 102, and the session ID 104 recorded in the quality data 104. -1 and the above-described determination result are used to create display data 107 (# 410), and display control unit 110 is executed.
[0047]
The executed display control unit 110 displays the display data 107 notified from the stream quality analysis unit 120 via the display device (# 411).
[0048]
FIG. 3 shows a system configuration according to the second embodiment of the present invention. The observation apparatus 100 according to the second embodiment is connected between a network A 400 and a network B 500 that connect the transmission apparatus 200 and the reception apparatus 300, and transmits and receives between the transmission apparatus and the reception apparatus using the mirroring function of the hub 600. Functions as a device that receives a copy of the received packet and observes the received packet.
[0049]
The second embodiment has the same configuration as that of the first embodiment except that the hub 600 performs a process corresponding to the relay process performed by the observation apparatus of the first embodiment. That is, the stream data analysis unit 130, the reception status message analysis unit 140, the stream quality analysis unit 120, and the display control unit 110 are the same as those in the first embodiment.
[0050]
Moreover, although the Example demonstrated above showed the example which provided one prescription | regulation value for every kind (jitter value, packet loss rate) of each quality value as a reference | standard which determines the normality of the quality of stream communication, Even if there are two specified values, the first specified value used to determine the transition from the normal state to the abnormal state and the second specified value used to determine the transition from the abnormal state to the normal state good. In this case, the first specified value and the second specified value satisfy the following relational expression.
[0051]
・ First specified value ≧ Second specified value
One of the first and second prescribed values may be set, and the other value may be derived by calculation processing. According to the first and second specified values, it is possible to avoid that normal and abnormal are alternately determined at short intervals when the quality value changes in the vicinity of the specified value, thereby preventing misidentification of the user. Can be expected.
[0052]
【The invention's effect】
According to the present invention, when a user's audio / video stream quality deteriorates in a system such as stream distribution on the Internet or VoIP, it is possible to identify whether the cause is a network on the transmission apparatus side or a network on the reception apparatus side.
[0053]
The following items are further disclosed with respect to the above description.
[0054]
(Supplementary note 1) In a stream communication system including a transmission device and a reception device connected via a network composed of a plurality of different network segments, between the network segments constituting the communication path between the transmission device and the reception device An apparatus for observing network quality of stream communication in a communication path that is connected and connects a transmission apparatus and a reception apparatus,
A reception processing means for receiving a packet constituting stream data of stream communication in a communication path connecting the transmission device and the reception device;
Session identification processing means for allocating a session identifier that is unique for each session to the received packet received using the reception processing means, and managing the received packet in association with the session identifier;
Packet type identification processing means for identifying the packet type of the received packet;
When the packet type identification processing unit determines that the received packet is a reception status message transmitted from the receiving device to the transmitting device, the transmitting device included in the received packet from the received packet is connected to the receiving device. First quality value generation processing means for generating a quality value of a stream in a communication path to be performed;
If it is determined by the received packet type identification processing means that the received packet is stream data transmitted from the transmitting device to the receiving device, the transmitting device and the observing device are connected based on information obtained from the received packet. Second quality value generation processing means for generating a quality value of stream communication in the communication path to be connected;
A quality value of stream communication in a communication path connecting the observation device and the reception device is generated from the quality value generated using the first and second quality value generation processing means associated with the same session identifier. A third quality value generation processing means;
A stream quality observation device comprising:
[0055]
(Supplementary Note 2) The quality of stream communication by comparing the quality value of stream communication between the transmission device and the observation device and between the observation device and the reception device with a predetermined value set in advance for the purpose of determining quality. Quality judgment processing means for judging the normality of
The stream quality observation device according to attachment 1, further comprising:
[0056]
(Supplementary Note 3) Display processing means for displaying the result of the quality of stream communication between the transmission apparatus and the observation apparatus and between the reception apparatus and the observation apparatus determined by the quality determination processing means in session units;
The stream quality observation device according to appendix 2, characterized by comprising:
[0057]
(Supplementary Note 4) In a stream communication system including a transmission device and a reception device connected via a network constituted by a plurality of different network segments, a network segment constituting a communication path connecting the transmission device and the reception device A program that causes a computer to function as an apparatus that observes network quality of stream communication in a communication path that is connected in between and connects a transmission apparatus and a reception apparatus,
A process of receiving a packet constituting stream data of stream communication in a communication path connecting the transmission device and the reception device;
A process of allocating a session identifier that is unique for each session to the received packet received in the reception process, and managing the received packet and the session identifier in association with each other;
Processing for identifying the packet type of the received packet;
When it is determined by the packet type identification process that the received packet is a reception status message transmitted from the receiving device to the transmitting device, the transmitting device and the receiving device are connected based on information obtained from the received packet. A first quality value generation process for generating a quality value of stream communication in a communication path to be performed;
When the received packet type identification process determines that the received packet is stream data transmitted from the transmitting device to the receiving device, the transmitting device and the observation device are connected based on information obtained from the received packet. Second quality value generation processing for generating a quality value of stream communication in the communication path to be performed;
A third value for generating a quality value of stream communication in a communication path connecting the observation device and the receiving device, from the quality value generated in the first and second quality value generation processing associated with the same session identifier. Quality value generation processing,
A program characterized by causing a computer to execute.
[0058]
(Supplementary note 5) The quality of stream communication by comparing the quality value of stream communication between the transmission device and the observation device and between the observation device and the reception device with a predetermined value set in advance for the purpose of determining quality. Quality judgment processing to judge the normality of
The program according to appendix 4, wherein the program is executed by a computer.
[0059]
(Additional remark 6) The process which displays the result of the quality of the stream communication between the transmission apparatus determined by the said quality determination process between observation apparatuses and between an observation apparatus and a receiving apparatus in a session unit,
The program according to appendix 5, wherein the program is executed by a computer.
[0060]
(Supplementary note 7) In a stream communication system including a transmission device and a reception device connected via a network composed of a plurality of different network segments, a network segment constituting a communication path connecting the transmission device and the reception device A computer-readable recording medium that records a program that causes a computer to function as an apparatus for observing network quality of stream communication in a communication path that connects between a transmission apparatus and a reception apparatus,
Processing for receiving a packet constituting stream data of stream communication in a communication path connecting the transmission device and the reception device
A process of allocating a session identifier that is unique for each session to the received packet received in the reception process, and managing the received packet and the session identifier in association with each other;
Processing for identifying the packet type of the received packet;
If the packet type identification process determines that the received packet is a reception status message transmitted from the receiving device to the transmitting device, the transmitting device included in the received packet from the received packet is connected to the receiving device. A first quality value generation process for generating a quality value of stream communication in the communication path;
When the received packet type identification process determines that the received packet is stream data transmitted from the transmitting device to the receiving device, the transmitting device and the observation device are connected based on information obtained from the received packet. Second quality value generation processing for generating a quality value of stream communication in the communication path to be performed;
A third value for generating a quality value of stream communication in a communication path connecting the observation device and the receiving device, from the quality value generated in the first and second quality value generation processing associated with the same session identifier. Quality value generation processing,
A computer-readable recording medium having recorded thereon a program characterized by causing a computer to perform the above.
[0061]
(Supplementary note 8) The quality of stream communication by comparing the quality value of stream communication between the transmission device and the observation device and between the observation device and the reception device with a predetermined value set in advance for the purpose of determining quality. Quality judgment processing to judge the normality of
The computer-readable recording medium which recorded the program of Claim 7 characterized by making a computer perform.
[0062]
(Additional remark 9) The process which displays the result of the quality of the stream communication between the transmission apparatus determined by the said quality determination process between an observation apparatus and between an observation apparatus and a reception apparatus in a session unit,
A computer-readable recording medium on which the program according to appendix 8 is recorded.
[Brief description of the drawings]
FIG. 1 is a diagram showing the configuration of an observation apparatus
FIG. 2 is a diagram illustrating a system configuration according to the first embodiment.
FIG. 3 is a diagram showing a system configuration of a second embodiment.
FIG. 4 is a flowchart showing the contents of processing when a packet is received.
FIG. 5 is a view showing the contents of a session management database according to the first embodiment.
FIG. 6 is a diagram showing the contents of a received packet list
FIG. 7 is a diagram showing the contents of quality data
FIG. 8 is a diagram showing the contents of specified value data (receiving side)
FIG. 9 is a diagram showing the contents of specified value data (transmission side)
FIG. 10 is a diagram showing the contents of display data
FIG. 11 is a diagram showing the contents of a session management database according to the second embodiment.
FIG. 12 is a diagram showing an RTP data format (stream data)

Claims (4)

複数の異なるネットワークセグメントで構成されたネットワーク網を介して接続された送信装置と受信装置を含むストリーム通信システムにおいて、送信装置と受信装置とを接続する通信経路を構成するネットワークセグメントの間に接続され、送信装置と受信装置とを接続する通信経路におけるストリーム通信のネットワーク品質を観測する装置であって、
送信端末と受信端末間における通信設定を通知する接続要求を取得し、前記接続要求に対してセション単位で一意となるセション識別子を割り振り、当該識別子に対応して前記通信設定を保持する接続要求取得処理手段と、
前記通信設定に基づいて確立されている送信装置と受信装置とを接続する通信経路におけるストリーム通信のストリームデータを構成するパケットを受信するストリームデータ受信処理手段と、
前記接続要求取得処理手段で保持された通信設定に基づいて、前記ストリームデータ受信処理手段を用いて受信した受信パケットに対して前記セション識別子を割り振り、前記受信パケットとセション識別子を対応付けて管理するセション識別処理手段と、
前記受信パケットのパケット種別を識別するパケット種別識別処理手段と、
前記パケット種別識別処理手段により前記受信パケットが受信装置から送信装置へ送信された受信状況メッセージであると判定された場合は、前記受信パケットから受信パケット中に含まれる送信装置と受信装置とを接続する通信経路におけるストリームの品質値を生成する第一の品質値生成処理手段と、
前記受信パケット種別識別処理手段により前記受信パケットが送信装置から受信装置へ送信されたストリームデータであると判定された場合は、前記受信パケットから得られる情報をもとに送信装置と観測装置とを接続する通信経路におけるストリーム通信の品質値を生成する第二の品質値生成処理手段と、
同一のセション識別子で対応付けされた前記第一及び第二の品質値生成処理手段を用いて生成した品質値から、観測装置と受信装置とを接続する通信経路におけるストリーム通信の品質値を生成する第三の品質値生成処理手段と、
を備えることを特徴とするストリーム品質観測装置。
In a stream communication system including a transmission device and a reception device connected via a network composed of a plurality of different network segments, it is connected between network segments that constitute a communication path connecting the transmission device and the reception device. An apparatus for observing the network quality of stream communication in a communication path connecting a transmitting apparatus and a receiving apparatus,
A connection request for notifying a communication setting between a transmitting terminal and a receiving terminal is acquired, a session identifier that is unique for each session is allocated to the connection request, and a connection request is acquired to hold the communication setting corresponding to the identifier Processing means;
Stream data reception processing means for receiving a packet constituting stream data of stream communication in a communication path connecting a transmission apparatus and a reception apparatus established based on the communication setting ;
Based on the connection request acquisition processing means held communication set, allocating the session identifier to the received packet received using the stream data reception processing unit, correspondingly manages the received packet and session identifier Session identification processing means;
Packet type identification processing means for identifying the packet type of the received packet;
When the packet type identification processing unit determines that the received packet is a reception status message transmitted from the receiving device to the transmitting device, the transmitting device included in the received packet from the received packet is connected to the receiving device. First quality value generation processing means for generating a quality value of a stream in a communication path to be performed;
If it is determined by the received packet type identification processing means that the received packet is stream data transmitted from the transmitting device to the receiving device, the transmitting device and the observing device are connected based on information obtained from the received packet. Second quality value generation processing means for generating a quality value of stream communication in the communication path to be connected;
A quality value of stream communication in a communication path connecting the observation device and the reception device is generated from the quality value generated using the first and second quality value generation processing means associated with the same session identifier. A third quality value generation processing means;
A stream quality observation device comprising:
前記請求項1に記載のストリーム品質観測装置であって、The stream quality observation device according to claim 1,
前記品質判定処理手段により判定された送信装置と観測装置間及び受信装置と観測装置間におけるストリーム通信の品質の結果をセション単位に表示する表示処理手段と、Display processing means for displaying the result of the quality of stream communication between the transmission device and the observation device and between the reception device and the observation device determined by the quality determination processing means in session units;
を備えることを特徴とするストリーム品質観測装置。  A stream quality observation device comprising:
複数の異なるネットワークセグメントで構成されたネットワーク網を介して接続された送信装置と受信装置を含むストリーム通信システムにおいて、送信装置と受信装置とを接続する通信経路を構成するネットワークセグメントの間に接続され、送信装置と受信装置とを接続する通信経路におけるストリーム通信のネットワーク品質を観測する装置としてコンピュータを機能させるプログラムであって、
送信端末と受信端末間における通信設定を通知する接続要求を取得し、前記接続要求に対してセション単位で一意となるセション識別子を割り振り、当該識別子に対応して前記通信設定を保持する接続要求取得処理と、
前記通信設定に基づいて確立されている送信装置と受信装置とを接続する通信経路におけるストリーム通信のストリームデータを構成するパケットを受信する処理と、
前記接続要求取得処理手段で保持された通信設定に基づいて、前記ストリームデータの受信処理で受信した受信パケットに対してセション単位で一意となるセション識別子を割り振り、前記受信パケットとセション識別子を対応付けて管理する処理と、
前記受信パケットのパケット種別を識別する処理と、
前記パケット種別識別処理により前記受信パケットが受信装置から送信装置へ送信された受信状況メッセージであると判定された場合は、前記受信パケットから得られる情報をもとに送信装置と受信装置とを接続する通信経路におけるストリーム通信の品質値を生成する第一の品質値生成処理と、
前記受信パケット種別識別処理により前記受信パケットが送信装置から受信装置へ送信されたストリームデータであると判定された場合は、前記受信パケットから得られる情報をもとに送信装置と観測装置とを接続する通信経路におけるストリーム通信の品質値を生成する第二の品質値生成処理と、
同一のセション識別子で対応付けされた前記第一及び第二の品質値生成処理で生成した品質値から、観測装置と受信装置とを接続する通信経路におけるストリーム通信の品質値を生成する第三の品質値生成処理と、
をコンピュータに行わせることを特徴とするプログラム。
In a stream communication system including a transmission device and a reception device connected via a network composed of a plurality of different network segments, it is connected between network segments that constitute a communication path connecting the transmission device and the reception device. A program that causes a computer to function as an apparatus for observing network quality of stream communication in a communication path connecting a transmitting apparatus and a receiving apparatus,
A connection request for notifying a communication setting between a transmitting terminal and a receiving terminal is acquired, a session identifier that is unique for each session is allocated to the connection request, and a connection request is acquired to hold the communication setting corresponding to the identifier Processing,
A process of receiving a packet constituting stream data of stream communication in a communication path connecting a transmission apparatus and a reception apparatus established based on the communication setting ;
Based on the communication settings held by the connection request acquisition processing means, a session identifier that is unique for each session is allocated to the received packet received in the stream data reception processing, and the received packet is associated with the session identifier. Process to manage,
Processing for identifying the packet type of the received packet;
When it is determined by the packet type identification process that the received packet is a reception status message transmitted from the receiving device to the transmitting device, the transmitting device and the receiving device are connected based on information obtained from the received packet. A first quality value generation process for generating a quality value of stream communication in a communication path to be performed;
When the received packet type identification process determines that the received packet is stream data transmitted from the transmitting device to the receiving device, the transmitting device and the observation device are connected based on information obtained from the received packet. Second quality value generation processing for generating a quality value of stream communication in the communication path to be performed;
A third value for generating a quality value of stream communication in a communication path connecting the observation device and the receiving device, from the quality value generated in the first and second quality value generation processing associated with the same session identifier. Quality value generation processing,
A program characterized by causing a computer to execute.
複数の異なるネットワークセグメントで構成されたネットワーク網を介して接続された送信装置と受信装置を含むストリーム通信システムにおいて、送信装置と受信装置とを接続する通信経路を構成するネットワークセグメントの間に接続され、送信装置と受信装置とを接続する通信経路におけるストリーム通信のネットワーク品質を観測する装置としてコンピュータを機能させるプログラムを記録したコンピュータ可読の記録媒体であって、
送信端末と受信端末間における通信設定を通知する接続要求を取得し、前記接続要求に対してセション単位で一意となるセション識別子を割り振り、当該識別子に対応して前記通信設定を保持する接続要求取得処理と、
前記通信設定に基づいて確立されている送信装置と受信装置とを接続する通信経路におけるストリーム通信のストリームデータを構成するパケットを受信する処理と
前記接続要求取得処理手段で保持された通信設定に基づいて、前記ストリームデータの受信処理で受信した受信パケットに対してセション単位で一意となるセション識別子を割り振り、前記受信パケットとセション識別子を対応付けて管理する処理と、
前記受信パケットのパケット種別を識別する処理と、
前記パケット種別識別処理により前記受信パケットが受信装置から送信装置へ送信された受信状況メッセージであると判定された場合は、前記受信パケットから受信パケット中に含まれる送信装置と受信装置とを接続する通信経路におけるストリーム通信の品質値を生成する第一の品質値生成処理と、
前記受信パケット種別識別処理により前記受信パケットが送信装置から受信装置へ送信されたストリームデータであると判定された場合は、前記受信パケットから得られる情報をもとに送信装置と観測装置とを接続する通信経路におけるストリーム通信の品質値を生成する第二の品質値生成処理と、
同一のセション識別子で対応付けされた前記第一及び第二の品質値生成処理で生成した品質値から、観測装置と受信装置とを接続する通信経路におけるストリーム通信の品質値を生成する第三の品質値生成処理と、
をコンピュータに行わせることを特徴とするプログラムを記録したコンピュータ可読の記録媒体。
In a stream communication system including a transmission device and a reception device connected via a network composed of a plurality of different network segments, it is connected between network segments that constitute a communication path connecting the transmission device and the reception device. A computer-readable recording medium recording a program for causing a computer to function as an apparatus for observing network quality of stream communication in a communication path connecting a transmitting apparatus and a receiving apparatus,
A connection request for notifying a communication setting between a transmitting terminal and a receiving terminal is acquired, a session identifier that is unique for each session is allocated to the connection request, and a connection request is acquired to hold the communication setting corresponding to the identifier Processing,
Processing for receiving a packet constituting stream data of stream communication in a communication path connecting a transmission device and a reception device established based on the communication setting ;
Based on the communication settings held by the connection request acquisition processing means, a session identifier that is unique for each session is allocated to the received packet received in the stream data reception processing, and the received packet is associated with the session identifier. Process to manage,
Processing for identifying the packet type of the received packet;
If the packet type identification process determines that the received packet is a reception status message transmitted from the receiving device to the transmitting device, the transmitting device included in the received packet from the received packet is connected to the receiving device. A first quality value generation process for generating a quality value of stream communication in the communication path;
When the received packet type identification process determines that the received packet is stream data transmitted from the transmitting device to the receiving device, the transmitting device and the observation device are connected based on information obtained from the received packet. Second quality value generation processing for generating a quality value of stream communication in the communication path to be performed;
A third value for generating a quality value of stream communication in a communication path connecting the observation device and the receiving device, from the quality value generated in the first and second quality value generation processing associated with the same session identifier. Quality value generation processing,
A computer-readable recording medium having recorded thereon a program characterized by causing a computer to perform the above.
JP2003012099A 2003-01-21 2003-01-21 Stream quality observation apparatus, program, and recording medium Expired - Fee Related JP3711981B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003012099A JP3711981B2 (en) 2003-01-21 2003-01-21 Stream quality observation apparatus, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003012099A JP3711981B2 (en) 2003-01-21 2003-01-21 Stream quality observation apparatus, program, and recording medium

Publications (2)

Publication Number Publication Date
JP2004228746A JP2004228746A (en) 2004-08-12
JP3711981B2 true JP3711981B2 (en) 2005-11-02

Family

ID=32900817

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003012099A Expired - Fee Related JP3711981B2 (en) 2003-01-21 2003-01-21 Stream quality observation apparatus, program, and recording medium

Country Status (1)

Country Link
JP (1) JP3711981B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4523395B2 (en) * 2004-12-03 2010-08-11 日本電信電話株式会社 User experience quality monitoring apparatus and method
JP2007019903A (en) * 2005-07-08 2007-01-25 Matsushita Electric Ind Co Ltd Communication speed measuring method, communication speed measuring system and communication speed measuring terminal in video distribution service
JP4583312B2 (en) * 2006-01-30 2010-11-17 富士通株式会社 Communication status determination method, communication status determination system, and determination device
JP4911609B2 (en) * 2007-03-30 2012-04-04 Kddi株式会社 Packet communication control method and apparatus
JP5083059B2 (en) * 2008-06-18 2012-11-28 沖電気工業株式会社 Packet relay apparatus and packet relay method
JP5131608B2 (en) * 2008-07-01 2013-01-30 日本電気株式会社 Quality degradation point estimation apparatus, method, and communication network system
JP4748226B2 (en) 2009-02-04 2011-08-17 沖電気工業株式会社 Quality degradation detection device, wired wireless judgment device
JP2011182212A (en) 2010-03-02 2011-09-15 Hitachi Ltd Communication control apparatus and communication quality measuring method
JP5515985B2 (en) 2010-04-02 2014-06-11 富士通株式会社 Monitoring device, failure section identification method, and failure section identification program

Also Published As

Publication number Publication date
JP2004228746A (en) 2004-08-12

Similar Documents

Publication Publication Date Title
US8811395B2 (en) System and method for determination of routing information in a network
CN107005437B (en) Method and apparatus for network tomography
CN110431807B (en) IPTV service quality detection method, device and system
EP1646183A1 (en) Method and apparatus for non-intrusive measurement of delay variation of data traffic on communication networks
US8064348B2 (en) Gathering traffic profiles for endpoint devices that are operably coupled to a network
US10516545B2 (en) Congestion management in a multicast communication network
US20110176427A1 (en) Monitoring Performance of Telecommunications Network
CN101378337B (en) Method for measuring service quality, network appliance and network system
JP3711981B2 (en) Stream quality observation apparatus, program, and recording medium
TWI625049B (en) Network service method and system based on software definition network
US9866456B2 (en) System and method for network health and management
EP2022201B1 (en) Media segment monitoring
US8661122B2 (en) Method for monitoring access networks
JP4627324B2 (en) Multicast route identification method
CN101103567B (en) System and method for improving the quality of real time multimedia sessions
CN103402144B (en) Automatically the method for multicast service performance, Apparatus and system are measured
CN110545213A (en) Computer network data flow monitoring system and method
US20070280227A1 (en) Packet distribution system using reproducing appartus and packet distribution method
US7653068B2 (en) Method and apparatus for providing call admission control in packet networks
EP2187563B1 (en) Method for measuring quality of service, transmission method, device and system of messages
JP2009219075A (en) Communication quality monitor system
CN106571970A (en) Bearer network monitoring method and device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041221

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050221

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050726

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050808

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090826

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090826

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100826

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110826

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120826

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120826

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130826

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees