JP3977124B2

JP3977124B2 - Data transmission method

Info

Publication number: JP3977124B2
Application number: JP2002105307A
Authority: JP
Inventors: 潤一藤森
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2002-04-08
Filing date: 2002-04-08
Publication date: 2007-09-19
Anticipated expiration: 2016-05-07
Also published as: JP2003029787A

Description

【０００１】
【発明の属する技術分野】
この発明は、ディジタルオーディオデータのような、所定周期の時系列的な配列を持つ複数のオーディオサンプルデータを、ネットワークを介して伝送するデータ伝送方式に関し、特に、受信側においてその正確な時間関係を再現しうるような形で、送信側においてデータ形式を構成し、伝送するようにしたデータ伝送方式に関する。
【０００２】
【従来の技術】
ネットワークを介したデータの伝送方式には、大別すると、同期方式と非同期方式とがある。同期方式では送信側と受信側とが同期して動作するので、受信側における情報の時間的位置の正確な再現が要求されるオーディオデータの伝送に適している。しかし、同期信号線を別途設けるなどの、送受信間での同期をとらせるための構成が必要となり、かつ、同期をとらせることにより通信帯域を静的に確保することになるため、通信方式としての汎用性に欠けるという欠点があった。すなわち、同期通信が必要ない場合であっても不要な帯域を確保したままになり、他の情報を伝送することができないという問題点がある。
【０００３】
これに対して、非同期方式では、通信帯域を動的に確保することにより、上記のような欠点を回避することができるが、通信のオーバーヘッドを減らすためには、或る程度の情報をまとめた上で非同期パケットを発行するようにしないと、データ通信効率が低下してしまう。しかし、或る程度の情報をまとめたパケットの送信では、データ本来の時間的な位置の情報が欠落してしまうことになる。そこで、パケットによるデータ伝送方式においては、データと共に該データの時間的位置を示す時間情報も一緒に伝送することが考えられている。すなわち、個々のデータ毎にその時間的位置を示す「タイムスタンプ」といわれる時間情報を付加し、これらを１パケットに含めて伝送するものである。
【０００４】
【発明が解決しようとする課題】
しかし、個々のデータ毎にその時間的位置を示す時間情報を付加して１パケットを構成したのでは、データ量が増大してしまうので、得策とはいえない。
この発明は上述の点に鑑みてなされたもので、ディジタルオーディオデータのような、一定周期の時系列的な配列を持つ複数のオーディオサンプルデータを、受信側においてその時間関係を再現できるような形態で、送信側からネットワークを介して伝送する場合において、非同期パケットを採用してその利点を享受できるようにすると共に、パケットに含めて送信する時間情報をできるだけ少ないデータ量で表現して１パケット当りの送信データ量を減少させることができるようにしたデータ伝送方式を提供しようとするものである。
また、送受信間の時間遅れをできるだけ少なくしたデータ伝送方式を提供しようとするものである。
更に、少ないデータ量で時間情報を表現した場合において、受信側での時間情報の再生演算処理をできるだけ簡略化できるようにしたデータ伝送方式を提供しようとするものである。
【０００５】
【課題を解決するための手段】
この発明に係るデータ伝送方式は、ネットワークを介して送信側装置から受信側装置へオーディオサンプルデータを伝送するデータ伝送方式であって、（ａ）送信側において、第１の周期の時系列的な配列を持つ複数のオーディオサンプルデータを供給するステップと、ここで前記第１の周期は可変であり、２以上の所定数の前記オーディオサンプルデータ毎に１つのオーディオサンプルデータを特定し、該特定されたオーディオサンプルデータの時間位置を示す時間情報を付加するステップと、所定数の前記オーディオサンプルデータ及び該オーディオサンプルデータの中のいずれかに対して付加された前記時間情報を１パケットとして、前記第１の周期に非同期の前記ネットワークにおけるパケット送信サービス区間の周期である第２の周期の所定タイミングにおいて、前記ネットワークに送出するステップとを具備し、（ｂ）受信側において、前記ネットワークを介して前記パケットを受信するステップと、受信したパケットに含まれる前記オーディオサンプルデータを一時記憶するステップと、前記一時記憶したオーディオサンプルデータを順次再生読出しするためのステップであって、前記受信したパケットに含まれる前記時間情報に基づき前記一時記憶したオーディオサンプルデータのサンプリング周期を更新しこの読出しを制御することにより、前記第１の周期に対応する周期で再生が行われるようにするステップとを具備することを特徴とする。
【０００６】
これによれば、種々のサンプリング周期を任意に取りうるオーディオサンプルデータ（つまり可変の第１の周期の配列を持つオーディオサンプルデータ）を送信するに際して、この第１の周期に非同期の前記ネットワークにおけるパケット送信サービス区間の周期である第２の周期の所定タイミングにおいて、該オーディオサンプルデータのパケットが送信される。その際、時間情報をすべてのオーディオサンプルデータに対して付加することをせずに、２以上の所定数の前記オーディオサンプルデータ毎に１つのオーディオサンプルデータを特定し、該特定されたオーディオサンプルデータに対して時間情報を付加するようにしている。そして、１パケットを所定数のオーディオサンプルデータによって構成し、かつ該オーディオサンプルデータの中のいずれかに対して付加された前記時間情報を該１パケットに含めて、該パケットをネットワークを介して送信する。受信側では、ネットワークを介して受信したパケットに含まれる前記オーディオサンプルデータを一時記憶し、この一時記憶したオーディオサンプルデータの順次読み出しを、該受信したパケットに含まれる前記時間情報に基づき前記一時記憶したオーディオサンプルデータのサンプリング周期を更新して制御することにより、元の所定の周期に対応する周期で再生が行われるようにする。従って、非同期パケットを採用してその利点を享受することができると共に、１パケットにつき１つの時間情報を含むだけであるから、時間情報をできるだけ少ないデータ量で表現して１パケット当りの送信データ量を減少させることができる。
【０００８】
なお、ここで述べている非同期パケットの意味は、パケットの送信周期が、送信すべきオリジナルのサンプルデータに対して、そのサンプリング周期から独立して設定されている、という意味合いである。パケットそのもの送受信については、一定周期で行われているので、同期通信となっている。
【０００９】
【発明の実施の形態】
以下、添付図面を参照してこの発明の実施の形態を詳細に説明しよう。
まず、理解を容易にするために、実施例に従うデータ伝送方式のいくつかの具体例をイラスト的に図示すると図１のようである。図１の（ａ）は第１の観点に従うデータ伝送方式の一例をイラスト的に図示するものであり、（ｂ）と（ｃ）は第２の観点に従うデータ伝送方式の異なる二例をイラスト的に図示するものである。
図１（ａ），（ｂ），（ｃ）の各１段目には、送信側で供給される、所定の周期（第１の周期）Ｔの時系列的な配列を持つ複数のオーディオサンプルデータの時系列配列の一例を示しており、数字０，１，２，３，…は、各データの時系列順序を示す序数である。１段目における特定のオーディオサンプルデータの上に示された数字（１，１３，１７，２１，２９，３３等）は、該オーディオサンプルデータに付加されるタイムスタンプすなわち時間情報を例示している。ＳＦはパケット送信のサービス区間の１周期を示し、送信するデータの周期Ｔは適宜可変であるのに対して、非同期パケットにおいては、該サービス区間ＳＦの１周期は、所定値に固定されている。従って、ＳＦとＴの時間関係は図示のものに限らず、任意の時間関係をとりうるものであり、一般的には両者の周期は非整数倍関係となる（勿論、たまたま整数倍関係となることがあるかもしれない）。
図１（ａ），（ｂ），（ｃ）の各２段目には、ネットワークを介して送信されるパケットの状態を示しており、タイムスロット枠内に記した数字が該パケットに含まれるオーディオサンプルデータを識別する序数であり、その下側に記された数字（１，１３，１７，２１，２９，３３等）が該パケットに含まれるタイムスタンプすなわち時間情報を示す。図１（ａ），（ｂ），（ｃ）の各３段目には、受信側におけるオーディオサンプルデータの再生状態を示している。
【００１０】
第１の観点に従う図１（ａ）の例について説明すると、送信に際して、１パケットを所定数Ｎ（図の例ではＮ＝４）のオーディオサンプルデータで構成し、かつ１パケットのデータ数Ｎ（＝４）と同数のデータ毎に、該パケットの先頭のオーディオサンプルデータを特定し、該特定された先頭のオーディオサンプルデータの時間位置を示すタイムスタンプを付加するようにしている。例えば、最初のパケットは、序数０，１，２，３の４つのオーディオサンプルデータからなり、その先頭の序数０のデータの時間位置を示すタイムスタンプ「１」が付加される。この場合、送信側で４つのデータが供給されるにはサービス区間ＳＦの２サイクル周期が必要であるから、最初のデータ（序数０）が供給されたときから、２サービス区間ＳＦの経過後に、最初のパケットが送信される。従って、パケット送信の立上り時間遅れは、サービス区間ＳＦの２サイクル周期である。２番目のパケットは、序数４，５，６，７の４つのデータからなり、その先頭の序数４のデータの時間位置を示すタイムスタンプ「１７」が付加される。この場合、２番目のパケットに含まれる最後の序数７のデータが供給されるサービス区間ＳＦ（これをＳＦ４で示す）の次のサービス区間ＳＦ（これをＳＦ５で示す）で該２番目のパケットが送信されることになるから、最初のパケット送信時から２サービス区間後に該２番目のパケットが送信される。
【００１１】
受信側においては、順次与えられる各パケットに含まれるタイムスタンプの変化若しくは関数に基づき、送信側における元の所定周期Ｔを推定することができる。タイムスタンプに基づく元の周期Ｔの推定方法には種々ありうるが、最も典型的な方法は、相前後する２つのパケットに含まれるタイムスタンプの差から次のような演算を行うことである。すなわち、今回送信されてきたパケットのタイムスタンプ値をＴＳ(i) とし、その前に送信されてきたパケットのタイムスタンプ値をＴＳ(i-1) とすると、その間にＮ個のデータが存在しているのであるから、下記式の演算を行うことにより、元の周期Ｔを推定することができる。
Ｔ＝｛ＴＳ(i) −ＴＳ(i-1)｝／Ｎ …（式１）
受信側においては、こうして推定した元の周期Ｔに対応する周期で、受信したパケットに含まれるデータを順次再生読出しする。かくして、元の周期Ｔでのデータ再生を確実にすることができる。図１（ａ）の場合、上記推定演算のために、２つのパケットの送信がなされるまで待機しなければならないため、受信側でデータ再生が開始するのは、送信側で最初のデータ（序数０）が供給されたときから、サービス区間ＳＦが５サイクル経過したとき、すなわち図１の６番目のサービス区間ＳＦ６のときとなる。
【００１２】
上記のように、第１の観点に従う伝送方式のように、１パケット当りのデータ数を所定の固定数Ｎとすると、パケット送信の立上り遅れと、受信側におけるデータ再生開始の遅れとが、問題となる。上記第２の観点に従う伝送方式は、この点を改善し、そのような遅れの問題をできるだけ回避することができるものである。
図１（ｂ）及び（ｃ）に例示された上記第２の観点に従う伝送方式が第１の観点に従う伝送方式と異なる点は、該第２の観点に従う伝送方式では、所定数のデータが溜るまでパケット送信を待たずに、所定の第２の周期毎に規則的にパケット送信を行うようになっている点であり、これに伴い、１パケットを構成するデータ数が可変となるという点である。すなわち、送信すべきデータのオリジナル周期である第１の周期Ｔよりも長い所定の第２の周期毎に、該第２の周期の１周期内で供給された前記データによって１パケットを構成するので、該第２の周期毎にパケット送信が行われることとなり、また、一般に第１及び第２の周期の関係は非整数倍的になるため（勿論、たまたま整数倍関係となることがあるかもしれないが）、該第２の周期の各周期毎に該１周期内に含まれるデータの数が可変的に（±１の範囲で）変動することになる。図１（ｂ）及び（ｃ）の例においては、パケット送信を行う第２の周期として、１サービス区間ＳＦ毎の周期で行うことが示されている。
【００１３】
図１（ｂ）の例について説明すると、各サービス区間毎に、その区間で供給されたデータを１パケットに含めて、次のサービス区間においてネットワークに送信する。１パケットに含まれるデータの数ｘは可変であり、図の例では、３個又は２個である。図１（ｂ）の例では、１パケットのデータ数ｘ（可変）と同数のデータ毎に、該パケットの先頭のデータを特定し、該特定された先頭のデータの時間位置を示すタイムスタンプを付加するようにしている。従って、タイムスタンプを２以上の所定数のデータ毎に付加するようになっているが、この所定数とは可変の１パケット構成データ数ｘに連動する可変数である。例えば、最初のパケットは、序数０，１，２の３つのデータからなり、その先頭の序数０のデータの時間位置を示すタイムスタンプ「１」が付加される。この場合、最初のデータ（序数０）が供給されたときから、１サービス区間ＳＦの経過後に、すなわち２番目のサービス区間ＳＦ２のときに、最初のパケットが送信される。従って、パケット送信の立上り時間遅れは、１サービス区間ＳＦのみである。２番目のパケットは、序数３，４の２つのデータからなり、その先頭の序数３のデータの時間位置を示すタイムスタンプ「１３」が付加される。この場合、２番目のパケットに含まれる最後の序数４のデータが供給されたサービス区間（ＳＦ２）の次のサービス区間（ＳＦ３）で該２番目のパケットが送信されることになるから、最初のパケット送信時から１サービス区間後に該２番目のパケットが送信される。
【００１４】
この場合も、受信側においては、順次与えられる各パケットに含まれるタイムスタンプの変化若しくは関数に基づき、送信側における元の所定周期Ｔを推定することができる。前述の通り、タイムスタンプに基づく元の周期Ｔの推定方法には種々ありうるが、最も典型的な方法は、相前後する２つのパケットに含まれるタイムスタンプの差から次のような演算を行うことであるので、この場合についての演算式を示すと下記のようである。
Ｔ＝｛ＴＳ(i) −ＴＳ(i-1)｝／ｘ …（式２）
ここで、ＴＳ(i)とＴＳ(i-1)は、前述と同様に、今回送信されてきたパケットのタイムスタンプ値と、前回に送信されてきたパケットのタイムスタンプ値である。ｘは、前回に送信されてきたパケットに含まれるデータ数であり、前述の通りの可変数である。
受信側においては、こうして推定した元の周期Ｔに対応する周期で、受信したパケットに含まれるデータを順次再生読出しする。かくして、元の周期Ｔでのデータ再生を確実にすることができる。図１（ｂ）の場合、送信側で最初のデータ（序数０）が供給されたときから数えて３番目のサービス区間ＳＦ３のときに該２番目のパケットが送信されるので、受信側でデータ再生が開始するのは、送信側で最初のデータ（序数０）が供給されたときから、サービス区間ＳＦの３サイクル経過後、すなわち４番目のサービス区間ＳＦ４のときとなる。このように、図１（ｂ）の場合では、図１（ａ）の場合に比べて、パケット送信の立上りと受信側におけるデータ再生開始とが早くなっており、遅れの問題が改善されていることが理解できる。一方、受信側での時間情報の再生処理について考慮すると、上記式２に示されるように、可変数ｘで割算を行う構成となっており、上記式１のように固定数Ｎで割算を行う構成に比べて、その都度、除数ｘを変更しなければならないので、演算処理の構成が複雑となってしまうという問題がある。
【００１５】
図１（ｃ）の例は、図１（ｂ）の例に対して更に改良を加え、受信側での演算処理を簡単化できるようにしたものである。図１（ｃ）の例について説明すると、各サービス区間ＳＦ毎に、その区間で供給されたデータを１パケットに含めて、次のサービス区間においてネットワークに送信する。（ｂ）と同様に、１パケットに含まれるデータの数ｘは可変であり、図の例では、３個又は２個である。（ｃ）の例では、時間情報の付加の仕方が（ｂ）とは異なっている。すなわち、図１（ｃ）の例では、２以上の所定の定数Ｍからなるデータ毎に１つのデータを特定し、該特定されたデータの時間位置を示すタイムスタンプすなわち時間情報を付加するようにしている。図示の例では、Ｍは４であり、４個のデータグループ毎に、そのグループの先頭のデータの時間位置を示すタイムスタンプを付加するようにしている。従って、タイムスタンプを２以上の所定数のデータ毎に付加するようになっているが、この所定数とは（ｂ）の例とは異なり、可変の１パケット構成データ数ｘとは関係のない、定数Ｍ（図では「４」）である。
図１（ｃ）の例では、最初のパケットは、序数０，１，２の３つのデータからなり、最初のＭ＝４個のデータのグループの先頭である序数０のデータの時間位置を示すタイムスタンプ「１」が付加される。この場合、最初のデータ（序数０）が供給されたときから、１サービス区間ＳＦの経過後に、最初のパケットが送信される。従って、パケット送信の立上り時間遅れは、図１（ｂ）と同様に、１サービス区間ＳＦのみである。２番目のパケットは、序数３，４の２つのデータからなり、そこには次のＭ＝４個のデータのグループの先頭である序数４のデータが含まれているので、その序数４のデータの時間位置を示すタイムスタンプ「１７」が付加される。この場合も、２番目のパケットに含まれる最後の序数４のデータが供給されたサービス区間（ＳＦ２）の次のサービス区間（ＳＦ３）で該２番目のパケットが送信されることになるから、最初のパケット送信時から１サービス区間ＳＦ後に該２番目のパケットが送信される。
【００１６】
なお、１パケットのデータ数が可変であるのに対して、１つのタイムスタンプを付加する１グループ内のデータ数Ｍは定数であるので、パケットによっては、タイムスタンプすなわち時間情報を伴わないものが出てくる。図１（ｃ）における４番目のサービス区間ＳＦ４において送信される序数５，６のデータを含むパケットがそれに該当しており、そのようなパケットにおいては、有効なタイムスタンプ値を示すデータの代わりに、タイムスタンプ無を表示する所定のデータ“ｖｏｉｄ”を送信するものとしている。勿論、必ずしもこの種のデータ“ｖｏｉｄ”を送信しなければならないわけではなく、そのパケットにタイムスタンプが存在してないことをもって、タイムスタンプすなわち時間情報を伴わないことが認識されるようになっていてもよい。
図１（ｃ）の場合も、受信側においては、順次与えられる各パケットに含まれるタイムスタンプの変化若しくは関数に基づき、送信側における元の所定周期Ｔを推定することができる。前述の通り、タイムスタンプに基づく元の周期Ｔの推定方法には種々ありうるが、最も典型的な方法は、相前後する２つのパケットに含まれるタイムスタンプの差から次のような演算を行うことであるので、この場合についての演算式を示すと下記のようである。
Ｔ＝｛ＴＳ(i) −ＴＳ(i-1')｝／Ｍ …（式３）
ここで、ＴＳ(i)は、前述と同様に、今回送信されてきたパケットのタイムスタンプ値であり、ＴＳ(i-1')は、その前に送信されてきた有効なタイムスタンプ値である。従って、今回送信されてきたパケットにおいて、タイムスタンプの代わりに上記“ｖｏｉｄ”が含まれている場合は、この演算は行われない。また、前回送信されてきたパケットのタイムスタンプ値が“ｖｏｉｄ”以外の有効な値を持っている場合は、ＴＳ(i-1')は、前回送信されてきたパケットのタイムスタンプ値ＴＳ(i-1)に相当するが、前回送信されてきたパケットにおいてタイムスタンプの代わりに上記“ｖｏｉｄ”が含まれていた場合は、ＴＳ(i-1')は、前々回送信されてきたパケットのタイムスタンプ値ＴＳ(i-2)に相当するものである。Ｍは、前述の通り、１つのタイムスタンプを付加するデータグループ内のデータ数を示す定数である。
【００１７】
受信側においては、こうして推定した元の（オリジナル）周期Ｔに対応する周期で、受信したパケットに含まれるデータを順次再生読出しする。かくして、オリジナル周期Ｔでのデータ再生を確実にすることができる。図１（ｃ）の場合も、送信側で最初のデータ（序数０）が供給されたときから数えて３番目のサービス区間ＳＦ３のときに該２番目のパケットが送信されるので、受信側でデータ再生が開始するのは、送信側で最初のデータ（序数０）が供給されたときから、サービス区間ＳＦの３サイクル経過後の、４番目のサービス区間ＳＦ４のときとなる。従って、図１（ｃ）の場合も、図１（ａ）の場合に比べて、パケット送信の立上りと受信側におけるデータ再生開始とが早くなっており、遅れの問題が改善されていることが理解できる。更に、図１（ｃ）の場合は、受信側での時間情報の再生処理について考慮すると、上記式３に示されるように、固定数Ｍで割算を行う構成となっており、上記式２のように可変数ｘで割算を行う構成に比べて、演算処理の構成が簡単である、という利点がある。ここで、固定数Ｍを、４や８のような、２のべき乗の数値とすれば、式３のディジタル割算を簡単なデータシフト処理によって行うことができるで、有利である。従って、図１（ｃ）の例に従えば、少ないデータ量で時間情報を表現した場合において、受信側での時間情報の再生演算処理をできるだけ簡略化できるようにした非同期パケットによるデータ伝送方式を提供することができる、という利点がある。
【００１８】
上記のように、第２の観点における図１（ｃ）の例に従えば、最も好ましいデータ伝送方式を提供することができることが理解できる。そこで、送信側において、そのような最も好ましい形式で非同期パケット伝送を行う、という観点に立って、この発明を実施することもできる。すなわち、そのような送信方式の観点に立てば、この発明に係るデータ伝送方式は、第１の周期の時系列的な配列を持つ複数のデータを供給するステップと、２以上の所定の定数からなる前記データのグループ毎に該グループ内の１つのデータを特定し、該特定されたデータの時間位置を示す時間情報を付加するステップと、前記第１の周期よりも長い所定の第２の周期毎に、該第２の周期の１周期内で供給された複数の前記データを１パケットとして、かつ、該パケット内のデータの中に前記時間情報が付加されたデータがあれば該時間情報を該パケットに含めて、ネットワークを介して送信するステップとを具備することを特徴とするものである。この作用、効果は、図１（ｃ）の例に従って上述した通りである。勿論、図１（ａ）や（ｂ）の例においても、送信方式のみの観点に立って発明を把握することが可能である。
【００１９】
次に、最も好ましい実施の形態として、上記第２の観点における図１（ｃ）の例に従う実施の形態について更にその詳細実施例を説明する。
図２は、この発明に係るデータ伝送方式の一実施例の全体構成を示す概略ブロック図である。送信側１０において、データ生成部１１は、所定のサンプリング周期Ｔの時系列的な配列を持つ複数のデータを順次生成し、出力するもので、例えば、ディジタルオーディオ信号の順次サンプルデータを出力する。例えば、データ生成部１１は、ＣＤ（コンパクトディスク）プレイヤーのようなオーディオ再生装置を含んでいてもよいし、あるいは楽音サンプルデータをリアルタイムで合成する楽音合成装置のようなものを含んでいてもよい。データ生成部１１から出力されるオーディオサンプルデータのサンプリング周期Ｔは、そのデータソースに応じて、適宜可変されるようになっていてよい。
【００２０】
データ生成部１１から出力されたオーディオサンプルデータは、その時系列順にデータバッファ１２に一時記憶される。データバッファ１２には入出力非同期のバッファレジスタを用いる。タイマ１３は、タイムスタンプデータすなわち時間情報を作成するものであり、所定のクロックをカウントするランニングカウンタのようなものを含んでいてよい。ネットワーク処理部１４は、所定の送信割込み周期毎に、データバッファ１２に一時記憶したオーディオサンプルデータを基にして１パケットを構成する複数ｘのオーディオサンプルデータを送信バッファＴＢＦ内に１まとめに揃える処理と、所定数Ｍのオーディオサンプルデータ毎に１つのオーディオサンプルデータを特定し、該特定されたオーディオサンプルデータの時間位置を示すタイムスタンプデータを付加する処理と、送信バッファＴＢＦ内に揃えられた複数ｘのオーディオサンプルデータと該オーディオサンプルデータの中のいずれかに対して付加されたタイムスタンプデータとを１パケットとして、ネットワーク３０を介して受信側２０に送信する処理とを行う。送信割込み周期は、パケットのサービス区間ＳＦに対応しており、オーディオサンプルデータのサンプリング周期Ｔより長く設定され、複数ｘのオーディオサンプルデータを１パケットに含ませることができる。しかし、前述の理由で、１パケット中のオーディオサンプルデータ数ｘは可変である。
【００２１】
受信側２０では、ネットワーク処理部２４においてネットワーク３０を介して送信されてきたパケットを受信し、受信したパケットに含まれる複数ｘのオーディオサンプルデータをその時系列順にデータバッファ２２に一時記憶する。データバッファ２２には、複数記憶ステージを有するＦＩＦＯのような入出力非同期のバッファレジスタを使用するとよい。クロック生成部２３は、受信したパケットに含まれるタイムスタンプデータに基づき、送信側１０におけるデータ生成部１１から供給されたオーディオサンプルデータのオリジナルのサンプリング周期Ｔを再現するものである。例えば、前記式３のような演算を行って、オリジナルのサンプリング周期Ｔを推定的に算出し、算出した周期Ｔに対応するクロック信号を生成する。データ利用部２１は、クロック生成部２３から与えられる再現されたサンプリング周期Ｔに従い、データバッファ２２に一時記憶されたオーディオサンプルデータを順次再生読出し、これを適宜利用する。再生読出ししたオーディオサンプルデータを如何なる形態で利用するかは、適宜であってよい。例えば、そのままＤ−Ａ変換してからスピーカ等から発音するようにしてもよいし、あるいは、エフェクト等の処理を施してからスピーカ等から発音する若しくは処理済みのオーディオサンプルデータを外部に送出する等、任意であってよい。
【００２２】
送信側１０及び受信側２０では、マイクロコンピュータ等の制御の下でソフトウェアプログラムを実行することにより、上記各部での処理を制御するようになっている。そのための処理フローの例を次に示す。
図３は、送信側１０で行われる「送信準備処理」の一例を略示するものである。この「送信準備処理」は、主に、ネットワーク処理部１４が受け持つ処理であり、データ生成部１１の処理とデータバッファ１２への入力処理は含まれていない。例えば、この「送信準備処理」は、送信側１０でのメインルーチンの過程で実行される。
まず、ステップＳ１では、データバッファ１２の記憶内容をスキャンし、新たなデータがデータバッファ１２に入力されたかどうかを調べる。新たなデータがデータバッファ１２に入力されたならば、ＹＥＳであり、次のステップＳ２に行く。ＮＯならば、リターンする。
【００２３】
ステップＳ２では、序数レジスタＯＲＤＲの内容を、所定数Ｍで割って、その余りが０であるかを調べる。序数レジスタＯＲＤＲは、前ステップＳ１でデータバッファ１２に入力されたことが検出されたデータの序数を示すデータをストアするものであり、最初は、図示しない初期設定処理により、序数０にセットされており、以後、データバッファ１２に新データが入力される毎に、後出のステップＳ５の処理によって、インクリメントされる。所定数Ｍは、前述の通り、１つのタイムスタンプを付加すべき１データグループのデータ数を示す定数であり、４又は８等の２のべき乗の値とすれば、割算を簡略化できるので好ましい。
序数レジスタＯＲＤＲの内容を、所定数Ｍで割った、その余りが０であるということ、つまり、ステップＳ２の判定がＹＥＳであるということは、序数レジスタＯＲＤＲの内容に対応する現データ（データバッファ１２に今入力されたばかりの新データ）が、タイムスタンプを付加すべきデータであることを示している。
【００２４】
そこで、ステップＳ２がＹＥＳであれば、ステップＳ３に行き、タイマ１３の現在値（これは、データ生成部１１からの１サンプルデータがデータバッファ１２に到着／入力した時刻を略示している）を送信側タイムスタンプレジスタＴＳｔにストアし、その後ステップＳ４に行く。
こうして、ステップＳ２の処理によってタイムスタンプを付加すべき１つのデータが特定され、ステップＳ３の処理によって該特定データに付加するタイムスタンプデータすなわち時間情報が決定／生成され、レジスタＴＳｔにレジストされる。
一方、ステップＳ２がＮＯであれば、ステップＳ４にジャンプし、タイムスタンプデータのレジストは行われない。
【００２５】
ステップＳ４では、データバッファ１２に入力された新データ（すなわち、序数レジスタＯＲＤＲの内容に対応する現データ）を該バッファ１２から取り出して、所定の送信バッファＴＢＦに格納する。
次のステップＳ５では、序数レジスタＯＲＤＲの内容を１だけインクリメントする。
その後、メインルーチンにリターンする。そして、メインルーチンの過程で再び図３の「送信準備処理」を行う。こうして、図３の「送信準備処理」が繰り返される。この「送信準備処理」を繰り返す過程で、順次供給されたいくつかのデータが、前記送信バッファＴＢＦに順次格納される。この送信バッファＴＢＦに格納されたいくつか（一般的には複数ｘ）のデータは、次に述べる「送信割込処理」によって１パケットとして送信される。
【００２６】
図４は、送信側１０で行われる「送信割込処理」の一例を略示するものであり、図３の処理に対する割込み処理として実行される。この「送信割込処理」は、所定の送信割込み周期に従って規則的な割込み間隔で実行される。この送信割込み周期は、例えば、パケットの１サービス区間ＳＦに対応しており、一般に、送信するデータのサンプリング周期Ｔより長い。
送信割込みがかかると、まず、ステップＳ６では、送信側タイムスタンプレジスタＴＳｔにレジストされているタイムスタンプデータを、タイムスタンプ情報“ＴＩＭＥＳＴＡＭＰ”として送信セットし、かつ、前記送信バッファＴＢＦに格納されているデータの数ｘを数えてこれをサンプル数ｘ“ＳＡＭＰＬＥｘ”として送信セットし、かつ、序数レジスタＯＲＤＲの内容から上記サンプル数ｘ“ＳＡＭＰＬＥｘ”を引いた値（ＯＲＤＲ−“ＳＡＭＰＬＥｘ”）をパケット先頭サンプル序数“ＳＡＭＰＬＥＯＲＤＥＲ”として送信セットする。このパケット先頭サンプル序数“ＳＡＭＰＬＥＯＲＤＥＲ”は、送信する１パケットに含まれる複数のデータのうち時系列順序が先頭のデータのサンプル序数を示す。序数レジスタＯＲＤＲの現内容が、送信する１パケットに含まれる複数のデータのうち時系列順序が最後のデータの次のサンプル序数を示しているので、これから該パケットに含まれるデータのサンプル数“ＳＡＭＰＬＥｘ”を引いたものが、該パケットにおける先頭のデータのサンプル序数を示すことになる。
【００２７】
次のステップＳ７では、前記送信バッファＴＢＦに格納されている複数ｘのデータと、前ステップＳ６で送信セットした各情報、すなわちタイムスタンプ情報“ＴＩＭＥＳＴＡＭＰ”、サンプル数ｘ“ＳＡＭＰＬＥｘ”、パケット先頭サンプル序数“ＳＡＭＰＬＥＯＲＤＥＲ”とを、１パケットとしてパケット作成し、該パケットをネットワーク３０を介して送信する。なお、ネットワーク３０を介した受信側２０との間の実際の具体的な通信作業は、通信インタフェースを介して行われることになるので、このステップＳ７では図示しない通信インタフェースに対してパケットを送出することからなる。なお、送信バッファＴＢＦの格納データを送出した後に該バッファＴＢＦをクリアするものとする。
次のステップＳ８で、送信側タイムスタンプレジスタＴＳｔに空データ“ｖｏｉｄ”をセットし、その後リターンする。次のパケットが有効なタイムスタンプを伴う場合は、図３のステップＳ３の処理を経由することによって該レジスタＴＳｔの内容が有効なタイムスタンプ値によって更新される。他方、次のパケットが有効なタイムスタンプを伴わない場合は、図３のステップＳ３の処理を経由することがなく、よって、該レジスタＴＳｔの内容は更新されないまま空データ“ｖｏｉｄ”を保持して、次の「送信割込み処理」を迎える。そのような場合は、図４のステップＳ６において、タイムスタンプ情報“ＴＩＭＥＳＴＡＭＰ”として空データ“ｖｏｉｄ”が送信セットされることになる。
【００２８】
例えば、Ｍ＝４であるとして、図１（ｃ）の１段目及び２段目を参照しながら、図３及び図４の動作例について説明する。
最初に、序数０のデータがデータバッファ１２に取り込まれたとき、レジスタＯＲＤＲの内容が０であるから、ステップＳ２がＹＥＳとなり、ステップＳ３に行き、タイマ１３の現在値（図１では便宜上最初は「１」としているが、これに限らないのは勿論である）を送信側タイムスタンプレジスタＴＳｔにストアする。この序数０のデータは送信バッファＴＢＦに格納され（Ｓ４）、序数レジスタＯＲＤＲの値が増数されて１となる（Ｓ５）。
次に序数１のデータがデータバッファ１２に取り込まれたとき、レジスタＯＲＤＲの内容は１であるから、ステップＳ２がＮＯとなり、ステップＳ３をジャンプしてステップＳ４，Ｓ５を行い、この序数１のデータは送信バッファＴＢＦに格納され、序数レジスタＯＲＤＲの値が増数されて２となる。
次に序数２のデータがデータバッファ１２に取り込まれたときも同様であり、ステップＳ３をジャンプしてステップＳ４，Ｓ５を行い、この序数２のデータが送信バッファＴＢＦに格納され、序数レジスタＯＲＤＲの値が増数されて３となる。
【００２９】
こうして、最初のサービス区間ＳＦ１の間に序数０，１，２の３つのデータが供給され、これらのデータが送信バッファＴＢＦに格納される。該サービス区間ＳＦ１の終わりで（又は次のサービス区間ＳＦ２の始まりで）、図４の「送信割込処理」が行われる。ステップＳ６の処理によって、タイムスタンプ情報“ＴＩＭＥＳＴＡＭＰ”としてレジスタＴＳｔの「１」が送信セットされ、サンプル数ｘ“ＳＡＭＰＬＥｘ”として「３」が送信セットされ、パケット先頭サンプル序数“ＳＡＭＰＬＥＯＲＤＥＲ”として「０」（３−３＝０）が送信セットされる。そして、ステップＳ７の処理に基づき、２番目のサービス区間ＳＦ２における適宜の時点で、これらの情報と送信バッファＴＢＦ内の序数０，１，２の３つのデータとが１パケットとして送信されることになる。
【００３０】
２番目のサービス区間ＳＦ２においては、序数３，４の２つのデータが供給される。序数３のデータが供給されたときは、ステップＳ２はＮＯであり、序数３のデータが送信バッファＴＢＦに格納され（Ｓ４）、序数レジスタＯＲＤＲの値が増数されて４となる（Ｓ５）。次に序数４のデータが供給されたときは、ステップＳ２はＹＥＳとなり、ステップＳ３に行き、タイマ１３の現在値（図１では「１７」）を送信側タイムスタンプレジスタＴＳｔにストアする。また、この序数４のデータが送信バッファＴＢＦに格納され（Ｓ４）、序数レジスタＯＲＤＲの値が増数されて５となる（Ｓ５）。
２番目のサービス区間ＳＦ２が終わって、図４の「送信割込処理」が行われると、ステップＳ６の処理によって、タイムスタンプ情報“ＴＩＭＥＳＴＡＭＰ”としてレジスタＴＳｔの「１７」が送信セットされ、サンプル数ｘ“ＳＡＭＰＬＥｘ”として「２」が送信セットされ、パケット先頭サンプル序数“ＳＡＭＰＬＥＯＲＤＥＲ”として「３」（５−２＝３）が送信セットされる。そして、ステップＳ７の処理に基づき、３番目のサービス区間ＳＦ３における適宜の時点で、これらの情報と送信バッファＴＢＦ内の序数３，４の２つのデータとが１パケットとして送信されることになる。また、ステップＳ８では、レジスタＴＳｔに空データ“ｖｏｉｄ”がセットされる。
【００３１】
３番目のサービス区間ＳＦ３においては、序数５，６の２つのデータが供給される。序数５のデータが供給されたときは、ステップＳ２はＮＯであり、序数５のデータが送信バッファＴＢＦに格納され（Ｓ４）、序数レジスタＯＲＤＲの値が増数されて６となる（Ｓ５）。次に序数６のデータが供給されたときも、ステップＳ２はＮＯであり、序数６のデータが送信バッファＴＢＦに格納され、序数レジスタＯＲＤＲの値が増数されて７となるだけである。結局、この３番目のサービス区間ＳＦにおいては、ステップＳ３を経由することなく、レジスタＴＳｔには空データ“ｖｏｉｄ”を保持したままとなる。
従って、次の「送信割込処理」においては、タイムスタンプ情報“ＴＩＭＥＳＴＡＭＰ”として空データ“ｖｏｉｄ”が送信セットされ、サンプル数ｘ“ＳＡＭＰＬＥｘ”として「２」が送信セットされ、パケット先頭サンプル序数“ＳＡＭＰＬＥＯＲＤＥＲ”として「５」（７−２＝５）が送信セットされることになる。そして、これらの情報と送信バッファＴＢＦ内の序数５，６の２つのデータとが１パケットとして送信されることになる。
以下、同様に動作し、図１（ｃ）の１段目に示すような時系列的データに応じて２段目に示すような内容のパケットが送信されることになる。
【００３２】
図５は、受信側２０で行われる「受信処理」の一例を略示するものである。この「受信処理」は、主に、ネットワーク処理部２４とクロック生成部２３が受け持つ処理について示されている。
この「受信処理」は、ネットワーク３０から与えられる１パケット情報を受信側２０が受信する毎に実行される。
まず、ステップＳ１１では、ネットワーク３０を介して受信した１パケットに含まれる各情報のうち、パケット先頭サンプル序数“ＳＡＭＰＬＥＯＲＤＥＲ”をレジスタｊに格納し、サンプル数ｘ“ＳＡＭＰＬＥｘ”をレジスタＸに格納する。また、アップデートクロックレジスタｕｐｄａｔｅＣＬＯＣＫに偽値ＦＡＬＳＥをセットする。このアップデートクロックレジスタｕｐｄａｔｅＣＬＯＣＫに、真値ＴＲＵＥがセットされているとき、クロック周波数の更新を指示し、偽値ＦＡＬＳＥをセットされているときはクロック周波数の更新を指示しない。
次に、ステップＳ１２では、変数レジスタｉを初期値０にセットする。
次のステップＳ１３では、ネットワーク３０を介して受信した１パケットに含まれる複数ｘのデータのうち変数レジスタｉによって指示される順位の１つのデータＤＡＴＡ(i) をデータバッファ２２に転送する。
【００３３】
次のステップＳ１４では、レジスタｊの内容（すなわちパケット先頭サンプル序数“ＳＡＭＰＬＥＯＲＤＥＲ”）に変数レジスタｉの現在値を加算した値を、前記所定数Ｍで割って、その余りが０であるかを調べる。すなわち、前ステップＳ１３でデータバッファ２２に書き込んだデータ（この序数は「ｊ＋ｉ」である）が、タイムスタンプを付加した前記特定のデータに該当するか否かを調べる。前ステップＳ１３でデータバッファ２２に書き込んだデータが、前記特定のデータに該当する場合は、該データの序数ｊ＋ｉが所定数Ｍで割り切れるため、余りが０となり、ステップＳ１４ではＹＥＳと判定される。その場合は、ステップＳ１５〜Ｓ１８のルートを経由してからステップＳ１９に行く。ＮＯの場合は、ステップＳ１５〜Ｓ１８のルートをジャンプしてステップＳ１９に行く。
ステップＳ１５では、受信側タイムスタンプレジスタＴＳｒの内容が空データ“ｖｏｉｄ”であるか否かを調べる。図示していない初期設定処理により、該レジスタＴＳｒの内容が空データ“ｖｏｉｄ”に初期設定されるようになっており、その後に、次のステップＳ１６を行うことにより、受信した１パケットに含まれるタイムスタンプ情報“ＴＩＭＥＳＴＡＭＰ”を該レジスタＴＳｒにロードする。従って、このステップＳ１６は、最初のタイムスタンプ情報“ＴＩＭＥＳＴＡＭＰ”をレジスタＴＳｒにロードするための処理である。以後は、ステップＳ１５はＮＯと判定され、専らステップＳ１７，Ｓ１８のルートを通って処理される。
【００３４】
ステップＳ１７では、前記式３に相当する演算を行って、オリジナルのサンプリング周期Ｔを算出／推定する。すなわち、今回受信したパケットに含まれるタイムスタンプ情報“ＴＩＭＥＳＴＡＭＰ”（前記式３のＴＳ(i) に対応）から受信側タイムスタンプレジスタＴＳｒの内容（前回又は前々回受信したパケットに含まれていたタイムスタンプ情報であって、前記式３のＴＳ(i-1') に対応）を引き算し、１つのタイムスタンプを付加するデータグループ内のデータ数を示す定数Ｍ（例えば４）で割算する。その商が、オリジナルのサンプリング周期Ｔを推定するデータとしてレジストされる。
次のステップＳ１８では、今回受信したパケットに含まれるタイムスタンプ情報“ＴＩＭＥＳＴＡＭＰ”を受信側タイムスタンプレジスタＴＳｒにロードし、該レジスタＴＳｒの内容を更新し、かつ、アップデートクロックレジスタｕｐｄａｔｅＣＬＯＣＫに、真値ＴＲＵＥをセットする。
【００３５】
ステップＳ１９では、変数レジスタｉの値を１だけ増数する。次のステップＳ２０では、増数された変数レジスタｉの値がレジスタＸに格納されている当該パケット中のデータ数ｘに等しくなったか否かを調べる。ＮＯであれば、ステップＳ１３に戻り、増数された変数レジスタｉの値に関して、前記ステップＳ１３〜Ｓ１８の処理を繰り返す。
ステップＳ２０がＹＥＳとなると、ステップＳ２１に行き、アップデートクロックレジスタｕｐｄａｔｅＣＬＯＣＫの内容が真値ＴＲＵＥであることを条件に、前記ステップＳ１７で算出されたオリジナルのサンプリング周期Ｔに従って、受信側２０におけるサンプリングクロック周波数を、この周期Ｔに従って、設定するクロック同期化処理を行う。すなわち、受信側２０におけるサンプリングクロック周波数がステップＳ１７での演算結果Ｔに応じて設定若しくは更新されることになる。その後、リターンして、この「受信処理」を終了する。なお、１パケットには１個のタイムスタンプ情報しか含まないようにしているので、一旦、ステップＳ１７，Ｓ１８のルートを通った後は、ステップＳ１３〜Ｓ２０の処理を繰り返すことは不要である。従って、ステップＳ１８の後はステップＳ２１にジャンプさせるようにフローを変更してもよい。
【００３６】
次に、Ｍ＝４であるとして、図１（ｃ）の２段目及び３段目を参照しながら、図５の動作例について説明する。
２番目のサービス区間ＳＦ２で、序数０，１，２のデータを含む最初のパケットの情報を受信すると、ステップＳ１１では、ｊ＝０、Ｘ＝３にセットされる。この場合、ｊ＝０、ｉ＝０のとき、ステップＳ１４がＹＥＳとなる。ＴＳｒには“ｖｏｉｄ”が初期設定されているので、次のステップＳ１５がＹＥＳとなり、ステップＳ１６で、今回受信したパケットに含まれるタイムスタンプ情報“ＴＩＭＥＳＴＡＭＰ”＝「１」が、レジスタＴＳｒにセットされる。やがて、ステップＳ１３〜Ｓ２０の処理を繰り返した後、ステップＳ２１に行く。この場合は、アップデートクロックレジスタｕｐｄａｔｅＣＬＯＣＫの内容が偽値ＦＡＬＳＥにセットされたままなので、受信側２０におけるサンプリングクロック周波数の設定は行われない。従って、データバッファ２２に記憶したデータの再生読み出しは、まだスタートされない。
【００３７】
３番目のサービス区間ＳＦ３で、序数３，４のデータを含む２番目のパケットの情報を受信すると、ステップＳ１１では、ｊ＝３、Ｘ＝２にセットされる。この場合、ｊ＝３、ｉ＝１のとき、ステップＳ１４がＹＥＳとなる。レジスタＴＳｒには前回受信したパケットに含まれるタイムスタンプ情報“ＴＩＭＥＳＴＡＭＰ”＝「１」がセットされているので、次のステップＳ１５はＮＯと判断され、ステップＳ１７に行く。この場合、今回受信したパケットに含まれるタイムスタンプ情報“ＴＩＭＥＳＴＡＭＰ”は「１７」であるから、ステップＳ１７の演算では、Ｔ＝（１７−１）／４＝４が得られる。次のステップＳ１８では、“ＴＩＭＥＳＴＡＭＰ”の「１７」をレジスタＴＳｒにセットし、かつ、ｕｐｄａｔｅＣＬＯＣＫに真値ＴＲＵＥをセットする。従って、その後のステップＳ２１では上記周期Ｔに従って受信側２０におけるサンプリングクロック周波数の設定を行なう。これにより、データバッファ２２に記憶したデータの再生読み出しが可能となる。図１（ｃ）では、次のサービス区間ＳＦ４の始まりから、周期Ｔに従うデータの再生読み出しが行われるように図示されている。しかし、これに限らず、サービス区間ＳＦ３の途中であっても、ステップＳ２１での処理を終了し次第、データバッファ２２に記憶したデータの再生読み出しを開始するようにしてもよい。
【００３８】
４番目のサービス区間ＳＦ４で、序数５，６のデータを含む３番目のパケットの情報を受信すると、ステップＳ１１では、ｊ＝５、Ｘ＝２にセットされる。この場合、変数レジスタｉの値は、最初は０、その次は１にセットされる。従って、ステップＳ１４では、ｊ＋ｉ＝５＋０＝５の場合と、ｊ＋ｉ＝５＋１＝６の場合の両方について、判定を行うが、そのいずれの場合も判定結果はＮＯであり、ステップＳ１７，Ｓ１８のルートは通らない。従って、ステップＳ１７でのオリジナル周期Ｔの算出演算は行われず、レジスタＴＳｒには前回受信したパケットに含まれていたタイムスタンプ情報“ＴＩＭＥＳＴＡＭＰ”の「１７」が保持される。従って、ステップＳ２１におけるサンプリングクロック周波数の更新処理も行われず、前回計算した周期Ｔに従うクロック周波数を維持して、データバッファ２２に記憶したデータの再生読み出しが続行される。このように、パケットに含まれるタイムスタンプ情報“ＴＩＭＥＳＴＡＭＰ”が空データ“ｖｏｉｄ”の場合は、サンプリングクロック周波数の更新処理は行われないようになっている。
【００３９】
５番目のサービス区間ＳＦ５で、序数７，８のデータを含む４番目のパケットの情報を受信すると、ステップＳ１１では、ｊ＝７、Ｘ＝２にセットされる。この場合も、変数レジスタｉの値は、最初は０、その次は１にセットされる。ステップＳ１４では、ｊ＋ｉ＝７＋１＝８の場合、ＹＥＳと判定する。そして、ステップＳ１７に行き、今回受信したパケットに含まれるタイムスタンプ情報“ＴＩＭＥＳＴＡＭＰ”の「３３」と、レジスタＴＳｒにストアされている前々回受信したパケットに含まれていたタイムスタンプ情報の「１７」とを使用して、Ｔ＝（３３−１７）／４＝４の演算がなされる。次のステップＳ１８では、“ＴＩＭＥＳＴＡＭＰ”の「３３」をレジスタＴＳｒにセットし、かつ、ｕｐｄａｔｅＣＬＯＣＫに真値ＴＲＵＥをセットする。従って、その後のステップＳ２１では上記周期Ｔに従って受信側２０におけるサンプリングクロック周波数の更新を行なう。
以下、同様に動作し、図１（ｃ）の２段目に示すような内容のパケットの受信に応じて、３段目に示すようなオリジナル周期Ｔでの時系列的データの再生読み出しが行われる。
【００４０】
なお、上記の設例では、タイムスタンプ情報の数値を単純化して示しているので、演算の結果得られる周期Ｔは一定の数値４であるが、通常は、各数値の分解能の設定に応じて演算結果値Ｔはもっと複雑な値をとる。受信側２０においては、この演算結果値Ｔに応じて、そのサンプリングクロック周波数を絶えず調整するよう同期化制御される。このようにして、所定のデータグループ毎に送信されるタイムスタンプ情報によって、送信側１０と受信側２０のサンプリングクロック周波数が絶えず同期化されるように制御される。
なお、上記実施例における所定の定数Ｍは、１つのパケット生成周期（つまり１サービス区間ＳＦ）において、２以上のデータにタイムスタンプを付加することのないような値、つまり１パケット生成周期内に供給されるデータ数の最大値（図１の例では「３」）よりも大きな値、であることが望ましく、また、受信側におけるサンプリング周期Ｔの再現分解能を高めるためには、そのような値の中の最小値であることが望ましい。更に、Ｍを２のべき乗の値とすれば、割算演算を簡単化できるので、好ましい。
【００４１】
ところで、送信側と受信側のサンプリングクロック周波数を同期させるためには、最も単純には、データ送信の冒頭において送信側から受信側に対してサンプリングクロック周波数を指示する情報を与え、受信側において該情報に対応するサンプリングクロック周波数を発振するようにクロック分周比を設定するようにすればよいはずである。しかし、発振源として使用する水晶発振子の個体差によって、送信側と受信側の実際のサンプリングクロック周波数に微妙なずれが生じることがあるので、長時間にわたる再生処理においては不都合が生じて来るという問題がある。すなわち、クロック発振出力に基づくデータ再生読み出し技術においては、発振源として使用する水晶発振子の発振出力を分周して所望の周期のサンプリングクロックを作成することになるが、送信側のデータ読み出しに使用する水晶発振子と、受信側のデータ読み出しに使用する水晶発振子との個体差によって、送受信間で同じ分周比に設定したとしても、送信側と受信側の実際のサンプリングクロック周波数に微妙なずれが生じることがある。この微妙なずれは、長時間にわたる連続的なオーディオ再生処理等においては累積されてしまい、遂には再生タイミングの顕著なずれをもたらすことになる。
【００４２】
例えば、一般に、異なるシステム間で情報を送受信する場合は、受信側にバッファを設け、データ転送のタイミングずれを吸収するようにしているが、上記のように送受信間のサンプリングクロック周波数に微妙なずれがある場合は、受信側バッファがオーバーフローしたり（受信側のクロック周波数が相対的に遅くなった場合）、アンダーフローしたり（受信側のクロック周波数が相対的に速くなった場合）することがある。そのような場合は、正常なデータ送受信を行うことができなくなるので、好ましくない。これに対して、この発明のように、送信するデータに時間情報を付加することにより、送信側と受信側のサンプリングクロック周波数が絶えず同期化されるように制御する方式では、そのような問題が起こらないので、より好ましいものである。
【００４３】
なお、上記実施例では、受信側２０において、ステップＳ１７で演算した周期Ｔに基づき、データバッファ２２の再生読み出し制御用のサンプリングクロック周波数を設定するようにしているが、時間情報に基づく再生読み出し制御の態様はこれに限らず、適宜に設計してよい。例えば、タイムスタンプ情報が付加されていないデータに対して、それぞれ固有の時間情報を付加する処理を行い、各データ毎の固有の時間情報を参照して再生読み出しを行うようにしてもよい。
また、データ伝送に先立ち、基本的なサンプリング周期Ｔを示すデータを送信し、受信側２０では、最初は、この送信されてきたデータに対応するサンプリング周期Ｔでデータ再生読み出しを開始するようにしてもよい。そのようにすれば、受信側２０におけるデータ再生読み出しの立上りを上記実施例に比べて１サービス区間だけ早めることができる。
また、本来のデータの送信に先立って、いくつかのダミーデータをタイムスタンプの初期値を伴って送信するようにしてもよい。その場合、受信側２０におけるデータ再生読み出しの開始は、ダミーデータをカットして、実際のデータから開始するようにする。例えば、図１（ｃ）の場合、序数０，１，２のデータがダミーデータであるとすると、その３段目に示された受信側再生読み出しにおいては、序数３のデータ（実際のデータの先頭）から読み出し開始するようにする。そのようにしても、受信側２０における実際のデータの再生読み出し開始を上記実施例に比べて１サービス区間だけ早めることができる。
【００４４】
なお、図１（ｂ）に示したようなデータ伝送方式を実施する場合は、概ね、図３のステップＳ２，Ｓ３を省略し、図４のステップＳ６において「ＴＩＭＥＳＴＡＭＰ ← ＴＳｔ」の代わりに、「ＴＩＭＥＳＴＡＭＰ ← タイマ１３の現在値」を行い、かつ、図５のステップＳ１４，Ｓ１７の所定の定数Ｍの代わりに、可変の所定数ｘ（レジスタＸの値）を使用すればよい。
また、図１（ａ）に示したようなデータ伝送方式を実施する場合は、概ね、図３のステップＳ２、図５のステップＳ１４，Ｓ１７の所定の定数Ｍの代わりに、１パケット当りのデータ数を示す固定数Ｎを使用し、かつ、図４の「送信割込処理」の開始時に、送信バッファＴＢＦ内のデータ数ｘがＮ以上であるかをチェックするステップを設け、ＮＯであれば割込処理を終了し、ＹＥＳであれば割込処理を続行するようにする。そして、続行時においては、ステップＳ６において「サンプル数ｘ“ＳＡＭＰＬＥｘ”」として所定数Ｎを送信セットし、ステップＳ７において送信バッファＴＢＦのデータのうち先行するＮ個のデータを１パケットとして形成し、残りのデータがあればそれらは送信バッファＴＢＦに残しておくようにする。
【００４５】
【発明の効果】
以上の通り、この発明によれば、一定周期の時系列的な配列を持つ複数のオーディオサンプルデータを、ネットワークを介して伝送する場合において、非同期パケットを使用してその利点を享受できるようにすると共に、パケットに含めて送信する時間情報をできるだけ少ないデータ量で表現して１パケット当りの送信データ量を減少させることができるようになる、という優れた効果を奏する。
また、送受信間の時間遅れをできるだけ少なくしたデータ伝送方式を提供することがてきる。更に、少ないデータ量で時間情報を表現した場合において、受信側での時間情報の再生演算処理をできるだけ簡略化できるようにすることができる。
【図面の簡単な説明】
【図１】この発明に従うデータ伝送方式のいくつかの具体例をイラスト的に図示するタイミングチャート。
【図２】この発明に係るデータ伝送方式の一実施例の全体構成を示す概略ブロック図。
【図３】図２の送信側で行われる「送信準備処理」の一例を略示するフロー図。
【図４】図２の送信側で行われる「送信割込処理」の一例を略示するフロー図。
【図５】図２の受信側で行われる「受信処理」の一例を略示するフロー図。
【符号の説明】
１０送信側
２０受信側
３０ネットワーク
１１データ生成部
１２，２２データバッファ
１３タイマ
１４，２４ネットワーク処理部
２３クロック生成部
２１データ利用部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a data transmission system for transmitting a plurality of audio sample data having a time-series arrangement of a predetermined period, such as digital audio data, via a network, and in particular, the accurate time relationship is shown on the receiving side. The present invention relates to a data transmission method in which a data format is configured and transmitted on a transmission side in a form that can be reproduced.
[0002]
[Prior art]
Data transmission methods via a network are roughly classified into a synchronous method and an asynchronous method. In the synchronization method, the transmission side and the reception side operate in synchronization with each other, which is suitable for the transmission of audio data that requires accurate reproduction of the temporal position of information on the reception side. However, a configuration is required to synchronize between transmission and reception, such as providing a separate synchronization signal line, and the communication band is statically secured by synchronizing, so as a communication method There was a drawback of lacking in versatility. That is, there is a problem that even when synchronous communication is not necessary, an unnecessary band is secured and other information cannot be transmitted.
[0003]
On the other hand, in the asynchronous method, the above-mentioned drawbacks can be avoided by dynamically securing the communication band. However, in order to reduce the communication overhead, a certain amount of information is collected. If the asynchronous packet is not issued above, the data communication efficiency will decrease. However, in the transmission of a packet in which a certain amount of information is collected, information on the original temporal position of data is lost. Therefore, in a data transmission system using packets, it is considered to transmit time information indicating the time position of the data together with the data. That is, time information called a “time stamp” indicating the time position is added to each piece of data, and these are included in one packet for transmission.
[0004]
[Problems to be solved by the invention]
However, if one packet is configured by adding time information indicating the time position for each piece of data, the amount of data increases, which is not a good idea.
The present invention has been made in view of the above-described points, and is a mode in which a plurality of audio sample data having a time-series arrangement with a fixed period, such as digital audio data, can be reproduced on the reception side. Therefore, when transmitting from the transmission side via the network, the asynchronous packet is adopted so that the advantage can be enjoyed, and the time information included in the packet and transmitted is expressed by the smallest possible data amount per packet. It is an object of the present invention to provide a data transmission system that can reduce the amount of transmission data.
It is another object of the present invention to provide a data transmission method that minimizes the time delay between transmission and reception.
Furthermore, the present invention is intended to provide a data transmission method that can simplify the time information reproduction calculation processing on the receiving side as much as possible when time information is expressed with a small amount of data.
[0005]
[Means for Solving the Problems]
The data transmission system according to the present invention is: A data transmission method for transmitting audio sample data from a transmitting device to a receiving device via a network, (A) On the transmitting side, supplying a plurality of audio sample data having a time-series arrangement of a first period, wherein the first period is variable, and a predetermined number of audios of two or more Specifying one audio sample data for each sample data, adding time information indicating a time position of the specified audio sample data, and a predetermined number of the audio sample data and one of the audio sample data Assuming that the time information added to the packet is one packet, asynchronous to the first period It is the period of the packet transmission service section in the network At a predetermined timing in the second cycle, Said And (b) receiving the packet via the network on the receiving side, temporarily storing the audio sample data included in the received packet on the receiving side, and the temporary storage A step for sequentially reproducing and reading the audio sample data, and updating the sampling period of the temporarily stored audio sample data based on the time information included in the received packet and controlling the reading, And a step of performing reproduction at a period corresponding to the first period.
[0006]
According to this, when audio sample data that can arbitrarily take various sampling periods (that is, audio sample data having a variable first period array) is transmitted, the first sample period is asynchronous with the first period. It is the period of the packet transmission service section in the network The audio sample data packet is transmitted at a predetermined timing in the second period. In that case, one audio sample data is specified for every two or more predetermined number of audio sample data without adding time information to all audio sample data, and the specified audio sample data is specified. Is added to the time information. Then, one packet is composed of a predetermined number of audio sample data, and the time information added to any one of the audio sample data is included in the one packet, and the packet is transmitted via the network. To do. The receiving side temporarily stores the audio sample data included in the packet received via the network, and sequentially reads the temporarily stored audio sample data based on the time information included in the received packet. By updating and controlling the sampling cycle of the audio sample data, reproduction is performed at a cycle corresponding to the original predetermined cycle. Therefore, enjoy the benefits of using asynchronous packets thing In addition, since only one time information is included per packet, the time information can be expressed by a data amount as small as possible to reduce the transmission data amount per packet.
[0008]
In addition The meaning of the asynchronous packet described here is that the packet transmission period is set independently of the sampling period for the original sample data to be transmitted. Since the packet itself is transmitted and received at a constant cycle, it is a synchronous communication.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
First, in order to facilitate understanding, some specific examples of the data transmission method according to the embodiment are illustrated as illustrated in FIG. FIG. 1A illustrates an example of a data transmission method according to the first aspect, and FIGS. 1B and 2C illustrate two different examples of the data transmission method according to the second aspect. Is shown in FIG.
In each first stage of FIGS. 1A, 1B, and 1C, a plurality of audio samples having a time-series arrangement with a predetermined period (first period) T supplied on the transmission side are provided. An example of a time series arrangement of data is shown, and numerals 0, 1, 2, 3,... Are ordinal numbers indicating the time series order of each data. The numbers (1, 13, 17, 21, 29, 33, etc.) shown above the specific audio sample data in the first row exemplify time stamps, that is, time information added to the audio sample data. . SF indicates one cycle of the service interval of packet transmission, and the cycle T of data to be transmitted is appropriately variable, whereas in an asynchronous packet, one cycle of the service interval SF is fixed to a predetermined value. . Therefore, the time relationship between SF and T is not limited to that shown in the figure, and any time relationship can be taken. In general, the period between the two becomes a non-integer multiple relationship (of course, it happens to be an integer multiple relationship). May be).
In each second stage of FIGS. 1A, 1B, and 1C, the state of a packet transmitted through the network is shown, and the number written in the time slot frame is included in the packet. This is an ordinal number for identifying audio sample data, and the numbers (1, 13, 17, 21, 29, 33, etc.) shown below the audio sample data indicate time stamps, that is, time information included in the packet. The third stage of each of FIGS. 1A, 1B, and 1C shows the playback state of audio sample data on the receiving side.
[0010]
Referring to the example of FIG. 1A according to the first aspect, in transmission, one packet is composed of a predetermined number N of audio sample data (N = 4 in the example in the figure), and the number of data N (1 = 4) The audio sample data at the beginning of the packet is specified for each data, and a time stamp indicating the time position of the specified audio sample data is added. For example, the first packet is composed of four audio sample data with ordinal numbers 0, 1, 2, and 3, and a time stamp “1” indicating the time position of the leading ordinal data 0 is added. In this case, two cycles of the service section SF are necessary for the four data to be supplied on the transmission side. Therefore, after the first service (ordinal number 0) is supplied and after the elapse of two service sections SF, The first packet is transmitted. Therefore, the rise time delay of packet transmission is a two-cycle period of the service section SF. The second packet is composed of four pieces of data with ordinal numbers 4, 5, 6 and 7, and a time stamp “17” indicating the time position of the leading ordinal 4 data is added. In this case, the second packet is transmitted in the service section SF (indicated by SF5) next to the service section SF (indicated by SF4) to which the last ordinal 7 data included in the second packet is supplied. Since the packet is transmitted, the second packet is transmitted two service intervals after the first packet transmission.
[0011]
On the receiving side, the original predetermined period T on the transmitting side can be estimated based on a change or function of a time stamp included in each sequentially given packet. There are various methods for estimating the original period T based on the time stamp, but the most typical method is to perform the following calculation from the difference between the time stamps included in two successive packets. That is, if the time stamp value of the packet transmitted this time is TS (i) and the time stamp value of the packet transmitted before is TS (i-1), there are N data between them. Therefore, the original period T can be estimated by calculating the following formula.
T = {TS (i) −TS (i−1)} / N (Formula 1)
On the receiving side, data included in the received packet is sequentially reproduced and read out in a cycle corresponding to the original cycle T thus estimated. Thus, data reproduction in the original period T can be ensured. In the case of FIG. 1A, since it is necessary to wait until two packets are transmitted for the above estimation calculation, the data reproduction on the reception side starts with the first data (ordinal number on the transmission side). 0) is supplied and when the service section SF has passed five cycles, that is, the sixth service section SF6 in FIG.
[0012]
As described above, when the number of data per packet is a predetermined fixed number N as in the transmission method according to the first aspect, there is a problem in that the packet transmission rise delay and the data reproduction start delay on the receiving side are delayed. It becomes. The transmission method according to the second aspect can improve this point and avoid such a delay problem as much as possible.
The difference between the transmission method according to the second aspect illustrated in FIGS. 1B and 1C and the transmission method according to the first aspect is that a predetermined number of data accumulates in the transmission method according to the second aspect. Without waiting for packet transmission until the packet transmission is regularly performed every predetermined second period, and accordingly, the number of data constituting one packet becomes variable. is there. That is, one packet is constituted by the data supplied within one period of the second period for each predetermined second period longer than the first period T, which is the original period of the data to be transmitted. Packet transmission is performed every second period, and generally, the relationship between the first and second periods is a non-integer multiple (of course, it may happen that it is an integer multiple relationship). However, the number of data included in one cycle varies variably (within a range of ± 1) for each cycle of the second cycle. In the example of FIGS. 1B and 1C, it is shown that the second cycle for performing packet transmission is performed in a cycle for each service section SF.
[0013]
Referring to the example of FIG. 1B, for each service section, the data supplied in that section is included in one packet and transmitted to the network in the next service section. The number x of data included in one packet is variable, and is 3 or 2 in the example of the figure. In the example of FIG. 1B, for each data having the same number of data x (variable) per packet, the head data of the packet is specified, and a time stamp indicating the time position of the specified head data is added. I try to add it. Therefore, a time stamp is added to each predetermined number of data of 2 or more, and this predetermined number is a variable number that is linked to the variable number of 1-packet data. For example, the first packet is composed of three data with ordinal numbers 0, 1, and 2, and a time stamp “1” indicating the time position of the data with the ordinal number 0 at the head is added. In this case, the first packet is transmitted after the lapse of one service section SF from when the first data (ordinary number 0) is supplied, that is, at the second service section SF2. Therefore, the rise time delay of packet transmission is only one service section SF. The second packet is composed of two pieces of data with ordinal numbers 3 and 4, and a time stamp “13” indicating the time position of the leading ordinal 3 data is added. In this case, the second packet is transmitted in the service section (SF3) next to the service section (SF2) to which the last ordinal 4 data included in the second packet is supplied. The second packet is transmitted after one service section from the time of packet transmission.
[0014]
Also in this case, on the receiving side, the original predetermined period T on the transmitting side can be estimated based on a change or function of a time stamp included in each sequentially given packet. As described above, there are various methods for estimating the original period T based on the time stamp, but the most typical method performs the following calculation from the difference between the time stamps included in two adjacent packets. Therefore, the calculation formula for this case is as follows.
T = {TS (i) −TS (i−1)} / x (Formula 2)
Here, TS (i) and TS (i-1) are the time stamp value of the packet transmitted this time and the time stamp value of the packet transmitted last time, as described above. x is the number of data included in the packet transmitted last time, and is a variable number as described above.
On the receiving side, data included in the received packet is sequentially reproduced and read out in a cycle corresponding to the original cycle T thus estimated. Thus, data reproduction in the original period T can be ensured. In the case of FIG. 1B, since the second packet is transmitted in the third service section SF3 from the time when the first data (ordinary number 0) is supplied on the transmitting side, the data is transmitted on the receiving side. The reproduction starts when the first data (ordinary number 0) is supplied on the transmission side and after the elapse of 3 cycles of the service section SF, that is, the fourth service section SF4. In this way, in the case of FIG. 1B, the rise of packet transmission and the start of data reproduction on the receiving side are earlier than in the case of FIG. 1A, and the problem of delay is improved. I understand that. On the other hand, considering the time information reproduction processing on the receiving side, the variable number x is divided as shown in the above equation 2, and the fixed number N is divided as in the above equation 1. Since the divisor x has to be changed each time, the configuration of the arithmetic processing becomes complicated.
[0015]
In the example of FIG. 1C, further improvements are made to the example of FIG. 1B so that the arithmetic processing on the receiving side can be simplified. Referring to the example of FIG. 1C, for each service section SF, the data supplied in that section is included in one packet and transmitted to the network in the next service section. As in (b), the number x of data included in one packet is variable, and is 3 or 2 in the example of the figure. In the example of (c), the method of adding time information is different from that in (b). That is, in the example of FIG. 1C, one piece of data is specified for each piece of data composed of two or more predetermined constants M, and a time stamp indicating the time position of the specified data, that is, time information is added. ing. In the illustrated example, M is 4, and a time stamp indicating the time position of the head data of the group is added to every four data groups. Therefore, a time stamp is added to each predetermined number of data of 2 or more, but this predetermined number is not related to the variable number x of 1-packet configuration data unlike the example of (b). , Constant M (“4” in the figure).
In the example of FIG. 1C, the first packet is composed of three data with ordinal numbers 0, 1, and 2, and indicates the time position of the data with ordinal number 0, which is the head of the first group of M = 4 data. A time stamp “1” is added. In this case, the first packet is transmitted after one service section SF has elapsed since the first data (ordinary number 0) was supplied. Therefore, the rise time delay of packet transmission is only one service section SF, as in FIG. The second packet is composed of two pieces of data with ordinal numbers 3 and 4, which contains the data with ordinal number 4 which is the head of the next group of M = 4 data. A time stamp “17” indicating the time position is added. Also in this case, the second packet is transmitted in the service section (SF3) next to the service section (SF2) to which the last ordinal 4 data included in the second packet is supplied. The second packet is transmitted after one service section SF from the time of packet transmission.
[0016]
Since the number of data in one packet is variable, the number of data M in one group to which one time stamp is added is a constant. Therefore, some packets are not accompanied by a time stamp, that is, time information. Come out. The packet including the data of ordinal numbers 5 and 6 transmitted in the fourth service section SF4 in FIG. 1C corresponds to this, and in such a packet, instead of data indicating a valid time stamp value. The predetermined data “void” indicating that there is no time stamp is transmitted. Of course, this type of data “void” does not necessarily have to be transmitted, and it is recognized that there is no time stamp, that is, no time information, because there is no time stamp in the packet. May be.
Also in the case of FIG. 1C, on the receiving side, the original predetermined period T on the transmitting side can be estimated on the basis of a change or function of a time stamp included in each sequentially given packet. As described above, there are various methods for estimating the original period T based on the time stamp, but the most typical method performs the following calculation from the difference between the time stamps included in two adjacent packets. Therefore, the calculation formula for this case is as follows.
T = {TS (i) −TS (i−1 ′)} / M (Formula 3)
Here, TS (i) is the time stamp value of the packet transmitted this time, and TS (i-1 ′) is the valid time stamp value transmitted before that, as described above. . Therefore, this calculation is not performed when the packet transmitted this time includes the above “void” instead of the time stamp. If the time stamp value of the previously transmitted packet has a valid value other than “void”, TS (i−1 ′) is the time stamp value TS (i of the previously transmitted packet. -1), but if the above-mentioned “void” is included in the previously transmitted packet instead of the time stamp, TS (i-1 ′) is the time stamp of the packet transmitted the last time. This corresponds to the value TS (i-2). As described above, M is a constant indicating the number of data in the data group to which one time stamp is added.
[0017]
On the receiving side, the data included in the received packet is sequentially reproduced and read out in a cycle corresponding to the original (original) cycle T thus estimated. Thus, data reproduction in the original cycle T can be ensured. Also in the case of FIG. 1C, since the second packet is transmitted in the third service section SF3 counting from when the first data (ordinary number 0) is supplied on the transmission side, Data reproduction starts from the time when the first data (ordinary number 0) is supplied on the transmission side to the time of the fourth service section SF4 after the elapse of three cycles of the service section SF. Accordingly, also in the case of FIG. 1C, the rise of packet transmission and the start of data reproduction on the receiving side are earlier than in the case of FIG. 1A, and the problem of delay is improved. Understandable. Further, in the case of FIG. 1 (c), in consideration of the time information reproduction process on the receiving side, as shown in the above equation 3, the division is performed by the fixed number M. There is an advantage that the configuration of the arithmetic processing is simpler than the configuration in which the division by the variable number x is performed. Here, if the fixed number M is a power of 2 such as 4 or 8, it is advantageous because the digital division of Expression 3 can be performed by a simple data shift process. Therefore, according to the example of FIG. 1 (c), when the time information is expressed with a small amount of data, a data transmission method using an asynchronous packet which can simplify the time information reproduction calculation process on the receiving side as much as possible. There is an advantage that it can be provided.
[0018]
As described above, it can be understood that the most preferable data transmission method can be provided according to the example of FIG. 1C in the second aspect. Therefore, the present invention can also be implemented from the viewpoint of performing asynchronous packet transmission in such a most preferable format on the transmission side. That is, from the viewpoint of such a transmission method, the data transmission method according to the present invention includes a step of supplying a plurality of data having a time-series arrangement of the first period and two or more predetermined constants. Identifying one data in the group for each group of data and adding time information indicating a time position of the identified data; a predetermined second period longer than the first period Each time, if there is data in which a plurality of the data supplied in one cycle of the second cycle is one packet and the time information is added to the data in the packet, the time information is And including the step of transmitting the packet through a network. This operation and effect are as described above according to the example of FIG. Of course, also in the examples of FIGS. 1A and 1B, the invention can be grasped from the viewpoint of only the transmission method.
[0019]
Next, as a most preferred embodiment, a detailed example of the embodiment according to the example of FIG. 1C in the second aspect will be described.
FIG. 2 is a schematic block diagram showing the overall configuration of an embodiment of the data transmission system according to the present invention. On the transmission side 10, the data generation unit 11 sequentially generates and outputs a plurality of data having a time-series arrangement with a predetermined sampling period T. For example, the data generation unit 11 outputs sequential sample data of a digital audio signal. For example, the data generation unit 11 may include an audio playback device such as a CD (Compact Disc) player, or may include a sound synthesis device that synthesizes musical sound sample data in real time. . The sampling period T of the audio sample data output from the data generation unit 11 may be appropriately changed according to the data source.
[0020]
The audio sample data output from the data generation unit 11 is temporarily stored in the data buffer 12 in the time series order. As the data buffer 12, an input / output asynchronous buffer register is used. The timer 13 creates time stamp data, that is, time information, and may include a running counter that counts a predetermined clock. The network processing unit 14 performs processing for aligning a plurality of x audio sample data constituting one packet in the transmission buffer TBF as a group in the transmission buffer TBF based on the audio sample data temporarily stored in the data buffer 12 at every predetermined transmission interrupt cycle. One audio sample data for each predetermined number M of audio sample data, a process of adding time stamp data indicating the time position of the specified audio sample data, and a plurality of data arranged in the transmission buffer TBF A process of transmitting the audio sample data of x and the time stamp data added to any one of the audio sample data as one packet to the receiving side 20 through the network 30 is performed. The transmission interrupt period corresponds to the service period SF of the packet, is set longer than the sampling period T of the audio sample data, and a plurality of x audio sample data can be included in one packet. However, for the reasons described above, the number x of audio sample data in one packet is variable.
[0021]
On the receiving side 20, the network processing unit 24 receives a packet transmitted via the network 30, and temporarily stores a plurality of x audio sample data included in the received packet in the data buffer 22 in order of time series. As the data buffer 22, an input / output asynchronous buffer register such as a FIFO having a plurality of storage stages may be used. The clock generator 23 reproduces the original sampling period T of the audio sample data supplied from the data generator 11 on the transmission side 10 based on the time stamp data included in the received packet. For example, the calculation as in Equation 3 is performed to estimate the original sampling period T and generate a clock signal corresponding to the calculated period T. The data utilization unit 21 sequentially reproduces and reads the audio sample data temporarily stored in the data buffer 22 according to the reproduced sampling period T given from the clock generation unit 23, and uses this appropriately. It may be appropriate in what form the audio sample data reproduced and read is used. For example, DA conversion may be performed as it is, and sound may be generated from a speaker or the like, or audio sample data generated or processed from a speaker or the like after processing of an effect or the like may be transmitted to the outside. May be arbitrary.
[0022]
On the transmitting side 10 and the receiving side 20, the processing in each of the above units is controlled by executing a software program under the control of a microcomputer or the like. An example of the processing flow for this purpose is shown below.
FIG. 3 schematically shows an example of the “transmission preparation process” performed on the transmission side 10. This “transmission preparation process” is a process mainly handled by the network processing unit 14 and does not include the process of the data generation unit 11 and the input process to the data buffer 12. For example, this “transmission preparation process” is executed in the course of the main routine on the transmission side 10.
First, in step S1, the storage contents of the data buffer 12 are scanned to check whether new data has been input to the data buffer 12. If new data is input to the data buffer 12, the determination is YES, and the process proceeds to the next step S2. If no, return.
[0023]
In step S2, the contents of the ordinal register ORDR are divided by a predetermined number M to check whether the remainder is zero. The ordinal register ORDR stores data indicating the ordinal number of the data detected to be input to the data buffer 12 in the previous step S1, and is initially set to the ordinal number 0 by an unillustrated initialization process. Thereafter, every time new data is input to the data buffer 12, the data buffer 12 is incremented by the processing in step S5. As described above, the predetermined number M is a constant indicating the number of data of one data group to which one time stamp is to be added, and division can be simplified if it is a power of 2 such as 4 or 8. preferable.
When the content of the ordinal register ORDR is divided by the predetermined number M and the remainder is 0, that is, the determination in step S2 is YES, the current data corresponding to the content of the ordinal register ORDR (data buffer) 12 indicates that the new data just input) is data to which a time stamp is to be added.
[0024]
Therefore, if step S2 is YES, the process goes to step S3, and the current value of the timer 13 (this schematically shows the time at which one sample data from the data generation unit 11 arrives / inputs into the data buffer 12). Store in the transmission time stamp register TSt, and then go to step S4.
In this way, one data to be added with the time stamp is specified by the process of step S2, and the time stamp data to be added to the specified data, that is, time information is determined / generated by the process of step S3, and is registered in the register TSt.
On the other hand, if step S2 is NO, the process jumps to step S4 and time stamp data is not registered.
[0025]
In step S4, new data (that is, current data corresponding to the contents of the ordinal register ORDR) input to the data buffer 12 is extracted from the buffer 12 and stored in a predetermined transmission buffer TBF.
In the next step S5, the contents of the ordinal register ORDR are incremented by 1.
Thereafter, the process returns to the main routine. Then, the “transmission preparation process” of FIG. 3 is performed again in the course of the main routine. In this way, the “transmission preparation process” of FIG. 3 is repeated. In the process of repeating this “transmission preparation process”, several pieces of sequentially supplied data are sequentially stored in the transmission buffer TBF. Some (generally a plurality of x) data stored in the transmission buffer TBF are transmitted as one packet by the “transmission interrupt process” described below.
[0026]
FIG. 4 schematically shows an example of the “transmission interrupt process” performed on the transmission side 10, and is executed as an interrupt process for the process of FIG. This “transmission interrupt process” is executed at regular interrupt intervals according to a predetermined transmission interrupt cycle. This transmission interrupt period corresponds to, for example, one service section SF of a packet and is generally longer than the sampling period T of data to be transmitted.
When a transmission interruption occurs, first, in step S6, the time stamp data registered in the transmission side time stamp register TSt is transmitted and set as time stamp information “TIME STAMP” and stored in the transmission buffer TBF. A value obtained by counting the number of existing data x and setting it as the number of samples x “SAMPLE x”, and subtracting the number of samples x “SAMPLE x” from the contents of the ordinal register ORDR (ORDR− “SAMPLE x”) Is transmitted and set as the packet head sample ordinal number “SAMPLE ORDER”. The packet head sample ordinal number “SAMPLE ORDER” indicates the sample ordinal number of the data with the head in time series order among a plurality of data included in one packet to be transmitted. Since the current content of the ordinal register ORDR indicates the next sample ordinal number of the last data in the time-series order among a plurality of data included in one packet to be transmitted, the number of samples of data included in the packet “SAMPLE” Subtracting x ″ indicates the sample ordinal number of the head data in the packet.
[0027]
In the next step S7, a plurality of x data stored in the transmission buffer TBF, each piece of information transmitted and set in the previous step S6, that is, time stamp information “TIME STAMP”, sample number x “SAMPLE x”, packet head The sample ordinal “SAMPLE ORDER” is created as one packet, and the packet is transmitted via the network 30. Note that the actual specific communication work with the receiving side 20 via the network 30 is performed via the communication interface, so in this step S7, a packet is sent to a communication interface (not shown). Consists of. Note that the buffer TBF is cleared after the data stored in the transmission buffer TBF is transmitted.
In the next step S8, empty data “void” is set in the transmission side time stamp register TSt, and then the process returns. When the next packet is accompanied by a valid time stamp, the contents of the register TSt are updated with a valid time stamp value by way of the process of step S3 in FIG. On the other hand, if the next packet is not accompanied by a valid time stamp, the process of step S3 in FIG. 3 is not performed, and therefore the empty data “void” is held without updating the contents of the register TSt. Then, the next “transmission interrupt processing” is reached. In such a case, in step S6 of FIG. 4, the empty data “void” is transmitted and set as the time stamp information “TIME STAMP”.
[0028]
For example, assuming that M = 4, the operation example of FIGS. 3 and 4 will be described with reference to the first and second stages of FIG.
First, when ordinal 0 data is taken into the data buffer 12, since the contents of the register ORDR are 0, step S2 is YES, and the process goes to step S3, where the current value of the timer 13 (first in FIG. “1” is, of course, not limited to this, but is stored in the transmission side time stamp register TSt. This ordinal 0 data is stored in the transmission buffer TBF (S4), and the value of the ordinal register ORDR is incremented to 1 (S5).
Next, when the ordinal 1 data is taken into the data buffer 12, the content of the register ORDR is 1. Therefore, step S2 is NO, and step S3 is jumped to perform steps S4 and S5. Is stored in the transmission buffer TBF, and the value of the ordinal register ORDR is incremented to become 2.
The same applies when ordinal 2 data is taken into the data buffer 12. Next, step S3 is jumped to perform steps S4 and S5. This ordinal 2 data is stored in the transmission buffer TBF, and the ordinal register ORDR The value is incremented to 3.
[0029]
In this way, three data of ordinal numbers 0, 1, and 2 are supplied during the first service section SF1, and these data are stored in the transmission buffer TBF. At the end of the service section SF1 (or at the start of the next service section SF2), the “transmission interrupt process” in FIG. 4 is performed. As a result of the processing in step S6, “1” of the register TSt is transmitted and set as the time stamp information “TIME STAMP”, “3” is transmitted and set as the number of samples x “SAMPLE x”, and the packet head sample ordinal number “SAMPLE ORDER” is set. “0” (3-3 = 0) is set for transmission. Then, based on the processing in step S7, at appropriate time points in the second service section SF2, these information and the three data with ordinal numbers 0, 1, and 2 in the transmission buffer TBF are transmitted as one packet. Become.
[0030]
In the second service section SF2, two data with ordinal numbers 3 and 4 are supplied. When ordinal 3 data is supplied, step S2 is NO, the ordinal 3 data is stored in the transmission buffer TBF (S4), and the value of the ordinal register ORDR is incremented to 4 (S5). Next, when the data of ordinal number 4 is supplied, step S2 becomes YES, the process goes to step S3, and the current value of timer 13 ("17" in FIG. 1) is stored in the transmission side time stamp register TSt. The data of the ordinal number 4 is stored in the transmission buffer TBF (S4), and the value of the ordinal number register ORDR is incremented to 5 (S5).
When the “transmission interrupt process” of FIG. 4 is performed after the end of the second service section SF2, “17” of the register TSt is transmitted and set as the time stamp information “TIME STAMP” by the process of step S6. “2” is transmitted and set as the number x “SAMPLE x”, and “3” (5-2 = 3) is transmitted and set as the packet head sample ordinal number “SAMPLE ORDER”. Then, based on the processing in step S7, at appropriate time points in the third service section SF3, these pieces of information and the two data with ordinal numbers 3 and 4 in the transmission buffer TBF are transmitted as one packet. In step S8, empty data “void” is set in the register TSt.
[0031]
In the third service section SF3, two data with ordinal numbers 5 and 6 are supplied. When ordinal 5 data is supplied, step S2 is NO, the ordinal 5 data is stored in the transmission buffer TBF (S4), and the value of the ordinal register ORDR is incremented to 6 (S5). Next, when the ordinal 6 data is supplied, step S2 is NO, the ordinal 6 data is stored in the transmission buffer TBF, and the value of the ordinal register ORDR is incremented to 7 only. Eventually, in this third service section SF, the empty data “void” is held in the register TSt without going through step S3.
Therefore, in the next “transmission interrupt process”, empty data “void” is transmitted and set as the time stamp information “TIME STAMP”, “2” is transmitted and set as the number of samples x “SAMPLE x”, and the packet head sample As the ordinal number “SAMPLE ORDER”, “5” (7−2 = 5) is set to be transmitted. These pieces of information and the two data with ordinal numbers 5 and 6 in the transmission buffer TBF are transmitted as one packet.
Thereafter, the same operation is performed, and a packet having the contents as shown in the second stage is transmitted according to the time-series data as shown in the first stage of FIG.
[0032]
FIG. 5 schematically shows an example of “reception processing” performed on the reception side 20. This “reception process” is mainly shown for the processes handled by the network processing unit 24 and the clock generation unit 23.
This “reception process” is executed every time the receiving side 20 receives one packet information given from the network 30.
First, in step S11, among the information included in one packet received via the network 30, the packet head sample ordinal number “SAMPLE ORDER” is stored in the register j, and the sample number x “SAMPLE x” is stored in the register X. To do. Further, the false value FALSE is set in the update clock register updateCLOCK. When the true value TRUE is set in the update clock register updateCLOCK, the update of the clock frequency is instructed, and when the false value FALSE is set, the update of the clock frequency is not instructed.
Next, in step S12, the variable register i is set to an initial value 0.
In the next step S 13, one piece of data DATA (i) in the order indicated by the variable register i among a plurality of x data included in one packet received via the network 30 is transferred to the data buffer 22.
[0033]
In the next step S14, the value obtained by adding the current value of the variable register i to the contents of the register j (that is, the packet head sample ordinal number “SAMPLE ORDER”) is divided by the predetermined number M to determine whether the remainder is zero. Investigate. That is, it is checked whether the data written in the data buffer 22 in the previous step S13 (this ordinal is “j + i”) corresponds to the specific data with the time stamp added. If the data written to the data buffer 22 in the previous step S13 corresponds to the specific data, the ordinal number j + i of the data is divisible by the predetermined number M, so the remainder is 0, and YES is determined in step S14. In that case, after going through the route of steps S15 to S18, the process goes to step S19. In the case of NO, the route of steps S15 to S18 is jumped to go to step S19.
In step S15, it is checked whether or not the content of the reception time stamp register TSr is empty data “void”. By the initial setting process (not shown), the contents of the register TSr are initialized to empty data “void”, and then included in one received packet by performing the next step S16. The time stamp information “TIME STAMP” is loaded into the register TSr. Therefore, this step S16 is a process for loading the first time stamp information “TIME STAMP” into the register TSr. Thereafter, step S15 is determined to be NO, and processing is performed exclusively through the route of steps S17 and S18.
[0034]
In step S17, an operation corresponding to Equation 3 is performed to calculate / estimate the original sampling period T. That is, from the time stamp information “TIME STAMP” (corresponding to TS (i) in Equation 3) included in the packet received this time, the contents of the time-stamp register TSr (the time included in the packet received the previous time or the last time) The stamp information (corresponding to TS (i-1 ′) in the above equation 3) is subtracted and divided by a constant M (for example, 4) indicating the number of data in the data group to which one time stamp is added. The quotient is registered as data for estimating the original sampling period T.
In the next step S18, the time stamp information “TIME STAMP” included in the currently received packet is loaded into the reception side time stamp register TSr, the contents of the register TSr are updated, and the update clock register updateCLOCK is set to a true value. Set TRUE.
[0035]
In step S19, the value of variable register i is incremented by one. In the next step S20, it is checked whether or not the value of the incremented variable register i is equal to the number of data x in the packet stored in the register X. If NO, the process returns to step S13, and the processes of steps S13 to S18 are repeated with respect to the incremented value of the variable register i.
If YES in step S20, the process goes to step S21, and the sampling clock frequency on the receiving side 20 is determined according to the original sampling period T calculated in step S17 on the condition that the content of the update clock register updateCLOCK is a true value TRUE. In accordance with this period T, the clock synchronization processing to be set is performed. That is, the sampling clock frequency on the receiving side 20 is set or updated according to the calculation result T in step S17. Thereafter, the process returns to end this “reception process”. Since only one time stamp information is included in one packet, it is not necessary to repeat the processes in steps S13 to S20 once the route of steps S17 and S18 is taken. Therefore, after step S18, the flow may be changed to jump to step S21.
[0036]
Next, assuming that M = 4, the operation example of FIG. 5 will be described with reference to the second and third stages of FIG.
When the information of the first packet including the data of ordinal numbers 0, 1, and 2 is received in the second service section SF2, j = 0 and X = 3 are set in step S11. In this case, when j = 0 and i = 0, step S14 is YES. Since “void” is initially set in TSr, the next step S15 is YES, and in step S16, the time stamp information “TIME STAMP” = “1” included in the currently received packet is set in the register TSr. Is done. Eventually, after repeating the processes of steps S13 to S20, the process goes to step S21. In this case, since the contents of the update clock register updateCLOCK are still set to the false value FALSE, the sampling clock frequency is not set on the receiving side 20. Accordingly, reproduction / reading of data stored in the data buffer 22 has not yet been started.
[0037]
When the information of the second packet including the data of the ordinal numbers 3 and 4 is received in the third service section SF3, j = 3 and X = 2 are set in step S11. In this case, when j = 3 and i = 1, step S14 is YES. Since the time stamp information “TIME STAMP” = “1” included in the previously received packet is set in the register TSr, the next step S15 is determined to be NO, and the process goes to step S17. In this case, since the time stamp information “TIME STAMP” included in the currently received packet is “17”, T = (17−1) / 4 = 4 is obtained in the calculation of step S17. In the next step S18, “17” of “TIME STAMP” is set in the register TSr, and true value TRUE is set in updateCLOCK. Therefore, in the subsequent step S21, the sampling clock frequency is set on the receiving side 20 in accordance with the period T. As a result, the data stored in the data buffer 22 can be reproduced and read. In FIG. 1C, data is read and read according to the period T from the beginning of the next service section SF4. However, the present invention is not limited to this, and reproduction and reading of data stored in the data buffer 22 may be started as soon as the processing in step S21 is completed even during the service section SF3.
[0038]
When the information of the third packet including the data of the ordinal numbers 5 and 6 is received in the fourth service section SF4, j = 5 and X = 2 are set in step S11. In this case, the value of the variable register i is set to 0 at the beginning and 1 after that. Therefore, in step S14, determination is made for both j + i = 5 + 0 = 5 and j + i = 5 + 1 = 6. In either case, the determination result is NO, and the routes of steps S17 and S18 are I can't pass. Accordingly, the calculation of the original period T in step S17 is not performed, and “17” of the time stamp information “TIME STAMP” included in the previously received packet is held in the register TSr. Therefore, the sampling clock frequency update process in step S21 is not performed, and the reproduction and reading of the data stored in the data buffer 22 is continued while maintaining the clock frequency according to the previously calculated cycle T. As described above, when the time stamp information “TIME STAMP” included in the packet is empty data “void”, the sampling clock frequency update process is not performed.
[0039]
When information of the fourth packet including the data of the ordinal numbers 7 and 8 is received in the fifth service section SF5, j = 7 and X = 2 are set in step S11. Also in this case, the value of the variable register i is set to 0 at the beginning and 1 after that. In step S14, if j + i = 7 + 1 = 8, YES is determined. Then, the process goes to step S17, where “33” of the time stamp information “TIME STAMP” included in the packet received this time and “17” of the time stamp information included in the previously received packet stored in the register TSr. And T = (33−17) / 4 = 4. In the next step S18, “33” of “TIME STAMP” is set in the register TSr, and true value TRUE is set in updateCLOCK. Accordingly, in the subsequent step S21, the sampling clock frequency on the receiving side 20 is updated according to the period T.
Thereafter, the same operation is performed, and in response to reception of a packet having the contents as shown in the second row of FIG. Is called.
[0040]
In the above example, since the numerical value of the time stamp information is shown in a simplified manner, the period T obtained as a result of the calculation is a constant numerical value 4. Normally, the calculation is performed according to the setting of the resolution of each numerical value. The result value T takes a more complicated value. The receiving side 20 is controlled to synchronize so that the sampling clock frequency is constantly adjusted according to the calculation result value T. In this way, the sampling clock frequency of the transmission side 10 and the reception side 20 is controlled to be constantly synchronized by the time stamp information transmitted for each predetermined data group.
The predetermined constant M in the above embodiment is a value that does not add a time stamp to two or more data in one packet generation period (that is, one service section SF), that is, within one packet generation period. It is desirable that the value be larger than the maximum value of the number of data to be supplied (“3” in the example of FIG. 1). In order to increase the reproducibility of the sampling period T on the receiving side, such a value is desirable. It is desirable to be the minimum value of Furthermore, it is preferable to set M to a power of 2 because the division operation can be simplified.
[0041]
By the way, in order to synchronize the sampling clock frequencies on the transmission side and the reception side, the simplest is to give information indicating the sampling clock frequency from the transmission side to the reception side at the beginning of data transmission, and on the reception side The clock division ratio should be set so as to oscillate the sampling clock frequency corresponding to the information. However, there may be a slight difference in the actual sampling clock frequency between the transmitting side and the receiving side due to the individual difference of the crystal oscillator used as the oscillation source. There's a problem. That is, in the data reproduction / reading technique based on the clock oscillation output, the oscillation output of the crystal oscillator used as the oscillation source is divided to create a sampling clock having a desired period. Even if the same division ratio is set between transmission and reception due to individual differences between the crystal oscillator used and the crystal oscillator used to read data on the reception side, the actual sampling clock frequency on the transmission side and reception side is subtly Misalignment may occur. This subtle deviation is accumulated in a continuous audio reproduction process or the like over a long period of time, and finally causes a noticeable deviation in reproduction timing.
[0042]
For example, in general, when transmitting and receiving information between different systems, a buffer is provided on the receiving side to absorb the timing shift of data transfer, but as described above, there is a slight shift in the sampling clock frequency between transmission and reception. If there is, the receiver buffer may overflow (if the receiver clock frequency is relatively slow) or underflow (if the receiver clock frequency is relatively fast). is there. In such a case, normal data transmission / reception cannot be performed, which is not preferable. On the other hand, in the method of controlling the sampling clock frequency on the transmission side and the reception side to be constantly synchronized by adding time information to the data to be transmitted as in the present invention, such a problem occurs. Since it does not occur, it is more preferable.
[0043]
In the above embodiment, the receiving side 20 sets the sampling clock frequency for reproduction / reading control of the data buffer 22 based on the cycle T calculated in step S17. However, reproduction / reading control based on time information is performed. This aspect is not limited to this, and may be appropriately designed. For example, a process for adding unique time information may be performed on data to which time stamp information is not added, and reproduction and reading may be performed with reference to the unique time information for each data.
Prior to data transmission, data indicating a basic sampling period T is transmitted, and the receiving side 20 first starts data reproduction and reading at a sampling period T corresponding to the transmitted data. Also good. By doing so, the rise of data reproduction / reading on the receiving side 20 can be advanced by one service section compared to the above embodiment.
Prior to transmission of the original data, some dummy data may be transmitted with an initial value of the time stamp. In this case, the data reproduction / reading on the receiving side 20 is started by cutting the dummy data and starting with the actual data. For example, in the case of FIG. 1C, if the data of ordinal numbers 0, 1, and 2 are dummy data, the data on the ordinal number 3 (the actual data of the actual data) Start reading from the top). Even in such a case, the actual data read / read start on the receiving side 20 can be advanced by one service section compared to the above embodiment.
[0044]
In the case of implementing the data transmission method as shown in FIG. 1B, the steps S2 and S3 of FIG. 3 are generally omitted, and instead of “TIME STAMP ← TSt” in step S6 of FIG. “TIME STAMP ← current value of timer 13” is performed, and a variable predetermined number x (value of register X) may be used instead of the predetermined constant M in steps S14 and S17 of FIG.
Further, when the data transmission method as shown in FIG. 1A is performed, data per packet is generally used instead of the predetermined constant M in step S2 in FIG. 3 and steps S14 and S17 in FIG. A fixed number N indicating the number is used, and at the start of the “transmission interrupt process” in FIG. 4, a step for checking whether the number of data x in the transmission buffer TBF is N or more is provided. The interruption process is terminated. If YES, the interruption process is continued. At the time of continuation, a predetermined number N is transmitted and set as “sample number x“ SAMPLE x ”” in step S6, and the preceding N data of the data in the transmission buffer TBF is formed as one packet in step S7. If there are remaining data, they are left in the transmission buffer TBF.
[0045]
【The invention's effect】
As described above, according to the present invention, when a plurality of audio sample data having a time-series arrangement with a fixed period is transmitted via a network, the advantage can be obtained using asynchronous packets. In addition, there is an excellent effect that it is possible to reduce the amount of transmission data per packet by expressing the time information included in the packet and transmitting it with as little data as possible.
It is also possible to provide a data transmission system that minimizes the time delay between transmission and reception. Furthermore, when the time information is expressed with a small amount of data, it is possible to simplify the reproduction processing of the time information on the receiving side as much as possible.
[Brief description of the drawings]
FIG. 1 is a timing chart illustrating several specific examples of a data transmission method according to the present invention.
FIG. 2 is a schematic block diagram showing the overall configuration of an embodiment of a data transmission system according to the present invention.
FIG. 3 is a flowchart schematically showing an example of “transmission preparation processing” performed on the transmission side in FIG. 2;
4 is a flowchart schematically showing an example of “transmission interrupt processing” performed on the transmission side in FIG. 2;
FIG. 5 is a flowchart schematically showing an example of “reception processing” performed on the reception side in FIG. 2;
[Explanation of symbols]
10 Sender
20 Receiver
30 network
11 Data generator
12,22 Data buffer
13 Timer
14, 24 Network processing unit
23 Clock generator
21 Data Usage Department

Claims

A data transmission method for transmitting audio sample data from a transmitting device to a receiving device via a network,
(A) On the transmission side,
Supplying a plurality of audio sample data having a time-series arrangement of first periods, wherein the first period is variable;
Identifying one audio sample data for every two or more predetermined number of audio sample data, and adding time information indicating a time position of the identified audio sample data;
A period of a packet transmission service section in the network asynchronous with the first period, where a predetermined number of the audio sample data and the time information added to any one of the audio sample data are defined as one packet Sending to the network at a predetermined timing of the second period,
(B) On the receiving side,
Receiving the packet via the network;
Temporarily storing the audio sample data included in the received packet;
A step for sequentially reproducing and reading the temporarily stored audio sample data, wherein the sampling period of the temporarily stored audio sample data is updated based on the time information included in the received packet and the reading is controlled. And a step of performing reproduction at a period corresponding to the first period.

A system for transmitting audio sample data between a transmitting device and a receiving device via a network,
(A) The transmitting side device
An apparatus for supplying a plurality of audio sample data having a time-series arrangement of a first period, wherein the first period is variable;
An apparatus for specifying one audio sample data for every two or more predetermined number of the audio sample data, and adding time information indicating a time position of the specified audio sample data;
A period of a packet transmission service section in the network asynchronous with the first period, where a predetermined number of the audio sample data and the time information added to any one of the audio sample data are defined as one packet A device for sending to the network at a predetermined timing of the second period,
(B) The receiving side device
An apparatus for receiving the packet via the network;
An apparatus for temporarily storing the audio sample data included in the received packet;
An apparatus for sequentially reproducing and reading the temporarily stored audio sample data, and updating a sampling period of the temporarily stored audio sample data based on the time information included in the received packet and controlling the reading. Thus, reproduction is performed at a period corresponding to the first period.