JP4245876B2 - Data processing apparatus and data transmission system having the same - Google Patents
Data processing apparatus and data transmission system having the same Download PDFInfo
- Publication number
- JP4245876B2 JP4245876B2 JP2002253438A JP2002253438A JP4245876B2 JP 4245876 B2 JP4245876 B2 JP 4245876B2 JP 2002253438 A JP2002253438 A JP 2002253438A JP 2002253438 A JP2002253438 A JP 2002253438A JP 4245876 B2 JP4245876 B2 JP 4245876B2
- Authority
- JP
- Japan
- Prior art keywords
- audio data
- data
- sampling clock
- encoded
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Detection And Prevention Of Errors In Transmission (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、符号化されたデータを処理するデータ処理装置及びそれを備えたデータ伝送システムに関する。
【0002】
【従来の技術】
インターネットプロトコル(IP)に基づくネットワークで音声を伝送する音声データ伝送装置においては、送信側と受信側のそれぞれに、アナログ音声をデジタル音声に変換(A/D変換)又はデジタル音声をアナログ音声に変換(D/A変換)する際に用いるサンプリング周波数を決定する為のクロック(発振周波数)を供給する発振器が設けられている。
【0003】
この発振器は通常、送信側と受信側で同一の発振周波数に設定されるが、発振器を構成するハードウェアのばらつき等によって、送信側と受信側で発振周波数が微妙に異なってしまう。この結果、送信側のサンプリング周波数が受信側のサンプリング周波数よりも高くなってしまった場合は、ある時間に送信側でA/D変換された音声データの量が、同一時間内に受信側でD/A変換される音声データの量よりも多くなる為、結果的に、音声データが余ってしまう。
【0004】
又、送信側のサンプリング周波数が受信側のサンプリング周波数よりも低くなってしまった場合は、ある時間に送信側でA/D変換された音声データの量が、同一時間内に受信側でD/A変換される音声データの量よりも少なくなる為、結果的に音声データが欠落してしまい、音声の欠落の原因となってしまう。
【0005】
そこで、従来では、この発振周波数のずれによる音声データの余りや欠落という問題点を解決する為に、音声データの送信側が話をしていない間隔、即ち、無音間隔を利用して音声データの余りを破棄(音声データの一部の読み取りをスキップ)したり、音声データの欠落を補完(音声データの一部を2重に読み取る)したりする方式が考案されている(特開2000−113391号公報記載)。
【0006】
【発明が解決しようとする課題】
しかしながら、実際に音声伝送を行う際、無音間隔が必ずしも存在するとは限らず、従来の方式のような技術は常に適用することができないという問題点がある。又、従来の方式において、無音間隔以外のときに音声データの余りを破棄したり、音声データの欠落を補完したりすることも可能であるが、この場合は、音声データを破棄や補完する際に、その部分が、音声データの受信者にとって雑音として聞こえてしまうという問題点がある。
【0007】
本発明は、上記問題点を解決する為になされたものであって、音声データの破棄や補完をすることなく、符号化されたデータを完全に復号化することができるデータ処理装置及びそれを備えたデータ伝送システムを提供することを目的とする。
【0008】
【課題を解決するための手段】
本発明のデータ処理装置は、所定のサンプリングクロックに基づいて符号化された符号化データを受信し、所定時間蓄積する符号化データ蓄積手段と、前記符号化データ蓄積手段に蓄積されている前記符号化データを復号化する復号化手段と、前記符号化データを復号化する為の可変のサンプリングクロックを前記復号化手段に供給するサンプリングクロック供給手段と、前記符号化データ蓄積手段に蓄積されている前記符号化データの蓄積量の変化に応じて、前記可変のサンプリングクロックを前記所定のサンプリングクロックと一致するように前記サンプリングクロック供給手段を制御するサンプリングクロック制御手段とを備える。
【0009】
本発明によれば、符号化データ蓄積手段に蓄積されている符号化データの蓄積量の変化に応じて、符号化データの受信側のサンプリングクロックを、符号化データの送信側の所定のサンプリングクロックに一致させることで、送信側で符号化されたデータを受信側で完全に復号化することができる。
【0010】
又、前記蓄積量の変化が記蓄積量の時間毎の変化であり、前記サンプリングクロック制御手段は、前記蓄積量の時間毎の変化を平均化して判断しても良い。
【0011】
本発明によれば、符号化データ蓄積手段に蓄積されている符号化データの蓄積量の時間毎の変化を平均化して判断することで、一時的な蓄積量の変化に対して、サンプリングクロックを変化させることがなくなる。
【0012】
又、前記サンプリングクロック制御手段は、前記蓄積量の変化を、前記蓄積量の時間毎の変化の差分をとって判断しても良い。
【0013】
本発明によれば、符号化データ蓄積手段に蓄積されている符号化データの蓄積量の急激な変化に対し、その蓄積量の時間毎の変化の差分に応じてサンプリングクロックを変化させることで、符号化データの蓄積量を安定させることができる。
【0014】
又、前記サンプリングクロック制御手段は、前記蓄積量の変化を、前記蓄積量と所定の蓄積量との差分から判断しても良い。
【0015】
本発明によれば、符号化データ蓄積手段に蓄積されている符号化データの蓄積量の急激な変化に対し、その蓄積量と所定の蓄積量との差分に応じてサンプリングクロックを変化させることで、符号化データの蓄積量を安定させることができる。
【0016】
本発明のデータ伝送システムは、所定のサンプリングクロックに基づいて符号化された符号化データを受信し、所定時間蓄積する符号化データ蓄積手段と、前記符号化データ蓄積手段に蓄積されている前記符号化データを復号化する復号化手段と、前記符号化データを復号化する為の可変のサンプリングクロックを前記復号化手段に供給するサンプリングクロック供給手段と、前記符号化データ蓄積手段に蓄積されている前記符号化データの蓄積量の変化に応じて、前記可変のサンプリングクロックを前記所定のサンプリングクロックと一致するように前記サンプリングクロック供給手段を制御するサンプリングクロック制御手段と、前記サンプリングクロック供給手段が供給する可変のサンプリングクロックを固定に設定可能なサンプリングクロック固定設定手段とを有するデータ処理装置を複数備え、前記複数のデータ処理装置のいずれか1つを第1のデータ処理装置、それ以外を第2のデータ処理装置とし、前記第2のデータ処理装置が、前記可変のサンプリングクロックを、前記第1のデータ処理装置の前記サンプリングクロック固定設定手段によって固定に設定されたサンプリングクロックに一致させることを特徴とする。
【0017】
本発明によれば、第2のデータ処理装置のサンプリングクロックを第1のデータ処理装置の固定のサンプリングクロックに一致させることで、データ伝送システムが備える全てのデータ処理装置におけるサンプリングクロックを一致させることができる。
【0018】
本発明のデータ伝送システムは、所定のサンプリングクロックに基づいて符号化された符号化データを受信し、所定時間蓄積する符号化データ蓄積手段と、前記符号化データ蓄積手段に蓄積されている前記符号化データを復号化する復号化手段と、前記符号化データを復号化する為の可変のサンプリングクロックを前記復号化手段に供給するサンプリングクロック供給手段と、前記符号化データ蓄積手段に蓄積されている前記符号化データの蓄積量の変化に応じて、前記可変のサンプリングクロックを前記所定のサンプリングクロックと一致するように前記サンプリングクロック供給手段を制御するサンプリングクロック制御手段と、前記サンプリングクロック供給手段が供給する可変のサンプリングクロックに基づいてデータを符号化する符号化手段と、前記符号化手段により符号化された符号化データにサンプリングクロックの制御の要否を識別する為の識別データを付加する識別データ付加手段と、前記識別データを付加された符号化データ(以下、識別符号化データと言う)を送信する送信手段とを有するデータ処理装置を複数備え、前記複数のデータ処理装置のいずれか1つを第1のデータ処理装置、それ以外を第2のデータ処理装置とし、前記第2のデータ処理装置は、前記第1のデータ処理装置によって送信された前記識別符号化データのうち、サンプリングクロックを制御する必要があることを示す識別データが付加されている識別符号化データのみの蓄積量の変化に応じて、前記サンプリングクロック供給手段を制御することを特徴とする。
【0019】
本発明によれば、第1のデータ処理装置から送信されたサンプリングクロックを制御する必要があることを示す識別データが付加されている識別符号化データのみの蓄積量の変化に応じて、第2のデータ処理装置が前記サンプリングクロック供給手段を制御する。したがって、第1のデータ処理装置と第2のデータ処理装置のサンプリングクロックを一致させることができ、データ伝送システムが備える全てのデータ処理装置におけるサンプリングクロックを一致させることができる。
【0020】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して説明する。
(第一実施形態)
図1は、本発明の第一実施形態に係る音声データ伝送システムの構成図である。
音声データ伝送システムは、音声データ伝送装置100、音声データ伝送装置200、及びIPネットワーク300から構成され、音声データ伝送装置100と音声データ伝送装置200は、IPプロトコルに基づくIPネットワーク300を介して、互いに音声データの伝送を行う。尚、以下では、音声データ伝送装置100から音声データ伝送装置200への音声データ伝送についてのみ説明する為、音声データ伝送装置100は送信装置、音声データ伝送装置200は受信装置として機能する。又、音声データ伝送システムは、音声データ以外にも、画像データや映像データを伝送することができる。
【0021】
音声データ伝送装置100は、音声データ入力部101、特許請求の範囲の符号化手段に該当するA/D変換部102、音声データ圧縮部103、音声データ/IPプロトコル変換部104、及び発振器105を備えて構成される。
【0022】
音声データ入力部101は、音声データの送信者が音声データを入力する為のものである。A/D変換部102は、音声データ入力部101で入力された音声データをA/D変換する。音声データ圧縮部103は、A/D変換部102の出力データを圧縮する。音声データ/IPプロトコル変換部104は、音声データ圧縮部103で圧縮された音声データをIPプロトコルに基づいたデータ(以下、IPデータという)に変換し、IPネットワーク300を介して音声データ伝送装置200に送信する。発振器105は、A/D変換部102が音声データをA/D変換する際のサンプリング周波数を決定する為のクロック(発振周波数)を供給する。尚、音声データ圧縮部103は、音声データの圧縮を行わない場合は不要である。
【0023】
音声データ伝送装置200は、IPプロトコル/音声データ変換部201、特許請求の範囲の符号化データ蓄積手段に該当する音声データ受信バッファ202、音声データ伸張部203、特許請求の範囲の復号化手段に該当するD/A変換部204、特許請求の範囲のサンプリングクロック制御手段に該当する受信バッファ蓄積量監視部205、特許請求の範囲のサンプリングクロック供給手段に該当する周波数可変発振器206、及び音声データ出力部207を備えて構成される。
【0024】
IP/音声データ変換部201は、音声データ伝送装置100から送信されてきたIPデータを受信し、音声データに変換する。音声データ受信バッファ202は、IPプロトコル/音声データ変換部201で変換された音声データを蓄積し、ある一定の時間分の音声データが蓄積されてから、蓄積した音声データを音声データ伸張部203に送出する。ここで、一定の時間とは、発振器105と周波数可変発振器206の発振周波数によって決定されたサンプリング周波数のずれによって生じる音声データの余りや欠落又はIPネットワーク300における音声データの到達遅延揺らぎを吸収できる長さの時間である。
【0025】
音声データ伸張部203は、音声データ受信バッファ202から送出された音声データを伸張する。D/A変換部204は、音声データ伸張部203で伸張された音声データをD/A変換し、音声データ出力部207に伝達する。音声データ出力部207は、伝達された音声データを出力する。
【0026】
受信バッファ蓄積量監視部205は、音声データ受信バッファ202に蓄積される音声データの蓄積量の変化を監視し、その変化に応じて周波数可変発振器206を制御する。周波数可変発振器206は、D/A変換部204が音声データをD/A変換する際のサンプリング周波数を決定する為のクロックを供給するものであり、このサンプリング周波数は、受信バッファ蓄積量監視部205の制御により変化する。
【0027】
尚、周波数可変発振器206の発振周波数は、発振器105の発振周波数と同じ値に設定されている。又、音声データ伸張部203は、IPプロトコル/音声データ変換部201と音声データ受信バッファ202との間に配置する構成としても良いし、無くても構わない。
【0028】
以上が、音声データ伝送装置100と音声データ伝送装置200の各構成要素の説明である。
次に、音声データ入力部101から音声データが入力され、音声データ出力部207から音声データが出力されるまでの動作を説明する。
音声データ入力部101により入力された音声データは、A/D変換部102において、発振器105によって決定されるサンプリング周波数によってA/D変換される。A/D変換された音声データは、音声データ圧縮部103で圧縮され、音声データ/IPプロトコル変換部104へ伝達され、IPデータに変換される。音声データ/IPプロトコル変換部104で変換されたIPデータは、IPネットワーク300に送出され、音声データ伝送装置200へと到達する。
【0029】
音声データ伝送装置200では、IPプロトコル/音声データ変換部201によりIPデータから変換された音声データが、音声データ受信バッファ202に一定時間蓄積される。一定時間後、音声データ受信バッファ202に蓄積されている音声データが音声データ伸張部203に送出され、伸張される。伸張された音声データは、D/A変換部204で周波数可変発振器206によって決定されるサンプリング周波数によってD/A変換される。D/A変換された音声データは音声データ出力部207によって出力される。
【0030】
尚、発振器105と周波数可変発振器206の発振周波数は、発振器105と周波数可変発振器206を構成するハードウェアのばらつきにより、完全に同一とはなっていない。この為、音声データを受信している間、受信バッファ蓄積量監視部205は、音声データ受信バッファ202の音声データの蓄積量を監視し、その変化に応じて周波数可変発振器206の発振周波数を、発振器105の発振周波数に合わせるように変化させる動作を行う。
【0031】
次に、受信バッファ蓄積量監視部205の詳細な動作について説明する。
ここで、サンプリング周期よりも充分に長い時間で考えると、発振器105の発振周波数よりも周波数可変発振器206の発振周波数が高い場合は、音声データ受信バッファ202に蓄積される音声データの蓄積量は徐々に減少する。一方、発振器105の発振周波数よりも周波数可変発振器206の発振周波数が低い場合は、音声データの蓄積量は徐々に増加する。
【0032】
この為、受信バッファ蓄積量監視部205は、上記音声データの蓄積量の増減変化を監視し、音声データの蓄積量が減少している場合は、周波数可変発振器206の発振周波数を低くするように制御する。一方、音声データの蓄積量が増加している場合は、周波数可変発振器206の発振周波数を高くするように制御する。このようにすることで、音声データ伝送装置100と音声データ伝送装置200との間で、その発振周波数によって決定されるサンプリング周波数が完全に一致し、音声データの余りや欠落といった問題を解消できる。
以上が、音声データ入力部101から音声データ出力部207までの音声データの流れの説明である。
【0033】
次に、受信バッファ蓄積量監視部205の音声データの蓄積量変化の監視方法としていくつかの例を以下に示す。
1.受信バッファ蓄積量監視部205は、音声データ受信バッファ202の音声データの蓄積量の時間変化を、ローパスフィルタ等を通して平均化した後、その平均化した値に応じて周波数可変発振器206の発振周波数を制御する。例えば、短時間のうちに急激な音声データの蓄積量の増減が発生した場合は、その急激な音声データの蓄積量の変化をローパスフィルタによりカットし、その音声データの蓄積量の変化に対しては、周波数可変発振器206の発振周波数の制御は行わない。
【0034】
これにより、音声データ受信バッファ202に蓄積されている音声データが音声データ伸張部203に送出されたことによって生じる一時的な音声データの蓄積量の減少や、IPネットワーク300における音声データの到達遅延揺らぎによって生じる音声データの蓄積量の変化等に対して、受信バッファ蓄積量監視部205が反応して、周波数可変発振器206を制御してしまうことを防ぐことができる。
【0035】
2.受信バッファ蓄積量監視部205は、音声データ受信バッファ202の音声データの蓄積量の時間変化の差分をとり、得られた差分データに応じて周波数可変発振器206の発振周波数を制御する。例えば、差分データがマイナスになっている場合は、音声データの蓄積量が減少していると判断し、その差分データ分をD/A変換しないように周波数可変発振器206の発振周波数を低くする制御を行う。一方、差分データがプラスになっている場合は、音声データの蓄積量が増加していると判断し、その差分データ分をD/A変換するように周波数可変発振器206の発振周波数を高くする制御を行う。
【0036】
これにより、一時的な到達遅延の増大やIPネットワーク300の障害によって生じる、音声データ受信バッファ202の音声データの蓄積量の急激な減少等に対して、その減少分をD/A変換しないようにサンプリング周波数を低くすることで、音声データ受信バッファ202の音声データの蓄積量を回復させることができる。
【0037】
3.受信バッファ蓄積量監視部205は、音声データ受信バッファ202の音声データの蓄積量の変化を、予め定めた蓄積量の基準値との差から判断して、周波数可変発振器206の発振周波数を制御する。例えば、音声データの蓄積量が基準値よりも多い場合は、音声データの蓄積量が増加していると判断し、周波数可変発振器206の発振周波数を高くする制御を行う。一方、音声データの蓄積量が基準値よりも少ない場合は、音声データの蓄積量が減少していると判断し、周波数可変発振器206の発振周波数を低くする制御を行う。
【0038】
これにより、一時的な到達遅延の増大やIPネットワーク300の障害によって生じる、音声データ受信バッファ202の音声データの蓄積量の急激な減少等に対して、その音声データの減少分をD/A変換しないようにサンプリング周波数を低くすることで、音声データ受信バッファ202の音声データの蓄積量を回復させることができる。
【0039】
以上説明したように、本実施形態によれば、音声データの受信装置である音声データ伝送装置200において、音声データ受信バッファ202に蓄積される音声データの蓄積量の変化を、音声データ受信バッファ蓄積量監視部205が監視する。そして、周波数可変発振器206の発振周波数を、音声データの蓄積量が増加しているときは高く、減少しているときは低く変化させて、発振器105の発振周波数に合わせるよう制御している。
【0040】
したがって、音声データ受信バッファ202に蓄積される音声データの蓄積量の変化に応じて、音声データ受信バッファ蓄積量監視部205が、周波数可変発振器206の発振周波数を発振器105の発振周波数に合わせるように制御することで、従来のように無音間隔を利用して音声データの破棄や補完をしなくとも、発振器105と周波数可変発振器206によって決定されるサンプリング周波数のずれに伴う音声データの余りや欠落といった問題を解決することができる。
【0041】
第一実施形態では、音声データ伝送装置100が送信装置、音声データ伝送装置200が受信装置として機能する場合について説明したが、音声データ伝送装置100と音声データ伝送装置200が相互に音声データ伝送を行う場合について、以下の本発明の第二実施形態で説明する。
【0042】
(第二実施形態)
図2は、本発明の第二実施形態に係る音声データ伝送システムの構成図である。尚、音声伝送システムにおいて、図1に示した構成と同様のものには、同一符号を付して説明を省略する。
音声データ伝送装置400は、音声データ入力部101、A/D変換部102、音声データ圧縮部103、音声データ/IPプロトコル変換部104、IPプロトコル/音声データ変換部401、音声データ受信バッファ402、音声データ伸張部403、D/A変換部404、受信バッファ蓄積量監視部405、周波数可変発振器406、音声データ出力部407、及び特許請求の範囲のサンプリングクロック固定設定手段に該当する発振周波数固定設定部408を備えて構成される。
【0043】
IPプロトコル/音声データ変換部401、音声データ受信バッファ402、音声データ伸張部403、D/A変換部404、音声データ受信バッファ蓄積量監視部405、及び音声データ出力部407は、図1に示した音声データ伝送装置200の各構成要素に該当する為、その説明を省略する。
【0044】
周波数可変発振器406は、A/D変換部102及びD/A変換部404の両方に対して、サンプリング周波数を決定する為のクロックを供給する。発振周波数固定設定手段408は、受信バッファ蓄積量監視部405の制御によらず、音声データ伝送装置400の所有者が、周波数可変発振器406の発振周波数を固定値に設定する為のものである。尚、発振周波数固定指定手段408は、スイッチやジャンパー線等のハードウェアや音声データ伝送装置400内のCPU(不図示)等によるソフトウェアの設定によって設定する。
【0045】
音声データ伝送装置500は、上記に説明した音声データ伝送装置400と同様の構成である為、その説明を省略する。尚、図2に示した音声データ伝送装置500の各構成要素には、音声データ伝送装置400と対応させて符号を替えてある。
【0046】
以下、音声データ伝送装置400と音声データ伝送装置500が相互に音声データ伝送を行う場合の動作について説明する。
音声データ入力部101から音声データ出力部207への音声データの流れ又は音声データ入力部501から音声データ出力部407への音声データの流れは、第一実施形態と同様である。しかし、音声データ伝送装置400と音声データ伝送装置500のそれぞれが、周波数可変発振器406及び506を有している為、送信側と受信側の発振周波数は常に一致はしない。例えば、音声データ伝送装置400の周波数可変発振器406の発振周波数が高くなると、音声データ伝送装置500の周波数可変発振器506も発振周波数を高くするように動作する。その逆も同様である。
【0047】
この為、本実施形態では、発振周波数固定設定部408又は発振周波数固定設定部508により、周波数可変発振器406又は周波数可変発振器506の発振周波数を固定値に設定しておく。以下では、音声データ伝送装置400の周波数可変発振器406の発振周波数を固定した場合の動作について説明する。
【0048】
音声データ入力部101により入力された音声データは、A/D変換部102で周波数可変発振器406によって決定されるサンプリング周波数(固定値)によってA/D変換される。A/D変換された音声データは、音声データ圧縮部103で圧縮され、音声データ/IPプロトコル変換部104へ伝達され、IPデータに変換される。音声データ/IPプロトコル変換部104で変換された音声データは、IPネットワーク300に送出され、音声データ伝送装置500へと到達する。
【0049】
音声データ伝送装置500では、IPプロトコル/音声データ変換部201により変換された音声データが、音声データ受信バッファ202に一定時間蓄積される。一定時間後、音声データ受信バッファ202に蓄積されている音声データが、音声データ伸張部203に送出され、伸張される。伸張された音声データは、周波数可変発振器506によって決定されるサンプリング周波数によって、D/A変換部204でD/A変換される。D/A変換された音声データは音声データ出力部207によって出力される。
【0050】
音声データを受信している間、受信バッファ蓄積量監視部205は、音声データ受信バッファ202の音声データの蓄積量を監視し、その変化に応じて周波数可変発振器506によって決定されるサンプリング周波数を、発振周波数設定部408に設定されている固定のサンプリング周波数に合わせるように変化させる制御を行う。
【0051】
その後、音声データ入力部501から音声データ伝送装置400に音声データを伝送する場合、A/D変換部502では、受信バッファ蓄積量監視部205の制御により変化したサンプリング周波数によってA/D変換が行われる。そして、第一実施形態で説明したような流れで、音声データが音声データ伝送装置400に伝送され、音声データ出力部407から出力される。
【0052】
このとき、周波数可変発振器406の発振周波数は固定されている為、音声データ伝送装置400と音声データ伝送装置500におけるサンプリング周波数は同一となっている。したがって、音声データ伝送装置400においては、サンプリング周波数を変化させることなく、音声データを音声データ出力部407から出力させることができる。
【0053】
以上説明したように、本実施形態によれば、発振周波数固定設定部408によって、周波数可変発振器406の発振周波数を固定することができる。音声データ伝送装置400におけるサンプリング周波数が固定されている為、周波数可変発振器506によって決定されるサンプリング周波数を、この固定されているサンプリング周波数に合わせることで、音声データの相互伝送を行う際でも、お互いのサンプリング周波数を一致させることができる。
【0054】
尚、本実施形態では、音声データ伝送装置が2台の場合の音声データ伝送システムについて説明したが、音声データ伝送装置が3台以上存在する音声データ伝送システムでも、同様の効果が得られる。この場合は、まず、3台以上の音声データ伝送装置のうちの1台の周波数可変発振器によって決定されるサンプリング周波数を、発振周波数固定設定部を用いて固定する。サンプリング周波数を固定された音声データ伝送装置は、固定のサンプリング周波数に基づいてサンプリングしたデータを音声データ伝送システム上の全ての音声データ伝送装置に対して送信する。このデータを受信した各音声データ伝送装置は、受信量バッファ蓄積量監視部の制御により、周波数可変発振器のサンプリング周波数を、データを送信した音声データ伝送装置の固定のサンプリング周波数に合わせる。
【0055】
このようにすることで、3台以上の音声データ伝送装置を有する音声データ伝送システムにおいても、各音声データ伝送装置のサンプリング周波数をシステム全体で一致させることができる。
【0056】
又、本実施形態のように、複数の音声データ伝送装置のいずれかの発振周波数を固定する方法以外で、システム全体のサンプリング周波数を一致させる方法について以下の第三実施形態で説明する。
【0057】
(第三実施形態)
図3は、本発明の第三実施形態に係る音声データ伝送システムの構成図である。音声データ伝送システムは、図2に示した発振周波数固定設定部408と508が無い構成とし、特許請求の範囲の送信手段に該当する音声データ/IPプロトコル変換部604、特許請求の範囲の送信手段に該当する音声データ/IPプロトコル変換部704、受信バッファ蓄積量監視部705、及び受信バッファ蓄積量監視部605を備えること以外は、第二実施形態と同様である。この為、図2と同様の構成には同一符号を付して説明を省略する。
【0058】
音声データ伝送装置600の音声データ/IPプロトコル変換部604は、音声データ伝送装置700の受信バッファ蓄積量監視部705で識別可能な識別データを全ての音声データに付加する識別データ付加部(不図示)を有する。この識別データとは、音声データ伝送装置700においてサンプリング周波数を可変制御するかどうかを識別する為のものである。
【0059】
識別データ付加部は、例えば、ある音声データ(以下、基準データと言う)には、サンプリング周波数を音声データ伝送装置600に一致させる必要があることを示す“0001”という識別データを、それ以外の音声データにはサンプリング周波数を音声データ伝送装置600に一致させる必要が無いことを示す“0001”以外の4ビットの識別データを、その末尾に付加する。尚、“0001”を付加する基準データは、音声データ伝送装置600の使用者によって任意に設定可能である。
【0060】
受信バッファ蓄積量監視部705は、音声データ受信バッファ202に蓄積されている音声データの末尾に付加されている識別データを識別し、“0001”という識別データが付加されている音声データの蓄積量変化を監視し、その蓄積量変化に応じて周波数可変発振器506を制御する。“0001”以外の識別データが付加されている音声データについては、周波数可変発振器506の制御は行わない。
【0061】
尚、音声データ/IPプロトコル変換部704及び受信バッファ蓄積量監視部605は、音声データ/IPプロトコル変換部604及び受信バッファ蓄積量監視部705と同様の構成である為、その説明を省略する。
【0062】
以上説明したように、本実施形態によれば、識別データ“0001”を付加した音声データを送信する音声データ伝送装置600のサンプリング周波数に対して、音声データ伝送装置700のサンプリング周波数を一致させることができる。
【0063】
尚、上記では、音声データ伝送装置が2台で、かつ、各々が1種類ずつの音声データを送信する場合について説明したが、音声データ伝送装置が3台以上ある場合や1台の音声データ伝送装置で複数の音声データを送受信する場合の音声データ伝送システムにおいても同様の効果が得られる。
【0064】
この場合は、例えば、1台の音声データ伝送装置が、識別データ付加部により、基準データの末尾に上述した“0001”という識別データを付加する。一方、基準データ以外の音声データの末尾には、“0001”以外の識別データを付加する。そして、この識別データ“0001”を付加した基準データに関しては、必ず、音声データ伝送システム上の全ての音声データ伝送装置に送信する。“0001”以外の識別データが付加された音声データは、音声データ伝送を行う音声データ伝送装置のみに送信する。
【0065】
各音声データ伝送装置では、受信バッファ蓄積量監視部により、識別データ“0001”が付加された基準データのバッファ蓄積量変化に応じて周波数可変発振器を制御する。以上の動作により、基準データを送信した音声データ伝送装置のサンプリング周波数に対して、他の音声データ伝送装置のサンプリング周波数を一致させることができる。その結果、音声データ伝送システム上の全ての音声データ伝送装置のサンプリング周波数を一致させることができる。
【0066】
尚、識別データは、ネットワーク上に複数の音声データが存在する場合に、これらの音声データを識別する為のチャンネルに相当する番号として利用することができる。例えば各音声データが10種類ある場合、各音声データに1〜10までのチャンネル番号を付加し、「1チャンネルの音声データに対して、サンプリング周波数を同期させる」という設定を行う。このようにすることで、上記で説明したように、各チャンネルの音声データを1チャンネルの音声データに同期させることができる。
【0067】
【発明の効果】
本発明によれば、データ受信側に到達した符号化データの蓄積量の変化に応じて、符号化データの受信側のサンプリングクロックを、符号化データの送信側のサンプリングクロックに一致させることができる。したがって、送信側で符号化されたデータを、受信側で完全に復号化できるデータ処理装置及びそれを備えたデータ伝送システムを提供することができる。
【図面の簡単な説明】
【図1】 本発明の第一実施形態に係る音声データ伝送システムの構成図。
【図2】 本発明の第二実施形態に係る音声データ伝送システムの構成図。
【図3】 本発明の第三実施形態に係る音声データ伝送システムの構成図。
【符号の説明】
100、200、400、500、600、700 音声データ伝送装置
101、501 音声データ入力部
102、502 A/D変換部
103、503 音声データ圧縮部
104、504、604、704 音声データ/IPプロトコル変換部
105 発振器
201、401 IPプロトコル/音声データ変換部
202,402 音声データ受信バッファ
203、403 音声データ伸張部
204、404 D/A変換部
205、405、605、705 受信バッファ蓄積量監視部
206、406、506 周波数可変発振器
207、407 音声データ出力部
408、508 発振周波数固定設定部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a data processing apparatus that processes encoded data and a data transmission system including the data processing apparatus.
[0002]
[Prior art]
In an audio data transmission device that transmits audio over a network based on the Internet Protocol (IP), analog audio is converted into digital audio (A / D conversion) or digital audio is converted into analog audio for each of the transmitting side and the receiving side. An oscillator for supplying a clock (oscillation frequency) for determining a sampling frequency used for (D / A conversion) is provided.
[0003]
This oscillator is normally set to the same oscillation frequency on the transmission side and the reception side. However, the oscillation frequency slightly differs between the transmission side and the reception side due to variations in hardware constituting the oscillator. As a result, when the sampling frequency on the transmission side becomes higher than the sampling frequency on the reception side, the amount of audio data A / D-converted on the transmission side at a certain time becomes equal to D on the reception side within the same time. As a result, the amount of audio data is larger than the amount of audio data to be / A converted, and as a result, audio data remains.
[0004]
Also, if the sampling frequency on the transmission side is lower than the sampling frequency on the reception side, the amount of audio data A / D converted on the transmission side at a certain time becomes D / D on the reception side within the same time. Since the amount is smaller than the amount of audio data to be A-converted, audio data is lost as a result, resulting in audio loss.
[0005]
Therefore, in the past, in order to solve the problem of excess or lack of audio data due to this oscillation frequency deviation, the audio data transmission side is not used, that is, the silence of audio data is used for the remainder of the audio data. Have been devised (such as skipping reading of a part of audio data) or supplementing a lack of audio data (reading a part of the audio data doubly) (Japanese Patent Laid-Open No. 2000-113391). (Publication).
[0006]
[Problems to be solved by the invention]
However, when actually performing voice transmission, there is not always a silence interval, and there is a problem that a technique like the conventional method cannot always be applied. In addition, in the conventional method, it is possible to discard the remainder of the audio data at times other than the silence interval, or to compensate for the loss of the audio data. In addition, there is a problem that this portion is heard as noise by the receiver of the voice data.
[0007]
The present invention has been made to solve the above-described problems, and a data processing apparatus capable of completely decoding encoded data without discarding or complementing audio data, and a data processing apparatus therefor An object is to provide a data transmission system provided.
[0008]
[Means for Solving the Problems]
The data processing apparatus of the present invention receives encoded data encoded based on a predetermined sampling clock and stores the encoded data for a predetermined time, and the code stored in the encoded data storage Decoding means for decoding encoded data, sampling clock supply means for supplying a variable sampling clock for decoding the encoded data to the decoding means, and stored in the encoded data storage means Sampling clock control means for controlling the sampling clock supply means so that the variable sampling clock coincides with the predetermined sampling clock according to a change in the accumulated amount of the encoded data.
[0009]
According to the present invention, the sampling clock on the reception side of the encoded data is changed to the predetermined sampling clock on the transmission side of the encoded data in accordance with the change in the amount of encoded data stored in the encoded data storage means. Therefore, the data encoded on the transmission side can be completely decoded on the reception side.
[0010]
Further, the change in the storage amount may be a change in the storage amount every time, and the sampling clock control means may determine by averaging the change in the storage amount every time.
[0011]
According to the present invention, it is possible to determine a sampling clock with respect to a temporary change in the accumulated amount by averaging the change in the accumulated amount of the encoded data accumulated in the encoded data accumulating unit with time. There is no change.
[0012]
Further, the sampling clock control means may determine the change in the accumulated amount by taking a difference in the accumulated amount with respect to time.
[0013]
According to the present invention, by changing the sampling clock according to the difference of the change in the accumulated amount for each time with respect to the rapid change in the accumulated amount of the encoded data stored in the encoded data storage unit, The accumulated amount of encoded data can be stabilized.
[0014]
The sampling clock control means may determine the change in the accumulation amount from a difference between the accumulation amount and a predetermined accumulation amount.
[0015]
According to the present invention, in response to a sudden change in the amount of encoded data stored in the encoded data storage means, the sampling clock is changed according to the difference between the amount stored and the predetermined amount. Therefore, the accumulated amount of encoded data can be stabilized.
[0016]
The data transmission system of the present invention includes:Received encoded data encoded based on a predetermined sampling clock, and stores encoded data storage means for storing for a predetermined time, and decoding for decoding the encoded data stored in the encoded data storage means Means, a sampling clock supply means for supplying a variable sampling clock for decoding the encoded data to the decoding means, and a storage amount of the encoded data stored in the encoded data storage means Sampling clock control means for controlling the sampling clock supply means so that the variable sampling clock coincides with the predetermined sampling clock according to a change;A plurality of data processing devices having sampling clock fixed setting means capable of fixedly setting a variable sampling clock supplied by the sampling clock supply means, and any one of the plurality of data processing devices is set to the first data The second data processing device is a processing device, and the other is the second data processing device, and the second data processing device sets the variable sampling clock to be fixed by the sampling clock fixed setting means of the first data processing device. It is characterized by matching with the sampling clock.
[0017]
According to the present invention, by matching the sampling clock of the second data processing device with the fixed sampling clock of the first data processing device, the sampling clocks of all the data processing devices included in the data transmission system are matched. Can do.
[0018]
The data transmission system of the present invention includes:Received encoded data encoded based on a predetermined sampling clock, and stores encoded data storage means for storing for a predetermined time, and decoding for decoding the encoded data stored in the encoded data storage means Means, a sampling clock supply means for supplying a variable sampling clock for decoding the encoded data to the decoding means, and a storage amount of the encoded data stored in the encoded data storage means Sampling clock control means for controlling the sampling clock supply means so that the variable sampling clock coincides with the predetermined sampling clock according to a change;A coding means for coding data based on a variable sampling clock supplied by the sampling clock supply means, and for identifying whether the control of the sampling clock is necessary for the encoded data encoded by the coding means. A plurality of data processing devices each including identification data adding means for adding the identification data and transmission means for transmitting encoded data to which the identification data is added (hereinafter referred to as identification encoded data), Any one of the data processing devices is a first data processing device, and the other is a second data processing device, and the second data processing device transmits the identification code transmitted by the first data processing device. Among the encoded data, only the encoded encoded data to which the identification data indicating that the sampling clock needs to be controlled is added is stored. Depending on the change of the amount, the controller controls the sampling clock signal supply meansFeatures.
[0019]
According to the present invention, in accordance with a change in the accumulation amount of only the identification encoded data to which identification data indicating that the sampling clock transmitted from the first data processing device needs to be controlled is added, the second The data processing apparatus controls the sampling clock supply means. Therefore, the sampling clocks of the first data processing device and the second data processing device can be matched, and the sampling clocks of all the data processing devices included in the data transmission system can be matched.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
(First embodiment)
FIG. 1 is a configuration diagram of an audio data transmission system according to the first embodiment of the present invention.
The voice data transmission system includes a voice
[0021]
The audio
[0022]
The voice
[0023]
The audio
[0024]
The IP / voice
[0025]
The audio
[0026]
The reception buffer accumulation
[0027]
Note that the oscillation frequency of the
[0028]
The above is the description of each component of the audio
Next, operations from when audio data is input from the audio
The audio data input by the audio
[0029]
In the audio
[0030]
Note that the oscillation frequencies of the
[0031]
Next, a detailed operation of the reception buffer accumulation
Here, considering a time sufficiently longer than the sampling period, when the oscillation frequency of the
[0032]
For this reason, the reception buffer accumulation
The above is the description of the flow of audio data from the audio
[0033]
Next, some examples of the monitoring method for the change in the accumulated amount of audio data in the reception buffer accumulated
1. The reception buffer accumulation
[0034]
As a result, a temporary reduction in the amount of voice data accumulated due to the voice data stored in the voice
[0035]
2. The reception buffer accumulation
[0036]
As a result, for a sudden decrease in the amount of voice data stored in the voice
[0037]
3. The reception buffer accumulation
[0038]
As a result, in response to a sudden increase in the amount of voice data stored in the voice
[0039]
As described above, according to the present embodiment, in the audio
[0040]
Therefore, the audio data reception buffer accumulation
[0041]
In the first embodiment, the audio
[0042]
(Second embodiment)
FIG. 2 is a configuration diagram of an audio data transmission system according to the second embodiment of the present invention. In the audio transmission system, the same components as those shown in FIG.
The audio
[0043]
The IP protocol / audio
[0044]
The
[0045]
Since the audio
[0046]
Hereinafter, an operation when the audio
The flow of audio data from the audio
[0047]
For this reason, in the present embodiment, the oscillation frequency fixed
[0048]
The audio data input from the audio
[0049]
In the audio
[0050]
While receiving the audio data, the reception buffer accumulation
[0051]
Thereafter, when audio data is transmitted from the audio
[0052]
At this time, since the oscillation frequency of the
[0053]
As described above, according to the present embodiment, the oscillation frequency of the
[0054]
In the present embodiment, the audio data transmission system with two audio data transmission apparatuses has been described. However, the same effect can be obtained even in an audio data transmission system with three or more audio data transmission apparatuses. In this case, first, the sampling frequency determined by one frequency variable oscillator of the three or more audio data transmission apparatuses is fixed using the oscillation frequency fixing setting unit. The audio data transmission apparatus having a fixed sampling frequency transmits data sampled based on the fixed sampling frequency to all audio data transmission apparatuses on the audio data transmission system. Each audio data transmission apparatus that has received this data adjusts the sampling frequency of the frequency variable oscillator to the fixed sampling frequency of the audio data transmission apparatus that has transmitted the data under the control of the reception amount buffer accumulation amount monitoring unit.
[0055]
In this way, even in an audio data transmission system having three or more audio data transmission devices, the sampling frequency of each audio data transmission device can be matched in the entire system.
[0056]
A method for matching the sampling frequencies of the entire system other than the method for fixing the oscillation frequency of any one of the plurality of audio data transmission apparatuses as in this embodiment will be described in the following third embodiment.
[0057]
(Third embodiment)
FIG. 3 is a configuration diagram of an audio data transmission system according to the third embodiment of the present invention. The audio data transmission system is configured without the oscillation frequency fixed
[0058]
An audio data / IP
[0059]
The identification data adding unit, for example, adds identification data “0001” indicating that the sampling frequency needs to match the audio
[0060]
The reception buffer accumulation
[0061]
The voice data / IP protocol conversion unit 704 and the reception buffer accumulation
[0062]
As described above, according to the present embodiment, the sampling frequency of the audio
[0063]
In the above description, the case where there are two audio data transmission devices and each transmits one type of audio data has been described. However, there are three or more audio data transmission devices or one audio data transmission device. The same effect can be obtained in an audio data transmission system in which a plurality of audio data is transmitted and received by the apparatus.
[0064]
In this case, for example, one audio data transmission apparatus adds the above-described identification data “0001” to the end of the reference data by the identification data adding unit. On the other hand, identification data other than “0001” is added to the end of the audio data other than the reference data. The reference data to which the identification data “0001” is added is always transmitted to all audio data transmission apparatuses on the audio data transmission system. Audio data to which identification data other than “0001” is added is transmitted only to the audio data transmission apparatus that performs audio data transmission.
[0065]
In each audio data transmission device, the variable frequency oscillator is controlled by the reception buffer accumulation amount monitoring unit in accordance with the buffer accumulation amount change of the reference data to which the identification data “0001” is added. With the above operation, the sampling frequency of another audio data transmission device can be matched with the sampling frequency of the audio data transmission device that has transmitted the reference data. As a result, the sampling frequencies of all the audio data transmission apparatuses on the audio data transmission system can be matched.
[0066]
The identification data can be used as a number corresponding to a channel for identifying the audio data when there are a plurality of audio data on the network. For example, when there are 10 types of audio data, channel numbers 1 to 10 are added to each audio data, and a setting of “synchronizing sampling frequency with respect to audio data of 1 channel” is performed. By doing so, as described above, the audio data of each channel can be synchronized with the audio data of one channel.
[0067]
【The invention's effect】
According to the present invention, the sampling clock on the reception side of the encoded data can be made to coincide with the sampling clock on the transmission side of the encoded data in accordance with the change in the accumulated amount of the encoded data that has reached the data reception side. . Therefore, it is possible to provide a data processing apparatus capable of completely decoding data encoded on the transmission side and a data transmission system including the same.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of an audio data transmission system according to a first embodiment of the present invention.
FIG. 2 is a configuration diagram of an audio data transmission system according to a second embodiment of the present invention.
FIG. 3 is a configuration diagram of an audio data transmission system according to a third embodiment of the present invention.
[Explanation of symbols]
100, 200, 400, 500, 600, 700 Audio data transmission apparatus
101, 501 Audio data input unit
102, 502 A / D converter
103, 503 Audio data compression unit
104, 504, 604, 704 Voice data / IP protocol converter
105 oscillator
201, 401 IP protocol / voice data converter
202, 402 Audio data reception buffer
203, 403 Audio data decompression unit
204, 404 D / A converter
205, 405, 605, 705 Receive buffer accumulation amount monitoring unit
206, 406, 506 Frequency variable oscillator
207, 407 Audio data output unit
408, 508 Oscillation frequency fixed setting section
Claims (1)
前記符号化データ蓄積手段に蓄積されている前記符号化データを復号化する復号化手段と、
前記符号化データを復号化する為の可変のサンプリングクロックを前記復号化手段に供給するサンプリングクロック供給手段と、
前記符号化データ蓄積手段に蓄積されている前記符号化データの蓄積量の変化に応じて、前記可変のサンプリングクロックを前記所定のサンプリングクロックと一致するように前記サンプリングクロック供給手段を制御するサンプリングクロック制御手段と、
前記サンプリングクロック供給手段が供給する可変のサンプリングクロックに基づいてデータを符号化する符号化手段と、
前記符号化手段により符号化された符号化データにサンプリングクロックの制御の要否を識別する為の識別データを付加する識別データ付加手段と、
前記識別データを付加された符号化データ(以下、識別符号化データと言う)を送信する送信手段とを有するデータ処理装置を複数備え、
前記複数のデータ処理装置のいずれか1つを第1のデータ処理装置、それ以外を第2のデータ処理装置とし、
前記第2のデータ処理装置は、前記第1のデータ処理装置によって送信された前記識別符号化データのうち、サンプリングクロックを制御する必要があることを示す識別データが付加されている識別符号化データのみの蓄積量の変化に応じて、前記サンプリングクロック供給手段を制御することを特徴とするデータ伝送システム。 Encoded data storage means for receiving encoded data encoded based on a predetermined sampling clock and storing the encoded data for a predetermined time;
Decoding means for decoding the encoded data stored in the encoded data storage means;
Sampling clock supply means for supplying a variable sampling clock for decoding the encoded data to the decoding means;
A sampling clock for controlling the sampling clock supply means so that the variable sampling clock matches the predetermined sampling clock according to a change in the amount of the encoded data stored in the encoded data storage means Control means ;
Encoding means for encoding data based on a variable sampling clock supplied by the sampling clock supply means;
Identification data adding means for adding identification data for identifying whether or not it is necessary to control the sampling clock to the encoded data encoded by the encoding means;
A plurality of data processing devices having transmission means for transmitting encoded data to which the identification data is added (hereinafter referred to as identification encoded data);
Any one of the plurality of data processing devices is a first data processing device, the other is a second data processing device,
The second data processing apparatus includes identification encoded data to which identification data indicating that a sampling clock needs to be controlled is added among the identification encoded data transmitted by the first data processing apparatus. A data transmission system, wherein the sampling clock supply means is controlled in accordance with a change in the storage amount only.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002253438A JP4245876B2 (en) | 2002-08-30 | 2002-08-30 | Data processing apparatus and data transmission system having the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002253438A JP4245876B2 (en) | 2002-08-30 | 2002-08-30 | Data processing apparatus and data transmission system having the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004093775A JP2004093775A (en) | 2004-03-25 |
| JP4245876B2 true JP4245876B2 (en) | 2009-04-02 |
Family
ID=32059436
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002253438A Expired - Fee Related JP4245876B2 (en) | 2002-08-30 | 2002-08-30 | Data processing apparatus and data transmission system having the same |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4245876B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008224658A (en) * | 2007-02-16 | 2008-09-25 | Seiko Instruments Inc | Analog radio-controlled timepiece |
| JP2009162918A (en) * | 2007-12-28 | 2009-07-23 | Toshiba Microelectronics Corp | Decoding / reproducing apparatus and method, and receiving apparatus |
| CA2722551C (en) | 2008-04-25 | 2015-10-20 | Nippon Zoki Pharmaceutical Co., Ltd. | Plastic ampule |
-
2002
- 2002-08-30 JP JP2002253438A patent/JP4245876B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004093775A (en) | 2004-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7460629B2 (en) | Method and apparatus for frame-based buffer control in a communication system | |
| JP4797123B2 (en) | High quality low power wireless audio system | |
| US7283585B2 (en) | Multiple data rate communication system | |
| JP4462996B2 (en) | Packet receiving method and packet receiving apparatus | |
| US6754295B1 (en) | Method and apparatus for synchronizing data transmission and reception over a network | |
| JP2001045067A (en) | Audio transmission device | |
| CN100359892C (en) | Dynamic Latency Management for IP Telephony | |
| JP4905060B2 (en) | Reception device and data reproduction method | |
| JP4076981B2 (en) | Communication terminal apparatus and buffer control method | |
| JP4245876B2 (en) | Data processing apparatus and data transmission system having the same | |
| JP2005101766A (en) | Electronic device and control method thereof | |
| US6937603B1 (en) | Optimizing buffer latency in a streamed packet delivery session | |
| JP2004214755A (en) | Dynamic coding rate change method and apparatus | |
| JP4376165B2 (en) | Receiver, clock adjustment method, and broadcasting system | |
| CN114270735B (en) | Radio equipment for transmitting digital audio streams | |
| JP4476034B2 (en) | Receiver | |
| EP1863213A1 (en) | Duplicate transmission path switching device | |
| KR102510865B1 (en) | Signal processing device, signal processing method, and program | |
| JP2004266724A (en) | Buffer controller for real-time audio | |
| JP2006074359A (en) | Transmission reception system of audio data in teleconference system and control method | |
| JP2008278323A (en) | Network camera | |
| US7305059B2 (en) | Method and device for the clocked output of asynchronously received digital signals | |
| JP2004104701A (en) | Communication terminal device and data communication program | |
| JP4338083B2 (en) | Digital audio playback device | |
| JP2007027813A (en) | Communications system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050830 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060324 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071114 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071121 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071128 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071205 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071212 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080514 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080528 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080725 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081209 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090107 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120116 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |