JP3908684B2 - Sound field control information distribution method and apparatus, and sound field control system - Google Patents
Sound field control information distribution method and apparatus, and sound field control system Download PDFInfo
- Publication number
- JP3908684B2 JP3908684B2 JP2003097336A JP2003097336A JP3908684B2 JP 3908684 B2 JP3908684 B2 JP 3908684B2 JP 2003097336 A JP2003097336 A JP 2003097336A JP 2003097336 A JP2003097336 A JP 2003097336A JP 3908684 B2 JP3908684 B2 JP 3908684B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- sound field
- control
- client terminal
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、通信回線を介して客先のローカルエリア(空間)における音場を制御するための情報を配信する音場制御システムおよび方法に関する。
【0002】
【従来の技術】
インターネットが普及し、各種コンテンツの提供サービスが始まっている。例えば、音楽配信サービスによれば、所定の料金を支払ってインターネット経由でダウンロードすることにより最新の音楽のコンテンツを消費者が簡単かつ即座に入手できる。通信回線を介したコンテンツ配信に依らないこれまでの音楽提供サービスは、良く知られているように、音楽のアナログまたはデジタルのデータが記録されたレコードやコンパクトディスク(CD)といった可搬の記録媒体を大量に生産してこれを流通、販売するというものである。これには、レコード会社のような提供側の業者にとって見れば、販売が不調であった場合には生産した大量の記録媒体を廃棄処分することになり、大いに無駄を生じるというリスクがある。また反対に販売が好調である場合には、しばしば記録媒体の生産が追いつかなくなることがあり、販売促進の好機を逸することが問題となっていた。
【0003】
一方、インターネット等の利用によるいわゆるデジタルコンテンツ配信サービスの場合には、配信サービス業者のサーバ装置に音楽データの複製を配置しておくだけで商品流通が可能となる。これは、上記のようなリスクが無く、極めてメリットの多い商品流通形態であるといえる。また消費者にも多大のメリットがある。すなわち、物理的に商品が市場を流通する形態においては、商品を購入する際には販売店に実際に出向いて探すか、もしくは注文して取り寄せる必要があり、とりわけ販売店に遠い地域に住んでいる消費者にとっては労力の要することであったが、コンテンツ配信サービスではインターネットを経由して手軽に注文や入手ができる。また、料金支払いも電子決済によって簡単に済ませることができる。例えば、情報配信技術については、例えば下記非特許文献1を参考にすることができる。
【0004】
コンテンツ配信サービスがこれまでの商品の流通販売の仕組みを大きく様変わりさせ、今後益々盛んになることが見込まれているなか、顧客の満足度をより高めるべく斬新なサービスを提供することが求められている。
【0005】
【非特許文献1】
インターネット<URL:http://www/sdl.hitachi.co.jp/japanese/results/thema/exp/rd200237_f.htm>
【0006】
【発明が解決しようとする課題】
従来、上述のように音楽等のコンテンツそのものを配信するサービスは既に実現されているが、コンテンツ配信先個人の音場環境を改善するようなサービスはこれまで提供されていない。また、音響環境(例えば音場)を意図的に制御するためには、高価な音響機器が必要とされ、その操作には高度な知識と熟練を要するとされている。
【0007】
本発明はかかる事情を考慮してなされたものであり、高価な音響機器を必要とせず、簡素な機器構成により音場を制御して消音を含む所望の音響環境を簡単に構築することのできる音場制御システムおよび方法を提供することを目的とする。
【0008】
【課題を解決するための手段】
本発明の一観点に係る音場制御情報配信方法は、ローカルエリアに設置される制御スピーカに制御音を供給する再生装置を備えたクライアント端末に対し、音場制御情報を配信する音場制御情報配信方法である。該音場制御情報配信方法は、前記クライアント端末において作成された前記ローカルエリアの音場情報を受信するステップと、前記クライアント端末から受信した音場情報に基づいて前記ローカルエリアの音場特性を反映する空間伝達関数を同定するステップと、同定した前記空間伝達関数に基づいて作成される音場制御情報を前記クライアント端末に配信するステップとを具備することを特徴とする。
【0009】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態を説明する。図1は本発明の実施形態に係る音場制御システムの概略構成を示す図である。本実施形態は高価な音響機器を必要とせず、簡素な機器構成により音場を制御して所望の音響環境(例えば静粛環境)を簡単に構築することのできる音場制御システムに関する。
【0010】
同図における10は、利用者(顧客)毎に各々配置されるクライアント端末を示している。このクライアント端末10はネットワーク20を介して配信サーバ30に接続可能であり、同配信サーバ30との間で音場制御に係る種々の情報を通信する。具体的には、ネットワーク20は例えばインターネットであり、クライアント端末10はネットワーク20に対して一時的或いは常時接続される。各々のクライアント端末10は音場制御に係る情報配信サービスを受ける際には、いわゆるインターネットブラウザ等から配信サーバ30が提供する送受信サイト(後述する)を通じて配信サーバ30にアクセスする。
【0011】
なお、図1のシステム構成はあくまで一例を概略的に示したものであり、種々変更することができる。例えば、クライアント端末側に無線ローカルエリアネットワーク(LAN)が導入されていてもよい。また、インターネットに代えて衛星通信網としてもよい。端末の種類に関してもPC(パーソナルコンピュータ)やPDA(個人用携帯型情報端末)など同等の機能を有する機器を適用可能である。
【0012】
図1における12は、例えば利用者の自宅における音場制御対象のローカルエリア(空間)を示している。このローカルエリア12内には、ノイズ源(騒音源)9があり、このノイズ源9はノイズ音(騒音)を発する。このノイズ音は、ローカルエリア12の音場内を伝達し、制御点Pに位置する利用者35の耳に届く。このようなローカルエリア12の音響環境は、二次的な音響機器を用いて能動的に制御できることが知られている。
【0013】
具体的には、ローカルエリア12内に制御用スピーカ11を配置し、この制御用スピーカ11からノイズ音に同期した制御音を再生させる。制御音は制御点Pについて作成され、ノイズ音に対して例えば逆位相を有する。同期再生により制御音とノイズ音とが重畳されると、制御点Pについての所望の消音効果を得ることができる。制御点Pについての制御音を作成するためには、ノイズ源9と制御音源と制御点Pとの間の音場に関する空間伝達特性、より具体的にはインパルス応答関数を同定することが必要である。なお、図1において制御点Pは一点であるが、制御点は多数点としても良い。このような能動騒音制御(ANC;Active Noise Control)技術については公知であり、例えば参考文献(「静粛工学−快適空間をめざして−」,東京工業大学精密工学研究所,梅沢清彦監修,開発社発行,ISBN4-7591-0095-4)に詳しい。
【0014】
上記のように、ローカルエリア12内の制御点Pを音響機器によって能動的に消音するためには、同エリア12内の空間伝達関数の同定が必要である。本実施形態では、この空間伝達関数を同定するために必要な情報(これを「音場情報」と称する)をクライアント端末10から配信サーバ30に送信する。配信サーバ30は、クライアント端末10から送信された音場情報から少なくとも空間伝達関数を同定し、この同定した空間伝達関数に基づく音場制御情報を作成してクライアント端末10に配信する。
【0015】
後述するが、クライアント端末10において作成される音場情報として、本実施形態では(1)環境情報に基づく音場情報と(2)検査音(ホワイトノイズ)の測定に基づく音場情報との少なくとも2種類を想定する。環境情報に基づく音場情報の場合、配信サーバ30は上記空間伝達関数を推定によって同定する。一方、検査音(ホワイトノイズ)の測定に基づく音場情報の場合、配信サーバ30はこの測定結果を用いて上記空間伝達関数を高精度に算出する。
【0016】
また、配信サーバ30において作成される音場制御情報として、本実施形態では(1)空間伝達関数(インパルス応答関数)を含む音場制御データ1と、(2)制御音の音声データからなる音場制御データ2との2種類を想定する。
【0017】
図2は、クライアント端末10の概略構成を示すブロック図である。クライアント端末10は例えば汎用のパーソナルコンピュータから構成され、同図に示すようにネットワークインタフェース(I/F)101、メモリ102、サウンドカード103、ディスプレイ105、CPU106、およびHDD等の二次記憶装置107を具備する。サウンドカード103には、マイク15と、アンプ104を介して制御用スピーカ11および測定用スピーカ14とが接続されている。
【0018】
サウンドカード103は、CPU106からの制御の下に、配信サーバ30から受信した音場制御情報に基づく音声データまたは配信サーバ30から受信した検査音データを再生し、アナログ又はデジタルの音響信号を出力する再生装置に相当する。この音響信号は制御用スピーカ11または測定用スピーカ14に供給される。これらスピーカ11および14は音響信号に応じた音を発する。また、マイク15により集音された音響信号はサウンドカード103に送られ、デジタルの音声データが生成される。
【0019】
なお、マイク15に代えて、ローカルエリア12内のノイズ源9に関する参照信号を検出する参照信号検出器18を設ける構成としてもよい。この参照信号検出器18はクライアント端末10のCPU106に接続されている。ここで、参照信号は、例えば、ノイズ源9が発生するノイズ音の周期を表す電気信号であり、具体的にはノイズ音と同期するタイマー信号を含む信号である。このような参照信号は、ノイズ音と制御音とを同期再生するために必要な情報に相当する。ただし、制御音を作成するためには別途ノイズ音を特定する情報(「参照情報」という)が必要となる。参照情報は多種多様であり、例えばノイズ源9が工業製品である場合、その機種情報を参照情報としてもよい。この場合は、その機種固有のノイズ音データ(事前測定、シミュレーションによる)が音場制御情報として提供されるわけである。
【0020】
クライアント端末10はネットワークI/F101を介して配信サーバ30から音場制御情報を受信する。受信された音場制御情報はCPU106からの制御の下にメモリ102を二次記憶装置107に転送され、格納保持される。
【0021】
図3は配信サーバ30の概略構成を示すブロック図である。配信サーバ30は好ましくはサーバ用途のコンピュータから構成され、同図に示すようにCPU31と、顧客データ記憶部32と、顧客用データ作成部33と、送受信サイト34とを備える。配信サーバ30は、ネットワーク20を介してアクセスしてきたクライアント端末10に対し、送受信サイト34を通じて情報配信サービスを提供する。このサービスは、クライアント端末10からサービス要求を受け付け、同端末10から音場情報を受信するとともに、同音場情報に基づいて音場制御情報を作成し、同端末10に配信することを含む。送受信サイト34は、例えばHTTP(HyperText Transfer Protocol)上に構築され、クライアント端末10との間で画面情報や各種データの通信を実現するhtml(HyperText Markup Language)ファイルやCGI(Common Gateway Interface)、あるいはJAVA(商標)スクリプトやサーブレット等、WWW(World Wide Web)に係わる各種要素技術を利用して実現することができる。
【0022】
上述したように、クライアント端末10において作成される音場情報には(1)環境情報に基づく音場情報と(2)検査音(ホワイトノイズ)の測定に基づく音場情報との2種類が想定される。これら音場情報の少なくともいずれかが図3に示すようにクライアント端末10から配信サーバ30の送受信サイト34に送信される。また、配信サーバ30において作成される音場制御情報には(1)空間伝達関数を含む音場制御データ1と、(2)制御音の音声データからなる音場制御データ2との2種類が想定され、図3に示すように配信サーバ30の送受信サイト34からクライアント端末10に上記のうちいずれかの音場制御情報が配信される。
【0023】
ここで、以上のような音場制御情報の配信とその同期再生の概念について図4を参照して説明する。図4に示すように配信サーバ30が音場制御データ1または音場制御情報2をクライアント端末10に配信する。
【0024】
(i)配信サーバ30が音場制御データ1をクライアント端末10に配信する場合、クライアント端末10ではマイク15により集音された原音のノイズデータと音場制御データ1すなわちインパルス応答関数とを畳み込み積分し、これにより制御音の音声データを得る。この制御音の音声データは上記ノイズデータと同期するよう制御用スピーカ11を通じて再生される(同期再生)。
【0025】
なお、マイク15による原音のノイズデータに代えて、参照情報に基づいて制御音の音声データを生成することも可能である。上記のように音場制御データ1を制御音の音声データに変換するためのソフトウェアを配信サーバ30等からクライアント端末10に配信するようにしてもよい。
【0026】
このように本実施形態では、制御音を実時間で出力するために、例えばFIR(Finite Impulse Response)のようなディジタルフィルタを用い、このディジタルフィルタにおいて畳み込み積分されるインパルス応答関数を表すデータ(上記音場制御データ1)をネットワークを通じて配信する。
【0027】
(ii)配信サーバ30が音場制御データ2をクライアント端末10に配信する場合、クライアント端末10は配信サーバ30から配信された音場制御データ2すなわち制御音の音声データを、そのままの形態でノイズデータと同期させて再生する。
【0028】
制御音の音声データは、再生装置(サウンドカード103)により再生可能な例えばWAVあるいはMP3等のデータフォーマットを有し、配信先のノイズ音と所定の位相ずれを持った音声データ、より具体的には制御点においてノイズ音に対して逆位相を有する音声データである。
【0029】
なお、ノイズ音が連続的な特定のパターン音からなる場合に、該パターン音に対応する制御音の音声データを繰り返し再生できるようにすれば、配信する音場制御データ2のデータサイズを削減することができ好ましい。また、制御音の音声データをノイズ音と同期して再生させるために専用のソフトウェアをクライアント端末10に設ける構成とし、この専用再生ソフトウェアをサービス提供業者から配信サーバ30等を通じて利用者(顧客)35に配信するよう構成してもよい。
【0030】
図5はマイクを用いる場合の同期再生の様子を示す図である。クライアント端末10は、ノイズ源9の近傍に配置されたマイク15によりノイズ源9からのノイズ音を得てこれをタイミング信号とする。クライアント端末10の同期再生用ソフトウェアは、配信サーバ30から配信された音場制御情報に基づく制御音をタイミング信号と同期させて再生する。これにより制御用スピーカ11から出力される制御音は、ノイズ源9からのノイズ音と同期し、両者は打ち消しあって所望の消音効果が得られる。図6はマイク15に代えて参照信号を用いる場合の同期再生の様子を示す図であり、この場合は参照信号検出器18からの参照信号をタイミング信号とする。
【0031】
ここで、クライアント端末10における音場情報の作成と配信サーバ30における音場制御情報の配信の詳細をそれぞれについて場合分けし、これらを第1乃至第4実施形態として説明する。なお、第1および第2実施形態は音場情報を環境情報に基づく情報とする場合であり、第3及び第4実施形態は音場情報を検査音(ホワイトノイズ)の測定に基づく情報とする場合である。第1および第2実施形態の場合、配信サーバ30はクライアント端末10のローカルエリア12の空間伝達関数を推定によって同定する。一方、第3および第4実施形態の場合、配信サーバ30は同空間伝達関数を検査音測定結果に対する演算処理によって同定する。
【0032】
(第1実施形態)
図7は第1実施形態における音場情報の作成を示す図である。ここでは、クライアント端末10において環境情報18を入力し、これを音場情報として配信サーバ30に送信する。環境情報18の入力にはいわゆるGUI(グラフィカルユーザインターフェース)等が用いられる。環境情報18としては、部屋のレイアウト、例えば、ローカルエリア12の音場に影響を与える構造物の種類および配置、スピーカのレイアウト等である。その他、再生装置およびスピーカの種別、特性等を表す再生装置情報も環境情報として有用である。配信サーバ30は、クライアント端末10から送信された音場情報に顧客IDを付与し、顧客データ記憶部32に保存する。
【0033】
図8は、第1実施形態に係るクライアント端末および配信サーバの一連の処理を示すフローチャートである。まずクライアント端末10においてユーザにより音場情報(ここでは環境情報18に相当する)が入力される(ステップC81)。クライアント端末10は入力された音場情報を配信サーバ30に送信する。
【0034】
配信サーバ30は、クライアント端末10から送信された音場情報を受信し、この受信した音場情報に基づいて、クライアント端末10のローカルエリア12内の空間伝達関数に相当するインパルス応答関数(音場制御データ1)を推定する(ステップS81)。配信サーバ30は推定により求めたインパルス応答関数を含む音場制御データ1をクライアント端末10に配信する(ステップS82)。
【0035】
環境情報に基づく音場情報に対して、空間伝達関数を提供する方法を説明する。
【0036】
配信サーバ30側には、シミュレーションや実測定に基づいた、任意の(環境情報に基づく)音場情報に対応した空間伝達関数のデータが伝達関数テーブルとしてストックされている。そして、クライアント端末10から、環境情報に基づく音場情報が配信されてくると、適切な空間伝達関数を選択し、提供する。更には、より複雑な音場情報に対応するために、あらかじめ用意されている伝達関数テーブル内データを組み合わせて、より適切な伝達関数を作成して提供することも可能である。この際、シミュレーションによる迅速な情報提供と、実測定も含めたより正確な情報提供の双方が可能である。
【0037】
クライアント端末10では、音場情報を配信サーバ30に送信した後にノイズ音またはノイズ音の参照信号を収集する(ステップC83)。この処理には上述したマイク15または参照信号検出器18が用いられる。収集(録音)されたノイズ音またはノイズ音の参照信号をここでは「ノイズデータ」と称する。次にステップC84においては、配信サーバ30から配信を受けた音場制御データ1と、上記ノイズデータとを畳み込み積分し、制御音の音声データを作成する。そして音場制御時には、作成された制御音の音声データをノイズと同期再生し、制御スピーカ11を通じて出力する(ステップC85)。
【0038】
(第2実施形態)
第2実施形態は第1実施形態と同様に音場情報として上述の環境情報18を作成する。この第2実施形態においては、クライアント端末10においてそのまま同期再生可能な制御音を配信サーバ30が作成して同クライアント端末10に配信する。
【0039】
図9は、第2実施形態に係るクライアント端末および配信サーバの一連の処理を示すフローチャートである。まずクライアント端末10においてユーザにより音場情報(第1実施形態と同じく、ここでは環境情報18に相当する)が入力される(ステップC91)。クライアント端末10は入力された音場情報を配信サーバ30に送信する。次にクライアント端末10はマイク15または参照信号検出器18によりノイズ音またはノイズ音の参照信号(ノイズデータ)を収集し、これを配信サーバ30に送信する(ステップC93)。
【0040】
配信サーバ30は、ステップC92においてクライアント端末10から送信された音場情報を受信し、この受信した音場情報に基づいて、クライアント端末10のローカルエリア12内の空間伝達関数に相当するインパルス応答関数(音場制御データ1)を推定する(ステップS91)。インパルス応答関数の推定には上記した方法と同様の方法を用いる。次に配信サーバ30は推定により求めたインパルス応答関数を含む音場制御データ1とステップC93においてクライアント端末10から送信されたノイズデータとを畳み込み積分し、制御音の音声データを作成する(ステップS92)。続いて配信サーバ30は作成した制御音の音声データをクライアント端末10に配信する(ステップS93)。
【0041】
クライアント端末10は、配信サーバ30から配信された制御音の音声データを音場制御時にノイズと同期再生し、制御スピーカ11を通じて出力する(ステップC94)。
【0042】
(第3実施形態)
図10は第3実施形態における音場情報の作成を示す図である。上述したように、第3実施形態および第4実施形態は、音場情報を検査音(ホワイトノイズ)の測定に基づく情報とするものである。同図に示す14は測定用スピーカであり、ノイズ源9の近傍に配置されている。なお、制御用スピーカ11は音場制御のための制御音を再生するために設けられる。検査音の測定では、配信サーバ30からクライアント端末10に向けて検査音(ホワイトノイズ)のデータを配信する。また、ノイズ源9を駆動停止させ、ノイズ音が発生しない状態にする。クライアント端末10は、配信されてきた検査音データを先ず測定用スピーカ14に供給して再生し、その再生音を制御点Pの近傍に配置されたマイク16により集音し、録音する。クライアント端末10は録音された検査音の測定データを配信サーバ30に送信する。次に、検査音データを制御用スピーカ11に供給して再生し、同様に検査音の測定データを得て配信サーバ30に送信する。すなわち、本実施形態では、スピーカ11および14のそれぞれから得られた検査音の録音データをセットにして音場情報とする。なお、測定を行うスピーカの順序は任意であり、上記とは逆にまず制御用スピーカ11について測定し、次に測定用スピーカ14について測定してもよい。また、ノイズ源9が複数存在する場合に、それぞれの近傍に測定用スピーカを配置し、多数の測定データを得て音場情報としてもよい。また、配信サーバ30は、クライアント端末10から送信された音場情報に顧客IDを付与し、顧客データ記憶部32に保存する。
【0043】
図11は、第3実施形態に係るクライアント端末および配信サーバの一連の処理を示すフローチャートである。まず配信サーバ30は検査音(ホワイトノイズ)のデータをクライアント端末10に配信する(ステップS111)。クライアント端末10はこの検査音のデータを受信する(ステップC111)。ここで、ノイズ源9の駆動を停止させる。これは、ユーザが手動により行ってもよい。上記のようにそれぞれのスピーカ11および14を用いて検査音を再生し、それぞれの再生音をマイク16により録音する(ステップC112)。これにより得られたマイク収録音に基づく音場情報を配信サーバ30に返信する(ステップC113)。ここで、ノイズ源9の駆動を再開させる。
【0044】
配信サーバ30は、検査音の測定データセットからなる音場情報をクライアント端末10から受信し、この受信した音場情報に基づいて、クライアント端末10のローカルエリア12内の空間伝達関数に相当するインパルス応答関数(音場制御データ1)を算出する(ステップS112)。インパルス応答関数の算出においては、例えば上記参考文献(「静粛工学−快適空間をめざして−」,東京工業大学精密工学研究所,梅沢清彦監修,開発社発行,ISBN4-7591-0095-4)を参考にすることができる。配信サーバ30は算出したインパルス応答関数を含む音場制御データ1をクライアント端末10に配信する(ステップS113)。
【0045】
クライアント端末10では、音場情報を配信サーバ30に送信した後にノイズデータを収集する(ステップC114)。この処理には上述したマイク15または参照信号検出器18が用いられる。次にステップC115において、配信サーバ30から配信を受けた音場制御データ1と、上記ノイズデータとを畳み込み積分し、制御音の音声データを作成する。そして音場制御時には、作成された制御音の音声データをノイズと同期再生し、制御スピーカ11を通じて出力する(ステップC116)。
【0046】
(第4実施形態)
第4実施形態は第3実施形態と同様に検査音(ホワイトノイズ)による測定をもとに音場情報を作成する。この第4実施形態においては、クライアント端末10においてそのまま同期再生可能な制御音を配信サーバ30が作成して同クライアント端末10に配信する。
【0047】
図12は、第4実施形態に係るクライアント端末および配信サーバの一連の処理を示すフローチャートである。まず配信サーバ30は検査音(ホワイトノイズ)のデータをクライアント端末10に配信する(ステップS121)。クライアント端末10はこの検査音のデータを受信する(ステップC121)。ここで、ノイズ源9の駆動を停止させる。それぞれのスピーカ11および14を用いて検査音を再生し、それぞれの再生音を制御点Pの近傍に配置されたマイク16により録音する(ステップC122)。ここで、ノイズ源9の駆動を再開させ、ノイズデータを収集する。ステップC123では、それぞれのスピーカ11、14についての検査音のマイク収録音とノイズデータとからなる音場情報を配信サーバ30に返信する。
【0048】
配信サーバ30は、ステップC123においてクライアント端末10から送信された音場情報を受信し、この受信した音場情報に基づいて、クライアント端末10のローカルエリア12内の空間伝達関数に相当するインパルス応答関数(音場制御データ1)を算出する(ステップS122)。次に配信サーバ30は算出したインパルス応答関数を含む音場制御データ1とステップC123においてクライアント端末10から送信されたノイズデータとを畳み込み演算し、制御音の音声データを作成する(ステップS123)。続いて配信サーバ30は作成した制御音の音声データをクライアント端末10に配信する(ステップS124)。
【0049】
クライアント端末10は、配信サーバ30から配信された制御音の音声データを音場制御時にノイズと同期再生し、制御スピーカ11を通じて出力する(ステップC124)。
【0050】
(第5実施形態)
次に、配信サーバ30に顧客管理機能を設けた第5実施形態を説明する。図13に示すように、第5実施形態の配信サーバ300は上述の実施形態で説明した構成に加えてID管理部41が付加されており、IDを用いたデータベース管理を行うことができる。すなわち、過去に任意の顧客のクライアント端末42から入手したデータ(音場情報等)に対し、ID管理部41は顧客IDを付与する。顧客IDが付与された音場情報等のデータは、データベースを構成する顧客データ記憶部32に格納、保存される。
【0051】
例えば、クライアント端末42の顧客が一度本システムによるサービスを利用した後、同一の音場条件で同一のサービスを受けたい場合がある。クライアント端末42が配信サーバ300との間の通信をひとたび切断して再度接続を行った場合であっても、顧客IDを入力すると、同顧客IDを手がかりに過去のデータ(音場制御情報等)が顧客データ記憶部32から検索され、適切なデータを迅速かつ簡単に準備することができる。したがって、例えば同じレイアウトの同じ部屋の音場制御についてのサービスを受ける場合、音場情報をクライアント端末側で作成、準備する手間を大幅に低減できるようになる。あるいは、物理的には別な部屋であっても、空間レイアウトおよび構造等から同じ音場条件であると顧客側が判断した場合に、同一のIDを指定することで他の音場制御情報を共用できるようにしてもよい。これは共同住宅、カラオケボックス等で有効であろう。なお、顧客別のみならず、音場を区別可能な場所別にIDを付与する構成としてもよい。
【0052】
以上説明したように、本発明の実施形態によれば、高価な音響機器を必要とせず、簡素な機器構成により音場を制御して所望の音響環境を簡単に構築することのできる音場制御システムおよび方法を提供できる。本システムは、利便性を向上するための次に説明するような付加的な機能を備えていてもよい。例えば、顧客から配信された音場情報を解析して、低減(消音)する対象を特定の周波数帯域に限定した方が有効であるといった情報を求めて顧客に提示する。その後に、どのような顧客向け音場制御情報を作成すればよいかを送受信サイト34を通じて顧客に問うことは有効である。
【0053】
顧客がネットワーク20を通じて配信サーバ30にアクセスし、同配信サーバ30が提供する音場制御サービスを利用した際には、そのサービス利用に応じて課金してもよい。課金のタイミングとしては、顧客が送受信サイト34に配信要求する際としても良いが、一定の無料試行期間を経て音響制御効果(例えば消音効果)を確認したうえで、課金してもよい。また、通信時間に応じた重量制の課金設定としてもよい。さらに、上述したような音声データ解析後の情報のやりとりに関しても、高度な付加価値サービスを提供するわけであるから、そのようなセッションに応じて場合によっては課金してもよい。
【0054】
さらに、音場制御情報には、上記再生音の電子データのみならず、再生装置に接続されたスピーカの適切な配置(レイアウト)を指示する情報が付加される場合もある。また、例えば配信先の空間レイアウト、スピーカの種類、配置等から大まかに空間伝達関数を推定して音場制御情報を作成した場合、顧客自身の耳で音響制御効果を確認し、その評価に関する情報を配信システム側にフィードバック(還元)できれば好ましい。
【0055】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【0056】
【発明の効果】
以上説明したように、本発明によれば、高価な音響機器を必要とせず、簡素な機器構成により音場を制御して所望の音響環境を簡単に構築することのできる音場制御システムおよび方法を提供できる。
【図面の簡単な説明】
【図1】本発明の実施形態に係る音場制御システムの概略構成を示す図
【図2】クライアント端末10の概略構成を示すブロック図
【図3】配信サーバ30の概略構成を示すブロック図
【図4】音場制御情報の配信とその同期再生の概念を説明するための図
【図5】マイクを用いる場合の同期再生の様子を示す図
【図6】マイクに代えて参照情報を用いる場合の同期再生の様子を示す図
【図7】第1実施形態における音場情報の作成を示す図
【図8】第1実施形態に係るクライアント端末および配信サーバの一連の処理を示すフローチャート
【図9】第2実施形態に係るクライアント端末および配信サーバの一連の処理を示すフローチャート
【図10】第3実施形態における音場情報の作成を示す図
【図11】第3実施形態に係るクライアント端末および配信サーバの一連の処理を示すフローチャート
【図12】第4実施形態に係るクライアント端末および配信サーバの一連の処理を示すフローチャート
【図13】 第実施形態に係る配信システムの概略構成を示す図
【符号の説明】
9…ノイズ源、10…クライアント端末、11…制御用スピーカ、12…ローカルエリア、14…測定用スピーカ、15…マイク、18…参照信号検出器、20…ネットワーク、30…配信サーバ、35…顧客、38…環境情報、P…制御点[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a sound field control system and method for distributing information for controlling a sound field in a customer's local area (space) via a communication line.
[0002]
[Prior art]
With the spread of the Internet, various content provision services have begun. For example, according to a music distribution service, consumers can easily and immediately obtain the latest music content by paying a predetermined fee and downloading it via the Internet. As is well known, conventional music providing services that do not rely on content distribution via a communication line are portable recording media such as records in which analog or digital data of music is recorded and compact discs (CDs). Is mass-produced and distributed and sold. For a provider such as a record company, there is a risk that a large amount of recording media produced will be discarded if sales are not successful, resulting in a great waste. On the other hand, when sales are strong, production of recording media often cannot keep up, and there is a problem that missed opportunities for sales promotion.
[0003]
On the other hand, in the case of a so-called digital content distribution service using the Internet or the like, merchandise can be distributed simply by placing a copy of music data on a server device of a distribution service provider. This can be said to be a merchandise distribution form that has no risks as described above and is extremely advantageous. There are also significant benefits for consumers. In other words, in a form where goods are physically distributed in the market, when purchasing goods, it is necessary to actually go to the dealer for searching or order and order, especially living in an area far from the dealer. However, it is difficult for consumers to order and obtain content distribution services via the Internet. Moreover, fee payment can be easily completed by electronic settlement. For example, the following
[0004]
As content distribution services have greatly changed the conventional distribution and distribution system for products and are expected to become increasingly popular in the future, it is necessary to provide innovative services to further improve customer satisfaction. Yes.
[0005]
[Non-Patent Document 1]
Internet <URL: http: //www/sdl.hitachi.co.jp/japanese/results/thema/exp/rd200237_f.htm>
[0006]
[Problems to be solved by the invention]
Conventionally, as described above, a service for distributing content such as music itself has already been realized, but a service for improving the sound field environment of a content distribution destination individual has not been provided so far. Further, in order to intentionally control the acoustic environment (for example, a sound field), an expensive acoustic device is required, and its operation requires advanced knowledge and skill.
[0007]
The present invention has been made in consideration of such circumstances, and does not require an expensive acoustic device, and can easily construct a desired acoustic environment including noise reduction by controlling the sound field with a simple device configuration. An object is to provide a sound field control system and method.
[0008]
[Means for Solving the Problems]
A sound field control information distribution method according to an aspect of the present invention is a sound field control information for distributing sound field control information to a client terminal including a playback device that supplies control sound to a control speaker installed in a local area. Distribution method. The sound field control information delivery method reflects the sound field characteristics of the local area based on the sound field information received from the client terminal and the step of receiving the sound field information of the local area created at the client terminal. A step of identifying a spatial transfer function to be performed, and a step of distributing sound field control information created based on the identified spatial transfer function to the client terminal.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing a schematic configuration of a sound field control system according to an embodiment of the present invention. The present embodiment relates to a sound field control system that can easily construct a desired acoustic environment (for example, a quiet environment) by controlling a sound field with a simple device configuration without requiring an expensive acoustic device.
[0010]
In the figure,
[0011]
Note that the system configuration in FIG. 1 is only an example schematically and can be variously changed. For example, a wireless local area network (LAN) may be introduced on the client terminal side. Further, a satellite communication network may be used instead of the Internet. Regarding the type of terminal, a device having an equivalent function such as a PC (personal computer) or a PDA (personal portable information terminal) can be applied.
[0012]
[0013]
Specifically, the
[0014]
As described above, in order to actively mute the control point P in the
[0015]
As will be described later, as sound field information created in the
[0016]
In the present embodiment, the sound field control information created in the
[0017]
FIG. 2 is a block diagram illustrating a schematic configuration of the
[0018]
Under the control of the
[0019]
Instead of the
[0020]
The
[0021]
FIG. 3 is a block diagram showing a schematic configuration of the
[0022]
As described above, there are two types of sound field information created in the client terminal 10: (1) sound field information based on environmental information and (2) sound field information based on measurement of inspection sound (white noise). Is done. At least one of these sound field information is transmitted from the
[0023]
Here, the concept of the distribution of the sound field control information as described above and the synchronized reproduction thereof will be described with reference to FIG. As shown in FIG. 4, the
[0024]
(I) When the
[0025]
Note that, instead of the noise data of the original sound from the
[0026]
As described above, in the present embodiment, in order to output the control sound in real time, for example, a digital filter such as FIR (Finite Impulse Response) is used. The sound field control data 1) is distributed through the network.
[0027]
(Ii) When the
[0028]
The audio data of the control sound has a data format such as WAV or MP3 that can be reproduced by the reproduction apparatus (sound card 103), and more specifically, audio data having a predetermined phase shift from the noise sound of the distribution destination. Is audio data having a phase opposite to the noise sound at the control point.
[0029]
In addition, when the noise sound is composed of a continuous specific pattern sound, if the sound data of the control sound corresponding to the pattern sound can be repeatedly reproduced, the data size of the distributed sound field control data 2 is reduced. Can be preferable. Further, dedicated software is provided in the
[0030]
FIG. 5 is a diagram showing a state of synchronous reproduction when a microphone is used. The
[0031]
Here, the details of the creation of the sound field information in the
[0032]
(First embodiment)
FIG. 7 is a diagram showing creation of sound field information in the first embodiment. Here, the
[0033]
FIG. 8 is a flowchart showing a series of processes of the client terminal and the distribution server according to the first embodiment. First, sound field information (here, corresponding to the environment information 18) is input by the user at the client terminal 10 (step C81). The
[0034]
The
[0035]
A method for providing a spatial transfer function for sound field information based on environmental information will be described.
[0036]
On the
[0037]
The
[0038]
(Second Embodiment)
As in the first embodiment, the second embodiment creates the above-described
[0039]
FIG. 9 is a flowchart showing a series of processes of the client terminal and the distribution server according to the second embodiment. First, sound field information (here, corresponding to the
[0040]
The
[0041]
The
[0042]
(Third embodiment)
FIG. 10 is a diagram showing creation of sound field information in the third embodiment. As described above, in the third and fourth embodiments, the sound field information is information based on the measurement of the inspection sound (white noise). 14 shown in the figure is a measurement speaker, which is arranged in the vicinity of the
[0043]
FIG. 11 is a flowchart showing a series of processes of the client terminal and the distribution server according to the third embodiment. First, the
[0044]
The
[0045]
The
[0046]
(Fourth embodiment)
As in the third embodiment, the fourth embodiment creates sound field information based on measurement using inspection sound (white noise). In the fourth embodiment, the
[0047]
FIG. 12 is a flowchart showing a series of processes of the client terminal and the distribution server according to the fourth embodiment. First, the
[0048]
The
[0049]
The
[0050]
(Fifth embodiment)
Next, a fifth embodiment in which the
[0051]
For example, there is a case where a customer of the
[0052]
As described above, according to the embodiment of the present invention, the sound field control that does not require an expensive sound device and can easily construct a desired sound environment by controlling the sound field with a simple device configuration. Systems and methods can be provided. This system may be provided with additional functions as described below for improving convenience. For example, the sound field information distributed from the customer is analyzed, and information indicating that it is more effective to limit the target to be reduced (silenced) to a specific frequency band is presented to the customer. After that, it is effective to ask the customer through the transmission / reception site 34 what kind of customer sound field control information should be created.
[0053]
When a customer accesses the
[0054]
Furthermore, not only the electronic data of the reproduced sound but also information indicating an appropriate arrangement (layout) of speakers connected to the reproducing apparatus may be added to the sound field control information. In addition, for example, when the sound field control information is created by roughly estimating the spatial transfer function from the distribution destination spatial layout, speaker type, arrangement, etc., the acoustic control effect is confirmed by the customer's own ear, and information on the evaluation Is preferably fed back to the distribution system.
[0055]
Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
[0056]
【The invention's effect】
As described above, according to the present invention, a sound field control system and method capable of easily constructing a desired sound environment by controlling a sound field with a simple device configuration without requiring an expensive sound device. Can provide.
[Brief description of the drawings]
FIG. 1 is a diagram showing a schematic configuration of a sound field control system according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a schematic configuration of the
3 is a block diagram showing a schematic configuration of a
FIG. 4 is a diagram for explaining the concept of distribution of sound field control information and its synchronized playback;
FIG. 5 is a diagram showing a state of synchronous playback when a microphone is used.
FIG. 6 is a diagram showing a state of synchronous reproduction when reference information is used instead of a microphone;
FIG. 7 is a diagram showing creation of sound field information in the first embodiment.
FIG. 8 is a flowchart showing a series of processes of the client terminal and the distribution server according to the first embodiment.
FIG. 9 is a flowchart showing a series of processes of the client terminal and the distribution server according to the second embodiment.
FIG. 10 is a diagram showing creation of sound field information in the third embodiment.
FIG. 11 is a flowchart showing a series of processes of a client terminal and a distribution server according to the third embodiment.
FIG. 12 is a flowchart showing a series of processes of the client terminal and the distribution server according to the fourth embodiment.
FIG. 13 is a diagram showing a schematic configuration of a distribution system according to the embodiment.
[Explanation of symbols]
DESCRIPTION OF
Claims (9)
前記クライアント端末において作成された前記ローカルエリアの音場情報を受信するステップと、
前記クライアント端末から受信した音場情報に基づいて、前記ローカルエリア内のノイズ源と、前記制御スピーカと、制御点との間の音場に関する空間伝達関数を同定するステップと、
前記クライアント端末から前記ノイズ源が発生したノイズ音を表すノイズデータを受信するステップと、
前記空間伝達関数と前記ノイズデータとを畳み込み積分することにより、前記ノイズ音と同期して再生するための制御音の音声データを生成するステップと、
前記制御音の音声データを前記クライアント端末に配信するステップとを具備することを特徴とする音場制御情報配信方法。A sound field control information distribution method for distributing sound data of the control sound to a client terminal including a playback device that supplies control sound to a control speaker installed in a local area,
Receiving the sound field information of the local area created in the client terminal;
Based on the sound field information received from the client terminal, the steps of identifying the noise source in said local area, and the control speaker, the spatial transfer function for a sound field between the control point,
Receiving noise data representing noise generated by the noise source from the client terminal;
Generating sound data of a control sound for reproduction in synchronization with the noise sound by convolving and integrating the spatial transfer function and the noise data;
Delivering the sound data of the control sound to the client terminal.
前記空間伝達関数の同定は、前記音場環境情報に基づいて該空間伝達関数を推定することにより行なわれることを特徴とする請求項1記載の音場制御情報配信方法。The sound field information includes a sound field environment information representing at least one of a structure that affects a sound field characteristic of the local area, a type of the control speaker, or a layout thereof,
The identification of the spatial transfer function, the sound field control information distribution method according to claim 1, wherein the performed by estimating the spatial transfer function on the basis of the sound field environment information.
前記音場情報は、前記クライアント端末において再生された前記検査音データの再生音を集音した収録音を含み、
前記空間伝達関数を前記収録音に基づいて算出することを特徴とする請求項1記載の音場制御情報配信方法。Delivering inspection sound data to the client terminal;
The sound field information includes a recorded sound obtained by collecting a reproduction sound of the inspection sound data reproduced in the client terminal,
Sound field control information distribution method according to claim 1, characterized in that calculated on the basis of the spatial transfer function to the recording sound.
前記クライアント端末において作成された前記ローカルエリアの音場情報を受信する音場情報受信手段と、
前記クライアント端末から受信した音場情報に基づいて、前記ローカルエリア内のノイズ源と、前記制御スピーカと、制御点との間の音場に関する空間伝達関数を同定する同定手段と、
前記クライアント端末から前記ノイズ源が発生したノイズ音を表すノイズデータを受信するノイズデータ受信手段と、
前記空間伝達関数と前記ノイズデータとを畳み込み積分することにより、前記ノイズ音と同期して再生するための制御音の音声データを生成する音声データ生成手段と、
前記制御音の音声データを前記クライアント端末に配信する制御音データ配信手段とを具備することを特徴とする音場制御情報配信装置。A sound field control information distribution device that distributes audio data of the control sound to a client terminal including a playback device that supplies control sound to a control speaker installed in a local area,
Sound field information receiving means for receiving sound field information of the local area created in the client terminal;
On the basis of the sound field information received from the client terminal, and the noise source in said local area, and the control speaker, and identifying means for identifying the spatial transfer function for a sound field between the control point,
Noise data receiving means for receiving noise data representing noise generated by the noise source from the client terminal;
Audio data generation means for generating audio data of a control sound for reproduction in synchronization with the noise sound by convolving and integrating the spatial transfer function and the noise data;
Sound field control information delivery apparatus characterized by comprising a control sound data distribution means for distributing the audio data of the control sound on the client terminal.
前記同定手段は、前記音場環境情報に基づいて前記空間伝達関数を推定することを特徴とする請求項5記載の音場制御情報配信装置。The sound field information includes a sound field environment information representing at least one of a structure that affects a sound field characteristic of the local area, a type of the control speaker, or a layout thereof,
6. The sound field control information distribution apparatus according to claim 5 , wherein the identification unit estimates the spatial transfer function based on the sound field environment information.
前記音場情報は、前記クライアント端末において再生された前記検査音データの再生音を集音した収録音を含み、
前記同定手段は、前記空間伝達関数を前記収録音に基づいて算出することを特徴とする請求項5記載の音場制御情報配信装置。Further comprising inspection sound data distribution means for distributing inspection sound data to the client terminal;
The sound field information includes a recorded sound obtained by collecting a reproduction sound of the inspection sound data reproduced in the client terminal,
6. The sound field control information distribution apparatus according to claim 5 , wherein the identification unit calculates the spatial transfer function based on the recorded sound .
前記クライアント端末は、
前記ローカルエリアの音場情報を作成する音場情報作成手段と、
前記音場情報を前記配信サーバに送信する音場情報送信手段と、
前記ローカルエリア内のノイズ源が発生したノイズ音を表すノイズデータを前記配信サーバに送信するノイズデータ送信手段とを具備し、
前記配信サーバは、
前記クライアント端末から送信された音場情報に基づいて、前記ローカルエリア内のノイズ源と、前記制御スピーカと、制御点との間の音場に関する空間伝達関数を同定する同定手段と、
前記空間伝達関数と前記ノイズデータとを畳み込み積分することにより、前記ノイズ音と同期して再生するための制御音の音声データを生成する音声データ生成手段と、
前記制御音の音声データを前記クライアント端末に配信する制御音データ配信手段とを具備し、
前記クライアント端末の再生装置は、前記配信サーバから配信された制御音の音声データを前記ノイズ音と同期して再生することを特徴とする音場制御システム。A sound field control system that distributes audio data of the control sound from a distribution server to a client terminal including a playback device that supplies control sound to a control speaker installed in a local area,
The client terminal is
Sound field information creating means for creating sound field information of the local area;
Sound field information transmitting means for transmitting the sound field information to the distribution server ;
Noise data transmitting means for transmitting noise data representing noise generated by a noise source in the local area to the distribution server ;
The distribution server
On the basis of the sound field information transmitted from the client terminal, and the noise source in said local area, and the control speaker, and identifying means for identifying the spatial transfer function for a sound field between the control point,
Audio data generation means for generating audio data of a control sound for reproduction in synchronization with the noise sound by convolving and integrating the spatial transfer function and the noise data;
And a control sound data distribution means for distributing the audio data of the control sound to the client terminal,
The reproduction apparatus of the client terminal reproduces the sound data of the control sound distributed from the distribution server in synchronization with the noise sound.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003097336A JP3908684B2 (en) | 2003-03-31 | 2003-03-31 | Sound field control information distribution method and apparatus, and sound field control system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003097336A JP3908684B2 (en) | 2003-03-31 | 2003-03-31 | Sound field control information distribution method and apparatus, and sound field control system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004302309A JP2004302309A (en) | 2004-10-28 |
| JP3908684B2 true JP3908684B2 (en) | 2007-04-25 |
Family
ID=33409147
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003097336A Expired - Fee Related JP3908684B2 (en) | 2003-03-31 | 2003-03-31 | Sound field control information distribution method and apparatus, and sound field control system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3908684B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4706439B2 (en) * | 2005-11-02 | 2011-06-22 | ヤマハ株式会社 | Remote conference system |
| JP5817197B2 (en) * | 2011-04-20 | 2015-11-18 | ヤマハ株式会社 | Terminal device, server device, masking system, and program |
| CN116312452A (en) * | 2022-12-23 | 2023-06-23 | 中国船舶集团有限公司系统工程研究院 | A sound field cancellation method, device and storage medium thereof |
-
2003
- 2003-03-31 JP JP2003097336A patent/JP3908684B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004302309A (en) | 2004-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20180145778A1 (en) | Information processing apparatus and information processing method, and program storing medium for distinguishing suffixes appended to contents data | |
| CN1682567B (en) | smart speaker | |
| US20070121958A1 (en) | Methods and apparatuses for recording and playing back audio signals | |
| JP2016529631A (en) | Network device, system and method for rendering interactive multimedia playlist | |
| TW200423028A (en) | Systems and methods for identifying and encoding audio data | |
| JP2001229281A (en) | Information processing apparatus, information processing method, and recording medium | |
| JP2002014681A (en) | Information providing system | |
| JP2001229282A (en) | Information processing apparatus, information processing method, and recording medium | |
| JP3908684B2 (en) | Sound field control information distribution method and apparatus, and sound field control system | |
| JP4055054B2 (en) | Sound processor | |
| JP4025231B2 (en) | Sound field control information distribution method and sound field control information distribution device | |
| CN110096250B (en) | Audio data processing method and device, electronic equipment and storage medium | |
| KR20130053718A (en) | Mobile sound management system, open-market server, and providing method thereof | |
| JP2005321661A (en) | Information processing system, information processor, information processing method, and program for improving sound environment | |
| WO2001037257A1 (en) | Information processor and processing method, and information storage medium | |
| KR20020029243A (en) | Internet music / advertisemant device and method there of | |
| WO2005031700A1 (en) | Communication apparatus, communication method and communication program | |
| JP4096734B2 (en) | Music activity support system and program | |
| JP4023806B2 (en) | Content reproduction system and content reproduction program | |
| JP4547756B2 (en) | Information processing apparatus, information processing method, and recording medium | |
| JP2008204261A (en) | Information recording and playback device, information recording and playback system, information recording and playback method, and information recording and playback program | |
| KR101343325B1 (en) | Method, server, terminal, and recording medium for providing sound source service based on humming | |
| JP4653564B2 (en) | Request program production broadcasting system, server, method, program | |
| JP4645465B2 (en) | Music data processing device | |
| JP2004294917A (en) | Audio signal processor and method for audio signal processing, and program and system implementing the same method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061010 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061211 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070116 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070118 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110126 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120126 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130126 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130126 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140126 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |