Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4704030B2 - オーディオ信号の適応変換装置及びその方法 - Google Patents
[go: Go Back, main page]

JP4704030B2 - オーディオ信号の適応変換装置及びその方法 - Google Patents

オーディオ信号の適応変換装置及びその方法 Download PDF

Info

Publication number
JP4704030B2
JP4704030B2 JP2004500176A JP2004500176A JP4704030B2 JP 4704030 B2 JP4704030 B2 JP 4704030B2 JP 2004500176 A JP2004500176 A JP 2004500176A JP 2004500176 A JP2004500176 A JP 2004500176A JP 4704030 B2 JP4704030 B2 JP 4704030B2
Authority
JP
Japan
Prior art keywords
audio
audio signal
user terminal
adaptive conversion
preference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004500176A
Other languages
English (en)
Other versions
JP2005524263A (ja
Inventor
ナム、ジェ、ホ
キム、ヘ、クァン
キム、ジェ、ジュン
ホン、ジン、ウ
キム、ジン、ウン
キム、ヒョン、ジュン
ジョ、ナム、イク
キム、リン、チョル
キム、マン、ベ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of JP2005524263A publication Critical patent/JP2005524263A/ja
Application granted granted Critical
Publication of JP4704030B2 publication Critical patent/JP4704030B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/756—Media network packet handling adapting media to device capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Information Transfer Between Computers (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Description

本発明はオーディオ信号の適応変換装置及びその方法に関し、さらに詳細には様々な使用環境、すなわち、ユーザ特性、ユーザ周辺環境及びユーザ端末能力に適合するようにオーディオ信号を適応変換させる装置及びその方法に関する。
ＭＰＥＧは、ＭＰＥＧ-２１の新しい標準作業項目(ＳＴＡＮＤＡＲＤ ＷＯＲＫＩＮＧ ＩＴＥＭ)のデジタルアイテム適応変換(ＤＩＧＩＴＡＬ ＩＴＥＭ ＡＤＡＰＴＡＴＩＯＮ，ＤＩＡ）を提示した。デジタルアイテム(ＤＩＧＩＴＡＬ ＩＴＥＭ，ＤＩ）は、標準化された表現、識別及びメタデータを有する構造化されたデジタルオブジェクト(ＳＴＲＵＣＴＵＲＥＤ ＤＩＧＩＴＡＬ ＯＢＪＥＣＴ ＷＩＴＨ Ａ ＳＴＡＮＤＡＲＤ ＲＥＰＲＥＳＥＮＴＡＴＩＯＮ，ＩＤＥＮＴＩＦＩＣＡＴＩＯＮ ＡＮＤ ＭＥＴＡ−ＤＡＴＡ)を意味し、ＤＩＡは、ＤＩがリソース適応変換エンジン(ＲＥＳＯＵＲＣＥ ＡＤＡＰＴＡＴＩＯＮ ＥＮＧＩＮＥ)または記述子適応変換エンジン(ＤＥＳＣＲＩＰＴＯＲ ＡＤＡＰＴＡＴＩＯＮ ＥＮＧＩＮＥ)で処理されて適応変換されたＤＩを生成するプロセスを意味する。
ここでリソースは、ビデオまたはオーディオクリップ、イメージまたはテキスト項目のように個別的に識別可能な項目を意味し、物理的なオブジェクトを意味することができる。記述子は、ＤＩ内の項目またはコンポーネントに関連した情報を意味する。また、ユーザは、ＤＩの生産者、権利者、分配者及び利用者などを全部含む。メディアリソースは、直接的にデジタル表現が可能なコンテンツを意味する。本明細書においてコンテンツという用語は、ＤＩ、メディアリソース及びリソースのような意味として使われる。
従来の技術によれば、オーディオコンテンツを使用する使用環境、すなわち、ユーザ特性、ユーザ周辺環境及びユーザ端末能力に対する情報を用いて一つのオーディオコンテンツを各々他の使用環境に適合できるように適応変換処理ができる単一ソース複数使用(Ｓｉｎｇｌｅ−Ｓｏｕｒｃｅ Ｍｕｌｔｉ−Ｕｓｅ)環境が提供出来ないという問題点がある。
「単一ソース」とはマルチメディアソースで生成された１つのコンテンツを意味し、「複数使用」とは、様々な使用環境のユーザ端末が「単一ソース」を各々の使用環境に合うように使用することを意味する。
単一ソース複数使用環境の長所は様々な使用環境に適合するように１つのコンテンツを再加工することにより、相違した使用環境に適応変換された様々な形態のコンテンツを提供することができ、進んで様々な使用環境に適応変換された単一ソースをユーザ端末に提供することにおいて、ネットワーク帯域幅を効率的に使用したり減少させたりすることができるということである。
したがって、コンテンツ提供者の立場では、様々な使用環境にオーディオ信号を適合させるために複数のコンテンツを製作したり伝送したりする過程で発生する不必要な費用を低減でき、コンテンツ利用者の立場では、自分が位置した環境の空間的制約を克服すると共にユーザ自分の聴力特性及び選好度を最大限満足させることができる最適のオーディオコンテンツを使用できるようになる。
しかし、従来の技術によれば、単一ソース複数使用環境が支援できる汎用的マルチメディアアクセス(ＵＮＩＶＥＲＳＡＬ ＭＵＬＴＩＭＥＤＩＡ ＡＣＣＥＳＳ、ＵＭＡ)環境でも単一ソース複数使用環境の長所が活用できない。すなわち、マルチメディアソースはユーザ特性、ユーザ周辺環境及びユーザ端末能力のような使用環境を考慮せずに一律的にオーディオコンテンツを伝送し、ＷＩＮＤＯＷＳ ＭＥＤＩＡ ＰＬＡＹＥＲ、ＭＰ３ ＰＬＡＹＥＲ、ＲＥＡＬ ＰＬＡＹＥＲなどのようなオーディオプレーヤーアプリケーションが搭載されたユーザ端末は、マルチメディアソースから受信した形式そのままのオーディオコンテンツを使用するため、単一ソース複数使用環境に適合しない。
このような従来の技術の問題点を解決し単一ソース複数使用環境を支援するために、マルチメディアソースが様々な使用環境を全部考慮してマルチメディアコンテンツを提供するようになれば、コンテンツの生成及び伝送において多くの負担が存在するようになる。
本発明は前記のような従来の技術の問題点を解決するために提案なされたものであって、その目的はオーディオコンテンツを使用するユーザ端末の使用環境を予め記述した情報を用いて、使用環境に適合するようにオーディオコンテンツを適応変換させるオーディオ適応変換装置及びその方法を提供することにある。
本発明が属した技術分野における通常の知識を有した者は、本明細書の図面、発明の詳細な説明及び特許請求の範囲から本発明の他の目的及び長所を容易に認識できる。
前記のような目的を達成するために本発明に係るオーディオ適応変換装置は、ネットワークを介してユーザ端末にオーディオ信号を送信する、単一ソース複数使用のためのオーディオ適応変換装置において、前記ネットワークを介して、オーディオ信号を使用するユーザ端末からオーディオ使用環境情報を収集し管理するオーディオ使用環境情報管理手段と、前記オーディオ使用環境情報に適合するオーディオ信号が前記ネットワークを介して前記ユーザ端末に出力されるように、前記オーディオ信号を前記オーディオ使用環境情報に基づいて適応変換させるオーディオ適応変換手段とを備え、前記オーディオ使用環境情報は、前記オーディオ信号に対するユーザの選好度を記述するユーザ特性情報を含むことを特徴とする。
また、前記のような目的を達成するために本発明に係るオーディオ適応変換方法は、ネットワークを介してユーザ端末にオーディオ信号を送信する、単一ソース複数使用のためのオーディオ適応変換装置におけるオーディオ適応変換方法において、前記オーディオ適応変換装置が、前記ネットワークを介して、オーディオ信号を使用するユーザ端末からオーディオ使用環境情報を収集し管理する第１ステップと、前記オーディオ適応変換装置が、前記オーディオ使用環境情報に適合するオーディオ信号が前記ネットワークを介して前記ユーザ端末に出力されるように、前記オーディオ信号を前記オーディオ使用環境情報に基づいて適応変換させる第２ステップとを備え、前記オーディオ使用環境情報は、前記オーディオ信号に対するユーザの選好度を記述するユーザ特性情報を含むことを特徴とする。
本発明によれば、オーディオコンテンツを使用する使用環境、すなわちユーザ特性、ユーザ周辺環境及びユーザ端末能力情報を用いて一つのオーディオコンテンツを様々な使用環境に適合できるように適応変換処理ができる単一ソース複数使用環境が提供することができる。
本発明の他の目的及び態様は添付図面を参照し、下記で実施の形態を説明することに明確になることであろう。
以下の内容は単に本発明の原理を例示する。したがって、当業者はたとえ本明細書に明確に説明や図示がされなかったとしても本発明の原理を具現して本発明の概念と範囲に含まれた様々な装置を発明することができるものである。また、本明細書に挙げたあらゆる条件付き用語及び実施の形態は原則的に、本発明の概念理解のための目的のみで明確に意図され、このように特別に挙げた実施の形態及び状態に制約的ではないことと理解されなければならない。
また、本発明の原理、観点及び実施の形態だけでなく特定実施の形態を列挙するあらゆる詳細な説明は、このような事項の構造的及び機能的均等物を含むように意図されることと理解されなければならない。また、このような均等物は現在公知された均等物だけでなく将来に開発される均等物すなわち構造と関係がなく同じ機能を行うように発明されたあらゆる素子を含むことと理解されなければならない。
したがって、例えば、本明細書のブロック図は本発明の原理を具体化する例示的な回路の概念的な観点を示すことと理解されなければならない。これと同様に、あらゆるフローチャート、状態変換図、擬似コードなどはコンピュータが読み取り可能な媒体に実質的に示すことができ、コンピュータまたはプロセッサが明確に図示されているか否かを問わずコンピュータまたはプロセッサにより行われる様々なプロセスを示すことと理解されなければならない。
プロセッサまたはこれと類似の概念で表示された機能ブロックを含む図面に示す様々な素子の機能は専用ハードウェアだけでなく適切なソフトウェアと関連してソフトウェアを実行する能力を有したハードウェアの使用で提供されることができる。プロセッサにより提供される時、前記機能は単一専用プロセッサ、単一共有プロセッサまたは複数の個別的プロセッサにより提供されることができ、これらのうち一部は共有できる。
またプロセッサ、制御またはこれと類似の概念で提示される用語の明確な使用は、ソフトウェアを実行する能力を有したハードウェアを排他的に引用して解析されてはならず、制限なしにデジタル信号プロセッサ(ＤＳＰ)ハードウェア、ソフトウェアを保存するためのロム(ＲＯＭ)、ラム(ＲＡＭ)及び非揮発性メモリを暗示的に含むことと理解されなければならない。周知慣用の他のハードウェアも含むことができる。
本明細書の特許請求の範囲において、発明の詳細な説明に記載された機能を行うための手段で表現された構成要素は例えば前記機能を行う回路素子の組み合せまたはファームウエア/マイクロコードなどを含むあらゆる形式のソフトウェアを含む機能を行うあらゆる方法を含むことと意図され、前記機能を行うように前記ソフトウェアを実行するための適切な回路と結びつく。このような特許請求の範囲により定義された本発明は様々に列挙された手段により提供されている機能が結びつき、請求項が要求する方式と結びつくため前記機能を提供できるいかなる手段も本明細書から把握されることと均等なものと理解されなければならない。
上述した目的、特徴及び長所は添付された図面と関連した次の詳細な説明を介しててさらに明確になる。まず、各図面の構成要素に参照番号を付加することにおいて、同じ構成要素に限ってはたとえ他の図面上に表示されても可能なかぎり同じ番号を有するようにしていることに留意すべきである。また、本発明を説明することにおいて、関連された公知技術に対する具体的な説明が本発明の要旨を理解する上で不必要であると判断された場合、その詳細な説明を省略する。以下、添付された図面を参照して本発明に係る好ましい実施の形態を詳細に説明する。
図１は、本発明の一実施の形態に係るオーディオ適応変換装置を概略的に示すブロック図である。図１に示すように、本発明の一実施の形態に係るオーディオ適応変換装置１００は、オーディオ適応変換手段１０３及びオーディオ使用環境情報管理手段１０７を含む。オーディオ適応変換手段１０３及びオーディオ使用環境情報管理手段１０７各々は、相互独立的にオーディオ処理システムに搭載されることができる。
オーディオ処理システムは、ラップトップコンピュータ、ノートブックコンピュータ、デスクトップコンピュータ、ワークステーション、メーンフレームまたは他の形態のコンピュータを含む。個人携帯情報端末器(ＰＥＲＳＯＮＡＬ ＤＩＧＩＴＡＬ ＡＳＳＩＳＴＡＮＴ、ＰＤＡ)、移動通信モバイルステーションのような他の形態のデータ処理または信号処理システムもオーディオ処理システムに含まれる。
オーディオ処理システムはネットワーク経路を構成するあらゆるノード、すなわちマルチメディアソースノードシステム、マルチメディア中継ノードシステム及びエンドユーザ端末(ＥＮＤ ＵＳＥＲ ＴＥＲＭＩＮＡＬ)の中で任意のノードシステムであり得る。
エンドユーザ端末は、ＷＩＮＤＯＷＳ ＭＥＤＩＡ ＰＬＡＹＥＲ、ＭＰ３ ＰＬＡＹＥＲ及びＲＥＡＬ ＰＬＡＹＥＲなどのようなオーディオプレーヤーが搭載されている。
例えば、オーディオ適応変換装置１００がマルチメディアソースノードシステムに搭載され動作する場合、オーディオコンテンツを使用する使用環境を予め記述した情報を用いて使用環境に適合するようにオーディオコンテンツを適応変換させるためには使用環境に対する情報をエンドユーザ端末から受信し、受信された使用環境に基づいて適応変換されたコンテンツをエンドユーザ端末に伝送する。
本発明に係るオーディオ適応変換装置１００がオーディオデータを処理するプロセス、例えばオーディオエンコーディングプロセスに対して、ＩＳＯ(Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ)/ＩＥＣ(Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ)の技術委員会(Ｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｔｔｅｅ）のＩＳＯ／ＩＥＣ標準文書は本発明の好ましい実施の形態の各構成要素の機能と動作を説明するための範囲で本明細書の一部として含まれることができる。
オーディオデータソース手段１０１は、マルチメディアソースから生成されたオーディオデータを受信する。オーディオデータソース手段１０１は、マルチメディアソースノードシステムに含まれることもでき、マルチメディアソースノードシステムから有線／無線ネットワークを介して伝送されたオーディオデータを受信するマルチメディア中継ノードシステムまたはエンドユーザ端末に含まれることができる。
オーディオ適応変換手段１０３はオーディオデータソース手段１０１からオーディオデータを受信し、オーディオ使用環境情報管理手段１０７が使用環境すなわちユーザ特性、ユーザ周辺環境及びユーザ端末能力を予め記述した情報を用いて、使用環境に適合するようにオーディオデータを適応変換させる。ここで、図面に示されたオーディオ適応変換手段１０３の機能が必ず１つのノードシステムにだけ含まれなければならないことではなく、ネットワーク経路を構成するノードシステムに分散できる。
例えば、ネットワーク帯域幅と関連しないオーディオボリューム調節機能を有するオーディオ適応変換手段は、エンドユーザ端末に含まれる反面、ネットワーク帯域幅と関連する時間領域での特定オーディオ信号強度すなわちオーディオレベル調節機能を有するオーディオ適応変換手段は、マルチメディアソースノードシステムに含まれることができる。
オーディオ使用環境情報管理手段１０７は、ユーザ、ユーザ端末及び周辺環境から情報を収集して使用環境情報を予め記述し管理する。
オーディオ適応変換手段１０３が行う機能に関連した使用環境情報もオーディオ適応変換手段１０３の場合と同様ににネットワーク経路を構成するノードシステムに分散できる。
オーディオデータ出力手段１０５は、オーディオ適応変換手段１０３により適応変換されたオーディオデータを出力する。出力されたオーディオデータは、エンドユーザ端末のオーディオプレーヤーに伝送されることもでき、有線／無線ネットワークを介してマルチメディア中継ノードシステムまたはエンドユーザ端末に伝送されることもできる。
図２は、図１のオーディオ適応変換装置として具現可能な一実施の形態を概略的に示すブロック図である。図２に示したように、オーディオデータソース手段１０１は、オーディオメタデータ２０１及びオーディオコンテンツ２０３を含むことができる。
オーディオデータソース手段１０１は、マルチメディアソースから生成されたオーディオコンテンツ及びメタデータを収集して格納する。ここでオーディオコンテンツ２０３は、色々な符号化方式(ＭＰ３、ＡＣ−３、ＡＡＣ、ＷＭＡ、ＲＡ、ＣＥＬＰなど)で保存されたりストリーミング形態で伝送される様々なオーディオフォーマットを含む。
オーディオメタデータ２０１は、オーディオコンテンツの符号化方式、サンプリングレート(Ｓａｍｐｌｉｎｇ Ｒａｔｅ)、チャンネル数(例えば、モノ、ステレオ、５.１チャンネル等)、ビットレート(Ｂｉｔ Ｒａｔｅ)などのような、対応されるオーディオコンテンツに関連した情報であって、ＸＭＬ(ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ)スキーマ(ｓｃｈｅｍａ)により定義され記述できる。
オーディオ使用環境情報管理手段１０７は、ユーザ特性情報管理部２０７、ユーザ特性情報入力部２１７、ユーザ周辺環境情報管理部２０９、ユーザ周辺環境情報入力部２１９、オーディオ端末能力情報管理部２１１及びオーディオ端末能力情報入力部２２１を含むことができる。
ユーザ特性情報管理部２０７はユーザ特性情報入力部２１７を介してユーザ端末から聴覚特性、選好音量、選好周波数スペクトル上のイコライジング(Ｅｑｕａｌｉｚｉｎｇ)パターンなどのようなユーザ特性情報を受信し管理する。入力されたユーザ特性情報は、例えばＸＭＬ形式の機械読み取り可能な言語で管理される。
ユーザ周辺環境情報管理部２０９は、ユーザ周辺環境情報入力部２１９を介してオーディオコンテンツが使用される周辺環境(ＮＡＴＵＲＡＬ ＥＮＶＩＲＯＮＭＥＮＴ)の情報を受け取って管理する。入力された周辺環境情報は、例えばＸＭＬ形式の機械読み取り可能な言語で管理される。
ユーザ周辺環境情報入力部２１９は、特定場所で収集、分析及び処理されたり事前に作られた雑音環境分類表により定義できる雑音環境特性情報をユーザ周辺環境情報管理部２０９に伝送する。
オーディオ端末能力情報管理部２１１は、オーディオ端末能力情報入力部２１１を介して端末能力情報を受信し管理する。入力された端末能力情報は、例えばＸＭＬ形式の機械読み取り可能な言語で管理される。
オーディオ端末能力情報入力部２２１は、ユーザ端末に予め設定されていたり、ユーザにより入力される端末能力情報をオーディオ端末能力情報管理部２１１に伝送できる。
オーディオ適応変換手段１０３は、オーディオメタデータ適応変換処理部２１３及びオーディオコンテンツ適応変換処理部２１５を含むことができる。
オーディオコンテンツ適応変換処理部２１５はユーザ周辺環境情報管理部２０９で管理されるユーザ周辺環境情報をパ−シング(Ｐａｒｓｉｎｇ)した後、雑音環境に強くなるように雑音マスキング(Ｎｏｉｓｅ−Ｍａｓｋｉｎｇ)などのオーディオ信号処理によりオーディオコンテンツが周辺環境に適応するように変換処理(Ｔｒａｎｓｃｏｄｉｎｇ)する。
同様に、オーディオコンテンツ適応変換処理部２１５は、ユーザ特性情報管理部２１７及びオーディオ端末能力情報管理部２１１で管理されるユーザ特性情報及びオーディオ端末能力情報をパ−シングした後、オーディオコンテンツがユーザ特性及び端末能力に適合するようにオーディオ信号を適応変換させる。
オーディオメタデータ適応変換処理部２１３は、オーディオコンテンツ適応変換過程で必要なメタデータを提供し、オーディオコンテンツ適応変換処理結果によって対応するオーディオメタデータ情報の内容を適応変換させる。
図３は図１のオーディオ適応変換装置１００で行われるオーディオ適応変換プロセスを説明するためのフローチャートである。図３に示すように、本発明に係るプロセスは、オーディオ使用環境情報管理手段１０７がユーザ、端末及び周辺環境からオーディオ使用環境情報を収集してユーザ特性、ユーザ周辺環境及びユーザ端末能力情報を予め記述することから始める(Ｓ３０１)。
次に、オーディオデータソース手段１０１がオーディオデータを受信すれば(Ｓ３０３)、オーディオ適応変換手段１０３はステップＳ３０１で記述した使用環境情報を用いて、ステップＳ３０３で受信したオーディオデータを使用環境すなわちユーザ特性、ユーザ周辺環境及びユーザ端末能力に適合するようにオーディオコンテンツを適応変換させる(Ｓ３０５)。オーディオデータ出力手段１０５は、ステップＳ３０５で適応変換されたオーディオデータを出力するＳ３０７。
図４は、図３の適応変換プロセス(Ｓ３０５)を説明するためのフローチャートである。
図４に示すように、オーディオ適応変換手段１０３は、オーディオデータソース手段１０１が受信したオーディオコンテンツ及びオーディオメタデータを確認して(Ｓ４０１)、適応変換の必要があるオーディオコンテンツをユーザ特性、ユーザ周辺環境及びユーザ端末能力に適合するように適応変換させて(Ｓ４０３)、ステップ(Ｓ４０３)のオーディオコンテンツ適応変換処理結果によって、対応するオーディオメタデータ情報の内容を適応変換させる(Ｓ４０５)。
以下ではオーディオ使用環境情報管理手段１０７で管理される記述情報構造が開示される。
本発明によってオーディオコンテンツを使用するユーザ特性、ユーザ周辺環境及びユーザ端末能力の使用環境を予め記述した情報を用いて、使用環境に適合するようにオーディオコンテンツを適応変換させるためには、ユーザ特性(ＵＳＥＲ ＣＨＡＲＡＣＴＥＲＩＳＴＩＣＳ）、端末能力(ＴＥＲＭＩＮＡＬ ＣＡＰＡＢＩＬＩＴＩＥＳ）及び周辺環境特性(ＮＡＴＵＲＡＬ ＥＮＶＩＲＯＮＭＥＮＴ ＣＨＡＲＡＣＴＥＲＩＳＴＩＣＳ)に対する情報が管理されなければならない。
次の表１は、本発明の一実施の形態によってオーディオ信号を適応変換させるための記述情報を構造的に表現したテーブルである。
Figure 0004704030
図１のオーディオ使用環境情報管理手段１０７で管理する使用環境の記述情報構造として、例示的にＸＭＬスキーマ定義によって表現した構文(Ｓｙｎｔａｘ）は次の通りである。
<element name = “UserEnvironment”>
<complexType>
<all>
<element ref = “USERCHARACTERISTICS” />
<element
ref = “NATURALENVIRONMENTCHARACTERISTICS”/>
<element ref = “TERMINALCAPABILITIES”/>
</all>
</complexType>
</element>
一方、前記表１においてユーザ特性は、特定ユーザの可聴力と選好度を記述する。図１のオーディオ使用環境情報管理手段１０７で管理するユーザ特性の記述情報構造として、例示的にＸＭＬスキーマ定義によって表現した構文は次の通りである。
<element name = “USERCHARACTERISTICS”>
<complexType>
<all>
<element
name = “LeftAudibility” type=”Audibility”/>
<element
name = “RightAudibility” type=”Audibility”/>
<element name = “AudioPower” type = “integer”/>
<element name = “FrequencyEqualizer”>
<complexType>
<sequence>
<element name = Period type= “mpeg7:vector”/>
<element name = Level type= “float”/>
</sequence>
</complexType>
</element>
<element name = “PresetEqualizer”>
<complexType>
<sequence>
<enumeration Item = “Rock”>
<enumeration Item = “Classic”>
<eumeration Item = “POP>
</sequence>
</complexType>
</element>
<element name = “Mute” type = “boolean”/>
</all>
</complexType>
</element>
<complexType name = “Audibility”>
<sequence>
<element name = “AudibleFrequencyRange”>
<complexType>
<mpeg7:vector dim = “2”
type= “positiveInteger”/>
</complexType>
</element>
<element name = “AudibleLevelRange”>
<complexType>
<mpeg7:vector dim = “2”
type= “positiveInteger”/> </complexType>
</element>
</sequence>
</complexType>
前記ユーザ特性の構成要素を整理すれば次の表２の通りである。
Figure 0004704030
前記表２において、左可聴及び右可聴は、可聴(Ａｕｄｉｂｉｌｉｔｙ）のデータタイプを有し、ユーザの左右両側の耳各々に対するオーディオ選好度を示す。
可聴データタイプは、AudibleFrequencyRange及びAudibleLevelRangeの２つの要素を有する。
AudibleFrequencyRangeは、特定周波数範囲に対するユーザの選好を記述する。特定周波数範囲の開始点のStartFrequency及び特定周波数範囲の終了点のEndFrequencyは、Ｈｚ単位で与えられる。AudibleFrequencyRange記述情報はユーザが好む可聴周波数の範囲を示す。ユーザに与えられたネットワーク帯域幅が固定されている場合、オーディオ適応変換手段１０３はAudibleFrequencyRange記述情報を用いて特定周波数範囲内でビットをさらに割り当てることによって、向上した品質のオーディオをユーザに提供できる。また、オーディオ適応変換手段１０３は、AudibleFrequencyRange記述情報を用いて、記述された周波数範囲内のオーディオ信号だけを伝送することによってネットワーク帯域幅を減らしたり、テキスト、イメージ、ビデオなど他の形態の追加情報を残った帯域幅に追加できる。
下の例示はユーザが好む可聴周波数の範囲が２０Ｈｚから２０ＫＨｚまでであることを示す。
<AudibleFrequencyRange>
<StartFrequency>20</StartFrequency>
<EndFrequency>2000</EndFrequency>
</AudibleFrequencyRange>
AudibleLevelRangeは、時間領域において特定オーディオ信号のレベル範囲に対するユーザの選好を記述する。オーディオ信号のレベル範囲の下限線であるLowLimitLevel以下の信号レベル値は黙音になり、オーディオ信号のレベル範囲の上限線であるHighLimitLevel以上の信号レベル値は上限コーナーレベルに制限される。LowLimitLevel及びHighLimitLevelは０.０から１.０までの正規化されたスケールを有するが、０.０は黙音を、１.０は信号の最大レベルを示す。AudibleLevelRange記述情報はユーザが聞こうとするオーディオレベルの最大値及び最小値を示す。
オーディオ適応変換手段１０３は、ユーザがオーディオコンテンツを最上に経験できるように、AudibleLevelRange記述情報を用いることができる。例えば、ユーザに与えられたネットワーク帯域幅が固定されており、最大レベルと最小レベルとの絶対差が小さい場合、オーディオ適応変換手段１０３はAudibleLevelRange記述情報を用いることによって、サンプリングレートを増加させたりまたは量子化ステップの数を増加させてオーディオ信号が伝送できる。また、オーディオ適応変換手段１０３は、AudibleLevelRange記述情報を用いてオーディオ信号のレベル範囲を抜け出すオーディオ信号を除去することによってネットワーク帯域幅を効率的に利用することができ、テキスト、イメージ、ビデオなど他の形態の追加情報を残った帯域幅に追加できる。
下の例示は、ユーザが好むオーディオ信号のレベル範囲が最小０.３から最大０.７であることをを示す。
<AudibleLevelRange>
<LowLimitLevel>0．30</LowLimitLevel>
<HighLimitLevel>0．70</HighLimitLevel>
</AudibleLevelRange>
AudioPowerは、オーディオのボリュームに対するユーザ選好を記述する。AudioPowerは整数値に表現されることもできるが、０.０は黙音(ｍｕｔｅ）を、１.０は最大ボリウムを示すように０.０から１.０までの正規化されたスケールの値でもあリ得る。オーディオ適応変換手段１０３は、オーディオ使用環境情報管理手段１０７で管理されるAudioPower記述情報によってオーディオ信号を調節するようになる。
下の例示はユーザが好むオーディオボリウムが０.８５であることを示す。
<AudioPower>0．85</AudioPower>
以下で説明する記述要素は、ユーザのオーディオ信号に対する選好を示す。この記述要素はオーディオ処理能力を持たないユーザ端末に利用されることができる。
FrequencyEqualizerは、周波数範囲及び減衰または増幅値で表現される特定イコライジング構成に対する選好度を記述する。FrequencyEqualizer記述情報は、特定周波数に対するユーザ選好を示す。FrequencyEqualizer記述情報では、周波数バンド及び対応するユーザ選好値を記述する。
ユーザ端末がイコライジング能力を持たない場合、オーディオ適応変換手段１０３は、ユーザが期待する品質を提供するためにFrequencyEqualizer記述情報を利用することができる。効率的なビット割り当てのために、人間周波数マスキング現象(ＨＵＭＡＮ ＦＲＥＱＵＥＮＣＹ ＭＡＳＫＩＮＧ ＰＨＥＮＯＭＥＮＡ)に基づいてFrequencyEqualizer記述情報がオーディオエンコーディングプロセスで用いられることができる。また、オーディオ適応変換手段１０３は、FrequencyEqualizer記述情報を基にイコライジングを行い、これによって適応変換されたオーディオ信号をユーザ端末に伝送できる。
PeriodはFrequencyEqualizerの属性であってＨｚで表現されるイコライジング範囲の下限及び上限コーナー周波数を定義する。LevelはFrequencyEqualizerの属性であって、ｄＢで表現される周波数範囲の減衰または増幅を定義する。Levelは、ユーザイコライジング選好値を示す。
下の例示はユーザが好む特定イコライジング構成を示す。
<FrequencyEqualizer>
<FrequencyBand>
<Period>
<StartFrequency>20</StartFrequency>
<EndFrequency>499</EndFrequency>
</Period>
<Level>0．8</Level>
</FrequencyBand>
<FrequencyBand>
<Period>
<StartFrequency>500</StartFrequency>
<EndFrequency>1000</EndFrequency>
</Period>
<Level>0.5</Level>
</FrequencyBand>
<FrequencyBand>
<Period>
<StartFrequency>1000</StartFrequency>
<EndFrequency>10000</EndFrequency>
</Period>
<Level>0.5</Level>
</FrequencyBand>
<FrequencyBand>
<Period>
<StartFrequency>10000</StartFrequency>
<EndFrequency>20000</EndFrequency>
</Period>
<Level>0.0</Level>
</FrequencyBand>
</FrequencyEqualizer>
PresetEqualizerは、イコライザー事前設定(ｅｑｕａｌｉｚｅｒ ｐｒｅｓｅｔ)に対する言語記述(ｖｅｒｂａｌ ｄｅｓｃｒｉｐｔｉｏｎ）で表現される特定イコライジング構成に対する選好度を記述する。すなわち、PresetEqualizer記述情報は、ＲＯＣＫ、ＣＬＡＳＳＩＣ、ＰＯＰ効果のように明確に区分される特定オーディオ趣向に対するユーザ選好を示す。ユーザ端末が事前設定イコライザー選好に対する設定能力を持たない場合、オーディオ適応変換手段１０３はユーザがオーディオコンテンツを最上に経験できるようにPresetEqualizer記述情報を利用することができる。
下の例示のように、オーディオ適応変換手段１０３は、ＲＯＣＫに対して予め設定されたイコライザー設定機能を処理して適応変換されたオーディオ信号をユーザ端末に伝送できる。
<PresetEqualizer>Rock</PresetEqualizer>
Muteは、ＤＩのオーディオ部分を黙音で処理するための選好度を記述する。すなわち、Mute記述情報は、コンテンツのオーディオ部分を使用するか否かに対する選好度を示す。
このような機能は、大部分のオーディオ装置、すなわち、エンドユーザ端末のオーディオプレーヤーに提供されるが、オーディオ適応変換手段１０３は、ネットワーク帯域幅を確保するためにオーディオ信号を伝送しないようにこの情報を利用することができる。
下の例示は、ユーザがＤＩのオーディオ部分に対しては利用しないということを示す。
<Mute>true</Mute>
一方、前記表１において、周辺環境特性は、特定ユーザの周辺環境を記述する。図１のオーディオ使用環境情報管理手段１０７で管理する周辺環境特性の記述情報構造として、例示的にＸＭＬスキーマ定義によって表現した構文は次の通りである。
<element name = “NATURALENVIRONMENTCHARACTERISTICS”>
<complexType>
<element name = “NoiseLevel” type = “integer”/>
<element name = “NoiseFrequencySpectrum”>
<complexType>
<sequence>
<element name = FrequencyPeriod
type= “mpeg7:vector”/>
<element name = FrequencyValue type= “float”/>
</sequence>
</complexType>
</element>
</complexType>
</element>
NoiseLevelは、雑音レベルを記述する。この記述情報は、ユーザ端末から入力された雑音信号を処理することによって獲得でき、ｄＢ単位のサウンド圧力レベルで表現される。
オーディオ適応変換手段１０３は、NoiseLevel記述情報を用いてユーザ端末に対するオーディオ信号レベルを自動に調節できる。一方、オーディオ適応変換手段１０３がエンドユーザ端末に搭載されて周辺環境の変化する雑音レベルに自動的に対応するようにすることができる。雑音レベルが相対的に高い状況においてオーディオ適応変換手段１０３は、ユーザが雑音環境でも意図した信号を聴取できるように信号の大きさを増加させる。増加された信号レベルがユーザにより設定された限界に到達した場合、オーディオ適応変換手段１０３は、オーディオ信号伝送を中断し、使用可能な帯域幅をテキスト、イメージ、グラフィック及びビデオのような他のメディアに割り当てることができる。
例えば周辺環境の雑音が２０デシベルの場合、NoiseLevelは下記のように記述される。
<NoiseLevel>20</NoiseLevel>
NoiseFrequencySpectrum記述情報は、ユーザ端末から入力された雑音信号を処理することによって獲得でき、雑音レベルはｄＢ単位のサウンド圧力レベルに測定される。
周波数マスキング現象に基づいた効率的なオーディオコーディングのため、オーディオ適応変換手段１０３は、NoiseFrequencySpectrum記述情報を利用できる。オーディオ適応変換手段１０３は、NoiseFrequencySpectrum記述情報に基づいて雑音を減らすか、さらに多い雑音が混ざっている周波数に対してオーディオ信号をさらに増加させることによって、効率的なオーディオコーディングを行い、適応変換されたオーディオ信号をユーザ端末に伝送できる。
例えば、下記のように記述できる。下の例示でFrequency Periodの１番目及び２番目の値は、周波数バンドの開始周波数値と終了周波数値を示す。次に記述されるFrequency Valueは、デシベルで表現されるオーディオパワーである。オーディオ適応変換手段１０３は、この情報に基いてイコライザー機能を処理しユーザ端末に結果オーディオ信号を伝送する。
<NoiseFrequencySpectrum>
<FrequencyPeriod>20 499</FrequencyPeriod>
<FrequencyValue>30</FrequencyValue>
<FrequencyPeriod>500 1000</FrequencyPeriod>
<FrequencyValue>10</FrequencyValue>
<FrequencyPeriod>1000 10000</FrequencyPeriod>
<FrequencyValue>50</FrequencyValue>
<FrequencyPeriod>10000 20000</FrequencyPeriod>
<FrequencyValue>10</FrequencyValue>
</NoiseFrequencySpectrum>
一方、前記表１において端末能力は、オーディオデータフォーマット、形状及びレベルの多様性、ダイナミックレンジ、スピーカー構成などのようなオーディオ処理において端末能力を記述するためのものである。図１のオーディオ使用環境情報管理手段１０７で管理する端末能力の記述情報構造として、例示的にＸＭＬシェーマ定義によって表現した構文は次の通りである。
<element name = "TERMINALCAPABILITIES">
<complexType>
<element name = "AudioChannelNumer" type = integer/>
<element name = "Headphone" type = "boolean"/>
<element name = "DecodersType"
type = "DecodersType”/ >
</complexType>
</element>
<complexType name = "DecodersType">
<sequence>
<element name = "DecoderType"/>
<enumeration Item = "AAC"/>
<enumeration Item = "MP3"/>
<enumeration Item = "TTS"/>
<enumeration Item = "SAOL"/>
<element name= "Profile" type = "string"/>
<element name= "Level" type = "string">
</element>
</sequence>
</complexType>
ここでAudioChannelNumberは、ユーザ端末により処理される出力チャンネルの個数を示す情報であって、オーディオ適応変換手段１０３は、この情報に基づいてオーディオ信号を伝送できる。
またHeadPhoneは、論理値(ｂｏｏｌｅａｎ)で現れる情報であって、ヘッドホンが使われない場合、オーディオ適応変換手段１０３は、周辺環境雑音レベル及び周波数スペクトル情報と共に周波数マスキングコーディングを行うことができる。ヘッドホンが使われる場合には、周辺環境雑音が減る。
そして、DecoderTypeは、オーディオフォーマット及びプロファイル/レベルの端末処理能力を示す情報であって、オーディオ適応変換手段１０３はこの情報を用いてユーザ端末に最適のオーディオ信号を伝送することができる。
以上のように本発明によれば、ユーザの雑音環境情報と聴力特性及び選好情報を用いて一つのオーディオコンテンツを各々異なる使用環境と様々なユーザの特性と趣向に適合できるように適応、変換処理の可能な単一ソース複数使用環境を提供することができる。
なお、本発明は、上記の実施の形態に限定されたものではなく、本発明に係る技術的思想から逸脱しない範囲内で様々な変更が可能であり、それらも本発明の技術的範囲に属する。
本発明の前記及び他の目的及び特徴は添付された下記図面等と関連した実施の形態を説明するにしたがいさらに明確になるであろう。
図１は、本発明の一実施の形態に係るオーディオ適応変換装置が含まれたユーザ端末を概略的に示すブロック図である。 図２は、図１のオーディオ適応変換装置として具現可能な一実施の形態を概略的に示すユーザ端末のブロック図である。 図３は、図１のオーディオ適応変換装置で行われるオーディオ適応変換プロセスを説明するためのフローチャートである。 図４は、図３の適応変換プロセスを説明するためのフローチャートである。

Claims (44)

  1. ネットワークを介してユーザ端末にオーディオ信号を送信する、単一ソース複数使用のためのオーディオ適応変換装置において、
    前記ネットワークを介して、オーディオ信号を使用するユーザ端末からオーディオ使用環境情報を収集し管理するオーディオ使用環境情報管理手段と、
    前記オーディオ使用環境情報に適合するオーディオ信号が前記ネットワークを介して前記ユーザ端末に出力されるように、前記オーディオ信号を前記オーディオ使用環境情報に基づいて適応変換させるオーディオ適応変換手段と、
    を備え、
    前記オーディオ使用環境情報は、
    前記オーディオ信号に対するユーザの選好度を記述するユーザ特性情報を含むことを特徴とするオーディオ適応変換装置。
  2. 前記ユーザ特性情報が、
    前記オーディオ信号に対するユーザの左右両側の耳各々の選好度を示す可聴度(ａｕｄｉｂｉｌｉｔｙ)情報を含むことを特徴とする請求項１に記載のオーディオ適応変換装置。
  3. 前記ユーザ特性情報が、
    特定周波数範囲に対する選好度を含むことを特徴とする請求項１に記載のオーディオ適応変換装置。
  4. 前記ユーザ特性情報が、
    前記特定周波数範囲の開始点と終了点との情報を更に含むことを特徴とする請求項３に記載のオーディオ適応変換装置。
  5. 前記ユーザ特性情報が、
    前記オーディオ信号のボリュームに対する選好度を含むことを特徴とする請求項１に記載のオーディオ適応変換装置。
  6. 前記ユーザ特性情報が、
    前記オーディオ信号の特定周波数範囲に対する減衰または増幅で表現される選好度を含むことを特徴とする請求項１に記載のオーディオ適応変換装置。
  7. 前記ユーザ特性情報が、
    特定オーディオ趣向(前記特定オーディオ趣向は、ＲＯＣＫ、ＣＬＡＳＳＩＣ、ＰＯＰ効果などを含む)に対する選好度を含むことを特徴とする請求項１に記載のオーディオ適応変換装置。
  8. 前記ユーザ特性情報が、
    マルチメディアコンテンツのオーディオ部分が使用されるか否かに対する選好度を含むことを特徴とする請求項１に記載のオーディオ適応変換装置。
  9. 前記オーディオ適応変換手段が、
    前記ユーザ端末に適応変換されたオーディオ信号を提供するネットワークシステムに含まれ、
    前記特定周波数範囲に対する選好度に基づいて、前記特定周波数範囲内でビットがさらに割り当てられたオーディオ信号が前記ユーザ端末に伝送されるようにオーディオ信号を適応変換させることを特徴とする請求項３に記載のオーディオ適応変換装置。
  10. 前記オーディオ適応変換手段が、
    前記ユーザ端末に適応変換されたオーディオ信号を提供するネットワークシステムに含まれ、
    前記特定周波数範囲に対する選好度に基づいて、前記特定周波数範囲内のオーディオ信号だけが前記ユーザ端末に伝送されるようにオーディオ信号を適応変換させることを特徴とする請求項３に記載のオーディオ適応変換装置。
  11. 前記オーディオ適応変換手段が、
    前記ユーザ端末に適応変換されたオーディオ信号を提供するネットワークシステムに含まれ、
    前記特定レベル範囲に対する選好度において前記特定レベル範囲の最大レベルと最小レベルの絶対差が小さい場合には、サンプリングレートが増加されるか、量子化ステップの数が増加されたオーディオ信号が前記ユーザ端末に伝送されるようにオーディオ信号を適応変換させることを特徴とする請求項４に記載のオーディオ適応変換装置。
  12. 前記オーディオ適応変換手段が、
    前記ユーザ端末に適応変換されたオーディオ信号を提供するネットワークシステムに含まれ、
    前記特定レベル範囲に対する選好度の特定レベル範囲を抜け出すオーディオ信号は前記ユーザ端末に伝送されないようにオーディオ信号を適応変換させることを特徴とする請求項４に記載のオーディオ適応変換装置。
  13. 前記オーディオ適応変換手段が、
    イコライジング機能を持たないユーザ端末に適応変換されたオーディオ信号を提供するネットワークシステムに含まれ、
    前記オーディオ信号の特定周波数範囲に対する減衰または増幅で表現される選好度に基づいて、エンコーディングされたオーディオ信号が前記ユーザ端末に伝送されるようにオーディオ信号を適応変換させることを特徴とする請求項６記載のオーディオ適応変換装置。
  14. 前記オーディオ適応変換手段が、
    イコライザー事前設定機能を持たないユーザ端末に適応変換されたオーディオ信号を提供するネットワークシステムに含まれ、
    前記特定オーディオ趣向に対する選好度に基づいて、イコライザー事前設定されたオーディオ信号が前記ユーザ端末に伝送されるようにオーディオ信号を適応変換させることを特徴とする請求項７記載のオーディオ適応変換装置。
  15. 前記オーディオ適応変換手段が、
    前記ユーザ端末に適応変換されたオーディオ信号を提供するネットワークシステムに含まれ、
    前記選好度がマルチメディアコンテンツのオーディオ部分は使用されないことを示す場合には、前記マルチメディアコンテンツのオーディオ部分は前記ユーザ端末に伝送されないようにオーディオ信号を適応変換させることを特徴とする請求項８記載のオーディオ適応変換装置。
  16. 前記オーディオ使用環境情報が、
    前記ユーザが前記オーディオ信号を使用する周辺環境を記述する周辺環境特性情報をさらに含むことを特徴とする請求項１記載のオーディオ適応変換装置
  17. 前記周辺環境特性情報が、
    前記ユーザ端末から入力される雑音信号を処理することによって獲得される雑音レベル情報を含むことを特徴とする請求項１６に記載のオーディオ適応変換装置。
  18. 前記周辺環境特性情報が、
    前記ユーザ端末から入力される雑音信号を処理することによって獲得される雑音周波数スペクトル情報を含むことを特徴とする請求項１６に記載のオーディオ適応変換装置。
  19. 前記オーディオ適応変換手段が、
    前記ユーザ端末に適応変換されたオーディオ信号を提供するネットワークシステムに含まれ、
    前記雑音レベル情報に基づいて前記雑音レベルでも聴取できるレベルのオーディオ信号が前記ユーザ端末に伝送されるようにオーディオ信号を適応変換させるものの、増加されたオーディオ信号レベルが所定の限界に到達した場合には、オーディオ信号が前記ユーザ端末に伝送されないようにオーディオ信号を適応変換させることを特徴とする請求項１８に記載のオーディオ適応変換装置。
  20. 前記オーディオ使用環境情報が、
    前記オーディオ信号の処理に関連した前記ユーザ端末の能力を記述する端末能力情報をさらに含むことを特徴とする請求項１記載のオーディオ適応変換装置。
  21. 前記端末能力情報が、
    前記ユーザ端末の出力チャンネルの個数情報を含むことを特徴とする請求項２０に記載のオーディオ適応変換装置。
  22. ネットワークを介してユーザ端末にオーディオ信号を送信する、単一ソース複数使用のためのオーディオ適応変換装置におけるオーディオ適応変換方法において、
    前記オーディオ適応変換装置が、前記ネットワークを介して、オーディオ信号を使用するユーザ端末からオーディオ使用環境情報を収集し管理する第１ステップと、
    前記オーディオ適応変換装置が、前記オーディオ使用環境情報に適合するオーディオ信号が前記ネットワークを介して前記ユーザ端末に出力されるように、前記オーディオ信号を前記オーディオ使用環境情報に基づいて適応変換させる第２ステップと、
    を備え、
    前記オーディオ使用環境情報は、
    前記オーディオ信号に対するユーザの選好度を記述するユーザ特性情報を含むことを特徴とするオーディオ適応変換方法。
  23. 前記ユーザ特性情報が、
    前記オーディオ信号に対するユーザの左右両側の耳各々の選好度を示す可聴度(ａｕｄｉｂｉｌｉｔｙ)情報を含むことを特徴とする請求項２２に記載のオーディオ適応変換方法。
  24. 前記ユーザ特性情報が、
    特定周波数範囲に対する選好度を含むことを特徴とする請求項２２に記載のオーディオ適応変換方法。
  25. 前記ユーザ特性情報が、
    前記特定周波数範囲の開始点と終了点との情報を更に含むことを特徴とする請求項２４に記載のオーディオ適応変換方法。
  26. 前記ユーザ特性情報が、
    前記オーディオ信号のボリュームに対する選好度を含むことを特徴とする請求項２２に記載のオーディオ適応変換方法。
  27. 前記ユーザ特性情報が、
    前記オーディオ信号の特定周波数範囲に対する減衰または増幅で表現される選好度を含むことを特徴とする請求項２２に記載のオーディオ適応変換方法。
  28. 前記ユーザ特性情報が、
    特定オーディオ趣向(前記特定オーディオ趣向はＲＯＣＫ、ＣＬＡＳＳＩＣ、ＰＯＰ効果などを含む)に対する選好度を含むことを特徴とする請求項２２に記載のオーディオ適応変換方法。
  29. 前記ユーザ特性情報が、
    マルチメディアコンテンツのオーディオ部分が使用されるか否かに対する選好度を含むことを特徴とする請求項２２に記載のオーディオ適応変換方法。
  30. 前記第２ステップが、
    前記ユーザ端末に適応変換されたオーディオ信号を提供するネットワークシステムで行われ、
    前記特定周波数範囲に対する選好度に基づいて、前記特定周波数範囲内でビットがさらに割り当てられたオーディオ信号が前記ユーザ端末に伝送されるように、オーディオ信号を適応変換させることを特徴とする請求項２４に記載のオーディオ適応変換方法。
  31. 前記第２ステップが、
    前記ユーザ端末に適応変換されたオーディオ信号を提供するネットワークシステムで行われ、
    前記特定周波数範囲に対する選好度に基づいて前記特定周波数範囲内のオーディオ信号だけが前記ユーザ端末に伝送されるように、オーディオ信号を適応変換させることを特徴とする請求項２４に記載のオーディオ適応変換方法。
  32. 前記第２ステップが、
    前記ユーザ端末に適応変換されたオーディオ信号を提供するネットワークシステムで行われ、
    前記特定レベル範囲に対する選好度において前記特定レベル範囲の最大レベルと最小レベルとの絶対差が小さい場合には、サンプリングレートが増加されるか量子化ステップの数が増加されたオーディオ信号が前記ユーザ端末で伝送されるようにオーディオ信号を適応変換させることを特徴とする請求項２５記載のオーディオ適応変換方法。
  33. 前記第２ステップが、
    前記ユーザ端末に適応変換されたオーディオ信号を提供するネットワークシステムで行われ、
    前記特定レベル範囲に対する選好度の特定レベル範囲を抜け出すオーディオ信号は前記ユーザ端末で伝送されないようにオーディオ信号を適応変換させることを特徴とする請求項２５に記載のオーディオ適応変換方法。
  34. 前記第２ステップが、
    イコライジング機能を持たないユーザ端末に適応変換されたオーディオ信号を提供するネットワークシステムで行われ、
    前記オーディオ信号の特定周波数範囲に対する減衰または増幅で表現される選好度に基づいて、エンコーディングされたオーディオ信号が前記ユーザ端末に伝送されるようにオーディオ信号を適応変換させることを特徴とする請求項２７に記載のオーディオ適応変換方法。
  35. 前記第２ステップが、
    イコライザー事前設定機能を持たないユーザ端末に適応変換されたオーディオ信号を提供するネットワークシステムで行われ、
    前記特定オーディオ趣向に対する選好度に基づいて、イコライザー事前設定されたオーディオ信号が前記ユーザ端末に伝送されるようにオーディオ信号を適応変換させることを特徴とする請求項２８に記載のオーディオ適応変換方法。
  36. 前記第２ステップが、
    前記ユーザ端末に適応変換されたオーディオ信号を提供するネットワークシステムで行われ、
    前記選好度がマルチメディアコンテンツのオーディオ部分は使用されないことを示す場合には、前記マルチメディアコンテンツのオーディオ部分は前記ユーザ端末に伝送されないようにオーディオ信号を適応変換させることを特徴とする請求項２９に記載のオーディオ適応変換方法。
  37. 前記オーディオ使用環境情が、
    前記ユーザが前記オーディオ信号を使用する周辺環境を記述する周辺環境特性情報をさらに含むことを特徴とする請求項２２に記載のオーディオ適応変換方法。
  38. 前記周辺環境特性情報が、
    前記ユーザ端末から入力される雑音信号を処理することによって獲得される雑音レベル情報を含むことを特徴とする請求項３７に記載のオーディオ適応変換方法。
  39. 前記周辺環境特性情報が、
    前記ユーザ端末から入力される雑音信号を処理することによって獲得される雑音周波数スペクトル情報を含むことを特徴とする請求項３７に記載のオーディオ適応変換方法。
  40. 前記第２ステップが、
    前記ユーザ端末に適応変換されたオーディオ信号を提供するネットワークシステムで行われ、
    前記雑音レベル情報に基づいて前記雑音レベルでも聴取できるレベルのオーディオ信号が前記ユーザ端末に伝送されるように、オーディオ信号を適応変換させるものの、増加されたオーディオ信号レベルが所定の限界に到達した場合には、オーディオ信号が前記ユーザ端末に伝送されないようにオーディオ信号を適応変換させることを特徴とする請求項３８に記載のオーディオ適応変換方法。
  41. 前記オーディオ使用環境情報が、
    前記オーディオ信号の処理に関連した前記ユーザ端末の能力を記述する端末能力情報を含むことを特徴とする請求項２２に記載のオーディオ適応変換方法。
  42. 前記端末能力情報が、
    前記ユーザ端末の出力チャンネルの個数情報を含むことを特徴とする請求項４１に記載のオーディオ適応変換方法。
  43. 前記端末能力情報が、
    前記ユーザ端末のオーディオフォーマット処理能力を記述する情報を含むことを特徴とする請求項２１に記載のオーディオ適応変換装置。
  44. 前記端末能力情報が、
    前記ユーザ端末のオーディオフォーマット処理能力を記述する情報を含むことを特徴とする請求項４２に記載のオーディオ適応変換方法。
JP2004500176A 2002-04-26 2003-04-26 オーディオ信号の適応変換装置及びその方法 Expired - Fee Related JP4704030B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2002-0023159 2002-04-26
KR20020023159 2002-04-26
PCT/KR2003/000853 WO2003091870A1 (en) 2002-04-26 2003-04-26 Apparatus and method for adapting audio signal

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008259476A Division JP2009080485A (ja) 2002-04-26 2008-10-06 オーディオ信号の適応変換装置及びその方法

Publications (2)

Publication Number Publication Date
JP2005524263A JP2005524263A (ja) 2005-08-11
JP4704030B2 true JP4704030B2 (ja) 2011-06-15

Family

ID=29267904

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2004500176A Expired - Fee Related JP4704030B2 (ja) 2002-04-26 2003-04-26 オーディオ信号の適応変換装置及びその方法
JP2008259476A Pending JP2009080485A (ja) 2002-04-26 2008-10-06 オーディオ信号の適応変換装置及びその方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2008259476A Pending JP2009080485A (ja) 2002-04-26 2008-10-06 オーディオ信号の適応変換装置及びその方法

Country Status (7)

Country Link
US (1) US20050180578A1 (ja)
EP (1) EP1499949A4 (ja)
JP (2) JP4704030B2 (ja)
KR (1) KR100919884B1 (ja)
CN (1) CN1277180C (ja)
AU (1) AU2003227377A1 (ja)
WO (1) WO2003091870A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101661710A (zh) * 2002-04-26 2010-03-03 韩国电子通信研究院 可视数据调节设备及方法
WO2004036954A1 (en) * 2002-10-15 2004-04-29 Electronics And Telecommunications Research Institute Apparatus and method for adapting audio signal according to user's preference
US7624021B2 (en) * 2004-07-02 2009-11-24 Apple Inc. Universal container for audio data
KR100691305B1 (ko) * 2004-12-08 2007-03-12 한국전자통신연구원 개인 특성 정보를 이용한 실시간 멀티미디어 트랜스코딩장치 및 그 방법
KR100707339B1 (ko) * 2004-12-23 2007-04-13 권대훈 청력도 기반 이퀄라이제이션 방법 및 장치
JP2008532343A (ja) * 2005-01-07 2008-08-14 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート Ｕｅｄ分類体系情報を用いるカスタマイズされた放送サービス提供装置及び方法
US20080002839A1 (en) * 2006-06-28 2008-01-03 Microsoft Corporation Smart equalizer
TR200701546A2 (tr) 2007-03-13 2008-10-21 Vestel Elektron�K Sanay� Ve T�Caret A.�. Otomatik ekolayzır ayarlama yöntemi
KR100925022B1 (ko) 2007-04-30 2009-11-04 주식회사 크리스틴 청력도 기반의 음질보정 음향출력장치
KR100925021B1 (ko) 2007-04-30 2009-11-04 주식회사 크리스틴 청력도 기반 이퀄라이제이션 방법
US7861008B2 (en) * 2007-06-28 2010-12-28 Apple Inc. Media management and routing within an electronic device
US8171177B2 (en) 2007-06-28 2012-05-01 Apple Inc. Enhancements to data-driven media management within an electronic device
US8111837B2 (en) * 2007-06-28 2012-02-07 Apple Inc. Data-driven media management within an electronic device
US8041438B2 (en) * 2007-06-28 2011-10-18 Apple Inc. Data-driven media management within an electronic device
KR100923641B1 (ko) * 2007-10-31 2009-10-28 (주)씨앤에스 테크놀로지 음성 인식에 따른 멀티미디어 효과 기능을 가지는 ＶｏＩＰ폰, 이를 포함하는 전화 통신 시스템, 및 그 전화 통신방법
US8934645B2 (en) 2010-01-26 2015-01-13 Apple Inc. Interaction of sound, silent and mute modes in an electronic device
CN102142924B (zh) * 2010-02-03 2014-04-09 中兴通讯股份有限公司 一种多用途语音频编码传输方法和装置
TWI896112B (zh) 2010-12-03 2025-09-01 美商杜比實驗室特許公司 音頻解碼裝置、音頻解碼方法及音頻編碼方法
US8989884B2 (en) 2011-01-11 2015-03-24 Apple Inc. Automatic audio configuration based on an audio output device
EP2956899A4 (en) * 2013-02-14 2016-09-21 Howard M Singer METHODS, SYSTEMS AND MEDIA FOR INDICATING QUALITY OF DIGITAL MEDIA CONTENT TO A USER
US9996148B1 (en) * 2013-03-05 2018-06-12 Amazon Technologies, Inc. Rule-based presentation of media items
CN104661045B (zh) * 2013-11-21 2017-09-01 青岛海尔电子有限公司 多媒体内容自适应方法和多媒体播放系统
JP6317235B2 (ja) * 2014-11-07 2018-04-25 日本電信電話株式会社 コンテンツサーバ装置、コンテンツサーバ装置の動作方法およびコンピュータプログラム
GB201620317D0 (en) 2016-11-30 2017-01-11 Microsoft Technology Licensing Llc Audio signal processing
CN110945494B (zh) * 2017-07-28 2024-06-21 杜比实验室特许公司 向客户端提供媒体内容的方法和系统
EP3588988B1 (en) * 2018-06-26 2021-02-17 Nokia Technologies Oy Selective presentation of ambient audio content for spatial audio presentation
US10855241B2 (en) * 2018-11-29 2020-12-01 Sony Corporation Adjusting an equalizer based on audio characteristics
US12401954B2 (en) * 2021-12-23 2025-08-26 Intel Corporation Communication device, hearing aid system and computer readable medium
KR20250126137A (ko) * 2023-02-14 2025-08-22 미쓰비시덴키 가부시키가이샤 정보 제공 장치, 정보 제공 방법, 및 정보 수신 장치

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5737720A (en) * 1993-10-26 1998-04-07 Sony Corporation Low bit rate multichannel audio coding methods and apparatus using non-linear adaptive bit allocation
US5907622A (en) 1995-09-21 1999-05-25 Dougherty; A. Michael Automatic noise compensation system for audio reproduction equipment
US5996022A (en) * 1996-06-03 1999-11-30 Webtv Networks, Inc. Transcoding data in a proxy computer prior to transmitting the audio data to a client
DE19734969B4 (de) * 1996-09-28 2006-08-24 Volkswagen Ag Verfahren und Vorrichtung zur Wiedergabe von Audiosignalen
US6704421B1 (en) * 1997-07-24 2004-03-09 Ati Technologies, Inc. Automatic multichannel equalization control system for a multimedia computer
US6252968B1 (en) * 1997-09-23 2001-06-26 International Business Machines Corp. Acoustic quality enhancement via feedback and equalization for mobile multimedia systems
US6195435B1 (en) * 1998-05-01 2001-02-27 Ati Technologies Method and system for channel balancing and room tuning for a multichannel audio surround sound speaker system
US6999826B1 (en) * 1998-11-18 2006-02-14 Zoran Corporation Apparatus and method for improved PC audio quality
US6859538B1 (en) * 1999-03-17 2005-02-22 Hewlett-Packard Development Company, L.P. Plug and play compatible speakers
JP2000357930A (ja) * 1999-06-15 2000-12-26 Yamaha Corp オーディオ装置、制御装置、オーディオシステム及びオーディオ装置の制御方法
JP2000356994A (ja) * 1999-06-15 2000-12-26 Yamaha Corp オーディオシステム、その制御方法および記録媒体
JP2001194812A (ja) * 2000-01-07 2001-07-19 Kyocera Mita Corp 電子写真感光体
ES2312475T3 (es) * 2000-10-11 2009-03-01 United Video Properties, Inc. Sistemas y metodos para proporcionar el almacenamiento de datos en servidores de un sistema de entrega de medios bajo demanda.
JP4190742B2 (ja) * 2001-02-09 2008-12-03 ソニー株式会社 信号処理装置及び方法
JP2002311996A (ja) * 2001-02-09 2002-10-25 Sony Corp コンテンツ供給システム
US7116787B2 (en) * 2001-05-04 2006-10-03 Agere Systems Inc. Perceptual synthesis of auditory scenes
US7072726B2 (en) * 2002-06-19 2006-07-04 Microsoft Corporation Converting M channels of digital audio data into N channels of digital audio data

Also Published As

Publication number Publication date
EP1499949A4 (en) 2008-07-02
JP2009080485A (ja) 2009-04-16
WO2003091870A1 (en) 2003-11-06
CN1277180C (zh) 2006-09-27
US20050180578A1 (en) 2005-08-18
KR100919884B1 (ko) 2009-09-30
EP1499949A1 (en) 2005-01-26
JP2005524263A (ja) 2005-08-11
CN1659507A (zh) 2005-08-24
AU2003227377A1 (en) 2003-11-10
KR20040102093A (ko) 2004-12-03

Similar Documents

Publication Publication Date Title
JP4704030B2 (ja) オーディオ信号の適応変換装置及びその方法
JP4393383B2 (ja) ユーザの選好度によるオーディオ信号適応変換装置、および、その方法
JP7302006B2 (ja) Ｂｌｕｅｔｏｏｔｈデバイスを操作するための方法
JP6834049B2 (ja) 効率的なｄｒｃプロファイル伝送
EP3987514B1 (en) Correlating scene-based audio data for psychoacoustic audio coding
EP3987515B1 (en) Performing psychoacoustic audio coding based on operating conditions
JP2013502619A (ja) 周波数帯信号エネルギーに基づいた、音声符号化における周波数帯スケール・ファクタ測定
KR100626653B1 (ko) 사용자의 선호도에 따른 오디오 신호 적응 변환 장치 및그 방법
US10727858B2 (en) Error resiliency for entropy coded audio data
US20250378837A1 (en) Multi-stage quantization for audio coding
CN110915223B (zh) 发送设备、发送方法、接收设备、接收方法和程序
US10586546B2 (en) Inversely enumerated pyramid vector quantizers for efficient rate adaptation in audio coding
EP3491644A1 (en) Reducing codec noise in acoustic devices
EP2731104A1 (en) Processing of an audio data stream based on associated metadata
KR20250087581A (ko) 오디오 비트스트림의 인코딩 및 디코딩을 위한 방법, 장치 및 매체
US20190387040A1 (en) Level estimation for processing audio data
RU2823537C1 (ru) Устройство и способ кодирования аудио
KR20250078465A (ko) 오디오 비트스트림의 효율적인 인코딩 및 디코딩을 위한 방법, 장치 및 매체
KR20250088518A (ko) 오디오 비트스트림 및 연관된 에코-참조 신호의 인코딩 및 디코딩을 위한 방법, 장치 및 매체
KR20250087580A (ko) 오디오 비트스트림 및 연관된 리턴 채널 정보의 인코딩 및 디코딩을 위한 방법, 장치 및 매체
JP2025533859A (ja) パラメトリックフレキシブルレンダリング構成データによるオーディオビットストリームの符号化及び復号化のための方法、装置、及び媒体
WO2025255306A1 (en) Multi-stage quantization for audio coding
KR20250087589A (ko) 스킵 가능한 블록에 의한 오디오 신호의 디코딩 방법, 장치 및 매체
CN119998873A (zh) 用灵活的基于块的语法对音频比特流进行编码和解码的方法、装置和介质
HK40126831A (zh) 用参数灵活渲染配置数据对音频比特流进行编码和解码的方法、装置和介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080520

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081006

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090120

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20090213

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100909

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100915

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101018

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101021

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101117

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110309

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees