JP4736331B2 - 音響信号の再生装置 - Google Patents

Description

本発明は、インターネット上でＢＧＭ（バックグラウンドミュージック）付のホームページ等を製作する場合に好適な音響信号の再生装置に関するものである。

従来より、音響信号の圧縮には様々な手法が用いられている。音響信号を圧縮して符号化する手法として、ＭＰ３（ＭＰＥＧ−１／Ｌａｙｅｒ３）、ＡＡＣ（ＭＰＥＧ−２／Ｌａｙｅｒ３）などが実用化されている。このような圧縮符号化方式により、音響信号を小さいデータとして扱うことが可能となり、データの記録・伝送の効率化に貢献している。

最近では、上述のようなＭＰ３、ＡＡＣ等のロッシー符号化方式だけでなく、完全に復元することが可能なロスレス符号化方式も開発されており、音響素材の管理に用いられている（例えば、特許文献１参照）。
特表２０００−８２１１９９号公報

しかしながら、上述のような従来のロスレス符号化方式では、途中で条件パラメータの変更が行われず、全体に渡って同一の条件パラメータ符号化が行われている。そのため、区間に応じた条件パラメータを設定することができないという問題がある。また、従来の方式では、符号化対象とする音響信号を一度に読み込まなければならないため、大容量の音響データの符号化が困難である。

このため、本出願人は符号化条件パラメータを所定の区間ごとに変更可能であるとともに、大容量のデータであっても符号化することが可能な時系列信号の符号化装置および再生装置を開発している。

しかしながら、かかる再生装置は、スタンドアローンの端末装置では、実現可能であるが、インターネット等のネットワークを経由した端末装置側で再生を行うことはできない。

本発明の目的は、前述した問題点に鑑みてなされたもので、その目的とするところはネットワークを経由して音響信号の再生が可能な再生装置を提供することにある。

前述した目的を達成するための第１の発明は、サーバと、端末装置とがネットワークで接続されたシステムにおいて、前記サーバが、符号化により圧縮された音響信号で構成される複数の音楽素材より、再生すべき音楽素材を複数個選択する情報を有するオブジェクトタグを生成する生成手段と、前記オブジェクトタグを、HTML文書の所定の位置に書き込む手段と、を具備し、前記端末装置が、前記HTML文書にアクセスすると、前記オブジェクトタグの記述に従い、選択された複数個の音楽素材に対応する圧縮された音響信号の各々に対して、圧縮ブロックを読み込み、圧縮ブロックを復号化し、復号化された複数の非圧縮ブロックを波形合成して再生する手段と、を具備することを特徴とする音響信号の再生装置である。前記サーバまたは前記端末装置が前記マトリクスを設定できる。

本発明によれば、端末装置がネットワークを経由してサーバにアクセスすると所定の音響信号が再生される。

（０．１ 実施形態の概要）
以下、図面に基づいて本発明の好適な実施の形態を詳細に説明する。図１は本実施の形態にかかる音響信号の再生装置が組み込まれたシステムを示す図である。ネットワーク１０１にウェブサーバ１０３、端末装置１０５、端末装置１０７等が接続されている。

ウェブサーバ１０３、端末装置１０５はホームページの製作者１０９が有する。ウェブサーバ１０３は製作者１０９が製作したホームページをインターネット等のネットワーク１０１を介して提供する。端末装置１０５はこのホームページ等を製作するために必要なコンピュータ等である。端末装置１０７は一般ユーザが有するコンピュータ等である。

図２は端末装置１０５の構成を示すブロック図である。端末装置１０５は、中央処理装置等の制御部１１１と、ＨＤＤ等の記憶部１１３と、フレキシブルディスクやＣＤ−ＲＯＭ等のメディアの読み込み書き込みを行うメディア入出力部１１５と、ネットワーク１０１に接続するモデムやＬＡＮボード等の通信部１１７と、キーボード、マウス又はマイク等の入力部１１９と、プリンタ等の印刷部１２１と、ＣＲＴや液晶表示装置等の表示部１２３と、スピーカ等の音声出力部１２５とから構成され、それぞれがバス１２５で接続されている。

図３はウエブサーバ１０３の構成を示すブロック図である。ウエブサーバ１０３は、中央処理装置等の制御部１３１と、ＨＤＤ等の記憶部１３３と、フレキシブルディスクやＣＤ−ＲＯＭ等のメディアの読み込み書き込みを行うメディア入出力部１３５と、ネットワーク１０１に接続するモデムやＬＡＮボード等の通信部１３７と、キーボード、マウス又はマイク等の入力部１３９と、プリンタ等の印刷部１４１と、ＣＲＴや液晶表示装置等の表示部１４３とから構成され、それぞれがバス１４７で接続されている。

端末装置１０７の構成は、図２に示す端末装置１０５の構成と同様である。
次に、本実施の形態における端末装置１０５の処理動作について説明する。図４は端末装置１０５の処理を示すフローチャートである。端末装置１０５及び端末装置１０７には、図４に示す処理を実行するためのプログラムが予めプラグインされている。製作者１０９がホームページ等を製作する場合、ＨＴＭＬ文書を作成する。本実施の形態ではこのＨＴＭＬ文書内に音響信号を再生するプログラムを組み込むことにより、一般ユーザの端末装置１０７等がホームページにアクセスした場合、画面上に文字情報、画像情報が表示されると同時に、この画面に付随した音響信号がＢＧＭの如く再生される。

図４に示す処理は、この音響信号を組み込んだホームページを作成するための端末装置１０５の処理を示すフローチャートである。

製作者１０９の指示に応じて、端末装置１０５の制御部１１１は、プレーヤ画面を開く（ステップＳ４０１）。すなわち、端末装置１０５の表示部１２３には、プラグインされたプログラムに応じて、制御部１１１が所定の表示を行っている。この画面上で、製作者が所定の指示を行うと、制御部１１１は、表示部１２３にプレーヤ画面を表示させる。プレーヤ画面とは、音楽素材を選択するための画面である。
図５は端末装置１０５の表示部１２３の一部に表示されたプレーヤ画面１５１を示す図である。プレーヤ画面１５１には、トラック種別表示部１５３、再生非再生表示部１５５、音量指定部１５７、マトリクス１５９が表示される。

トラック種別表示部１５３には５つのトラック名が表示される。すなわち、トラック１、トラック２、・・・、トラック５が表示される。
再生非再生表示部１５５にはトラックが再生される場合と再生されない場合の表示が区別して行われる。
音量指定部１５７は各トラックの音量を「０」から「１００」の数値で指定する。

マトリクス１５９は５×５のマトリクスであり、「１１」、「１２」、・・・、「２１」、「２２」、・・・、「５３」、「５４」、「５５」の２５個の要素からなり、一つの要素は一つの音楽素材を表し、各素材は異なるものである。

製作者１０９の指示に従い、制御部１１１は、マトリクス１５９の設定を行う（ステップS４０２）。すなわち製作者１０９は表示されているマトリクス１５９に対してマウス等を用いて、各トラックに対して一つの素材を選択すると、制御部１１１は、例えば、図５に示される場合、「１２」、「２２」、「３１」、「４３」、「５１」の５つの素材が選択されていることを認識する。

次に、製作者１０９によりＯＫボタン１６１が押されると、制御部１１１は、プラグインされたプログラムのプレーヤを指定したオブジェクトタグを自動的に生成し、メモリ上のクリップボードにコピーする(ステップＳ４０３)。
図６はオブジェクトタグを有するＨＴＭＬ１６を示す図である。
<object calssid=”player”・・・</object>までがオブジェクトタグの内容である。
calssidはプレーヤとして、プラグインされたプログラムを指すシリアル番号である。

<param name=”autoPlay” value=”On”は自動再生の指定をオンオフするもので、この場合オンが指定されている。
<param name=”Directory” value=”AAAAAA”は素材配置場所を指定するもので、AAAAAAが配置場所を示すURLである。
<param name=”File” value=”ois”は音響素材識別情報の指定を行う。
<param name=”Extention” value=”enc”はロスレス圧縮と非圧縮を指定するもので、encの場合ロスレスが指定され、wavの場合非圧縮が指定される。

<param name=”Sector” value=”2,2,1,3,1”は選択される音楽素材のデフォルト値を示すもので、図５に示すように、マトリクス５９でトラック１に対して「２」列目が指定され、トラック２に対して「２」列目が指定され、トラック３に対して「１」列目が指定され、トラック４に対して「３」列目が指定され、トラック５に対して「１」列目が指定されるので、デフォルト値として「２、２、１、３、１」が設定される。
このような指定を行うことにより、楽曲に対して編曲を行うことが可能となる。
<param name=”MatrixSize” value=”5”は音楽素材数を示すもので、音響合成するトラック数を示す。

なお、図６に示すように、オブジェクトタグを<div>タグで挟むようにしてもよい。<div>タグは、製作者１０９によって書き込まれる。
<div>タグはホームページ上で再生装置を示すプレーヤーバーの左上端の位置を示す。図６の場合、上端から４０ピクセル、左端から１０ピクセルの位置にプレーヤーバーが表示されるような設定となっている。

図７は図６に示すオブジェクトタグが表示された端末装置１０５の画面１７１を示す図であり、オブジェクトタグ等を表示する領域１７３と、コピーボタン１７５、ファイル保存ボタン１７７が表示される。コピーボタン１７５は領域１７３のオブジェクトタグをＨＴＭＬ文書の所定の位置にコピーするためのボタンである。ファイル保存ボタン１７７は領域１７３に表示されているオブジェクトタグをドラッグアンドドロップすることにより、任意の場所に保存する。ＨＴＭＬ文書を作成する前に、編曲を決定したときは、任意のフォルダへオブジェクトタグをファイルとして保存しておくことができる。

また、製作者１０９は端末装置１０５を用いてテキストエディタでＨＴＭＬ文書１８１を作成している(ステップＳ４０４)。このＨＴＭＬ文書１８１はホームページを構成するものであり、図８はＨＴＭＬ文書１８１を示す図である。
図７に示すコピーボタン１７５が押されると、制御部１１１は、前述したＨＴＭＬ文書１８１中にオブジェクトタグをペーストすることができる(ステップＳ４０５)。

図９はオブジェクトタグがペーストされたＨＴＭＬ文書１８１を示す図である。図９に示すように、ＨＴＭＬ文書１８１にオブジェクトタグを有するＨＴＭＬ１６２がペーストされ、図１０に示すように、端末装置１０５の表示部１２３には、ホームページが表示される。ホームページ画面の上端から４０ピクセル、左端から１０ピクセルの位置にプレーヤーバー１８５の左上端が来るように表示される。すなわち、<div>タグで示された上端から４０ピクセル、左端からから１０ピクセルの位置にプレーヤーバー１８５が表示される。
以上の処理を経て得られたＨＴＭＬ文書１８１を、製作者１０９はウェブサーバ１０３に保存する(ステップ４０６)。

一般ユーザの端末装置１０７からウェブサーバ３にアクセスし、ホームページを閲覧する場合、図１０に示すようなホームページ画面が表示され、プレヤーバー１８５の音楽再生スイッチ１８７をクリックすると、オブジェクトタグ１６２で指定された音響信号が合成されて再生される。

すなわち、オブジェクトタグ１６２に素材配置場所のＵＲＬが記載されているので、そのＵＲＬを有するサーバにおいて、編曲のデフォルト値に応じて、素材が選択される。選択された素材は、端末装置１０７に送られ、プラグインされたプログラムによって合成される。

すなわち一般ユーザはホームページの画面を見ると同時に音響信号を聞くことができる。この音響信号は製作者１０９により予め設定されたものであるが、端末装置１０７からプレーヤーバー１８３の設定スイッチ１８９をクリックすると、プレーヤ画面１５９が表示され、マトリクス１５９の設定を端末装置１０７側で新たに行うことにより、別の編曲を行うことができる。なお、マトリクスの設定に応じて音響信号が再生される処理については後述する。

また、図１１、図１２に示すように、オブジェクトタグ１９１とメタファイル１９３を別に設けるようにしてもよい。図１１はオブジェクトタグ１９１を示し、そのオブジェクトタグの中でメタファイル１９３を指定する。

図１２はメタファイル１９３を示す。このメタファイル１９３の中には図６に示すような自動再生の指定オンオフや素材配置場所の指定（ＵＲＬ）等が書き込まれている。

このように、本実施の形態によれば、ウエブサイト（ＨＴＭＬ）の中に、音響信号の再生装置を埋め込むことができる。この再生装置は、ＣＤ（コンパクトディスク）以上の高精細な音響信号を再生することができる。

そして、一般ユーザは、インターネットを介して、サーバにアクセスすることにより音響信号を再生することができ、逆に、サーバ側から言えば、インターネットを介して、音楽ファイルを一般ユーザに配布することができる。
再生される音楽は、サーバ側の製作者によって、編曲することができ、また、ユーザも編曲を指定できる。

なお、図１１、図１２に示すように、メタファイルを作成した場合、図１３に示すように、画面１７１には、コピーボタン１７５と、プレイリスト保存ボタン１７８が表示される。
プレイリスト保存ボタン１７８をクリックするとオブジェクトタグ１９１とメタファイル１９３が保存される。

また、図５に示すプレーヤ画面１５１において、図１４に示すように、マトリクス１５９の横にファイル指示部を１６０を設け、マトリクス１５９を設定する代わりに、ファイル指定部１６０で音楽素材（再生ファイル）を設定するようにしてもよい。

図１４では、たとえば、トラック３をマトリクス１５９で指定するのではなく、ファイル指定部１６０で指定する場合を示す。すなわち、ファイル指定部１６０のボタン１６２−３をクリックすると、ダイアログ１６４が表示され、このダイアログ１６４中に表示された音楽素材（再生ファイル）を選択する。
なお、トラック３だけでなく、他のトラックについてもファイル指定部１６０で音楽素材（再生ファイル）を設定するようにしてもよい。

次に、本実施の形態に係る音響信号の符号化および再生について詳細に説明する。本再生装置の対象とする符号化データは、以下に示す音響信号の符号化装置により、元の音響信号を圧縮符号化することにより得られる。
なお、この符号化装置は、端末装置１０５によって実現される。

（１．１符号化装置の構成）
図１５は、音響信号の符号化装置の構成図である。図１５において、１０はブロック分割手段、２０は下位固定ビット削除手段、３０はチャンネル間演算手段、４０はサンプル列再配置手段、５０は信号平坦部処理手段、６０は相関フレーム検出手段、７０は予測誤差変換手段、８０は極性処理手段、９０は可変長符号化手段、１００は符号出力手段である。

図１５において、ブロック分割手段１０はサンプリングにより得られたサンプル列であるデジタル音響信号を、所定のサンプル数に分割してワークメモリに読み込む機能を有している。下位固定ビット削除手段２０は、複数の音響信号を合成する際に、ビット数を合わせるために加えられたとみなされる下位の所定数のビットを削除する機能を有している。チャンネル間演算手段３０は、複数のチャンネルからなるサンプル列の各チャンネル間の相関演算を行う機能を有する。サンプル列再配置手段４０は、ブロックを構成するサンプル列を録音を基に得られたサンプル列である主サンプル列と主サンプル列を補間することにより得られた副サンプル列とに分離する機能を有している。信号平坦部処理手段５０は、各チャンネルごとのサンプル列に対して、信号の値が一定である平坦部を検出し、効率的に符号化する機能を有する。

相関フレーム検出手段６０は、各サンプル列に対して、所定の区間をフレームとして設定した後、フレーム間で対応する全てのサンプル値が同一になっている相関フレームを検出し、時間的に後方（未来）に位置する相関フレームを削除する機能を有する。予測誤差変換手段７０は、線形予測誤差の手法を用いて、各サンプルの値を予測誤差値に変換する機能を有する。極性処理手段８０は、正負の値を補数表現により表した各サンプルのビット列を、正負の極性を表す１ビットと他のビット列に分ける処理を行う機能を有する。可変長符号化手段９０は、各サンプルの値を可変ビット長で符号化する機能を有している。符号出力手段１００は、各ブロック単位で符号化されたデータおよび上記各手段により得られるデータを、分割されたブロック形態を維持しながら単一の符号化ファイルに出力する機能を有している。図１に示した装置は、実際には、コンピュータおよびコンピュータにインストールされた専用のソフトウェアプログラムにより実現される。

（１．２符号化装置の処理動作）
次に、図１５に示した音響信号の符号化装置の処理動作について説明する。まず、ブロック分割手段１０が、音響信号を構成するサンプル列の先頭から所定のサンプル数単位でブロック化し、１ブロックごとにワークメモリに読み込む。１ブロックとするサンプル数は、あらかじめ設定しておくことができる。１ブロックとするサンプル数は、音楽の１章節より若干長い程度、すなわち５秒〜１０秒程度が好ましい。時間的には同じ長さであっても、サンプリング周波数によりサンプル数が異なるため、設定者が５秒〜１０秒程度となるサンプル数をあらかじめ本システムに設定しておく。例えば、符号化対象とする音響信号のサンプリング周波数が４８ｋＨｚであった場合、１ブロックを１０秒とするには、４８００００サンプルを１ブロックとして設定してやれば良い。ブロック分割手段１０は、設定されたサンプル数を１ブロックとして順次ワークメモリに読み込んでいくことになる。

次に、下位固定ビット削除手段２０が、１ブロックとして読み込まれたサンプル列の各サンプルの下位の所定数のビットを分離する。これは、量子化ビット数が１６ビットのデータを高精細の音響信号と合わせるために２４ビットに変換している場合に、冗長な下位ビット成分を削除するために行う。この処理を行わないと、符号化された情報量は３／２倍に増大することになる。また、基になった素材の音響信号が高精細の２４ビットで量子化されている場合においても、Ａ／Ｄ変換器の性能や編集処理により、冗長な下位ビット成分が特定のブロックのみに発生する場合があり、下位固定ビット削除手段２０によりブロック単位で冗長な下位固定ビットの検出と削除を行う処理が有効になることがある。下位ビットが固定でなく有意なデータである場合、下位固定ビットを削除するのではなく分離し、分離された下位ビットデータ配列を出力符号データの一部として別途記録することも可能であり、この場合、後段の予測誤差変換手段７０以降の処理負荷が軽減される。この下位固定ビット削除手段２０については、動作させるかどうかをあらかじめ設定しておくことができる。

続いて、チャンネル間演算手段３０がチャンネル間の相関演算処理を行う。具体的には、まず、同一時刻におけるチャンネルｃｈ１のサンプルとチャンネルｃｈ２のサンプルの差分演算を行い、差分値をチャンネルｃｈ２の新たなサンプル値として記録する。すなわち、元のチャンネルｃｈ１のサンプル値をｘ_Ｌ、元のチャンネルｃｈ２のサンプル値をｘ_Ｒとすると、ｘ_ch2＝ｘ_Ｌ−ｘ_Ｒで算出されたｘ_ch2がチャンネルｃｈ２のサンプルの新たな値となる。ただし、１ブロックに渡ってｘ_ch2の絶対値の総和を算出し、それが、元のチャンネルｃｈ２のサンプル値の絶対値の総和よりも大きくなった場合は、チャンネルｃｈ２のサンプル値の変更は行わない。これは、本発明がデータの圧縮を目的としているため、データ量が大きくなってしまうと意味がないからである。チャンネルｃｈ２の更新が行われたら、チャンネルｃｈ１のサンプルの新たな値を算出する。具体的には、算出されたチャンネルｃｈ２の新たなサンプル値であるｘ_ch2を用いて、ｘ_ch1＝ｘ_Ｒ＋ｘ_ch2／２で算出する。算出されたｘ_ch1がチャンネルｃｈ１の新たなサンプル値として記録される。新たなサンプル値ｘ_ch1は、数学的には、（ｘ_Ｌ＋ｘ_Ｒ）／２となるが、このようにするとコンピュータによる演算で誤差が生じてしまうため、一旦ｘ_ch2を算出した後、ｘ_ch1の算出を行う。

このようにして得られた各チャンネルのサンプル列からは、復号時には、以下のようにすることにより復元することができる。まず、ｘ_Ｒ＝ｘ_ch1−ｘ_ch2／２として元のチャンネルｃｈ２のサンプル値を復元する。続いて、復元したチャンネルｃｈ２のサンプル値ｘ_Ｒを用いて、ｘ_Ｌ＝ｘ_Ｒ＋ｘ_ch2により元のチャンネルｃｈ１のサンプル値を復元する。

チャンネル間演算手段３０による処理が終わったら、サンプル列再配置手段４０がサンプル列の再配置処理を行う。サンプル列再配置手段４０による処理は、音響信号として複数の音響信号をミックスしたワークデータを扱う場合に有効である。具体的には、サンプリング周波数４８ｋＨｚ、量子化ビット数１６ビットの通常の音響信号や、サンプリング周波数９６ｋＨｚ、量子化ビット数２４ビットの高精細の音響信号が混在したものである。このようにサンプリング周波数の異なる音響信号を混在させることにより得られる音響信号は、高精細の音響信号にサンプリング周波数を統一させて扱うことになる。この場合、サンプリング周波数４８ｋＨｚの音響信号は、サンプリング周波数９６ｋＨｚの音響信号にサンプル数を合わせるべく隣接するサンプルの平均値などで間を補間していく。

このような音響信号を模式的に示すと図１６（ａ）のようになる。図１６（ａ）において括弧内の数字は、１から昇順に付されたサンプル番号であり、ｘは、そのサンプルの値を示している。このようなサンプル列に対して、サンプル列再配置手段４０は、４通りの処理を行う。１つ目は、奇数番目のサンプルについて、その両隣の偶数番目のサンプルの平均値との差分を演算する。２つ目は、偶数番目のサンプルについて、その両隣の奇数番目のサンプルの平均値との差分を演算する。３つ目は、奇数番目のサンプルについて、直前の偶数番目のサンプルとの差分を演算する。４つ目は、偶数番目のサンプルについて、直前の奇数番目のサンプルとの差分を演算する。各演算後のサンプル列を模式的に示すと、それぞれ図１６（ｂ）〜（ｅ）に示すようになる。なお、図１６（ｂ）（ｄ）の例では、演算を行わない偶数番目のサンプルを、図１６（ｃ）（ｅ）の例では、奇数番目のサンプルを、それぞれ時間的に過去に移動させた状態で示している。

この差分演算の結果、差分値が小さいものが最多となるものを副サンプル列とし、その場合に演算を行わないものを主サンプル列とする。図１６の例では、図１６（ｂ）〜図１６（ｅ）の配列の後半分の各値を比較することになる。例えば、奇数番目のサンプルが両隣接サンプルを利用した補間によって得られたものである場合、図１６（ｂ）に示した配列の後半の値が０になる。また、偶数番目のサンプルが両隣接サンプルを利用した補間によって得られたものである場合、図１６（ｃ）に示した配列の後半の値が０に近くなる。また、奇数番目のサンプルが直前のサンプルと同一の値で補間されたものである場合、図１６（ｄ）に示した配列の後半の値が０になる。また、偶数番目のサンプルが直前のサンプルと同一の値で補間されたものである場合、図１６（ｅ）に示した配列の後半の値が０になる。例えば、図１６（ｂ）に示す配列の後半に０近辺の値が多い場合、偶数番目のサンプルの集合を主サンプル列、奇数番目のサンプルの集合を副サンプル列として分離する。

また、サンプル列再配置手段４０の処理においては、図１６（ｂ）〜（ｅ）に示したように主サンプルを時間的に過去に移動し、副サンプルを時間的に未来に移動させるようにしても良いが、主サンプルと副サンプルを分離して扱うようにしても良い。例えば、奇数番目が副サンプルの場合には、図１６（ｆ）に示すように主サンプルと副サンプルを分離する。本実施形態では、本来のサンプルを利用して補間することにより得られたサンプルを含んだサンプル列に対して線形予測を行うことにより、逆にデータ量が増えてしまうことを防ぐために、主サンプル列と副サンプル列を区別している。そのため、主サンプル列と副サンプル列に対して、別々に線形予測を行うことができれば、図１６（ｂ）〜（ｅ）に示したような１つのサンプル列であっても、図１６（ｆ）に示したような２つのサンプル列であっても良い。

次に、信号平坦部処理手段５０が、サンプル列に対して、信号平坦部の処理を行う。信号平坦部とは、同一の信号レベルが連続する部分のことをいう。特に信号レベルが「０」の無音部、および信号レベルの絶対値が最大の飽和部に現れることが多い。無音部は実際に無音であるか、音が非常に小さく記録されなかった場合に生じるが、飽和部は、信号の録音およびＡ／Ｄ変換の過程において生じる。無音部、飽和部またはそれ以外の同一信号レベルが連続する場合のいずれであっても、信号平坦部は、同一の信号レベルが所定の時間（所定のサンプル数）連続して記録される。このため、この部分は圧縮し易いデータになっている。具体的には、信号平坦部の先頭時刻位置と、同一信号レベルが続くサンプルの個数と、信号レベル（サンプル値）の３つの値を信号平坦部データとして各チャンネルのサンプル列と分離して記録する。各チャンネルのサンプル列からは、信号平坦部が削除される。これを模式的に示すと図１７（ａ）（ｂ）に示すようになる。図１７（ａ）は、信号平坦部処理前のサンプル列である。図１７（ａ）において、網掛けで示した部分は信号平坦部を示す。信号平坦部処理手段５０の処理により、信号平坦部は元のサンプル列からは分離され、図１７（ｂ）に示すようになる。ただし、復号時に元通りに復元するために、分離された信号平坦部は、図１７（ｃ）に示すような形式で記録しておく。

信号平坦部データは、上述のように、信号平坦部ごとに、その先頭時刻（サンプル番号）、サンプル数、サンプル値の３属性で記録する。ここで、先頭時刻とは、信号の開始位置からの時刻であり、図１７（ｃ）の例では、先頭からのサンプル番号で記録している。上述のように、サンプル番号をサンプリング周波数で除算すれば、時刻に変換されることになる。サンプル数は、そのサンプル値がどの程度連続して続くかを示す情報である。なお、サンプル数の代わりに信号平坦部の終了時刻を記録するようにしても良い。サンプル値は、デジタル化された信号レベルを示している。ここでは、１６ビットで量子化しているので、最大値は「３２７６７」、最小値は「−３２７６８」となる。すなわち、「０」は無音部、「３２７６７」および「−３２７６８」は飽和部を示している。ただし、信号平坦部を無条件には処理しない。ここでは、データの圧縮を目的としているため、サンプル列の削減分よりも信号平坦部データが大きくなると意味がないからである。したがって、信号平坦部となるサンプルが所定数以上連続する場合に限り信号平坦部データを作成して各チャンネルのサンプル列から分離するのである。

続いて、各チャンネルのサンプル列に対して、相関フレーム検出手段６０が、所定の区間長をもつフレームを設定して、設定されたフレーム間の比較を行う。本実施形態では、フレーム長をサンプル列の開始時刻から終了時刻までの全区間に渡って固定長としている。具体的には、１フレームを５１２サンプルとしている。相関フレーム検出手段６０は、各チャンネルのサンプル列の先頭から５１２サンプルずつ１フレームとして設定し、フレーム間で全サンプルが一致する相関フレームを求めていくことになる。具体的な手順を図１８のフローチャートに従って説明する。

まず、相関フレーム検出手段６０は、所定のサンプル数単位でフレーム化を行う（ステップＳ１）。本実施形態では、どのブロックにおいてもフレーム長を固定長５１２サンプルとしている。相関フレーム検出手段６０は、図１９（ａ）に示すように、各ブロックにおいて、サンプル列の先頭から５１２サンプルずつを１フレームとして設定していくことになる。

次に、各フレームに対して構成するサンプル値が全て一致するフレームを探索する。具体的には、図１９（ｂ）に示すように、まず、設定されたフレームのうち、ブロック内の時間的に最後尾のフレームを、相関フレームを探すための対象フレームとする。次に、所定の探索範囲内において、対象フレームの先頭サンプルの値と同一の値をもつサンプルを、時間的に遡りながら探索していく（ステップＳ２）。例えば、図２０（ａ）に示すように、対象フレームがｍＴ〜ｍＴ＋５１１の５１２個のサンプルで構成されているとする。この場合、まず、対象フレームの先頭サンプルｍＴのサンプル値ｘ（ｍＴ）と同一となるサンプルを探索していく。さらに、サンプルｍＴ−１、サンプルｍＴ−２と順に探索していく。なお、図６において、ｍは先頭からｍ番目のフレームであることを示し、Ｔはフレーム長（本実施形態では５１２サンプル）を示している。

一致するサンプルｔが見つかったら（ステップＳ３）、次に、そのサンプルｔの次のサンプルｔ＋１と対象フレームの２番目のサンプルｍＴ＋１が一致するかどうかを比較する。このようにしてサンプルの値が一致する限り後続するサンプル同士の比較を行っていく（ステップＳ４）。ステップＳ４においては、ｘ（ｔ＋ｐ）とｘ（ｍＴ＋ｐ）の値が一致する限り、処理を繰り返していく。例えば、図２０（ｂ）に示す例では、ｘ（ｔ）〜ｘ（ｔ＋８）がｘ（ｍＴ）〜ｘ（ｍＴ＋８）と一致しているので、さらにｐ＝９として、ステップＳ４の処理が続けられることになる。ｐ＝０〜ｐ＝５１１までの全てのｘ（ｔ＋ｐ）とｘ（ｍＴ＋ｐ）が一致した場合（ステップＳ５）、そのサンプル列を対象フレームに対する相関フレームとし、相関フレームの先頭のサンプル番号と対象フレームの先頭のサンプル番号とを対応付けてフレーム相関データとして記録し、対象フレームを元のサンプル列から削除する（ステップＳ６）。対象フレームの全サンプルと一致しなければ、さらに対象フレームの先頭サンプルと値が一致するサンプルが存在するかどうかを時間的に遡りながら探索していく。所定のサンプル数分遡っても一致する相関フレームが存在しない場合は、その対象フレームに関する相関フレームの探索を中止し、対象フレームの直前のフレームを新たな対象フレームとして相関フレームの探索を行う。１つの対象フレームに対しての処理が終わったら、ステップＳ２に戻って、１つ直前のフレームを新たな対象フレームとして処理を続けていく（ステップＳ７）。このようにして、ブロック内の先頭サンプル近辺に位置するフレームを除く全フレームを対象フレームとして相関フレームの検出処理を行う。

ブロック内のサンプル列全体でみると、図１９（ｃ）に示すように対象フレームに対応する相関フレームが検出されたとすると、図１９（ｄ）に示すように対象フレームが削除されることになる。このとき、復号時に完全に復元できるように図１９（ｅ）に示すようなフレーム相関データが記録される。図１９（ｅ）に示すように、フレーム相関データには対象フレームの先頭のサンプル番号と相関フレームの先頭のサンプル番号が対応づけて記録される。

続いて、サンプル列（サンプル列再配置手段４０による処理を行った場合は主サンプル列、副サンプル列）の各サンプルの値を、予測誤差変換手段７０が予測誤差値に変換する。あるサンプルにおける予測誤差値の算出は、時間的に過去に位置する直前の１つもしくは複数のサンプルの値を利用して行われる。本実施形態では、利用する直前のサンプル数を動的に変化させる手法を用いている。以下に、このような適応型線形予測符号化について説明する。予測誤差変換手段７０により行われる適応型線形予測符号化の処理概要を図２１のフローチャートに示す。まず、あらかじめ準備された複数の予測計算式を用いて、各予測計算式に対応した線形予測誤差を算出する（ステップＳ１１）。具体的には、サンプル番号ｔの予測誤差を算出する予測計算式として、以下の〔数式１〕〜〔数式１１〕を用意している。

〔数式１〕
ｅ０（ｔ）＝ｘ（ｔ）−ｅ０（ｔ−１）／２

〔数式２〕
ｅ１（ｔ）＝ｘ（ｔ）−ａ_１１・ｘ（ｔ−１）−ｅ１（ｔ−１）／２

〔数式３〕
ｅ２（ｔ）＝ｘ（ｔ）−ａ_２１・ｘ（ｔ−１）−ａ_２２・ｘ（ｔ−２）−ｅ２（ｔ−１）／２

〔数式４〕
ｅ３（ｔ）＝ｘ（ｔ）−ａ_３１・ｘ（ｔ−１）−ａ_３２・ｘ（ｔ−２）−ａ_３３・ｘ（ｔ−３）−ｅ３（ｔ−１）／２

〔数式５〕
ｅ４（ｔ）＝ｘ（ｔ）−ａ_４１・ｘ（ｔ−１）−ａ_４２・ｘ（ｔ−２）−ａ_４３・ｘ（ｔ−３）−ａ_４４・ｘ（ｔ−４）−ｅ４（ｔ−１）／２

〔数式６〕
ｅ５（ｔ）＝ｘ（ｔ）−ａ_５１・ｘ（ｔ−１）−ａ_５２・ｘ（ｔ−２）−ａ_５３・ｘ（ｔ−３）−ａ_５４・ｘ（ｔ−４）−ａ_５５・ｘ（ｔ−５）−ｅ５（ｔ−１）／２

〔数式７〕
ｅ６（ｔ）＝ｘ（ｔ）−ｂ_１１・ｘ（ｔ−１）−ｅ６（ｔ−１）／２

〔数式８〕
ｅ７（ｔ）＝ｘ（ｔ）−ｂ_２１・ｘ（ｔ−１）−ｂ_２２・ｘ（ｔ−２）−ｅ７（ｔ−１）／２

〔数式９〕
ｅ８（ｔ）＝ｘ（ｔ）−ｂ_３１・ｘ（ｔ−１）−ｂ_３２・ｘ（ｔ−２）−ｂ_３３・ｘ（ｔ−３）−ｅ８（ｔ−１）／２

〔数式１０〕
ｅ９（ｔ）＝ｘ（ｔ）−ｂ_４１・ｘ（ｔ−１）−ｂ_４２・ｘ（ｔ−２）−ｂ_４３・ｘ（ｔ−３）−ｂ_４４・ｘ（ｔ−４）−ｅ９（ｔ−１）／２

〔数式１１〕
ｅ１０（ｔ）＝ｘ（ｔ）−ｂ_５１・ｘ（ｔ−１）−ｂ_５２・ｘ（ｔ−２）−ｂ_５３・ｘ（ｔ−３）−ｂ_５４・ｘ（ｔ−４）−ｂ_５５・ｘ（ｔ−５）−ｅ１０（ｔ−１）／２

上記〔数式１〕〜〔数式１１〕において、ｅ０（ｔ）〜ｅ１０（ｔ）は各予測計算式による時刻ｔのサンプルにおける予測誤差であり、ｘ（ｔ）〜ｘ（ｔ−５）は時刻ｔ〜ｔ−５におけるサンプル値である。

上記〔数式３〕における「ａ_２１・ｘ（ｔ−１）＋ａ_２２・ｘ（ｔ−２）」、上記〔数式４〕における「ａ_３１・ｘ（ｔ−１）＋ａ_３２・ｘ（ｔ−２）＋ａ_３３・ｘ（ｔ−３）」、上記〔数式５〕における「ａ_４１・ｘ（ｔ−１）＋ａ_４２・ｘ（ｔ−２）＋ａ_４３・ｘ（ｔ−３）＋ａ_４４・ｘ（ｔ−４）」、上記〔数式６〕における「ａ_５１・ｘ（ｔ−１）＋ａ_５２・ｘ（ｔ−２）＋ａ_５３・ｘ（ｔ−３）＋ａ_５４・ｘ（ｔ−４）＋ａ_５５・ｘ（ｔ−５）」、上記〔数式８〕における「ｂ_２１・ｘ（ｔ−１）＋ｂ_２２・ｘ（ｔ−２）」、上記〔数式９〕における「ｂ_３１・ｘ（ｔ−１）＋ｂ_３２・ｘ（ｔ−２）＋ｂ_３３・ｘ（ｔ−３）」、上記〔数式１０〕における「ｂ_４１・ｘ（ｔ−１）＋ｂ_４２・ｘ（ｔ−２）＋ｂ_４３・ｘ（ｔ−３）＋ｂ_４４・ｘ（ｔ−４）」、上記〔数式１１〕における「ｂ_５１・ｘ（ｔ−１）＋ｂ_５２・ｘ（ｔ−２）＋ｂ_５３・ｘ（ｔ−３）＋ｂ_５４・ｘ（ｔ−４）＋ｂ_５５・ｘ（ｔ−５）」は過去の２〜５個のサンプルに基づく線形予測成分である。この線形予測成分、および、直前のサンプルにおいて算出された予測誤差「ｅ１（ｔ−１）／２」〜「ｅ１０（ｔ−１）／２」（誤差フィードバック成分）を用いて時刻ｔにおける予測誤差ｅ０（ｔ）〜ｅ１０（ｔ）を算出する。

上記の係数ａ_１１〜ａ_５５には初期値として、ａ_１１＝１、ａ_２１＝２、ａ_２２＝−１、ａ_３１＝３、ａ_３２＝−３、ａ_３３＝１、ａ_４１＝４、ａ_４２＝−６、ａ_４３＝４、ａ_４４＝−１、ａ_５１＝５、ａ_５２＝−１０、ａ_５３＝１０、ａ_５４＝−５、ａ_５５＝１という値が各々設定されており、上記の係数ｂ_１１〜ｂ_５５には初期値として、ｂ_１１＝１、ｂ_２１＝２、ｂ_２２＝−１、ｂ_３１＝３、ｂ_３２＝−３、ｂ_３３＝１、ｂ_４１＝４、ｂ_４２＝−６、ｂ_４３＝４、ｂ_４４＝−１、ｂ_５１＝５、ｂ_５２＝−１０、ｂ_５３＝１０、ｂ_５４＝−５、ｂ_５５＝１という値が各々設定されている。本実施形態では、これらの係数を設定されたモードに応じて動的に変化させる。図２２に本システムで設定可能な線形係数の設定モードを示す。図２２において、「初期固定値」とはブロック内の全サンプルについて上記初期値をそのまま用いることを示している。「初期最適値算出」とは、ブロック内のサンプル列全体を通して最適な値を算出し、算出した値をブロック内の全サンプルについて用いることを示している。「ユーザ設定初期固定値」とは、ユーザが独自に設定した値をブロック内の全サンプルについて用いることを示している。「逐次最適値算出」とは、上記初期値を利用して所定のサンプル数単位で係数を更新していくことを示している。本実施形態では、モード２を利用してａ_ｉｊ系列の係数を「初期固定値」とし、ｂ_ｉｊ系列の係数を「逐次最適値算出」とする。ここで、「逐次最適値算出」について説明する。「逐次最適値算出」は、具体的には、Levinson-Durvinのアルゴリズムを利用した以下の〔数式１２〕を用いて係数ｂ_１１〜ｂ_５５を決定する。

〔数式１２〕
φ（ｋ）＝１／（Ｎ−Ｋ）・Σ_{ｊ＝１，Ｎ−Ｋ}ｘ（ｊ）・ｘ（ｊ＋ｋ）
ｋ_ｉ＝−｛φ（ｉ）＋Σ_{ｊ＝１，ｉ−１}ｂ_ｊ（ｉ-１）・φ（ｉ-ｊ）｝／Ｅ（ｉ-１）
ｂ_ｉ（ｉ）＝ｋ_ｉ
ｂ_ｊ（ｉ）＝ｂ_ｊ（ｉ-１）＋ｋ_ｉ・ｂ_ｉ−ｊ（ｉ-１） ただし、１≦ｊ≦ｉ−１
Ｅ（ｉ）＝（１−ｋ_ｉ ^２）Ｅ（ｉ−１）

上記〔数式１２〕において、φ（ｋ）は、Ｎ個のサンプルｘ（ｊ）（ｊ＝１，…，Ｎ）において、最大値Ｋ（上記例では５）の範囲でｋサンプルシフトさせたサンプル列との自己相関値である。なお、ＮはＫに対して十分大きな数値をとっている（例えばＫ＝５の場合、Ｎ＝３２７６８）。〔数式１２〕は、ｉ＝１からｉ＝Ｋまで再帰的に繰り返し、最終的に得られたｂ_ｊ（Ｋ）が過去Ｋ個のサンプルに対応する係数になるとともに、各フェーズにおいて得られた中間結果であるｂ_ｊ（ｉ）が係数ｂ_ｉｊとなる。ステップＳ１においては、上記〔数式１２〕により決定した係数を用いて、〔数式７〕〜〔数式１１〕の各計算式で計算を行うことになる。〔数式１２〕による計算は、実際には後述するステップＳ１７において行われるものである。また、係数を決定するには、過去の数サンプル分の値を必要とするので、初めのＮ−１サンプルについては、上記の初期係数で〔数式７〕〜〔数式１１〕の計算を行うことになる。

図２１のフローチャートに戻って、上記各予測計算式別の予測誤差値の絶対値の累積である累積誤差が最小となる線形予測誤差をそのサンプルの予測誤差として選出する（ステップＳ１２）。ここでは、累積誤差という考え方を用いている。具体的には、各予測計算式〔数式１〕〜〔数式１１〕により算出された予測誤差の過去のサンプルについての累積値をＡ０〜Ａ１０として設定する。そして、この累積誤差Ａ０〜Ａ１０のうち、最小となるものに対応する予測誤差を選出する。例えば、Ａ０〜Ａ１０のうち、Ａ２が最小であったとする。この場合、〔数式３〕で算出された予測誤差ｅ２（ｔ）を符号化対象とする予測誤差ｅ（ｔ）として選出することになる。選出された予測誤差ｅ（ｔ）はサンプルの元の値ｘ（ｔ）と置き換えられて以降処理が行われることになる。

続いて、累積誤差Ａ０〜Ａ１０に各予測誤差ｅ０（ｔ）〜ｅ１０（ｔ）の絶対値を加算する（ステップＳ１３）。具体的には、以下の〔数式１３〕に示すように、累積誤差値となる変数Ａ０〜Ａ１０を更新していく。同時に、各サンプルの処理を行う度に、カウンタＣ１、Ｃ２を１つづつ加算していく処理を行う。

〔数式１３〕
Ａ０←Ａ０＋｜ｅ０（ｔ）｜ Ａ１←Ａ１＋｜ｅ１（ｔ）｜
Ａ２←Ａ２＋｜ｅ２（ｔ）｜ Ａ３←Ａ３＋｜ｅ３（ｔ）｜
Ａ４←Ａ４＋｜ｅ４（ｔ）｜ Ａ５←Ａ５＋｜ｅ５（ｔ）｜
Ａ６←Ａ６＋｜ｅ６（ｔ）｜ Ａ７←Ａ７＋｜ｅ７（ｔ）｜
Ａ８←Ａ８＋｜ｅ８（ｔ）｜ Ａ９←Ａ９＋｜ｅ９（ｔ）｜
Ａ１０←Ａ１０＋｜ｅ１０（ｔ）｜

続いて、カウンタＣ１が所定回数を超えたかどうかの判定を行う（ステップＳ１４）。本実施形態では、この所定回数を１００回として設定している。すなわち、カウンタＣ１が１００を超えたかどうかの判定を行う。

この結果、カウンタが１００を超えていたら、累積誤差を半分にする（ステップＳ１５）。具体的には、以下の〔数式１４〕に示すように、累積誤差となる変数Ａ０〜Ａ１０を２で除算する。同時に、カウンタＣ１を０にリセットする。すなわち、ここでのＡ０〜Ａ１０は純粋な意味での累積誤差ではなく、累積誤差の移動平均となっている。本実施形態では、直前の最大１００サンプルまでは累積されるが、それ以前のものは半分になるように処理する。これにより、時間的に離れたサンプルの影響が小さくなるようにしている。

〔数式１４〕
Ａ０←（Ａ０）／２ Ａ１←（Ａ１）／２
Ａ２←（Ａ２）／２ Ａ３←（Ａ３）／２
Ａ４←（Ａ４）／２ Ａ５←（Ａ５）／２
Ａ６←（Ａ６）／２ Ａ７←（Ａ７）／２
Ａ８←（Ａ８）／２ Ａ９←（Ａ９）／２
Ａ１０←（Ａ１０）／２

続いて、カウンタＣ２が所定回数を超えたかどうかの判定を行う（ステップＳ１６）。本実施形態では、この所定回数を３２７６８回として設定している。すなわち、カウンタＣ２が３２７６８を超えたかどうかの判定を行う。

この結果、カウンタＣ２が３２７６８を超えていたら、係数ｂ_１１〜ｂ_５５の再計算を行う（ステップＳ１７）。具体的には、上記〔数式１２〕を用いて、係数ｂ_１１〜ｂ_５５を計算し直すことになる。同時に、カウンタＣ２を０にリセットする。

上記ステップＳ１１〜ステップＳ１７の処理をブロック内のサンプル列の全サンプルに渡って実行することにより、全サンプルの値が元の振幅値ｘ（ｔ）から対象誤差ｅ（ｔ）に置き換えられることになる。本実施形態では、特に、複数の予測式の係数を動的に変化させることにより、より精度の高い予測誤差を算出することが可能になる。

続いて、極性処理手段８０が、ブロック内の各サンプルの正負極性処理を行う。上記予測誤差変換手段７０により各サンプルの値は、振幅値から予測誤差に置き換えられたが、各サンプルのビット形式は、当初のままである。通常、コンピュータ等の計算機で演算される場合は、各データは３２ビット単位で処理され、２の補数表現を用いて表現されている。これを、正負の符号付き絶対値表現に変換し、なおかつ、その絶対値部分を上位に１ビット移動させ、正負の符号ビットをＬＳＢ（最下位ビット）に移動させる。極性処理手段８０によるビット構成の変換の様子を模式的に示すと図２３のようになる。図２３（ａ）は処理前のビット構成であり、図２３（ｂ）は処理後のビット構成である。このように正負の符号ビットをＬＳＢに移動させるのは、後の可変長符号化手段９０の処理で、各サンプルのビット長を検出し易くするためである。

次に、可変長符号化手段９０が、各サンプルを可変長に変換する処理を行っていく。本実施形態における可変長符号化は、一般にゴロム符号化と呼ばれる方式を採用している。具体的には、１サンプルを構成するビット成分を上位ビット成分と下位ビット成分に分け、下位ビット成分は変更を加えずそのままとし、上位ビット成分は、上位ビットだけを十進数変換した数値分のビット「０」を並べ、最後にセパレータビット「１」を加えた配列とする。例えば、８ビットのビット成分「００１０１０００」を考えてみる。このとき、下位ビット成分を４ビットとすると、下位ビット成分は「１０００」となる。上位ビットは「００１０」であるため、これを十進数変換した「２」個分の「０」を配列して最後に「１」を加えた「００１」に変換される。この結果、８ビットのビット列「００１０１０００」は、７ビットのビット列「００１１０００」に変換されることになる。本実施形態では、変換の前後でビット成分を不変とする下位ビット成分のビット長を各サンプルで可変とするようにしている。

以下、可変長符号化手段９０が行う処理を具体的に説明していく。図２４は可変長符号化の概要を示すフローチャートである。まず、過去のサンプルのビット長の移動平均である平均ビット長Ｂｆを算出する（ステップＳ２１）。平均ビット長Ｂｆは、過去のビット長の累積値である累積ビット長ＲＢを、過去のサンプル数を基にしたカウンタＣ３で除算することにより求められる。すなわち、Ｂｆ＝ＲＢ／Ｃ３で算出される。累積ビット長ＲＢは、初期状態では０であるので、ｔ＝１のサンプルを処理する場合には、ｔ＝１のサンプルのビット長Ｂｄ（ｔ）を初期値として設定しておく。また、初期のカウンタＣ３＝１と設定する。

続いて、時刻ｔにおけるサンプルのビット長Ｂｄ（ｔ）を算出する（ステップＳ２２）。ｔ＝２以降のサンプルについては、平均ビット長Ｂｆの算出後、サンプルのビット長Ｂｄ（ｔ）を算出する。このビット長Ｂｄ（ｔ）は、上記極性処理手段８０によりビット構成の変換を行ったことにより算出し易くなっている。図２３（ｂ）に示したようなビット構成に変換したことにより、各サンプルのビット構成において先頭にビット「１」が出現したところからがビット長となる。次に、変更部のビット長Ｂｖを算出する（ステップＳ２３）。これは、上記サンプルのビット長Ｂｄ（ｔ）から平均ビット長Ｂｆを減じることにより算出される。続いて、データの符号出力を行う（ステップＳ２４）。具体的には、上位Ｂｖビットを十進数変換した数値分だけ「０」を出力した後、セパレータビット「１」を出力し、下位Ｂｆビットを不変部として出力する。符号出力は、ハードディスク、ＣＤ−Ｒ等の外部記憶装置への記録として行われることになる。次に、累積ビット長ＲＢにビット長Ｂｄ（ｔ）を加算する（ステップＳ２５）。同時に、各サンプルの処理を行う度に、カウンタＣ３を１つずつ加算していく処理を行う。続いて、カウンタＣ３が所定の数を超えたかどうかを判定する（ステップＳ２６）。所定の数としては、ここでも１００程度を設定している。そのため、カウンタ４が１００を超えたかどうかを判断することになる。この結果、カウンタが１００を超えていたら、累積ビット長ＲＢを半分にする（ステップＳ２７）。具体的には、累積ビット長となる変数ＲＢを２で除算する。同時に、カウンタＣ３を１／２にする。上記のようにして、各サンプルについて可変ビット長での符号化が行われて行く。

続いて、符号出力手段１００が、可変長符号化手段９０から出力された各ブロックの可変長符号化データを、分割されたブロック形態を維持しながら、上記各手段により得られた各データと共に、１つの符号化ファイルに順次収録していく。

（１．３符号化データの構造）
以上のようにして得られた符号化データは、コンピュータに接続されたハードディスク等の記憶装置等に随時記憶され、その後、必要な記憶媒体に対応するフォーマットで記憶される。ここで、最終的に得られた符号化データの全体構成の概略を図２３に示す。図２５（ａ）は全体の概略構成、図２５（ｂ）はブロック単位の符号化データの概略構成、図２５（ｃ）は各ブロックにおけるチャンネル単位の符号化データの概略構成となっている。図２５（ａ）に示すように、全体の符号化データとしては、高速モード識別データ、ブロック数、ブロック長、各ブロック単位の符号化データが記録されている。高速モード識別データとは、高速モードか通常モードかを示す１ビットのデータであり、高速モードである場合は、ブロック分割を行わずに、単一サンプルごとにワークメモリを用いずに符号化処理を行う。本発明による処理は、通常モードである場合に行われる。ブロック数は、符号化データの全ブロック数を示す２バイトのデータである。ブロック長は、１ブロック内のサンプル数を示す４バイトのデータである。符号化データ１〜ｎは各ブロックの符号化データである。

図２５（ｂ）に示すように、各ブロックの符号化データとしては、符号化条件パラメータ、各チャンネルデータが記録されている。符号化条件パラメータは、各ブロックごとの符号化条件パラメータを記録した最大７３ビットのデータである。符号化条件パラメータとしては、下位固定ビット削除手段２０による下位固定ビットの削除・分離を行ったか、行った場合は削除・分離のどちらを行ったか、サンプル列再配置手段４０によるサンプル列の再配置を行ったかどうか、信号平坦部処理手段５０による処理を行ったか、相関フレーム検出手段６０による処理を行ったか、予測誤差変換手段７０における線形係数の更新間隔はどの程度か等がある。各チャンネルデータは、各チャンネルごとの符号化データであり、本実施形態のように、ステレオ音響信号を符号化した場合は、図２５（ｂ）に示すように、２チャンネル分記録される。

図２５（ｃ）に示すように、各チャンネルの符号化データとしては、下位固定ビットデータ、サンプル再配置状態、信号平坦部データ、フレーム相関データ、予測誤差可変長符号化データが記録されている。下位固定ビットデータは、下位固定ビット削除手段２０により削除せずに分離した場合に記録されるものである。サンプル再配置状態は、図１６（ｂ）〜図１６（ｅ）に示した４つの状態のうちいずれの状態であるかを示す２ビットのデータである。信号平坦部データは、信号平坦部処理手段５０により得られた図１７（ｃ）に示すようなデータである。フレーム相関データは、相関フレーム検出手段６０により得られた図１９（ｅ）に示すようなデータである。予測誤差可変長符号化データは、可変長符号化手段９０により得られた可変長の符号化データである。以上のような符号化処理により、符号化条件パラメータを所定の区間ごとに変更可能であると共に、大容量のデータであっても符号化することが可能となる。

（２．本再生装置利用のための音響信号の加工）
上記のようにして得られた符号化データを、本発明に係る音響信号の再生装置で再生することになる。本発明に係る音響信号の再生装置では、上記符号化装置により符号化された音響信号を複数合成して再生する。この合成をスムーズに行うためには、合成対象とする符号化データの各再生時間が同一となるように加工する必要がある。これは、１つの符号化データを基準として、他の符号化データのサンプル数を、基準とした符号化データに合うように補間するようにして増加させることにより行う。また、本実施形態では、再生する利用者が、自由に音楽の構成を変化させることが可能なように、各符号化データをメロディ、コード、リズム等のパートに分けて作成している。各符号化データは、それぞれ図１１に示した構造となる。
なお、この再生装置は、端末装置１０５、１０７により実現される。

（３．音響信号の再生）
以下、本発明に係る音響信号の再生装置について説明する。
（３．１再生装置の構成）
図２６は、本発明に係る音響信号の再生装置の一実施形態を示す構成図である。図２６において、１は圧縮ブロック読込手段、２はブロック復号手段、３は合成比率設定手段、４は波形合成処理手段、５は合成ブロック蓄積手段、６はサウンドデバイスドライバ、７はサウンドデバイス、８はタイマーである。

圧縮ブロック読込手段１は、圧縮された符号化データファイルから、圧縮ブロック単位でデータの読み込みを行う機能を有している。ブロック復号手段２は、読み込んだ圧縮ブロックを復号して、圧縮符号化前の状態である非圧縮ブロックに復元する機能を有している。合成比率設定手段３は、複数の非圧縮ブロックをどの程度の比率で合成するかを設定する機能を有している。波形合成処理手段４は、ブロック復号手段２で復号された複数の非圧縮ブロック、いわゆるデジタルの波形データを合成比率設定手段３で設定された合成比率で合成する機能を有している。合成ブロック蓄積手段５は、合成された合成ブロックを蓄積するバッファメモリを複数有しており、これらのバッファメモリに蓄積された合成ブロックを、ＦＩＦＯ（ファーストイン・ファーストアウト）方式、すなわち、先に入ってきた情報が、先に出ていく方式で処理する機能を有している。すなわち、合成ブロック蓄積手段５は、波形合成処理手段４から投入された合成ブロックを投入された順序で蓄積し、その順序でサウンドデバイスドライバ６に渡す機能を有することとなる。サウンドデバイスドライバ６は、サウンドデバイス７を駆動させて合成ブロックを音響再生する機能を有しており、サウンドデバイス７は、デジタルデータである合成ブロックをＤ／Ａ変換して音声として再生する機能を有している。すなわち、サウンドデバイスドライバ６およびサウンドデバイス７は合成ブロック再生手段として機能することになる。タイマー８は、サウンドデバイスによる音響信号の再生と、外部機器の音響信号の再生とのタイミングをとるために利用するタイマーであり、コンピュータにおいて時刻管理を行うタイマーと共用されている。

（２．２再生装置の処理動作）
続いて、図２６に示した再生装置の処理動作について説明する。まず、再生装置の利用者は、合成比率設定手段３により複数の符号化データの合成比率を設定する。具体的には、再生装置に接続された表示装置に、図５に示すような設定画面を表示させ、この設定画面上で利用者に設定させることになる。図５においては、５トラックが選択できるようになっており、トラック名の右側には音量指定部１５７、マトリクス１５９が設けられている。図５の例では、５トラック全てにチェックが付いた状態を示しており、これにより５トラック分の符号化データを読み込み、合成することになる。また、図５の例では、音量指定が５トラック全て最大値「１００」となっており、５つの符号化データが同比率で合成されることになる。マトリクス１５９は、復号・合成して再生する音響信号が圧縮された符号化データファイルの入力を指定する。利用者は、図５に示すようなプレーヤ画面１５１において、使用するトラック、トラック別の音量、再生ファイル名（符号化データファイル名）を設定する。設定されたトラック別の音量は、各トラックとして設定された符号化データの合成比率として合成比率設定手段３から波形合成処理手段４に与えられることになる。また、マトリクス１５９で設定された再生ファイル名に対応する符号化データが圧縮ブロック読込手段１により読み込まれることになる。

符号化データである圧縮サウンドデータは図２５に示したような構造となっており、ブロック単位で記録されているため、まず、圧縮ブロック読込手段１が符号化データをブロック単位で読み込む。

続いて、ブロック復号手段２が読み込んだ符号化データをブロック単位で復号する。復号処理は、基本的には上記符号化装置で行った処理の逆の処理を行うことにより実現される。ここで、復号処理の特徴的な部分について以下に説明する。まず、ブロック復号手段２は、読み込んだビット列のどの部分が変更部であるか、およびどの部分が不変部であるかを判断して、固定ビット長のサンプルを復元する。

ここで、固定ビット長サンプル復元処理の概要を図２７のフローチャートに示す。まず、入力された符号データのビット列から変更部に相当するビット列を抽出し、固定長に復号する（ステップＳ３１）。入力されたビット列は、先頭から０が続き、１が出現する。これは、上記符号化のときに、そのような規則で可変長符号化したためである。そのため、ブロック復号手段２は「１」が出現したときのビット列を、符号化時と逆の規則で復号する。例えば「００１１０００…」というビット列が来た場合に、最初に「１」が出現した「００１」までを変更部と判断し、「０」が２個続いているので、「２」の二進数表現「００１０」（４ビットの場合）に復号する。

次に、過去のサンプルのビット長の移動平均である平均ビット長Ｂｆを算出する（ステップＳ３２）。これは、上記可変長符号化のステップＳ２１の処理と全く同じ処理である。続いて、不変部のビット列を抽出する（ステップＳ３３）。これは、算出された平均ビット長Ｂｆ分のビット列を抽出することにより行う。例えば、上記のような「００１１０００…」というビット列で、「００１」までが変更部であったとし、Ｂｆ＝４であったとすると、続く「１０００」が不変部として抽出される。

続いて、ステップＳ３１で復号された変更部のビット列とステップＳ３３で抽出された不変部のビット列を連結して固定長のサンプルを出力する（ステップＳ３４）。固定長に復元されたサンプルは、別途極性復元処理が行われる。次に、累積ビット長ＲＢにビット長Ｂｄ（ｔ）を加算する（ステップＳ３５）。同時に、各サンプルの処理を行う度に、カウンタＣを１つづつ加算していく処理を行う。続いて、カウンタＣが所定の数を超えたかどうかを判定する（ステップＳ３６）。所定の数としては、ここでも１００程度を設定している。そのため、カウンタが１００を超えたかどうかを判断することになる。この結果、カウンタが１００を超えていたら、累積ビット長ＲＢを半分にする（ステップＳ３７）。具体的には、累積ビット長となる変数ＲＢを２で除算する。同時に、カウンタＣを１／２にする。ステップＳ３５〜ステップＳ３７の処理は、上記符号化装置の可変長符号化手段９０によるステップＳ２５〜ステップＳ２７の処理と全く同じである。

上記処理により固定長のサンプルが出力されたら、次に、ブロック復号手段２が、各誤差サンプルの正負極性を復元する。これは、上記符号化装置の極性処理手段８０が行った処理の逆を行うことになる。具体的には、正負の符号ビットをＭＳＢ（最下位ビット）に移動させ、絶対値部分を下位に１ビット移動させた後、正負の符号付き絶対値で表現されているサンプル値を２の補数を用いた表現に変換する。ビット構成の変換の様子を模式的に示すと図２３（ｂ）に示したビット構成から図２３（ａ）に示したビット構成に変換することになる。この処理によりコンピュータによる算術演算を行い易いビット構成となる。

また、ブロック復号手段２は、予測誤差値が記録されている誤差サンプルの値を過去のサンプル値に依存しない独立した値に復元する。この独立したサンプルへの復元処理の概要を図２８のフローチャートに示す。まず、あらかじめ準備された複数の予測計算式のうち、どの予測計算式を適用するかを決定する（ステップＳ４１）。予測計算式は、符号化時に利用された上記〔数式１〕〜〔数式１０〕のいずれかを用いることになる。〔数式１〕〜〔数式１１〕のいずれを選択するかについては、各予測式に対応した累積誤差値に基づいて行う。累積誤差Ａ１〜Ａ１０は、符号化時に用いたものと同じであり、初期状態では全て０となる。

上記〔数式１〕〜〔数式１１〕において、ｅ０（ｔ）〜ｅ１０（ｔ）は各予測計算式による時刻ｔのサンプルにおける予測誤差であり、ｘ（ｔ）〜ｘ（ｔ−５）は時刻ｔ〜ｔ−５におけるサンプル値である。

上述のように、上記〔数式３〕における「ａ_２１・ｘ（ｔ−１）＋ａ_２２・ｘ（ｔ−２）」、上記〔数式４〕における「ａ_３１・ｘ（ｔ−１）＋ａ_３２・ｘ（ｔ−２）＋ａ_３３・ｘ（ｔ−３）」、上記〔数式５〕における「ａ_４１・ｘ（ｔ−１）＋ａ_４２・ｘ（ｔ−２）＋ａ_４３・ｘ（ｔ−３）＋ａ_４４・ｘ（ｔ−４）」、上記〔数式６〕における「ａ_５１・ｘ（ｔ−１）＋ａ_５２・ｘ（ｔ−２）＋ａ_５３・ｘ（ｔ−３）＋ａ_５４・ｘ（ｔ−４）＋ａ_５５・ｘ（ｔ−５）」、上記〔数式８〕における「ｂ_２１・ｘ（ｔ−１）＋ｂ_２２・ｘ（ｔ−２）」、上記〔数式９〕における「ｂ_３１・ｘ（ｔ−１）＋ｂ_３２・ｘ（ｔ−２）＋ｂ_３３・ｘ（ｔ−３）」、上記〔数式１０〕における「ｂ_４１・ｘ（ｔ−１）＋ｂ_４２・ｘ（ｔ−２）＋ｂ_４３・ｘ（ｔ−３）＋ｂ_４４・ｘ（ｔ−４）」、上記〔数式１１〕における「ｂ_５１・ｘ（ｔ−１）＋ｂ_５２・ｘ（ｔ−２）＋ｂ_５３・ｘ（ｔ−３）＋ｂ_５４・ｘ（ｔ−４）＋ｂ_５５・ｘ（ｔ−５）」は過去の２〜５個のサンプルに基づく線形予測成分である。この線形予測成分、および、直前のサンプルにおいて算出された予測誤差「ｅ１（ｔ−１）／２」〜「ｅ１０（ｔ−１）／２」（誤差フィードバック成分）を用いて時刻ｔにおけるサンプルｅ（ｔ）の値を、上記ステップＳ４１で決定したいずれかの予測式にｅ１（ｔ）〜ｅ１０（ｔ）のいずれかとして代入し、ｘ（ｔ）を算出する（ステップＳ４２）。

続いて、累積誤差Ａ１〜Ａ１０に各予測誤差ｅ１（ｔ）〜ｅ１０（ｔ）の絶対値を加算する（ステップＳ４３）。具体的には、符号化装置においても用いた上記〔数式１３〕に示したように、累積誤差値となる変数Ａ１〜Ａ１０を更新していく。同時に、各サンプルの処理を行う度に、カウンタを１つづつ加算していく処理を行う。

続いて、カウンタが所定回数を超えたかどうかの判定を行う（ステップＳ４４）。本実施形態では、この所定回数を１００回として設定している。すなわち、カウンタが１００を超えたかどうかの判定を行う。

この結果、カウンタが１００を超えていたら、累積誤差を半分にする（ステップＳ４５）。具体的には、符号化装置においても用いた上記〔数式１４〕に示したように、累積誤差となる変数Ａ１〜Ａ１０を２で除算する。同時に、カウンタを０にリセットする。すなわち、ここでのＡ１〜Ａ１０は純粋な意味での累積誤差ではなく、累積誤差の移動平均となっている。本実施形態では、直前の最大１００サンプルまでは累積されるが、それ以前のものは半分になるように処理する。これにより、時間的に離れたサンプルの影響が小さくなるようにしている。

上記ステップＳ４１〜ステップＳ４５の処理を読み込んだ全誤差サンプルに対して実行することにより、全サンプルの値が元の予測誤差ｅ（ｔ）から振幅値ｘ（ｔ）に復元されることになる。

上記のように、符号化装置において行われた符号化処理に対応した復号処理を行って行くことにより、原デジタル音響信号のサンプルが各ブロック単位で復元され、非圧縮ブロックが得られる。ただし、本発明に係る再生装置では、上記復号処理を、読み込まれた各符号化データに対して並行に行うことになる。この結果、同時に複数の非圧縮ブロックが得られることになる。

続いて、得られた複数の非圧縮ブロックを、波形合成処理手段４が合成して合成ブロックを生成する。具体的には、各非圧縮ブロックを構成する各サンプルに合成比率を乗じたものを加算することにより行われる。この結果、合成ブロックが得られることになる。

波形合成処理手段４により合成されて得られた合成ブロックは、合成ブロック蓄積手段５に蓄積されていく。本実施形態では、合成ブロック蓄積手段に４ブロックまで蓄積可能となっているため、４ブロック蓄積されるまでは、サウンドデバイスドライバ６による処理は開始されない。図２９に示すように、合成ブロック蓄積手段５に合成ブロックが４ブロック蓄積されると、サウンドデバイスドライバ６が、合成ブロック蓄積手段５に蓄積された合成ブロックのうち先頭のブロックを音響再生する。具体的には、サウンドデバイス７が合成ブロックのデータをＤ／Ａ変換してスピーカに出力することになる。音響再生された合成ブロックは、合成ブロック蓄積手段５から削除される。

合成ブロックが削除されて、合成ブロック蓄積手段５内に余裕ができると、波形合成処理手段４により合成された合成ブロックが合成ブロック蓄積手段５に投入される。これにより、合成ブロック蓄積手段５内は再び最大容量まで蓄積されることになる。波形合成処理手段４により合成された合成ブロックは、現実には、ＣＰＵが合成ブロック投入手段として機能することにより、合成ブロック蓄積手段５内に投入される。この合成ブロック投入手段は、合成ブロックを合成ブロック蓄積手段５に単純に投入するだけでなく、合成ブロック蓄積手段５に空きが無い場合は、圧縮ブロック読込手段１、ブロック復号手段２、波形合成処理手段４に対して処理を中断するメッセージを送り、合成ブロック蓄積手段５への合成ブロックの投入を制御している。

一方、サウンドデバイスドライバ６は、合成ブロック蓄積手段５に蓄積された合成ブロックのうち先頭のブロックを順次音響再生していく。この際、サウンドデバイスドライバ６は、１つの合成ブロックの音響再生を終了する度に、合成ブロック投入手段、圧縮ブロック読込手段１、ブロック復号手段２に対して各処理の実行を許可するメッセージを送る。

ここで、上記再生装置における処理の概要を整理して図３０のフローチャートに示す。まず、合成ブロック投入手段が、合成ブロック蓄積手段５内に空いているバッファメモリが存在するかどうかを探索する（ステップＳ５１）。空いているバッファメモリが存在しない場合は、圧縮ブロック読込手段１およびブロック復号手段２、波形合成処理手段４に対して処理を中断するメッセージを送り、サウンドデバイスドライバ６からの再生終了メッセージの受信待ちとする（ステップＳ５２）。サウンドデバイスドライバ６からの再生終了メッセージがあった場合には、再生が終了した合成ブロックを格納していたバッファメモリから削除する（ステップＳ５３）。サウンドデバイスドライバ６からの再生終了メッセージは、同時に合成ブロック投入手段、圧縮ブロック読込手段１、ブロック復号手段２、波形合成処理手段４にも送信されるため、圧縮ブロック読込手段１、ブロック復号手段２、波形合成処理手段４が処理を再開し、非圧縮ブロックの復号および非圧縮ブロックの合成が行われる（ステップＳ５４）。続いて、空いているバッファメモリに合成ブロックが格納される（ステップＳ５５）。一方、サウンドデバイスでは、常に、合成ブロック蓄積手段５内のバッファメモリを探索しており（ステップＳ５６）、合成ブロックが存在する場合には、合成ブロックを再生する（ステップＳ５７）。１つの合成ブロックの再生を待ち（ステップＳ５８）、再生が終了したら、再生終了メッセージを合成ブロック投入手段、圧縮ブロック読込手段１、ブロック復号手段２、波形合成処理手段４に送信する（ステップＳ５９）。

本実施の形態に係る音響信号の再生装置が組み込まれたシステムを示す図 ウェブサーバ１０３の構成を示すブロック図 端末装置１０５の構成を示すブロック図 端末装置１０５の処理を示すフローチャート プレーヤー画面１５１を示す図 オブジェクトタグを示す図 オブジェクトタグが表示された端末装置１０５の画面を示す図 ＨＴＭＬ文書を示す図 オブジェクトタグが組み込まれたＨＴＭＬ文書を示す図 ホームページ画面を示す図 オブジェクトタグを示す図 メタファイルを示す図 オブジェクトタグが表示された端末装置５の画面を示す図 プレーヤー画面１５１を示す図 音響信号の符号化装置の機能ブロック図 サンプル列再配置手段４０によるサンプルの再配置の様子を示す図 信号平坦部処理手段５０による処理の様子を示す図 相関フレーム検出手段６０による処理を示すフローチャート 相関フレーム検出手段６０の処理によるサンプル列の様子を示す図 相関フレーム検出手段６０の処理により比較されるサンプルの様子を示す図 予測誤差変換手段７０による処理を示すフローチャート 設定可能な線形係数の設定モードを示す図 極性処理手段６０によるビット構成の変換の様子を示す図 可変長符号化手段９０による処理を示すフローチャート 符号化の結果得られる符号化データの全体構成を示す図 本発明に係る音響信号の再生装置の機能ブロック図 ブロック復号手段２における可変長のサンプルを固定長に復元する処理の概要を示すフローチャート ブロック復号手段２における予測誤差からの復号処理の概要を示すフローチャート 合成ブロックが蓄積された状態の音響信号の再生装置を示す図 音響信号の再生装置の処理動作を示すフローチャート

符号の説明

１………ネットワーク
３………ウェブサーバ
５、７………端末装置

Claims (7)

1. サーバと、端末装置とがネットワークで接続されたシステムにおいて、
   前記サーバが、
   符号化により圧縮された音響信号で構成される複数の音楽素材より、再生すべき音楽素材を複数個選択する情報を有するオブジェクトタグを生成する生成手段と、
   前記オブジェクトタグを、HTML文書の所定の位置に書き込む手段と、
   を具備し、
   前記端末装置が、
   前記HTML文書にアクセスすると、前記オブジェクトタグの記述に従い、選択された複数個の音楽素材に対応する圧縮された音響信号の各々に対して、圧縮ブロックを読み込み、圧縮ブロックを復号化し、復号化された複数の非圧縮ブロックを波形合成して再生する手段と、
   を具備することを特徴とする音響信号の再生装置。
2. 前記符号化は、与えられた音響信号に対してブロック分割し、各ブロックを完全に復元可能なように適応型線形予測符号化によりロスレス圧縮を行うものであることを特徴とする請求項１記載の音響信号の再生装置。
3. マトリクスの設定を行う手段を更に具備し、
   前記生成手段は、設定されたマトリクスに応じて、再生すべき音楽素材を選択する情報を有するオブジェクトタグを生成することを特徴とする請求項１記載の音響信号の再生装置。
4. 前記サーバが前記マトリクスを設定できることを特徴とする請求項３記載の音響信号の再生装置。
5. 前記端末装置が前記マトリクスを設定できることを特徴とする請求項３記載の音響信号の再生装置。
6. コンピュータを請求項１記載のサーバとして機能させるプログラム。
7. コンピュータを請求項１記載の端末装置として機能させるプログラム。
   

Images