JP4639441B2 - ディジタル信号処理装置および処理方法、並びにディジタル信号記録装置および記録方法 - Google Patents
ディジタル信号処理装置および処理方法、並びにディジタル信号記録装置および記録方法 Download PDFInfo
- Publication number
- JP4639441B2 JP4639441B2 JP2000245933A JP2000245933A JP4639441B2 JP 4639441 B2 JP4639441 B2 JP 4639441B2 JP 2000245933 A JP2000245933 A JP 2000245933A JP 2000245933 A JP2000245933 A JP 2000245933A JP 4639441 B2 JP4639441 B2 JP 4639441B2
- Authority
- JP
- Japan
- Prior art keywords
- encoded
- encoding
- data
- decoding
- audio data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
- G10L19/0208—Subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
- G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Quality & Reliability (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、所定データ量ごとにブロック化し、隣接するブロックと関連させながら高能率符号化されたディジタル信号の一部分を編集可能とするディジタル信号処理装置および処理方法、並びにディジタル信号記録装置および記録方法に関する。
【０００２】
【従来の技術】
オーディオ信号の高能率符号化に係る従来技術として、例えば、時間領域のオーディオ信号を単位時間毎にブロック化し、ブロック毎の時間軸上の信号を周波数軸上の信号に変換、たとえば直交変換、して複数の周波数帯域に分割し、各帯域毎に符号化するブロック化周波数帯域分割方式の一つである変換符号化方法が知られている。また、時間領域のオーディオ信号を単位時間毎にブロック化せずに、複数の周波数帯域に分割して符号化する非ブロック化周波数帯域分割方法の一つであるサブ・バンド・コーディング（ＳＢＣ：Sub Band Coding ）方法が知られている。
【０００３】
さらに、上述の帯域分割符号化と変換符号化とを組み合わせてなる高能率符号化方法も知られている。この方法では、例えば、帯域分割符号化方式によって分割した各帯域毎の信号を、変換符号化方式によって周波数領域の信号に直交変換し、直交変換された各帯域毎に符号化が施される。
【０００４】
ここで、上述した帯域分割符号化方式に使用される帯域分割用フィルタとしては、例えばＱＭＦ(Quadrature Mirror filter)等のフィルタがある。ＱＭＦについては、例えば、 R.E.Crochiere Digital coding of speech in subbands Bell Syst.Tech. J. Vol.55, No.8(1976)に述べられている。また、ICASSP 83, BOSTON Polyphase Quadrature filters-A new subband coding technique Joseph H. Rothweiler には、ポリフェーズ クワドラチャ フィルタ(Polyphase Quadrature filter) などの等バンド幅のフィルタ分割手法および装置が述べられている。
【０００５】
また、直交変換としては、例えば、入力オーディオ信号を所定単位時間（フレーム）でブロック化し、該ブロック毎に高速フーリエ変換（ＦＦＴ）やコサイン変換（ＤＣＴ）、モディファイドＤＣＴ変換（ＭＤＣＴ）等を行うことで時間軸を周波数軸に変換するような方法が知られている。ＭＤＣＴについては、例えば、ICASSP 1987 Subband/Transform Coding Using Filter Bank Designs Based on Time Domain Aliasing Cancellation J.P.Princen A.B.Bradley Univ. of Surrey Royal Melbourne Inst.of Tech. に述べられている。
【０００６】
一方、周波数帯域分割された各周波数成分を量子化する際に、人間の聴覚特性を考慮した周波数分割幅を用いる符号化方法が知られている。すなわち、臨界帯域（クリティカルバンド）と呼ばれる、帯域幅が高域程広くなるような帯域幅が広く用いられている。このような臨界帯域を用いてオーディオ信号を複数バンド（例えば２５バンド）の帯域に分割することがある。このような帯域分割方法によれば、各帯域毎のデータを符号化する際に、各帯域毎に所定のビット配分、或いは各帯域毎に適応的なビット配分による符号化が行われる。例えば、ＭＤＣＴ処理によって生成されるＭＤＣＴ係数データを上述したようなビット配分によって符号化する場合には、各ブロック毎に対応して生成される各帯域毎のＭＤＣＴ係数データに対して適応的なビット数が配分され、そのようなビット数配分の下で符号化が行われる。
【０００７】
このようなビット配分方法およびそれを実現する装置についての公知文献として、例えば以下のようなものが挙げられる。まず、例えばIEEE Transactions of Accoustics,Speech,and Signal Processing,vol.ASSP-25,No.4,August(1977)には、各帯域毎の信号の大きさに基づいてビット配分を行う方法が記載されている。また、例えばICASSP 1980 Thecritical band coder--digital encoding of the perceptual requirements of the auditory system M.A. Kransner MIT には、聴覚マスキングを利用することによって各帯域毎に必要な信号対雑音比を得て固定的なビット配分を行う方法が記載されている。
【０００８】
また、各帯域毎の符号化に際しては、各帯域毎に正規化を行って量子化を行うことにより、より効率的な符号化を実現するいわゆるブロックフローティング処理が行われている。例えば、ＭＤＣＴ処理によって生成されるＭＤＣＴ係数データを符号化する際には、各帯域毎に上述のＭＤＣＴ係数の絶対値の最大値等に対応した正規化を行った上で量子化を行うことにより、より効率的な符号化が行われる。正規化処理は例えば以下のように行われる。すなわち、予め番号付けされた複数種類の値を用意し、それら複数種類の値の内で各ブロックについての正規化に係るものを所定の演算処理によって決定し、決定した値に付されている番号を正規化情報として使用する。複数種類の値に対応する番号付けは、例えば、番号の１の増減に、オーディオレベルの２ｄＢの増減が対応する等の一定の関係の下で行われる。
【０００９】
上述したような方法で高能率符号化された符号化データは、次のようにして復号化される。まず、各帯域毎のビット配分情報、正規化情報等を参照して、符号化データに基づいてＭＤＣＴ係数データを生成する処理がなされる。このＭＤＣＴ係数データに基づいていわゆる逆直交変換が行われることにより、時間領域のデータが生成される。高能率符号化の過程で帯域分割用フィルタによる帯域分割が行なわれていた場合は、帯域合成フィルタを用いて時間領域のデータを合成する処理がさらになされる。
【００１０】
加算、減算等の処理によって正規化情報を変更することにより、符号化データを復号化してなる時間領域の信号に関して、振幅の大きさすなわち再生レベルの調整、フィルタ機能等を実現するデータの編集方法が知られている。この方法によれば、加算、減算等の演算処理によって再生レベルの調整等の操作を行うことができるので、装置の構成が容易に実現できると共に、不要な復号化、符号化等を行う必要がないため、信号品質の劣化を伴わずに再生レベルの調整等の編集処理を行うことが可能となる。また、この方法では、復号化によって生成される信号の時間間隔相当分を変化させることなく符号化データを変更することが可能なので、復号化によって生成される信号の一部分のみを、他の部分に影響を与えることなく変更することが可能となる。
【００１１】
なお、正規化情報を変更する方法以外の方法でも、例えば復号化後に生成される信号と元の信号との時間関係、すなわち位相関係の遅延量を把握することにより、復号化によって生成される信号の時間間隔相当分が同一となるような符号化データを作成することが可能である。
【００１２】
【発明が解決しようとする課題】
上述したような方法で符号化データを変更する場合には、例えば２ｄＢ等の、正規化情報としての番号の１の増減に対応するレベル変化を単位とした操作が可能であるが、それより小さいレベル調整等の操作を行うことはできない。また、時間方向でも、符号化方式に係る符号化データフォーマットによって規定される、１フレーム等の最小の時間単位よりも小さい範囲でのレベル調整等の編集操作を行うことはできない。
【００１３】
このように、符号化方式、符号化データフォーマット等による制限のために、再生レベルおよび周波数領域における編集処理、および時間方向における編集処理として、ある程度以上細かい処理を行うことはできない。
【００１４】
従って、この発明の目的は、例えば再生レベル等において、符号化フォーマット等による制限のより少ない編集処理を行うことを可能とするディジタル信号処理装置および処理方法、並びにディジタル信号記録装置および記録方法を提供することにある。
【００１５】
【課題を解決するための手段】
以上の課題を解決するために、第１の発明は、
修正離散コサイン変換を用いた符号化がなされた符号化オーディオデータを部分的に復号化して、復号化オーディオデータ部分を生成する部分復号化手段と、
復号化オーディオデータ部分に変更処理を施すデータ変更手段と、
データ変更手段の出力を符号化し、符号化オーディオデータを生成する部分符号化手段と
部分復号化手段からデータ変更手段への出力、またはデータ変更手段から部分符号化手段への出力に対して、遅延補正を施す遅延補正手段と
を有し、
遅延補正手段は、
部分復号化手段および部分符号化手段の動作に起因して生じる、部分復号化手段に入力される符号化オーディオデータに対する、部分符号化手段から出力される符号化オーディオデータの位相のずれを補償し、位相を合わせることを特徴とするディジタル信号処理装置である。
【００１６】
第２の発明は、
修正離散コサイン変換を用いた符号化がなされた符号化オーディオデータを部分的に復号化して、復号化オーディオデータ部分を生成する部分復号化ステップと、
復号化オーディオデータ部分に変更処理を施すデータ変更ステップと、
データ変更ステップの結果を符号化し、符号化オーディオデータを生成する部分符号化ステップと、
部分復号化ステップとデータ変更ステップとの間、またはデータ変更ステップと部分符号化ステップとの間で、復号化オーディオデータ部分に対して遅延補正を施す遅延補正ステップと
を有し、
遅延補正ステップでは、
部分復号化ステップおよび部分符号化ステップの処理に起因して生じる、部分復号化ステップ前の符号化オーディオデータに対する、部分符号化ステップ後の符号化オーディオデータの位相のずれを補償し、位相を合わせることを特徴とするディジタル信号処理方法である。
【００１７】
第３の発明は、
入力ディジタルオーディオ信号を修正離散コサイン変換を用いて符号化することによって符号化オーディオデータを生成し、符号化オーディオデータを所定の記録媒体に記録するディジタル記録装置において、
符号化オーディオデータを部分的に復号化して、復号化オーディオデータ部分を生成する部分復号化手段と、
復号化オーディオデータ部分に変更処理を施すデータ変更手段と、
データ変更手段の出力を符号化し、符号化オーディオデータを生成する部分符号化手段と
部分復号化手段からデータ変更手段への出力、またはデータ変更手段から部分符号化手段への出力に対して、遅延補正を施す遅延補正手段と
を有し、
遅延補正手段は、
部分復号化手段および部分符号化手段の動作に起因して生じる、部分復号化手段に入力される符号化オーディオデータに対する、部分符号化手段から出力される符号化オーディオデータの位相のずれを補償し、位相を合わせることを特徴とするディジタル信号記録装置である。
【００１８】
第４の発明は、
入力ディジタルオーディオ信号を修正離散コサイン変換を用いて符号化することによって符号化オーディオデータを生成し、符号化オーディオデータを所定の記録媒体に記録するディジタル信号記録方法において、
符号化オーディオデータを部分的に復号化して、復号化オーディオデータ部分を生成する部分復号化ステップと、
復号化オーディオデータ部分に変更処理を施すデータ変更ステップと、
データ変更ステップの結果を符号化し、符号化オーディオデータを生成する部分符号化ステップと、
部分復号化ステップとデータ変更ステップとの間、またはデータ変更ステップと部分符号化ステップとの間で、復号化オーディオデータ部分に対して遅延補正を施す遅延補正ステップと
を有し、
遅延補正ステップでは、
部分復号化ステップおよび部分符号化ステップの処理に起因して生じる、部分復号化ステップ前の符号化オーディオデータに対する、部分符号化ステップ後の符号化オーディオデータの位相のずれを補償し、位相を合わせることを特徴とするディジタル信号記録方法である。
【００２０】
第５の発明は、
所定データ量ごとにブロック化し、隣接するブロックと関連させながら高能率符号化された入力ディジタルオーディオ信号に対してディジタル信号処理を行うディジタル信号処理装置において、
入力される修正離散コサイン変換を用いて高能率符号化されたディジタルオーディオ信号を隣接するブロックと関連させながら部分的に復号化する復号化手段と、
復号化されたディジタルオーディオ信号に変更処理を加える変更処理手段と、
変更処理を加えられたディジタルオーディオ信号を隣接するブロックと関連させながら高能率符号化し、符号化オーディオデータを生成する符号化手段と、
復号化手段と変更処理手段との間、または変更処理手段と符号化手段との間において、復号化によって生じる遅延時間を補正する遅延補正手段と
を備え、
遅延補正手段は、
復号化手段の動作に起因して生じる、復号化手段に入力される符号化オーディオデータに対する、符号化手段から出力される符号化オーディオデータの位相のずれを補償し、位相を合わせることを特徴とするディジタル信号処理装置である。
【００２１】
第６の発明は、
所定データ量ごとにブロック化し、隣接するブロックと関連させながら高能率符号化された入力ディジタルオーディオ信号に対してディジタルオーディオ信号処理を行うディジタル信号処理方法において、
入力される修正離散コサイン変換を用いて高能率符号化されたディジタルオーディオ信号を隣接するブロックと関連させながら部分的に復号化するステップと、
復号化されたディジタルオーディオ信号に変更処理を加えるステップと、
変更処理を加えられたディジタルオーディオ信号を隣接するブロックと関連させながら高能率符号化し、符号化オーディオデータを生成するステップと、
復号化のステップと変更処理のステップとの間、または変更処理のステップと符号化のステップとの間で、復号化のステップによって生じる遅延時間を補正するステップと
を有し、
遅延時間の補正のステップでは、
復号化のステップの処理に起因して生じる、復号化のステップ前の符号化オーディオデータに対する、符号化のステップ後の符号化オーディオデータの位相のずれを補償し、位相を合わせることを特徴とするディジタル信号処理方法である。
【００２２】
以上のような発明によれば、一旦形成された符号化データを部分的に復号化することによって生成されるＰＣＭサンプルを変更し、その後再度符号化することにより、符号化方式、符号化データフォーマット等よる制限の影響を小さくすることができる。
【００２３】
【発明の実施の形態】
この発明を適用することができるディジタル信号記録装置の一例について、図１を参照して説明する。この発明の一実施形態は、帯域分割符号化（ＳＢＣ）、適応変換符号化（ＡＴＣ）及び適応ビット割当ての各処理を施すことにより、オーディオＰＣＭ信号等の入力ディジタル信号を高能率符号化する符号化処理系を含むディジタル信号記録装置である。ここで、入力ディジタル信号として、例えば人の話声、歌声、楽器の音等の各種のオーディオ信号をディジタル化してなるディジタルオーディオデータ信号、ディジタルビデオ信号等を扱うことができる。
【００２４】
例えばサンプリング周波数が４４．１ｋＨｚの場合、入力端子１００を介して０〜２２ｋＨｚのオーディオＰＣＭ信号が帯域分割フィルタ１０１に供給される。帯域分割フィルタ１０１は、供給される信号を０〜１１ｋＨｚ帯域と１１ｋＨｚ〜２２ｋＨｚ帯域とに分割する。１１〜２２ｋＨｚ帯域の信号はＭＤＣＴ(Modified Discrete Cosine Transform)回路１０３およびブロック決定回路１０９、１１０、１１１に供給される。
【００２５】
また、０ｋＨｚ〜１１ｋＨｚ帯域の信号は帯域分割フィルタ１０２に供給される。帯域分割フィルタ１０２は、供給される信号を５. ５ｋＨｚ〜１１ｋＨｚ帯域と０〜５. ５ｋＨｚ帯域とに分割する。５．５〜１１ｋＨｚ帯域の信号はＭＤＣＴ回路１０４およびブロック決定回路１０９、１１０、１１１に供給される。また、０〜５. ５ｋＨｚ帯域の信号は、ＭＤＣＴ回路１０５およびブロック決定回路１０９、１１０、１１１に供給される。帯域分割フィルタ１０１、１０２は、例えばＱＭＦフィルタ等を用いて構成することができる。ブロック決定回路１０９は、供給される信号に基づいてブロックサイズを決定し、決定したブロックサイズを示す情報をＭＤＣＴ回路１０３および出力端子１１３に供給する。
【００２６】
ブロック決定回路１１０は、供給される信号に基づいてブロックサイズを決定し、決定したブロックサイズを示す情報をＭＤＣＴ回路１０４および出力端子１１５に供給する。ブロック決定回路１１１は、供給される信号に基づいてブロックサイズを決定し、決定したブロックサイズを示す情報をＭＤＣＴ回路１０５および出力端子１１７に供給する。ブロック決定回路１０９、１１０、１１１の動作により、直交変換に先立って、入力データに応じて適応的にブロックサイズあるいはブロック長が変化させられる。
【００２７】
ＭＤＣＴ回路１０３，１０４，１０５に供給される、各帯域毎のデータの例を図２に示す。ブロック決定回路１０９，１１０，１１１の動作により、帯域分割フィルタ１０１、１０２から出力される計３個のデータについて、各帯域毎について独立に直交変換ブロックサイズを設定することができると共に、信号の時間特性、周波数分布等により時間分解能を切り換えることが可能とされている。すなわち、信号が時間的に準定常的である場合には、図２Ａに示すような、直交変換ブロックサイズを例えば１１．６ｍｓと大きくするＬｏｎｇ Ｍｏｄｅが用いられる。
【００２８】
一方、信号が非定常的である場合には、直交変換ブロックサイズをＬｏｎｇＭｏｄｅ時に比べて２分割または４分割とするモードが用いられる。より具体的には、全てを４分割して例えば図２Ｂのように２．９ｍｓとするＳｈｏｒｔ Ｍｏｄｅ、或いは、図２Ｃのように一部を２分割して例えば５．８ｍｓとし、他の一部を４分割して例えば２．９ｍｓとするＭｉｄｄｌｅ Ｍｏｄｅ−ａまたは、図２ＤのようなＭｉｄｄｌｅ Ｍｏｄｅ−ｂが用いられる。このように時間分解能を様々に設定することにより、実際の複雑な入力信号に適応できるようになされる。
【００２９】
回路規模等に係る制約に考慮しながら、直交変換ブロックサイズの分割をさらに複雑なものとすることにより、実際の入力信号をより適切に処理できることは明白である。上述したようなブロックサイズは、ブロック決定回路１０９，１１０，１１１によっての決定され、決定されたブロックサイズの情報はＭＤＣＴ回路１０３，１０４，１０５およびビット割り当て算出回路１１８に供給されると共に、出力端子１１３、１１５、１１７を介して出力される。
【００３０】
図１に戻り、ＭＤＣＴ回路１０３は、ブロック決定回路１０９によって決定されたブロックサイズに応じてＭＤＣＴ処理を行う。かかる処理によって生成される高域のＭＤＣＴ係数データまたは周波数軸上のスペクトルデータは、臨界帯域毎にまとめられて適応ビット割り当て符号化回路１０６およびビット割り当て算出回路１１８に供給される。ＭＤＣＴ回路１０４は、ブロック決定回路１１０によって決定されたブロックサイズに応じてＭＤＣＴ処理を行う。かかる処理によって生成される中域のＭＤＣＴ係数データまたは周波数軸上のスペクトルデータは、ブロックフローティングの有効性を考慮して臨界帯域幅を細分化する処理を施された後に適応ビット割り当て符号化回路１０７およびビット割り当て算出回路１１８に供給される。
【００３１】
ＭＤＣＴ回路１０５は、ブロック決定回路１１１によって決定されたブロックサイズに応じてＭＤＣＴ処理を行う。かかる処理の結果としての低域のＭＤＣＴ係数データまたは周波数軸上のスペクトルデータは、臨界帯域（クリティカルバンド）毎にまとめる処理を施された後に適応ビット割り当て符号化回路１０８およびビット割り当て算出回路１１８に供給される。ここで、臨界帯域とは、人間の聴覚特性を考慮して分割された周波数帯域であり、ある純音の周波数近傍の同じ強さの狭帯域バンドノイズによって当該純音がマスクされる時に、当該狭帯域バンドノイズの帯域のことである。臨界帯域は、高域ほど帯域幅が広くなるという性質がある。０〜２２ｋＨｚの全周波数帯域は、例えば２５のクリティカルバンドに分割されている。
【００３２】
ビット割当算出回路１１８は、供給されるＭＤＣＴ係数データまたは周波数軸上のスペクトルデータ、およびブロックサイズ情報に基づいて、後述するようなマスキング効果等を考慮して上述の臨界帯域およびブロックフローティングを考慮した各分割帯域毎のマスキング量、エネルギーおよび或いはピーク値等を計算し、計算結果に基づいて各帯域毎にブロックフロ−ティングの状態を示すスケ−ルファクタ、および割当てビット数を計算する。計算された割当てビット数は、適応ビット割当符号化回路１０６、１０７、１０８に供給される。以下の説明において、ビット割り当ての単位とされる各分割帯域を単位ブロックと表記する。
【００３３】
適応ビット割当符号化回路１０６は、ブロック決定回路１０９から供給されるブロックサイズ情報、ビット割り当て算出回路１１８から供給される割当ビット数および正規化情報としてのスケールファクタ情報に応じて、ＭＤＣＴ回路１０３から供給されるスペクトルデータまたはＭＤＣＴ係数データを再量子化すなわち正規化して量子化する処理を行う。かかる処理の結果として、符号化フォーマットに則した符号化データが生成される。この符号化データは演算器１２０に供給される。適応ビット割当符号化回路１０７は、ブロック決定回路１１０から供給されるブロックサイズ情報、ビット割り当て算出回路１１８から供給される割当ビット数およびスケールファクタ情報に応じて、ＭＤＣＴ回路１０４から供給されるスペクトルデータまたはＭＤＣＴ係数データを再量子化する処理を行う。かかる処理の結果として、符号化フォーマットに則した符号化データが生成される。この符号化データが演算器１２１に供給される。
【００３４】
適応ビット割当符号化回路１０８は、ブロック決定回路１１０から供給されるブロックサイズ情報、ビット割り当て算出回路１１８から供給される割当ビット数およびスケールファクタ情報に応じて、ＭＤＣＴ回路１０５から供給されるスペクトルデータまたはＭＤＣＴ係数データを再量子化する。かかる処理の結果として、符号化フォーマットに則した符号化データが生成される。この符号化データが演算器１２２に供給される。
【００３５】
符号化データのフォーマットの一例を図３に示す。ここで、左側に示した数値０，１，２，‥‥，２１１はバイト数を表しており、この一例では２１２バイトを１フレームの単位としている。先頭の０バイト目の位置には、図１中のブロック決定回路１０９、１１０、１１１において決定された、各帯域のブロックサイズ情報を記録する。次の１バイト目の位置には、記録する単位ブロックの個数の情報を記録する。例えば高域側になる程、ビット割当算出回路１１８によってビット割当が０とされて記録が不必要となる場合が多いため、このような状況に対応するように単位ブロックの個数を設定することにより、聴感上の影響が大きい中低域に多くのビットを配分するようになされている。それと共に、かかる１バイト目の位置にはビット割当情報の２重書きを行なっている単位ブロックの個数、及びスケールファクタ情報の２重書きを行なっている単位ブロックの個数が記録される。
【００３６】
２重書きとは、エラー訂正用に、あるバイト位置に記録されたデータと同一のデータを他の場所に記録する方法である。２重書きされるデータの量を多くする程、エラーに対する強度が向上するが、２重書きされるデータの量を少なくする程、スペクトラムデータに使用できるデータ容量が多くなる。この符号化フォーマットの一例では、ビット割当情報、スケールファクタ情報のそれぞれについて独立に２重書きを行なう単位ブロックの個数を設定することにより、エラーに対する強度と、スペクトラムデータを記録するために使用されるビット数とを適切なものとするようにしている。なお、それぞれの情報について、規定されたビット内でのコードと単位ブロックとの個数の対応は、あらかじめフォーマットとして定めている。
【００３７】
１バイト目の位置の８ビットにおける記録内容の一例を図４に示す。ここでは、最初の３ビットを実際に記録される単位ブロックの個数の情報とし、後続の２ビットをビット割当情報の２重書きを行なっている単位ブロックの個数の情報とし、最後の３ビットをスケールファクタ情報の２重書きを行なっている単位ブロックの個数の情報とする。
【００３８】
図３の２バイト目からの位置には、単位ブロックのビット割当情報が記録される。ビット割当情報の記録のために、単位ブロック１個当たり例えば４ビットが使用される。これにより、０番目の単位ブロックから順番に記録される単位ブロックの個数分のビット割当情報が記録されることになる。ビット割当情報のデータの後に、各単位ブロックのスケールファクタ情報が記録される。スケールファクタ情報の記録のために、単位ブロック１個当たり例えば６ビットが使用される。これにより、０番目の単位ブロックから順番に記録される単位ブロックの個数分のスケールファクタ情報が記録される。
【００３９】
スケールファクタ情報の後に、単位ブロック内のスペクトラムデータが記録される。スペクトラムデータは、０番目の単位ブロックより順番に、実際に記録させる単位ブロックの個数分記録される。各単位ブロック毎に何本のスペクトラムデータが存在するかは、あらかじめフォーマットで定められているので、上述したビット割当情報によりデータの対応をとることが可能となる。なお、ビット割当が０の単位ブロックについては記録を行なわない。
【００４０】
このスペクトラム情報の後に、上述したスケールファクタ情報の２重書き、およびビット割当情報の２重書きを行なう。この２重書きの記録方法は、個数の対応を図４に示した２重書きの情報に対応させるだけで、その他の点については上述のスケールファクタ情報、およびビット割当情報の記録と同様である。最後のバイトすなわち２１１バイト目、およびその１バイト前の位置すなわち２１０バイト目には、それぞれ、０バイト目と１バイト目の情報が２重書きされる。これら２バイト分の２重書きはフォーマットとして定められており、スケールファクタ情報の２重書きやビット割当情報の２重書きのような、２重書き記録の可変の設定はできない。
【００４１】
なお、入力端子１００を介して供給されるＰＣＭサンプルについては、１フレーム内に１０２４サンプルが含まれるが、前半の５１２サンプルは先行する隣接フレームでも使用される。また、後半の５１２サンプルは後続する隣接フレームでも使用される。このようなフレームの取り扱いは、ＭＤＣＴ処理でのオーバーラップに鑑みたものである。
【００４２】
図１に戻り、正規化情報変更回路１１９は、低域、中域、高域に対応してスケールファクタ情報の変更に係る値を生成し、低域、中域、高域に対応する値をそれぞれ、演算器１２０、１２１、１２２に供給する。演算器１２０は、適応ビット割当符号化回路１０６から供給される符号化データ中のスケールファクタ情報に、正規化情報変更回路１１９から供給される値を加算する。但し、正規化情報変更回路１１９から出力される値が負の場合は、演算器１２０は減算器として作用するものとする。また、演算器１２１は、適応ビット割当符号化回路１０７から供給される符号化データ中のスケールファクタ情報に、正規化情報変更回路１１９から供給される値を加算する。但し、正規化情報変更回路１１９から出力される値が負の場合は、演算器１２１は減算器として作用するものとする。
【００４３】
また、演算器１２２は、適応ビット割当符号化回路１０８から供給される符号化データ中のスケールファクタ情報に、正規化情報変更回路１１９から供給される値を加算する。但し、正規化情報変更回路１１９から出力される値が負の場合は、演算器１２２は減算器として作用するものとする。ここで、正規化情報変更回路１１９は、例えば操作パネル等を介してユーザ等によってなされる操作に従って動作する。この場合、後述するユーザ等が所望する、レベル調整、フィルタ処理等の機能が実現される。演算器１２０、１２１、１２２の出力は、それぞれ出力端子１１２、１１４、１１６を介して例えば光磁気ディスク等の記録媒体に記録を行うためのここでは図示されていない一般的な記録系に供給される。
【００４４】
記録系では、記録媒体上に構成されたトラックのアドレスを適切に制御する等の方法で編集処理の結果として生成される１種類または複数種類の符号化データを、編集処理前のデータとは別個に記録する処理がなされる。かかる処理については後述する。これにより、編集処理の結果として生成される１種類または複数種類の符号化データ、および／または編集処理前のデータを記録してなる記録媒体を作成することができる。なお、記録媒体としては、光磁気ディスク以外にも、磁気ディスク等のディスク状記録媒体、磁気テープ、光テープ等のテープ状記録媒体、或いはＩＣメモリ、板状メモリ、メモリカード、光メモリ等を用いることができる。
【００４５】
各処理についてより詳細に説明する。まず、ビット割当て処理についてより詳細に説明する。ビット割り当て算出回路１１８の構成の一例を図５に示す。入力端子３０１を介して、ＭＤＣＴ回路１０３、１０４、１０５からの周波数軸上のスペクトルデータ又はＭＤＣＴ係数、およびブロック決定回路１０９、１１０、１１１からのブロックサイズ情報がエネルギー算出回路３０２に供給される。エネルギー算出回路３０２は、例えば当該単位ブロック内での各振幅値の総和を計算する等の方法で単位ブロック毎のエネルギーを計算する。
【００４６】
エネルギー算出回路３０２の出力の一例を図６に示す。図６では、各バンド毎の総和値のスペクトルＳＢを、先端に丸を付した縦方向の線分によって示す。ここで、横軸が周波数、縦軸が信号強度をそれぞれ示す。なお、図示が煩雑となるのを避けるため、図６中ではＢ１２のスペクトルのみに符号ＳＢを付し、また、単位ブロックによる分割数を１２ブロックとしてＢ１〜Ｂ１２とした。なお、エネルギー算出回路３０２の代わりに振幅値のピーク値、平均値等を計算する構成を設け、振幅値のピーク値、平均値等の計算値に基づいてビット割当て処理を行うようしても良い。
【００４７】
また、エネルギー算出回路３０２は、スケールファクタ値を決定する処理を行う。具体的には、例えばあらかじめスケールファクタ値の候補として幾つかの正の値を用意し、それらの内、単位ブロック内のスペクトルデータ又はＭＤＣＴ係数の絶対値の最大値以上の値をとるものの中で最小のものを当該単位ブロックのスケールファクタ値として採用する。スケールファクタ値の候補は、実際の値と対応した形で、例えば数ビットを用いて番号付けを行ない、その番号を図示しないＲＯＭ（Read Only Memory）等に記憶させておけば良い。この際に、スケールファクタ値の候補は、番号順に例えば２ｄＢの間隔での値を持つように規定しておく。ある単位ブロックについて上述したようにして採用されたスケールファクタ値に付されている番号が当該単位ブロックについてのスケールファクタ情報とされる。
【００４８】
エネルギー算出回路３０２の出力すなわちスペクトルＳＢの各値は、畳込みフイルタ回路３０３に送られる。畳込みフイルタ回路３０３は、スペクトルＳＢのマスキングにおける影響を考慮するために、スペクトルＳＢに所定の重み付け関数を掛けて加算するような畳込み（コンボリユーション）処理を施す。畳込み処理について図６を参照して詳細に説明する。上述したように、図６には、ブロック毎の（すなわち帯域毎の）スペクトルＳＢの一例が図示されている。そして、畳込みフイルタ回路３０３によってなされる畳込み処理により、点線で示す部分の総和が計算される。畳込みフイルタ回路３０３は、例えば、入力データを順次遅延させる複数の遅延素子と、これら遅延素子からの出力にフイルタ係数としての重み付け関数を乗算する複数の乗算器と、各乗算器出力の総和をとる総和加算器とから構成することができる。
【００４９】
図５に戻り、畳込みフイルタ回路３０３の出力は演算器３０４に供給される。
演算器３０４には、さらに、許容関数としてマスキングレベルを表現する関数が（ｎ−ａｉ）関数発生回路３０５から供給される。演算器３０４は、許容関数に従って、畳込みフイルタ回路３０３によって畳み込まれた領域における、許容可能なノイズレベルに対応するレベルαを計算する。ここで、許容可能なノイズレベルすなわち許容ノイズレベルに対応するレベルαとは、後述するように、逆コンボリユーション処理を行うことによって、クリテイカルバンドの各バンド毎の許容ノイズレベルとなるようなレベルである。レベルαの算出値は、許容関数を増減させることによって制御される。
【００５０】
すなわち、許容ノイズレベルに対応するレベルαは、クリテイカルバンドのバンドの低域から順に与えられる番号をｉとすると、次の式（１）で求めることができる。
【００５１】
α＝Ｓ−（ｎ−ａｉ） （１）
【００５２】
式（１）において、ｎ，ａは定数でａ＞０、Ｓは畳込み処理されたスペクトルの強度であり、式（１）中（ｎ−ａｉ）が許容関数となる。一例としてｎ＝３８，ａ＝１とすることができる。
【００５３】
演算器３０４によって計算されるレベルαが割算器３０６に伝送される。割算器３０６は、レベルαを逆コンボリユーションする処理を行い、その結果としてレベルαからマスキングスペクトルを生成する。このマスキングスペクトルが許容ノイズスペクトルとなる。なお、逆コンボリユーション処理を行う場合、一般的には複雑な演算が行われる必要があるが、この発明の一実施形態では、簡略化した割算器３０６を用いて逆コンボリユーションを行っている。マスキングスペクトルは、合成回路３０７に供給される。合成回路３０７には、さらに、後述するような最小可聴カーブＲＣを示すデータが最小可聴カーブ発生回路３１２から供給される。
【００５４】
合成回路３０７は、割算器３０６の出力であるマスキングスペクトルと最小可聴カーブＲＣのデータとを合成することにより、マスキングスペクトルを生成する。生成されるマスキングスペクトルが減算器３０８に供給される。減算器３０８には、さらに、エネルギー検出回路３０２の出力、すなわち帯域毎のスペクトルＳＢが遅延回路３０９によってタイミングを調整された上で供給される。減算器３０８は、マスキングスペクトルとスペクトルＳＢとに基づく減算処理を行う。
【００５５】
かかる処理の結果として、ブロック毎のスペクトルＳＢの、マスキングスペクトルのレベル以下の部分がマスキングされる。マスキングの一例を図７に示す。スペクトルＳＢにおける、マスキングスペクトル（ＭＳ）のレベル以下の部分がマスキングされていることがわかる。なお、図示が煩雑となるのを避けるため、図７中ではＢ１２においてのみ、スペクトルに符号“ＳＢ”を付すと共にマスキングスペクトルのレベルに符号“ＭＳ”を付した。
【００５６】
雑音絶対レベルが最小可聴カーブＲＣ以下ならばその雑音は人間には聞こえない。最小可聴カーブは、コーデイングが同じであっても例えば再生時の再生ボリユームの違いによって異なる。但し、実際のデジタルシステムでは、例えば１６ビットダイナミックレンジへの音楽データの入り方にはさほど違いがないので、例えば４ｋＨｚ付近の最も耳に聞こえやすい周波数帯域の量子化雑音が聞こえないとすれば、他の周波数帯域ではこの最小可聴カーブのレベル以下の量子化雑音は聞こえないと考えられる。
【００５７】
従って、例えばシステムの持つワードレングスの４ｋＨｚ付近の雑音が聞こえないような使い方をする場合、最小可聴カーブＲＣとマスキングスペクトルＭＳとを合成することによって許容ノイズレベルを得るようにすれば、この場合の許容ノイズレベルは図８中の斜線で示す部分となる。なお、ここでは、最小可聴カーブの４ｋＨｚのレベルを例えば２０ビット相当の最低レベルに合わせている。図８では、各ブロック内の水平方向の実線としてＳＢ、各ブロック内の水平方向の点線としてＭＳをそれぞれ示した。但し、図示が煩雑となるのを避けるため、図８ではＢ１２のスペクトルのみについて符号“ＳＢ”、“ＭＳ”を付した。また、図８では、信号スペクトルＳＳを一点鎖線で示した。
【００５８】
図５に戻り、減算器３０８の出力は許容雑音補正回路３１０に供給される。許容雑音補正回路３１０は、例えば等ラウドネスカーブのデータ等に基づいて、減算器３０８の出力における許容雑音レベルを補正する。すなわち、許容雑音補正回路３１０は、上述したマスキング、聴覚特性等の様々なパラメータに基いて、各単位ブロックに対する割り当てビットを算出する。許容雑音補正回路３１０の出力は、出力端子３１１を介して、ビット割り当て算出回路１１８の最終的な出力データとして出力される。ここで、等ラウドネスカーブとは、人間の聴覚特性に関する特性曲線であり、例えば１ｋＨｚの純音と同じ大きさに聞こえる各周波数での音の音圧を求めて曲線で結んだもので、ラウドネスの等感度曲線とも呼ばれる。
【００５９】
また、この等ラウドネスカーブは、図８に示した最小可聴カーブＲＣと同じ曲線を描く。この等ラウドネスカーブにおいては、例えば４ｋＨｚ付近では１ｋＨｚのところより音圧が８〜１０ｄＢ下がっても１ｋＨｚと同じ大きさに聞こえ、逆に、５０Ｈｚ付近では１ｋＨｚでの音圧よりも約１５ｄＢ高くないと同じ大きさに聞こえない。このため、最小可聴カーブＲＣのレベルを越える雑音（許容ノイズレベル）が等ラウドネスカーブに沿った周波数特性を持つようにすれば、その雑音が人間に聞こえないようにすることができる。等ラウドネスカーブを考慮して許容ノイズレベルを補正することは、人間の聴覚特性に適合していることがわかる。
【００６０】
ここで、スケールファクタ情報についてより詳細に説明する。スケールファクタ値の候補として、例えばビット割当て算出回路１１８内のメモリ等に予め複数個、例えば６３個の正の値が用意されている。それらの値の内、ある単位ブロック内のスペクトルデータ又はＭＤＣＴ係数の絶対値の最大値以上の値をとるものの内で最小のものが当該単位ブロックのスケールファクタ値として採用される。採用されたスケールファクタ値に対応する番号が当該単位ブロックのスケールファクタ情報とされ、符号化データ中に記録される。ここで、スケールファクタ値の候補として予め用意されている複数個の正の値に対しては、例えば６ビットを用いて番号付けが予め行われており、複数個の正の値は、番号順に例えば２ｄＢの間隔で並ぶものとする。
【００６１】
加算、減算等の演算によってスケールファクタ情報を操作することにより、再生されるオーディオデータについて例えば２ｄＢ毎のレベル調整を行うことができる。例えば、正規化情報変更回路１１９から全て同じ数値を出力し、その数値を全単位ブロックのスケールファクタ情報に加算または減算する処理により、全単位ブロックに対して２ｄＢづつのレベル調整を行うことが可能とされる。ただし、加減算の結果として生成されるスケールファクタ情報は、フォーマットで定められた範囲に収まるように制限される。
【００６２】
また、例えば、正規化情報変更回路１１９から単位ブロック毎に独立な数値を出力し、それらの数値を各単位ブロックのスケールファクタ情報に加算または減算する処理により、単位ブロック毎のレベル調整を行うことができ、その結果としてフィルタ機能を実現することができる。より具体的には、正規化情報変更回路１１９が単位ブロックの番号と、当該単位ブロックのスケールファクタ情報とに加算または減算すべき値との組を出力させる等の方法で、単位ブロックと、当該単位ブロックのスケールファクタ情報に加算または減算すべき値とが対応付けられるようにする。
【００６３】
上述したようなスケールファクタ情報の変更を行うことにより、図１０、図１１、図１２を参照して後述するような機能が実現される。なお、帯域分割方法および符号化方式として、ＱＭＦおよびＭＤＣＴ以外の処理を行うディジタル信号記録装置も知られている。例えばフィルタバンク等を利用するサブバンドコーディングを用いる方式等、正規化情報とビット割り当て情報による量子化を行う符号化方式であれば、正規化情報を変更することによる編集処理が可能である。
【００６４】
次に、この発明を適用することができるディジタル信号再生および／または記録装置の一例について、図９を参照して説明する。例えば光磁気ディスク等の記録媒体から再生された符号化データが入力端子７０７に供給される。また、符号化処理において使用されたブロックサイズ情報、すなわち図１中の出力端子１１３、１１５、１１７の出力信号と等価のデータが入力端子７０８に供給される。また、正規化情報変更回路７０９は、例えば操作パネル等を介して行われるユーザ等による指令に従って、編集処理に係るパラメータ、すなわち各単位ブロックのスケールファクタ情報に加算または減算すべき値を生成する。
【００６５】
符号化データは、入力端子７０７から演算器７１０に供給される。演算器７１０は、さらに、正規化情報変更回路７０９から数値データを供給される。演算器７１０は、供給される符号化データ中のスケールファクタ情報に対して、正規化情報変更回路１１９から供給される数値データを加算する。但し、正規化情報変更回路１１９から出力される数値が負の数の場合は、演算器７１０は減算器として作用するものとする。演算器７１０の出力は、適応ビット割当復号化回路７０６、および出力端子７１１に供給される。
【００６６】
適応ビット割当復号化回路７０６は、適応ビット割当情報を参照してビット割当てを解除する処理を行う。適応ビット割当て復号化回路７０６の出力は、逆直交変換回路７０３、７０４、７０５に供給される。逆直交変換回路７０３、７０４、７０５は、周波数軸上の信号を時間軸上の信号に変換する処理を行う。逆直交変換回路７０３の出力は、帯域合成フィルタ７０１に供給される。また、逆直交変換回路７０４、７０５の出力は、帯域合成フィルタ７０２に供給される。逆直交変換回路７０３，７０４，７０５としては、逆モディファイドＤＣＴ変換回路（ＩＭＤＣＴ）等を用いることができる。
【００６７】
合成フィルタ７０２は、供給される信号を合成し、合成結果を帯域合成フィルタ７０１に供給する。帯域合成フィルタ７０１は、供給される信号を合成し、合成結果を出力端子７００に供給する。このようにして、逆直交変換回路７０３、７０４、７０５の出力である各部分帯域の時間軸上信号が全帯域信号に復号化される。帯域合成フィルタ７０１、７０２としては、例えばＩＱＭＦ(Inverse Quadrature Mirror filter)等を使用することができる。復号化された全帯域信号は、出力端子７００を介して、図示しないＤ／Ａ変換器、スピーカ等を含む、再生音声を出力するための一般的な構成に供給される。
【００６８】
演算器７１０による加算または減算によってスケールファクタ情報を操作することにより、再生データについて例えば２ｄＢ毎のレベル調整を行うことができる。例えば、正規化情報変更回路７０９から全て同じ数値を出力し、その数値を全単位ブロックのスケールファクタ情報に一律に加算または減算する処理により、全単位ブロックに対して２ｄＢを単位とするレベル調整を行うことが可能とされる。かかる処理においては、加減算の結果として生成されるスケールファクタ情報がフォーマットで定められたスケールファクタ値の範囲内に収まるような制限がなされる。
【００６９】
また、例えば、正規化情報変更回路７０９から単位ブロック毎に独立な数値を出力し、それらの数値を各単位ブロックのスケールファクタ情報に加算または減算する処理によって単位ブロック毎のレベル調整を行うことができ、その結果としてフィルタ機能を実現することができる。より具体的には、正規化情報変更回路７０９が単位ブロックの番号と、当該単位ブロックのスケールファクタ情報に加算または減算すべき値との組を出力させる等の方法で、単位ブロックと当該単位ブロックのスケールファクタ情報に加算または減算すべき値とが対応付けられるようにする。
【００７０】
スケールファクタ情報を変更することによる編集処理について詳細に説明する。適応ビット割当符号化回路７０６から出力される符号化データに反映される正規化処理としてブロックフローティング処理の一例を図１０に示す。図１０では、０〜９までの番号が付された１０個の正規化レベルが予め用意されているものとした。各単位ブロック中で最大のスペクトルデータ又はＭＤＣＴ係数を上回るものの内で最小の正規化レベルに対応する番号を、当該単位ブロックのスケールファクタ情報とする。従って、図１０では、ブロック番号０に対応するスケールファクタ情報は５となり、ブロック番号１に対応するスケールファクタ情報は７となる。他のブロックについても同様にスケールファクタ情報が対応させられる。図３を参照して上述したように、スケールファクタ情報は符号化データに書き込まれる。一般には、これらの正規化情報に基づいて復号化がなされる。
【００７１】
図１０に示したようなスケールファクタ情報の操作の一例を図１１に示す。正規化情報調整回路１１９が全単位ブロックについて−１なる値を出力し、この値−１が演算器１２０，１２１，１２２によって図１０に示したようなスケールファクタ情報に加算されると，図１１に示すような、スケールファクタ情報が元の値より１小さい値とされる。このような処理により、各単位ブロック内のスペクトルデータまたはＭＤＣＴ係数例えば２ｄＢ低い値として復号されることになり、信号レベルを例えば２ｄＢ低化させるレベル調整がなされる。
【００７２】
また、符号化データ中のスケールファクタ情報を正規化情報変更回路７０９によって操作する処理の他の一例を図１２に示す。正規化情報変更回路１１９が図１０中のブロック番号３のブロックに対しては−６なる値、ブロック番号４のブロックに対しては−４なる値、をそれぞれ出力して、それらの値をブロック番号３、ブロック番号４のブロックのスケールファクタ情報にそれぞれ加算することにより、ブロック番号３および４のブロックのスケールファクタ値が０とされる。このような処理により、フィルタリング処理が行われる。図１２に示した例は、負の数の加算（減算）によってスケールファクタ値を例えば０とするものであるが、例えば所望のブロックのスケールファクタ値を強制的に０とするようにしても良い。
【００７３】
なお、図１０〜図１２を参照した上述の説明においては、単位ブロックの個数を０〜４の５個、正規化候補番号の個数を０〜９の１０個としているが、現実の記録媒体、例えば光磁気ディスクの１種であるＭＤ（ミニディスク）に用いられているフォーマットでは、単位ブロックの個数が０〜５１の５２個、正規化候補番号の個数が０〜６３の６４個とされている。このような範囲内で、単位ブロック、スケールファクタ情報の変更等に係るパラメータを細かに指定することにより、より精緻なレベル調整、フィルタ処理等を行うことが可能となる。
【００７４】
図９を参照して上述した構成に、例えば光磁気ディスク、磁気ディスク等のディスク状記録媒体、磁気テープ、光テープ等のテープ状記録媒体、或いはＩＣメモリ、メモリスティック、メモリカード等の記録媒体に記録を行うための記録系を付加することにより、編集結果に沿って記録媒体を書き換えることが可能とされる。また、図９中の出力端子７１１を介して編集結果を出力し、出力した編集結果を記録媒体に書き加えるようにすれば、簡単な構成によって記録媒体上のスケールファクタ情報等の変更に対応する書き換えを行うことができる。これらの構成により、再生結果を参照しながら、すなわち、試聴しながらユーザ等が編集処理を行い、編集結果に沿って記録媒体を書き換えることができる。このような操作により、正規化情報の変更等に係る編集処理結果を保持できると共に、編集処理結果が記録されてなる記録媒体を作成することができる。
【００７５】
図１０〜図１２等を参照して上述したようなスケールファクタ情報の変更による編集処理の結果として、再生レベル調整機能、フェードインとフェードアウト機能、フィルタ機能、ワウ機能等の種々の機能を実現することが可能である。但し、正規化情報としての番号の１の増減に対応する、例えば２ｄＢ等のレベル変化が最小の処理単位とされ、それより小さい範囲でのレベル調整を含む編集はできない。また、時間方向でも、符号化方式に係る符号化データフォーマットによって規定される、１フレーム等の最小の時間単位よりも小さい範囲でのレベル調整等の編集操作を行うことはできない。
【００７６】
そこで、この発明では、符号化データを一旦復号化してＰＣＭサンプルを生成し、生成したＰＣＭサンプルに編集処理を施した後に再度符号化することによって符号化データを得るようにしている。但し、符号化データ内の各フレームは、隣接するフレームとオーバーラップするデータ部分を含むので、オーバーラップ部分を考慮した処理が必要となる。この点について以下に説明する。上述したように、１フレームは、例えば１０２４個のＰＣＭサンプルからなるが、図１中のＭＤＣＴ１０３，１０４，１０５による処理においては、通常、順次処理されていく各フレーム内でサンプルがオーバーラップ部分を有するようになされている。このような処理の一例を図１３に示す。ｎ番目からｎ＋１０２３番目までの１０２４個のＰＣＭサンプルをＮ番目のフレームで処理する場合に、Ｎ＋１番目のフレームでは、ｎ＋５１２番目からｎ＋１５３５番目までの１０２４個のＰＣＭサンプルを処理し、Ｎ＋２番目のフレームでは、ｎ＋１０２４番目からｎ＋２０４７番目までの１０２４個のＰＣＭサンプルを処理するようになされる。
【００７７】
但し、最初のフレームでは、サンプル列開始時点以前に５１２個の０データのＰＣＭサンプルを想定して、それら５１２個の０データのＰＣＭサンプルを、最初のフレーム以前の仮想的なフレームとオーバーラップして処理するものとする。また、最後のフレームでは、サンプル列終了時点以後に５１２個の０データのＰＣＭサンプルを想定して、それら５１２個の０データのＰＣＭサンプルを、最後のフレーム以後の仮想的なフレームとオーバーラップして処理するものとする。このような処理においては、１フレーム当たりの実質的な処理サンプル数は５１２である。
【００７８】
上述したように、スケールファクタ情報を変更することによって１フレームを単位とする編集処理が可能である。但し、上述したようなフレーム毎のＭＤＣＴ処理に関連して、所望の編集を行うためには、オーバーラップ分を考慮する必要があることがわかる。この点について、図１３に則してより具体的に説明する。ここで、ＰＣＭサンプルを時間方向に並んだ点の集合体として示す。Ｎ番目のフレームとＮ＋１番目のフレームとについてスケールファクタ情報を変更する編集処理を行う場合に、ｎ＋５１２番目〜ｎ＋１０２３番目までのＰＣＭサンプルについては編集処理に対応するレベル調整等の機能が実現されるが、ｎ番目〜ｎ＋５１１番目まで、およびｎ＋１０２４番目〜ｎ＋１５３５番目までのＰＣＭサンプルについては、編集処理が施されていない隣接フレームとのオーバーラップに起因して、編集処理に対応する機能が実現されない。
【００７９】
また、スケーファクタ情報の１の増減に対応する例えば２ｄＢ等のレベル変化幅より小さい範囲でのレベル調整ができない、或いはフィルタ機能等が１フレーム内の単位ブロック数や単位ブロックに対応する周波数分割幅に制約される等、符号化方式、符号化データフォーマットによっても、編集処理は制限される。
【００８０】
この発明に係る、符号化データを一旦復号し、復号したＰＣＭサンプルに対して編集処理を施し、その後、編集処理を施したＰＣＭサンプルを再度符号化するようにした構成の一例を図１４に示す。端子８０１を介して、符号化データが復号化回路８０２に供給される。復号化回路８０２は、供給される符号化データを部分的に復号化して、ＰＣＭサンプルを生成する。ここで、復号化回路８０２によって復号化される符号化データ中のデータ部分は、例えば操作パネル等を介してなされるユーザ等による指令に従うものとされる。すなわち、復号化回路８０２によって復号化される符号化データ中のデータ部分は、ユーザ等が所望する部分とすることが可能である。復号化回路８０２によって生成されるＰＣＭサンプルはメモリ８０３に供給され、一旦記憶される。
【００８１】
データ変更回路８０４は、メモリ８０３に記憶されているＰＣＭサンプルに、種々の編集処理に対応する変更処理を施す。この際に施すことが可能な変更処理としては、リバーブ、エコー、フィルタ、コンプレッサ、イコライジング等、様々な処理が知られている。データ変更回路８０４の出力である、変更処理されたＰＣＭサンプルは遅延補正回路８０５に供給され、遅延補正処理されて、メモリ８０６に一旦記憶される。符号化回路８０７は、メモリ８０６に記憶されているＰＣＭサンプルに符号化処理を施す。符号化回路８０７によって生成される符号化データが出力端子８０８を介して、出力される。出力端子８０８を介して、記録媒体に記憶を行う構成に供給される場合には、編集結果として生成される符号化データを記録してなる記録媒体を作成することができる。
【００８２】
ここで、遅延補正回路８０５による処理について詳細に説明する。かかる遅延補正処理は、復号化回路８０２および符号化回路８０７の動作時間等に起因して生じる、符号化回路８０７の出力の、端子８０１から入力する符号化データに対するずれを補償する位相調整処理である。これにより、符号化回路８０７の出力中のフレームと、端子８０１から入力する符号化データ中のフレームとが同一の時間関係となることが担保される。ここで、遅延量は、帯域分割フィルタ或いは帯域合成フィルタの構成たとえば次数、これらのフィルタへの入力タイミング、０データのＰＣＭサンプル数、ＭＤＣＴ処理のウインドウ処理を考慮したバッファリング等の種々の設定によって決定される。
【００８３】
例えば、図１中の帯域分割フィルタ１０１、１０２、或いは図９中の帯域合成フィルタ７０２、７０１の次数が何れも４８次であり、符号化時の最初のフレームに仮想的な前フレームのオーバーラップを想定した５１２個のＰＣＭサンプルの０データを設定する場合には、符号化と復号化に起因して生じる遅延量は、ＰＣＭサンプル６５３個分となる。遅延補正回路８０５は、復号化回路８０２の出力から、符号化回路８０７の出力の間であれば、何れの位置に設けても良い。遅延補正回路８０５は、遅延量を補正するためのバッファメモリ等を有する構成としても良いが、メモリ８０３、８０６に対して、遅延量を考慮したタイミングでのアクセスがなされるように制御するタイミング制御回路等であっても良い。
【００８４】
図１４中の復号化回路８０２は、図９を参照して上述した構成を有する。また、図１４中の符号化回路８０７は、図１を参照して上述した構成を有する。図１４を参照して上述したような構成によって、符号化データを一旦復号し、復号したＰＣＭサンプルに対して編集処理を施し、その後、編集処理を施したＰＣＭサンプルを再度符号化することによって生成される符号化データを記録してなる記録媒体を作成することができる。この際の記録媒体としては、光磁気ディスク以外にも、磁気ディスク等のディスク状記録媒体、磁気テープ、光テープ等のテープ状記録媒体、或いはＩＣメモリ、メモリスティック、メモリカード等を用いることができる。
【００８５】
次に、入力端子８０１を介して供給される符号化データと、出力端子８０８を介して出力される符号化データとの時間関係について図１６を参照して説明する。図１６で、Ｎ−１番目、Ｎ番目，Ｎ＋１番目，Ｎ＋２番目，Ｎ＋３番目の各フレームは、入力端子８０１を介して入力する符号化データ内のフレームを示す。これらのフレームから復号されるＰＣＭサンプルを時間方向に並んだ点の集合体として示す。復号されたＰＣＭサンプルの時間関係は図１２のような信号の振幅値の編集処理の場合は編集処理を行っても変化しない。但し、符号化回路８０７によって形成される符号化データ内のフレームの時間関係を編集前と統一させるためには、上記説明した６５３ポイント分の遅延補正を行う必要がある。
【００８６】
遅延補正されたＰＣＭサンプルが符号化されてなる最初のフレームをＭ−１番目のフレームとした場合、Ｍ−１番目のフレームの後半５１２個のＰＣＭサンプルサンプルは、復号化によって得られたＰＣＭサンプルを６５３サンプル分遅延させた位置から５１２個のＰＣＭサンプルとされる。この際に、Ｍ−１番目のフレームは符号化されてなる最初のフレームであるため、Ｍ−１番目のフレームの前半の５１２個のＰＣＭサンプルは、上述したように０データとされる。その後、Ｍ番目，Ｍ＋１番目，Ｍ＋２番目，Ｍ＋３番目の各フレームがＰＣＭの順を追って符号化され、出力端子８０８を介して出力される。ここで、Ｍ−１番目のフレームにＮ−１番目のフレームが対応し、Ｍ番目のフレームにＮ番目のフレームが対応し、Ｍ＋１番目のフレームにＮ＋１番目のフレームが対応し、Ｍ＋２番目のフレームにＮ＋２番目のフレームが対応し、Ｍ＋３番目のフレームにＮ＋３番目のフレームが対応する。
【００８７】
このような関係の下では、例えばＭ番目のフレームに相当するＰＣＭを生成するためには、Ｎ−１〜Ｎ＋２番目のフレームが復号化される必要がある。すなわち、所望のフレームを編集して再び符号化するために、最低限、前の１フレーム分と後ろの２フレーム分とが必要となる。
【００８８】
但し、出力端子８０８を介して出力される、Ｍ−１，Ｍ，Ｍ＋１，・・・においても、オーバーラップの関係がある点を考慮する必要がある。すなわち、図１６で編集部分ｅを編集したい場合、Ｎ番目のフレームを編集してＭ番目のフレームに置き換えるだけでは、Ｍ＋１番目のフレームとのオーバーラップ分のために、再生時に所望の編集結果を得ることができない。この場合には、所望の編集結果を得るために、Ｎ＋１番目のフレームを編集してＭ＋１番目のフレームに置き換える必要がある。この際には、上述したように、Ｎ〜Ｎ＋３番目のフレームが復号化される必要がある。
【００８９】
すなわち、編集部分ｅを編集して所望の編集結果を得るためには、Ｎ−１〜Ｎ＋３番目のフレームを抽出して復号化を行うことによってＰＣＭサンプルを生成し、生成したＰＣＭサンプルに編集処理を施すことによってＭ番目およびＭ＋１番目のフレームを得て、これらのフレームをＮ番目およびＮ＋１番目のフレームの代わりに用いるようにすれば良い。より長い時間間隔相当の編集も、同様にして、所望の編集結果を得るために生成されるべきデータと、ＰＣＭサンプルを生成するために復号化すべきフレームとの時間関係を正確に把握することにより、的確に行うことが可能である。また、この発明の一実施形態では、直交変換におけるウインドウ形状による影響を考慮していないが、これを考慮することにより、編集処理を精緻化することが可能である。
【００９０】
これをさらに図１５Ａ，図１５Ｂ，図１５Ｃと合わせてより具体的に説明する。図１５Ａは記録媒体上に記録された信号を表したものである。Ｆ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５，Ｆ６は記録媒体上に作成されたデータ記録単位としてのフレームを示している。各フレームには信号波形として示した信号がディジタルコード化されて記録されている。
【００９１】
いま、図１５Ａに示された信号のうちフレーム３としてのＦ３とフレーム４としてのＦ４に対してエフェクト処理を施す場合について説明する。
【００９２】
図１５に示される信号のうちエフェクト処理を施されるフレームＦ３とＦ４が図１４の端子８０１に入力され復号化回路８０２において復号化されてメモリ８０３に記憶される。メモリ８０３に記憶されたフレームＦ３とＦ４のディジタルコード化された信号はデータ変更回路８０４によってエフェクト処理される。この復号化処理とエフェクト処理によって図１５Ｂに示したような遅延Ｄ２が発生する。これは先に説明したように、最初のフレームとなるフレームＦ３では、サンプル列開始時点以前に５１２個の０データのＰＣＭサンプルを想定して、それら５１２個の０データのＰＣＭサンプルを、最初のフレーム以前の仮想的なフレームとオーバーラップして処理するものとすることによる遅延とエフェクト処理による遅延によって発生するものであり、たとえばフレームＦ３に処理が施された結果をフレームＤＦ３、フレームＦ４に処理が施された結果をフレームＤＦ４とすれば遅延Ｄ２を持った波形の一部を表すことができる。つまり、図１５Ａの信号波形の開始時点以前に信号０がフィルされた信号波形の一部としてフレームＤＦ３とＤＦ４が生成されたことになる。
【００９３】
この遅延Ｄ１を持った信号をさらに符号化回路８０７によって符号化した場合、復号化のときと同様に遅延Ｄ２が発生し、図１５Ａの信号波形に対して遅延Ｄ１と遅延Ｄ２が加算された遅延を持った信号の一部としてフレームＤＤＦ３とＤＤＦ４が生成されることになる。つまり記録媒体上のフレーム１の先頭からディレイＤ１＋ディレイＤ２の期間信号０がフィルされた信号波形の一部としてフレームＤＤＦ３とＤＤＦ４が生成されたことになる。
【００９４】
ここで、遅延補正回路８０５による遅延補正を行わずにエフェクト処理されたフレームＤＤＦ３とＤＤＦ４が持つ時間情報に基づいて対応する記録媒体上の時間情報を持つ位置に書き戻すことを行ったとすると、フレームＤＤＦ３に関しては記録媒体上のフレームＦ５の一部と記録媒体上のフレームＦ６の一部に上書きされることになり、また生成されてフレームＤＤＦ４に関してはフレームＦ６の一部と記録媒体上のフレームＦ７の一部に上書きされることになる。
【００９５】
このようにして生成された記録媒体上には、フレームＦ１、フレームＦ２、フレームＦ３、フレームＦ４、フレームＦ５の一部、エフェクト処理されたフレームＤＤＦ３、エフェクト処理されたフレームＤＤＦ４、フレームＦ７の一部が記録されたことになり、信号の継続性が失われたことになる。
【００９６】
そこで、あらかじめ分かっている各遅延量Ｄ１、Ｄ２の総計時間分だけ、生成されたフレームＤＤＦ３およびＤＤＦ４の持つ時間情報をオフセットさせることで、フレームＤＤＦ３を記録媒体上のフレームＦ３の位置に、またフレームＤＤＦ４を記録媒体上のフレームＦ４の位置に書き戻すことができ、これによって信号の継続性が保たれ、かつエフェクト処理が施されたフレームを含む記録媒体が作成できたことになる。
【００９７】
さらに図１７Ａ，図１７Ｂ，図１７Ｃを用いて入力されるＰＣＭデータの符号化して記録媒体上に記録された上記ＰＣＭデータの一部を復号化して編集を加えてから再度符号化して記録媒体に書き戻す場合について説明する。
【００９８】
図１７Ａには入力されるＰＣＭデータをウィンドウによってフィルタリングしながらフレーム単位に符号化している様子を示している。なおウィンドウサイズはフレームと同じサイズとし、この例の場合１０２４サンプルとされる。
【００９９】
入力されるＰＣＭデータは、例えばフレームＮの場合ウィンドウＷ２、ウィンドウＷ３、ウィンドウＷ４の３個のウインドウでフィルタリングされて合成されて使用される。
【０１００】
図１７ＡにおけるＰＣＭデータのうちのＡで示した部分を符号化する場合、Ｎ−２フレームとＮ−１フレームから生成されることになる。また、ウィンドウをしてはウィンドウＷ１とウィンドウＷ２でフィルタリングされたＰＣＭデータが使用されることになる。
【０１０１】
ところで、Ａで示した部分はＰＣＭデータのうちの最初の部分であるため隣接フレームがフレームＮの片側しか存在しない。そこでウィンドウＷ１の前半の一部を構成するフレームにはヌルデータを付加して符号化を行う必要がある。そのためＮ−１の隣接するフレームのうちの１つをヌルフレームとしている。
【０１０２】
そして図１７Ａに示したＰＣＭデータを符号化した場合、記録媒体に記録されるフレームとしてはフレームＮ−１、フレームＮ、フレームＮ＋１、フレームＮ＋２、・・・、フレームＮ＋５である。記録されるフレームにはヌルフレームは含まれず、記録時には記録が省略される。これによって、記録媒体上には入力されたＰＣＭデータを構成する必要最小限のフレームのみが記録されることになる。つまり符号化の都合上で必要となったフレームは記録されないようにされている。
【０１０３】
図１７Ａのように符号化されて記録媒体に記録されたＰＣＭデータの一部に対して編集を加える場合について図１７Ｂを使って説明する。
【０１０４】
図１７Ａのように符号化されて記録媒体に記録されたＰＣＭデータのうち図１７Ｂで示すようにＥＤＩＴと記された部分を編集するわけであるが、この場合に復号化が必要となるフレームとしては、フレームＮ、フレームＮ＋１、フレームＮ＋２、フレームＮ＋３である。図１７Ｂの例では説明を分かりやすくするためにフレームＮ−１についも復号化している。
【０１０５】
さて上記の５個のフレームに関連する部分を復号する場合、最初と最後のフレームであるフレームＮ−１とフレームＮ＋３には隣接フレームが１個しかないため復号することができない。そのため復号の便宜上フレームＮ−１およびフレームＮ＋３に対してはヌルフレーム隣接フレームの一つとして与えて復号化を行うことになる。
【０１０６】
この復号化によって再生されたＰＣＭデータに対して編集を行うわけであるが、先に説明したように復号時に与えたヌルフレームとフィルタの次数による位相遅れが発生した結果フレームＮ−１の開始位置はこの例の場合６５３フレーム時間的にシフトした位置にずれている。
【０１０７】
このように復号化されたＰＣＭデータのＥＤＩＴ部分に編集を加えると破線で示したような記録媒体上に記録されたデータを便宜的に位置合わせして重ねた波形から編集された部分の波形が異なったことが分かる。
【０１０８】
ここで、フレームＮ＋３の後半のヌルフレームと関連する部分の復号化された波形が、記録媒体上のデータと異なる波形になるのは、フレームＮ＋３の後半部分を復号化する際に本来はフレームＮ＋４と関連して復号化されずにヌルフレームを使って復号されたからである。
【０１０９】
これに対してフレームＮ−１は、入力されたＰＣＭ信号を符号化する際にヌルフレームを関連させて符号化したため、復号化する場合にヌルフレームとともに復号化されたＰＣＭ信号は入力されたＰＣＭ信号と同一波形となっている。
【０１１０】
さて、ここで編集が加えられたＰＣＭ信号を再度記録媒体上の対応するフレーム位置に書き戻す必要がある。このときに図１７Ａと同一のウィンドウでフィルタした信号を使って符号化した場合、ウィンドウＷ１、ウィンドウＷ２、ウィンドウＷ３、・・・を使用すると、復号化時に発生した遅延分だけずれた位置の信号に対するウィンドウになる。
【０１１１】
そこで、図１７Ｂに示すウィンドウＷ１１、ウインドウＷ１２、ウィンドウＷ１３、・・・、ウィンドウＷ１６の新たなウィンドウを用意してフィルタリングすることによって図１７Ａと同一の時間関係を持つ信号を抽出することが可能となる。
【０１１２】
図１７ＢにおけるウィンドウＷ１１は、図１７ＡにおけるＷ１に相当し、図１７ＢにおけるウィンドウＷ１２は、図１７ＡにおけるＷ２に相当し、図１７ＢにおけるウィンドウＷ１３は、図１７ＡにおけるＷ３に相当すると言える。
【０１１３】
このようにウィンドウによるフィルタリングの位置を図１７Ｃに示すように遅延補正量だけずらす処理を施すことで、符号化したフレームＮ、フレームＮ＋１、フレームＮ＋２を記録媒体上のそれぞれフレームＮ、フレームＮ＋１、フレームＮ＋２に相当するフレーム位置に書き戻すことが可能となる。
【０１１４】
上述したこの発明の一実施形態、この発明の他の実施形態は、ＭＤＣＴと、人間の聴覚特性を考慮した帯域分割と、各帯域毎のビット配分とを組合わせ、さらに各帯域毎の正規化および量子化を行うことによる高能率符号化方式における符号化データを前提として、この発明を適用したものである。これに対して、例えばＭＰＥＧオーディオ規定に従う符号化データフォーマット等の他の符号化方式を前提としてこの発明を適用することも可能である。ＭＰＥＧオーディオ規定に従う符号化データフォーマットを図１８に示す。
【０１１５】
ヘッダは固定長の３２ビットとされ、ヘッダ内には、同期用のワード、ＩＤ，レイヤ層、プロテクンビット、ビットレートインデックス、サンプリング周波数、バディングビット、プライベートビット、モード、コピーライトの有無、オリジナルあるいはコピーの別、エンファシス等の情報が記録される。ヘッダに続いてオプションであるエラーチェック用のデータが記録される。エラーチェック用のデータに続いてオーディオデータが記録される。このオーディオデータがサンプルデータと共に、リングアロケーション情報、スケールファクタ情報を含んでいるので、かかるデータフォーマットに対してこの発明を適用することが可能である。
【０１１６】
なお、正規化情報としては、符号化の方式等によってスケールファクタ情報以外のものが用いられることがある。そのような場合にも、この発明を適用することは可能である。
【０１１７】
また、この発明は、上述したこの発明の一実施形態、この発明の他の実施形態等に限定されるものではなく、種々の変形、変更が可能である。
【０１１８】
【発明の効果】
この発明によれば、ディジタルオーディオデータ等に係るディジタル信号に基づいて一旦形成された符号化データを部分的に復号化することによって生成されるＰＣＭサンプルを変更し、その後再度符号化することにより、符号化方式、符号化データフォーマット等による、レベル調整幅、フィルタ機能、時間方向の処理等に係る編集における制限の影響を小さくすることができ、より細かい編集が可能となる。
【図面の簡単な説明】
【図１】この発明を適用することができるディジタル信号記録装置の一例を示すブロック図である。
【図２】各帯域毎の直交変換ブロックサイズについて説明するための略線図である。
【図３】この発明を適用することが可能な符号化データフォーマットの一例を示す略線図である。
【図４】図７中の１バイト目のデータの詳細を示した略線図である。
【図５】ビット割当算出回路の構成の一例を示すブロック図である。
【図６】臨界帯域、ブロックフローティング等を考慮して分割された帯域のスペクトルの一例を示す略線図である。
【図７】マスキングスペクトルの一例を示す略線図である。
【図８】最小可聴カーブ、マスキングスペクトルの合成について説明するための略線図である。
【図９】この発明を適用することができるディジタル信号再生および／または記録装置の一例を示すブロック図である。
【図１０】正規化情報の生成について説明するための略線図である。
【図１１】正規化情報の変更によるレベル操作について説明するための略線図である。
【図１２】正規化情報の変更によるフィルタ操作について説明するための略線図である。
【図１３】符号化データ内の各フレームにおけるオーバーラップについて説明するための略線図である。
【図１４】この発明に係る編集処理を行う構成の一例を示すブロック図である。
【図１５】記録媒体上に記録された信号の一例を示す略線図である。
【図１６】この発明に係る編集処理における各フレーム間の時間関係の一例について説明するための略線図である。
【図１７】ＰＣＭデータの一部を復号化して編集を加えてから再度符号化して記録媒体に書き戻す場合について説明するための略線図である。
【図１８】この発明を適用することが可能な符号化データフォーマットの他の例を示す略線図である。
【符号の説明】
１０１、１０２・・・帯域分割フィルタ、１０３、１０４、１０５・・・直交変換回路、１１９・・・正規化情報変更回路、１２０、１２１、１２２・・・演算器（減算器）、７０９・・・正規化情報変更回路、８０２・・・復号化回路、８０４・・・データ変更回路、８０５・・・遅延補正回路、８０７・・・符号化回路
【発明の属する技術分野】
この発明は、所定データ量ごとにブロック化し、隣接するブロックと関連させながら高能率符号化されたディジタル信号の一部分を編集可能とするディジタル信号処理装置および処理方法、並びにディジタル信号記録装置および記録方法に関する。
【０００２】
【従来の技術】
オーディオ信号の高能率符号化に係る従来技術として、例えば、時間領域のオーディオ信号を単位時間毎にブロック化し、ブロック毎の時間軸上の信号を周波数軸上の信号に変換、たとえば直交変換、して複数の周波数帯域に分割し、各帯域毎に符号化するブロック化周波数帯域分割方式の一つである変換符号化方法が知られている。また、時間領域のオーディオ信号を単位時間毎にブロック化せずに、複数の周波数帯域に分割して符号化する非ブロック化周波数帯域分割方法の一つであるサブ・バンド・コーディング（ＳＢＣ：Sub Band Coding ）方法が知られている。
【０００３】
さらに、上述の帯域分割符号化と変換符号化とを組み合わせてなる高能率符号化方法も知られている。この方法では、例えば、帯域分割符号化方式によって分割した各帯域毎の信号を、変換符号化方式によって周波数領域の信号に直交変換し、直交変換された各帯域毎に符号化が施される。
【０００４】
ここで、上述した帯域分割符号化方式に使用される帯域分割用フィルタとしては、例えばＱＭＦ(Quadrature Mirror filter)等のフィルタがある。ＱＭＦについては、例えば、 R.E.Crochiere Digital coding of speech in subbands Bell Syst.Tech. J. Vol.55, No.8(1976)に述べられている。また、ICASSP 83, BOSTON Polyphase Quadrature filters-A new subband coding technique Joseph H. Rothweiler には、ポリフェーズ クワドラチャ フィルタ(Polyphase Quadrature filter) などの等バンド幅のフィルタ分割手法および装置が述べられている。
【０００５】
また、直交変換としては、例えば、入力オーディオ信号を所定単位時間（フレーム）でブロック化し、該ブロック毎に高速フーリエ変換（ＦＦＴ）やコサイン変換（ＤＣＴ）、モディファイドＤＣＴ変換（ＭＤＣＴ）等を行うことで時間軸を周波数軸に変換するような方法が知られている。ＭＤＣＴについては、例えば、ICASSP 1987 Subband/Transform Coding Using Filter Bank Designs Based on Time Domain Aliasing Cancellation J.P.Princen A.B.Bradley Univ. of Surrey Royal Melbourne Inst.of Tech. に述べられている。
【０００６】
一方、周波数帯域分割された各周波数成分を量子化する際に、人間の聴覚特性を考慮した周波数分割幅を用いる符号化方法が知られている。すなわち、臨界帯域（クリティカルバンド）と呼ばれる、帯域幅が高域程広くなるような帯域幅が広く用いられている。このような臨界帯域を用いてオーディオ信号を複数バンド（例えば２５バンド）の帯域に分割することがある。このような帯域分割方法によれば、各帯域毎のデータを符号化する際に、各帯域毎に所定のビット配分、或いは各帯域毎に適応的なビット配分による符号化が行われる。例えば、ＭＤＣＴ処理によって生成されるＭＤＣＴ係数データを上述したようなビット配分によって符号化する場合には、各ブロック毎に対応して生成される各帯域毎のＭＤＣＴ係数データに対して適応的なビット数が配分され、そのようなビット数配分の下で符号化が行われる。
【０００７】
このようなビット配分方法およびそれを実現する装置についての公知文献として、例えば以下のようなものが挙げられる。まず、例えばIEEE Transactions of Accoustics,Speech,and Signal Processing,vol.ASSP-25,No.4,August(1977)には、各帯域毎の信号の大きさに基づいてビット配分を行う方法が記載されている。また、例えばICASSP 1980 Thecritical band coder--digital encoding of the perceptual requirements of the auditory system M.A. Kransner MIT には、聴覚マスキングを利用することによって各帯域毎に必要な信号対雑音比を得て固定的なビット配分を行う方法が記載されている。
【０００８】
また、各帯域毎の符号化に際しては、各帯域毎に正規化を行って量子化を行うことにより、より効率的な符号化を実現するいわゆるブロックフローティング処理が行われている。例えば、ＭＤＣＴ処理によって生成されるＭＤＣＴ係数データを符号化する際には、各帯域毎に上述のＭＤＣＴ係数の絶対値の最大値等に対応した正規化を行った上で量子化を行うことにより、より効率的な符号化が行われる。正規化処理は例えば以下のように行われる。すなわち、予め番号付けされた複数種類の値を用意し、それら複数種類の値の内で各ブロックについての正規化に係るものを所定の演算処理によって決定し、決定した値に付されている番号を正規化情報として使用する。複数種類の値に対応する番号付けは、例えば、番号の１の増減に、オーディオレベルの２ｄＢの増減が対応する等の一定の関係の下で行われる。
【０００９】
上述したような方法で高能率符号化された符号化データは、次のようにして復号化される。まず、各帯域毎のビット配分情報、正規化情報等を参照して、符号化データに基づいてＭＤＣＴ係数データを生成する処理がなされる。このＭＤＣＴ係数データに基づいていわゆる逆直交変換が行われることにより、時間領域のデータが生成される。高能率符号化の過程で帯域分割用フィルタによる帯域分割が行なわれていた場合は、帯域合成フィルタを用いて時間領域のデータを合成する処理がさらになされる。
【００１０】
加算、減算等の処理によって正規化情報を変更することにより、符号化データを復号化してなる時間領域の信号に関して、振幅の大きさすなわち再生レベルの調整、フィルタ機能等を実現するデータの編集方法が知られている。この方法によれば、加算、減算等の演算処理によって再生レベルの調整等の操作を行うことができるので、装置の構成が容易に実現できると共に、不要な復号化、符号化等を行う必要がないため、信号品質の劣化を伴わずに再生レベルの調整等の編集処理を行うことが可能となる。また、この方法では、復号化によって生成される信号の時間間隔相当分を変化させることなく符号化データを変更することが可能なので、復号化によって生成される信号の一部分のみを、他の部分に影響を与えることなく変更することが可能となる。
【００１１】
なお、正規化情報を変更する方法以外の方法でも、例えば復号化後に生成される信号と元の信号との時間関係、すなわち位相関係の遅延量を把握することにより、復号化によって生成される信号の時間間隔相当分が同一となるような符号化データを作成することが可能である。
【００１２】
【発明が解決しようとする課題】
上述したような方法で符号化データを変更する場合には、例えば２ｄＢ等の、正規化情報としての番号の１の増減に対応するレベル変化を単位とした操作が可能であるが、それより小さいレベル調整等の操作を行うことはできない。また、時間方向でも、符号化方式に係る符号化データフォーマットによって規定される、１フレーム等の最小の時間単位よりも小さい範囲でのレベル調整等の編集操作を行うことはできない。
【００１３】
このように、符号化方式、符号化データフォーマット等による制限のために、再生レベルおよび周波数領域における編集処理、および時間方向における編集処理として、ある程度以上細かい処理を行うことはできない。
【００１４】
従って、この発明の目的は、例えば再生レベル等において、符号化フォーマット等による制限のより少ない編集処理を行うことを可能とするディジタル信号処理装置および処理方法、並びにディジタル信号記録装置および記録方法を提供することにある。
【００１５】
【課題を解決するための手段】
以上の課題を解決するために、第１の発明は、
修正離散コサイン変換を用いた符号化がなされた符号化オーディオデータを部分的に復号化して、復号化オーディオデータ部分を生成する部分復号化手段と、
復号化オーディオデータ部分に変更処理を施すデータ変更手段と、
データ変更手段の出力を符号化し、符号化オーディオデータを生成する部分符号化手段と
部分復号化手段からデータ変更手段への出力、またはデータ変更手段から部分符号化手段への出力に対して、遅延補正を施す遅延補正手段と
を有し、
遅延補正手段は、
部分復号化手段および部分符号化手段の動作に起因して生じる、部分復号化手段に入力される符号化オーディオデータに対する、部分符号化手段から出力される符号化オーディオデータの位相のずれを補償し、位相を合わせることを特徴とするディジタル信号処理装置である。
【００１６】
第２の発明は、
修正離散コサイン変換を用いた符号化がなされた符号化オーディオデータを部分的に復号化して、復号化オーディオデータ部分を生成する部分復号化ステップと、
復号化オーディオデータ部分に変更処理を施すデータ変更ステップと、
データ変更ステップの結果を符号化し、符号化オーディオデータを生成する部分符号化ステップと、
部分復号化ステップとデータ変更ステップとの間、またはデータ変更ステップと部分符号化ステップとの間で、復号化オーディオデータ部分に対して遅延補正を施す遅延補正ステップと
を有し、
遅延補正ステップでは、
部分復号化ステップおよび部分符号化ステップの処理に起因して生じる、部分復号化ステップ前の符号化オーディオデータに対する、部分符号化ステップ後の符号化オーディオデータの位相のずれを補償し、位相を合わせることを特徴とするディジタル信号処理方法である。
【００１７】
第３の発明は、
入力ディジタルオーディオ信号を修正離散コサイン変換を用いて符号化することによって符号化オーディオデータを生成し、符号化オーディオデータを所定の記録媒体に記録するディジタル記録装置において、
符号化オーディオデータを部分的に復号化して、復号化オーディオデータ部分を生成する部分復号化手段と、
復号化オーディオデータ部分に変更処理を施すデータ変更手段と、
データ変更手段の出力を符号化し、符号化オーディオデータを生成する部分符号化手段と
部分復号化手段からデータ変更手段への出力、またはデータ変更手段から部分符号化手段への出力に対して、遅延補正を施す遅延補正手段と
を有し、
遅延補正手段は、
部分復号化手段および部分符号化手段の動作に起因して生じる、部分復号化手段に入力される符号化オーディオデータに対する、部分符号化手段から出力される符号化オーディオデータの位相のずれを補償し、位相を合わせることを特徴とするディジタル信号記録装置である。
【００１８】
第４の発明は、
入力ディジタルオーディオ信号を修正離散コサイン変換を用いて符号化することによって符号化オーディオデータを生成し、符号化オーディオデータを所定の記録媒体に記録するディジタル信号記録方法において、
符号化オーディオデータを部分的に復号化して、復号化オーディオデータ部分を生成する部分復号化ステップと、
復号化オーディオデータ部分に変更処理を施すデータ変更ステップと、
データ変更ステップの結果を符号化し、符号化オーディオデータを生成する部分符号化ステップと、
部分復号化ステップとデータ変更ステップとの間、またはデータ変更ステップと部分符号化ステップとの間で、復号化オーディオデータ部分に対して遅延補正を施す遅延補正ステップと
を有し、
遅延補正ステップでは、
部分復号化ステップおよび部分符号化ステップの処理に起因して生じる、部分復号化ステップ前の符号化オーディオデータに対する、部分符号化ステップ後の符号化オーディオデータの位相のずれを補償し、位相を合わせることを特徴とするディジタル信号記録方法である。
【００２０】
第５の発明は、
所定データ量ごとにブロック化し、隣接するブロックと関連させながら高能率符号化された入力ディジタルオーディオ信号に対してディジタル信号処理を行うディジタル信号処理装置において、
入力される修正離散コサイン変換を用いて高能率符号化されたディジタルオーディオ信号を隣接するブロックと関連させながら部分的に復号化する復号化手段と、
復号化されたディジタルオーディオ信号に変更処理を加える変更処理手段と、
変更処理を加えられたディジタルオーディオ信号を隣接するブロックと関連させながら高能率符号化し、符号化オーディオデータを生成する符号化手段と、
復号化手段と変更処理手段との間、または変更処理手段と符号化手段との間において、復号化によって生じる遅延時間を補正する遅延補正手段と
を備え、
遅延補正手段は、
復号化手段の動作に起因して生じる、復号化手段に入力される符号化オーディオデータに対する、符号化手段から出力される符号化オーディオデータの位相のずれを補償し、位相を合わせることを特徴とするディジタル信号処理装置である。
【００２１】
第６の発明は、
所定データ量ごとにブロック化し、隣接するブロックと関連させながら高能率符号化された入力ディジタルオーディオ信号に対してディジタルオーディオ信号処理を行うディジタル信号処理方法において、
入力される修正離散コサイン変換を用いて高能率符号化されたディジタルオーディオ信号を隣接するブロックと関連させながら部分的に復号化するステップと、
復号化されたディジタルオーディオ信号に変更処理を加えるステップと、
変更処理を加えられたディジタルオーディオ信号を隣接するブロックと関連させながら高能率符号化し、符号化オーディオデータを生成するステップと、
復号化のステップと変更処理のステップとの間、または変更処理のステップと符号化のステップとの間で、復号化のステップによって生じる遅延時間を補正するステップと
を有し、
遅延時間の補正のステップでは、
復号化のステップの処理に起因して生じる、復号化のステップ前の符号化オーディオデータに対する、符号化のステップ後の符号化オーディオデータの位相のずれを補償し、位相を合わせることを特徴とするディジタル信号処理方法である。
【００２２】
以上のような発明によれば、一旦形成された符号化データを部分的に復号化することによって生成されるＰＣＭサンプルを変更し、その後再度符号化することにより、符号化方式、符号化データフォーマット等よる制限の影響を小さくすることができる。
【００２３】
【発明の実施の形態】
この発明を適用することができるディジタル信号記録装置の一例について、図１を参照して説明する。この発明の一実施形態は、帯域分割符号化（ＳＢＣ）、適応変換符号化（ＡＴＣ）及び適応ビット割当ての各処理を施すことにより、オーディオＰＣＭ信号等の入力ディジタル信号を高能率符号化する符号化処理系を含むディジタル信号記録装置である。ここで、入力ディジタル信号として、例えば人の話声、歌声、楽器の音等の各種のオーディオ信号をディジタル化してなるディジタルオーディオデータ信号、ディジタルビデオ信号等を扱うことができる。
【００２４】
例えばサンプリング周波数が４４．１ｋＨｚの場合、入力端子１００を介して０〜２２ｋＨｚのオーディオＰＣＭ信号が帯域分割フィルタ１０１に供給される。帯域分割フィルタ１０１は、供給される信号を０〜１１ｋＨｚ帯域と１１ｋＨｚ〜２２ｋＨｚ帯域とに分割する。１１〜２２ｋＨｚ帯域の信号はＭＤＣＴ(Modified Discrete Cosine Transform)回路１０３およびブロック決定回路１０９、１１０、１１１に供給される。
【００２５】
また、０ｋＨｚ〜１１ｋＨｚ帯域の信号は帯域分割フィルタ１０２に供給される。帯域分割フィルタ１０２は、供給される信号を５. ５ｋＨｚ〜１１ｋＨｚ帯域と０〜５. ５ｋＨｚ帯域とに分割する。５．５〜１１ｋＨｚ帯域の信号はＭＤＣＴ回路１０４およびブロック決定回路１０９、１１０、１１１に供給される。また、０〜５. ５ｋＨｚ帯域の信号は、ＭＤＣＴ回路１０５およびブロック決定回路１０９、１１０、１１１に供給される。帯域分割フィルタ１０１、１０２は、例えばＱＭＦフィルタ等を用いて構成することができる。ブロック決定回路１０９は、供給される信号に基づいてブロックサイズを決定し、決定したブロックサイズを示す情報をＭＤＣＴ回路１０３および出力端子１１３に供給する。
【００２６】
ブロック決定回路１１０は、供給される信号に基づいてブロックサイズを決定し、決定したブロックサイズを示す情報をＭＤＣＴ回路１０４および出力端子１１５に供給する。ブロック決定回路１１１は、供給される信号に基づいてブロックサイズを決定し、決定したブロックサイズを示す情報をＭＤＣＴ回路１０５および出力端子１１７に供給する。ブロック決定回路１０９、１１０、１１１の動作により、直交変換に先立って、入力データに応じて適応的にブロックサイズあるいはブロック長が変化させられる。
【００２７】
ＭＤＣＴ回路１０３，１０４，１０５に供給される、各帯域毎のデータの例を図２に示す。ブロック決定回路１０９，１１０，１１１の動作により、帯域分割フィルタ１０１、１０２から出力される計３個のデータについて、各帯域毎について独立に直交変換ブロックサイズを設定することができると共に、信号の時間特性、周波数分布等により時間分解能を切り換えることが可能とされている。すなわち、信号が時間的に準定常的である場合には、図２Ａに示すような、直交変換ブロックサイズを例えば１１．６ｍｓと大きくするＬｏｎｇ Ｍｏｄｅが用いられる。
【００２８】
一方、信号が非定常的である場合には、直交変換ブロックサイズをＬｏｎｇＭｏｄｅ時に比べて２分割または４分割とするモードが用いられる。より具体的には、全てを４分割して例えば図２Ｂのように２．９ｍｓとするＳｈｏｒｔ Ｍｏｄｅ、或いは、図２Ｃのように一部を２分割して例えば５．８ｍｓとし、他の一部を４分割して例えば２．９ｍｓとするＭｉｄｄｌｅ Ｍｏｄｅ−ａまたは、図２ＤのようなＭｉｄｄｌｅ Ｍｏｄｅ−ｂが用いられる。このように時間分解能を様々に設定することにより、実際の複雑な入力信号に適応できるようになされる。
【００２９】
回路規模等に係る制約に考慮しながら、直交変換ブロックサイズの分割をさらに複雑なものとすることにより、実際の入力信号をより適切に処理できることは明白である。上述したようなブロックサイズは、ブロック決定回路１０９，１１０，１１１によっての決定され、決定されたブロックサイズの情報はＭＤＣＴ回路１０３，１０４，１０５およびビット割り当て算出回路１１８に供給されると共に、出力端子１１３、１１５、１１７を介して出力される。
【００３０】
図１に戻り、ＭＤＣＴ回路１０３は、ブロック決定回路１０９によって決定されたブロックサイズに応じてＭＤＣＴ処理を行う。かかる処理によって生成される高域のＭＤＣＴ係数データまたは周波数軸上のスペクトルデータは、臨界帯域毎にまとめられて適応ビット割り当て符号化回路１０６およびビット割り当て算出回路１１８に供給される。ＭＤＣＴ回路１０４は、ブロック決定回路１１０によって決定されたブロックサイズに応じてＭＤＣＴ処理を行う。かかる処理によって生成される中域のＭＤＣＴ係数データまたは周波数軸上のスペクトルデータは、ブロックフローティングの有効性を考慮して臨界帯域幅を細分化する処理を施された後に適応ビット割り当て符号化回路１０７およびビット割り当て算出回路１１８に供給される。
【００３１】
ＭＤＣＴ回路１０５は、ブロック決定回路１１１によって決定されたブロックサイズに応じてＭＤＣＴ処理を行う。かかる処理の結果としての低域のＭＤＣＴ係数データまたは周波数軸上のスペクトルデータは、臨界帯域（クリティカルバンド）毎にまとめる処理を施された後に適応ビット割り当て符号化回路１０８およびビット割り当て算出回路１１８に供給される。ここで、臨界帯域とは、人間の聴覚特性を考慮して分割された周波数帯域であり、ある純音の周波数近傍の同じ強さの狭帯域バンドノイズによって当該純音がマスクされる時に、当該狭帯域バンドノイズの帯域のことである。臨界帯域は、高域ほど帯域幅が広くなるという性質がある。０〜２２ｋＨｚの全周波数帯域は、例えば２５のクリティカルバンドに分割されている。
【００３２】
ビット割当算出回路１１８は、供給されるＭＤＣＴ係数データまたは周波数軸上のスペクトルデータ、およびブロックサイズ情報に基づいて、後述するようなマスキング効果等を考慮して上述の臨界帯域およびブロックフローティングを考慮した各分割帯域毎のマスキング量、エネルギーおよび或いはピーク値等を計算し、計算結果に基づいて各帯域毎にブロックフロ−ティングの状態を示すスケ−ルファクタ、および割当てビット数を計算する。計算された割当てビット数は、適応ビット割当符号化回路１０６、１０７、１０８に供給される。以下の説明において、ビット割り当ての単位とされる各分割帯域を単位ブロックと表記する。
【００３３】
適応ビット割当符号化回路１０６は、ブロック決定回路１０９から供給されるブロックサイズ情報、ビット割り当て算出回路１１８から供給される割当ビット数および正規化情報としてのスケールファクタ情報に応じて、ＭＤＣＴ回路１０３から供給されるスペクトルデータまたはＭＤＣＴ係数データを再量子化すなわち正規化して量子化する処理を行う。かかる処理の結果として、符号化フォーマットに則した符号化データが生成される。この符号化データは演算器１２０に供給される。適応ビット割当符号化回路１０７は、ブロック決定回路１１０から供給されるブロックサイズ情報、ビット割り当て算出回路１１８から供給される割当ビット数およびスケールファクタ情報に応じて、ＭＤＣＴ回路１０４から供給されるスペクトルデータまたはＭＤＣＴ係数データを再量子化する処理を行う。かかる処理の結果として、符号化フォーマットに則した符号化データが生成される。この符号化データが演算器１２１に供給される。
【００３４】
適応ビット割当符号化回路１０８は、ブロック決定回路１１０から供給されるブロックサイズ情報、ビット割り当て算出回路１１８から供給される割当ビット数およびスケールファクタ情報に応じて、ＭＤＣＴ回路１０５から供給されるスペクトルデータまたはＭＤＣＴ係数データを再量子化する。かかる処理の結果として、符号化フォーマットに則した符号化データが生成される。この符号化データが演算器１２２に供給される。
【００３５】
符号化データのフォーマットの一例を図３に示す。ここで、左側に示した数値０，１，２，‥‥，２１１はバイト数を表しており、この一例では２１２バイトを１フレームの単位としている。先頭の０バイト目の位置には、図１中のブロック決定回路１０９、１１０、１１１において決定された、各帯域のブロックサイズ情報を記録する。次の１バイト目の位置には、記録する単位ブロックの個数の情報を記録する。例えば高域側になる程、ビット割当算出回路１１８によってビット割当が０とされて記録が不必要となる場合が多いため、このような状況に対応するように単位ブロックの個数を設定することにより、聴感上の影響が大きい中低域に多くのビットを配分するようになされている。それと共に、かかる１バイト目の位置にはビット割当情報の２重書きを行なっている単位ブロックの個数、及びスケールファクタ情報の２重書きを行なっている単位ブロックの個数が記録される。
【００３６】
２重書きとは、エラー訂正用に、あるバイト位置に記録されたデータと同一のデータを他の場所に記録する方法である。２重書きされるデータの量を多くする程、エラーに対する強度が向上するが、２重書きされるデータの量を少なくする程、スペクトラムデータに使用できるデータ容量が多くなる。この符号化フォーマットの一例では、ビット割当情報、スケールファクタ情報のそれぞれについて独立に２重書きを行なう単位ブロックの個数を設定することにより、エラーに対する強度と、スペクトラムデータを記録するために使用されるビット数とを適切なものとするようにしている。なお、それぞれの情報について、規定されたビット内でのコードと単位ブロックとの個数の対応は、あらかじめフォーマットとして定めている。
【００３７】
１バイト目の位置の８ビットにおける記録内容の一例を図４に示す。ここでは、最初の３ビットを実際に記録される単位ブロックの個数の情報とし、後続の２ビットをビット割当情報の２重書きを行なっている単位ブロックの個数の情報とし、最後の３ビットをスケールファクタ情報の２重書きを行なっている単位ブロックの個数の情報とする。
【００３８】
図３の２バイト目からの位置には、単位ブロックのビット割当情報が記録される。ビット割当情報の記録のために、単位ブロック１個当たり例えば４ビットが使用される。これにより、０番目の単位ブロックから順番に記録される単位ブロックの個数分のビット割当情報が記録されることになる。ビット割当情報のデータの後に、各単位ブロックのスケールファクタ情報が記録される。スケールファクタ情報の記録のために、単位ブロック１個当たり例えば６ビットが使用される。これにより、０番目の単位ブロックから順番に記録される単位ブロックの個数分のスケールファクタ情報が記録される。
【００３９】
スケールファクタ情報の後に、単位ブロック内のスペクトラムデータが記録される。スペクトラムデータは、０番目の単位ブロックより順番に、実際に記録させる単位ブロックの個数分記録される。各単位ブロック毎に何本のスペクトラムデータが存在するかは、あらかじめフォーマットで定められているので、上述したビット割当情報によりデータの対応をとることが可能となる。なお、ビット割当が０の単位ブロックについては記録を行なわない。
【００４０】
このスペクトラム情報の後に、上述したスケールファクタ情報の２重書き、およびビット割当情報の２重書きを行なう。この２重書きの記録方法は、個数の対応を図４に示した２重書きの情報に対応させるだけで、その他の点については上述のスケールファクタ情報、およびビット割当情報の記録と同様である。最後のバイトすなわち２１１バイト目、およびその１バイト前の位置すなわち２１０バイト目には、それぞれ、０バイト目と１バイト目の情報が２重書きされる。これら２バイト分の２重書きはフォーマットとして定められており、スケールファクタ情報の２重書きやビット割当情報の２重書きのような、２重書き記録の可変の設定はできない。
【００４１】
なお、入力端子１００を介して供給されるＰＣＭサンプルについては、１フレーム内に１０２４サンプルが含まれるが、前半の５１２サンプルは先行する隣接フレームでも使用される。また、後半の５１２サンプルは後続する隣接フレームでも使用される。このようなフレームの取り扱いは、ＭＤＣＴ処理でのオーバーラップに鑑みたものである。
【００４２】
図１に戻り、正規化情報変更回路１１９は、低域、中域、高域に対応してスケールファクタ情報の変更に係る値を生成し、低域、中域、高域に対応する値をそれぞれ、演算器１２０、１２１、１２２に供給する。演算器１２０は、適応ビット割当符号化回路１０６から供給される符号化データ中のスケールファクタ情報に、正規化情報変更回路１１９から供給される値を加算する。但し、正規化情報変更回路１１９から出力される値が負の場合は、演算器１２０は減算器として作用するものとする。また、演算器１２１は、適応ビット割当符号化回路１０７から供給される符号化データ中のスケールファクタ情報に、正規化情報変更回路１１９から供給される値を加算する。但し、正規化情報変更回路１１９から出力される値が負の場合は、演算器１２１は減算器として作用するものとする。
【００４３】
また、演算器１２２は、適応ビット割当符号化回路１０８から供給される符号化データ中のスケールファクタ情報に、正規化情報変更回路１１９から供給される値を加算する。但し、正規化情報変更回路１１９から出力される値が負の場合は、演算器１２２は減算器として作用するものとする。ここで、正規化情報変更回路１１９は、例えば操作パネル等を介してユーザ等によってなされる操作に従って動作する。この場合、後述するユーザ等が所望する、レベル調整、フィルタ処理等の機能が実現される。演算器１２０、１２１、１２２の出力は、それぞれ出力端子１１２、１１４、１１６を介して例えば光磁気ディスク等の記録媒体に記録を行うためのここでは図示されていない一般的な記録系に供給される。
【００４４】
記録系では、記録媒体上に構成されたトラックのアドレスを適切に制御する等の方法で編集処理の結果として生成される１種類または複数種類の符号化データを、編集処理前のデータとは別個に記録する処理がなされる。かかる処理については後述する。これにより、編集処理の結果として生成される１種類または複数種類の符号化データ、および／または編集処理前のデータを記録してなる記録媒体を作成することができる。なお、記録媒体としては、光磁気ディスク以外にも、磁気ディスク等のディスク状記録媒体、磁気テープ、光テープ等のテープ状記録媒体、或いはＩＣメモリ、板状メモリ、メモリカード、光メモリ等を用いることができる。
【００４５】
各処理についてより詳細に説明する。まず、ビット割当て処理についてより詳細に説明する。ビット割り当て算出回路１１８の構成の一例を図５に示す。入力端子３０１を介して、ＭＤＣＴ回路１０３、１０４、１０５からの周波数軸上のスペクトルデータ又はＭＤＣＴ係数、およびブロック決定回路１０９、１１０、１１１からのブロックサイズ情報がエネルギー算出回路３０２に供給される。エネルギー算出回路３０２は、例えば当該単位ブロック内での各振幅値の総和を計算する等の方法で単位ブロック毎のエネルギーを計算する。
【００４６】
エネルギー算出回路３０２の出力の一例を図６に示す。図６では、各バンド毎の総和値のスペクトルＳＢを、先端に丸を付した縦方向の線分によって示す。ここで、横軸が周波数、縦軸が信号強度をそれぞれ示す。なお、図示が煩雑となるのを避けるため、図６中ではＢ１２のスペクトルのみに符号ＳＢを付し、また、単位ブロックによる分割数を１２ブロックとしてＢ１〜Ｂ１２とした。なお、エネルギー算出回路３０２の代わりに振幅値のピーク値、平均値等を計算する構成を設け、振幅値のピーク値、平均値等の計算値に基づいてビット割当て処理を行うようしても良い。
【００４７】
また、エネルギー算出回路３０２は、スケールファクタ値を決定する処理を行う。具体的には、例えばあらかじめスケールファクタ値の候補として幾つかの正の値を用意し、それらの内、単位ブロック内のスペクトルデータ又はＭＤＣＴ係数の絶対値の最大値以上の値をとるものの中で最小のものを当該単位ブロックのスケールファクタ値として採用する。スケールファクタ値の候補は、実際の値と対応した形で、例えば数ビットを用いて番号付けを行ない、その番号を図示しないＲＯＭ（Read Only Memory）等に記憶させておけば良い。この際に、スケールファクタ値の候補は、番号順に例えば２ｄＢの間隔での値を持つように規定しておく。ある単位ブロックについて上述したようにして採用されたスケールファクタ値に付されている番号が当該単位ブロックについてのスケールファクタ情報とされる。
【００４８】
エネルギー算出回路３０２の出力すなわちスペクトルＳＢの各値は、畳込みフイルタ回路３０３に送られる。畳込みフイルタ回路３０３は、スペクトルＳＢのマスキングにおける影響を考慮するために、スペクトルＳＢに所定の重み付け関数を掛けて加算するような畳込み（コンボリユーション）処理を施す。畳込み処理について図６を参照して詳細に説明する。上述したように、図６には、ブロック毎の（すなわち帯域毎の）スペクトルＳＢの一例が図示されている。そして、畳込みフイルタ回路３０３によってなされる畳込み処理により、点線で示す部分の総和が計算される。畳込みフイルタ回路３０３は、例えば、入力データを順次遅延させる複数の遅延素子と、これら遅延素子からの出力にフイルタ係数としての重み付け関数を乗算する複数の乗算器と、各乗算器出力の総和をとる総和加算器とから構成することができる。
【００４９】
図５に戻り、畳込みフイルタ回路３０３の出力は演算器３０４に供給される。
演算器３０４には、さらに、許容関数としてマスキングレベルを表現する関数が（ｎ−ａｉ）関数発生回路３０５から供給される。演算器３０４は、許容関数に従って、畳込みフイルタ回路３０３によって畳み込まれた領域における、許容可能なノイズレベルに対応するレベルαを計算する。ここで、許容可能なノイズレベルすなわち許容ノイズレベルに対応するレベルαとは、後述するように、逆コンボリユーション処理を行うことによって、クリテイカルバンドの各バンド毎の許容ノイズレベルとなるようなレベルである。レベルαの算出値は、許容関数を増減させることによって制御される。
【００５０】
すなわち、許容ノイズレベルに対応するレベルαは、クリテイカルバンドのバンドの低域から順に与えられる番号をｉとすると、次の式（１）で求めることができる。
【００５１】
α＝Ｓ−（ｎ−ａｉ） （１）
【００５２】
式（１）において、ｎ，ａは定数でａ＞０、Ｓは畳込み処理されたスペクトルの強度であり、式（１）中（ｎ−ａｉ）が許容関数となる。一例としてｎ＝３８，ａ＝１とすることができる。
【００５３】
演算器３０４によって計算されるレベルαが割算器３０６に伝送される。割算器３０６は、レベルαを逆コンボリユーションする処理を行い、その結果としてレベルαからマスキングスペクトルを生成する。このマスキングスペクトルが許容ノイズスペクトルとなる。なお、逆コンボリユーション処理を行う場合、一般的には複雑な演算が行われる必要があるが、この発明の一実施形態では、簡略化した割算器３０６を用いて逆コンボリユーションを行っている。マスキングスペクトルは、合成回路３０７に供給される。合成回路３０７には、さらに、後述するような最小可聴カーブＲＣを示すデータが最小可聴カーブ発生回路３１２から供給される。
【００５４】
合成回路３０７は、割算器３０６の出力であるマスキングスペクトルと最小可聴カーブＲＣのデータとを合成することにより、マスキングスペクトルを生成する。生成されるマスキングスペクトルが減算器３０８に供給される。減算器３０８には、さらに、エネルギー検出回路３０２の出力、すなわち帯域毎のスペクトルＳＢが遅延回路３０９によってタイミングを調整された上で供給される。減算器３０８は、マスキングスペクトルとスペクトルＳＢとに基づく減算処理を行う。
【００５５】
かかる処理の結果として、ブロック毎のスペクトルＳＢの、マスキングスペクトルのレベル以下の部分がマスキングされる。マスキングの一例を図７に示す。スペクトルＳＢにおける、マスキングスペクトル（ＭＳ）のレベル以下の部分がマスキングされていることがわかる。なお、図示が煩雑となるのを避けるため、図７中ではＢ１２においてのみ、スペクトルに符号“ＳＢ”を付すと共にマスキングスペクトルのレベルに符号“ＭＳ”を付した。
【００５６】
雑音絶対レベルが最小可聴カーブＲＣ以下ならばその雑音は人間には聞こえない。最小可聴カーブは、コーデイングが同じであっても例えば再生時の再生ボリユームの違いによって異なる。但し、実際のデジタルシステムでは、例えば１６ビットダイナミックレンジへの音楽データの入り方にはさほど違いがないので、例えば４ｋＨｚ付近の最も耳に聞こえやすい周波数帯域の量子化雑音が聞こえないとすれば、他の周波数帯域ではこの最小可聴カーブのレベル以下の量子化雑音は聞こえないと考えられる。
【００５７】
従って、例えばシステムの持つワードレングスの４ｋＨｚ付近の雑音が聞こえないような使い方をする場合、最小可聴カーブＲＣとマスキングスペクトルＭＳとを合成することによって許容ノイズレベルを得るようにすれば、この場合の許容ノイズレベルは図８中の斜線で示す部分となる。なお、ここでは、最小可聴カーブの４ｋＨｚのレベルを例えば２０ビット相当の最低レベルに合わせている。図８では、各ブロック内の水平方向の実線としてＳＢ、各ブロック内の水平方向の点線としてＭＳをそれぞれ示した。但し、図示が煩雑となるのを避けるため、図８ではＢ１２のスペクトルのみについて符号“ＳＢ”、“ＭＳ”を付した。また、図８では、信号スペクトルＳＳを一点鎖線で示した。
【００５８】
図５に戻り、減算器３０８の出力は許容雑音補正回路３１０に供給される。許容雑音補正回路３１０は、例えば等ラウドネスカーブのデータ等に基づいて、減算器３０８の出力における許容雑音レベルを補正する。すなわち、許容雑音補正回路３１０は、上述したマスキング、聴覚特性等の様々なパラメータに基いて、各単位ブロックに対する割り当てビットを算出する。許容雑音補正回路３１０の出力は、出力端子３１１を介して、ビット割り当て算出回路１１８の最終的な出力データとして出力される。ここで、等ラウドネスカーブとは、人間の聴覚特性に関する特性曲線であり、例えば１ｋＨｚの純音と同じ大きさに聞こえる各周波数での音の音圧を求めて曲線で結んだもので、ラウドネスの等感度曲線とも呼ばれる。
【００５９】
また、この等ラウドネスカーブは、図８に示した最小可聴カーブＲＣと同じ曲線を描く。この等ラウドネスカーブにおいては、例えば４ｋＨｚ付近では１ｋＨｚのところより音圧が８〜１０ｄＢ下がっても１ｋＨｚと同じ大きさに聞こえ、逆に、５０Ｈｚ付近では１ｋＨｚでの音圧よりも約１５ｄＢ高くないと同じ大きさに聞こえない。このため、最小可聴カーブＲＣのレベルを越える雑音（許容ノイズレベル）が等ラウドネスカーブに沿った周波数特性を持つようにすれば、その雑音が人間に聞こえないようにすることができる。等ラウドネスカーブを考慮して許容ノイズレベルを補正することは、人間の聴覚特性に適合していることがわかる。
【００６０】
ここで、スケールファクタ情報についてより詳細に説明する。スケールファクタ値の候補として、例えばビット割当て算出回路１１８内のメモリ等に予め複数個、例えば６３個の正の値が用意されている。それらの値の内、ある単位ブロック内のスペクトルデータ又はＭＤＣＴ係数の絶対値の最大値以上の値をとるものの内で最小のものが当該単位ブロックのスケールファクタ値として採用される。採用されたスケールファクタ値に対応する番号が当該単位ブロックのスケールファクタ情報とされ、符号化データ中に記録される。ここで、スケールファクタ値の候補として予め用意されている複数個の正の値に対しては、例えば６ビットを用いて番号付けが予め行われており、複数個の正の値は、番号順に例えば２ｄＢの間隔で並ぶものとする。
【００６１】
加算、減算等の演算によってスケールファクタ情報を操作することにより、再生されるオーディオデータについて例えば２ｄＢ毎のレベル調整を行うことができる。例えば、正規化情報変更回路１１９から全て同じ数値を出力し、その数値を全単位ブロックのスケールファクタ情報に加算または減算する処理により、全単位ブロックに対して２ｄＢづつのレベル調整を行うことが可能とされる。ただし、加減算の結果として生成されるスケールファクタ情報は、フォーマットで定められた範囲に収まるように制限される。
【００６２】
また、例えば、正規化情報変更回路１１９から単位ブロック毎に独立な数値を出力し、それらの数値を各単位ブロックのスケールファクタ情報に加算または減算する処理により、単位ブロック毎のレベル調整を行うことができ、その結果としてフィルタ機能を実現することができる。より具体的には、正規化情報変更回路１１９が単位ブロックの番号と、当該単位ブロックのスケールファクタ情報とに加算または減算すべき値との組を出力させる等の方法で、単位ブロックと、当該単位ブロックのスケールファクタ情報に加算または減算すべき値とが対応付けられるようにする。
【００６３】
上述したようなスケールファクタ情報の変更を行うことにより、図１０、図１１、図１２を参照して後述するような機能が実現される。なお、帯域分割方法および符号化方式として、ＱＭＦおよびＭＤＣＴ以外の処理を行うディジタル信号記録装置も知られている。例えばフィルタバンク等を利用するサブバンドコーディングを用いる方式等、正規化情報とビット割り当て情報による量子化を行う符号化方式であれば、正規化情報を変更することによる編集処理が可能である。
【００６４】
次に、この発明を適用することができるディジタル信号再生および／または記録装置の一例について、図９を参照して説明する。例えば光磁気ディスク等の記録媒体から再生された符号化データが入力端子７０７に供給される。また、符号化処理において使用されたブロックサイズ情報、すなわち図１中の出力端子１１３、１１５、１１７の出力信号と等価のデータが入力端子７０８に供給される。また、正規化情報変更回路７０９は、例えば操作パネル等を介して行われるユーザ等による指令に従って、編集処理に係るパラメータ、すなわち各単位ブロックのスケールファクタ情報に加算または減算すべき値を生成する。
【００６５】
符号化データは、入力端子７０７から演算器７１０に供給される。演算器７１０は、さらに、正規化情報変更回路７０９から数値データを供給される。演算器７１０は、供給される符号化データ中のスケールファクタ情報に対して、正規化情報変更回路１１９から供給される数値データを加算する。但し、正規化情報変更回路１１９から出力される数値が負の数の場合は、演算器７１０は減算器として作用するものとする。演算器７１０の出力は、適応ビット割当復号化回路７０６、および出力端子７１１に供給される。
【００６６】
適応ビット割当復号化回路７０６は、適応ビット割当情報を参照してビット割当てを解除する処理を行う。適応ビット割当て復号化回路７０６の出力は、逆直交変換回路７０３、７０４、７０５に供給される。逆直交変換回路７０３、７０４、７０５は、周波数軸上の信号を時間軸上の信号に変換する処理を行う。逆直交変換回路７０３の出力は、帯域合成フィルタ７０１に供給される。また、逆直交変換回路７０４、７０５の出力は、帯域合成フィルタ７０２に供給される。逆直交変換回路７０３，７０４，７０５としては、逆モディファイドＤＣＴ変換回路（ＩＭＤＣＴ）等を用いることができる。
【００６７】
合成フィルタ７０２は、供給される信号を合成し、合成結果を帯域合成フィルタ７０１に供給する。帯域合成フィルタ７０１は、供給される信号を合成し、合成結果を出力端子７００に供給する。このようにして、逆直交変換回路７０３、７０４、７０５の出力である各部分帯域の時間軸上信号が全帯域信号に復号化される。帯域合成フィルタ７０１、７０２としては、例えばＩＱＭＦ(Inverse Quadrature Mirror filter)等を使用することができる。復号化された全帯域信号は、出力端子７００を介して、図示しないＤ／Ａ変換器、スピーカ等を含む、再生音声を出力するための一般的な構成に供給される。
【００６８】
演算器７１０による加算または減算によってスケールファクタ情報を操作することにより、再生データについて例えば２ｄＢ毎のレベル調整を行うことができる。例えば、正規化情報変更回路７０９から全て同じ数値を出力し、その数値を全単位ブロックのスケールファクタ情報に一律に加算または減算する処理により、全単位ブロックに対して２ｄＢを単位とするレベル調整を行うことが可能とされる。かかる処理においては、加減算の結果として生成されるスケールファクタ情報がフォーマットで定められたスケールファクタ値の範囲内に収まるような制限がなされる。
【００６９】
また、例えば、正規化情報変更回路７０９から単位ブロック毎に独立な数値を出力し、それらの数値を各単位ブロックのスケールファクタ情報に加算または減算する処理によって単位ブロック毎のレベル調整を行うことができ、その結果としてフィルタ機能を実現することができる。より具体的には、正規化情報変更回路７０９が単位ブロックの番号と、当該単位ブロックのスケールファクタ情報に加算または減算すべき値との組を出力させる等の方法で、単位ブロックと当該単位ブロックのスケールファクタ情報に加算または減算すべき値とが対応付けられるようにする。
【００７０】
スケールファクタ情報を変更することによる編集処理について詳細に説明する。適応ビット割当符号化回路７０６から出力される符号化データに反映される正規化処理としてブロックフローティング処理の一例を図１０に示す。図１０では、０〜９までの番号が付された１０個の正規化レベルが予め用意されているものとした。各単位ブロック中で最大のスペクトルデータ又はＭＤＣＴ係数を上回るものの内で最小の正規化レベルに対応する番号を、当該単位ブロックのスケールファクタ情報とする。従って、図１０では、ブロック番号０に対応するスケールファクタ情報は５となり、ブロック番号１に対応するスケールファクタ情報は７となる。他のブロックについても同様にスケールファクタ情報が対応させられる。図３を参照して上述したように、スケールファクタ情報は符号化データに書き込まれる。一般には、これらの正規化情報に基づいて復号化がなされる。
【００７１】
図１０に示したようなスケールファクタ情報の操作の一例を図１１に示す。正規化情報調整回路１１９が全単位ブロックについて−１なる値を出力し、この値−１が演算器１２０，１２１，１２２によって図１０に示したようなスケールファクタ情報に加算されると，図１１に示すような、スケールファクタ情報が元の値より１小さい値とされる。このような処理により、各単位ブロック内のスペクトルデータまたはＭＤＣＴ係数例えば２ｄＢ低い値として復号されることになり、信号レベルを例えば２ｄＢ低化させるレベル調整がなされる。
【００７２】
また、符号化データ中のスケールファクタ情報を正規化情報変更回路７０９によって操作する処理の他の一例を図１２に示す。正規化情報変更回路１１９が図１０中のブロック番号３のブロックに対しては−６なる値、ブロック番号４のブロックに対しては−４なる値、をそれぞれ出力して、それらの値をブロック番号３、ブロック番号４のブロックのスケールファクタ情報にそれぞれ加算することにより、ブロック番号３および４のブロックのスケールファクタ値が０とされる。このような処理により、フィルタリング処理が行われる。図１２に示した例は、負の数の加算（減算）によってスケールファクタ値を例えば０とするものであるが、例えば所望のブロックのスケールファクタ値を強制的に０とするようにしても良い。
【００７３】
なお、図１０〜図１２を参照した上述の説明においては、単位ブロックの個数を０〜４の５個、正規化候補番号の個数を０〜９の１０個としているが、現実の記録媒体、例えば光磁気ディスクの１種であるＭＤ（ミニディスク）に用いられているフォーマットでは、単位ブロックの個数が０〜５１の５２個、正規化候補番号の個数が０〜６３の６４個とされている。このような範囲内で、単位ブロック、スケールファクタ情報の変更等に係るパラメータを細かに指定することにより、より精緻なレベル調整、フィルタ処理等を行うことが可能となる。
【００７４】
図９を参照して上述した構成に、例えば光磁気ディスク、磁気ディスク等のディスク状記録媒体、磁気テープ、光テープ等のテープ状記録媒体、或いはＩＣメモリ、メモリスティック、メモリカード等の記録媒体に記録を行うための記録系を付加することにより、編集結果に沿って記録媒体を書き換えることが可能とされる。また、図９中の出力端子７１１を介して編集結果を出力し、出力した編集結果を記録媒体に書き加えるようにすれば、簡単な構成によって記録媒体上のスケールファクタ情報等の変更に対応する書き換えを行うことができる。これらの構成により、再生結果を参照しながら、すなわち、試聴しながらユーザ等が編集処理を行い、編集結果に沿って記録媒体を書き換えることができる。このような操作により、正規化情報の変更等に係る編集処理結果を保持できると共に、編集処理結果が記録されてなる記録媒体を作成することができる。
【００７５】
図１０〜図１２等を参照して上述したようなスケールファクタ情報の変更による編集処理の結果として、再生レベル調整機能、フェードインとフェードアウト機能、フィルタ機能、ワウ機能等の種々の機能を実現することが可能である。但し、正規化情報としての番号の１の増減に対応する、例えば２ｄＢ等のレベル変化が最小の処理単位とされ、それより小さい範囲でのレベル調整を含む編集はできない。また、時間方向でも、符号化方式に係る符号化データフォーマットによって規定される、１フレーム等の最小の時間単位よりも小さい範囲でのレベル調整等の編集操作を行うことはできない。
【００７６】
そこで、この発明では、符号化データを一旦復号化してＰＣＭサンプルを生成し、生成したＰＣＭサンプルに編集処理を施した後に再度符号化することによって符号化データを得るようにしている。但し、符号化データ内の各フレームは、隣接するフレームとオーバーラップするデータ部分を含むので、オーバーラップ部分を考慮した処理が必要となる。この点について以下に説明する。上述したように、１フレームは、例えば１０２４個のＰＣＭサンプルからなるが、図１中のＭＤＣＴ１０３，１０４，１０５による処理においては、通常、順次処理されていく各フレーム内でサンプルがオーバーラップ部分を有するようになされている。このような処理の一例を図１３に示す。ｎ番目からｎ＋１０２３番目までの１０２４個のＰＣＭサンプルをＮ番目のフレームで処理する場合に、Ｎ＋１番目のフレームでは、ｎ＋５１２番目からｎ＋１５３５番目までの１０２４個のＰＣＭサンプルを処理し、Ｎ＋２番目のフレームでは、ｎ＋１０２４番目からｎ＋２０４７番目までの１０２４個のＰＣＭサンプルを処理するようになされる。
【００７７】
但し、最初のフレームでは、サンプル列開始時点以前に５１２個の０データのＰＣＭサンプルを想定して、それら５１２個の０データのＰＣＭサンプルを、最初のフレーム以前の仮想的なフレームとオーバーラップして処理するものとする。また、最後のフレームでは、サンプル列終了時点以後に５１２個の０データのＰＣＭサンプルを想定して、それら５１２個の０データのＰＣＭサンプルを、最後のフレーム以後の仮想的なフレームとオーバーラップして処理するものとする。このような処理においては、１フレーム当たりの実質的な処理サンプル数は５１２である。
【００７８】
上述したように、スケールファクタ情報を変更することによって１フレームを単位とする編集処理が可能である。但し、上述したようなフレーム毎のＭＤＣＴ処理に関連して、所望の編集を行うためには、オーバーラップ分を考慮する必要があることがわかる。この点について、図１３に則してより具体的に説明する。ここで、ＰＣＭサンプルを時間方向に並んだ点の集合体として示す。Ｎ番目のフレームとＮ＋１番目のフレームとについてスケールファクタ情報を変更する編集処理を行う場合に、ｎ＋５１２番目〜ｎ＋１０２３番目までのＰＣＭサンプルについては編集処理に対応するレベル調整等の機能が実現されるが、ｎ番目〜ｎ＋５１１番目まで、およびｎ＋１０２４番目〜ｎ＋１５３５番目までのＰＣＭサンプルについては、編集処理が施されていない隣接フレームとのオーバーラップに起因して、編集処理に対応する機能が実現されない。
【００７９】
また、スケーファクタ情報の１の増減に対応する例えば２ｄＢ等のレベル変化幅より小さい範囲でのレベル調整ができない、或いはフィルタ機能等が１フレーム内の単位ブロック数や単位ブロックに対応する周波数分割幅に制約される等、符号化方式、符号化データフォーマットによっても、編集処理は制限される。
【００８０】
この発明に係る、符号化データを一旦復号し、復号したＰＣＭサンプルに対して編集処理を施し、その後、編集処理を施したＰＣＭサンプルを再度符号化するようにした構成の一例を図１４に示す。端子８０１を介して、符号化データが復号化回路８０２に供給される。復号化回路８０２は、供給される符号化データを部分的に復号化して、ＰＣＭサンプルを生成する。ここで、復号化回路８０２によって復号化される符号化データ中のデータ部分は、例えば操作パネル等を介してなされるユーザ等による指令に従うものとされる。すなわち、復号化回路８０２によって復号化される符号化データ中のデータ部分は、ユーザ等が所望する部分とすることが可能である。復号化回路８０２によって生成されるＰＣＭサンプルはメモリ８０３に供給され、一旦記憶される。
【００８１】
データ変更回路８０４は、メモリ８０３に記憶されているＰＣＭサンプルに、種々の編集処理に対応する変更処理を施す。この際に施すことが可能な変更処理としては、リバーブ、エコー、フィルタ、コンプレッサ、イコライジング等、様々な処理が知られている。データ変更回路８０４の出力である、変更処理されたＰＣＭサンプルは遅延補正回路８０５に供給され、遅延補正処理されて、メモリ８０６に一旦記憶される。符号化回路８０７は、メモリ８０６に記憶されているＰＣＭサンプルに符号化処理を施す。符号化回路８０７によって生成される符号化データが出力端子８０８を介して、出力される。出力端子８０８を介して、記録媒体に記憶を行う構成に供給される場合には、編集結果として生成される符号化データを記録してなる記録媒体を作成することができる。
【００８２】
ここで、遅延補正回路８０５による処理について詳細に説明する。かかる遅延補正処理は、復号化回路８０２および符号化回路８０７の動作時間等に起因して生じる、符号化回路８０７の出力の、端子８０１から入力する符号化データに対するずれを補償する位相調整処理である。これにより、符号化回路８０７の出力中のフレームと、端子８０１から入力する符号化データ中のフレームとが同一の時間関係となることが担保される。ここで、遅延量は、帯域分割フィルタ或いは帯域合成フィルタの構成たとえば次数、これらのフィルタへの入力タイミング、０データのＰＣＭサンプル数、ＭＤＣＴ処理のウインドウ処理を考慮したバッファリング等の種々の設定によって決定される。
【００８３】
例えば、図１中の帯域分割フィルタ１０１、１０２、或いは図９中の帯域合成フィルタ７０２、７０１の次数が何れも４８次であり、符号化時の最初のフレームに仮想的な前フレームのオーバーラップを想定した５１２個のＰＣＭサンプルの０データを設定する場合には、符号化と復号化に起因して生じる遅延量は、ＰＣＭサンプル６５３個分となる。遅延補正回路８０５は、復号化回路８０２の出力から、符号化回路８０７の出力の間であれば、何れの位置に設けても良い。遅延補正回路８０５は、遅延量を補正するためのバッファメモリ等を有する構成としても良いが、メモリ８０３、８０６に対して、遅延量を考慮したタイミングでのアクセスがなされるように制御するタイミング制御回路等であっても良い。
【００８４】
図１４中の復号化回路８０２は、図９を参照して上述した構成を有する。また、図１４中の符号化回路８０７は、図１を参照して上述した構成を有する。図１４を参照して上述したような構成によって、符号化データを一旦復号し、復号したＰＣＭサンプルに対して編集処理を施し、その後、編集処理を施したＰＣＭサンプルを再度符号化することによって生成される符号化データを記録してなる記録媒体を作成することができる。この際の記録媒体としては、光磁気ディスク以外にも、磁気ディスク等のディスク状記録媒体、磁気テープ、光テープ等のテープ状記録媒体、或いはＩＣメモリ、メモリスティック、メモリカード等を用いることができる。
【００８５】
次に、入力端子８０１を介して供給される符号化データと、出力端子８０８を介して出力される符号化データとの時間関係について図１６を参照して説明する。図１６で、Ｎ−１番目、Ｎ番目，Ｎ＋１番目，Ｎ＋２番目，Ｎ＋３番目の各フレームは、入力端子８０１を介して入力する符号化データ内のフレームを示す。これらのフレームから復号されるＰＣＭサンプルを時間方向に並んだ点の集合体として示す。復号されたＰＣＭサンプルの時間関係は図１２のような信号の振幅値の編集処理の場合は編集処理を行っても変化しない。但し、符号化回路８０７によって形成される符号化データ内のフレームの時間関係を編集前と統一させるためには、上記説明した６５３ポイント分の遅延補正を行う必要がある。
【００８６】
遅延補正されたＰＣＭサンプルが符号化されてなる最初のフレームをＭ−１番目のフレームとした場合、Ｍ−１番目のフレームの後半５１２個のＰＣＭサンプルサンプルは、復号化によって得られたＰＣＭサンプルを６５３サンプル分遅延させた位置から５１２個のＰＣＭサンプルとされる。この際に、Ｍ−１番目のフレームは符号化されてなる最初のフレームであるため、Ｍ−１番目のフレームの前半の５１２個のＰＣＭサンプルは、上述したように０データとされる。その後、Ｍ番目，Ｍ＋１番目，Ｍ＋２番目，Ｍ＋３番目の各フレームがＰＣＭの順を追って符号化され、出力端子８０８を介して出力される。ここで、Ｍ−１番目のフレームにＮ−１番目のフレームが対応し、Ｍ番目のフレームにＮ番目のフレームが対応し、Ｍ＋１番目のフレームにＮ＋１番目のフレームが対応し、Ｍ＋２番目のフレームにＮ＋２番目のフレームが対応し、Ｍ＋３番目のフレームにＮ＋３番目のフレームが対応する。
【００８７】
このような関係の下では、例えばＭ番目のフレームに相当するＰＣＭを生成するためには、Ｎ−１〜Ｎ＋２番目のフレームが復号化される必要がある。すなわち、所望のフレームを編集して再び符号化するために、最低限、前の１フレーム分と後ろの２フレーム分とが必要となる。
【００８８】
但し、出力端子８０８を介して出力される、Ｍ−１，Ｍ，Ｍ＋１，・・・においても、オーバーラップの関係がある点を考慮する必要がある。すなわち、図１６で編集部分ｅを編集したい場合、Ｎ番目のフレームを編集してＭ番目のフレームに置き換えるだけでは、Ｍ＋１番目のフレームとのオーバーラップ分のために、再生時に所望の編集結果を得ることができない。この場合には、所望の編集結果を得るために、Ｎ＋１番目のフレームを編集してＭ＋１番目のフレームに置き換える必要がある。この際には、上述したように、Ｎ〜Ｎ＋３番目のフレームが復号化される必要がある。
【００８９】
すなわち、編集部分ｅを編集して所望の編集結果を得るためには、Ｎ−１〜Ｎ＋３番目のフレームを抽出して復号化を行うことによってＰＣＭサンプルを生成し、生成したＰＣＭサンプルに編集処理を施すことによってＭ番目およびＭ＋１番目のフレームを得て、これらのフレームをＮ番目およびＮ＋１番目のフレームの代わりに用いるようにすれば良い。より長い時間間隔相当の編集も、同様にして、所望の編集結果を得るために生成されるべきデータと、ＰＣＭサンプルを生成するために復号化すべきフレームとの時間関係を正確に把握することにより、的確に行うことが可能である。また、この発明の一実施形態では、直交変換におけるウインドウ形状による影響を考慮していないが、これを考慮することにより、編集処理を精緻化することが可能である。
【００９０】
これをさらに図１５Ａ，図１５Ｂ，図１５Ｃと合わせてより具体的に説明する。図１５Ａは記録媒体上に記録された信号を表したものである。Ｆ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５，Ｆ６は記録媒体上に作成されたデータ記録単位としてのフレームを示している。各フレームには信号波形として示した信号がディジタルコード化されて記録されている。
【００９１】
いま、図１５Ａに示された信号のうちフレーム３としてのＦ３とフレーム４としてのＦ４に対してエフェクト処理を施す場合について説明する。
【００９２】
図１５に示される信号のうちエフェクト処理を施されるフレームＦ３とＦ４が図１４の端子８０１に入力され復号化回路８０２において復号化されてメモリ８０３に記憶される。メモリ８０３に記憶されたフレームＦ３とＦ４のディジタルコード化された信号はデータ変更回路８０４によってエフェクト処理される。この復号化処理とエフェクト処理によって図１５Ｂに示したような遅延Ｄ２が発生する。これは先に説明したように、最初のフレームとなるフレームＦ３では、サンプル列開始時点以前に５１２個の０データのＰＣＭサンプルを想定して、それら５１２個の０データのＰＣＭサンプルを、最初のフレーム以前の仮想的なフレームとオーバーラップして処理するものとすることによる遅延とエフェクト処理による遅延によって発生するものであり、たとえばフレームＦ３に処理が施された結果をフレームＤＦ３、フレームＦ４に処理が施された結果をフレームＤＦ４とすれば遅延Ｄ２を持った波形の一部を表すことができる。つまり、図１５Ａの信号波形の開始時点以前に信号０がフィルされた信号波形の一部としてフレームＤＦ３とＤＦ４が生成されたことになる。
【００９３】
この遅延Ｄ１を持った信号をさらに符号化回路８０７によって符号化した場合、復号化のときと同様に遅延Ｄ２が発生し、図１５Ａの信号波形に対して遅延Ｄ１と遅延Ｄ２が加算された遅延を持った信号の一部としてフレームＤＤＦ３とＤＤＦ４が生成されることになる。つまり記録媒体上のフレーム１の先頭からディレイＤ１＋ディレイＤ２の期間信号０がフィルされた信号波形の一部としてフレームＤＤＦ３とＤＤＦ４が生成されたことになる。
【００９４】
ここで、遅延補正回路８０５による遅延補正を行わずにエフェクト処理されたフレームＤＤＦ３とＤＤＦ４が持つ時間情報に基づいて対応する記録媒体上の時間情報を持つ位置に書き戻すことを行ったとすると、フレームＤＤＦ３に関しては記録媒体上のフレームＦ５の一部と記録媒体上のフレームＦ６の一部に上書きされることになり、また生成されてフレームＤＤＦ４に関してはフレームＦ６の一部と記録媒体上のフレームＦ７の一部に上書きされることになる。
【００９５】
このようにして生成された記録媒体上には、フレームＦ１、フレームＦ２、フレームＦ３、フレームＦ４、フレームＦ５の一部、エフェクト処理されたフレームＤＤＦ３、エフェクト処理されたフレームＤＤＦ４、フレームＦ７の一部が記録されたことになり、信号の継続性が失われたことになる。
【００９６】
そこで、あらかじめ分かっている各遅延量Ｄ１、Ｄ２の総計時間分だけ、生成されたフレームＤＤＦ３およびＤＤＦ４の持つ時間情報をオフセットさせることで、フレームＤＤＦ３を記録媒体上のフレームＦ３の位置に、またフレームＤＤＦ４を記録媒体上のフレームＦ４の位置に書き戻すことができ、これによって信号の継続性が保たれ、かつエフェクト処理が施されたフレームを含む記録媒体が作成できたことになる。
【００９７】
さらに図１７Ａ，図１７Ｂ，図１７Ｃを用いて入力されるＰＣＭデータの符号化して記録媒体上に記録された上記ＰＣＭデータの一部を復号化して編集を加えてから再度符号化して記録媒体に書き戻す場合について説明する。
【００９８】
図１７Ａには入力されるＰＣＭデータをウィンドウによってフィルタリングしながらフレーム単位に符号化している様子を示している。なおウィンドウサイズはフレームと同じサイズとし、この例の場合１０２４サンプルとされる。
【００９９】
入力されるＰＣＭデータは、例えばフレームＮの場合ウィンドウＷ２、ウィンドウＷ３、ウィンドウＷ４の３個のウインドウでフィルタリングされて合成されて使用される。
【０１００】
図１７ＡにおけるＰＣＭデータのうちのＡで示した部分を符号化する場合、Ｎ−２フレームとＮ−１フレームから生成されることになる。また、ウィンドウをしてはウィンドウＷ１とウィンドウＷ２でフィルタリングされたＰＣＭデータが使用されることになる。
【０１０１】
ところで、Ａで示した部分はＰＣＭデータのうちの最初の部分であるため隣接フレームがフレームＮの片側しか存在しない。そこでウィンドウＷ１の前半の一部を構成するフレームにはヌルデータを付加して符号化を行う必要がある。そのためＮ−１の隣接するフレームのうちの１つをヌルフレームとしている。
【０１０２】
そして図１７Ａに示したＰＣＭデータを符号化した場合、記録媒体に記録されるフレームとしてはフレームＮ−１、フレームＮ、フレームＮ＋１、フレームＮ＋２、・・・、フレームＮ＋５である。記録されるフレームにはヌルフレームは含まれず、記録時には記録が省略される。これによって、記録媒体上には入力されたＰＣＭデータを構成する必要最小限のフレームのみが記録されることになる。つまり符号化の都合上で必要となったフレームは記録されないようにされている。
【０１０３】
図１７Ａのように符号化されて記録媒体に記録されたＰＣＭデータの一部に対して編集を加える場合について図１７Ｂを使って説明する。
【０１０４】
図１７Ａのように符号化されて記録媒体に記録されたＰＣＭデータのうち図１７Ｂで示すようにＥＤＩＴと記された部分を編集するわけであるが、この場合に復号化が必要となるフレームとしては、フレームＮ、フレームＮ＋１、フレームＮ＋２、フレームＮ＋３である。図１７Ｂの例では説明を分かりやすくするためにフレームＮ−１についも復号化している。
【０１０５】
さて上記の５個のフレームに関連する部分を復号する場合、最初と最後のフレームであるフレームＮ−１とフレームＮ＋３には隣接フレームが１個しかないため復号することができない。そのため復号の便宜上フレームＮ−１およびフレームＮ＋３に対してはヌルフレーム隣接フレームの一つとして与えて復号化を行うことになる。
【０１０６】
この復号化によって再生されたＰＣＭデータに対して編集を行うわけであるが、先に説明したように復号時に与えたヌルフレームとフィルタの次数による位相遅れが発生した結果フレームＮ−１の開始位置はこの例の場合６５３フレーム時間的にシフトした位置にずれている。
【０１０７】
このように復号化されたＰＣＭデータのＥＤＩＴ部分に編集を加えると破線で示したような記録媒体上に記録されたデータを便宜的に位置合わせして重ねた波形から編集された部分の波形が異なったことが分かる。
【０１０８】
ここで、フレームＮ＋３の後半のヌルフレームと関連する部分の復号化された波形が、記録媒体上のデータと異なる波形になるのは、フレームＮ＋３の後半部分を復号化する際に本来はフレームＮ＋４と関連して復号化されずにヌルフレームを使って復号されたからである。
【０１０９】
これに対してフレームＮ−１は、入力されたＰＣＭ信号を符号化する際にヌルフレームを関連させて符号化したため、復号化する場合にヌルフレームとともに復号化されたＰＣＭ信号は入力されたＰＣＭ信号と同一波形となっている。
【０１１０】
さて、ここで編集が加えられたＰＣＭ信号を再度記録媒体上の対応するフレーム位置に書き戻す必要がある。このときに図１７Ａと同一のウィンドウでフィルタした信号を使って符号化した場合、ウィンドウＷ１、ウィンドウＷ２、ウィンドウＷ３、・・・を使用すると、復号化時に発生した遅延分だけずれた位置の信号に対するウィンドウになる。
【０１１１】
そこで、図１７Ｂに示すウィンドウＷ１１、ウインドウＷ１２、ウィンドウＷ１３、・・・、ウィンドウＷ１６の新たなウィンドウを用意してフィルタリングすることによって図１７Ａと同一の時間関係を持つ信号を抽出することが可能となる。
【０１１２】
図１７ＢにおけるウィンドウＷ１１は、図１７ＡにおけるＷ１に相当し、図１７ＢにおけるウィンドウＷ１２は、図１７ＡにおけるＷ２に相当し、図１７ＢにおけるウィンドウＷ１３は、図１７ＡにおけるＷ３に相当すると言える。
【０１１３】
このようにウィンドウによるフィルタリングの位置を図１７Ｃに示すように遅延補正量だけずらす処理を施すことで、符号化したフレームＮ、フレームＮ＋１、フレームＮ＋２を記録媒体上のそれぞれフレームＮ、フレームＮ＋１、フレームＮ＋２に相当するフレーム位置に書き戻すことが可能となる。
【０１１４】
上述したこの発明の一実施形態、この発明の他の実施形態は、ＭＤＣＴと、人間の聴覚特性を考慮した帯域分割と、各帯域毎のビット配分とを組合わせ、さらに各帯域毎の正規化および量子化を行うことによる高能率符号化方式における符号化データを前提として、この発明を適用したものである。これに対して、例えばＭＰＥＧオーディオ規定に従う符号化データフォーマット等の他の符号化方式を前提としてこの発明を適用することも可能である。ＭＰＥＧオーディオ規定に従う符号化データフォーマットを図１８に示す。
【０１１５】
ヘッダは固定長の３２ビットとされ、ヘッダ内には、同期用のワード、ＩＤ，レイヤ層、プロテクンビット、ビットレートインデックス、サンプリング周波数、バディングビット、プライベートビット、モード、コピーライトの有無、オリジナルあるいはコピーの別、エンファシス等の情報が記録される。ヘッダに続いてオプションであるエラーチェック用のデータが記録される。エラーチェック用のデータに続いてオーディオデータが記録される。このオーディオデータがサンプルデータと共に、リングアロケーション情報、スケールファクタ情報を含んでいるので、かかるデータフォーマットに対してこの発明を適用することが可能である。
【０１１６】
なお、正規化情報としては、符号化の方式等によってスケールファクタ情報以外のものが用いられることがある。そのような場合にも、この発明を適用することは可能である。
【０１１７】
また、この発明は、上述したこの発明の一実施形態、この発明の他の実施形態等に限定されるものではなく、種々の変形、変更が可能である。
【０１１８】
【発明の効果】
この発明によれば、ディジタルオーディオデータ等に係るディジタル信号に基づいて一旦形成された符号化データを部分的に復号化することによって生成されるＰＣＭサンプルを変更し、その後再度符号化することにより、符号化方式、符号化データフォーマット等による、レベル調整幅、フィルタ機能、時間方向の処理等に係る編集における制限の影響を小さくすることができ、より細かい編集が可能となる。
【図面の簡単な説明】
【図１】この発明を適用することができるディジタル信号記録装置の一例を示すブロック図である。
【図２】各帯域毎の直交変換ブロックサイズについて説明するための略線図である。
【図３】この発明を適用することが可能な符号化データフォーマットの一例を示す略線図である。
【図４】図７中の１バイト目のデータの詳細を示した略線図である。
【図５】ビット割当算出回路の構成の一例を示すブロック図である。
【図６】臨界帯域、ブロックフローティング等を考慮して分割された帯域のスペクトルの一例を示す略線図である。
【図７】マスキングスペクトルの一例を示す略線図である。
【図８】最小可聴カーブ、マスキングスペクトルの合成について説明するための略線図である。
【図９】この発明を適用することができるディジタル信号再生および／または記録装置の一例を示すブロック図である。
【図１０】正規化情報の生成について説明するための略線図である。
【図１１】正規化情報の変更によるレベル操作について説明するための略線図である。
【図１２】正規化情報の変更によるフィルタ操作について説明するための略線図である。
【図１３】符号化データ内の各フレームにおけるオーバーラップについて説明するための略線図である。
【図１４】この発明に係る編集処理を行う構成の一例を示すブロック図である。
【図１５】記録媒体上に記録された信号の一例を示す略線図である。
【図１６】この発明に係る編集処理における各フレーム間の時間関係の一例について説明するための略線図である。
【図１７】ＰＣＭデータの一部を復号化して編集を加えてから再度符号化して記録媒体に書き戻す場合について説明するための略線図である。
【図１８】この発明を適用することが可能な符号化データフォーマットの他の例を示す略線図である。
【符号の説明】
１０１、１０２・・・帯域分割フィルタ、１０３、１０４、１０５・・・直交変換回路、１１９・・・正規化情報変更回路、１２０、１２１、１２２・・・演算器（減算器）、７０９・・・正規化情報変更回路、８０２・・・復号化回路、８０４・・・データ変更回路、８０５・・・遅延補正回路、８０７・・・符号化回路
Claims (17)
- 修正離散コサイン変換を用いた符号化がなされた符号化オーディオデータを部分的に復号化して、復号化オーディオデータ部分を生成する部分復号化手段と、
上記復号化オーディオデータ部分に変更処理を施すデータ変更手段と、
上記データ変更手段の出力を符号化し、符号化オーディオデータを生成する部分符号化手段と
上記部分復号化手段から上記データ変更手段への出力、または上記データ変更手段から上記部分符号化手段への出力に対して、遅延補正を施す遅延補正手段と
を有し、
上記遅延補正手段は、
上記部分復号化手段および上記部分符号化手段の動作に起因して生じる、上記部分復号化手段に入力される符号化オーディオデータに対する、上記部分符号化手段から出力される符号化オーディオデータの位相のずれを補償し、位相を合わせることを特徴とするディジタル信号処理装置。 - 請求項１において、
上記部分復号化手段は、
上記符号化オーディオデータ中の所望の部分を復号化することを特徴とするディジタル信号処理装置。 - 修正離散コサイン変換を用いた符号化がなされた符号化オーディオデータを部分的に復号化して、復号化オーディオデータ部分を生成する部分復号化ステップと、
上記復号化オーディオデータ部分に変更処理を施すデータ変更ステップと、
上記データ変更ステップの結果を符号化し、符号化オーディオデータを生成する部分符号化ステップと、
上記部分復号化ステップと上記データ変更ステップとの間、または上記データ変更ステップと上記部分符号化ステップとの間で、上記復号化オーディオデータ部分に対して遅延補正を施す遅延補正ステップと
を有し、
上記遅延補正ステップでは、
上記部分復号化ステップおよび上記部分符号化ステップの処理に起因して生じる、上記部分復号化ステップ前の符号化オーディオデータに対する、上記部分符号化ステップ後の符号化オーディオデータの位相のずれを補償し、位相を合わせることを特徴とするディジタル信号処理方法。 - 入力ディジタルオーディオ信号を修正離散コサイン変換を用いて符号化することによって符号化オーディオデータを生成し、符号化オーディオデータを所定の記録媒体に記録するディジタル記録装置において、
符号化オーディオデータを部分的に復号化して、復号化オーディオデータ部分を生成する部分復号化手段と、
上記復号化オーディオデータ部分に変更処理を施すデータ変更手段と、
上記データ変更手段の出力を符号化し、符号化オーディオデータを生成する部分符号化手段と
上記部分復号化手段から上記データ変更手段への出力、または上記データ変更手段から上記部分符号化手段への出力に対して、遅延補正を施す遅延補正手段と
を有し、
上記遅延補正手段は、
上記部分復号化手段および上記部分符号化手段の動作に起因して生じる、上記部分復号化手段に入力される符号化オーディオデータに対する、上記部分符号化手段から出力される符号化オーディオデータの位相のずれを補償し、位相を合わせることを特徴とするディジタル信号記録装置。 - 入力ディジタルオーディオ信号を修正離散コサイン変換を用いて符号化することによって符号化オーディオデータを生成し、符号化オーディオデータを所定の記録媒体に記録するディジタル信号記録方法において、
符号化オーディオデータを部分的に復号化して、復号化オーディオデータ部分を生成する部分復号化ステップと、
上記復号化オーディオデータ部分に変更処理を施すデータ変更ステップと、
上記データ変更ステップの結果を符号化し、符号化オーディオデータを生成する部分符号化ステップと、
上記部分復号化ステップと上記データ変更ステップとの間、または上記データ変更ステップと上記部分符号化ステップとの間で、上記復号化オーディオデータ部分に対して遅延補正を施す遅延補正ステップと
を有し、
上記遅延補正ステップでは、
上記部分復号化ステップおよび上記部分符号化ステップの処理に起因して生じる、上記部分復号化ステップ前の符号化オーディオデータに対する、上記部分符号化ステップ後の符号化オーディオデータの位相のずれを補償し、位相を合わせることを特徴とするディジタル信号記録方法。 - 所定データ量ごとにブロック化し、隣接するブロックと関連させながら高能率符号化された入力ディジタルオーディオ信号に対してディジタル信号処理を行うディジタル信号処理装置において、
入力される修正離散コサイン変換を用いて高能率符号化されたディジタルオーディオ信号を隣接するブロックと関連させながら部分的に復号化する復号化手段と、
上記復号化されたディジタルオーディオ信号に変更処理を加える変更処理手段と、
上記変更処理を加えられたディジタルオーディオ信号を隣接するブロックと関連させながら高能率符号化し、符号化オーディオデータを生成する符号化手段と、
上記復号化手段と上記変更処理手段との間、または上記変更処理手段と上記符号化手段との間において、上記復号化によって生じる遅延時間を補正する遅延補正手段と
を備え、
上記遅延補正手段は、
上記復号化手段の動作に起因して生じる、上記復号化手段に入力される符号化オーディオデータに対する、上記符号化手段から出力される符号化オーディオデータの位相のずれを補償し、位相を合わせることを特徴とするディジタル信号処理装置。 - 請求項６において、
上記符号化手段は、
入力されるディジタルオーディオ信号を複数の周波数帯域成分に分割する帯域分割手段と、
上記帯域分割手段にて複数の周波数帯域に分割された入力ディジタルオーディオ信号の各々を時間軸方向および／または周波数軸方向に並んだサンプル列をブロック化して符号化する符号化手段と、
上記符号化手段にて符号化された各ブロック毎の信号を正規化処理して正規化情報を生成する正規化処理手段と、
上記ブロック毎の信号成分の特徴を表す量子化係数を計算する量子化係数計算手段と、
上記量子化係数計算手段にて計算された量子化係数に基づいてブロック毎のビット配分量を決定するビット配分手段と、
上記正規化処理手段にて生成された正規化情報と上記ビット配分手段でビット配分量とに基づいて各ブロック内の信号配分を再量子化を行い所定フォーマットに則した符号化オーディオデータを生成する符号化データ生成手段とを備えることを特徴とするディジタル信号処理装置。 - 請求項６において、
上記復号化手段は、
入力されるブロック化されて高能率符号化されたディジタルオーディオ信号の各々に対する情報圧縮パラメータに基づいて復号化することを特徴とするディジタル信号処理装置。 - 請求項６において、
上記ディジタル信号処理装置は、さらにユーザの操作によって上記編集される高能率符号化されたディジタルオーディオ信号を指定する操作手段を備えることを特徴とするディジタル信号処理装置。 - 請求項６において、
上記入力される高能率符号化されたディジタルオーディオ信号は記録媒体から読み出されて入力されることを特徴とするディジタル信号処理装置。 - 請求項１０において、
上記符号化手段によって高能率符号化されたディジタルオーディオ信号は、上記遅延補正手段によって遅延時間を補正され上記記録媒体へ読み出されたディジタルオーディオ信号に位相を合わせて書き込まれることを特徴とするディジタル信号処理装置。 - 所定データ量ごとにブロック化し、隣接するブロックと関連させながら高能率符号化された入力ディジタルオーディオ信号に対してディジタルオーディオ信号処理を行うディジタル信号処理方法において、
入力される修正離散コサイン変換を用いて高能率符号化されたディジタルオーディオ信号を隣接するブロックと関連させながら部分的に復号化するステップと、
上記復号化されたディジタルオーディオ信号に変更処理を加えるステップと、
上記変更処理を加えられたディジタルオーディオ信号を隣接するブロックと関連させながら高能率符号化し、符号化オーディオデータを生成するステップと、
上記復号化のステップと上記変更処理のステップとの間、または上記変更処理のステップと上記符号化のステップとの間で、上記復号化のステップによって生じる遅延時間を補正するステップと
を有し、
上記遅延時間の補正のステップでは、
上記復号化のステップの処理に起因して生じる、上記復号化のステップ前の符号化オーディオデータに対する、上記符号化のステップ後の符号化オーディオデータの位相のずれを補償し、位相を合わせることを特徴とするディジタル信号処理方法。 - 請求項１２において、
上記符号化するステップは、
入力されるディジタルオーディオ信号を複数の周波数帯域成分に分割するステップと、
上記帯域分割するステップにて複数の周波数帯域に分割された入力ディジタルオーディオ信号の各々を時間軸方向および／または周波数軸方向に並んだサンプル列をブロック化して符号化するステップと、
上記符号化するステップにて符号化された各ブロック毎の信号を正規化処理して正規化情報を生成するステップと、
上記ブロック毎の信号成分の特徴を表す量子化係数を計算するステップと、
上記量子化係数を計算するステップにて計算された量子化係数に基づいてブロック毎のビット配分量を決定するステップと、上記正規化情報を生成するステップにて生成された正規化情報と上記ビット配分手段でビット配分量とに基づいて各ブロック内の信号配分を再量子化を行い所定のフォーマットに則した符号化オーディオデータを生成するステップとを有することを特徴とするディジタル信号処理方法。 - 請求項１２において、
上記復号化するステップは、入力されるブロック化されて高能率符号化されたディジタルオーディオ信号の各々に対する情報圧縮パラメータに基づいて復号化することを特徴とするディジタル信号処方法。 - 請求項１２において、
ユーザの操作によって上記編集される高能率符号化されたディジタルオーディオ信号が指定されることを特徴とするディジタル信号処理方法。 - 請求項１２において、
上記入力される高能率符号化されたディジタルオーディオ信号は記録媒体から読み出されて入力されることを特徴とするディジタル信号処理方法。 - 請求項１６において、
上記符号化するステップによって高能率符号化されたディジタルオーディオ信号は、上記遅延補正するステップによって遅延時間を補正され上記記録媒体へ読み出されたディジタルオーディオ信号に位相を合わせて書き込まれることを特徴とするディジタル信号処理方法。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000245933A JP4639441B2 (ja) | 1999-09-01 | 2000-08-14 | ディジタル信号処理装置および処理方法、並びにディジタル信号記録装置および記録方法 |
| US09/645,789 US6850578B1 (en) | 1999-09-01 | 2000-08-24 | Digital signal processing apparatus and digital processing method |
| EP00118887A EP1081684B1 (en) | 1999-09-01 | 2000-08-31 | Method for editing a subband encoded audio signal |
| DE60044112T DE60044112D1 (de) | 1999-09-01 | 2000-08-31 | Verfahren zur Bearbeitung von einem teilbandkodierten Audiosignal |
| KR1020000051511A KR100721499B1 (ko) | 1999-09-01 | 2000-09-01 | 디지탈 신호 처리 장치 및 디지탈 신호 처리 방법 |
| CNB001269798A CN1135486C (zh) | 1999-09-01 | 2000-09-01 | 数字音频信号处理设备和数字音频信号处理方法 |
| US10/895,072 US7197093B2 (en) | 1999-09-01 | 2004-07-21 | Digital signal processing apparatus and digital signal processing method |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24734099 | 1999-09-01 | ||
| JP11-247340 | 1999-09-01 | ||
| JP2000245933A JP4639441B2 (ja) | 1999-09-01 | 2000-08-14 | ディジタル信号処理装置および処理方法、並びにディジタル信号記録装置および記録方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001142498A JP2001142498A (ja) | 2001-05-25 |
| JP4639441B2 true JP4639441B2 (ja) | 2011-02-23 |
Family
ID=26538220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000245933A Expired - Fee Related JP4639441B2 (ja) | 1999-09-01 | 2000-08-14 | ディジタル信号処理装置および処理方法、並びにディジタル信号記録装置および記録方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US6850578B1 (ja) |
| EP (1) | EP1081684B1 (ja) |
| JP (1) | JP4639441B2 (ja) |
| KR (1) | KR100721499B1 (ja) |
| CN (1) | CN1135486C (ja) |
| DE (1) | DE60044112D1 (ja) |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001134295A (ja) * | 1999-08-23 | 2001-05-18 | Sony Corp | 符号化装置および符号化方法、記録装置および記録方法、送信装置および送信方法、復号化装置および符号化方法、再生装置および再生方法、並びに記録媒体 |
| JP4639441B2 (ja) * | 1999-09-01 | 2011-02-23 | ソニー株式会社 | ディジタル信号処理装置および処理方法、並びにディジタル信号記録装置および記録方法 |
| US6407972B1 (en) * | 1999-10-20 | 2002-06-18 | Sony Corporation | Editing apparatus and editing method |
| SE521693C3 (sv) | 2001-03-30 | 2004-02-04 | Ericsson Telefon Ab L M | En metod och anordning för brusundertryckning |
| SE0202159D0 (sv) | 2001-07-10 | 2002-07-09 | Coding Technologies Sweden Ab | Efficientand scalable parametric stereo coding for low bitrate applications |
| PT1423847E (pt) | 2001-11-29 | 2005-05-31 | Coding Tech Ab | Reconstrucao de componentes de frequencia elevada |
| TW516682U (en) * | 2002-04-11 | 2003-01-01 | Li-Chuan Huang | Improved structure of brainpower development learning machine |
| KR100477649B1 (ko) * | 2002-06-05 | 2005-03-23 | 삼성전자주식회사 | 다양한 프레임 사이즈를 지원하는 정수 코딩 방법 및 그를적용한 코덱 장치 |
| SE0202770D0 (sv) | 2002-09-18 | 2002-09-18 | Coding Technologies Sweden Ab | Method for reduction of aliasing introduces by spectral envelope adjustment in real-valued filterbanks |
| EP1475996B1 (en) * | 2003-05-06 | 2009-04-08 | Harman Becker Automotive Systems GmbH | Stereo audio-signal processing system |
| US7613607B2 (en) | 2003-12-18 | 2009-11-03 | Nokia Corporation | Audio enhancement in coded domain |
| EP1544848B1 (en) * | 2003-12-18 | 2010-01-20 | Nokia Corporation | Audio enhancement in coded domain |
| CN100369108C (zh) * | 2003-12-18 | 2008-02-13 | 诺基亚公司 | 编码域中的音频增强的方法和设备 |
| US7418394B2 (en) * | 2005-04-28 | 2008-08-26 | Dolby Laboratories Licensing Corporation | Method and system for operating audio encoders utilizing data from overlapping audio segments |
| EP1722360B1 (en) * | 2005-05-13 | 2014-03-19 | Harman Becker Automotive Systems GmbH | Audio enhancement system and method |
| JP4704972B2 (ja) * | 2006-07-24 | 2011-06-22 | ルネサスエレクトロニクス株式会社 | ストリーム編集方法及びストリーム編集装置 |
| US20080059201A1 (en) * | 2006-09-03 | 2008-03-06 | Chih-Hsiang Hsiao | Method and Related Device for Improving the Processing of MP3 Decoding and Encoding |
| JP5045295B2 (ja) * | 2007-07-30 | 2012-10-10 | ソニー株式会社 | 信号処理装置及び方法、並びにプログラム |
| JP5098492B2 (ja) * | 2007-07-30 | 2012-12-12 | ソニー株式会社 | 信号処理装置及び信号処理方法、並びにプログラム |
| KR101045192B1 (ko) | 2009-06-16 | 2011-06-30 | (주)제너시스템즈 | 편집형 안내 방송 제작 장치 및 방법 |
| CN103718240B (zh) * | 2011-09-09 | 2017-02-15 | 松下电器（美国）知识产权公司 | 编码装置、解码装置、编码方法和解码方法 |
| US9431987B2 (en) | 2013-06-04 | 2016-08-30 | Sony Interactive Entertainment America Llc | Sound synthesis with fixed partition size convolution of audio signals |
| EP2963646A1 (en) | 2014-07-01 | 2016-01-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Decoder and method for decoding an audio signal, encoder and method for encoding an audio signal |
| CN106028217B (zh) * | 2016-06-20 | 2020-01-21 | 咻羞科技(深圳)有限公司 | 一种基于音频识别技术的智能设备互动系统及方法 |
| WO2019089341A1 (en) * | 2017-11-02 | 2019-05-09 | Bose Corporation | Low latency audio distribution |
| CN112034615B (zh) * | 2020-08-31 | 2022-06-24 | 同济大学 | 高速扫描用可变透镜的控制编码方法、装置及介质 |
| CN117153191B (zh) * | 2023-11-01 | 2023-12-29 | 中瑞科技术有限公司 | 一种基于远程通信的对讲机音频采集控制方法及系统 |
| US12613699B2 (en) | 2023-12-20 | 2026-04-28 | Sony Interactive Entertainment Inc. | DMA controller and LSU to transpose data arrays stored in main memory for storage in processor registers |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4513426A (en) * | 1982-12-20 | 1985-04-23 | At&T Bell Laboratories | Adaptive differential pulse code modulation |
| US5051991A (en) * | 1984-10-17 | 1991-09-24 | Ericsson Ge Mobile Communications Inc. | Method and apparatus for efficient digital time delay compensation in compressed bandwidth signal processing |
| US4622680A (en) * | 1984-10-17 | 1986-11-11 | General Electric Company | Hybrid subband coder/decoder method and apparatus |
| JP2697827B2 (ja) * | 1987-08-27 | 1998-01-14 | 三菱電機株式会社 | 連続デイジタル情報の部分書き替え方法 |
| JP3019912B2 (ja) * | 1994-07-22 | 2000-03-15 | 日本ビクター株式会社 | 画像データ編集装置 |
| JPH08329605A (ja) * | 1995-03-25 | 1996-12-13 | Sony Corp | デイジタルオーデイオ信号処理方法、デイジタルオーデイオ信号処理装置及び記録再生装置 |
| JPH09298711A (ja) * | 1996-04-26 | 1997-11-18 | Victor Co Of Japan Ltd | 画像情報記録再生装置の編集用圧縮画像データの発生装置 |
| JP3318825B2 (ja) * | 1996-08-20 | 2002-08-26 | ソニー株式会社 | デジタル信号符号化処理方法、デジタル信号符号化処理装置、デジタル信号記録方法、デジタル信号記録装置、記録媒体、デジタル信号伝送方法及びデジタル信号伝送装置 |
| US6377628B1 (en) * | 1996-12-18 | 2002-04-23 | Thomson Licensing S.A. | System for maintaining datastream continuity in the presence of disrupted source data |
| JPH10198400A (ja) * | 1997-01-14 | 1998-07-31 | Sony Corp | データ符号化装置および方法、データ復号化装置および方法、ならびにデータ符号化／復号化システム |
| GB2321577B (en) * | 1997-01-27 | 2001-08-01 | British Broadcasting Corp | Audio compression |
| JP3855361B2 (ja) * | 1997-05-08 | 2006-12-06 | ソニー株式会社 | 情報再生装置および再生方法 |
| JPH11341496A (ja) * | 1998-05-28 | 1999-12-10 | Matsushita Electric Ind Co Ltd | 画像処理方法，画像処理装置，及びデータ記憶媒体 |
| US6272176B1 (en) * | 1998-07-16 | 2001-08-07 | Nielsen Media Research, Inc. | Broadcast encoding system and method |
| US6734252B1 (en) * | 1999-01-29 | 2004-05-11 | 3M Innovative Properties Company | Melt processable thermoplastic polymer composition employing a polymer processing additive containing a fluorothermoplastic copolymer |
| JP2001134295A (ja) | 1999-08-23 | 2001-05-18 | Sony Corp | 符号化装置および符号化方法、記録装置および記録方法、送信装置および送信方法、復号化装置および符号化方法、再生装置および再生方法、並びに記録媒体 |
| JP4639441B2 (ja) * | 1999-09-01 | 2011-02-23 | ソニー株式会社 | ディジタル信号処理装置および処理方法、並びにディジタル信号記録装置および記録方法 |
| US6407972B1 (en) * | 1999-10-20 | 2002-06-18 | Sony Corporation | Editing apparatus and editing method |
-
2000
- 2000-08-14 JP JP2000245933A patent/JP4639441B2/ja not_active Expired - Fee Related
- 2000-08-24 US US09/645,789 patent/US6850578B1/en not_active Expired - Fee Related
- 2000-08-31 EP EP00118887A patent/EP1081684B1/en not_active Expired - Lifetime
- 2000-08-31 DE DE60044112T patent/DE60044112D1/de not_active Expired - Lifetime
- 2000-09-01 KR KR1020000051511A patent/KR100721499B1/ko not_active Expired - Fee Related
- 2000-09-01 CN CNB001269798A patent/CN1135486C/zh not_active Expired - Fee Related
-
2004
- 2004-07-21 US US10/895,072 patent/US7197093B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN1135486C (zh) | 2004-01-21 |
| CN1291766A (zh) | 2001-04-18 |
| EP1081684A3 (en) | 2002-08-07 |
| KR20010050304A (ko) | 2001-06-15 |
| JP2001142498A (ja) | 2001-05-25 |
| EP1081684B1 (en) | 2010-04-07 |
| US20040268203A1 (en) | 2004-12-30 |
| DE60044112D1 (de) | 2010-05-20 |
| KR100721499B1 (ko) | 2007-05-23 |
| US7197093B2 (en) | 2007-03-27 |
| EP1081684A2 (en) | 2001-03-07 |
| US6850578B1 (en) | 2005-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4639441B2 (ja) | ディジタル信号処理装置および処理方法、並びにディジタル信号記録装置および記録方法 | |
| JP3123286B2 (ja) | ディジタル信号処理装置又は方法、及び記録媒体 | |
| JP3498375B2 (ja) | ディジタル・オーディオ信号記録装置 | |
| US6169973B1 (en) | Encoding method and apparatus, decoding method and apparatus and recording medium | |
| WO1995002925A1 (en) | High-efficiency encoding method, high-efficiency decoding method, high-efficiency encoding device, high-efficiency decoding device, high-efficiency encoding/decoding system and recording media | |
| KR100512208B1 (ko) | 디지탈신호처리방법,디지탈신호처리장치,디지탈신호기록방법,디지탈신호기록장치,기록매체,디지탈신호전송방법,및디지탈신호전송장치 | |
| WO1995013660A1 (en) | Quantization apparatus, quantization method, high efficiency encoder, high efficiency encoding method, decoder, high efficiency encoder and recording media | |
| JP3531177B2 (ja) | 圧縮データ記録装置及び方法、圧縮データ再生方法 | |
| US6353584B1 (en) | Reproducing and recording apparatus, decoding apparatus, recording apparatus, reproducing and recording method, decoding method and recording method | |
| KR100774782B1 (ko) | 부호화 장치, 부호화 방법, 복호화 장치, 복호화 방법,기록 장치, 기록 방법, 재생 장치, 재생 방법 및 기록 매체 | |
| JPH0846516A (ja) | 情報符号化方法及び装置、情報復号化方法及び装置、並びに記録媒体 | |
| JP4441988B2 (ja) | 符号化装置および符号化方法 | |
| JP3879250B2 (ja) | エンコード方法、デコード方法、エンコード装置、デコード装置、ディジタル信号記録方法、ディジタル信号記録装置、記録媒体、ディジタル信号送信方法及びディジタル信号送信装置 | |
| JP3291948B2 (ja) | 高能率符号化方法及び装置、並びに伝送媒体 | |
| JP3304717B2 (ja) | ディジタル信号圧縮方法及び装置 | |
| JP3879249B2 (ja) | エンコード方法、デコード方法、エンコード装置、デコード装置、ディジタル信号記録方法、ディジタル信号記録装置、記録媒体、ディジタル信号送信方法及びディジタル信号送信装置 | |
| JP3318824B2 (ja) | デジタル信号符号化処理方法、デジタル信号符号化処理装置、デジタル信号記録方法、デジタル信号記録装置、記録媒体、デジタル信号伝送方法及びデジタル信号伝送装置 | |
| JP3227948B2 (ja) | 復号化装置 | |
| JP3227945B2 (ja) | 符号化装置 | |
| JPH08125543A (ja) | ディジタル信号圧縮方法及び装置、並びに記録媒体 | |
| JP2001069089A (ja) | ディジタル信号記録装置および記録方法、並びに記録媒体 | |
| JP2000078017A (ja) | デコード方法及びデコード装置 | |
| JPH07193510A (ja) | ディジタル信号処理装置、ディジタル信号処理方法、及び記録媒体 | |
| JP2001337699A (ja) | 符号化装置および符号化方法並びに復号化装置および復号化方法 | |
| JPH11272294A (ja) | エンコード方法、デコード方法、エンコード装置、デコード装置、ディジタル信号記録方法、ディジタル信号記録装置、記録媒体、ディジタル信号送信方法及びディジタル信号送信装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070213 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091014 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091027 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100302 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100506 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100601 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100722 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101102 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101115 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131210 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |