Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4446321B2 - エンコード領域において圧縮定数を復元する装置及び方法 - Google Patents
[go: Go Back, main page]

JP4446321B2 - エンコード領域において圧縮定数を復元する装置及び方法 - Google Patents

エンコード領域において圧縮定数を復元する装置及び方法 Download PDF

Info

Publication number
JP4446321B2
JP4446321B2 JP2000599216A JP2000599216A JP4446321B2 JP 4446321 B2 JP4446321 B2 JP 4446321B2 JP 2000599216 A JP2000599216 A JP 2000599216A JP 2000599216 A JP2000599216 A JP 2000599216A JP 4446321 B2 JP4446321 B2 JP 4446321B2
Authority
JP
Japan
Prior art keywords
block
data
value
adjacent
encoded data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000599216A
Other languages
English (en)
Other versions
JP2002541689A (ja
Inventor
哲二郎 近藤
カリッグ,ジェームス,ジェー
フジモリ,ヤスヒロ
ゴーサル,スガタ
Original Assignee
ソニー エレクトロニクス インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US09/249,596 external-priority patent/US6363118B1/en
Application filed by ソニー エレクトロニクス インク filed Critical ソニー エレクトロニクス インク
Publication of JP2002541689A publication Critical patent/JP2002541689A/ja
Application granted granted Critical
Publication of JP4446321B2 publication Critical patent/JP4446321B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【0001】
本発明の背景技術
1.関連出願
本出願は、1999年2月11日に出願された米国特許出願番号09/249,596号、発明の名称「エンコード領域において圧縮定数を復元する装置及び方法」の継続出願である。
【0002】
2.本発明の技術分野
本発明はデータの復元に関する。詳しくは、本発明は、圧縮データのビットストリームにおける欠落又は破損したブロックデータの復元に関する。
【0003】
3.技術背景
ビデオ画像又は音声データを伝送又は記録するために、このようなデータを圧縮することが望まれることが多い。データが圧縮される場合、通常、圧縮定数(compression constants)が生成される。幾つかの具体例では、ブロックサイズのデータが生成される。圧縮定数は、圧縮された画像と共に伝送され、あるいは記録される。この圧縮定数が、データの伸張処理を行う前に欠落又は破損すると問題が生じる。具体例として、以下では、画像データの圧縮定数が欠落してしまった場合に生じる問題について説明する。
【0004】
デジタル画像を構成する離散データ点は、画素と呼ばれる。通常、各画素は、それぞれ独立して8ビットを用いて表現されるが、圧縮又は分析の目的では、他の表現を用いることもある。これら代用的な表現の多くでは、まず、生データを互いに素な集合(disjoint sets)に分割する。これらの集合は、必ずしも一般的なブロック形状を有しているわけではないが、歴史的な理由から、これらの集合は「ブロック」と呼ばれる。代用的な表現では、次に、ブロック全体に亘る情報(block-wide information)及び画素毎の情報によりデータを特徴付ける。
【0005】
ブロック全体に亘る情報の例としては、最小画素値(MIN)、最大画素値(MAX)、画素値のダイナミックレンジ(DR)等が含まれ、ここでDR=MAX−MIN又はDR=1+MAX−MINである。画素毎の情報は、例えば、全体的な情報により特定された範囲内で画素値がどこに属するかを示している。圧縮を実現するために、画素毎の情報は、記録用の数ビットのみが使用され、この結果、使用されるビットの総数は、生の画像を記録するために必要なビットの総数より少なくなる。
【0006】
一具体例において、ブロックデータは、MIN、DR及びQビット数(後述する)を有し、画素データは、Qコード(Q code)を有する。Qコードは、集合(MIN,MIN+1・・・MAX)内の1つの値を特定する[0,2−1]の範囲内の整数であるQビット数である。Qビット数は、通常小さく、DR値は、比較的大きいため、通常、全ての画素値を正確に表現することは不可能である。したがって、画素値をQコード値に変換してビット数を削減した場合、量子化エラーが生じる。例えば、Qビット数が3の場合、エラーを生じることなく、集合(MIN,MIN+1・・・MAX)から2=8個の値を表現することができる。これら以外の画素の値は、これら8つの値のいずれかに丸められる。この丸めにより量子化エラーが生じる。
【0007】
例えばMIN、MAX、DR等のブロック情報のいずれかが欠落すると、多くの画素に影響が生じるため、画像における破損が大きくなる。このため、これら欠落したデータを正確に推定又は復元する技術が望まれている。
【0008】
復元方法は、デコード領域とエンコード領域の2つのカテゴリに分類される。デコード領域の復元法は、画像の一部を生のデータフォーマットに復元し、ローカルにおける相関的な特性を利用して、失われたデータを推定するものである。圧縮定数を含むデータの復元は、デコード領域において実行することができる。しかしながら、この手法では、デコード処理を実行し評価するための追加的な演算及び時間が必要であり、したがって、追加的なコストが必要となる。
【0009】
発明の開示
本発明に基づく装置及び方法は、エンコード領域において、ブロックの欠落又は破損した(欠落/破損)圧縮定数を復元する有効な手法を提供する。一具体例において、少なくとも1つの隣接するブロックのエンコードされたデータと、推定されるブロック及び他のブロックにおいて復元可能な他の圧縮定数とを用いて欠落/破損した圧縮定数を推定する。例えば、一具体例において、エンコードされたデータは画像データであり、各データのブロックは、定数としてダイナミックレンジ(DR)と最小値(MIN)とを有し、ここでDR=MAX−MINであり、MAXはブロック内の最大のデータ値を表す。
【0010】
詳細な説明
以下では、本発明を明瞭にするために、説明を目的として、多くの詳細事項について記述する。しかしながら、これらの詳細事項は、本発明を実施するための必要条件ではないことは、当業者にとって明らかである。また、本発明を不必要に不明瞭しないために、ブロック図には周知の電気的構造及び回路を示す。
【0011】
以下では、適応型ダイナミックレンジ符号化(Adaptive Dynamic Range Coding:以下、ADRCという。)によりエンコードされた画像において、特にダイナミックレンジ(DR)及び最小値(MIN)等が欠落又は破損した圧縮定数(以下、欠落/破損圧縮定数と呼ぶ。)の復元について説明する。しかしながら、本発明はADRC符号化及び生成される特定の圧縮定数に限定されるものではない。すなわち、本発明は、異なる種類の圧縮技術に適用でき、また、これに限定されるものではなく、音声データ等の異なる種類のデータにも適用でき、さらに、これに限定されるものではなく、ADRC処理において使用できる最大値(MAX)等の異なる圧縮定数に適用することもできる。さらに、本発明は、エッジ整合形(edge-matching)ADRC及びエッジ非整合形(non edge-matching ADRC)等、異なる種類のADRC処理にも適用することができる。ADRCに関するさらに詳細な説明については、1991年9月4〜6日、イタリア、チュリンで開催された第4回高精細度テレビジョン及びその後に関する国際会議(Fourth International Workshop on HDTV and Beyond)におけるコンドウ(Kondo)、フジモリ(Fujimori)、ナカヤ(Nakaya)らによる「将来のHDTVデジタルVTRのための適応型ダイナミックレンジコーディング法(Adaptive Dynamic Range Coding Scheme for Future HDTV Digital VTR)」に開示されている。
【0012】
FIG.1は、本発明に基づき、欠落/破損圧縮定数を復元する処理の具体例を示す図である。この具体例では、ビットストリームにおけるエンコードされたデータの配置(placement)を特定する情報等の所定の情報は既知である。しかしながら、エンコードされたデータをデコードするために必要な少なくとも1つの圧縮定数が欠落又は破損(欠落/破損)している。データがADRCを用いてエンコードされている一具体例においては、本発明に基づく手法は、DR、MAX、MIN等の欠落/破損圧縮定数を復元するために用いることができる。通常、DR及びMIN等、これら定数のうちの2つの定数を使用して、ビットストリームにおいて受信された例えばQコード等のエンコードされたデータをデコードする。他の具体例において、CENとDRが、エンコードされたデータデコードするために用いられる。CENは、ダイナミックレンジの中央値である。CENは、一具体例として、MIN+DR/2に設定される。
【0013】
FIG.1に示すステップ105において、少なくとも1つの隣接するブロックのエンコードされたデータ、欠落/破損圧縮定数を含むブロックのエンコードされたデータ、及びそのブロック及び隣接するブロックの事前に復元された圧縮定数が入力データとして供給される。ステップ110において、隣接するブロックのエンコードされたデータと、そのブロックのエンコードされたデータと、そのブロック及び隣接するブロックの事前に復元された圧縮定数とを用いて、欠落/破損圧縮定数を推定する。
【0014】
デコードすべきブロック及び隣接するブロックのエンコードされたデータを使用することにより、欠落/破損圧縮定数を判定する前にコストが高いデコード処理を1回以上繰り返す必要がないため、時間及びコストを節約できる。
【0015】
QコードをデコードするためにMIN及びDRを使用するこの具体例では、MINが欠落/破損した場合、そのブロックのDR値及びQコードと、隣接するブロックのMIN値及びQコードとを用いて、エンコードされたデータからMIN値を推定する。
【0016】
MIN値は、そのブロックからデコードされた値と、少なくとも1つの隣接するブロックからデコードされた対応するMIN値との間の差の平均値を最小にする値として推定される。平均関数(average function)は、隣接する値の重み付けされた平均であってもよく、例えば、処理の対象となるブロックに対する隣接するブロックの位置に関連付けて値に重み付けをしてもよい。一具体例においては、MINは、最小二乗推定法(least squares estimation)を用いて推定される。例えば、MINは、以下のようにして求められる。
【0017】
エッジ非整合形ADRC
【0018】
【数24】
Figure 0004446321
【0019】
エッジ整合形ADRC
【0020】
【数25】
Figure 0004446321
【0021】
ここで、Nは使用する隣接するエンコードされたデータの数を表し、MIN’は隣接するブロックのMIN値を表し、DR及びDR’はそれぞれこのブロック及び隣接するブロックのDR値を表し、Qはこのブロックをエンコードするために使用された量子化ビット数を表し、Q’は隣接するブロックをエンコードするために使用された量子化ビット数を表し、eはエンコードされたデータ(例えば、Qコード)を表し、e’は隣接するブロックのエンコードされたデータ等の隣接するエンコードされたデータを表す。
【0022】
DR値が欠落/破損している場合、そのブロックのMIN値及びQコードと、隣接するブロックのDR値、MIN値及びQコードとを用いて、DRを推定する。
【0023】
一具体例においては、DRは、例えば最小二乗推定法を用いて以下のように推定される。
【0024】
エッジ非整合形ADRC用の整数式(integer formula)
【0025】
【数26】
Figure 0004446321
【0026】
エッジ整合形ADRC用の整数式
【0027】
【数27】
Figure 0004446321
【0028】
ここで、Nは使用する隣接するエンコードされたデータの数を表し、MIN及びMIN’はそれぞれこのブロック及び隣接するブロックのMIN値を表し、Qはこのブロックをエンコードするために使用された量子化ビット数を表し、Q’は隣接するブロックをエンコードするために使用された量子化ビット数を表し、e及びe’はそれぞれこのブロック及び隣接するブロックのエンコードされたデータを表し、DR’は隣接するブロックのダイナミックレンジを表す。
【0029】
別の具体例では、これと異なる復元式を用いてもよい。DRは、このブロックのデコードされた値の総和を隣接するブロックのデコードされた値の総和に等しくする値として推定してもよい。例えば、DRは、次の式により求めることもできる。
【0030】
エッジ非整合形ADRC
【0031】
【数28】
Figure 0004446321
【0032】
エッジ整合形ADRC
【0033】
【数29】
Figure 0004446321
【0034】
ここで、Nは使用する隣接するエンコードされたデータの数を表し、MIN及びMIN’はそれぞれこのブロック及び隣接するブロックのMIN値を表し、Qはこのブロックをエンコードするために使用された量子化ビット数を表し、Q’は隣接するブロックをエンコードするために使用された量子化ビット数を表し、e及びe’はそれぞれこのブロック及び隣接するブロックのエンコードされたデータを表し、DR’は隣接するブロックのダイナミックレンジを表す。
【0035】
CENとDRを、Qコードをデコードするために用いる場合であって、CEN値が欠落/破損している場合、このブロックのDR及びQコードと、隣接するブロックのDR、CEN及びQコードが、エンコードされたデータを用いるCEN値を推定するために用いられる。
【0036】
CENは、このブロックからデコードされた値と、少なくとも1つの隣接するブロックからデコードされた値との差の平均値を最小とする値として推定することができる。一具体例において、推定値は、最小二乗法を用いて推定することができる。例えば、CENは、以下の式を用いて決定することができる。
【0037】
エッジ非整合形ADRC
【0038】
【数30】
Figure 0004446321
【0039】
エッジ整合形ADRC
【0040】
【数31】
Figure 0004446321
【0041】
ここで、Nは使用する隣接するエンコードされたデータの数は表し、CEN’は隣接するブロックのCEN値を表し、DR及びDR’はそれぞれこのブロック及び隣接するブロックからのDR値を表し、Qはこのブロックをエンコードするために用いられた量子化ビット数を表し、Q’は隣接するブロックをエンコードするために用いられた量子化ビット数を表し、eはこのブロックのエンコードされたデータ(例えばQコード)を表し、e’は隣接するブロックのエンコードされたデータを表す。
【0042】
DR値が欠落/破損しているときは、このブロックのCEN値及びQコードと、隣接するブロックのDR、CEN及びQコードとが、DRを推定するために用いられる。
【0043】
一具体例において、DRは、最小二乗法を用いて推定することができる。例えば、
エッジ非整合形ADRC用の整数式
【0044】
【数32】
Figure 0004446321
【0045】
エッジ整合形ADRC用の整数式
【0046】
【数33】
Figure 0004446321
【0047】
ここで、Nは使用する隣接するエンコードされたデータの数は表し、CEN及びCEN’はそれぞれこのブロック及び隣接するブロックの最小値を表し、Qはこのブロックをエンコードするために用いられた量子化ビット数を表し、Q’は隣接するブロックをエンコードするために用いられた量子化ビット数を表し、e及びe’はそれぞれこのブロック及び隣接するブロックのエンコードされたデータを表し、DR’は隣接するブロックのダイナミックレンジを表す。
【0048】
他の具体例として、他の復元式を用いることができる。DRは、このブロックのデコードされた値の総和を隣接するロックのデコードされた値の総和に等しくする値として推定することができる。例えば、DRは、以下の式によって決定される。
【0049】
エッジ非整合形ADRC
【0050】
【数34】
Figure 0004446321
【0051】
エッジ整合形ADRC
【0052】
【数35】
Figure 0004446321
【0053】
ここで、Nは使用する隣接するエンコードされたデータの数は表し、CEN及びCEN’はそれぞれこのブロック及び隣接するブロックのCEN値を表し、Qはこのブロックをエンコードするために用いられた量子化ビット数を表し、Q’は隣接するブロックをエンコードするために用いられた量子化ビット数を表し、e及びe’はそれぞれこのブロック及び隣接するブロックのエンコードされたデータを表し、DR’は隣接するブロックのダイナミックレンジを表す。
【0054】
さらに、他の具体例を説明する。例えば、MIN及びMAXを圧縮定数として使用し、これらのいずれかが破損した場合、DRが推定され、圧縮定数はこの推定されたDRから算出される。さらに、MAX及びDRが使用されている場合、上述したMIN及びDRの場合と同様の処理を用いることができる。さらに、ここに挙げない他の定数を使用してもよい。他の定数レベルもMINと同様に機能し、上述の説明から適切な式を導き出すことができる。
【0055】
変形例においては、他の圧縮定数を決定するために使用された変数を用いて、ここに説明する圧縮定数以外の圧縮定数を決定してもよい。例えば、ADRCを用いてエンコードされたデータについて、Qビット及び動きフラグの値は、以下の変数を利用する。
【0056】
【数36】
Figure 0004446321
【0057】
【数37】
Figure 0004446321
【0058】
ここで、e及びe’は、それぞれこのブロック及び隣接するブロックのエンコードされたデータを表す。(この総和は、N個の使用可能な隣接関係について求められるため)ハードウェアの多くの部分は、上述の総和の演算に費やされるので、適用可能な部分にX及びYの値を入力することにより、MIN及びDR推定回路の複雑性を大きく減少させることができる。例えば、一具体例においては、以下のようにX、Y、MIN、DRを使用する。
【0059】
エッジ非整合形ADRC
【0060】
【数38】
Figure 0004446321
【0061】
【数39】
Figure 0004446321
【0062】
エッジ整合形ADRC
【0063】
【数40】
Figure 0004446321
【0064】
【数41】
Figure 0004446321
【0065】
ここで、Nは、隣接するデータの数を表し、Q及びQ’はそれぞれこのブロック及び隣接するブロックのQビット数を表し、MIN’は隣接するブロックのMIN値を表し、DR及びDR’はそれぞれこのブロック及び隣接するブロックのDR値を表す。
【0066】
他の具体例として、CEN及びDRは、X及びYを用い、以下のように求めることができる。
【0067】
エッジ非整合形ADRC
【0068】
【数42】
Figure 0004446321
【0069】
【数43】
Figure 0004446321
【0070】
エッジ整合形ADRC
【0071】
【数44】
Figure 0004446321
【0072】
【数45】
Figure 0004446321
【0073】
この具体例では、n=max(0,1)となるように分子をクリップしてもよい。
【0074】
上述の式の分子及び分母のビット数は多く(例えば、24ビット)となることもあり、したがって、広い範囲の値に対応する汎用除算器は、多くのハードウェアを必要とする。ここで、結果の有効性を損なうことなく、一定の効率化を実現できることが見出された。すなわち、圧縮値(例えば、MIN又はDR)に許容されている範囲は、一定の範囲(例えば、1つの値につき0〜255)に制限されているので、低い分解能(例えば、8ビット)しか要求されない。さらに、結果の精度を変化させることなく、上位に連続する0(leading zeros)を除外することができ、また、最下位ビットを切り捨てても結果に大きな影響はないことが見出された。
【0075】
これらの事実に基づく変形例をFIG.2を用いて説明する。この具体例では、各ステップは、ハードウェア論理回路により素早く実行することができる。上述のように、DR及びMINの式では、除算処理を実行する必要がある。したがって、以下の説明では、商の分子及び分母について検討する。
【0076】
ステップ205において、MINを決定するための式の分子が完全な精度で算出される。ステップ210において、完全な精度で分母が算出される。ステップ215において、分子及び分母は、いずれも長さが少なくともKビットになるまで(すなわち、長さがKビット以下になるまで)、最下位ビットを切り捨てるようにシフトされる。この具体例においては、分子及び分母は同じビット数になるようシフトされる。しかしながら、他の具体例においては、分子及び分母は、異なるビット数になるようにシフトされてもよい。このような場合、ビットシフトの差分をどこかで補償する必要がある。すなわち、この具体例では、(n≧2又はd≧2)として、以下のようなシフトを行う。
n/2(LSBを切り捨てるシフト)
d/2(LSBを切り捨てるシフト)
ここで、nは分子を表し、dは分母を表す。
【0077】
Kの値は、許容できる画質を維持しながら、コスト効率の高い論理回路を用いて整数除算が行えるように選択される。一具体例においては、Kの値は、例えば最大誤差が3%を超えないようにする等、最大誤差が視覚的に感知されないように選択される。8ビットのエンコードを行うこの具体例においては、Kの値として13を選択する。
【0078】
ステップ230において、この値は、例えば他の利用可能な圧縮定数等、利用可能な外部情報に矛盾しないようにクリップされる。この具体例では、値は、許容可能な値の範囲を満足させるようにクリップされる。例えば、8ビットADRCでは、以下のとおりとする。
【0079】
エッジ非整合形ADRC
MIN+DR≦254
CEN+DR/2≦254
エッジ整合形ADRC
MIN+DR≦255
CEN+DR/2≦254
【0080】
本発明に基づく推定回路の具体的構成をFIG.3aに示す。FIG.3aは、ここに説明する処理に用いることができる推定回路を単純化して機能的に示すブロック図である。この推定回路は、例えば大規模集積(LSI)論理回路又はプログラマブルゲートアレーのような特別に構成された論理回路により実現してもよい。これに代えて、この推定回路は、FIG.3bに示すように、メモリ又は他の記憶素子に格納された命令を実行する、専用の特別に構成された又は汎用のプロセッサにより実行されるコードとして実現してもよい。さらに、本発明は、上述した構成の組合せにより実現してもよい。
【0081】
FIG.3aに示すように、分子論理回路310は、エンコード領域において、欠落/破損した圧縮定数を推定するための式の分子となる部分を完全な精度で算出する。分母論理回路320は、式の分母となる部分を完全な精度で算出する。一具体例においては、Kビットのシフトレジスタ(図示せず)により、論理回路310,320が生成した分子及び分母の長さがそれぞれKビットになるまで、それぞれの最下位ビットを切り捨てる。これに代えて、このシフト処理を演算論理回路350により実行してもよい。上述のように、Kの値は、例えば、許容可能なレベルの精度を保ちながら、後続する処理を実行するために必要な論理ハードウェア回路が効率化のために最小となるように、経験的に選択される。
【0082】
演算論理回路350は、分子及び分母の整数除算(integer division)を実行する。クリップ論理回路360は、演算論理回路350の出力値が利用可能な他の圧縮定数と矛盾しないように演算論理回路350の出力値をクリップするために、オプションとして設けられている。すなわち、この構造により、欠落/破損した圧縮定数の推定を高速且つ効率的なコストで行うことができる。
【0083】
この推定回路の出力は、例えば、復元された圧縮定数を含むデータによりデコード処理を行う論理回路(図示せず)に接続されている。一具体例においては、データは画像データであり、デコードされたデータは、表示装置を駆動するために使用される。
【0084】
欠落/破損した圧縮定数を復元するための推定回路の他の具体例をFIG.3bに示す。上述した手法は、特別に構成された又は汎用の処理装置370により実現してもよい。メモリ390には命令が格納され、プロセッサ375は、このメモリ390にアクセスして、上述した様々な処理ステップを実行する。入力回路380は入力ビットストリームを受け取り、このビットストリームをプロセッサ375に供給する。出力回路385はデータを出力する。一具体例において、出力されるデータは、圧縮定数を復元した後にデコードされた画像データであって、例えば表示装置395等の外部装置を駆動するために十分なデータである。他の具体例においては、出力回路385は、復元された圧縮定数を出力する。復元された圧縮定数は、他の回路(図示せず)に供給され、ここでデコードされたデータが生成される。
【0085】
本発明を画像データを用いて説明したが、本発明は、他の形式の関連付けられたデータ、例えば、これらに限定されるものではないが、写真(photographs)又はその他の2次元静止画像、ホログラム又はその他の3次元静止画像、ビデオ又はその他の2次元動画像、3次元動画像、モノラル音声ストリーム、又はステレオ方式等の複数の空間的に関連するストリームに分割された音声ストリーム等に適用することができる。
【0086】
本発明を好適な実施の形態を用いて説明した。上述の説明から、様々な変更、修正、変形及び用途が当業者にとって明らかである。
【図面の簡単な説明】
【図1】 FIG.1は、本発明に基づく方法の具体例を示すフローチャートである。
【図2】 FIG.2は、本発明に基づく方法の変形例を示すフローチャートである。
【図3】 FIG.3aは、本発明に基づく推定回路の具体的構成を示し、FIG.3bは、本発明に基づく装置の変形例を示すブロック図である。

Claims (46)

  1. エンコードされたデータのブロックをデコードするのに用いられる欠落/破損した圧縮定数であって、そのエンコードされたデータのブロックにおけるその欠落/破損した圧縮定数の少なくとも1つを復元するデータ復元方法において、
    少なくとも1つの隣接するブロックのエンコードされたデータと、その隣接するブロックの少なくとも1つについての中央データ値を表す圧縮定数と、さらに、上記エンコードされたデータのブロックにおいて復元可能な他の圧縮定数とを用いて上記エンコードされたデータのブロックについての上記欠落/破損した圧縮定数を推定する(110)ステップを有するデータ復元方法。
  2. 上記エンコードされたデータは、画像データ又は音声データのいずれかであることを特徴とする請求項1記載のデータ復元方法。
  3. 上記エンコードされたデータは、画像データであり、各ブロックは、当該ブロックにおける最小のデータ値を表すMIN、中央値を表すCEN、当該ブロックのダイナミックレンジを表すDR、当該ブロックにおける最大のデータ値を表すMAXからなるグループから選択される圧縮定数を有することを特徴とする請求項1記載のデータ復元方法。
  4. 上記欠落/破損した圧縮定数は、当該ブロックのエンコードされたデータと隣接するブロックのデータ間の差分関数を用いて推定されることを特徴とする請求項1記載のデータ復元方法。
  5. 上記欠落/破損した圧縮定数は、最小二乗推定法を用いて推定されることを特徴とする請求項1記載のデータ復元方法。
  6. 上記欠落/破損した圧縮定数は、当該ブロックのデコードされた値の総和を上記隣接するブロックのデコードされた値の総和に等しくする値として推定されることを特徴とする請求項1記載のデータ復元方法(110)。
  7. 上記推定を行うステップは、Nは使用する隣接するエンコードされたデータの数を表し、MIN’は隣接するブロックのMIN値を表し、DR及びDR’はそれぞれこのブロック及び隣接するブロックのDR値を表し、Qはこのブロックをエンコードするために使用された量子化ビット数を表し、Q’は隣接するブロックをエンコードするために使用された量子化ビット数を表し、eiはエンコードされたデータ(例えば、Qコード)を表し、ei’は隣接するブロックにおけるエンコードされたデータであるようなエンコードされた隣接のデータを表すものとして、以下の式のいずれかに基づいてMINを決定するステップを有することを特徴とする請求項3記載のデータ復元方法。
    Figure 0004446321
    Figure 0004446321
  8. 上記推定を行うステップは、Nは使用する隣接するエンコードされたデータの数を表し、MIN及びMIN’はそれぞれこのブロック及び隣接するブロックのMIN値を表し、CEN及びCEN’はそれぞれこのブロック及び隣接するブロックCEN値を表し、Qはこのブロックをエンコードするために使用された量子化ビット数を表し、Q’は隣接するブロックをエンコードするために使用された量子化ビット数を表し、ei及びei’はそれぞれこのブロック及び隣接するブロックのエンコードされたデータを表し、DR’は隣接するブロックのダイナミックレンジを表すものとして、以下の式のいずれかに基づいてDRを決定するステップを有することを特徴とする請求項3記載のデータ復元方法。
    Figure 0004446321
    Figure 0004446321
    Figure 0004446321
    Figure 0004446321
  9. 上記推定を行うステップは、Nは使用する隣接するエンコードされたデータの数を表し、CEN’は隣接するブロックのCEN値を表し、DR及びDR’はそれぞれこのブロック及び隣接するブロックのDR値を表し、Qはこのブロックをエンコードするために使用された量子化ビット数を表し、Q’は隣接するブロックをエンコードするために使用された量子化ビット数を表し、eiはエンコードされたデータ(例えばQコード)を表し、ei’は隣接するブロックの隣接するエンコードされたデータを表すものとして、以下の式のいずれかに基づいてCENを決定するステップを有することを特徴とする請求項3記載のデータ復元方法。
    Figure 0004446321
    Figure 0004446321
  10. 上記欠落/破損した圧縮定数を復元するために、整数演算が使用されることを特徴とする請求項1記載のデータ復元方法。
  11. 上記MIN値は、当該ブロックからデコードされた値と、上記隣接するブロックからデコードされた値との間の差の平均値を最小にする値として推定されることを特徴とする請求項3記載のデータ復元方法。
  12. 上記DRは、当該ブロックのデコードされた値の総和を上記隣接するブロックのデコードされた値の総和に等しくする値として推定されることを特徴とする請求項3記載のデータ復元方法。
  13. 上記CENは、当該ブロックからデコードされた値と、上記隣接するブロックからデコードされた値との差の平均値を最小とする値として推定されることを特徴とする請求項3記載のデータ復元方法。
  14. 上記推定を行うステップは、ある方程式に従って実行され、その方程式の計算は、該方程式を除算処理するための分子及び分母の値を完全な精度で生成し、そして、Kを定数として、上記分子及び分母の上記値が2 K より小さくまで上記分子及び分母の上記値から最下位ビットを切り捨て、さらに、Kビットの除算を行うことにより行われることを特徴とする請求項1記載のデータ復元方法。
  15. エンコードされたデータのブロックをデコードするのに用いられる欠落/破損した圧縮定数であって、そのエンコードされたデータのブロックにおけるその欠落/破損した圧縮定数の少なくとも1つを復元するデータ復元システムにおいて、
    少なくとも1つの隣接するブロックのエンコードされたデータと、その隣接するブロックの少なくとも1つについての中央データ値を表す圧縮定数と、さらに、上記エンコードされたデータのブロックにおいて復元可能な他の圧縮定数とが入力データとして供給され、該入力データを用いて上記エンコードされたデータのブロックについての上記欠落/破損した圧縮定数の推定を行う推定回路(350)を備えるデータ復元システム。
  16. 上記推定回路は、推定論理回路、汎用目的のプロセッサ、又は、推定論理回路と汎用目的のプロセッサの組合せのいずれかから構成されることを特徴とする請求項15記載のデータ復元システム。
  17. 上記エンコードされたデータは、画像データ又は音声データのいずれかであることを特徴とする請求項15記載のデータ復元システム。
  18. 上記エンコードされたデータは、画像データであり、各ブロックは、当該ブロックにおける最小のデータ値を表すMIN、中央値を表すCEN、当該ブロックのダイナミックレンジを表すDR、当該ブロックにおける最大のデータ値を表すMAXからなるグループから選択される圧縮定数を有することを特徴とする請求項15記載のデータ復元システム。
  19. 上記欠落/破損した圧縮定数は、当該ブロックのエンコードされたデータと隣接するブロックのデータ間の差分関数を用いて推定されることを特徴とする請求項15記載のデータ復元システム。
  20. 上記欠落/破損した圧縮定数は、最小二乗推定法を用いて推定されることを特徴とする請求項15記載のデータ復元システム。
  21. 上記欠落/破損した圧縮定数は、当該ブロックのデコードされた値の総和を上記隣接するブロックのデコードされた値の総和に等しくする値として推定されることを特徴とする請求項15記載のデータ復元システム。
  22. 上記推定回路は、Nは使用する隣接するエンコードされたデータの数を表し、MIN’は隣接するブロックのMIN値を表し、DR及びDR’はそれぞれこのブロック及び隣接するブロックのDR値を表し、Qはこのブロックをエンコードするために使用された量子化ビット数を表し、Q’は隣接するブロックをエンコードするために使用された量子化ビット数を表し、eiはエンコードされたデータ(例えば、Qコード)を表し、ei’は隣接するブロックにおけるエンコードされたデータであるようなエンコードされた隣接のデータを表すものとして、以下の式のいずれかに基づいてMINを決定することを特徴とする請求項18記載のデータ復元システム。
    Figure 0004446321
    Figure 0004446321
  23. 上記推定回路は、Nは使用する隣接するエンコードされたデータの数を表し、MIN及びMIN’はそれぞれこのブロック及び隣接するブロックのMIN値を表し、CEN及びCEN’はそれぞれこのブロック及び隣接するブロックのCEN値を表し、Qはこのブロックをエンコードするために使用された量子化ビット数を表し、Q’は隣接するブロックをエンコードするために使用された量子化ビット数を表し、ei及びei’はそれぞれこのブロック及び隣接するブロックのエンコードされたデータを表し、DR’は隣接するブロックのダイナミックレンジを表すものとして、以下の式のいずれかに基づいてDRを決定することを特徴とする請求項18記載のデータ復元システム。
    Figure 0004446321
    Figure 0004446321
    Figure 0004446321
    Figure 0004446321
  24. 上記推定を行うステップは、Nは使用する隣接するエンコードされたデータの数を表し、CEN’は隣接するブロックのCEN値を表し、DR及びDR’はそれぞれこのブロック及び隣接するブロックのDR値を表し、Qはこのブロックをエンコードするために使用された量子化ビット数を表し、Q’は隣接するブロックをエンコードするために使用された量子化ビット数を表し、eiはエンコードされたデータ(例えばQコード)を表し、ei’は隣接するブロックの隣接するエンコードされたデータを表すものとして、以下の式のいずれかに基づいてCENを決定するステップを有することを特徴とする請求項18記載のデータ復元システム。
    Figure 0004446321
    Figure 0004446321
  25. 上記欠落/破損した圧縮定数を復元するために、整数演算が使用されることを特徴とする請求項15記載のデータ復元システム。
  26. 上記MIN値は、当該ブロックからデコードされた値と、上記隣接するブロックからデコードされた値との間の差の平均値を最小にする値として推定されることを特徴とする請求項18記載のデータ復元システム。
  27. 上記DRは、当該ブロックのデコードされた値の総和を上記隣接するブロックのデコードされた値の総和に等しくする値として推定されることを特徴とする請求項18記載のデータ復元システム。
  28. 上記CENは、当該ブロックからデコードされた値と、上記隣接するブロックからデコードされた値との差の平均値を最小とする値として推定されることを特徴とする請求項18記載のデータ復元システム。
  29. 上記推定回路は、推定に使用する式を除算処理するための分子及び分母の値を格納する高精度レジスタと、Kを定数として、上記分子及び分母の上記値が2K より小さくなるまで、該分子及び分母の上記値から最下位ビットを切り捨てるシフト論理回路と、Kビット除算処理を実行する除算論理回路とを備える請求項15記載のデータ復元システム。
  30. エンコードされたデータのブロックをデコードするのに用いられる欠落/破損した圧縮定数であって、そのエンコードされたデータのブロックにおけるその欠落/破損した圧縮定数の少なくとも1つを復元するステップを処理システムに実行させる実行可能な命令格納たコンピュータにより読取可能な記録媒体において、上記ステップは、少なくとも1つの隣接するブロックのエンコードされたデータと、その隣接するブロックの少なくとも1つについての中央データ値を表す圧縮定数と、さらに、上記エンコードされたデータのブロックにおいて復元可能な他の圧縮定数とを用いて、上記エンコードされたデータのブロックについての上記欠落/破損した圧縮定数の推定を行うコンピュータにより読取可能な記録媒体。
  31. 上記エンコードされたデータは、画像データ又は音声データのいずれかであることを特徴とする請求項30記載のコンピュータにより読取可能な記録媒体。
  32. 上記エンコードされたデータは、ブロックの最小のデータ値を表すMIN、中央値を表すCEN、上記ブロックのダイナミックレンジを表すDR、上記ブロックにおける最大のデータ値を表すMAXからなるグループから選択される圧縮定数を有することを特徴とする請求項30記載のコンピュータにより読取可能な記録媒体。
  33. 上記欠落/破損した圧縮定数は、当該ブロックのエンコードされたデータと隣接するブロックのデータ間の差分関数を用いて推定されることを特徴とする請求項30記載のコンピュータにより読取可能な記録媒体。
  34. 上記欠落/破損した圧縮定数は、最小二乗推定法を用いて推定されることを特徴とする請求項30記載のコンピュータにより読取可能な記録媒体。
  35. 上記欠落/破損した圧縮定数は、当該ブロックのデコードされた値の総和を上記隣接するブロックのデコードされた値の総和に等しくする値として推定されることを特徴とする請求項30記載のコンピュータにより読取可能な記録媒体。
  36. 上記処理は、Nは使用する隣接するエンコードされたデータの数を表し、MIN’は隣接するブロックのMIN値を表し、DR及びDR’はそれぞれこのブロック及び隣接するブロックのDR値を表し、Qはこのブロックをエンコードするために使用された量子化ビット数を表し、Q’は隣接するブロックをエンコードするために使用された量子化ビット数を表し、eiはエンコードされたデータ(例えば、Qコード)を表し、ei’は隣接するブロックにおけるエンコードされたデータであるようなエンコードされた隣接のデータを表すものとして、 以下の式のいずれかに基づいてMINを決定することを特徴とする請求項32記載のコンピュータにより読取可能な記録媒体。
    Figure 0004446321
    Figure 0004446321
  37. 上記処理は、Nは使用する隣接するエンコードされたデータの数を表し、MIN及びMIN’はそれぞれこのブロック及び隣接するブロックのMIN値を表し、CEN及びCEN’はそれぞれこのブロック及び隣接するブロックのCEN値を表し、Qはこのブロックをエンコードするために使用された量子化ビット数を表し、Q’は隣接するブロックをエンコードするために使用された量子化ビット数を表し、ei及びei’はそれぞれこのブロック及び隣接するブロックのエンコードされたデータを表し、DR’は隣接するブロックのダイナミックレンジを表すものとして、以下の式のいずれかに基づいてDRを決定することを特徴とする請求項32記載のコンピュータにより読取可能な記録媒体。
    Figure 0004446321
    Figure 0004446321
    Figure 0004446321
    Figure 0004446321
  38. 上記処理は、Nは使用する隣接するエンコードされたデータの数を表し、CEN’は隣接するブロックのCEN値を表し、DR及びDR’はそれぞれこのブロック及び隣接するブロックのDR値を表し、Qはこのブロックをエンコードするために使用された量子化ビット数を表し、Q’は隣接するブロックをエンコードするために使用された量子化ビット数を表し、eiはエンコードされたデータ(例えばQコード)を表し、ei’は隣接するブロックの隣接するエンコードされたデータを表すものとして、以下の式のいずれかに基づいてCENを決定することを特徴とする請求項32記載のコンピュータにより読取可能な記録媒体。
    Figure 0004446321
  39. 上記MIN値は、当該ブロックからデコードされた値と、上記隣接するブロックからデコードされた値との間の差の平均値を最小にする値として推定されることを特徴とする請求項32記載のコンピュータにより読取可能な記録媒体。
  40. 上記DRは、当該ブロックのデコードされた値の総和を上記隣接するブロックのデコードされた値の総和に等しくする値として推定されることを特徴とする請求項32記載のコンピュータにより読取可能な記録媒体。
  41. 上記CENは、当該ブロックからデコードされた値と、上記隣接するブロックからデコードされた値との差の平均値を最小とする値として推定されることを特徴とする請求項32記載のコンピュータにより読取可能な記録媒体。
  42. 上記欠落/破損した圧縮定数を復元するために、整数演算が使用されることを特徴とする請求項30記載のコンピュータにより読取可能な記録媒体。
  43. 上記推定は、ある方程式に従って実行され、その方程式は、該方程を除算処理するための分子及び分母の値完全な精度で生成し、そして、Kを定数として、上記分子及び分母のが2K以下になるまで、該分子及び分母の該値から最下位ビットを切り捨て、 Kを定数として、Kビット除算処理を実行することにより演算されることを特徴とする請求項30記載のコンピュータにより読取可能な記録媒体。
  44. エンコードされたデータのブロックをデコードするのに用いられる欠落/破損した圧縮定数であって、そのエンコードされたデータのブロックにおけるその欠落/破損した圧縮定数の少なくとも1つを復元するデータ復元装置において、
    少なくとも1つの隣接するブロックのエンコードされたデータと、その隣接するブロックの少なくとも1つについての中央データ値を表す圧縮定数と、さらに、上記エンコードされたデータのブロックにおいて復元可能な他の圧縮定数とを用いて上記エンコードされたデータのブロックについての上記欠落/破損した圧縮定数の推定を行う推定手段(110)を備えるデータ復元装置。
  45. 上記エンコードされたデータは、画像データであり、各ブロックは、当該ブロックにおける最小のデータ値を表すMIN、中央値を表すCEN、当該ブロックのダイナミックレンジを表すDR、当該ブロックにおける最大のデータ値を表すMAXからなるグループから選択される圧縮定数を有することを特徴とする請求項44記載のデータ復元装置。
  46. 上記推定は、ある方程式に従って実行され、その方程式の計算は、該方程式を除算処理するための分子及び分母の値完全な精度で生成し、そして、Kを定数として、上記分子及び分母の上記値が2K より小さくなるまで、該分子及び分母の該値から最下位ビットを切り捨て、Kビット除算処理を実行することにより行われることを特徴とする請求項44記載のデータ復元装置。
JP2000599216A 1999-02-12 2000-02-11 エンコード領域において圧縮定数を復元する装置及び方法 Expired - Fee Related JP4446321B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US09/249,596 1999-02-12
US09/249,596 US6363118B1 (en) 1999-02-12 1999-02-12 Apparatus and method for the recovery of compression constants in the encoded domain
US09/342,329 US6859493B2 (en) 1999-02-12 1999-06-29 Apparatus and method for the recovery of compression constants in the encoded domain
US09/342,329 1999-06-29
PCT/US2000/003637 WO2000048405A1 (en) 1999-02-12 2000-02-11 Apparatus and method for the recovery of compression constants in the encoded domain

Publications (2)

Publication Number Publication Date
JP2002541689A JP2002541689A (ja) 2002-12-03
JP4446321B2 true JP4446321B2 (ja) 2010-04-07

Family

ID=26940197

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000599216A Expired - Fee Related JP4446321B2 (ja) 1999-02-12 2000-02-11 エンコード領域において圧縮定数を復元する装置及び方法

Country Status (5)

Country Link
EP (1) EP1151615B1 (ja)
JP (1) JP4446321B2 (ja)
AU (1) AU2991900A (ja)
ID (1) ID30501A (ja)
WO (1) WO2000048405A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102070622B1 (ko) 2012-11-23 2020-01-29 삼성전자주식회사 동영상을 위한 양자화 테이블 추정 방법 및 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5150210A (en) * 1988-12-26 1992-09-22 Canon Kabushiki Kaisha Image signal restoring apparatus
DE69031638T2 (de) * 1989-05-19 1998-03-19 Canon Kk System zum Übertragen von Bildinformation
JP3304415B2 (ja) * 1992-02-28 2002-07-22 ソニー株式会社 ブロック変換符号の復号装置
US5481554A (en) * 1992-09-02 1996-01-02 Sony Corporation Data transmission apparatus for transmitting code data
FR2743246B1 (fr) * 1995-12-29 1998-01-23 Thomson Broadcast Systems Procede et dispositif de compression de donnees numeriques
WO1999021090A1 (en) * 1997-10-23 1999-04-29 Sony Electronics, Inc. Apparatus and method for providing robust error recovery for errors that occur in a lossy transmission environment

Also Published As

Publication number Publication date
JP2002541689A (ja) 2002-12-03
EP1151615B1 (en) 2011-11-09
WO2000048405A1 (en) 2000-08-17
AU2991900A (en) 2000-08-29
ID30501A (id) 2001-12-13
EP1151615A1 (en) 2001-11-07

Similar Documents

Publication Publication Date Title
JP4796228B2 (ja) エンコード領域において圧縮定数を復元する装置及び方法
US6931159B2 (en) Size reduction method and device for compressed images
JP2997355B2 (ja) 復号装置
US8085850B2 (en) Methods and apparatus for efficient encoding of image edges, motion, velocity, and detail
JP3540855B2 (ja) ブロック歪み補正器
JP4536908B2 (ja) Jpeg量子化値の最尤推定
JP4446321B2 (ja) エンコード領域において圧縮定数を復元する装置及び方法
US8594194B2 (en) Compression method using adaptive field data selection
JPH09307897A (ja) 画像データ圧縮処理方法
JP3896635B2 (ja) 画像データ変換装置及び方法、予測係数生成装置及び方法
JP3310633B2 (ja) 復号装置
US6178266B1 (en) Method and apparatus for the recovery of compression constants in the encoded domain
JP3627256B2 (ja) ディジタル画像信号の受信/再生装置および方法
JP3781012B2 (ja) 画像データ圧縮方法、画像データ伸長方法、および画像データ伸長回路
JPH03155280A (ja) 折り返し歪みによる画質劣化改善方式
JP3257124B2 (ja) ブロック変換符号の復号装置
JPH06296275A (ja) 画像信号符号化方法及び画像信号符号化装置
JP3469597B2 (ja) ブロック変換符号の復号装置
JPH07240920A (ja) ディジタル画像データの圧縮および伸張
JP3306971B2 (ja) ブロック変換符号の復号装置
JP2002204456A (ja) 画像符号化装置、画像符号化方法及び記録媒体
JP2000013796A (ja) 画像データ処理装置および画像データ処理方法
JPWO2001045385A1 (ja) 画像処理方法及びその装置並びに記録媒体
JPH0923426A (ja) 画像復号方法および装置
JPH06296269A (ja) 画像信号伝送方法及び画像信号伝送装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070213

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080611

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20080611

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090629

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090929

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20091006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130129

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees