KR100904329B1

KR100904329B1 - 화상 처리 장치, 화상 처리 방법, 및 기록 매체

Info

Publication number: KR100904329B1
Application number: KR20037012651A
Authority: KR
Inventors: 아끼라 스기야마; 하루오 도가시
Original assignee: 소니 가부시끼 가이샤
Priority date: 2001-03-28
Filing date: 2002-03-28
Publication date: 2009-06-23
Anticipated expiration: 2022-03-28
Also published as: JPWO2002080574A1; JP4144357B2; US20080285647A1; WO2002080574A1; EP1377071A4; US8411741B2; US7502414B2; KR20030086330A; US20040114686A1; EP1377071A1

Abstract

평탄 영역을 약간이라도 포함하는 매크로 블록에서의 모스키토 노이즈의 발생을 억제한다. 매크로 블록을 4 화소×4 라인의 서브 블록으로 세분화하고, 서브 블록마다 휘도 레벨의 평균값을 계산한다. 그리고, 서브 블록마다 휘도 레벨과 평균값과의 차분의 절대값을 구하고, 또한 그 평균 차분값을 구한다. 1 매크로 블록 중 16개의 서브 블록에 대하여 구해진 차분 평균값 중에서부터 최소의 차분 평균값을 선택하여 해당 매크로 블록의 액티비티로 결정한다. 결정된 액티비티에 기초하여 해당 매크로 블록의 양자화 스케일이 정해지고, 매크로 블록마다의 양자화가 행해진다. 8 화소×8 라인의 서브 블록을 이용하는 방법에 비하여, 서브 블록의 사이즈가 작기 때문에, 각 서브 블록의 차분 평균값의 값이 보다 강조된다. 이 차분 평균값으로부터 최소의 것을 그 매크로 블록의 액티비티로 함으로써, 평탄한 부분을 약간이라도 포함하는 매크로 블록의 액티비티를 보다 작게 억제할 수 있다. 이에 의해, 엣지를 포함하는 매크로 블록의 양자화값이 작아져서, 화상의 엣지 부분을 포함하는 매크로 블록의 모스키토 노이즈가 억제된다.

매크로 블록, 모스키토 노이즈, 휘도 레벨, 액티비티, 양자화 스케일

Description

화상 처리 장치, 화상 처리 방법, 및 기록 매체{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND RECORDING MEDIUM}

본 발명은 화상 데이터를 블록 단위로 양자화함으로써 압축 부호화를 행하는 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기록 매체에 관한 것이다.

종래부터, 화상 데이터의 압축 부호화 방식으로서, 화상 데이터를 소정 화소수로 이루어지는 블록 단위로 양자화를 행하는 것으로 압축 부호화하는 것이 알려져 있다. 예를 들면 MPEG2(Moving Pictures Experts Group 2)에서는, 이러한 압축 부호화 방식이 채용되고 있다. MPEG2에서는, 화상 데이터를 소정 화소수로 이루어지는 블록 단위로 DCT(Discrete Cosine Transform)하고, 얻어진 DCT 계수에 대하여 양자화를 행함으로써, 화상 데이터를 압축 부호화한다. MPEG2에서는, 양자화 시의 양자화 스텝이 양자화 스케일에 의해 지정되어 DCT 계수의 압축 부호화가 행해진다.

또한, 종래부터, 예를 들면 MPEG2의 압축 부호화에 있어서 압축하는 화상의 복잡함이나 원활함을 나타내는 액티비티(Activity)라는 지수를 산출하고, 이 액티 비티에 기초하는 적응 양자화를 이용하여 화질의 최적화를 도모하는 방법이 알려져 있다.

이것은 압축 처리에 의한 화질 열화가 시각적으로 눈에 띄기 쉬운, 화상이 단조롭고 원활한 영역(이하, 평탄 영역이라 함)에서는 양자화 스텝의 미세한 양자화 스케일을 이용하여 미세하게 양자화하고, 이와는 반대로, 화질 열화가 눈에 띄기 어려운 화상이 복잡한 영역에서는 양자화 스텝이 거친 양자화 스케일을 이용하여 거칠게 양자화를 행하는 방법으로, 한정된 부호량 중에서 화질의 최적화를 도모하는 유효한 방법이다.

그런데, 화상 데이터의 압축을 행하는 경우, 상술한 바와 같이 각 화상의 영역을 소정 사이즈의 화소 블록으로 분할하고, 각 블록마다 양자화나 DCT를 행하게 된다. MPEG2에 의한 규격에서는 8 화소×8 라인의 블록이 최소 처리 단위로서 규정된다. 이 8 화소×8 라인의 블록으로 DCT를 행하고, 이 DCT에 의해 얻어진 DCT 계수를, 16 화소×16 라인의 매크로 블록 단위로 양자화하도록 규정되어 있다.

한편, 상술한 액티비티의 산출을 행하는 단위로는 명확한 규정은 없지만, MPEG2의 TM5(Test Model 5)에서는 DCT 블록과 마찬가지인 8 화소×8 라인의 서브 블록으로 처리하는 것이 제안되고 있다.

이하, MPEG2의 TM5로 채용된 「시각 특성을 고려한 적응 양자화」에서의 액티비티의 산출 방법에 대하여 설명한다.

우선, 적응 양자화란, 예를 들면 1 프레임 내에서의 발생 부호량을 제어하기 위해서, 화상의 상태에 따라 다른 양자화 스케일 Qj를 이용하여 양자화를 행하도 록, 양자화 스케일 Qj를 각 매크로 블록마다의 액티비티에 의해 변화시켜서, 고화질을 달성하는 것이다. 예를 들면, 시각적으로 화질 열화가 눈에 띄기 쉬운 화상의 평탄 영역에서는, 보다 미세한 양자화 스텝을 갖는 양자화 스케일 Qj를 이용하여 양자화를 행하고, 화질 열화가 비교적 눈에 띄기 어려운 도안이 복잡한 화상 영역에서, 보다 거친 양자화 스텝을 갖는 양자화 스케일 Qj를 이용하여 양자화를 행하도록, 액티비티에 의해 양자화 스케일 Qj를 변화시킨다.

액티비티는 예측 오차가 아니라, 원화에서의 휘도 신호의 화소값을 이용하는, 프레임 DCT 부호화 모드에서의 4개의 블록과, 필드 DCT 부호화 모드에서의 4개의 블록과의 합계 8개의 블록의 화소값을 이용하여, j번째의 매크로 블록에 대하여, 이하의 수학식 1 내지 수학식 3에서 주어지는 연산을 수학식 3에서부터 수학식 1의 순서대로 행함으로써 얻어진다.

여기서, P_k는 원화의 휘도 신호 블록 내의 화소값으로, 수학식 3에서는 8×8의 블록 내의 64개의 화소값을 합계하고, 이것을 64로 나눔으로써, 화소값의 평균 값 Pavg를 구하고 있다. 다음에, 수학식 2에서는 평균값 Pavg와 P_k와의 차분을 취하여, 8×8의 블록 내의 평균 차분값 var_sblk를 산출하고 있다. 또한, 수학식 1에서 평균 차분값 var_sblk의 최소값을 채용하여, 매크로 블록의 액티비티 act_j를 구한다. 또, 여기서 최소값을 채용하는 것은 매크로 블록 내의 일부만이라도 평탄한 부분이 있는 경우에는 이 매크로 블록에 대한 양자화를 미세하게 할 필요가 있기 때문이다.

이상과 같이, MPEG2의 TM5에서는 DCT 블록과 동일한 8 화소×8 라인을 서브 블록으로 하여, 서브 블록마다 액티비티를 계산하고, 8개의 서브 블록의 액티비티 중에서 최소한의 액티비티를 선택하고, 이것을 그 매크로 블록의 액티비티로서 결정하였다.

그러나, 이 방법으로는 압축율이 높고 부호량에 여유가 없는 경우에는 유효하지만, 압축율이 낮고 부호량에 비교적 여유가 있는 경우에 이 방법을 그대로 적용하면, 화상 전체가 고화질이 된 분만큼 평탄 영역을 약간이라도 포함하는 매크로 블록에, 소위 모스키토 노이즈가 보다 눈에 띄기 쉽다는 문제점이 있었다.

모스키토 노이즈에 대하여 개략적으로 설명한다. DCT 계수의 고역 성분을 거칠게 양자화함으로써, 예를 들면 도 1A에 도시한 바와 같은 화면 내의 물체(10)의 엣지 부분(10A)에, 도 1B에 도시한 바와 같은 링잉(11)이 생긴다. 화면 내의 물체(10)의 엣지부(10A)가 움직이면, DCT 블록(12)의 구분 방법이 변하기 때문에, 이 링잉(11)의 발생의 상태가 변한다. 이것이, 마치 엣지부(10A)의 주위에 모기가 날아다니는듯한 인상을 주는 표시로 되기 때문에, 모스키토 노이즈라고 불리운다. 특히 엣지부(10A)의 주변이 평탄 영역인 경우에는 모스키토 노이즈의 발생이 현저하다.

상술된 바와 같이 화상 전체가 고화질화인 경우에, 평탄 영역에 모스키토 노이즈가 나타나면, 시각적으로 보다 눈에 띄기 쉽다. 그 때문에, 평탄 영역을 약간이라도 포함하는 매크로 블록의 양자화 스케일 Qj를 보다 미세한 양자화 스텝을 갖게 하는 것은, 특히 부호량에 여유가 있는 압축률이 낮은 부호화일 때에는 매우 유효하다.

따라서, 본 발명의 목적은 평탄 영역을 약간이라도 포함하는 매크로 블록에서의 모스키토 노이즈의 발생을 억제하는 것이 가능한 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기록 매체를 제공하는 데에 있다.

<발명의 개시>

본 발명은 상술한 과제를 해결하기 위해서, 화상 데이터에 대하여 변환 블록 단위로 변환 처리를 실시하여 변환 처리에 의한 변환 계수를 출력하는 변환 수단과, 화상 데이터에 대하여 변환 블록에 포함되는 복수의 서브 블록 단위로 액티비티를 산출하고, 서브 블록 각각의 액티비티로부터 복수의 변환 블록으로 구성되는 블록의 액티비티를 출력하는 액티비티 검출 수단과, 액티비티 검출 수단으로부터 출력된 액티비티에 기초하여 블록의 양자화 스케일을 결정하고, 양자화 스케일을 이용하여 변환 수단으로부터 출력된 변환 계수를 양자화하는 양자화 수단을 갖는 것을 특징으로 하는 화상 처리 장치이다.

또한, 본 발명은 화상 데이터에 대하여 블록 단위로 변환 처리를 실시하여 변환 처리에 의한 변환 계수를 출력하는 변환 단계와, 화상 데이터에 대하여 변환 블록에 포함되는 복수의 서브 블록 단위로 액티비티를 산출하고, 서브 블록 각각의 액티비티로부터 복수의 변환 블록으로 구성되는 블록의 액티비티를 출력하는 액티비티 검출 단계와, 액티비티 검출 단계로부터 출력된 액티비티에 기초하여 블록의 양자화 스케일을 결정하고, 양자화 스케일을 이용하여 변환 단계로부터 출력된 변환 계수를 양자화하는 양자화 단계를 포함하는 것을 특징으로 하는 화상 처리 방법이다.

또한, 본 발명은 입력된 화상 데이터를 블록 단위로 양자화하는 화상 처리 방법을 컴퓨터 장치에 실행시키는 화상 처리 프로그램으로서, 화상 처리 방법은 화상 데이터에 대하여 변환 블록에 포함되는 복수의 서브 블록 단위로 액티비티를 산출하고, 서브 블록 각각의 액티비티로부터 복수의 변환 블록으로 구성되는 블록의 액티비티를 출력하는 액티비티 검출 단계와, 액티비티 검출 단계로부터 출력된 액티비티에 기초하여 블록의 양자화 스케일을 결정하고, 양자화 스케일을 이용하여 변환 단계로부터 출력된 변환 계수를 양자화하는 양자화 단계를 포함하는 것을 특징으로 하는 화상 처리 프로그램이다.

또한, 본 발명은 입력된 화상 데이터를 블록 단위로 양자화하는 화상 처리 방법을 컴퓨터 장치에 실행시키는 화상 처리 프로그램을 기록한 기록 매체로서, 화상 처리 방법은 화상 데이터에 대하여 변환 블록에 포함되는 복수의 서브 블록 단위로 액티비티를 산출하고, 서브 블록 각각의 액티비티로부터 복수의 변환 블록으로 구성되는 블록의 액티비티를 출력하는 액티비티 검출 단계와, 액티비티 검출 단계로부터 출력된 액티비티에 기초하여 블록의 양자화 스케일을 결정하고, 양자화 스케일을 이용하여 변환 단계로부터 출력된 변환 계수를 양자화하는 양자화 단계를 포함하는 것을 특징으로 하는 기록 매체이다.

상술한 바와 같이, 본 발명은 화상 데이터에 대하여 변환 블록 단위로 변위 처리를 실시하여 변환 처리에 의한 변환 계수를 출력함과 함께, 화상 데이터에 대하여 변환 블록에 포함되는 복수의 서브 블록 단위로 산출된 액티비티를 이용하여 출력된, 복수의 변환 블록으로 구성되는 블록의 액티비티에 기초하여 블록의 양자화 스케일을 결정하고, 양자화 스케일에 의해 변환 계수를 양자화하도록 하고 있기 때문에, 각 서브 블록의 액티비티가 보다 강조되고, 적응 양자화에 의한 화질이 최적화된다.

도 1A 및 도 1B는 모스키토 노이즈에 대하여 설명하기 위한 도면.

도 2A 및 도 2B는 본 발명에 따른 액티비티 검출을 설명하기 위한 도면.

도 3A 및 도 3B는 MPEG2의 TM5에 의한 액티비티 검출을 설명하기 위한 도면.

도 4는 실제의 화상에서의 액티비티의 산출 결과에 대하여 설명하기 위한 샘플 화상.

도 5는 MPEG2의 TM5에 의한 액티비티의 화상 내에서의 일례의 분포를 도시하는 개략선도.

도 6은 본 발명에 따른 액티비티의 화상 내에서의 일례의 분포를 도시하는 개략선도.

도 7A 및 도 7B는 본 발명의 실시의 일 형태가 적용된 디지털 VTR의 일례의 구성을 도시하는 블록도.

도 8A, 도 8B 및 도 8C는 MPEG 인코더의 일례의 구성을 보다 구체적으로 도시하는 블록도.

도 9A, 도 9B 및 도 9C는 MPEG 인코더의 각부에서 전송되는 스트림의 구성예를 도시하는 개략선도.

도 10A, 도 10B 및 도 10C는 MPEG 인코더의 각부에서 전송되는 스트림의 구성예를 도시하는 개략선도.

도 11A 및 도 11B는 MPEG 인코더의 각부에서 전송되는 스트림의 구성예를 도시하는 개략선도.

도 12A 및 도 12B는 MPEG 인코더의 각부에서 전송되는 스트림의 구성예를 도시하는 개략선도.

도 13A, 도 13B 및 도 13C는 MPEG 인코더의 각부에서 전송되는 스트림의 구성예를 도시하는 개략선도.

도 14A, 도 14B 및 도 14C는 MPEG 인코더의 각부에서 전송되는 스트림의 구성예를 도시하는 개략선도.

도 15는 MPEG 인코더의 각부에서 전송되는 스트림의 구성예를 도시하는 개략선도.

도 16A 및 도 16B는 서브 블록화부에 의한 매크로 블록의 세분화의 일례의 처리를 도시하는 개략선도.

도 17A, 도 17B 및 도 17C는 DCT 모드가 결정된 후의 서브 블록화부에 의한 매크로 블록의 세분화의 일례의 처리를 도시하는 개략선도.

도 18은 서브 블록화부 및 액티비티부의 일례의 구성을 도시하는 개략선도.

도 19는 MPEG 인코더의 처리를 소프트웨어로 행하는 경우의 일례의 흐름도.

<발명을 실시하기 위한 최량의 형태>

이하, 본 발명의 실시의 일 형태에 대하여 설명한다. 본 발명에서는, 예를 들면 부호화 단위인 16 화소×16 라인의 매크로 블록이 4 분할된, 8 화소×8 라인의 블록으로 DCT(Discrete Cosine Transform)를 행하고, 얻어진 DCT 계수를 양자화 스케일에 기초하여 양자화할 때에, 매크로 블록을 예를 들면 4 화소×4 라인의 서브 블록으로 분할하고, 분할된 서브 블록 각각에 대하여 액티비티를 검출한다. 그리고, 검출된 액티비티에 기초하여 매크로 블록마다의 액티비티를 결정한다. 이 액티비티에 기초하여 매크로 블록마다 양자화 스케일을 정하여 매크로 블록의 적응 양자화를 행한다.

도 2A 및 도 2B 및 도 3A 및 도 3B를 이용하여, 본 발명에 따른 액티비티 검출의 방법을, 상술한 종래 기술인 MPEG2의 TM5와 대비시키면서 설명한다. 도 2A 및 도 2B는 본 발명에 따른 액티비티 검출을 설명하기 위한 도면이다. 도 2A에서 16 화소×16 라인으로 이루어지는 매크로 블록에 대하여 문자 「3」이 표시되어 있다. 여기서는 검게 빈틈없이 칠해진 (■) 화소의 화소값을 「16」, 흰색 그대로인 (□) 화소의 화소값을 「0」으로 한다. 또한, 화소값은 그 화소의 휘도 레벨을 나 타내는 것으로 한다.

본 발명에서는, 이하의 수순에 따라 매크로 블록의 액티비티를 검출한다. 우선, 16 화소×16 라인으로 이루어지는 매크로 블록을, 4 화소×4 라인의 서브 블록으로 분할하고, 수학식 4에 의해 서브 블록마다 휘도 레벨 Yk의 평균값 P를 구한다.

다음에, 수학식 5에 의해, 4 화소×4 라인의 서브 블록 각각에 대하여, 서브 블록의 각 위치의 화소마다 휘도 레벨 Yk와 해당 서브 블록의 평균값 P와의 차분의 절대값을 구하고, 또한 서브 블록마다 그 차분값의 절대값의 평균을 취하여 평균 차분값 var_sblk를 구한다.

1 매크로 블록은 4 화소×4 라인의 서브 블록이 16개로 구성된다. 이 1 매크로 블록을 구성하는 16개의 서브 블록의 평균 차분값 var_sblk 중에서 최소의 평균 차분값 var_sblk를 선택하여, 해당 매크로 블록의 액티비티 act로 결정한다(수학식 6).

보다 구체적으로는, 도 2A에 도시된 바와 같이, 우선 16 화소×16 라인으로 이루어지는 매크로 블록을 4 화소×4 라인으로 이루어지는 서브 블록으로 분할한다. 그리고, 수학식 4에 의해, 분할된 각각의 서브 블록에 대하여, 휘도 레벨 Yk의 평균값 P가 구해진다. 예를 들면 도 2A의 좌측 위쪽 코너의 서브 블록에서는 휘도 레벨=16의 화소가 2개, 휘도 레벨=0의 화소가 14개 있으므로, 평균값 P=(16×2+0×14)/16=2가 된다.

다음에, 수학식 5에 의해 수학식 4에서 구해진 평균값 P와 해당 서브 블록의 각 화소의 휘도 레벨치와의 차분의 절대값이 각각 구해지고, 차분 평균값 var_sblk가 계산된다. 도 2A의 좌측 위쪽 코너의 서브 블록의 예에서는 차분 평균값 var_{_}sblk={abs(16-2)×2+abs(0-2)×14}/16=3.5가 된다.

도 2B는 이들 수학식 4 및 수학식 5에 의한 계산을 1 매크로 블록의 각 서브 블록에 대하여 행한 결과를 나타낸다. 또, 도 2B에서는 차분 평균값 var_sblk가 「var」로서 기록되어 있다. 서브 블록마다 차분 평균값 var_sblk가 구해지고 있다. 그 중에서, 상술한 수학식 6에 나타낸 바와 같이, 최소의 차분 평균값 var_sblk가 선택된다. 도 2B의 예에서는 좌측에서부터 2열째, 위에서부터 3행째의 서브 블록의 차분 평균값 var_sblk가 「0」으로, 최소로 되어 있다. 그래서, 해당 매크로 블록의 액티비티 act를 「0」으로 결정한다.

도 3A 및 도 3B는 MPEG2의 TM5에 의한 액티비티 검출을 설명하기 위한 도면이다. 16 화소×16 라인에 표시되는 화상(문자 「3」)은 상술한 도 2A와 동일하 다. 이 MPEG2의 TM5에서는 도 3A에 도시된 바와 같이, 16 화소×16 라인으로 이루어지는 매크로 블록이 4 분할된, 8 화소×8 라인의 서브 블록에 기초하여 액티비티가 검출된다.

도 3A의 좌측 위쪽의 서브 블록을 예로 들어 설명한다. 우선, 종래 기술에서 설명한 수학식 3에 의해, 8 화소×8 라인으로 이루어지는 서브 블록에서의 각 화소의 휘도 레벨의 평균값 P_k가 구해진다. 이 예에서는, 휘도 레벨=16의 화소가 8개 있고, 그 외의 화소가 휘도 레벨=0이기 때문에, 평균값 P_k=(16×8+0×56)/64=2가 된다. 다음에, 상술한 수학식 2에 의해, 해당 서브 블록에서의 차분 평균값 var_sblk가 var_sblk={abs(16-2)×8+abs(0-2)×56}/64=3.5가 된다.

도 3B는 이 수학식 3 및 수학식 2에 의한 계산을 1 매크로 블록의 각 서브 블록에 대하여 행한 결과를 나타낸다. 또, 도 3B에서는 차분 평균값 var_sblk가 「var」로서 기록되어 있다. 서브 블록마다 구해진 차분 평균값 var_sblk에서 최소의 차분 평균값 var_sblk=3.1이 선택되고, 해당 매크로 블록의 액티비티 act가 「3.1」로 결정된다.

이와 같이, 평탄 부분을 약간이라도 포함하는 매크로 블록에 대하여 본 발명에 따른 액티비티의 계산 방법을 적용함으로써, 해당 매크로 블록의 액티비티값을, 종래 기술인 MPEG2의 TM5에 의한 값보다 작게 억제할 수 있다. 즉, 본 발명에서는 매크로 블록을, MPEG2의 TM5에 의한 서브 블록의 사이즈보다도 작은 사이즈의 서브 블록으로 분할하고 있기 때문에, 매크로 블록 중의 평탄 부분을 검출할 수 있는 확 률이 높아진다. 그 때문에, 문자, 화상의 윤곽부 등의, 소위 엣지부를 포함하는 매크로 블록의 액티비티를 억제할 수 있어, 모스키토 노이즈를 억제할 수 있다.

도 4, 도 5 및 도 6을 이용하여, 실제의 화상에서의 액티비티의 산출 결과에 대하여 설명한다. 도 4에 도시되는 샘플 화상은 전체적으로 평탄한 구성으로 되어, 특히 배경부에 그려지는 각 도면의 경계부나 캘린더의 문자부에 엣지가 존재한다.

도 5 및 도 6은 이 도 4의 샘플 화상에서의 MPEG2의 TM5에 의한 액티비티와, 본 발명에 따른 액티비티의 화상 내에서의 분포를 각각 도시한다. 이들 도 5 및 도 6에서, 도면 중 「●(흑색 동그라미)」는 그 직경이 화상 내의 대응하는 위치(매크로 블록)의 액티비티의 값에 대응한다.

도 5에 도시되는 MPEG2의 TM5에 의한 액티비티와, 도 6에 도시되는 본 발명에 따른 액티비티를 비교하면, 본 발명에 따른 액티비티는 MPEG2의 TM5에 의한 액티비티에 비하여, 전체적으로 작은 값으로 억제되어 있는 것을 알 수 있다. 예를 들면, 우측 중앙에서의 캘린더의 부분(X=42 부근, Y=18∼23 부근)을 보면, 도 5에서는 평탄부 중에 극단적으로 큰 액티비티의 매크로 블록이 존재하는 것을 알 수 있다. 그 부분에서는 거친 양자화가 행해져, 모스키토 노이즈가 현저해진다고 생각된다. 이에 대하여, 도 6의 본 발명에 따른 결과에서는 캘린더부에서 전체적으로 액티비티가 작게 억제되어 있는 것을 알 수 있다. 이에 의해, 미세한 양자화가 행해져, 모스키토 노이즈가 보다 눈에 띄지 않게 된다.

도 7A 및 도 7B는 본 발명의 실시의 일 형태가 적용된 디지털 VTR의 일례의 구성을 나타낸다. 이 디지털 VTR은 MPEG 방식에 의해 압축 부호화된 디지털 비디오 신호를 기록 매체에 직접적으로 기록할 수 있게 한 것이다.

우선, 이 디지털 VTR에서의 기록계의 구성 및 처리 동작에 대하여 설명한다. 이 기록계에 외부로부터 입력되는 신호는 SDI(Serial Data Interface) 신호 및 SDTI(Serial Data Transport Interface) 신호의 2 종류의 직렬 디지털 인터페이스 신호, 아날로그 인터페이스 신호 및 제어 신호인 외부 기준 신호 REF이다.

또, SDI는 (4 : 2 : 2) 콤포넌트 비디오 신호와 디지털 오디오 신호와 부가적 데이터를 전송하기 위해서, SMPTE에 의해 규정된 인터페이스이다. 또한, SDTI는 디지털 비디오 신호가 MPEG 방식으로 압축 부호화된 스트림인 MPEG 엘리멘터리 스트림(이하, MPEG ES라고 칭함)이 전송되는 인터페이스이다. ES는 4 : 2 : 2의 콤포넌트이고, 또한 상술한 바와 같이, 전부 I 픽쳐의 스트림이고, 1GOP=1픽쳐의 관계를 갖는다. SDTI-CP(Content Package)의 포맷에서는 MPEG ES가 액세스 유닛으로 분리되고, 또한 프레임 단위의 패킷에 패킹되어 있다. SDTI-CP에서는 충분한 전송 대역(클럭 레이트로 27㎒ 또는 36㎒, 스트림 비트 레이트로 270Mbps 또는 360Mbps)을 사용하고 있어, 1 프레임 기간에 버스트적으로 ES를 보내는 것이 가능하다.

SDI에 의해 전송되는 SDI 신호는 SDI 입력부(101)에 입력된다. 또한, 아날로그 비디오 신호로 이루어지는 아날로그 입력 신호가 아날로그 입력부(120)에 입력된다. 아날로그 입력부(120)에서는 입력된 아날로그 입력 신호를 디지털 신호로 변환하고, 예를 들면 상술한 SDI 포맷으로 맵핑하여 출력한다. 아날로그 입력 신 호가 변환되어 SDI 포맷으로 맵핑된 이 SDI 신호는 SDI 입력부(101)에 공급된다.

SDI 입력부(101)에서는 공급된 SDI 신호를 직렬 신호로부터 병렬 신호로 변환하여 출력함과 함께, SDI 신호에 포함되는 입력의 위상 기준인 입력 동기 신호를 추출하여, 타이밍 제너레이터 TG(102)에 출력한다.

또한, SDI 입력부(101)는 변환한 병렬 신호로부터 비디오 신호와 오디오 신호를 분리한다. 분리된 비디오 입력 신호와 오디오 입력 신호는 각각 MPEG 인코더(103)와 딜레이 회로(104)에 출력된다.

타이밍 제너레이터 TG(102)는 입력된 외부 기준 신호 REF로부터 기준 동기 신호를 추출한다. 타이밍 제너레이터 TG에서는 이 기준 동기 신호와 SDI 입력부(101)로부터 공급된 입력 동기 신호 중에서, 소정으로 지정된 기준 신호에 동기하여 이 디지털 VTR에서 필요한 타이밍 신호를 생성하고, 타이밍 펄스로서 각 블록에 공급한다.

MPEG 인코더(103)는 입력된 비디오 입력 신호를 DCT 변환하여 계수 데이터로 변환하고, 계수 데이터를 양자화한 후, 가변 길이 부호화한다. MPEG 인코더(103)로부터 출력되는 가변 길이 부호화(VLC) 데이터는 MPEG2에 준거한 엘리멘터리 스트림(ES)이다. 이 출력은 기록측의 멀티 포맷 컨버터(이하, 기록측 MFC라고 칭함)(106)의 한쪽의 입력단에 공급된다.

딜레이 회로(104)는 입력된 오디오 입력 신호를 비압축 데이터 그대로, MPEG 인코더(103)에서의 비디오 신호에 대한 처리의 딜레이에 맞추기 위한 딜레이 라인의 기능을 하는 것이다. 이 딜레이 회로(104)에서 소정으로 지연된 오디오 신호는 ECC 인코더(107)에 출력된다. 이것은 이 실시의 일 형태에 따른 디지털 VTR에서 오디오 신호가 비압축 신호로서 취급되기 때문이다.

외부로부터 SDTI에 의해 전송되어 공급된 SDTI 신호는 SDTI 입력부(105)에 입력된다. SDTI 신호는 SDTI 입력부(105)에서 동기 검출된다. 그리고, 버퍼에 일단 저장해두고, 엘리멘터리 스트림이 추출된다. 추출된 엘리멘터리 스트림은 기록측 MFC(106)의 다른 쪽의 입력단에 공급된다. 동기 검출되어 얻어진 동기 신호는, 상술한 타이밍 제너레이터 TG(102)에 공급된다(도시하지 않음).

또, SDTI 입력부(105)에서는 또한 입력된 SDTI 신호로부터 디지털 오디오 신호를 추출한다. 추출된 디지털 오디오 신호는, ECC 인코더(107)에 공급된다.

이와 같이, 이 실시의 일 형태에 따른 디지털 VTR은 SDI 입력부(101)로부터 입력되는 기저 대역의 비디오 신호와 독립하여, MPEG ES를 직접적으로 입력할 수 있다.

기록측 MFC 회로(106)는 스트림 컨버터와 셀렉터를 갖고, SDI 입력부(101) 및 SDI 입력부(105)로부터 공급된 MPEG ES 중 어느 하나가 선택되고, 선택된 MPEG ES의 DCT 계수를, 1 매크로 블록을 구성하는 복수의 DCT 블록을 통하여 주파수 성분별로 통합하여, 통합한 주파수 성분을 저주파수 성분으로부터 순서대로 재배열한다. MPEG ES의 계수가 재배열된 스트림을 이하 변환 엘리멘터리 스트림이라고 칭한다. 이와 같이 MPEG ES를 재배치함으로써, 검색 재생 시에도 되도록이면 많은 DC 계수와 저차의 AC 계수를 취하여, 검색 화상의 품위 향상에 공헌한다. 변환 엘리멘터리 스트림은 ECC 인코더(107)에 공급된다.

ECC 인코더(107)는, 대용량의 메인 메모리가 접속되고(도시하지 않음), 패킹 및 셔플링부, 오디오용 외부호 인코더, 비디오용 외부호 인코더, 내부호 인코더, 오디오용 셔플링부 및 비디오용 셔플링부 등을 내장한다. 또한, ECC 인코더(107)는 싱크 블록 단위로 ID를 부가하는 회로나 동기 신호를 부가하는 회로를 포함한다. 또, 실시의 제1 형태에서는 비디오 신호 및 오디오 신호에 대한 에러 정정 부호로서는 프로덕트(積) 부호가 사용된다. 프로덕트 부호는 비디오 신호 또는 오디오 신호의 2차원 배열의 세로 방향으로 외부호의 부호화를 행하고, 그 가로 방향으로 내부호의 부호화를 행하고, 데이터 심볼을 2중으로 부호화하는 것이다. 외부호 및 내부호로서는 리드 솔로몬 코드(Reed-Solomon code)를 사용할 수 있다.

ECC 인코더(107)에는 MFC 회로(106)로부터 출력된 변환 엘리멘터리 스트림이 공급됨과 함께, SDTI 입력부(105) 및 딜레이 회로(104)로부터 출력된 오디오 신호가 공급된다. ECC 인코더(107)에서는 공급된 변환 엘리멘터리 스트림 및 오디오 신호에 대하여 셔플링 및 에러 정정 부호화를 실시하고, 싱크 블록마다 ID 및 동기 신호를 부가하여 기록 데이터로서 출력한다.

ECC 인코더(107)로부터 출력된 기록 데이터는 기록 증폭기를 포함하는 이퀄라이저 EQ(108)에서 기록 RF 신호로 변환된다. 기록 RF 신호는 회전 헤드가 소정으로 설치된 회전 드럼(109)에 공급되어, 자기 테이프(110) 상에 기록된다. 회전 드럼(109)에는 실제로는 인접하는 트랙을 형성하는 헤드의 아지머스가 서로 다른 복수의 자기 헤드가 부착되어 있다.

기록 데이터에 대하여 필요에 따라 스크램블 처리를 행해도 된다. 또한, 기 록 시에 디지털 변조를 행해도 되고, 또한 파셜 응답 클래스(4)와 비터비 부호를 사용해도 된다. 또, 이퀄라이저(108)는 기록측의 구성과 재생측의 구성을 모두 포함한다.

다음에, 이 디지털 VTR에서의 재생계의 구성 및 처리 동작에 대하여 설명한다. 재생 시에는 자기 테이프(110)로부터 회전 드럼(109)으로 재생된 재생 신호가 재생 증폭기 등을 포함하는 이퀄라이저(108)의 재생측의 구성에 공급된다. 이퀄라이저(108)에서는 재생 신호에 대하여 등화나 파형 정형 등이 이루어진다. 또한, 디지털 변조의 복조, 비터비 복호 등이 필요에 따라 이루어진다. 이퀄라이저(108)의 출력은 ECC 디코더(111)에 공급된다.

ECC 디코더(111)는 상술한 ECC 인코더(107)와 반대의 처리를 행하는 것으로, 대용량의 메인 메모리와, 내부호 디코더, 오디오용 및 비디오용 각각의 디셔플링부 및 외부호 디코더를 포함한다. 또한, ECC 디코더(111)는 비디오용으로서, 디셔플링 및 디패킹부, 데이터 보간부를 포함한다. 마찬가지로, 오디오용으로서, 오디오 AUX 분리부와 데이터 보간부를 포함한다.

ECC 디코더(111)에서는 재생 데이터에 대하여 동기 검출을 행하고, 싱크 블록의 선두에 부가되어 있는 동기 신호를 검출하여 싱크 블록을 추출한다. 재생 데이터는 싱크 블록마다의 내부호의 에러 정정이 이루어지고, 그 후 싱크 블록에 대하여 ID 보간 처리가 이루어진다. ID가 보간된 재생 데이터는 비디오 데이터와 오디오 데이터로 분리된다. 비디오 데이터 및 오디오 데이터는 각각 디셔플링 처리되어, 기록 시에 셔플링된 데이터순이 원래대로 복귀된다. 디셔플링된 데이터에 대해서는 각각 외부호의 에러 정정이 행해진다.

ECC 디코더(111)에서 에러 정정 능력을 넘어, 정정할 수 없는 에러가 있는 데이터에 대해서는 에러 플래그가 세트된다. 여기서 비디오 데이터의 에러에 관해서는 에러를 포함하는 데이터를 지시하는 신호 ERR이 출력된다.

에러 정정된 재생 오디오 데이터는 SDTI 출력부(115)에 공급됨과 함께, 딜레이 회로(114)에서 소정의 지연이 주어져 SDI 출력부(116)에 공급된다. 딜레이 회로(114)는, 후술하는 MPEG 디코더(113)에서의 비디오 데이터의 처리에 의한 지연을 흡수하기 위해 설치된다.

한편, 에러 정정된 비디오 데이터는 재생 변환 엘리멘터리 스트림으로서 재생측 MFC 회로(112)에 공급된다. 상술한 신호 ERR도 재생측 MFC 회로(112)에 공급된다. 재생측 MFC(112)는 상술한 기록측 MFC(106)와 반대의 처리를 행하는 것으로써, 스트림 컨버터를 포함한다. 스트림 컨버터에서는 기록측의 스트림 컨버터와 반대의 처리가 이루어진다. 즉, DCT 블록에 걸쳐 주파수 성분마다 배열되어 있는 DCT 계수를 DCT 블록별로 재배열한다. 이에 의해, 재생 신호가 MPEG2에 준거한 엘리멘터리 스트림으로 변환된다. 이 때, ECC 디코더(111)로부터 신호 ERR이 공급된 경우에는 대응하는 데이터를 MPEG2에 완전히 준거하는 신호로 치환하여 출력한다.

재생측 MFC 회로(112)로부터 출력된 MPEG ES는 MPEG 디코더(113) 및 SDTI 출력부(115)에 공급된다. MPEG 디코더(113)는 공급된 MPEG ES를 복호하여, 비압축의 원래의 비디오 신호로 복귀한다. 즉, MPEG 디코더(113)는 공급된 MPEG ES에 대하여 역 양자화 처리와 역 DCT 처리를 실시한다. 복호된 비디오 신호는 SDI 출력부(116)에 공급된다.

상술한 바와 같이, SDI 출력부(116)에는 ECC 디코더(111)에서 비디오 데이터와 분리된 오디오 데이터가 딜레이(114)를 통하여 공급되어 있다. SDI 출력부(116)에서는 공급된 비디오 데이터와 오디오 데이터를 SDI의 포맷으로 맵핑하여, SDI 포맷의 데이터 구조를 갖는 SDI 신호로 변환한다. 이 SDI 신호가 외부로 출력된다.

한편, SDTI 출력부(115)에는 상술한 바와 같이, ECC 디코더(111)로 비디오 데이터와 분리된 오디오 데이터가 공급되어 있다. SDTI 출력부(115)에서는 공급된 엘리멘터리 스트림으로서의 비디오 데이터와, 오디오 데이터를 SDTI의 포맷으로 맵핑하며, SDTI 포맷의 데이터 구조를 갖는 SDTI 신호로 변환되는 이 SDTI 신호가 외부로 출력된다.

또, 시스템 컨트롤러(117)(도 7A 및 도 7B 중에서는, 시스템 컨트롤러(117)라고 약기함)는, 예를 들면 마이크로 컴퓨터로 이루어지고, 신호 SY_IO에 의해 각 블록과 통신을 행함으로써, 이 디지털 VTR 전체의 동작을 제어한다. 서보(118)는 신호 SY_SV에 의해 시스템 컨트롤러(117)와 서로 통신을 행하면서, 신호 SV_IO에 의해 자기 테이프(110)의 주행 제어나 회전 드럼(109)의 구동 제어 등을 행한다.

도 8A, 도 8B 및 도 8C는 상술한 MPEG 인코더(103)의 일례의 구성을 보다 구체적으로 도시한다. 또한, 도 8A, 도 8B 및 도 8C의 각 부에서 전송되는 스트림의 구성 예를, 도 9A, 도 9B 및 도 9C, 도 10A, 도 10B 및 도 10C, 도 11A 및 도 11B, 도 12A 및 도 12B, 도 13A, 도 13B 및 도 13C, 도 14A, 도 14B 및 도 14C, 및 도 15에 각각 도시한다.

MPEG 인코더(103)는 입력 필드 액티비티 평균화 처리부(103A), 프리 인코드 처리부(103B) 및 인코드부(103C)로 이루어진다. 입력 필드 액티비티 평균화 처리부(103A)에서는 입력된 비디오 데이터의 액티비티의 평균값이 구해져 프리 인코드 처리부(103B)로 전달된다. 프리 인코드 처리부(103B)에서는 이 액티비티의 평균값을 이용하여 입력 비디오 데이터의 양자화에 의한 발생 부호량이 예측된다. 이 예측 결과에 기초하여, 인코드부(103C)에서 부호량 제어하면서 입력 비디오 데이터에 대한 실제의 양자화가 행해지고, 양자화된 비디오 데이터에 대하여 또한 가변 길이 부호화가 이루어져, MPEG ES가 되어 출력된다.

또, 타이밍 제너레이터 TG(220)는, 예를 들면 도 7의 타이밍 제너레이터 TG(102)로부터 공급된 수평 동기 신호 HD, 수직 동기 신호 VD 및 필드 동기 신호 FLD에 기초하여, MPEG 인코더(103) 내에서 필요한 타이밍 신호를 생성하여 출력한다. 또한, CPU I/F 블록(221)은 도 7의 시스템 컨트롤러(117)와의 인터페이스로, CPU I/F 블록(221)을 통하여 교환된 제어 신호나 데이터에 의해 MPEG 인코더(103)에서의 동작이 제어된다.

우선, 입력 필드 액티비티 평균화 처리부(103A)의 처리에 대하여 설명한다. SDI 입력부(101)로부터 출력되어 MPEG 인코더(103)에 입력된 비디오 데이터는 입력부(201)에 공급되어, 메인 메모리(203)에 저장하는데 적합한 인터페이스로 변환됨 과 함께, 패리티 체크가 이루어진다. 입력부(201)로부터 출력된 비디오 데이터는 헤더 작성부(202)에 공급되어, 수직 블랭킹 구간 등을 이용하여 MPEG에서의 sequence_header, quantizer_matrix, gop_header 등의 각 헤더가 추출된다. 추출된 각 헤더는 메인 메모리(203)에 저장된다. 이들의 헤더는 주로 CPU I/F 블록(221)으로부터 지정된다. 또한, 헤더 작성부(202)에서, 수직 블랭킹 구간 이외에서는 입력부(201)로부터 공급된 비디오 데이터가 메인 메모리(203)에 저장된다.

메인 메모리(203)는 화상의 프레임 메모리로, 비디오 데이터의 재배열이나 시스템 딜레이의 흡수 등이 행해진다. 비디오 데이터의 재배열은, 예를 들면 도시되지 않은 어드레스 컨트롤러에 의해 메인 메모리(203)로부터의 판독 어드레스가 제어됨으로써 이루어진다. 또, 도면 중, 메인 메모리(203)의 블록 중에 기재되는 8 라인, 0.5 프레임 및 1 프레임은 딜레이값으로, 메인 메모리(203)로부터의 리드 타이밍이 나타난다. 이들은 타이밍 제너레이터 TG(220)의 명령에 기초하여 적절하게 제어된다.

래스터 스캔/블록 스캔 변환부(204)는 라인별로 메인 메모리(203)에 저장된 비디오 데이터를, MPEG에서 취급되는 매크로 블록별로 추출하여 후단의 서브 블록화부(230)로 보낸다. 이 실시의 일 형태에서는, 제1 필드만을 이용하여 액티비티의 계산을 행하기 때문에, 래스터 스캔/블록 스캔 변환부(204)로부터 출력되는 매크로 블록은 제1 필드의 비디오 데이터에 의해 구성된다.

래스터 스캔/블록 스캔 변환부(204)로부터 출력 데이터로서 출력된 스트림은, 도 9A에 일례가 도시된 바와 같이, 수직 및 수평 방향의 매크로 블록의 어드레스 정보가 선두에 배치되고, 소정 사이즈의 빈 영역의 뒤에, 1 매크로 블록분의 화 상 데이터가 저장된다.

또, 스트림은, 예를 들면 8 비트를 1 워드로 하여, 576 워드의 데이터 길이를 갖고, 후반의 512 워드(데이터부라고 칭함)가 1 매크로 블록분의 화상 데이터를 저장하는 영역에 할당되어 있다. 전반의 64 워드(헤더부라고 칭함)는 선두에 상술한 매크로 블록의 어드레스 정보가 저장되고, 그 외의 부분은 후단의 각부에서 기입되는 데이터나 플래그 등을 위해 비어 있는 영역이 된다.

MPEG에서 취급되는 매크로 블록은, 16 화소×16 라인의 매트릭스이다. 한편, 이 입력 필드 액티비티 평균화 처리부(103A)에서는 도 16A 및 도 16B를 이용하여 후술하는 바와 같이, 제1 필드에 의해서만 액티비티를 구하는 처리를 행한다. 그 때문에, 제1 필드의 8 라인까지가 메인 메모리(203)에 저장된 시점에서 처리를 개시할 수 있다. 또, 실제로는 타이밍 제너레이터 TG(220)로부터의 명령으로써 처리가 적절하게 개시된다.

서브 블록화부(230)에서는, 래스터 스캔/블록 스캔 변환부(204)로부터 공급된 1 필드분의 매크로 블록을 서브 블록으로 세분화한다. 도 16A 및 도 16B는 이 서브 블록화부(230)에 의한 매크로 블록의 세분화의 일례의 처리를 도시한다. 래스터 스캔/블록 스캔 변환부(204)로부터 공급된 매크로 블록은 도 16A에 일례가 도시된 바와 같이, 8 화소×8 라인의 DCT 블록 4개로 이루어진다. 또한, 입력 필드 액티비티 평균화 처리부(103A)에서는 제1 필드만을 이용하여 평균 액티비티를 구하기 때문에, 실제로는 사선으로 빈틈없이 칠해진 제2 필드의 라인의 데이터는 존재하지 않는다.

이 16 화소×16 라인의 매크로 블록을, 도 16B의 좌측에 도시된 바와 같이, 4 화소×4 라인의 서브 블록으로 세분화한다. 최종적으로는, 도 16B의 우측에 도시된 바와 같이, 제1 필드의 데이터만으로 이루어지는 4 화소×2 라인의 서브 블록이 16개 형성된다.

서브 블록부(230)의 출력은 액티비티부(205)에 공급된다. 액티비티부(205)에서는 서브 블록 단위로 공급된 데이터에 기초하여, 제1 필드에서의 매크로 블록마다의 액티비티 field_act가 구해진다. 우선, 수학식 7에 의해, 4 화소×2 라인의 서브 블록마다 서브 블록 내의 화소에 대하여, 휘도 레벨 Yk의 평균값 P가 구해진다.

다음에, 4 화소×2 라인의 서브 블록마다 수학식 8과 같이 하여, 서브 블록 내의 화소마다의 휘도 레벨 Yk와 평균값 P와의 차분값의 절대값이 구해지고, 또한 구해진 차분의 절대값의 서브 블록 내에서의 평균 차분값 var_sblk가 구해진다.

1 매크로 블록은 16개의 서브 블록으로 구성되기 때문에, 서브 블록마다 얻어진 16개의 평균 차분값 var_sblk 중에서 최소값이 선택된다(수학식 9). 선택된 평균 차분값 var_sblk가 제1 필드의 데이터에 의한 해당 매크로 블록의 액티비티 field_act로 된다.

이렇게 해서 얻어진 매크로 블록의 제1 필드만에 의한 액티비티 field_act는 평균화부(206)에 공급되고, 1 필드분이 적산되고, 액티비티 field_act의 평균값(평균 액티비티)avg_act가 구해진다(수학식 10). 또, 수학식 10에서 MBnum은 1 프레임에서의 매크로 블록의 총수를 나타낸다.

평균값 avg_act는 후술하는 프리 인코드 처리부(103B)의 정규화부(233)에 공급된다. 상세는 후술하지만, 정규화부(233)에서는 평균값 avg_act를 이용하여, 매크로 블록마다 액티비티의 정규화를 행한다. 정규화부(233)에서는 제1 및 제2 필드의 평균값 avg_act를 모두 이용하여 정규화 처리가 행해진다. 따라서, 제1 필드에서의 액티비티의 평균값 avg_act가 판명된 후, 그 평균값을 이용하여 적응 양자화를 고려한 프리 인코드 처리를 행하는 것이 가능해진다.

다음에, 프리 인코드 처리부(103B)에 대하여 설명한다. 래스터 스캔/블록 스캔 변환부(207A)는 상술한 래스터 스캔/블록 스캔 변환부(204)와 기본적으로는 마찬가지의 처리를 행한다. 단, 이 래스터 스캔/블록 스캔 변환부(207A)는 부호량의 예측을 행하는 프리 인코드 처리를 위해 행해지기 때문에, 제1 필드 및 제2 필드의 비디오 데이터가 모두 필요해진다. 그 때문에, 래스터 스캔/블록 스캔 변환 부(207A)에서는 제2 필드의 8 라인까지가 메인 메모리(203)에 저장된 시점에서, MPEG에서 취급되는 16 화소×16 라인의 사이즈의 매크로 블록을 구성하는 것이 가능해져, 이 시점에서 처리를 개시할 수 있다. 실제로는 타이밍 제너레이터 TG(220)로부터의 명령에 의해 처리가 적절하게 개시된다.

래스터 스캔/블록 스캔 변환부(207A)로부터 출력된 비디오 데이터는 DCT 모드부(208)로 공급된다. DCT 모드부(208)는 필드 DCT 부호화 모드 및 프레임 DCT 부호화 모드 중 어느 것을 이용하여 부호화할지를 정한다.

여기서는, 실제로 부호화하지는 않고, 수직 방향으로 인접한 화소 간 차분값의 절대값 합을 필드 DCT 부호화 모드로 계산한 것과, 프레임 DCT 부호화 모드로 계산한 것이 비교되어, 그 값이 작은 부호화 모드가 선택된다. 선택 결과는 DCT 모드 타입 데이터 dct_typ로서 스트림 중에 일시적으로 플래그로서 삽입되고, 후단에 전해진다. DCT 모드 타입 데이터 dct_typ는 도 9B에 도시된 바와 같이, 헤더부 중 비어 있는 영역의 후단측에 저장된다.

DCT 모드부(208)로부터 출력된 매크로 블록은 서브 블록화부(231)에 공급된다. 서브 블록화부(231)에서는 공급된 매크로 블록을 4 화소×4 라인의 서브 블록으로 세분화한다.

이 때, 공급된 스트림 중에 삽입된 DCT 모드 타입 데이터 dct_typ가 참조되고, DCT 모드 타입 데이터 dct_typ가 프레임 부호화 모드를 나타내고 있다고 판단되면, 도 17A에 도시되는 매크로 블록이 도 17B에 도시된 바와 같이, 각각 제1 및 제2 필드의 라인을 교대로 포함한 4 화소×4 라인의 서브 블록으로 세분화된다. 한편, DCT 모드 타입 데이터 dct_typ가 필드 부호화 모드를 나타내고 있다고 판단되면, 매크로 블록은 도 17C에 도시된 바와 같이, 제1 필드만의 데이터로 이루어지는 4 화소×4 라인의 서브 블록과, 제2 필드의 데이터만으로 이루어지는 4 화소×4 라인의 서브 블록으로 분류되어 세분화된다.

또, 도 17A, 도 17B 및 도 17C에서 사선으로 빈틈없이 칠해져 있는 라인이 제2 필드, 다른 라인이 제1 필드를 도시한다.

이렇게 해서 서브 블록으로 세분화된 매크로 블록은 액티비티부(232)에 공급된다. 액티비티부(232)에서는 공급된 매크로 블록에 대하여, 4 화소×4 라인의 서브 블록마다 수학식 11에 의해 휘도 레벨 Yk의 평균값 P가 구해진다.

다음에, 4 화소×4 라인의 서브 블록마다, 수학식 12와 같이 하여, 서브 블록 내의 휘도 레벨 Yk와 평균값 P와의 차분의 절대값이 구해진다. 또한, 구해진 차분의 절대값의, 서브 블록 내에서의 평균 차분값 var_sblk가 구해진다.

1 매크로 블록은 16개의 서브 블록으로 구성되기 때문에, 서브 블록마다 얻어진 16개의 평균 차분값 var_sblk 중에서부터 최소값이 선택된다(수학식 13). 선택된 평균 차분값 var_sblk가 해당 매크로 블록의 제1 및 제2 필드를 이용한 액티 비티 act로 된다.

이렇게 해서 얻어진 매크로 블록의 액티비티 act는 도 9C에 도시된 바와 같이, 스트림의 헤더부에 기입되고, 매크로 블록의 데이터와 함께 정규화부(233)에 공급된다. 정규화부(233)에서는 매크로 블록의 액티비티 act와 상술한 평균화부(206)로부터 얻어지는 필드 액티비티의 평균값 avg_act를 이용하여, 정규화 액티비티 Nact가 구해진다.

정규화 액티비티 Nact는, 예를 들면 매크로 블록의 액티비티 act와 필드 액티비티의 평균값 avg_act로부터 「2.0」∼「0.5」의 범위의 값을 취하도록, 다음 수학식 14에서 구할 수 있다.

[수학식 14]

정규화 액티비티 Nact는 정규화 액티비티 데이터 norm_act로서, 도 10A에 도시된 바와 같이, 스트림 중 헤더부에 일시적으로 플래그로서 삽입되고, 후단으로 전해진다. 또, 상술한 액티비티 act는 스트림 중에서 정규화 액티비티 데이터 norm_act에 덧씌우기된다.

정규화부(233)의 출력은 DCT부(210A)에 공급된다. DCT부(210A)에서는 공급된 매크로 블록을 8 화소×8 라인으로 이루어지는 DCT 블록으로 분할하고, DCT 블록에 대하여 2차원 DCT가 행해져서 DCT 계수가 생성된다. DCT 계수는 도 10B에 도시된 바와 같이, 스트림의 데이터부에 저장되고, 양자화 테이블부(211A)에 공급된다.

양자화 테이블부(211A)에서는 DCT부(210A)에서 변환된 DCT 계수에 대하여 양자화 매트릭스(quantizer_matrix)에 의한 양자화가 행해진다. 양자화 테이블부(211A)에서 양자화된 DCT 계수는, 도 10C에 도시된 바와 같이, 스트림의 데이터부에 저장되어 출력된다. 양자화 테이블부(211A)의 출력은, 복수의 Q_n(양자화)부(212, 212, …), VLC부(213, 213, …), 적산부Σ(214, 214, …), 및 적산부Σ(215, 215, …)로 이루어지는 다단계의 양자화부에 공급된다. 양자화 테이블부(211A)에서 양자화된 DCT 계수는 이 다단계 스텝의 양자화부에서 다단계로 양자화된다.

DCT 계수는, Q_n부(212, 212, …)에서 각각 다른 양자화 스케일(quantizer_scale) Q를 이용하여 양자화된다. 또, 양자화 스케일 Q의 값은, 예를 들면 MPEG2의 규격에 의해 미리 정해져 있고, Q_n부(212, 212, …)는 이 규격에 기초하여, 예를 들면 31개의 양자화기로 구성된다. 이 때, n=31이고, Q_n부(212, 212, …)는 Q_1부, Q_2부, …Q_31부이다. 그리고, 각 양자화기가 각각에 할당된 양자화 스케일 Qn을 이용하여 DCT 계수의 양자화가 합계 31 스텝 행해진다. 이하에서는 Q_n부(212, 212, …) 각각에 대응하는 양자화 스케일치를 양자화 스케일 Qn치로 한다.

Q_n부(212, 212, …)에서 각각의 양자화 스케일 Qn치에 의해 양자화가 행해진다. 이 때, 상술한 정규화부(233)에서 얻어진 정규화 액티비티 데이터 norm_act 를 이용하여 다음의 수학식 6에 의해 구해진, 시각 특성을 고려한 양자화 스케일인 mqaunt에 의해 적응 양자화가 행해진다.

[수학식 6]

Q_n부(212, 212, …)에서 적응 양자화된, 양자화 스케일 Qn 마다의 DCT 계수는 각각 도 11A에 도시된 바와 같이 스트림 중 데이터부에 저장되고, VLC부(213, 213, …)에 각각 공급된다. 양자화 스케일 Qn마다의 DCT 계수는 VLC부(213, 213, …)에서, 지그재그 스캔 등의 스캐닝이 실시되고, 2차원 호프만 코드 등에 기초한 VLC 테이블이 참조되어 각각 가변 길이 부호화된다.

VLC부(213, 213, …)로 가변 길이 부호화된 데이터는 도 11B에 도시된 바와 같이 스트림 중 데이터부에 저장되고, 각각 출력된다. VLC부(213, 213, …)의 출력은 각각 대응하는 적산부 Σ(214, 214, …)에 공급된다.

적산부 Σ(214, 214, …)에서는 각각 매크로 블록마다 발생 부호량이 적산된다. 상술된 바와 같이 31 종류의 양자화기를 이용하는 경우에는 각각에 대응하는 31 종류의 발생 부호량이 매크로 블록마다 얻어지게 된다. 매크로 블록마다의 발생 부호량은 도 12A에 도시된 바와 같이, 적산부 Σ(214, 214, …)에서 적산된 발생 부호량이 스트림 중 헤더부에 각각 저장된다. 즉, Q_1부(212)∼Q_n부(212) 각각의 양자화에 의한 발생 부호량이 매크로 블록마다 스트림의 헤더부에 저장된다. 또, 스트림의 데이터부는 삭제된다. 이 매크로 블록마다의 스트림은 메인 메모리(203)에 공급된다.

또한, 적산부 Σ(214, 214, …)로부터 출력된 매크로 블록마다의 발생 부호량은 각각 적산부 Σ(215, 215, …)에 공급된다. 적산부 Σ(215, 215, …)는 상술한 시각 특성을 고려한 quantizer_scale(=mquant)로 양자화한 경우의 매크로 블록마다의 발생 부호량에 대응하는 부호량을 적산부 Σ(214)에서 구해진 매크로 블록마다의 발생 부호량 중에서 선택하고 그것을 프레임분 적산한다.

적산부 Σ(215, 215, …)로 양자화 스케일 Qn마다 각각 프레임분 적산된 값은 그 프레임에서의 발생 부호량(프레임 데이터 레이트)으로 되어, 도 12B에 도시된 바와 같이, n 워드의 스트림으로서 후술하는 레이트 컨트롤부(217)에 공급된다. 또, 상술된 바와 같이 31 종류의 양자화기를 이용하는 경우에는, 각각에 대응하는 31 종류의 발생 부호량이 프레임마다 얻어지게 된다.

발생 부호량을 구하는 방법을 보다 구체적으로 설명한다. 예를 들면, 「Q_4부(212)에 의한 발생 부호량」은 다음과 같이 하여 구해진다.

예를 들면,

norm_act[1]=1.3

norm_act[2]=1.5

norm_act[3]=0.8

norm_act[4]=1.0

…

인 경우,

mqaunt[1]=4×1.3=5.2

: Q_5부(212)에 의한 발생 부호량을 도 12A의 헤더부로부터 구한다.

mqaunt[2]=4×1.5=6.0

: Q_6부(212)에 의한 발생 부호량을 도 12A의 헤더부로부터 구한다.

mqaunt[3]=4×0.8=3.2

: Q_3부(212)에 의한 발생 부호량을 도 12A의 헤더부로부터 구한다.

mqaunt[4]=4×1.0=4.0

: Q_4부(212)에 의한 발생 부호량을 도 12A의 헤더부로부터 구한다.

…

이상을 1 프레임분 적산한다. 이것을 Q_1부(212)∼Q_n부(212)에 대하여 각각 행하여 1 프레임분의 발생 부호량을 구한다.

다음에, 인코드 처리부(103C)에 대하여 설명한다. 인코드 처리부(103C)에서는 최종적인 인코드 처리가 행해진다. 상술한 바와 같이, 프리 인코드 처리부(103B)에서, 여러가지 양자화를 행한 경우의 1 프레임분의 발생 부호량이 예측된다. 인코드 처리부(103C)에서는 이 1 프레임분으로 예측된 발생 부호량에 기초하여, 미리 설정된 목표 발생 부호량을 절대로 넘지 않도록 인코드가 행해지고, MPEG ES가 출력된다.

인코드 처리부(103C)에서 이용되는 데이터는, 이미 메인 메모리(203)에 저장되어 있지만, 상술한 바와 같이, 프리 인코드 처리부(103B)에 의해 여러가지 양자화를 행한 경우의 1 프레임에서의 발생 부호량이 예측된 시점에서 처리를 개시할 수 있다. 인코드 처리부(103C)의 각부에서의 처리는, 상술과 마찬가지로, 타이밍 제너레이터 TG(220)로부터의 명령에 기초하여 적절하게 개시된다.

메인 메모리(203)로부터 판독된 비디오 데이터는 래스터 스캔/블록 스캔 변환부(207B)에서 상술한 래스터 스캔/블록 스캔 변환부(207A)와 마찬가지의 처리로 되어 16 화소×16 라인의 매크로 블록이 추출된다. 추출된 매크로 블록은, 도 13A에 도시된 바와 같이, 상술한 도 12A에 도시되는 헤더부에 대응하는 데이터부에 저장되어, DCT 모드부(216)에 공급된다.

DCT 모드부(216)에서는 상술한 DCT 모드부(208)와 마찬가지로, 필드 DCT 부호화 모드 및 프레임 DCT 부호화 모드 중 어느 하나를 이용하여 부호화할지가 정해진다. 이 때, 이미 DCT 모드부(208)에서 부호화 모드가 정해지고, 그 결과가 DCT 타입 데이터 dct_typ로서 스트림 중에 일시적으로 삽입되어 있다(도 13A 참조). DCT 모드부(216)에서는 스트림으로부터 이 DCT 타입 데이터 dct_typ를 검출하고, 검출된 DCT 타입 데이터 dct_typ에 기초하여 필드 부호화 모드 및 프레임 부호화 모드를 전환한다. DCT 모드부(216)의 출력을 도 13B에 도시한다.

DCT 모드부(216)로부터 출력된 매크로 블록은 DCT부(210B)에 공급되고, 상술한 DCT부(210A)와 마찬가지로 하여 8 화소×8 라인의 DCT 블록 단위로 2차원 DCT된다. 2차원 DCT된 DCT 계수는 도 13C에 도시된 바와 같이, 스트림 중 데이터부에 저장되어 DCT부(210B)로부터 출력된다.

양자화 테이블부(211B)는 상술한 양자화 테이블부(211A)와 마찬가지로 구성할 수 있어, DCT부(210B)에서 변환된 DCT 계수에 대하여 양자화 매트릭스에 의한 양자화가 행해진다. 양자화 테이블부(211B)에서 양자화된 DCT 계수는 도 14A에 도 시된 바와 같이, 스트림 중의 데이터부에 저장되어 레이트 컨트롤부(217)에 공급된다.

레이트 컨트롤부(217)에서는, 상술한 프리 인코드 처리부(103B)에서 적산부Σ(215, 215, …)로 얻어진, 각 양자화 스케일 Qn 마다의 프레임 데이터 레이트 중에서부터, 시스템 컨트롤러(117)에 의해 설정되는 1 프레임당 최대 발생 부호량을 넘지 않은 것으로, 또한 가장 설정치에 가까운 것이 선택된다. 그리고, 선택된 프레임 데이터 레이트에 대응하는 양자화기에서 이용된 매크로 블록마다의 양자화 스케일(mquant)이 스트림 중에 삽입된 정규화 액티비티 데이터 norm_act로부터 재차 구해지고, 양자화부(218)에 공급된다.

매크로 블록마다의 양자화 스케일은 도 14B에 도시된 바와 같이, 스트림 중의 헤더부의 후단측에 qauntiser_scale로서 저장되어, 양자화부(218)로 전해진다.

또, 1 프레임당의 최대 발생 부호량은, 예를 들면 시스템 컨트롤러(117)에 의해 설정되고, CPU I/F(221)를 통하여 레이트 컨트롤부(217)로 전해진다.

또한, 이 때 시스템 컨트롤러(117)에서 설정되어 CPU I/F(221)를 통하여 전해지는, 1 프레임당 최대 발생 부호량과, 상술한 스트림 중에 삽입된 정규화 액티비티 데이터 norm_act로부터 구해진 매크로 블록마다의 양자화 스케일(mqaunt)에 의한 발생 부호량과의 차분을 넘지 않는 범위에서, 매크로 블록마다 양자화 스케일(mquant)의 값을 1 사이즈 작게 할 수 있게 된다. 이에 의해, 시스템 컨트롤러(117)에서 설정되어 CPU I/F(221)를 통하여 전해지는 1 프레임당 최대 발생 부호량에 가깝게 되어, 고화질을 실현하는 것이 가능하다.

양자화부(218)에서는 레이트 컨트롤부(217)에 의해 상술된 바와 같이 하여 지정되는 양자화 스케일(quantizer_scale)을 스트림 중에서 추출하고, 추출된 양자화 스케일에 기초하여 양자화 테이블부(211B)에서 양자화된 DCT 계수의 양자화가 행해진다. 이 때, 레이트 컨트롤부(217)로부터 주어지는 양자화 스케일은 정규화 액티비티 데이터 norm_act로부터 구해진 양자화 스케일(mquant)의 값이기 때문에, 시각 특성이 고려된 적응 양자화가 행해지게 된다.

양자화부(218)에서 양자화된 DCT 계수는, 도 14C에 도시된 바와 같이 스트림 중의 데이터부에 저장되어, VLC부(219)에 공급된다. 양자화되어 VLC부(219)에 공급된 DCT 계수는 지그재그 스캔 등의 스캐닝이 실시되고, 2차원 호프만 코드에 기초한 VLC 테이블이 참조되어 각각 가변 길이 부호화된다. 또한, 가변 길이 부호에 대하여 바이트 단위로 정렬하도록 비트 시프트가 실시되고, MPEG ES로 되어 출력된다.

이 때, VLC부(219)까지 스트림의 전반부를 구성하고 있는 헤더부가 도 15에 도시된 바와 같이 슬라이스층 이하의 MPEG의 헤더 정보가 저장되는 MPEG의 헤더부와 교체되어 출력된다. 가변 길이 부호는 스트림의 후반측의 데이터부에 저장된다.

도 18은 상술한 서브 블록화부(231) 및 액티비티부(232)의 일례의 구성을 도시한다. 또, 이 구성은 일부를 변경함으로써, 상술한 서브 블록화부(230) 및 액티비티부(205)에 용이하게 적용할 수 있다.

4 화소×4 라인으로 이루어지는 서브 블록의 1 화소의 휘도 레벨치 Yk가 딜 레이 회로(31)와 가산기(33)의 한쪽 입력 단자에 입력된다. 가산기(33)의 다른 쪽의 입력 단자에는 셀렉터(32)로부터의 데이터가 입력된다. 가산기(33)에서, 휘도 레벨치 Yk와 셀렉터(32)로부터 출력된 데이터가 가산된다. 가산기(33)로부터의 출력치는 레지스터(34)에 일시적으로 유지되고, 셀렉터(32)로 보내진다. 이 가산기(33), 셀렉터(32) 및 레지스터(34)의 루프에 의해 4 화소×4 라인의 서브 블록의 16개의 휘도 레벨치 Yk의 총합이 구해진다.

또, 1 서브 블록의 총합 연산이 종료하면, 셀렉터(32)에 의해 초기치 0이 출력되어, 가산기(33) 및 레지스터(34)가 초기화된다.

레지스터(34)의 출력이 시프트 회로(35)로 보내져, 4 비트 시프트됨으로써 1/16의 연산이 이루어져, 서브 블록에서의 휘도 레벨치 Yk의 평균값 P가 구해진다. 평균값 P는 감산기(36)의 감산 입력단에 입력된다. 한편, 감산기(36)의 피감산 입력단에는 딜레이 회로(31)에서 상술한 서브 블록의 총합 연산에 대응한 시간만큼 지연된 휘도 레벨치 Yk가 입력된다.

감산기(36)에서, 딜레이 회로(31)로부터 출력된 휘도 레벨치 Yk로부터 시프트 회로(35)로부터 공급된 평균값 P가 줄어든다. 감산기(36)의 출력은, 절대값화 회로(37)에서 절대값화되어, 차분값의 절대값 {abs(Yk-P)}가 된다. 차분값의 절대값 {abs(Yk-P)}는 레지스터(38)를 통하여 가산기(40) 한쪽의 입력단에 입력된다.

가산기(40)의 다른 쪽 입력단에는 셀렉터(39)로부터의 데이터가 입력된다. 가산기(40)에서는 차분값의 절대값 {abs(Yk-P)}와 셀렉터(39)로부터 출력된 데이터가 가산된다. 가산기(40)의 출력은, 레지스터(41)에서 일시적으로 유지되고, 셀렉 터(39)에 입력됨과 함께 시프트 회로(42)에 공급된다. 가산기(40), 셀렉터(39) 및 레지스터(41)의 루프로, 4 화소×4 라인의 서브 블록의 16개의, 차분값의 절대값 {abs(Yk-P)}의 총합이 구해진다.

또, 1 서브 블록의 총합 연산이 종료하면, 셀렉터(39)에 의해 초기치 0이 출력되어, 가산기(40) 및 레지스터(41)가 초기화된다.

레지스터(41)로부터 출력된 1 서브 블록의 차분값의 절대값 {abs(Yk-P)}의 총합은 시프트 회로(42)에 공급되고, 4 비트 시프트되는 것으로 1/16의 연산이 이루어져, 서브 블록의 평균 차분값 var_sblk가 구해진다. 이 평균 차분값 var_sblk는 최소값 회로(43)에 공급된다. 최소값 회로(43)에서는 공급된 평균 차분값 var_sblk를 나타내는 서브 블록이 속하는 매크로 블록에서의, 최소의 평균 차분값 var_sblk가 선택된다. 선택된 평균 차분값 var_sblk는 해당 매크로 블록의 액티비티 act로서 출력된다.

또, 상술에서는 MPEG 인코더(103)에서의 처리가 하드웨어에 의해 행해지도록 설명하였지만, 이것은 이 예에 한정되지는 않는다. MPEG 인코더(103)의 처리는 소프트웨어에 의해서도 마찬가지로 실현 가능한 것이다. 예를 들면, 컴퓨터 장치에 비디오 신호의 아날로그 및 디지털의 입력 인터페이스를 설치하여, 컴퓨터 상에 탑재된 소프트웨어에 의해 CPU 및 메모리 등을 이용하여 실행할 수 있다. 또, 상술한 디지털 VTR의 구성에서, MPEG 인코더(103)를 CPU 및 메모리로 치환한 것과 같은 구성으로 해도 된다.

이 소프트웨어는, 예를 들면 CD-ROM(Compact Disc-Read Only Memory)과 같은 기록 매체에 프로그램 데이터로서 기록되어 제공된다. 이 소프트웨어가 기록된 기록 매체를 컴퓨터 장치에 장전하고, 소정의 조작을 행함으로써 그 소프트웨어가 컴퓨터 장치에 인스톨되고, 그 소프트웨어에 의한 처리를 실행하는 것이 가능한 상태로 된다. 또, 컴퓨터 장치의 구성은 매우 주지이기 때문에, 여기서는 설명을 생략한다.

도 19는 MPEG 인코더(103)의 처리를 소프트웨어로 행하는 경우의 일례의 플로우차트이다. 이 흐름도에 의한 처리는 상술한 하드웨어에 의한 처리와 마찬가지이기 때문에, 이하에서는 상술한 하드웨어에서의 처리를 고려하면서, 개략적으로 설명한다. 단계 S1∼S8은 상술한 입력 필드 액티비티 평균화 처리부(103A)에 의한 처리에 대응한다. 단계 S11∼S22는 상술한 프리 인코드 처리부(103B)에 대응한다. 또한, 단계 S31∼S38은 상술한 인코드 처리부(103C)에 대응한다.

최초의 단계 S1에서, 비디오 데이터를 받아들인다. 다음의 단계 S2에서, 취득된 비디오 데이터로부터, 수직 블랭킹 구간에서 MPEG에서의 각 헤더가 추출되어 메모리에 저장된다. 수직 블랭킹 구간 이외에는 받아들인 비디오 데이터가 메모리에 저장된다.

단계 S3에서는 제1 필드의 비디오 데이터가 래스터 스캔으로부터 블록 스캔으로 변환되고, 매크로 블록이 추출된다. 이것은, 예를 들면 메모리에 저장된 비디오 데이터를 판독할 때의 판독 어드레스를 제어함으로써 이루어진다. 단계 S4에서, 추출된 매크로 블록이 세분화되어, 4 화소×2 라인의 서브 블록이 된다.

단계 S5에서는 서브 블록으로 세분화된 비디오 데이터를 이용하여 제1 필드에 의한 액티비티 act가 계산된다. 즉, 상술한 바와 같이, 4 화소×2 라인의 서브 블록마다 휘도 레벨치 Yk의 평균값 P가 구해지고, 또한 휘도 레벨 Yk치와 평균값 P와의 차분의 절대값이 구해지고, 차분의 절대값으로부터 해당 서브 블록의 휘도 레벨치 Yk의 평균 차분값 var_sblk가 구해진다. 그리고, 1 매크로 블록 내에서 최소가 되는 평균 차분값 var_sblk가 해당 매크로 블록의 액티비티 act로서 선택된다.

단계 S5에서 구해진 액티비티 Actibity(act)가 단계 S6에서 적산되고, 적산치 sum으로서 메모리에 저장된다. 이들 단계 S3∼S6까지의 처리는 단계 S7에서 제1 필드의 최종 매크로 블록의 처리가 종료하였다고 판단될 때까지 반복된다. 즉, 적산치 sum은 1 필드분의 매크로 블록의 액티비티의 합계가 된다.

단계 S7에서 1 필드의 최종 매크로 블록까지 처리가 종료하였다고 판단되면, 단계 S8에서, 메모리에 저장된 적산치 sum이 1 필드분의 매크로 블록수로 나누어져, 1 필드분의 액티비티가 평균화된 필드 액티비티의 평균값 Actibity(avg_act)가 구해지고 메모리에 저장된다.

필드 액티비티의 평균값 Actibity(avg_act)가 구해지면, 처리는 단계 S11로 이행한다. 단계 S11에서는 상술한 단계 S3과 같이, 메모리에 저장된 비디오 데이터가 래스터 스캔으로부터 블록 스캔으로 변환되고, 매크로 블록이 추출된다.

다음의 단계 S12에서 DCT를 필드 DCT 부호화 모드 및 프레임 DCT 부호화 모드 중 어느 하나로 행할지가 선택되고, 선택 결과가 DCT 모드 타입 데이터 dct_typ로서 메모리에 저장된다. 단계 S13에서는 단계 S12의 선택 결과에 따라, 매크로 블록이 4 화소×4 라인의 서브 블록으로 세분화된다.

다음의 단계 S14에서, 서브 블록으로 세분화된 비디오 데이터를 이용하여, 제1 및 제2 필드에 의한 매크로 블록마다의 액티비티 act가 구해진다. 즉, 상술한 바와 같이, 4 화소×4 라인의 서브 블록마다 휘도 레벨 Yk의 평균값 P가 구해지고, 또한 휘도 레벨치 Yk와 평균값 P와의 차분의 절대값이 구해지고, 차분의 절대값으로부터 해당 서브 블록의 휘도 레벨치 Yk의 평균 차분값 var_sblk가 구해진다. 그리고, 1 매크로 블록 내에서 최소가 되는 평균 차분값 var_sblk가 해당 매크로 블록의 액티비티 act로서 선택된다. 이렇게 해서 구해진 액티비티 act와, 상술한 단계 S8에서 구해지고 메모리에 저장된 필드 액티비티의 평균값 Actibity(avg_act)를 이용하여 정규화 액티비티 Actibity(norm_act)가 구해진다. 구해진 정규화 액티비티 Actibity(norm_act)는 메모리에 저장된다.

다음의 단계 S15에서, 상술한 단계 S11에서 비디오 데이터로부터 추출된 매크로 블록이 8 화소×8 화소로 이루어지는 DCT 블록으로 분할되고, 이 DCT 블록에 대하여 2차원 DCT가 행해진다. 2차원 DCT에 의해 DCT 블록이 변환된 DCT 계수는, 단계 S16에서 양자화 테이블(quantizer_table)에 의한 양자화가 이루어지고, 처리는 단계 S17로 이행된다.

단계 S17∼S21의 처리를, 양자화 스케일(quantizer_scale) Qn치 각각에 대하여 행하도록 반복함으로써, 상술한 Q_n부(212, 212, …), VLC부(213, 213, …), 적산부 Σ(214, 214, …) 및 적산부 Σ(215, 215, …)에 상당하는 처리가 행해진다. 즉, 단계 S17에서, DCT 계수에 대하여 양자화 스케일 Q=1에서의 양자화가 행해지고, 단계 S18에서, VLC 테이블이 참조되어 양자화된 DCT 계수가 가변 길이 부호화 된다. 그리고, 단계 S19에서 가변 길이 부호화에 의한 매크로 블록에서의 발생 부호량이 계산되고, 단계 S20에서 단계 S19에서 구해진 매크로 블록마다의 발생 부호량이 1 프레임분 적산된다. 단계 S21에서 다음의 양자화 스케일 Qn이 있는지의 여부가 판단되고, 다음의 양자화 스케일 Qn이 있다고 판단되면, 처리는 단계 S17로 복귀되어, 다음의 양자화 스케일 Qn에 기초한 처리가 행해진다. 양자화 스케일 Qn 마다의 1 프레임분의 발생 부호량은 각각 메모리에 저장된다.

단계 S21에서, 모든 양자화 스케일 Qn의 값에 대하여 프레임에서의 발생 부호량의 적산치가 구해졌다고 하면, 단계 S22에서 1 프레임의 최종 매크로 블록(MB)까지 처리가 종료하였는지의 여부가 판단되고, 최종 매크로 블록까지의 처리가 종료하지 않았으면, 처리는 단계 S11로 복귀된다. 최종 매크로 블록까지의 처리가 종료되어 1 프레임분의 발생 부호량이 예측되면, 단계 S31로 이행되고 실제의 인코드 처리가 행해진다.

단계 S31에서는 상술한 단계 S11과 마찬가지로, 메모리에 저장된 비디오 데이터가 래스터 스캔으로부터 블록 스캔으로 변환되고 매크로 블록이 추출된다. 다음의 단계 S32에서는 상술한 단계 S12에서 메모리에 저장된 DCT 모드 타입 데이터 dct_typ에 기초하여 DCT 부호화 모드가 설정된다.

단계 S33에서는 단계 S31에서 비디오 데이터로부터 추출된 매크로 블록이 8 화소×8 라인으로 이루어지는 DCT 블록으로 분할되고, 이 DCT 블록에 대하여 2차원 DCT가 행해진다. 2차원 DCT에 의해 DCT 블록이 변환된 DCT 계수는 단계 S34에서 양자화 테이블(quantizer_table)에 의한 양자화가 이루어지고, 처리는 단계 S35로 이행된다.

단계 S35에서는, 상술한 단계 S11∼S22에서 예측된, 양자화 스케일 Qn 마다의 1 프레임분의 발생 부호량에 기초하여, 실제의 인코드 처리에서 발생되는 부호량의 제어를 행하기 위해서, 후술하는 단계 S36에서 이용되는 양자화 스케일 Qn이 매크로 블록마다 설정된다.

그리고, 처리는 단계 S36으로 이행되어, 단계 S35에서 설정된 양자화 스케일 Qn을 이용하여, 단계 S34에서 양자화 테이블을 이용하여 양자화된 DCT 계수의 양자화가 행해진다. 단계 S36에서 양자화된 DCT 계수는 다음의 단계 S37에서 VLC 테이블이 참조되어 가변 길이 부호화된다. 그리고, 단계 S38에서 1 프레임의 최종 매크로 블록까지 처리가 행해졌는지의 여부가 판단되며, 1 프레임의 최종 매크로 블록까지 처리되어 있지 않다고 판단되면, 처리는 단계 S31로 복귀되고, 다음의 매크로 블록에 대한 양자화 처리 및 가변 길이 부호화 처리가 행해진다. 한편, 단계 S38에서, 1 프레임의 최종 매크로 블록까지 처리가 행해졌다고 판단되면, 1 프레임분의 인코드 처리가 종료하였다고 한다.

또, 상술에서는 단계 S11∼S22까지의 프리 인코드 처리와, 단계 S31∼S38까지의 인코드 처리를 별개의 처리로서 설명하였지만, 이것은 이 예에 한정되지 않는다. 예를 들면, 단계 S11∼S22에서 발생 부호량의 예측에 의해 얻어진 데이터를 메모리에 저장하고, 거기에서 실제의 인코드 처리에 의해 얻어지는 데이터를 선택하여 추출하도록 한다. 이에 의해, 단계 S31∼S38의 처리를 단계 S11∼S22에 의한 처리에 포함되는 루프로서 구성할 수 있다.

또, 상술에서는 16 화소×16 라인으로 이루어지는 매크로 블록을, 4 화소×4 라인의 서브 블록으로 세분화하고 있지만, 이것은 이 예에 한정되지 않는다. 매크로 블록을, 8 화소×8 라인보다 작은, 다른 사이즈의 서브 블록으로 세분화하여 액티비티를 구하도록 해도 된다. 예를 들면, X 화소×Y 라인의 DCT 블록보다 작고, (X/2ⁿ) 화소×(Y/2^m) 라인의 서브 블록 단위로 액티비티를 산출할 수 있다.

또한, 상술에서는 화상 데이터의 부호화 방식으로서 화상을 블록 단위로 DCT 하여 부호화하는 MPEG2 방식을 채용하고 있지만, 이것은 이 예에 한정되지 않는다. 화상 데이터를 블록 단위로 부호화하는 부호화 방식이면, 다른 부호화 방식을 이용하는 것도 가능하다.

또한, 상술에서는 본 발명이 적용되는 예로서, 디지털 VTR을 설명하고 있지만, 이 예에 한정되지 않는다. 본 발명은 화상 데이터를 블록 부호화를 이용하여 압축 부호화하는 것 외의 화상 처리 장치, 예를 들면 전송을 위해 화상 데이터를 압축 부호화하는 화상 전송 장치에도 적용하는 것이 가능하다.

이상 설명한 바와 같이, 본 발명은 매크로 블록의 액티비티를 구할 때의 서브 블록의 사이즈가 4 화소×4 라인과, 종래의 8 화소×8 라인보다 작게 되어 있기 때문에, 각 서브 블록의 차분 평균값이 8 화소×8 라인의 경우보다도 강조된 값으로 된다. 그 때문에, 매크로 블록에서, 4 화소×4 라인의 서브 블록으로 구해진 차분 평균값 중에서 최소의 값을 선택하여 해당 매크로 블록의 액티비티로 함으로써, 평탄 부분을 약간이라도 포함하는 매크로 블록의 액티비티를 보다 억제할 수 있다.

이것은, 문자, 화상의 윤곽부 등, 소위 화상의 엣지를 포함하는 매크로 블록의 양자화값을 작게 할 수 있는 것을 의미하고, 결과적으로, 화상의 엣지 부분을 포함하는 매크로 블록의 모스키토 노이즈를 억제할 수 있다.

화상의 평탄부에 모스키토 노이즈가 발생하면 시각적으로 보다 눈에 띄기 쉽다. 그 때문에, 평탄 부분을 약간이라도 포함하는 매크로 블록의 양자화값을 억제하는 것은, 특히 부호량에 여유가 있는 압축율이 낮은 경우에 매우 유효하다.

Claims

화상 데이터에 대하여, 양자화를 행하는 단위의 양자화 블록이 분할된 변환 블록 단위로 변환 처리를 실시하여 해당 변환 처리에 의한 변환 계수를 출력하는 변환 수단과,

상기 화상 데이터에 대하여, 상기 양자화 블록에 포함되고 상기 변환 블록보다 사이즈가 작은 복수의 서브 블록 각각의 액티비티를 산출하고, 산출된 복수의 액티비티 중 최소의 액티비티를, 상기 화상 데이터의 제1 필드에 대하여 구해진 상기 변환 블록보다 사이즈가 작은 복수의 서브 블록 각각의 액티비티 중 상기 최소의 액티비티의 상기 화상 데이터의 제1 필드 내에서의 평균으로 정규화하여, 상기양자화 블록의 액티비티로서 출력하는 액티비티 검출 수단과,

상기 액티비티 검출 수단으로부터 출력된 상기 양자화 블록의 액티비티에 기초하여 상기 양자화 블록의 양자화 스케일을 결정하고, 해당 양자화 스케일을 이용하여 상기 변환 수단으로부터 출력된 상기 변환 계수를 양자화하는 양자화 수단

을 포함하는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,

상기 변환 수단은, 상기 화상 데이터에 대하여 DCT 블록 단위로 DCT를 행하여 DCT 계수를 출력하게 되고, 상기 변환 블록은 상기 DCT 블록인 것을 특징으로 하는 화상 처리 장치.
제2항에 있어서,

상기 양자화 블록은 MPEG2에서 취급되는 매크로 블록인 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,

상기 변환 블록은 X 화소×Y 라인의 블록 사이즈를 갖고, 상기 서브 블록은 소정의 정수 n 및 m에 대하여 (X/2ⁿ)화소×(Y/2^m) 라인의 블록 사이즈를 갖는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,

상기 액티비티는, 상기 화상 데이터의 각 프레임을 필드마다의 데이터로 재구성하고, 상기 필드마다 재구성한 데이터를 상기 서브 블록 단위로 분할하여 산출하는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,

상기 액티비티 검출 수단은,

상기 서브 블록마다 해당 서브 블록을 구성하는 화소의 레벨의 평균값을 구하는 수단과,

상기 서브 블록마다 상기 화소의 레벨과 상기 평균값과의 차분의 절대값을 상기 화소 각각에 대하여 구하는 수단과,

상기 차분의 절대값을 상기 서브 블록에 대하여 평균한 평균 차분값을 구하는 수단과,

상기 양자화 블록분의 평균 차분값으로부터 최소값을 선택하여 해당 양자화 블록의 상기 액티비티로서 채용하는 수단을 포함하는 것을 특징으로 하는 화상 처리 장치.
화상 데이터에 대하여, 양자화를 행하는 단위의 양자화 블록이 분할된 변환 블록 단위로 변환 처리를 실시하여 해당 변환 처리에 의한 변환 계수를 출력하는 변환 단계와,

상기 화상 데이터에 대하여, 상기 양자화 블록에 포함되고 상기 변환 블록보다 사이즈가 작은 복수의 서브 블록 각각의 액티비티를 산출하고, 산출된 복수의 액티비티 중 최소의 액티비티를, 상기 화상 데이터의 제1 필드에 대하여 요청된 상기 변환 블록보다 사이즈가 작은 복수의 서브 블록 각각의 액티비티 중 상기 최소의 액티비티의 상기 화상 데이터의 제1 필드 내에서의 평균으로 정규화하여, 상기양자화 블록의 액티비티로서 출력하는 액티비티 검출 단계와,

상기 액티비티 검출 단계로부터 출력된 상기 양자화 블록의 액티비티에 기초하여 상기 양자화 블록의 양자화 스케일을 결정하고, 해당 양자화 스케일을 이용하여 상기 변환 단계로부터 출력된 상기 변환 계수를 양자화하는 양자화 단계

를 포함하는 것을 특징으로 하는 화상 처리 방법.
삭제
입력된 화상 데이터를 블록 단위로 양자화하는 화상 처리 방법을 컴퓨터 장치에 실행시키는 화상 처리 프로그램을 기록한 기록 매체에 있어서,

상기 화상 처리 방법은,

상기 화상 데이터에 대하여, 양자화를 행하는 단위의 양자화 블록이 분할된 변환 블록 단위로 변환 처리를 실시하여 해당 변환 처리에 의한 변환 계수를 출력하는 변환 단계와,

상기 화상 데이터에 대하여, 상기 양자화 블록에 포함되고 상기 변환 블록보다 사이즈가 작은 복수의 서브 블록 각각의 액티비티를 산출하고, 산출된 복수의 액티비티 중 최소의 액티비티를, 상기 화상 데이터의 제1 필드에 대하여 구해진 상기 변환 블록보다 사이즈가 작은 복수의 서브 블록 각각의 액티비티 중 상기 최소의 액티비티의 상기 화상 데이터의 제1 필드 내에서의 평균으로 정규화하여, 상기양자화 블록의 액티비티로서 출력하는 액티비티 검출 단계와,

상기 액티비티 검출 단계로부터 출력된 상기 양자화 블록의 액티비티에 기초하여 상기 양자화 블록의 양자화 스케일을 결정하고, 해당 양자화 스케일을 이용해서 상기 변환 단계로부터 출력된 상기 변환 계수를 양자화하는 양자화 단계

를 포함하는 것을 특징으로 하는 기록 매체.