KR100667803B1 - 컬러 채널 상호간의 특성을 고려한 컬러 잡음 제거 방법 및장치 - Google Patents

Abstract

본 발명은 영상 이미지 센서로부터 출력되어 보간된 입력 RGB 데이터의 컬러 잡음을 제거하는 장치에 관한 것으로서, 본 발명에 따른 컬러 잡음 제거 장치는 보간된 입력 컬러 데이터 중 제 1 채널의 컬러 데이터에 포함된 컬러 잡음을 제거하여 필터링된 제 1 채널의 컬러 데이터를 출력하는 제 1 필터부, 상기 보간된 입력 컬러 데이터 중 제 2 및 3 채널의 입력 컬러 데이터와 상기 필터링된 제 1 채널의 컬러 데이터와의 차이를 계산하여 차영상을 출력하는 감산부, 상기 차영상 및 이전에 필터링된 차영상 중에서 크기가 중간인 차영상을 선택하여 필터링된 차영상을 출력하는 제 2 필터부 및 상기 필터링된 제 1 채널의 컬러 데이터와 상기 필터링된 차영상을 가산하여 상기 제 2 및 3 채널의 필터링된 컬러 데이터를 출력하는 가산부를 포함하는 것을 특징으로 한다.

본 발명에 따른 컬러 잡음 제거 방법 및 장치는, 센서에 의한 잡음을 제거하면서 각 컬러 채널 간의 상호 관계를 고려하여 컬러 보간에서 발생되는 의도되지 않은 컬러 잡음을 효과적으로 제거할 수 있다.

Description

컬러 채널 상호간의 특성을 고려한 컬러 잡음 제거 방법 및 장치{Method and apparatus for reducing color artifact and noise cosidering color channel correlation}

도 1은 종래 기술에 따른 MF, VMF 및 VDF의 예를 설명하기 위한 도면.

도 2는 본 발명에 따른 컬러 잡음 제거 장치가 이용되는 영상 촬영 장치를 개략적으로 나타낸 블록도.

도 3은 본 발명에 따른 컬러 잡음 제거 장치의 구성을 구체적으로 나타낸 블록도.

도 4는 상기 도 3의 제 1 필터부의 구성을 구체적으로 나타낸 블록도.

도 5는 상기 도 3의 제 1 필터부에 의하여 처리되는 3×3 크기 G 채널 마스크의 예를 나타낸 도면.

도 6은 상기 도 4의 영역 판별부의 동작의 일 예를 설명하기 위한 3×3 크기의 G 채널 마스크를 나타낸 도면.

도 7은 상기 도 6의 G 채널 마스크에 포함된 각 화소들에 설정된 영역 계수를 나타낸 도면.

도 8a 및 8b는 상기 도 3의 제 1 필터부를 통해 필터링된 영상의 예를 나타낸 도면.

도 9a 및 9b는 각각 상기 도 8a 및 8b를 확대한 도면.

도 10은 상기 도 3의 제 2 필터부의 동작을 설명하기 위한 도면.

도 11은 본 발명에 따른 컬러 잡음 제거 방법을 나타낸 플로우 차트.

도 12a 내지 14b는 본 발명에 따른 컬러 잡음 제거 방법 및 장치에 의하여 처리된 영상의 화질 개선 효과를 실험한 결과를 나타낸 도면.

본 발명은 영상 처리 방법 및 장치에 관한 것으로, 보다 상세히는 영상 이미지 센서로부터 출력되어 보간된 입력 RGB 데이터의 컬러 잡음을 제거하는 방법 및 장치에 관한 것이다.

일반적으로, 디지털 카메라나 캠코더는 필름 대신에 CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 등의 이미지 센서(image sensor)를 이용한다. CCD는 화소에 맺히는 컬러의 수에 따라서 다판식(multiple) CCD 및 단판식(single) CCD로 나뉜다. 다판식 CCD는 단판식 CCD에 비하여 각 화소마다 정확한 밝기와 원색과의 정확한 매칭을 가능하게 한다. 그러나, 다판식 CCD는 사용되는 컬러 포맷에 따라 각 컬러 성분을 검출하기 위하여, 단판식 CCD에 비하여 세 배 이상의 센서를 사용해야 하므로 하드웨어의 구조가 복잡해지고 하드웨어의 크기가 증가하는 문제점이 있다. 이러한 이유로 다판식 CCD에 비하여 단판식 CCD가 일반적으로 많이 사용되고 있다.

단판식 CCD의 경우, 각 화소는 여러 채널의 컬러 정보 중에서 하나의 컬러 정보만을 저장하게 된다. 따라서, 완전한 영상의 정보를 얻기 위해서는 화소에 저장되지 않은 다른 채널의 컬러 정보를 그 화소의 주변 화소 정보로부터 보간(interpolation)해야 한다. 그러나, 보간 과정에서 원하지 않는 잘못된 정보가 보간될 경우, 결과적인 영상에는 시각적으로 크게 거슬리는 잡음(noise or artifact)이 야기된다.

따라서, 이러한 잡음을 제거하기 위하여 오래 전부터 영상 처리 분야에서 많은 연구가 이루어져 왔다. 잡음 제거 알고리즘은 복원(restoration) 개념을 사용한 기법과 필터링 기법을 이용한 방법 등으로 나누어 볼 수 있다. 복원 기법은 잡음에 대한 정확한 모델링을 기반으로 하고 있기 때문에 우수한 결과를 산출하지만, 하드웨어적으로 큰 부담이 된다. 따라서, 실질적으로는 국부 영역의 확률적 특성을 이용한 방법, 예를 들어 LLMMSE(Local Linear Minimum Mean Square Error) 등이 많이 사용된다. 이에 반해서, 필터링 기법은 하드웨어로 구현이 간단하기 때문에 많은 영상처리 응용 분야에서 사용되어 왔다. 컬러 잡음을 제거하기 위한 일반적인 필터에는 평균 필터(Mean Filter, 이하 "MF"라 함), 벡터 메디언 필터(Vector Median Filter, 이하 "VMF"라 함) 및 벡터 디렉셔널 필터(Vector Directional Filter, 이하 "VDF"라 함) 등이 있다.

도 1은 종래 기술에 따른 MF, VMF 및 VDF의 예를 설명하기 위한 도면이다.

MF는 국부 영역(local region) 내부 화소 값들의 평균을 취하는 방법이다. 도 1에서 서로 다른 방향과 위상을 갖는 세 화소에 대한 MF 결과는,

이다.

그러나, MF는 LPF(Low Pass Filtering)이기 때문에 잡음 뿐 아니라 영상에 필요한 고주파 성분도 제거되어 영상의 세밀한 부분이 제거되는 문제점이 있다.

메디언 필터는 라플라시안 잡음(laplacian noise)을 제거하는 데 효율적인 필터로서 색이 비주얼하게 튀는 화소를 효과적으로 제거할 수 있다.

메디언 필터의 하나인 VMF는 국부적인 영역 내의 컬러 벡터 중 크기가 중간인 것을 결과로 출력한다. 예를 들어 도 1을 참조하면, VMF는 세 개의 화소를 나타내는 컬러 벡터들(

) 중에서 크기가 중간인

에 대응되는 컬러값을 결과로서 출력한다. 즉,

이다.

VDF는 국부적인 영역 내의 컬러 벡터 중 위상이 중간인 컬러 벡터를 결과로서 출력하는 필터이다. 예를 들어 도 1을 참조하면, VDF는 세 개의 화소를 나타내는 컬러 벡터들(

) 중에서 위상이 중간인

에 대응되는 컬러값을 결과로서 출력한다. 즉,

이다.

한편, 단판식 CCD를 사용하여 각 화소에서 제외된 다른 채널의 컬러 정보를 보간하는 경우, G 채널의 컬러 정보가 다른 채널의 컬러 정보보다 많은 비중을 차지한다. 일반적으로 많이 사용되는 RGB 베이어(bayer) 포맷은 G 채널이 R 및 B 채널에 비하여 두 배의 정보를 가지고 있다. 또한, CMYG 포맷의 경우 보간된 RGB 데 이터 사이의 비율은, R:G:B=2:3:2로서 G 채널이 R 및 B 채널에 비하여 약 1.5배의 정보를 가지고 있다. 따라서, 더 많은 정보를 갖는 G 채널은 다른 채널에 비하여 좀 더 정확한 값을 추정하는 것이 가능하다. 그러나, 상기 종래의 컬러 잡음 제거 방법들은 이러한 채널간의 상관도 및 상대적으로 많은 정보를 갖는 G 채널의 특성을 고려하지 못하고 있다. 또한, 종래의 컬러 잡음 제거 방법들은 각 컬러 채널의 비율 변화로 인한 에러를 제거하기 어려웠다.

따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 영상 센서가 본래 지닌 잡음을 제거하고, 컬러 보간에서 발생되는 의도되지 않은 컬러 잡음을 제거하는 장치 및 방법을 제공하는 데에 목적이 있다.

상기한 바와 같은 기술적 과제를 해결하기 위하여 본 발명에 따른 컬러 잡음 제거 장치는, 영상 이미지 센서로부터 출력되어 보간된 입력 컬러 데이터의 컬러 잡음을 제거하는 장치에 있어서, 상기 보간된 입력 컬러 데이터 중 제 1 채널의 컬러 데이터에 포함된 컬러 잡음을 제거하여 필터링된 제 1 채널의 컬러 데이터를 출력하는 제 1 필터부; 상기 보간된 입력 컬러 데이터 중 제 2 및 3 채널의 입력 컬러 데이터와 상기 필터링된 제 1 채널의 컬러 데이터와의 차이를 계산하여 차영상을 출력하는 감산부; 상기 차영상 및 이전에 필터링된 차영상 중에서 크기가 중간인 차영상을 선택하여 필터링된 차영상을 출력하는 제 2 필터부; 및 상기 필터링된 제 1 채널의 컬러 데이터와 상기 필터링된 차영상을 가산하여 상기 제 2 및 3 채널 의 필터링된 컬러 데이터를 출력하는 가산부를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 컬러 잡음 제거 방법은, 영상 이미지 센서로부터 출력되어 보간된 입력 컬러 데이터의 컬러 잡음을 제거하는 방법에 있어서, 상기 보간된 입력 컬러 데이터 중 제 1 채널의 컬러 데이터에 포함된 컬러 잡음을 제거하여 필터링된 제 1 채널의 컬러 데이터를 출력하는 단계; 상기 보간된 입력 컬러 데이터 중 제 2 및 제 3 채널의 입력 컬러 데이터와 상기 필터링된 제 1 채널의 컬러 데이터와의 차이를 계산하여 차영상을 출력하는 단계; 상기 차영상 및 회귀 방식을 통해 입력되는 이전에 필터링된 차영상 중에서 크기가 중간인 차영상을 선택하여 필터링된 차영상을 출력하는 단계; 및 상기 필터링된 제 1 채널의 컬러 데이터와 상기 필터링된 차영상을 가산하여 상기 제 2 및 3 채널의 필터링된 컬러 데이터를 출력하는 단계를 포함하는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다. 본 발명을 설명함에 있어서, RGB 컬러 포맷을 중심으로 설명하지만, 본 발명에 따른 사상은 CMYG 컬러 포맷이나 YCbCr 등의 다른 컬러 포맷에 적용될 수 있음은 당업자는 용이하게 추론할 수 있을 것이다.

도 2는 본 발명에 따른 컬러 잡음 제거 장치가 이용되는 영상 촬영 장치를 개략적으로 나타낸 블록도이다. 도 2를 참조하면, 렌즈(10)를 통해 입력되는 피사체의 영상은 컬러 필터(20)를 거쳐 광전 변환부(30)로 입력된다. 여기서, 상기 광전 변환부(30)로는 단판식의 CCD나 CMOS(complimentary metal oxide semiconductor) 등이 이용된다. 상기 컬러 필터(20)는 R(Red), G(Green), B(Blue) 컬러 성분을 투과시키는 필터가 체크 무늬 형태로 배열된 RGB 컬러 필터 또는 C(Cyan), Mg(Magenta), Y(Yellow) 및 G(Green) 컬러 성분을 투과시키는 필터가 체크 무늬 형태로 배열된 CMYG 컬러 필터 등이 이용된다. A/D(analog-to-digital) 변환부(40)는 상기 광전 변환부(30)에서 출력되는 아날로그 영상 신호를 디지털 신호로 변환한다. 컬러 보간부(50)는 상기 디지털 신호로부터 각 화소에 저장되지 않은 다른 채널의 컬러 정보를 주변 화소의 컬러 정보로부터 보간(interpolation)하여 보간된 RGB 데이터를 출력한다.

그리고, 본 발명에 따른 컬러 잡음 제거 장치(100)는 상기 보간된 RGB 데이터를 G와 R 및 B 데이터로 나누고, G 채널의 컬러 데이터에 대해서는 가중 평균 필터(Weighted Mean Filter, 이하 "WMF"라 함)를 통해 독립적으로 컬러 잡음을 제거하여 필터링된 G' 데이터를 출력한다. 또한, 본 발명에 따른 컬러 잡음 제거 장치(100)는 R 및 B 데이터로부터 상기 WMF의 출력 G'를 뺀 차영상 (R-G')와 (B-G')을 입력으로 하는 회귀 메디언 필터(Recursive Median Filter, 이하 "RMF"라 함)를 통해 주변 화소의 이전에 필터링된 차영상을 이용하고, 최종적으로 컬러 잡음이 제거된 R', B' 및 G' 데이터를 출력한다.

도 3은 본 발명에 따른 컬러 잡음 제거 장치(100)의 구성을 구체적으로 나타낸 블록도이다.

도 3을 참조하면, 본 발명에 따른 컬러 잡음 제거 장치(100)는 제 1 필터부(110), 제 2 필터부(120), 감산부(130) 및 가산부(140)를 포함한다.

전술한 바와 같이, 보간된 RGB 데이터 중에서 G 채널의 데이터는 다른 채널에 비하여 더 많은 샘플 데이터를 가지고 있기 때문에, 다른 채널에 비하여 상대적으로 작은 보간 에러를 갖는다. 그러나, 보간된 G 채널의 데이터에는 여전히 CCD나 CMOS 등의 영상 센서에 의해 야기된 에러가 포함되어 있다. 따라서, 보간된 G 채널의 데이터는, 다른 채널의 데이터와 독립적으로 센서에 의해 야기된 잡음을 제거하는 것이 필요하다.

따라서, 본 발명에 따른 컬러 잡음 제거 장치(100)의 제 1 필터부(110)는 가중 평균 필터(WMF)의 일종으로서, 종래의 필터링 방식과는 달리 잡음을 제거하면서도 에지(edge)와 같은 고주파 성분을 유지하기 위해서, 상기 보간된 G 채널 데이터 중 소정 크기의 마스크 내부에 포함된 화소 중에서 현재 필터링될 중심 화소와 동일 영역에 속하는 주변 화소들을 결정하고, 상기 결정된 주변 화소들만을 필터링에 이용하여 가중 평균값을 계산함으로써 필터링된 G' 데이터를 출력한다.

도 4는 상기 제 1 필터부(110)의 구성을 구체적으로 나타낸 블록도이고, 도 5는 상기 제 1 필터부(110)에 의하여 처리되는 3×3 크기 G 채널 마스크의 예를 나타낸 것이다. 여기서, 본 발명에 따른 컬러 잡음 제거 장치(100)에서 처리되는 G 채널 마스크는 상기 도 5의 3×3 크기 G 채널 마스크에 한정되지 않고 다양한 크기와 형태로 구성될 수 있다.

도 4를 참조하면, 상기 제 1 필터부(110)는 영역 판별부(111), 가중치 계산부(113) 및 가중 평균 필터링부(115)를 포함한다.

상기 영역 판별부(111)는 입력되는 G 채널의 데이터를 수신하고, 소정 크기 의 G 채널 마스크 내부에 포함된 화소 중에서 현재 필터링될 중심 화소와 동일 영역에 속하는 주변 화소들을 결정하는 부분이다. 종래의 평균 필터링 방식은 확률적으로 다른 특성을 갖는 영역, 예를 들어 에지 영역 같이 non-stationary 영역을 일률적으로 현재 화소의 필터링에 이용하여 처리하기 때문에, 필터링 수행 후의 결과 영상에서 세부적인 정보가 제거되는 문제점이 있다. 따라서, 이러한 문제점을 해결하기 위하여, 상기 영역 판별부(110)는 현재 필터링될 중심 화소와 그 주변 화소와의 차이의 절대값과 소정의 문턱값(th)을 비교하여 주변 화소 중 필터링에 이용할 주변 화소를 결정하게 된다. 즉, 상기 영역 판별부(110)는 주변 화소 중에서 필터링 영역에 포함시킬 주변 화소를 결정한다.

상기 영역 판별부(110)의 동작에 대하여 도 5를 참조하여 설명하면 다음과 같다. 도 5에서, 중심 화소의 위치를 (n,m), N은 3×3 마스크 내부라 하고, G_k(k=1,2,...,9)는 각각 상기 3×3 마스크 내부의 각 화소의 G 컬러값을 나타낸다고 가정한다.

상기 영역 판별부(111)는 중심 화소 (n,m)의 G 컬러값(G₅)과 상기 중심 화소 (n,m)의 주변 화소들의 G 컬러값들(G₁,G₂,G₃,G₄,G₆,G₇,G₈,G₉)과의 차이의 절대값

(여기서, i=5)을 소정의 문턱값(th)과 비교하여 필터링 영역에 포함시킬 주변 화소들을 결정한다. 여기서, Gi는 G 채널 마스크의 필터링될 중심 화소의 G 컬러값을 의미한다.

구체적으로는 다음의 수학식 1과 같이 상기 절대값

과 소정의 문턱값(th)과 비교하여 각 화소마다 영역 계수(T_k)를 설정한다.

상기 수학식 1을 참조하면, 상기 영역 판별부(111)는 중심 화소 (n,m)의 G 컬러값(G₅)과의 차이가 소정 문턱값(th)보다 작은 화소들에 대해서는 상기 영역 계수(T_k)의 값을 1로 설정하여 상기 중심 화소 (n,m)과 동일한 영역에 속하는 화소임을 표시하고, 상기 중심 화소 (n,m)의 G 컬러값(G₅)과의 차이가 소정 문턱값(th) 이상인 화소들에 대해서는 상기 영역 계수(T_k)의 값을 0으로 설정하여 상기 중심 화소 (n,m)과 다른 영역에 속하는 화소임을 표시한다. 즉, T_k=1 이면 k 화소는 필터링에 포함되고, T_k=0 이면 k 화소는 필터링에 포함되지 않는다.

도 6은 상기 영역 판별부(111)의 동작의 일 예를 설명하기 위한 3×3 크기의 G 채널 마스크를 나타낸 도면이고, 도 7은 상기 도 6의 G 채널 마스크에 포함된 각 화소들에 설정된 영역 계수를 나타낸 도면이다.

도 6을 참조하면, 상기 영역 판별부(111)는 현재 필터링될 중심 화소의 G 컬 러값(G₅)과 주변 화소들의 G 컬러값들(G_k)과의 차이의 절대값(

)(i=5, k=1,2,3,4,6,7,8,9)을 계산하고, 상기 절대값(

)과 소정 문턱값(th)을 비교하여 필터링 영역에 포함시킬 주변 화소를 결정한다. 도 6에 도시된 3×3 크기의 G 채널 마스크에 있어서 G₁, G₂ 및 G₄의 컬러값과 중심 화소의 G 컬러값(G₅)과의 차이의 절대값은 소정 문턱값(th) 이상을 갖는다고 가정한다. 그러면, 상기 도 6의 각 화소에는 도 7에 도시된 바와 같이 영역 계수(T_k)의 값을 설정하여 중심 화소와 동일한 영역에 속하는 화소와 다른 영역에 속하는 화소들을 구분한다.

다시 도 4를 참조하면, 상기 가중치 계산부(113)는 소정 크기의 마스크 내에서 중심 화소와 그 주변 화소들의 G 컬러값 차이의 절대값에 반비례하는 값을 가중치로 계산한다. 예를 들어, 상기 가중치 계산부(113)는 다음의 수학식 2와 같이 중심 화소의 주변 화소들에 제공되는 가중치를 계산한다.

상기 가중 평균 필터링부(115)는 상기 영역 판별부(111)에서 설정된 영역 계수(T_k) 및 상기 가중치 계산부(113)에서 계산된 가중치(w_k)를 이용하여 중심 화소의 필터링된 G 컬러값(G_i')을 다음의 수학식 3과 같이 계산하여 출력한다.

도 8a 및 8b는 상기 제 1 필터부(110)를 통해 필터링된 영상의 예를 나타낸 도면이고, 도 9a 및 9b는 각각 상기 도 8a 및 8b를 확대한 도면이다. 여기서, 도 8a는 비월 주사 방식의 CMYG 컬러 포맷의 CCD 영상 센서로부터 출력되는 영상 데이터를 종래의 방법에 따라서 컬러 보간하여 획득된 영상을 나타내며, 도 8b는 상기 도 8a의 영상을 상기 제 1 필터부(110)를 통해 필터링된 영상을 나타낸 것이다. 확대된 영상인 도 9a 및 9b를 비교하면, 상기 제 1 필터부(110)는 평탄 영역의 잡음을 제거하면서, 경계 영역에서는 원래의 영상이 갖는 세밀한 영상 정보를 손상시키지 않는 것을 확인할 수 있다.

다시 도 3을 참조하면, 상기 감산부(130)는 보간된 R 및 B 데이터와 상기 제 1 필터부(110)를 통해 필터링된 G' 데이터와의 차이를 계산하여 차영상 (R-G'), (B-G')를 출력한다.

상기 제 2 필터부(120)는 상기 감산부(130)에서 출력되는 차영상 (R-G'), (B-G')과 회귀(recursive) 방식을 통해 이전에 필터링된 차영상 (R'-G'), (B'-G')을 입력으로 하여 차영상에 포함된 컬러 잡음을 제거하는 RMF 필터이다.

전술한 바와 같이, G 채널과는 달리 R 및 B 채널에는 센서에 의한 잡음과 보 간 과정에서 발생된 잡음을 모두 포함하고 있다. G 채널은 영상 센서의 밀도가 높아서 보간 과정에서 발생한 잡음이 상대적으로 적고, 상기 제 1 필터링부(110)를 통해 센서에 의한 잡음 성분을 제거하였으므로, 상기 제 1 필터링부(110)에서 출력되는 필터링된 G' 데이터의 갱신은 필요하지 않다. 따라서, 상기 제 2 필터부(120)는 G 채널과 R 및 B 채널과의 상호 상관성을 이용하여 차영상에 대한 컬러 잡음을 제거한다.

구체적으로는, 상기 제 2 필터부(120)는 차영상 (R-G'), (B-G')를 R과 B 채널의 갱신에 사용한다. 이는 유사 영역 내에서는, 컬러 영상의 각 채널의 차 또는 비가 거의 일정하다는 가정에 근거한 것이다. 즉, 유사 영역 내의 임의의 세 화소가 갖는 RGB 값을 각각 (R₁,B₁,G₁), (R₂,B₂,G₂), (R₃,B₃,G₃)라고 하면, 상기 화소들의 R 및 G 컬러 채널과, B 및 G 컬러 채널 사이의 비는 다음의 수학식 4, 5를 만족한다.

즉, 유사 영역 내에서는 각 화소의 R 및 G 컬러 채널의 컬러비가 서로 유사 함을 알 수 있다. 또한, 상기 수학식 4 및 5로부터 유사 영역내의 화소들 사이의 차영상값은 다음의 수학식 6 같이 서로 유사함을 알 수 있다.

따라서, 상기 제 2 필터부(120)는 이러한 G 채널과 R 및 B 채널과의 상호 상관성을 이용하여 차영상에 대한 컬러 잡음을 제거한다.

도 10은 본 발명에 따른 제 2 필터부(120)의 동작을 설명하기 위한 도면이다.

상기 제 2 필터부(120)는 상기 감산부(130)에서 출력되는 차영상 (R-G'),(B-G')을 수신하여, 소정 크기의 차영상 마스크 내부에 포함된 화소들의 차영상들 중에서 크기가 중간인 차영상을 출력한다. 특히, 상기 제 2 필터부(120)는 이전에 필터링되어 출력된 (R'-G'), (B'-G')을 다시 입력으로 하는 회귀 방식을 통해 효과적으로 컬러 잡음을 제거할 수 있다. 도 10에 도시된 바와 같이, 음영으로 표시된 (R1'-G1'), (R2'-G2'), (R3'-G3') 및 (R4'-G4')는 이전에 메디언 필터링된 값들에 해당된다. 도 10을 참조하면, 상기 제 2 필터부(120)에서 출력되는 필터링된 차영상 (R'-G'), (B'-G')은 다음의 수학식 7과 같다.

다시 도 3을 참조하면, 상기 가산부(140)는 상기 제 1 필터부(110)에서 출력되는 필터링된 G' 데이터와 상기 제 2 필터부(120)에서 출력되는 필터링된 차영상 (R'-G'), (B'-G')을 더하여 최종적으로 필터링된 R' 및 B' 데이터를 출력한다.

도 11은 본 발명에 따른 컬러 잡음 제거 방법을 나타낸 플로우 차트이다.

도 11을 참조하면, CCD 등의 영상 이미지 센서로부터 출력되어 보간된 입력 RGB 데이터 중, 소정 크기의 G 채널 마스크 내부에 포함된 화소 중에서 현재 필터링될 중심 화소와 동일 영역에 속하는 주변 화소들을 결정한다(단계 200). 전술한 바와 같이, 중심 화소와 동일 영역에 속하는 주변 화소들은 상기 중심 화소의 필터링에 이용된다. 상기 수학식 1과 같이, 현재 필터링될 중심 화소와 그 주변 화소와의 차이의 절대값과 소정의 문턱값(th)을 비교하여, 상기 차이의 절대값이 소정 문턱값(th)보다 작은 화소들에 대해서는 상기 영역 계수(T_k)의 값을 1로 설정하여 상기 중심 화소와 동일한 영역에 속하는 화소임을 표시하고, 상기 차이의 절대값이 소정 문턱값(th) 이상인 화소들에 대해서는 상기 영역 계수(T_k)의 값을 0으로 설정하여 상기 중심 화소와 다른 영역에 속하는 화소임을 표시한다.

다음, 상기 수학식 2와 같이, 필터링될 중심 화소를 중심으로 소정 크기 마스크 내에서 중심 화소와 그 주변 화소들의 G 컬러값 차이의 절대값에 반비례하는 값을 가중치로 계산한다(단계 202).

상기 단계 200에서 각 주변 화소에 설정된 영역 계수(T_k) 및 상기 단계 202에서 계산된 주변 화소들의 가중치(w_k)를 이용하여 상기 수학식 3과 같이 가중 평균을 수행하여 중심 화소의 필터링된 G 데이터(G')를 계산하여 출력한다(단계 204).

다음, 입력 R 및 B 데이터와 상기 단계 204를 통해 출력되는 필터링된 G' 데이터와의 차이를 계산하여 차영상 (R-G'), (B-G')를 출력한다(단계 206).

상기 단계 206에서 출력되는 차영상 (R-G'), (B-G')과, 회귀 방식을 통해 이전에 필터링된 차영상 (R'-G'), (B'-G')을 이용하여 메디언 필터링을 수행한다(단계 208). 여기서, 메디언 필터링은 전술한 수학식 7과 같이, 현재의 차영상 (R-G'), (B-G') 과 이전에 필터링되어 출력된 (R'-G'), (B'-G')을 다시 입력으로하여 소정 크기의 차영상 마스크 내부에 포함된 화소들의 차영상들 중에서 크기가 중간인 차영상을 출력한다.

다음 상기 단계 204를 통해 출력되는 필터링된 G' 데이터와 상기 단계 206을 통해 출력되는 필터링된 차영상 (R'-G') 및 (B'-G')을 각각 더하여 최종적으로 필터링된 R' 및 B' 데이터를 출력한다(단계 210).

도 12a 내지 14b는 본 발명에 따른 컬러 잡음 제거 방법 및 장치에 의하여 처리된 영상의 화질 개선 효과를 실험한 결과를 나타낸 도면이다. 여기서, 도 12a는 단판식 CCD에 의하여 획득된 컬러 영상 데이터를 컬러 보간한 레디얼(radial) 영상을 나타내고, 도 12b는 본 발명에 따라 상기 도 12a의 영상에 대한 필터링을 수행한 결과 영상을 나타낸 것이다. 또한, 도 13a는 단판식 CCD에 의하여 획득된 컬러 영상 데이터를 컬러 보간한 써클(circle) 영상을 나타내고, 도 13b는 본 발명에 따라 상기 도 13a의 영상에 대한 필터링을 수행한 결과 영상을 나타낸 것이다. 도 14a 및 14b는 각각 상기 도 13a 및 13b의 영상을 확대한 것이다.

도 12a, 13a 및 14a를 참조하면, 본 발명에 따라 필터링을 수행하기 이전의 원래 영상에는 얇은 에지가 많이 포함되어 있기 때문에 보간에 의하여 컬러 잡음이 많이 발생하였다. 그러나, 도 12b, 13b 및 14b를 참조하면, 본 발명에 따라 필터링을 수행한 경우, 에지 부근 컬러 잡음의 많은 부분이 제거됨을 확인할 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

전술한 바와 같이 본 발명에 따른 컬러 잡음 제거 방법 및 장치는, 센서에 의한 잡음을 제거하면서, 각 컬러 채널 간의 상호 관계를 고려하여 컬러 보간에서 발생되는 의도되지 않은 컬러 잡음을 효과적으로 제거할 수 있다. 따라서, 본 발명을 DSC(Digital Still Camera) 또는 캠코더 등에 적용하는 경우, 잡음이 제거된 깨끗한 화질의 영상을 제공할 수 있다.

Claims (14)

1. 영상 이미지 센서로부터 출력되어 보간된 입력 컬러 데이터의 컬러 잡음을 제거하는 장치에 있어서,

   상기 보간된 입력 컬러 데이터 중 제 1 채널의 컬러 데이터에 포함된 컬러 잡음을 제거하여 필터링된 제 1 채널의 컬러 데이터를 출력하는 제 1 필터부;

   상기 보간된 입력 컬러 데이터 중 제 2 및 3 채널의 입력 컬러 데이터와 상기 필터링된 제 1 채널의 컬러 데이터와의 차이를 계산하여 차영상을 출력하는 감산부;

   상기 차영상 및 이전에 필터링된 차영상 중에서 크기가 중간인 차영상을 선택하여 필터링된 차영상을 출력하는 제 2 필터부; 및

   상기 필터링된 제 1 채널의 컬러 데이터와 상기 필터링된 차영상을 가산하여 상기 제 2 및 3 채널의 필터링된 컬러 데이터를 출력하는 가산부를 포함하는 것을 특징으로 하는 컬러 잡음 제거 장치.
2. 제 1항에 있어서,

   상기 제 1 필터부는,

   상기 제 1 채널의 컬러 데이터를 수신하고, 소정 크기의 제 1 채널 마스크 내부에 포함된 화소 중에서 현재 필터링될 중심 화소와 동일 영역에 속하는지에 따 라서 상기 소정 크기의 마스크 내부의 각 화소에 영역 계수(T_k)를 설정하는 영역 판별부;

   상기 소정 크기의 제 1 채널 마스크 내부에서 중심 화소와 그 주변 화소들의 컬러값 차이의 절대값에 반비례하는 가중치(w_k)를 계산하는 가중치 계산부; 및

   상기 영역 판별부에서 설정된 영역 계수(T_k) 및 상기 가중치 계산부에서 계산된 가중치(w_k)를 이용한 가중 평균을 수행하여, 중심 화소의 필터링된 제 1 채널 컬러 데이터를 출력하는 가중 평균 필터링부를 포함하는 것을 특징으로 하는 컬러 잡음 제거 장치.
3. 제 2항에 있어서,

   상기 영역 판별부는,

   중심 화소의 컬러값과의 차이가 소정 문턱값(th)보다 작은 주변 화소들에 대해서는 상기 영역 계수(T_k)의 값을 1로 설정하여 상기 중심 화소와 동일한 영역에 속하는 화소임을 표시하고, 상기 중심 화소의 G 컬러값과의 차이가 소정 문턱값(th) 이상인 화소들에 대해서는 상기 영역 계수(T_k)의 값을 0으로 설정하여 상기 중심 화소와 다른 영역에 속하는 화소임을 표시하는 것을 특징으로 하는 컬러 잡음 제거 장치.
4. 제 2항에 있어서,

   상기 가중치 계산부는,

   상기 소정 크기의 제 1 채널 마스크 내부에 포함된 화소들의 컬러값을 G_k, 중심 화소의 컬러값을 G_i, N은 상기 소정 크기의 마스크 내부라 할 때, 다음의 수학식

   

   을 통해 상기 주변 화소의 가중치를 계산하는 것을 특징으로 하는 컬러 잡음 제거 장치.
5. 제 2항에 있어서,

   상기 가중 평균 필터링부는,

   상기 소정 크기의 제 1 채널 마스크 내부에 포함된 화소들의 컬러값을 G_k, 중심 화소의 컬러값을 G_i, N은 상기 소정 크기의 마스크 내부라 할 때, 다음의 수학식

   

   을 통해 중심 화소의 필터링된 제 1 채널 컬러 데이터(G_i')를 계산하여 출력하는 것을 특징으로 하는 컬러 잡음 제거 장치.
6. 제 2항에 있어서,

   상기 제 1 채널 마스크의 크기는 3×3인 것을 특징으로 하는 컬러 잡음 제거 장치.
7. 제 1항에 있어서,

   상기 제 1 채널은 G 채널이고, 제 2 및 3 채널은 각각 R 채널 및 B 채널 중 어느 하나인 것을 특징으로 하는 컬러 잡음 제거 장치.
8. 영상 이미지 센서로부터 출력되어 보간된 입력 컬러 데이터의 컬러 잡음을 제거하는 방법에 있어서,

   상기 보간된 입력 컬러 데이터 중 제 1 채널의 컬러 데이터에 포함된 컬러 잡음을 제거하여 필터링된 제 1 채널의 컬러 데이터를 출력하는 단계;

   상기 보간된 입력 컬러 데이터 중 제 2 및 제 3 채널의 입력 컬러 데이터와 상기 필터링된 제 1 채널의 컬러 데이터와의 차이를 계산하여 차영상을 출력하는 단계;

   상기 차영상 및 회귀 방식을 통해 입력되는 이전에 필터링된 차영상 중에서 크기가 중간인 차영상을 선택하여 필터링된 차영상을 출력하는 단계; 및

   상기 필터링된 제 1 채널의 컬러 데이터와 상기 필터링된 차영상을 가산하여 상기 제 2 및 3 채널의 필터링된 컬러 데이터를 출력하는 단계를 포함하는 것을 특징으로 하는 컬러 잡음 제거 방법.
9. 제 8항에 있어서,

   상기 제 1 채널의 컬러 데이터를 출력하는 단계는,

   상기 제 1 채널의 컬러 데이터를 수신하고, 소정 크기의 제 1 채널 마스크 내부에 포함된 화소 중에서 현재 필터링될 중심 화소와 동일 영역에 속하는지에 따라서 상기 소정 크기의 제 1 채널 마스크 내부의 각 화소에 영역 계수(T_k)를 설정하는 단계;

   상기 소정 크기의 제 1 채널 마스크 내에서 중심 화소와 그 주변 화소들의 G 컬러값 차이의 절대값에 반비례하는 가중치(w_k)를 계산하는 단계; 및

   상기 영역 계수(T_k) 및 상기 가중치(w_k)를 이용한 가중 평균을 수행하여, 중심 화소의 필터링된 제 1 채널 컬러 데이터를 출력하는 단계를 포함하는 것을 특징으로 하는 컬러 잡음 제거 방법.
10. 제 9항에 있어서,

    상기 영역 계수(T_k)는,

    상기 중심 화소의 컬러값과의 차이가 소정 문턱값(th)보다 작은 주변 화소들에 대해서는 1로 설정되어 상기 중심 화소와 동일한 영역에 속하는 화소임을 표시하고, 상기 중심 화소의 컬러값과의 차이가 소정 문턱값(th) 이상인 화소들에 대해서는 0으로 설정되어 상기 중심 화소와 다른 영역에 속하는 화소임을 표시하는 것을 특징으로 하는 컬러 잡음 제거 방법.
11. 제 9항에 있어서,

    상기 가중치는,

    상기 소정 크기의 제 1 채널 마스크 내부에 포함된 화소들의 컬러값을 G_k, 중심 화소의 G 컬러값을 G_i, N은 상기 소정 크기의 제 1 채널 마스크 내부라 할 때, 다음의 수학식

    

    을 통해 계산되는 것을 특징으로 하는 컬러 잡음 제거 방법.
12. 제 9항에 있어서,

    상기 중심 화소의 필터링된 제 1 채널 컬러 데이터(G')는,

    상기 소정 크기의 제 1 채널 마스크 내부에 포함된 화소들의 제 1 채널 컬러값을 G_k, 중심 화소의 제 1 채널 컬러값을 G_i, N은 상기 소정 크기의 제 1 채널 마스크 내부라 할 때, 다음의 수학식

    

    을 통해 계산되는 것을 특징으로 하는 컬러 잡음 제거 방법.
13. 제 9항에 있어서,

    상기 제 1 채널 마스크의 크기는 3×3인 것을 특징으로 하는 컬러 잡음 제거 방법.
14. 제 8항에 있어서,

    상기 제 1 채널은 G 채널이고, 제 2 및 3 채널은 각각 R 채널 및 B 채널 중 어느 하나인 것을 특징으로 하는 컬러 잡음 제거 방법.

Images