Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
KR101230397B1 - 영상 데이터 고속 송/수신 방법 및 장치 - Google Patents
[go: Go Back, main page]

KR101230397B1 - 영상 데이터 고속 송/수신 방법 및 장치 - Google Patents

영상 데이터 고속 송/수신 방법 및 장치 Download PDF

Info

Publication number
KR101230397B1
KR101230397B1 KR1020100094734A KR20100094734A KR101230397B1 KR 101230397 B1 KR101230397 B1 KR 101230397B1 KR 1020100094734 A KR1020100094734 A KR 1020100094734A KR 20100094734 A KR20100094734 A KR 20100094734A KR 101230397 B1 KR101230397 B1 KR 101230397B1
Authority
KR
South Korea
Prior art keywords
image data
transmission
buffer
line
line buffers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020100094734A
Other languages
English (en)
Other versions
KR20120033131A (ko
Inventor
강민구
구자철
이상윤
임쌍근
Original Assignee
(주) 인텍플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 인텍플러스 filed Critical (주) 인텍플러스
Priority to KR1020100094734A priority Critical patent/KR101230397B1/ko
Priority to EP11829567.4A priority patent/EP2624202A4/en
Priority to CN201180047070.7A priority patent/CN103140873B/zh
Priority to US13/824,713 priority patent/US9218050B2/en
Priority to PCT/KR2011/007141 priority patent/WO2012044061A2/ko
Priority to TW100135116A priority patent/TWI514888B/zh
Publication of KR20120033131A publication Critical patent/KR20120033131A/ko
Application granted granted Critical
Publication of KR101230397B1 publication Critical patent/KR101230397B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Storing Facsimile Image Data (AREA)
  • Television Signal Processing For Recording (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Input (AREA)
  • Communication Control (AREA)
  • Small-Scale Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 이미지 센서에서 출력되는 영상 데이터를 전송 채널의 대역폭에 상응하는 속도로 하나 이상의 전송 채널을 통해 순차적으로 전송하는 단계와, 하나 이상의 전송 채널을 통해 수신되는 영상 데이터를 하나 이상의 전송 채널 각각의 대역폭을 합한 전체 대역폭에 해당하는 속도로 프레임 스토어에 순차적으로 기록하는 단계를 포함하는 영상 데이터 고속 송수신 방법과 이를 구현하기 위한 장치이다.

Description

영상 데이터 고속 송/수신 방법 및 장치{Method and Apparatus for Transmitting/Receiving Image Data with High Speed}
본 발명은 영상 데이터 송/수신 방법 및 장치에 관한 것으로, 보다 상세하게는 카메라와 영상 데이터 처리 장치간에 영상 데이터를 송수신할 수 있는 방법 및 장치에 관한 것이다.
최근 디지털 영상 처리 분야의 성장 가능성이 한층 높아지고 있다. 디지털 캠코더, 디지털 스틸 카메라(DSC :Digital Still Camera) 및 영상 레코더와 같은 촬영 장치는 영상을 디지털 신호로 변환하여 저장한다. 또한 이러한 촬영 장치에서 개인용 컴퓨터(Personnel Computer : PC)와 같은 영상 신호 처리 장치에 송신된 디지털 영상은 컴퓨터에서 여러 가지 알고리즘을 적용하여 처리된다.
도 1은 일반적인 영상 데이터 송수신 시스템의 구성이다.
카메라(10)는 프레임 그래버(frame grabber)(20)와 연결되도록 구성되는데, 상기 카메라(10)와 프레임 그래버(20)는 케이블(cable)(30)을 통해 연결된다. 이때, 상기 카메라(10)와 프레임 그래버(20)는 카메라 링크 표준(camera link standard)에 따른 인터페이스를 통해 데이터 송수신을 수행한다.
이러한 구성에 의하면, 카메라(10)는 케이블(30)을 통해 촬영 영상 데이터를 프레임 그래버(20)로 송신한다. 상기 프레임 그래버(20)는 카메라(10)에서 송신한 영상 데이터를 수신 처리하는 프로세싱 보드로서, 일반 PC 환경에서 사용할 수 있도록 PCI(peripheral component interconnect) 버스를 통해 메인 시스템과 연결된다.
본 발명은 카메라에 의해 촬영된 영상 데이터를 영상 데이터 처리 장치와 고속으로 송수신하기 위한 방법 및 장치를 제공한다.
본 발명은 영상 데이터 고속 송신 장치로, 이미지 센서에서 출력되는 영상 데이터를 하나 이상의 라인 버퍼에 순차적으로 기록하는 버퍼 기록 제어기와, 상기 하나 이상의 버퍼에 저장된 영상 데이터를 순차적으로 읽어들여 전송 채널의 대역폭에 상응하는 기록 속도로 하나 이상의 전송 채널에 순차적으로 출력되도록 제어하는 송신 제어기를 포함한다.
본 발명은 영상 데이터 고속 수신 장치로, 하나 이상의 전송 채널을 통해 수신되는 영상 데이터를 하나 이상의 라인 버퍼에 순차적으로 기록하도록 제어하는 수신 제어기와, 상기 하나 이상의 라인 버퍼에 저장된 영상 데이터를 상기 하나 이상의 전송 채널 각각의 대역폭을 합한 전체 대역폭에 해당하는 속도로 읽어들여 프레임 스토어에 순차적으로 기록하는 버퍼 읽기 제어기를 포함한다.
본 발명은 영상 데이터 고속 송수신 방법으로, 이미지 센서에서 출력되는 영상 데이터를 전송 채널의 대역폭에 상응하는 속도로 하나 이상의 전송 채널을 통해 순차적으로 전송하는 단계와, 하나 이상의 전송 채널을 통해 수신되는 영상 데이터를 하나 이상의 전송 채널 각각의 대역폭을 합한 전체 대역폭에 해당하는 속도로 프레임 스토어에 순차적으로 기록하는 단계를 포함한다.
또한, 본 발명은 영상 데이터 고속 송신 방법으로 이미지 센서에서 출력되는 영상 데이터를 라인별로 순차적으로 저장하는 단계와, 상기 저장된 영상 데이터를 전송 채널의 대역폭에 상응하는 기록 속도로 하나 이상의 전송 채널에 순차적으로 출력하는 단계를 포함한다.
또한, 본 발명은 영상 데이터 고속 수신 방법으로 하나 이상의 전송 채널을 통해 수신되는 영상 데이터를 라인별로 순차적으로 저장하는 단계와, 상기 저장된 영상 데이터를 상기 하나 이상의 전송 채널 각각의 대역폭을 합한 전체 대역폭에 해당하는 속도로 읽어들여 프레임 스토어에 순차적으로 기록하는 단계를 포함한다.
본 발명은 이미지 센서로부터 고속 출력되는 영상 데이터를 복수의 전송 채널을 가지는 동축 케이블을 통해 전송하므로, 영상 데이터를 고속으로 송신할 수 있다는 이점이 있다.
본 발명은 복수의 전송 채널을 가지는 동축 케이블을 통해 전송되는 영상 데이터를 통해 수신하므로, 영상 데이터를 고속으로 수신할 수 있다는 이점이 있다.
도 1은 일반적인 영상 데이터 송수신 시스템의 구성도이다.
도 2는 본 발명의 바람직한 실시 예에 따른 영상 데이터 고속 송수신 시스템의 구성도이다.
도 3은 본 발명의 바람직한 일 실시 예에 따른 영상 데이터 고속 송신 장치를 포함하는 송신단의 구성도이다.
도 4는 영상 데이터 고속 송신 장치의 동작에 따른 신호의 일 예를 도시한 도면이다.
도 5는 영상 데이터 고속 송신 장치의 동작에 따른 신호의 다른 예를 도시한 도면이다.
도 6은 본 발명의 바람직한 다른 실시 예에 따른 영상 데이터 고속 송신 장치를 포함하는 송신단의 구성도이다.
도 7은 본 발명의 바람직한 일 실시 예에 따른 영상 데이터 고속 수신 장치를 포함하는 수신단의 구성도이다.
도 8은 영상 데이터 고속 수신 장치의 동작에 따른 신호의 일 예를 도시한 도면이다.
도 9는 영상 데이터 고속 수신 장치의 동작에 따른 신호의 다른 예를 도시한 도면이다.
도 10은 본 발명의 바람직한 다른 실시 예에 따른 영상 데이터 고속 수신 장치를 포함하는 수신단의 구성도이다.
이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시 예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.
본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시 예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 발명을 설명하기에 앞서, 명세서 전반에 걸쳐 사용되는 용어들은 본 발명 실시 예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 발명의 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명은 이미지 센서에서 출력되는 영상 데이터를 전송 채널의 대역폭에 상응하는 속도로 하나 이상의 전송 채널을 통해 순차적으로 전송하는 단계와, 하나 이상의 전송 채널을 통해 수신되는 영상 데이터를 하나 이상의 전송 채널 각각의 대역폭을 합한 전체 대역폭에 해당하는 속도로 프레임 스토어에 순차적으로 기록하는 단계를 포함하는 영상 데이터 고속 송수신 방법을 제안한다.
또한, 본 발명은 이미지 센서에서 출력되는 영상 데이터를 라인별로 순차적으로 저장하는 단계와, 상기 저장된 영상 데이터를 전송 채널의 대역폭에 상응하는 기록 속도로 하나 이상의 전송 채널에 순차적으로 출력하는 단계를 포함하는 영상 데이터 고속 송신 방법을 제안한다.
또한, 본 발명은 하나 이상의 전송 채널을 통해 수신되는 영상 데이터를 라인별로 순차적으로 저장하는 단계와, 상기 저장된 영상 데이터를 상기 하나 이상의 전송 채널 각각의 대역폭을 합한 전체 대역폭에 해당하는 속도로 읽어들여 프레임 스토어에 순차적으로 기록하는 단계를 포함하는 영상 데이터 고속 수신 방법을 제안한다.
전술한 바와 같은 영상 데이터 고속 송수신 방법을 구현하기 위한 장치를 포함하는 시스템 구성이 하기의 도 2에 도시되어 있다.
도 2는 본 발명의 바람직한 실시 예에 따른 영상 데이터 고속 송수신 시스템의 구성도이다.
본 발명에 따른 영상 데이터 고속 송수신 시스템은 송신단(100)과 수신단(200)의 데이터 송신 매체로 복수의 전송 채널(Transmission Channel)을 가지는 동축 케이블(Coaxial Cable)(300)을 이용하여, 영상 데이터가 병렬(Parallel) 송수신되도록 한다.
송신단(100)은 상세하게는 촬영 장치의 촬상 소자인 이미지 센서(Image Sensor : I/S)(210)와, 상기 이미지 센서(210)로부터 출력되는 영상 데이터를 동축 케이블(300)의 전송 채널의 대역폭에 상응하는 속도로 순차적으로 출력 제어하는 고속 영상 송신 장치(120)와, 상기 고속 영상 송신 장치(120)로부터 출력되는 영상 데이터가 전송되도록 동축 케이블(300)의 전송 채널을 구동 제어하는 케이블 송신부(130)을 포함한다.
수신단(200)은 상세하게는 동축 케이블(300)로부터 수신되는 신호를 디지털 처리 가능한 신호로 변환하여 출력하는 케이블 수신부(210)와, 상기 케이블 수신부(210)로부터 동축 케이블(300)의 전송 채널의 대역폭에 상응하는 속도로 순차적으로 수신하여 프레임 스토어(280)에 고속 기록되도록 제어하는 고속 영상 수신 장치(220)를 포함한다.
그러면, 도 3을 참조하여 본 발명의 바람직한 일 실시 예에 따른 영상 데이터 고속 송신 장치를 포함하는 송신단의 구성을 좀 더 상세히 살펴보기로 한다.
이미지 센서(110)는 빛의 반응하는 성질을 극대화시키도록 만든 M X N 개(N, M은 자연수)의 단위 화소, 즉 픽셀(Pixel)을 배치시켜, 카메라 등의 촬영 장치의 렌즈를 통해 입력되는 픽셀별 빛의 양의 상응하는 전기 신호(raw data)를 출력(이하, 편의상 '영상 데이터'라 칭하기로 함)하는 촬영 소자이다. 이러한 이미지 센서(210)는 일반적으로 CCD(Charge Coupled Device)형 이미지 센서 또는 CMOS(Complementary Metal Oxide Semiconductor)형 이미지 센서 등의 고체 촬상 소자가 사용될 수 있고, 피사체를 80만 픽셀 내지 150만 픽셀 정도의 메가 픽셀급으로 촬영하여 1440*960의 해상도를 갖는 고해상도 영상 데이터를 생성할 수 있다. 또한, 이미지 센서(110)는 하나 이상의 출력 탭을 통해 M개의 라인별 영상 데이터를 직렬 또는 병렬 출력할 수 있다.
케이블 송신부(130)는 영상 데이터를 동축 케이블(330)의 복수의 전송 채널을 통해 송신 가능하도록 처리하는 동축 케이블 드라이버(Coaxial Cable Driver)로써, 복수의 전송 채널 각각에 대응되도록 복수개로 구성될 수 있다.
고속 영상 송신 장치(120)는 이미지 센서(110)로부터 출력되는 영상 데이터를 동축 케이블(300)의 전송 채널의 대역폭에 상응하는 속도로 출력되도록 제어한다. 즉, 이미지 센서(110)의 출력 속도는 전송 채널의 대역폭에 상응하는 속도보다 크기 때문에, 고속 영상 송신 장치(120)는 영상 데이터의 출력 속도를 조절하여 출력한다.
이를 위해 본 발명의 바람직한 실시 예에 따른 고속 영상 송신 장치(120)는 도 3에 도시된 바와 같이, 하나 이상의 라인 메모리인 라인 버퍼(Line Buffer : LB)(123)와, 상기 이미지 센서(110)의 하나 이상의 출력탭을 통해 출력되는 영상 데이터를 상기 라인 버퍼부(123)에 순차적으로 기록하는 버퍼 기록 제어기(122)와, 상기 라인 버퍼부(123)에 기록된 영상 데이터를 읽어들여 송신부(230)을 통해 송신되도록 출력하는 송신 제어기(330)를 포함하여 구성되는 것으로, FPGA(Field Programable Gate Array)를 사용하여 구현될 수 있다.
또한, 본 발명의 실시 예에 따라, 고속 영상 송신 장치(240)는 이미지 센서(210)의 하나 이상의 출력탭에 연결되어 영상 데이터를 임시 저장하는 화소 버퍼(121)을 더 포함한다. 이러한, 화소 버퍼(121)은 이미지 센서(240)의 출력 클럭에 동기시켜 일정 주기로 데이터를 내보내주는 FIFO(First Input First Output) 역할을 하며 여러 개의 라인 메모리일 수 있다. 이때, 상기 버퍼 기록 제어기(122)는 상기 화소 버퍼(121)로부터 영상 데이터를 읽어들인다.
도 4 및 도 5는 영상 데이터 고속 송신 장치의 동작에 따른 신호의 예를 도시한 도면이다. 도 4는 전송 채널의 대역폭에 상응하는 속도가 이미지 센서의 출력 속도의 1/2일 경우이고, 도 5는 채널의 대역폭에 상응하는 속도가 이미지 센서의 출력 속도의 1/3일 경우를 가정한다.
도 4 및 도 5를 참조하여, 버퍼 기록 제어기(122) 및 송신 제어기(330)의 동작을 설명하기로 한다.
버퍼 기록 제어기(122)는 이미지 센서(110)로부터 영상 데이터가 라인별로 출력됨에 따라, 쓰기 인에이블(Write Enable)된 라인 버퍼(123)에 영상 데이터를 이미지 센서(110)의 출력 속도에 상응하도록 순차적으로 기록한다.
도 4를 참조하면, 버퍼 기록 제어기(122)는 tO 시점에 라인 버퍼에 영상 데이터를 기록하기 시작한다. t1 시점에 라인 버퍼 1의 메모리 공간이 모두 채워져서 쓰기 디스에이블(Write Disable)됨에 따라, 버퍼 기록 제어기(122)는 라인 버퍼 2에 영상 데이터의 기록을 시작한다. 이와 같이 버퍼 기록 제어기(122)는 라인 버퍼(123)에 순차적으로 쓰기 동작을 수행한다.
한편, 송신 제어기(124)는 버퍼 기록 제어기(122)가 라인 버퍼(123)에 기록하는 동안, 모두 채워진 라인 버퍼에 기록된 영상 데이터를 읽어들여 케이블 송신부(130)를 통해 전송 채널의 대역폭에 상응하는 전송 속도로 송신되도록 제어한다.
도 4를 참조하면, t1 시점에 라인 버퍼 1이 모두 채워져 읽기 인에이블(Read Enable)됨에 따라, 송신 제어기(124)는 송신부 1을 통해 라인 버퍼 1에 기록된 영상 데이터를 읽어들여 출력한다. 이때, 도 4에 도시된 예에서는 전송 채널의 대역폭에 상응하는 전송 속도가 이미지 센서의 출력 속도의 1/2이 되므로, 송신 제어기(124)는 t1 ~ t3의 시간 구간 동안 읽기 동작을 수행하여 송신부 1에 출력되도록 제어한다.
한편, t2 시점에 라인 버퍼 2가 읽기 인에이블(Read Enable)됨에 따라, 송신 제어기(124)는 송신부 2에 라인 버퍼 2에 기록된 데이터를 송신한다. 즉, 두 개의 전송 채널을 사용하여 전송 채널의 대역폭을 두 배로 증가시키게 되므로, 이미지 센서의 출력 속도에 부합하게 된다.
이에 대해 도 5를 참조하여 좀 더 설명하면, 이미지 센서(110)의 출력 속도가 동축 케이블의 전송 채널의 대역폭에 상응하는 전송 속도의 3배가 되므로, 세 개의 전송 채널을 사용하여 대역폭을 세 배로 증가시키게 된다.
또한, 전술한 바와 같은 속도 조절을 위해 상기 라인 버퍼(123)의 개수는 상기 전송 채널의 개수보다 크게 되도록 구성될 수 있다.
또한, 송신 제어기(124)는 영상 데이터를 송신부(130)에 전송함에 있어, 이미지 센서(110)로부터 라인별로 출력되는 영상 데이터의 라인 식별을 위한 헤더 정보를 라인 버퍼(123)로부터 출력되는 영상 데이터에 부가할 수 있다.
예컨대, 도 4를 참조하면, t1 시점에 송신 제어기(124)가 라인 버퍼 1에서 읽어들인 제 1 라인(line #1) 영상 데이터를 송신부 1에 출력함에 있어, 제 1 라인임을 구별하기 위한 헤더 정보를 부가시켜 송신부 1에 출력한다. 이러한 헤더 정보를 수신단(200)에서 영상 데이터 정렬을 위해 사용된다.
한편, 본 발명에 따른 이미지 센서(110)는 하나 이상의 출력 탭을 통해 라인별 영상 데이터를 직렬 또는 병렬 출력할 수 있는데, 병렬 출력될 경우 본 발명의 바람직한 다른 실시 예에 따라 고속 영상 송신 장치(120)의 버퍼 기록 제어기(122) 및 송신 제어기(124)는 복수개로 구비될 수 있다.
이때, 라인 버퍼는 복수의 쓰기 및 읽기 포트를 가진 다중 포트 메모리이고, 상기 복수개의 버퍼 기록 제어기 각각은 상기 복수의 쓰기 포트에 대응되고, 상기 이미지 센서의 하나 이상의 출력 탭은 복수의 그룹으로 분할되어 상기 복수의 버퍼 기록 제어기들 각각에 할당된다. 그러면, 상기 복수개의 버퍼 기록 제어기들 각각은 상기 할당된 그룹의 출력탭들로부터 출력되는 영상 데이터를 상기 대응되는 쓰기 포트에 기록하게 된다.
또한, 상기 복수개의 송신 제어기는 상기 읽기 포트에 대응되고, 상기 하나 이상의 전송 채널은 복수의 그룹으로 분할되어 상기 복수의 송신 제어기들 각각에 할당된다. 그러면, 상기 복수개의 송신 제어기들 각각은 대응되는 읽기 포트로부터 영상 데이터를 읽어들여 상기 할당된 그룹의 전송 채널로 출력한다.
전술한 바와 같은 본 발명의 바람직한 다른 실시 예에 따른 영상 데이터 고속 송신 장치를 포함하는 송신단의 구성 예가 도 6에 도시되어 있다.
도 6을 참조하면, 복수개의 버퍼 기록 제어기(122a, 122b) 및 송신 제어기(124a, 124b)가 구성되고, 라인버퍼(123a, 123b) 및 케이블 송신부(130a, 130b)가 각각 분할되어 관리된다.
다음으로, 도 7을 참조하여 본 발명의 바람직한 일 실시 예에 따른 영상 데이터 고속 수신 장치를 포함하는 수신단의 구성을 좀 더 상세히 살펴보기로 한다.
케이블 수신부(130)는 영상 데이터를 동축 케이블(330)의 복수의 전송 채널을 통해 수신 가능하도록 처리하는 동축 케이블 드라이버(Coaxial Cable Driver)로써, 복수의 전송 채널 각각에 대응되도록 복수개로 구성될 수 있다.
프레임 스토어(240)는 상기 동축 케이블(330)을 통해 전송되는 이미지 센서(110)의 출력 영상 데이터를 저장한다. 도면에는 도시되어 있지 않지만, 이러한 프레임 스토어(240)에 저장된 영상 데이터는 PC 등에 전달되어 영상 처리된다.
고속 영상 수신 장치(220)는 복수의 수신부(210)을 통해 수신되는 영상 데이터를 프레임 스토어(240)의 복수의 수신부(210)에 의해 지원되는 대역폭에 상응하는 속도로 출력되도록 제어한다. 예컨대, 하나의 수신부(210)의 전송 대역폭은 R개의 수신부(210) 전체에서 지원하는 전송 대역폭의 1/R이 되므로, 고속 영상 수신 장치(220)는 복수의 수신부(210) 각각의 전송 속도보다 R배 빠른 속도로 프레임 스토어(240)에 기록되도록 해야 한다.
이를 위해 본 발명의 바람직한 실시 예에 따른 고속 영상 수신 장치(220)는 도 7에 도시된 바와 같이, 하나 이상의 라인 메모리인 라인 버퍼(Line Buffer: LB)(122)와, 상기 하나 이상의 수신부(210)를 통해 전송되는 영상 데이터를 상기 라인 버퍼부(222)에 순차적으로 기록하는 수신 제어기(221)와, 상기 라인 버퍼부(222)에 기록된 영상 데이터를 읽어들여 프레임(230)에 출력하는 버퍼 읽기 제어기(223)을 포함하여 구성되는 것으로, FPGA(Field Programable Gate Array)를 사용하여 구현될 수 있다.
또한, 본 발명의 실시 예에 따라, 고속 영상 수신 장치(220)는 프레임 스토어(240)의 하나 이상의 입력탭에 연결되어 영상 데이터를 임시 저장하는 화소 버퍼(230)을 더 포함할 수 있다.
도 8 및 도 9는 영상 데이터 고속 수신 장치의 동작에 따른 신호의 예를 도시한 도면이다. 도 8는 두 개의 전송 채널을 통해 영상 데이터가 수신되는 경우이고, 도 9는 세 개의 전송 채널을 통해 영상 데이터가 수신되는 경우를 가정한다.
도 8 및 도 9를 참조하여, 수신 제어기(221) 및 버퍼 일기 제어기(223)의 동작을 설명하기로 한다.
수신 제어기(221)는 복수의 수신부(210)로부터 영상 데이터가 수신됨에 따라, 쓰기 인에이블(Write Enable)된 라인 버퍼(222)에 영상 데이터를 하나의 수신부(210)의 대역폭에 상응하는 속도로 순차적으로 기록한다.
도 8을 참조하면, t0 시점에 수신 제어기(221)는 수신부 1을 통해 수신되는 영상 데이터를 라인 버퍼 1에 기록하기 시작한다. 또한, t1 시점에 수신 제어기(221)는 수신부 2를 통해 수신되는 영상 데이터를 라인 버퍼 2에 기록하기 시작한다. 이때, 수신 제어기(221)는 하나의 수신부의 대역폭에 해당하는 속도로 라인 버퍼에 기록하므로, t2 시점에 라인 버퍼 1의 메모리 공간이 모두 채워져서 쓰기 디스에이블(Write Disable)된다.
한편, 버퍼 읽기 제어기(223)는 수신 제어기(221)가 라인 버퍼(222)에 기록하는 동안, 모두 채워진 라인 버퍼에 기록된 영상 데이터를 복수의 수신부(210)의 대역폭의 합에 상응하는 속도로 읽어들여 프레임 스토어(240)에 전송되도록 제어한다.
도 8을 참조하면, t2 시점에 라인 버퍼 1이 모두 채워져 읽기 인에이블(Read Enable)됨에 따라, 버퍼 읽기 제어기(223)는 라인 버퍼 1에 기록된 영상 데이터를 읽어들여 출력한다. 이때, 도 8에 도시된 예에서는 전송 채널의 전체 대역폭에 상응하는 전송 속도가 수신부 하나를 통해 수신되는 속도의 2 배가 되므로, 버퍼 읽기 제어기(223)는 t2 ~ t3의 시간 구간 동안 읽기 동작을 수행하여 프레임 스토어(240)에 출력되도록 제어한다.
그러면, t3 시점에 라인 버퍼 2가 읽기 인에이블(Read Enable)됨에 따라, 버퍼 읽기 제어기(223)는 라인 버퍼 1의 읽기 동작을 완료한 상태이므로, 라인 버퍼 2에 기록된 데이터를 읽어들여 프레임 스토어(240)에 출력되도록 제어한다. 즉, 두 개의 전송 채널을 사용하여 전송 채널의 대역폭을 두 배로 증가시키게 되므로, 프레임 스토어(240)의 기록 속도는 두 배 빨라지게 된다.
이에 대해 도 9를 참조하여 좀 더 설명하면, 동축 케이블의 복수의 전송 채널의 대역폭의 합이 하나의 전송 채널의 대역폭에 3배가 되므로, 프레임 스토어(240)의 기록 속도는 세 개의 전송 채널의 대역폭에 상응하도록 세 배로 증가하게 된다.
또한, 전술한 바와 같은 속도 조절을 위해 상기 라인 버퍼(222)의 개수는 상기 전송 채널의 개수보다 크게 되도록 구성될 수 있다.
한편, 본 발명의 다른 실시 예에 따라 고속 영상 수신 장치의 수신 제어기 및 버퍼 기록 제어기는 복수개로 구비될 수 있다.
이때, 라인 버퍼는 복수의 쓰기 및 읽기 포트를 가진 다중 포트 메모리이고, 상기 복수개의 수신 제어기 각각은 상기 복수의 쓰기 포트에 대응되고, 상기 하나 이상의 전송 채널은 복수의 그룹으로 분할되어 상기 복수개의 수신 제어기들 각각에 할당된다. 그러면, 상기 복수개의 수신 제어기들 각각은 상기 할당된 그룹의 전송 채널로부터 출력되는 영상 데이터를 상기 대응되는 쓰기 포트에 기록한다.
또한, 상기 복수개의 버퍼 읽기 제어기 각각은 상기 복수의 읽기 포트에 대응되고, 상기 프레임 스토어의 하나 이상의 입력 탭은 복수의 그룹으로 분할되어 상기 복수의 버퍼 읽기 제어기 각각에 할당된다. 그러면, 상기 복수개의 버퍼 읽기 제어기 각각은 대응되는 읽기 포트로부터 영상 데이터를 읽어들여 상기 할당된 그룹의 입력탭으로 출력한다.
전술한 바와 같은 본 발명의 바람직한 다른 실시 예에 따른 영상 데이터 고속 수신 장치를 포함하는 수신단의 구성 예가 도 10에 도시되어 있다.
도 10을 참조하면, 복수개의 수신 제어기(221a, 221b) 및 버퍼 읽기 제어기(223a, 223b)가 구성되고, 케이블 수신부(210a, 210b) 및 라인 버퍼(222a, 222b)가 각각 분할되어 관리된다.

Claims (15)

  1. 복수의 라인 버퍼들과,
    이미지 센서에서 출력되는 영상 데이터를 상기 복수의 라인 버퍼들에 순차적으로 기록하는 버퍼 기록 제어기와,
    상기 버퍼 기록 제어기가 상기 복수의 라인 버퍼들 중 하나에 기록하는 동안, 상기 복수의 라인 버퍼들 중 하나에 저장된 영상 데이터를 순차적으로 읽어들여 복수의 전송 채널의 대역폭에 상응하는 기록 속도로 하나 이상의 전송 채널에 순차적으로 출력되도록 제어하는 송신 제어기를 포함함을 특징으로 하는 영상 데이터 고속 송신 장치.
  2. 제 1항에 있어서,
    상기 라인 버퍼는 복수의 쓰기 포트를 가진 다중 포트 메모리이고,
    상기 버퍼 기록 제어기는 상기 쓰기 포트에 대응되도록 복수개로 구비되고,
    상기 이미지 센서의 하나 이상의 출력 탭은 복수의 그룹으로 분할되어 상기 복수의 버퍼 기록 제어기들 각각에 할당되고,
    상기 복수개의 버퍼 기록 제어기들 각각은 상기 할당된 그룹의 출력탭들로부터 출력되는 영상 데이터를 상기 대응되는 쓰기 포트에 기록함을 특징으로 하는 영상 데이터 고속 송신 장치.
  3. 제 1항에 있어서,
    상기 라인 버퍼는 복수의 읽기 포트를 가진 다중 포트 메모리이고,
    상기 송신 제어기는 상기 읽기 포트에 대응되도록 복수개로 구비되고,
    상기 하나 이상의 전송 채널은 복수의 그룹으로 분할되어 상기 복수의 송신 제어기들 각각에 할당되고,
    상기 복수개의 송신 제어기들 각각은 대응되는 읽기 포트로부터 영상 데이터를 읽어들여 상기 할당된 그룹의 전송 채널로 출력함을 특징으로 하는 영상 데이터 고속 송신 장치.
  4. 제 1항에 있어서,
    상기 이미지 센서의 복수의 출력탭에서 출력되는 영상 데이터를 임시 저장하는 복수의 화소 버퍼를 더 포함하고,
    상기 버퍼 기록 제어기는 상기 화소 버퍼로부터 영상 데이터를 읽어들임을 특징으로 하는 영상 데이터 고속 송신 장치.
  5. 제 1항에 있어서,
    상기 라인 버퍼의 개수는 상기 전송 채널의 개수 이상임을 특징으로 하는 영상 데이터 고속 송신 장치.
  6. 제 1항에 있어서, 상기 송신 제어기는
    상기 이미지 센서로부터 라인별로 출력되는 영상 데이터의 라인 식별 헤더 정보를 영상 데이터에 부가하여 상기 전송 채널에 출력함을 특징으로 하는 영상 데이터 고속 송신 장치.
  7. 복수의 라인 버퍼들과,
    복수의 전송 채널들을 통해 수신되는 영상 데이터를 상기 복수의 라인 버퍼들에 순차적으로 기록하도록 제어하는 수신 제어기와,
    상기 수신 제어기가 상기 복수의 라인 버퍼들 중 하나에 기록하는 동안, 상기 복수의 라인 버퍼들 중 하나에 저장된 영상 데이터를 상기 복수의 전송 채널들 각각의 대역폭을 합한 전체 대역폭에 해당하는 속도로 읽어들여 프레임 스토어에 순차적으로 기록하는 버퍼 읽기 제어기를 포함함을 특징으로 하는 영상 데이터 고속 수신 장치.
  8. 제 7항에 있어서,
    상기 라인 버퍼는 복수의 쓰기 포트를 가진 다중 포트 메모리이고,
    상기 수신 제어기는 상기 쓰기 포트에 대응되도록 복수개로 구비되고,
    상기 하나 이상의 전송 채널은 복수의 그룹으로 분할되어 상기 복수개의 수신 제어기들 각각에 할당되고,
    상기 복수개의 수신 제어기들 각각은 상기 할당된 그룹의 전송 채널로부터 출력되는 영상 데이터를 상기 대응되는 쓰기 포트에 기록함을 특징으로 하는 영상 데이터 고속 수신 장치.
  9. 제 7항에 있어서,
    상기 라인 버퍼는 복수의 읽기 포트를 가진 다중 포트 메모리이고,
    상기 버퍼 읽기 제어기는 상기 읽기 포트에 대응되도록 복수개로 구비되고,
    상기 프레임 스토어의 하나 이상의 입력 탭은 복수의 그룹으로 분할되어 상기 복수의 버퍼 읽기 제어기 각각에 할당되고,
    상기 복수개의 버퍼 읽기 제어기 각각은 대응되는 읽기 포트로부터 영상 데이터를 읽어들여 상기 할당된 그룹의 입력탭으로 출력함을 특징으로 하는 영상 데이터 고속 수신 장치.
  10. 제 7항에 있어서,
    상기 프레임 스토어의 복수의 입력탭에서 입력되는 영상 데이터를 임시 저장하는 복수의 화소 버퍼를 더 포함하고,
    상기 버퍼 읽기 제어기는 상기 화소 버퍼에 영상 데이터를 출력함을 특징으로 하는 영상 데이터 고속 수신 장치.
  11. 제 7항에 있어서,
    상기 라인 버퍼의 개수는 상기 전송 채널의 개수 이상임을 특징으로 하는 영상 데이터 고속 수신 장치.
  12. 이미지 센서에서 출력되는 영상 데이터를 복수의 라인 버퍼들에 순차적으로 저장하는 단계와,
    상기 복수의 라인 버퍼들 중 하나에 저장하는 동안, 상기 복수의 라인 버퍼들 중 하나에 저장된 영상 데이터를 전송 채널의 대역폭에 상응하는 기록 속도로 복수의 전송 채널에 순차적으로 출력하는 단계를 포함함을 특징으로 하는 영상 데이터 고속 송신 방법.
  13. 제 12항에 있어서, 상기 출력하는 단계는
    상기 영상 데이터의 라인 식별 헤더 정보를 영상 데이터에 부가하는 단계를 더 포함함을 특징으로 하는 영상 데이터 고속 송신 방법.
  14. 하나 이상의 전송 채널을 통해 수신되는 영상 데이터를 복수의 라인 버퍼들에 순차적으로 저장하는 단계와,
    상기 복수의 라인 버퍼들 중 하나에 저장하는 동안, 상기 복수의 라인 버퍼들 중 하나에 저장된 영상 데이터를 상기 하나 이상의 전송 채널 각각의 대역폭을 합한 전체 대역폭에 해당하는 속도로 읽어들여 프레임 스토어에 순차적으로 기록하는 단계를 포함함을 특징으로 하는 영상 데이터 고속 수신 방법.
  15. 이미지 센서에서 출력되는 영상 데이터를 복수의 라인 버퍼들에 순차적으로 기록하는 동안, 상기 복수의 라인 버퍼들 중 하나에 저장된 영상 데이터를 전송 채널의 대역폭에 상응하는 속도로 복수의 전송 채널을 통해 순차적으로 전송하는 단계와,
    하나 이상의 전송 채널을 통해 수신되는 영상 데이터를 복수의 라인 버퍼들에 순차적으로 저장하는 동안, 상기 복수의 라인 버퍼들 중 하나에 저장된 영상 데이터를 복수의 전송 채널 각각의 대역폭을 합한 전체 대역폭에 해당하는 속도로 프레임 스토어에 순차적으로 기록하는 단계를 포함함을 특징으로 하는 영상 데이터 고속 송수신 방법.
KR1020100094734A 2010-09-29 2010-09-29 영상 데이터 고속 송/수신 방법 및 장치 Active KR101230397B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020100094734A KR101230397B1 (ko) 2010-09-29 2010-09-29 영상 데이터 고속 송/수신 방법 및 장치
EP11829567.4A EP2624202A4 (en) 2010-09-29 2011-09-28 METHOD AND SYSTEM FOR SENDING AND RECEIVING IMAGE DATA AT HIGH SPEED
CN201180047070.7A CN103140873B (zh) 2010-09-29 2011-09-28 影像数据高速收发方法及装置
US13/824,713 US9218050B2 (en) 2010-09-29 2011-09-28 Method and device for transmitting/receiving image data at high speed
PCT/KR2011/007141 WO2012044061A2 (ko) 2010-09-29 2011-09-28 영상 데이터 고속 송／수신 방법 및 장치
TW100135116A TWI514888B (zh) 2010-09-29 2011-09-28 高速傳送接收影像資料方法及裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100094734A KR101230397B1 (ko) 2010-09-29 2010-09-29 영상 데이터 고속 송/수신 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020120065195A Division KR20120085695A (ko) 2012-06-18 2012-06-18 영상 데이터 고속 송/수신 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20120033131A KR20120033131A (ko) 2012-04-06
KR101230397B1 true KR101230397B1 (ko) 2013-02-07

Family

ID=45893651

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100094734A Active KR101230397B1 (ko) 2010-09-29 2010-09-29 영상 데이터 고속 송/수신 방법 및 장치

Country Status (6)

Country Link
US (1) US9218050B2 (ko)
EP (1) EP2624202A4 (ko)
KR (1) KR101230397B1 (ko)
CN (1) CN103140873B (ko)
TW (1) TWI514888B (ko)
WO (1) WO2012044061A2 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105371760A (zh) * 2015-10-26 2016-03-02 深圳市正控科技有限公司 一种应用于纠偏系统的边缘检测器
CN110390627B (zh) * 2019-07-10 2022-12-13 武汉视科光电技术有限责任公司 一种高帧频图像采集与发送系统及方法
CN113079336A (zh) * 2020-01-03 2021-07-06 深圳市春盛海科技有限公司 高速影像的录像方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100473719B1 (ko) * 2002-08-09 2005-03-10 (주)네오와인 Ａｓｉｃ을 이용한 영상신호 전송장치
JP2007135070A (ja) * 2005-11-11 2007-05-31 Yamaha Corp コンテンツデータ配信システム
JP2007195106A (ja) * 2006-01-23 2007-08-02 Yamaha Corp コンテンツデータ配信システム
KR20080098119A (ko) * 2007-05-04 2008-11-07 이동수 무선 다중접속에 의한 실시간 동영상 전송장치, 무선다중접속에 의한 실시간 동영상 수신장치, 무선 다중접속에의한 실시간 동영상 송수신장치 및 무선 다중접속에 의한실시간 동영상 송수신 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5835498A (en) * 1995-10-05 1998-11-10 Silicon Image, Inc. System and method for sending multiple data signals over a serial link
JP4178634B2 (ja) 1998-12-22 2008-11-12 ソニー株式会社 映像信号伝送装置、映像信号伝送方法、映像信号撮像装置および映像信号処理装置
WO2001026051A1 (en) 1999-10-04 2001-04-12 Hamamatsu Photonic K.K. Camera system for high-speed image processing
JP4146654B2 (ja) 2002-02-28 2008-09-10 株式会社リコー 画像処理回路、複合画像処理回路、および、画像形成装置
JP4245139B2 (ja) * 2003-03-31 2009-03-25 株式会社メガチップス 画像処理装置
KR100520585B1 (ko) * 2003-10-28 2005-10-10 주식회사 하이닉스반도체 불휘발성 강유전체 메모리 셀 및 이를 이용한 메모리 장치
US7724307B2 (en) * 2004-07-28 2010-05-25 Broadcom Corporation Method and system for noise reduction in digital video
JP4219887B2 (ja) * 2004-12-28 2009-02-04 富士通マイクロエレクトロニクス株式会社 画像処理装置及び画像処理方法
JP4404074B2 (ja) 2006-06-30 2010-01-27 ソニー株式会社 固体撮像装置及びデータ伝送方法並びに撮像装置
US8059962B2 (en) * 2007-05-30 2011-11-15 Futurewei Technologies, Inc. Interleaving for 10G GPON
US7884871B2 (en) 2007-06-15 2011-02-08 Aptina Imaging Corporation Images with high speed digital frame transfer and frame processing
JP4528843B2 (ja) * 2008-03-28 2010-08-25 シャープ株式会社 ラインバッファ回路、画像処理装置、および画像形成装置
KR100959136B1 (ko) * 2008-07-16 2010-05-25 한국전자통신연구원 직접 메모리 접근 제어기 및 직접 메모리 접근 채널의데이터 전송 방법
US8026913B2 (en) * 2008-07-29 2011-09-27 International Business Machines Corporation Image capture and buffering in a virtual world
US9380260B2 (en) * 2009-01-21 2016-06-28 Texas Instruments Incorporated Multichannel video port interface using no external memory
TWI413943B (zh) * 2009-02-11 2013-11-01 Silicon Motion Inc 影像處理系統及其影像處理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100473719B1 (ko) * 2002-08-09 2005-03-10 (주)네오와인 Ａｓｉｃ을 이용한 영상신호 전송장치
JP2007135070A (ja) * 2005-11-11 2007-05-31 Yamaha Corp コンテンツデータ配信システム
JP2007195106A (ja) * 2006-01-23 2007-08-02 Yamaha Corp コンテンツデータ配信システム
KR20080098119A (ko) * 2007-05-04 2008-11-07 이동수 무선 다중접속에 의한 실시간 동영상 전송장치, 무선다중접속에 의한 실시간 동영상 수신장치, 무선 다중접속에의한 실시간 동영상 송수신장치 및 무선 다중접속에 의한실시간 동영상 송수신 방법

Also Published As

Publication number Publication date
CN103140873B (zh) 2016-08-03
TWI514888B (zh) 2015-12-21
US9218050B2 (en) 2015-12-22
KR20120033131A (ko) 2012-04-06
EP2624202A2 (en) 2013-08-07
EP2624202A4 (en) 2014-04-16
CN103140873A (zh) 2013-06-05
WO2012044061A3 (ko) 2012-05-31
WO2012044061A2 (ko) 2012-04-05
US20130176443A1 (en) 2013-07-11
TW201215141A (en) 2012-04-01

Similar Documents

Publication Publication Date Title
US9681045B2 (en) Systems and methods for generating a panoramic image
US9686503B2 (en) Camera system, video processing apparatus, and camera apparatus
US20120050592A1 (en) High-speed video camera
KR102343629B1 (ko) 처리 장치, 화상 센서 및 시스템
US8817139B2 (en) Image pickup device and signal transmitting device
JP2016111656A (ja) 固体撮像装置、撮像システム及び固体撮像装置の駆動方法
US20120033103A1 (en) Raw-Split Mode Image Capture
KR101230397B1 (ko) 영상 데이터 고속 송/수신 방법 및 장치
US9658815B2 (en) Display processing device and imaging apparatus
US9247168B2 (en) Imaging device including focusing pixels
CN102137239A (zh) 图像传感器和摄像设备
US7739428B2 (en) Memory control apparatus and memory control method
US8922676B2 (en) Video frame buffer
KR20120085695A (ko) 영상 데이터 고속 송/수신 방법 및 장치
CN219204583U (zh) 一种图像采集装置及电子设备
US9565378B2 (en) Imaging device
US8325224B2 (en) Head separation camera apparatus
US20160344966A1 (en) Solid-state imaging device and imaging system
JP2017055217A (ja) 画像処理装置と画像処理方法及び撮像装置
JP2012209798A (ja) 画像処理システム及び撮像装置
KR101541123B1 (ko) 이미지 시그널 프로세서의 이미지 데이터 출력 장치
JP2025013122A (ja) イメージ信号処理装置およびそれを含む撮影システム
JP2003101928A (ja) 電子カメラ
CN103312993A (zh) 固态图像拾取装置和相机系统
HK1202009B (en) Systems and methods for generating a panoramic image

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

A107 Divisional application of patent
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0107 Divisional application

St.27 status event code: A-0-1-A10-A18-div-PA0107

St.27 status event code: A-0-1-A10-A16-div-PA0107

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20160104

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20170105

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

FPAY Annual fee payment

Payment date: 20180105

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

FPAY Annual fee payment

Payment date: 20200106

Year of fee payment: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 11

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 12

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 13

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 14

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 14