Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
KR20210050366A - 촬영 위치 결정 장치 및 방법 - Google Patents
[go: Go Back, main page]

KR20210050366A - 촬영 위치 결정 장치 및 방법 - Google Patents

촬영 위치 결정 장치 및 방법 Download PDF

Info

Publication number
KR20210050366A
KR20210050366A KR1020190134873A KR20190134873A KR20210050366A KR 20210050366 A KR20210050366 A KR 20210050366A KR 1020190134873 A KR1020190134873 A KR 1020190134873A KR 20190134873 A KR20190134873 A KR 20190134873A KR 20210050366 A KR20210050366 A KR 20210050366A
Authority
KR
South Korea
Prior art keywords
camera
determining
space
image
photographing position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020190134873A
Other languages
English (en)
Other versions
KR102951782B1 (ko
Inventor
유연걸
신승호
조익환
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020190134873A priority Critical patent/KR102951782B1/ko
Publication of KR20210050366A publication Critical patent/KR20210050366A/ko
Application granted granted Critical
Publication of KR102951782B1 publication Critical patent/KR102951782B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/20—Drawing from basic elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

일 실시예에 따른 촬영 위치 결정 장치 및 방법은, 관심 공간 전체에 대한 정보를 획득할 수 있는 최소한의 촬영 위치를 결정하여 사용자에게 제공함으로써, 촬영 영상의 매칭을 수행하는데 발생되는 부하를 저감하고, 촬영 영상이 저장되는 저장 공간의 효율을 높일 수 있다.

Description

촬영 위치 결정 장치 및 방법{APPARATUS AND METHOD FOR DETERMINING CAMERA POSE}
본 발명은 관심 공간의 3D 모델링을 위해 라이다에 의한 가상 영상과 정합되는 카메라 영상의 촬영 위치를 결정하는 촬영 위치 결정 장치 및 방법에 관한 것이다.
근래에 들어, 가상 현실 혹은 증강 현실과 같이 가상의 정보를 이용하여 구현된 다양한 컨텐츠가 제안되고 있다. 가상 현실(Virtual Reality, VR)은 컴퓨터 등을 사용하여 인공적인 기술로 만들어 낸 가상 공간으로서, 실제와 유사하지만 실제가 아닌 특징이 있다. 증강 현실(Augmented Reality, AR)은 가상 현실의 한 분야로서, 사용자가 보는 현실의 객체에 가상의 정보를 합성하여, 가상의 정보를 현실의 일부로서 인식하도록 할 수 있는 기법을 가리킨다.
이와 같은 가상 현실 혹은 증강 현실이 적용된 가상 공간(Virtual Space)을 구현하기 위해서는 컴퓨터 그래픽스 분야의 3D 모델링(3D Modeling)이 이용될 수 있다. 3D 모델링은 가상의 3차원 공간 속에 재현될 수 있는 수학적 모델을 만드는 과정을 의미한다.
만약, 실제 존재하는 공간을 가상 공간으로 재현하고자 하는 경우, 3D 모델링 시 해당 공간에 대한 정보를 이용할 수 있다. 예를 들어, 라이다에 의해 공간에 대한 포인트 클라우드를 획득하고, 이를 기초로 생성된 가상 영상과 카메라에 의해 획득된 촬영 영상을 함께 이용하면, 실제 공간과 유사한 가상의 3차원 공간을 생성할 수 있다.
이 때, 실제의 공간에 유사한 모델링 결과를 얻기 위해서는, 카메라에 의한 촬영 영상과 라이다에 의한 가상 영상 간의 정확한 정합이 선행될 필요가 있다.
한국공개특허공보, 제 10-2015-0129260호 (2015.11.19. 공개)
본 발명이 해결하고자 하는 과제는, 포인트 클라우드를 이용하여 생성된 관심 공간에 대한 3D 메쉬(3D Mesh)를 기초로 카메라의 촬영 위치를 결정하는 촬영 위치 결정 장치 및 방법을 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시예에 따른 촬영 위치 결정 장치에서 수행되는 카메라의 촬영 위치 결정 방법은, 라이다에 의해 획득된 관심 공간의 포인트 클라우드를 이용하여 상기 관심 공간에 대한 3D 메쉬(3D Mesh)를 생성하는 단계; 상기 3D 메쉬를 구성하는 복수의 폴리곤(Polygon) 각각의 위치를 기초로 상기 복수의 폴리곤 각각의 법선 벡터를 그룹핑(Grouping)하는 단계; 및 상기 복수의 법선 벡터 그룹 중 그룹핑된 상기 법선 벡터의 수를 기초로 결정된 기준 그룹의 가중 평균을 기초로 상기 카메라의 촬영 위치를 결정하는 단계를 포함한다.
일 실시예에 따른 촬영 위치 결정 장치는, 라이다에 의해 획득된 관심 공간의 포인트 클라우드를 이용하여 상기 관심 공간에 대한 3D 메쉬(3D Mesh)를 생성하고, 상기 3D 메쉬를 구성하는 복수의 폴리곤(Polygon) 각각의 위치를 기초로 상기 복수의 폴리곤 각각의 법선 벡터를 그룹핑(Grouping)하고, 상기 복수의 법선 벡터 그룹 중 그룹핑된 상기 법선 벡터의 수를 기초로 결정된 기준 그룹의 가중 평균을 기초로 카메라의 촬영 위치를 결정하는 결정부; 및 상기 결정된 카메라의 촬영 위치를 출력하는 출력부를 포함한다.
일 실시예에 따른 촬영 위치 결정 장치 및 방법은, 관심 공간 전체에 대한 정보를 획득할 수 있는 최소한의 촬영 위치를 결정하여 사용자에게 제공함으로써, 촬영 영상의 매칭을 수행하는데 발생되는 부하를 저감하고, 촬영 영상이 저장되는 저장 공간의 효율을 높일 수 있다.
또한, 이와 같은 촬영 위치 결정 방법에 따른 영상 정합 장치 및 방법은 카메라의 내부 파라미터를 기초로 생성된 가상 영상을 카메라에 의해 획득된 촬영 영상과 정합하므로, 영상 정합의 정확도를 높일 수 있다. 또한, 특정 위치에서 복수의 방향에 대한 가상 영상을 생성하고, 생성된 가상 영상과 촬영 영상의 정합 결과를 3D 모델링의 수행 시 제공하므로, 최종 생성되는 3D 모델의 실감도가 높아질 수 있다.
도 1 은 본 발명의 일 실시예에 따른 3D 모델링 장치의 기능 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 정합 방법의 흐름도이다.
도 3은 본 발명의 일 실시예에 포인트 클라우드가 위치하는 3차원 관심 공간을 예시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 촬영 영상을 예시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 촬영 위치 결정 방법의 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 영상 정합 장치에서 대상체를 가상 영상에 표시하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상 정합 장치에서 가상 영상을 생성할 방향을 결정하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 영상 정합 장치에서 포인트 클라우드가 위치하는 3차원 관심 공간 상에 생성된 LSP를 예시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 영상 정합 장치가 생성한 가상 영상을 예시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 정합부에서 촬영 영상과 가상 영상을 정합하는 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 영상 처리부가 생성한 3D 메쉬를 예시한 도면이다.
도 12는 본 발명의 일 실시예에 따른 영상 처리부가 생성한 3D 모델을 예시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1 은 본 발명의 일 실시예에 따른 3D 모델링 장치의 기능 블록도이다.
본 발명의 일 실시예에 따른 3D 모델링 장치(100)는 관심 공간을 가상의 3차원 공간으로 재현하기 위해 3D 모델링을 수행함으로써, 관심 공간에 대한 3D 모델을 획득할 수 있다. 이렇게 획득된 3D 모델은 가상 현실(Virtual Reality) 또는 증강 현실(Augmented Reality, AR) 컨텐츠 제공 시 이용될 수 있다.
이 때, 실제 공간과 3D 모델 간의 유사도가 높을수록 사용자의 몰입도가 높아질 수 있다. 따라서, 3D 모델링 시에는 실제 공간에 대한 정확한 정보를 이용할 필요가 있다.
공간의 3D 모델링 방법으로서 카메라(120)에 의해 획득된 영상을 이용하는 방법이 있다. 구체적으로, 카메라(120)에 의해 공간에 대한 복수의 영상을 획득하고, 획득된 복수의 영상의 특징점을 추출하여 3D 모델링을 수행할 수 있다. 카메라(120)에 의해 획득된 영상을 이용하는 방법은 공간의 재질과 색감을 상세히 재현해 낼 수 있다. 반면, 카메라(120)에 의해 획득된 영상은 특징점을 기반으로 3D 모델링을 수행하는 바, 단일 색상 영역에 대한 모델링 시 성능이 저하될 수 있다.
공간의 3D 모델링을 위한 다른 방법 중 하나는 라이다(112)(LiDAR)에 의해 획득된 포인트 클라우드를 이용하는 것이다. 구체적으로, 라이다(112)에 의해 공간에 대한 포인트 클라우드를 획득하고, 이에 기초하여 3D 모델링을 수행할 수 있다. 이 경우, 공간의 전체적인 형태를 구현하는데 우수한 성능을 나타낼 수 있다. 그러나, 깊이 정보에 기초한 포인트 클라우드의 특성 상, 공간의 재질이나 색감을 재현하는데 부적합할 수 있다. 또한, 공간을 3D 모델링 할 때에는 동적 물체를 제거할 필요가 있으나, 라이다(112)에 의한 포인트 클라우드는 동적 물체에 대한 정보를 포함하여 문제될 수 있다.
카메라(120) 및 라이다(112) 각각이 가진 문제점을 해결하기 위해, 카메라(120)에 의해 획득된 카메라 영상과 라이다(112)에 의해 획득된 포인트 클라우드를 함께 이용하여 공간을 3D 모델링 할 수도 있다. 이 방법은 재질뿐만 아니라 형태를 구현할 때에도 우수한 성능을 보일 수 있다.
카메라(120) 영상과 포인트 클라우드를 함께 이용하는 방법 중 하나로, 사용자가 카메라(120) 영상의 특징점에 포인트 클라우드를 직접 대응시키는 것이 있다. 이 경우, 두 영상의 정합은 사용자가 육안으로 판단한 대응점에 기초하므로, 일정 수준 이상의 정확도를 담보하지 못할 수 있다.
이를 개선하기 위해, 컬러 정보를 포함하는 포인트 클라우드를 기초로 가상 영상을 생성한 후, 가상 영상을 카메라(120) 영상과 정합함으로써 3D 모델링을 수행할 수 있다. 이 때, 가상 영상은 미리 정해진 가상의 촬영 조건에 따라 일률적으로 생성될 수 있다.
카메라(120) 영상은 카메라(120) 내부 파라미터에 의해 결정되는 조건에 따라 획득되는 바, 카메라(120) 영상과 가상 영상 간 촬영 조건의 차이로 특징점 매칭에 기초한 정합이 실패할 수 있다. 정합의 정확도는 최종적으로 생성되는 3D 모델의 품질에 직접적으로 연관되는 바, 카메라(120) 영상과 정합이 성공적으로 이루어질 수 있는 촬영 조건에 따라 가상 영상을 생성할 필요가 있다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 3D 모델링 장치(100)는 카메라(120) 내부 파라미터를 기초로 포인트 클라우드로부터 가상 영상을 생성할 수 있다. 이를 위해, 본 발명의 일 실시예에 따른 3D 모델링 장치(100)는 관심 공간에 대한 컬러 정보를 포함하는 포인트 클라우드를 획득하는 3D 스캐너(110); 관심 공간에 대한 촬영 영상을 획득하는 카메라(120); 포인트 클라우드 기반 가상 영상과 카메라(120)에 의해 획득된 촬영 영상을 정합하는 영상 정합 장치(130); 정합 결과를 이용하여 관심 공간에 대한 3D 모델을 생성하는 영상 처리부(140); 및 촬영 영상을 획득하기 위한 카메라의 촬영 위치를 결정하는 촬영 위치 결정 장치(150)를 포함할 수 있다. 여기서 관심 공간이란 3D모델을 획득하고자 하는 실제 공간을 의미할 수 있다.
3D 스캐너(110)는 관심 공간에 대한 포인트 클라우드를 획득할 수 있다. 이를 위해, 3D 스캐너(110)는 관심 공간에 레이저를 조사하고, 반사되는 레이저를 수신함으로써 포인트 클라우드를 획득할 수 있다.
이를 위해, 3D 스캐너(110)는 펄스 레이저를 조사하고, 반사되는 레이저를 수신하는 라이다(112)를 포함할 수 있다. 구체적으로, 라이다(112)는 관심 공간에 펄스 레이저를 조사하고, 조사된 펄스 레이저가 반사되어 돌아오기까지 소요되는 시간 및 강도를 측정할 수 있다. 이렇게 측정된 결과에는 관심 공간에 대한 거리, 방향, 속도, 온도, 물질 분포, 농도 특성 등의 정보가 포함될 수 있다. 라이다(112)는 최종적으로 측정 결과를 포인트 클라우드에 저장할 수 있다. 여기서, 포인트 클라우드란 좌표계 상에서의 데이터의 집합을 의미하므로, 라이다(112)가 획득하는 포인트 클라우드는 3차원 좌표계에 대한 관심 공간의 정보를 포함할 수 있다.
라이다(112)는 관심 공간의 전 영역에 대한 포인트 클라우드를 획득하기 위해, 관심 공간 전 영역에 대하여 레이저를 조사하도록 마련될 수 있다. 레이저는 직진성을 가지므로, 일 실시예에 따른 라이다(112)는 전 방향으로 레이저 조사가 가능하도록 패닝(Panning) 및/또는 틸팅(Tilting) 가능하게 마련될 수 있다. 이와는 달리, 서로 다른 방향을 향하는 복수의 라이다(112) 각각은 관심 공간의 서로 다른 위치로 레이저를 조사함으로써 관심 공간에 대한 포인트 클라우드를 획득할 수도 있다.
일 실시예에 따른 라이다(112)는 특정 위치에 고정 설치되어 관심 공간에 대한 포인트 클라우드를 획득할 수 있다. 이와는 달리, 다른 실시예에 따른 라이다(112)는 사용자에 의해 휴대되거나, 자체 동력원으로부터 동력을 제공받음으로써 이동 가능하도록 마련될 수 있다. 그 결과, 다른 실시예에 따른 라이다(112)는 복수의 위치에서 관심 공간에 대한 포인트 클라우드를 획득할 수 있다. 나아가, 이와 같은 라이다(112)가 복수인 경우, 라이다(112)의 일부는 특정 위치에 고정 설치되고, 나머지는 이동 가능하도록 마련될 수도 있다.
또한, 포인트 클라우드에 컬러 정보를 부가하기 위해, 3D 스캐너(110)는 스캔 카메라(111)를 더 포함할 수 있다. 스캔 카메라(111)는 스캔 영상을 획득하여 라이다(112)에 제공할 수 있고, 라이다(112)는 획득된 포인트 클라우드 상에 제공받은 스캔 영상을 매칭함으로써 포인트 클라우드에 컬러 정보를 부가할 수 있다.
카메라(120)는 관심 공간에 대한 복수의 촬영 영상 Ir을 획득할 수 있다. 카메라(120)는 화각에 따른 제약이 존재하므로, 하나의 촬영 영상 Ir은 관심 공간 전체의 정보를 포함하기 어려울 수 있다. 따라서, 하나의 단일 카메라(120)는 위치를 달리하여 관심 공간을 복수 회 촬영함으로써 복수의 촬영 영상 Ir을 획득할 수 있다. 이와는 달리, 서로 다른 방향을 향하는 복수의 카메라(120) 각각은 관심 공간의 서로 다른 위치를 촬영함으로써 복수의 촬영 영상 Ir을 획득할 수도 있다.
이 때, 카메라(120)는 촬영 위치 결정 장치(150)에 의해 결정되는 촬영 위치에서 관심 공간에 대한 복수의 촬영 영상을 획득할 수 있다. 이를 위해, 촬영 위치 결정 장치(150)는 관심 공간 전체의 정보를 포함하는 복수의 촬영 영상을 획득할 수 있도록 최적의 촬영 위치를 결정하여 출력할 수 있다. 촬영 위치 결정 장치(150)의 동작에 대해서는 후술한다.
카메라(120)는 고유의 내부 특성을 나타내는 내부 파라미터(Intrinsic Parameter)에 따라 3차원의 관심 공간을 2차원의 촬영 영상 Ir으로 변환하여 생성할 수 있다. 여기서, 내부 파라미터는 카메라(120)의 초점 거리(Focal Length), 이미지 센서 포맷(Image Sensor Format), 스큐(Skew), 주점(Principal Point), 렌즈 왜곡 파라미터(Lens Distortion Parameter), 해상도(Resolution) 등을 포함할 수 있다.
영상 정합 장치(130)는 컬러 정보를 포함하는 포인트 클라우드 기반의 가상 영상과 촬영 영상 Ir을 정합할 수 있다. 도 1을 참조하면, 영상 정합 장치(130)는 컬러 정보를 포함하는 포인트 클라우드로부터 가상 영상을 생성하는 가상 영상 생성부(131); 및 생성된 가상 영상 및 카메라(120)에 의해 획득된 촬영 영상 Ir을 정합하는 정합부(132)를 포함할 수 있다.
이하에서는 도 2를 참조하여, 영상 정합 장치(130)에 의해 수행되는 영상 정합 방법을 설명한다.
도 2는 본 발명의 일 실시예에 따른 영상 정합 방법의 흐름도이다.
먼저, 영상 정합 장치(130)는 라이다(112)에 의해 관심 공간의 포인트 클라우드를 획득할 수 있다(S100). 이하에서는 도 3을 통해 라이다(112)에 의해 획득되는 포인트 클라우드를 설명한다.
도 3은 본 발명의 일 실시예에 포인트 클라우드가 위치하는 3차원 관심 공간을 예시한 도면이다.
상술한 바와 같이, 3D 스캐너(110)는 하나의 단일 라이다(112)를 이용하여 서로 다른 위치에 대한 포인트 클라우드를 획득할 수 있고, 이와는 달리 서로 다른 방향을 향하는 복수의 라이다(112) 각각을 이용하여 서로 다른 위치에 대한 포인트 클라우드를 획득할 수도 있다.
이 때, 일 실시예에 따른 라이다(112)는 특정 위치에 고정 설치되어 관심 공간에 대한 포인트 클라우드를 획득할 수 있다(S100). 이와는 달리, 다른 실시예에 따른 라이다(112)는 사용자에 의해 휴대되거나, 자체 동력원으로부터 동력을 제공받음으로써 이동 가능하도록 마련될 수 있다. 그 결과, 다른 실시예에 따른 라이다(112)는 복수의 위치에서 관심 공간에 대한 포인트 클라우드를 획득할 수 있다. 나아가, 이와 같은 라이다(112)가 복수인 경우, 라이다(112)의 일부는 특정 위치에 고정 설치되고, 나머지는 이동 가능하도록 마련될 수도 있다.
이렇게 획득된 포인트 클라우드는, 도 4와 같이, 3차원 관심 공간 Mp 상에 위치할 수 있다.
또한, 3D 스캐너(110)는 스캔 카메라(111)를 이용하여 스캔 영상을 획득하고, 라이다(112)에 의해 획득된 포인트 클라우드 상에 스캔 영상을 매칭함으로써 포인트 클라우드에 컬러 정보를 부가할 수 있다. 이렇게 부가된 컬러 정보는 추후 촬영 영상 Ir과의 정합 시 이용될 수 있다.
그 다음, 영상 정합 장치(130)는 카메라(120)에 의해 관심 공간에 대한 복수의 촬영 영상 Ir을 획득할 수 있다(S110). 도 4를 통해 카메라(120)에 의해 획득되는 촬영 영상 Ir을 설명한다.
도 4는 본 발명의 일 실시예에 따른 촬영 영상을 예시한 도면이다.
상술한 바와 같이, 하나의 단일 카메라(120)는 서로 다른 위치에서 복수의 촬영 영상 Ir을 획득할 수 있고, 이와는 달리 서로 다른 방향을 향하는 복수의 카메라(120) 각각은 서로 다른 위치에 대한 복수의 촬영 영상 Ir을 획득할 수도 있다.
이렇게 획득된 복수의 촬영 영상 Ir 각각은 적어도 하나의 다른 촬영 영상 Ir과 적어도 일부가 중첩될 수 있다. 도 3에서는 관심 공간의 동일한 영역을 포함하는 서로 다른 복수의 촬영 영상 Ir이 예시된다.
이를 기초로 복수의 촬영 영상 Ir을 상호 매칭하면, 관심 공간 전체에 대한 이미지 정보를 획득할 수 있다. 아울러, 동일 영역에 대하여 서로 다른 방향으로 촬영한 각각의 촬영 영상 Ir은 관심 공간에 대한 깊이 정보를 포함하므로, 3D 모델링 장치(100)는 추후 이를 이용하여 3D 모델링을 수행할 수 있다.
한편, 복수의 촬영 영상을 매칭하여 관심 공간 전체에 대한 이미지 정보를 획득하기 위해서는 되도록 많은 횟수의 촬영이 수행될 필요가 있다. 그러나, 지나치게 많은 촬영 영상을 획득할 경우, 촬영 영상을 저장하는 공간이 부족할 수 있고, 촬영 영상의 매칭을 수행하는데 많은 부하가 발생될 수 있다.
이를 해결하기 위해, 본 발명의 일 실시예에 따른 촬영 위치 결정 장치(150)는 최적의 촬영 위치를 결정하여 사용자에게 출력할 수 있다. 이하에서는 도 5를 참조하여 촬영 위치 결정 장치(150)에 의해 수행되는 촬영 위치 결정 방법에 대해 설명한다.
도 5는 본 발명의 일 실시예에 따른 촬영 위치 결정 방법의 흐름도이다.
먼저, 촬영 위치 결정 장치(150)의 결정부(151)는 포인트 클라우드를 이용하여 관심 공간에 대한 3D 메쉬(3D Mesh)를 생성할 수 있다. 이하에서는, 후술할 영상 처리부(140)에 의해 생성되는 3D 메쉬와 구분하기 위해, 결정부(151)에 의해 생성되는 3D 메쉬를 제 1 3D 메쉬라 한다.
결정부(151)는 포인트 클라우드를 본(Bone)과 정점(Vertex)로 하여, 복수의 정점이 본에 의해 리깅되는 제 1 3D 메쉬를 생성할 수 있다. 이렇게 생성되는 제 1 3D 메쉬는 적어도 세 개의 정점이 이루는 복수의 폴리곤(Polygon)으로 구성될 수 있다. 그 결과, 제 1 3D 메쉬는 무수히 많은 정점과 이들이 이루는 폴리곤을 포함함을 확인할 수 있다.
그 다음, 촬영 위치 결정 장치(150)의 결정부(151)는 제 1 3D 메쉬를 구성하는 복수의 폴리곤 각각의 위치를 기초로 복수의 폴리곤 각각의 법선 벡터를 그룹핑(Grouping)할 수 있다(S112). 구체적으로, 일 실시예에 따른 결정부(151)는 포인트 클라우드가 위치하는 3차원 관심 공간 상의 기준점으로부터 복수의 폴리곤까지의 거리를 구하고, 유사한 거리만큼 이격된 복수의 폴리곤의 법선 벡터를 그룹핑하여 복수의 법선 벡터 그룹을 생성할 수 있다. 여기서, 일 실시예에 따른 기준점은 3차원 관심 공간의 좌표계 중 원점으로서 카메라의 위치를 의미할 수 있고, 유사한 거리란 미리 정해진 거리 구간 중 동일 구간에 속하는 것을 의미할 수 있다.
그룹핑이 완료되면, 촬영 위치 결정 장치(150)의 결정부(151)는 복수의 법선 벡터 그룹 중 그룹핑된 법선 벡터의 수를 기초로 결정된 기준 그룹의 가중 평균을 기초로 카메라의 촬영 위치를 결정할 수 있다(S113). 구체적으로, 일 실시예에 따른 결정부(151)는 먼저 복수의 법선 벡터 그룹 중 그룹핑된 법선 벡터의 수가 최대인 법선 벡터 그룹을 기준 그룹으로 결정하고, 기준 그룹의 가중 평균을 획득한 후, 이를 이용하여 카메라의 촬영 위치를 결정할 수 있다.
이 때, 가중 평균을 획득하기 위해, 결정부(151)는 먼저 복수의 폴리곤 각각의 위치에 대응되는 가중치를 결정할 수 있다. 예를들어, 일 실시예에 따른 결정부(151)는 포인트 클라우드가 위치하는 3차원 관심 공간 상의 기준점으로부터 복수의 폴리곤까지의 거리를 이용할 수 있다. 예를 들어, 일 실시예에 따른 결정부(151)는 폴리곤까지의 거리가 가까울수록 해당 폴리곤의 법선 벡터에 큰 가중치를 적용할 수 있다. 반면, 다른 실시예에 따른 결정부(151)는 폴리곤까지의 거리가 멀수록 해당 폴리곤의 벡터에 작은 가중치를 적용할 수 있다.
그 다음, 결정부(151)는 가중치가 적용된 기준 그룹 내 법선 벡터의 평균을 구할 수 있다. 즉, 결정부(151)는 앞서 획득한 가중치를 이용하여 기준 그룹 내 법선 벡터의 가중 평균을 획득할 수 있다.
기준 그룹의 가중 평균이 획득되면, 결정부(151)는 획득된 가중 평균을 이용하여 카메라의 기준 촬영 위치를 결정할 수 있다. 여기서, 기준 촬영 위치는 복수의 폴리곤의 위치를 기초로 최초로 획득되는 촬영 위치를 의미할 수 있다.
또한, 결정부(151)는 결정된 기준 촬영 위치와 사용자로부터 입력된 촬영 조건을 이용하여 기준 촬영 위치 주변의 이웃 촬영 위치를 결정할 수 있다. 여기서, 이웃 촬영 위치는 기준 촬영 위치뿐만 아니라 사용자로부터 입력된 촬영 조건을 기초로 획득되는 촬영 위치를 의미할 수 있다.
구체적으로, 결정부(151)는 카메라의 화각(Field of View) 내 제 1 3D 메쉬의 정점을 선택하고, 선택된 정점 중 적어도 일부를 공유하는 화각을 가지는 카메라의 위치를 이웃 촬영 위치로 결정할 수 있다.
이 때, 촬영 조건은 인접한 촬영 위치에서 촬영된 촬영 영상과의 중첩 비율(Overlap Ratio), 상기 카메라로부터 상기 관심 공간 내 대상체까지의 거리, 초점 거리(Focal Length), 및 상기 카메라의 이미지 센서 크기 중 적어도 하나를 포함할 수 있다.
마지막으로, 촬영 위치 결정 장치(150)의 출력부(152)는 결정된 카메라의 촬영 위치를 출력할 수 있다(S114). 예를 들어, 출력부(152)는 결정된 카메라의 촬영 위치는 사용자에게 시각적, 청각적으로 출력하여 제공할 수 있다. 이를 위해, 일 실시예에 따른 출력부(152)는 촬영 위치를 시각적으로 출력하기 위한 디스플레이 장치 및/또는 촬영 위치를 청각적으로 출력하기 위한 스피커를 포함할 수 있다.
사용자는 출력된 촬영 위치를 확인하고, 해당 촬영 위치에서 카메라에 의해 복수의 촬영 영상을 획득할 수 있다. 이를 통해, 최소한의 촬영을 통해 관심 공간 전체에 대한 정보를 포함하는 복수의 촬영 영상을 획득할 수 있다.
다시 도 2를 참조하면, 영상 정합 장치(130)는 카메라(120)의 내부 파라미터를 이용하여 포인트 클라우드로부터 복수의 가상 영상을 생성할 수 있다. 이하에서는, 도 6 내지 9를 참조하여 가상 영상을 생성하는 방법을 설명한다.
도 6은 본 발명의 일 실시예에 따른 영상 정합 장치에서 대상체를 가상 영상에 표시하는 방법을 설명하기 위한 도면이고, 도 7은 본 발명의 일 실시예에 따른 영상 정합 장치에서 가상 영상을 생성할 방향을 결정하는 방법을 설명하기 위한 도면이고, 도 8은 본 발명의 일 실시예에 따른 영상 정합 장치에서 포인트 클라우드가 위치하는 3차원 관심 공간 상에 생성된 LSP를 예시한 도면이며, 도 9는 본 발명의 일 실시예에 따른 영상 정합 장치가 생성한 가상 영상을 예시한 도면이다.
영상 정합 장치(130)의 가상 영상 생성부(131)는 포인트 클라우드로부터 가상 영상을 생성할 수 있다. 도 6을 참조하면, 가상 영상 생성부(131)는 3차원 관심 공간 Mp 상에서 초점 f로부터 연장되는 방향에 위치하는 포인트 클라우드의 3차원 좌표를 가상 영상 Iv내의 2차원 좌표로 변환할 수 있다. 구체적으로, 가상 영상 Iv가 W1×W2의 크기를 갖도록 설정되고, 초점 f로부터 초점 거리 fl만큼 이격된 거리에 가상 영상 Iv가 배치될 때, 가상 영상 생성부(131)는 초점 f로부터 포인트 클라우드의 점 r(x,y,z)로 연장되는 직선이 가상 영상 Iv를 지나는 픽셀 p(u,v)를 포인트 클라우드의 점 r(x,y,z)의 가상 영상 내 픽셀 좌표로 결정할 수 있다.
만약, 초점 f가 중심에 위치하는 정육면체의 각 면에 대응하는 6 개의 가상 영상 Iv을 생성하고자 하는 경우, 즉, 초점 f에 대한 정육면체의 Laser Scan Picture(LSP)를 생성하고자 하는 경우, 가상 영상 Iv의 세로 폭 W1과 가로 폭 W1은 W로 같고, 초점 거리 fl은 W/2로 결정될 필요가 있다. 이 경우, 가상 영상 내 픽셀 p의 좌표(u,v)는 초점 거리 fl 또는 W/2와 z값의 비율에 따라 결정될 수 있다.
즉, 가상 영상 내 픽셀 p의 좌표(u,v)는 가상 영상 Iv의 크기 W1×W2와 초점 거리 fl에 의해 결정될 수 있다. 이렇게 생성된 가상 영상 Iv는 추후 촬영 영상 Ir 과 정합을 수행할 수 있는데, 정합에 이용되는 촬영 영상 Ir의 크기 및/또는 촬영 영상 Ir에 대한 초점 거리 등의 값이 상이하다면, 정합의 정확도가 낮아질 수 있다.
따라서, 본 발명의 일 실시예에 따른 가상 영상 생성부(131)는 촬영 영상 Ir을 획득하는 카메라(120)의 내부 파라미터를 이용하여 가상 영상 Iv을 생성함으로써, 가상 영상 Iv 및 촬영 영상 Ir 간 정합의 정확도를 높일 수 있다.
구체적으로, 가상 영상 생성부(131)는 수학식 1에 따라 가상 영상 내 픽셀 p의 좌표(u,v)를 획득할 수 있다.
Figure pat00001
여기서, zc는 스케일 팩터(Scale Factor)를 의미하고, [R T]는 카메라(120)의 외부 파라미터로서, R은 회전 행렬을 의미하고, T는 이동 행렬을 의미할 수 있다. 또한, K는 카메라(120) 내부 파라미터를 의미할 수 있으며, 수학식 2에 따라 정의될 수 있다.
Figure pat00002
여기서, αx는 초점 거리 fl에 x축에 대한 스케일 팩터 mx를 곱한 값을 의미하고, αy는 초점 거리 fl에 y축에 대한 스케일 팩터 my를 곱한 값을 의미하고, γ은 x축 및 y축 사이의 스큐 상수(Skew Coefficient)를 의미하고, u0 및 v0는 주점(Principal Point)를 의미할 수 있다.
이 때, 가상 영상 생성부(131)는 상술한 초점 거리 fl, 스큐 상수 γ, 주점의 좌표 (u0 및 v0) 등을 촬영 영상 Ir을 획득한 카메라(120)의 내부 파라미터 값으로 결정할 수 있고, 스케일 팩터 mx, my 역시 카메라(120) 내부 파라미터 중 이미지 센서 포멧 값에 따라 결정할 수 있다.
이 밖에도 가상 영상 생성부(131)는 카메라(120) 내부 파라미터 중 하나인 해상도 값을 이용함으로써, 촬영 영상 Ir과 가상 영상 Iv의 해상도를 일치시킬 수 있다. 뿐만 아니라, 상술한 수학식 2에는 선형적 내부 파라미터만을 언급하고 있으나, 가상 영상 생성부(131)는 렌즈 왜곡 파라미터(Lens Distortion Parameter)와 같은 비선형적 내부 파라미터도 가상 영상 Iv 생성 시 동일하게 적용할 수 있다.
상술한 카메라(120)의 내부 파라미터는 외부 장치 또는 사용자에 의해 3D 모델링 장치(100)에 직접 입력되거나, 3D 모델링 장치(100)가 연산을 통해 획득할 수 있다. 연산을 통해 카메라(120)의 내부 파라미터를 획득하는 경우, 3D 모델링 장치(100)는 카메라에 의해 체스 보드(Chess Board)와 같은 격자 패턴에 대한 테스트 영상을 획득하고, 이를 기초로 카메라 캘리브레이션을 수행함으로써, 카메라(120)의 내부 파라미터를 획득할 수 있다. 이 밖에도, 3D 모델링 장치(100)는 공지된 다양한 방법에 따라 카메라(120)의 내부 파라미터를 획득할 수 있다.
가상 영상 생성부(131)는 초점 f로부터 결정되는 복수의 방향에 대한 복수의 가상 영상 Iv을 생성할 수 있다. 구체적으로, 가상 영상 생성부(131)는 초점 f를 교점으로 하는 상호 수직인 3개의 축을 따르는 6개의 방향에 대한 6개의 가상 영상 Iv을 생성할 수 있다. 만약, 3개의 축이 초점 f를 원점으로 하는 x축, y축, z축으로 결정되는 경우, 가상 영상 생성부(131)는 x축 방향에 수직인 제 1 가상 영상, -x축 방향에 수직인 제 2 가상 영상, y축 방향에 수직인 제 3 가상 영상, -y축 방향에 수직인 제 4 가상 영상, z축 방향에 수직인 제 5 가상 영상, 및 -z축 방향에 수직인 제 6 가상 영상을 획득할 수 있다.
이와 같이 초점 f를 중심으로 생성되는 가상 영상 Iv을 평면으로 하는 다면체를 LSP라 하며, 상술한 예에서는 가상 영상 생성부(131)가 초점 f에 대한 정육면체의 LSP를 생성하였다고 볼 수 있다.
나아가, 가상 영상 생성부(131)는 초점 f로부터 7개 이상의 방향에 대한 가상 영상 Iv을 생성할 수 있다. 이를 위해, 가상 영상 생성부(131)는 초점 f를 교점으로 하는 상호 수직인 3개의 축 중 적어도 하나를 기준으로 회전된 복수의 방향에 대하여 복수의 가상 영상 Iv을 생성할 수 있다.
도 7을 참조하면, 3차원 관심 공간 Mp상의 초점 f를 교점으로 하는 상호 수직 관계의 x축, y축, 및 z축이 결정되면, 가상 영상 생성부(131)는 적어도 한 축을 기준으로 회전된 복수의 방향에 대한 복수의 가상 영상 Iv을 생성할 수 있다. 예를 들어, 가상 영상 생성부(131)는 z축을 기준으로 회전, 즉 Pan 회전 함에 따른 복수의 방향에 대한 복수의 가상 영상 Iv을 획득할 수 있다. 또한, 가상 영상 생성부(131)는 y축을 기준으로 회전, 즉 Roll 회전 함에 따른 복수의 방향에 대한 복수의 가상 영상 Iv을 획득할 수 있다. 나아가, 가상 영상 생성부(131)는 x축을 기준으로 회전, 즉 Tilt 회전 함에 따른 복수의 방향에 대한 복수의 가상 영상 Iv을 획득할 수도 있다.
도 8에서는 3차원 관심 공간 Mp 상의 초점 f를 기준으로 pan 회전에 따른 서로 다른 5개의 방향과 z축, -z축 방향 각각에 대한 7개의 가상 영상 Iv으로 구현되는 오각기둥 형상의 LSP(L)를 예시한다. 이와 같이 특정 초점 f에 대하여 7개 이상의 가상 영상 Iv을 생성함으로써, 3D 모델링 시 관심 공간에 대한 보다 많은 정보를 제공할 수 있다.
도 9에서는 상술한 방법에 따라 초점 f를 기준으로 생성된 복수의 가상 영상 Iv를 예시한다. 도 9를 참조하면, 복수의 가상 영상 Iv 은 초점 f로부터 다양한 방향에 대한 시각적 정보를 포함함을 확인할 수 있다.
또한, 가상 영상 생성부(131)는 포인트 클라우드를 획득한 라이다(112)의 위치를 기초로 초점 f를 결정할 수 있다. 구체적으로, 가상 영상 생성부(131)는 3D 스캐너(110) 상의 라이다(112)의 회전 축에 대한 중심점을 초점 f로 결정하고, 이에 대한 복수의 가상 영상 Iv를 생성할 수 있다.
뿐만 아니라, 가상 영상 생성부(131)는 3차원 관심 공간 상의 임의의 위치를 초점 f로 결정할 수도 있다. 예를 들어, 가상 영상 생성부(131)는 사용자로부터 입력된 3차원 관심 공간 상의 관심 위치를 초점 f로 결정하고, 이에 대한 복수의 가상 영상 Iv를 생성할 수 있다. 이 때, 관심 위치는 사용자의 입력에 따라 관심 공간 내 서로 다른 좌표로서 결정될 수 있다.
다시 도 2를 참조하면, 영상 정합 장치(130)는 복수의 촬영 영상 Ir과 복수의 가상 영상 Iv을 정합할 수 있다(S130). 이하에서는 도 10을 참조하여 복수의 촬영 영상 Ir과 복수의 가상 영상 Iv을 정합하는 방법을 설명한다.
도 10은 본 발명의 일 실시예에 따른 정합부에서 촬영 영상과 가상 영상을 정합하는 방법을 설명하기 위한 도면이다.
복수의 촬영 영상 Ir 및 복수의 가상 영상 Iv의 정합을 위해, 영상 정합 장치(130)의 정합부(132)는 복수의 촬영 영상 Ir 및 복수의 가상 영상 Iv 각각으로부터 특징점을 추출할 수 있다. 구체적으로, 정합부(132)는 복수의 촬영 영상 Ir 및 복수의 가상 영상 Iv 각각에서 코너(Corner), 엣지(Edge), 경사(Gradient) 등을 기초로 특징점을 추출할 수 있다.
그 다음, 정합부(132)는 복수의 촬영 영상 Ir로부터 추출된 특징점 fr과 복수의 가상 영상 Iv으로부터 추출된 특징점 fv를 매칭하여, 복수의 촬영 영상 Ir과 복수의 가상 영상 Iv를 정합할 수 있다. 일 실시예에 따른 정합부(132)는 각각의 특징점의 컬러 정보를 기초로 특징점 fr과 특징점 fv를 매칭할 수 있다. 도 9를 참조하면, 촬영 영상 Ir로부터 추출된 복수의 특징점 fr과 가상 영상 Iv으로부터 추출된 복수의 특징점 fv이 상호 매칭됨을 확인할 수 있다.
나아가, 정합부(132)는 정합된 촬영 영상 Ir과 가상 영상 Iv 간의 위치 관계를 획득할 수 있다. 구체적으로, 정합부(132)는 촬영 영상 Ir과 가상 영상 Iv 중 어느 하나를 기준으로 다른 하나를 정합하기 위한 이동 정보 및 회전 정보를 획득할 수 있다. 여기서, 이동 정보는 정합을 위한 이동 행렬(Translation Matrix)을 포함하고, 회전 정보는 회전 행렬(Rotation Matrix)를 포함할 수 있다.
다시 도 1을 참조하면, 영상 처리부(140)는 정합 결과를 기초로 관심 공간에 대한 3D 모델링을 수행할 수 있다. 이하에서는 도 11 및 12를 참조하여 3D 모델링 방법을 설명한다.
도 11은 본 발명의 일 실시예에 따른 영상 처리부가 생성한 3D 메쉬를 예시한 도면이고, 도 12는 본 발명의 일 실시예에 따른 영상 처리부가 생성한 3D 모델을 예시한 도면이다.
도 11을 참조하면, 영상 처리부(140)는 특징점을 기초로 3D 메쉬(3D Mesh, Ms)를 생성할 수 있다. 이하에서는, 상술한 촬영 위치 결정 장치(150)에 의해 생성되는 제 1 3D 메쉬와 구분하기 위해, 가상 영상 생성부(131)에 의해 생성되는 3D 메쉬를 제 2 3D 메쉬라 한다.
구체적으로, 영상 처리부(140)는 추출된 특징점을 본(Bone)과 정점(Vertex)로 하여, 복수의 정점이 본에 의해 리깅되는 제 2 3D 메쉬 MS를 생성할 수 있다.
이렇게 생성되는 제 2 3D 메쉬 MS는 적어도 세 개의 정점이 이루는 복수의 폴리곤(Polygon)으로 구성될 수 있다. 도 11을 참조하면, 제 2 3D 메쉬 MS는 무수히 많은 정점과 이들이 이루는 폴리곤을 포함함을 확인할 수 있다.
이렇게 제 2 3D 메쉬 MS를 생성한 후, 영상 처리부(140)는 제 2 3D 메쉬 MS에 텍스쳐링(Texturing)을 수행하여 3D 모델 MO를 생성할 수 있다. 구체적으로, 영상 처리부(140)는 제 2 3D 메쉬 MS에 대하여 각각의 폴리곤을 형성하는 각각의 정점의 컬러 정보를 기초로 해당 폴리곤에 컬러를 적용함으로써 텍스쳐링을 수행할 수 있다. 도 12를 참조하면, 제 2 3D 메쉬 MS를 텍스쳐링 하여 얻어진 3D 모델 MO는 실제 관심 공간과 유사한 형태의 가상 관심 공간을 형성함을 확인할 수 있다.
도 1에서는 영상 정합 장치(130) 가 3D 모델링 장치(100)의 일 구성으로 마련되는 경우를 예시하였으나, 영상 정합 장치(130)가 3D 스캐너(110), 카메라(120), 영상 처리부(140) 및 촬영 위치 결정 장치(150) 중 적어도 하나를 더 포함하도록 마련될 수 있다. 특히, 영상 정합 장치(130)가 3D 스캐너(110), 카메라(120), 영상 처리부(140) 및 촬영 위치 결정 장치(150) 모두를 포함하는 경우, 영상 정합 장치(130)는 3D 모델링 장치(100)로서 구현된다고 볼 수 있다.
상술한 영상 정합 장치(130), 영상 처리부(140) 및 촬영 위치 결정 장치(150)는 마이크로프로세서(Microprocessor)를 포함하는 연산 장치로 구현될 수 있고, 예를 들어 중앙 처리 장치(Central Processing Unit, CPU) 및 그래픽 처리 장치(Graphic Processing Unit, GPU) 중 적어도 하나로 구현될 수 있다. 이와는 달리, 영상 정합 장치(130), 영상 처리부(140) 및 촬영 위치 결정 장치(150)가 하나의 SOC(System On Chip)으로 구현되는 것도 가능할 수 있다.
상술한 실시예에 따른 촬영 위치 결정 장치 및 방법은, 관심 공간 전체에 대한 정보를 획득할 수 있는 최소한의 촬영 위치를 결정하여 사용자에게 제공함으로써, 촬영 영상의 매칭을 수행하는데 발생되는 부하를 저감하고, 촬영 영상이 저장되는 저장 공간의 효율을 높일 수 있다.
또한, 상술한 촬영 위치 결정 방법에 따른 영상 정합 장치 및 방법은 카메라의 내부 파라미터를 기초로 생성된 가상 영상을 카메라에 의해 획득된 촬영 영상과 정합하므로, 영상 정합의 정확도를 높일 수 있다. 또한, 특정 위치에서 복수의 방향에 대한 가상 영상을 생성하고, 생성된 가상 영상과 촬영 영상의 정합 결과를 3D 모델링의 수행 시 제공하므로, 최종 생성되는 3D 모델의 실감도가 높아질 수 있다.
한편, 상술한 실시예에 따른 촬영 위치 결정 방법 및 영상 정합 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램 또는 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
일 실시예에 따르면, 상술한 촬영 위치 결정 장치 및 방법은 댁내 또는 산업 현장 등 다양한 분야에서 이용될 수 있으므로 산업상 이용 가능성이 있다.
100: 3D 모델링 장치
110: 3D 스캐너
111: 스캔 카메라
112: 라이다
120: 카메라
130: 영상 정합 장치
131: 가상 영상 생성부
132: 정합부
140: 영상 처리부
150: 촬영 위치 결정 장치

Claims (10)

  1. 촬영 위치 결정 단계에서 수행되는 카메라의 촬영 위치 결정 방법에 있어서,
    라이다에 의해 획득된 관심 공간의 포인트 클라우드를 이용하여 상기 관심 공간에 대한 3D 메쉬(3D Mesh)를 생성하는 단계;
    상기 3D 메쉬를 구성하는 복수의 폴리곤(Polygon) 각각의 위치를 기초로 상기 복수의 폴리곤 각각의 법선 벡터를 그룹핑(Grouping)하는 단계; 및
    상기 복수의 법선 벡터 그룹 중 그룹핑된 상기 법선 벡터의 수를 기초로 결정된 기준 그룹의 가중 평균을 기초로 상기 카메라의 촬영 위치를 결정하는 단계를 포함하는
    촬영 위치 결정 방법.
  2. 제 1 항에 있어서,
    상기 카메라의 촬영 위치를 결정하는 단계는,
    상기 복수의 폴리곤 각각의 위치에 대응되는 가중치를 결정하는 단계; 및
    상기 기준 그룹의 상기 복수의 법선 벡터에 결정된 가중치를 적용하여 상기 가중 평균을 획득하는 단계를 포함하는
    촬영 위치 결정 방법.
  3. 제 1 항에 있어서,
    상기 카메라의 촬영 위치를 결정하는 단계는,
    상기 복수의 법선 벡터 그룹 중 그룹핑된 상기 법선 벡터의 수가 최대인 법선 벡터 그룹을 상기 기준 그룹으로 결정하는 단계를 포함하는
    촬영 위치 결정 방법.
  4. 제 1 항에 있어서,
    상기 카메라의 촬영 위치를 결정하는 단계는,
    상기 기준 그룹의 가중 평균을 기초로 상기 카메라의 기준 촬영 위치를 결정하는 단계; 및
    상기 결정된 기준 촬영 위치에 따라 이웃 촬영 위치를 결정하는 단계를 포함하는
    촬영 위치 결정 방법.
  5. 제 4 항에 있어서,
    상기 이웃 촬영 위치를 결정하는 단계는,
    인접한 촬영 위치에서 촬영된 촬영 영상과의 중첩 비율(Overlap Ratio), 상기 카메라로부터 상기 관심 공간 내 대상체까지의 거리, 초점 거리(Focal Length), 및 상기 카메라의 이미지 센서 크기 중 적어도 하나를 이용하여 상기 이웃 촬영 위치를 결정하는 단계를 포함하는
    촬영 위치 결정 방법.
  6. 제 4 항에 있어서,
    상기 이웃 촬영 위치를 결정하는 단계는,
    상기 카메라의 화각(Field of View) 내 상기 3D 메쉬의 정점(Vertex)을 선택하는 단계;
    상기 선택된 정점 중 적어도 일부를 공유하는 화각을 가지는 카메라의 위치를 상기 이웃 촬영 위치로 결정하는 단계를 포함하는
    촬영 위치 결정 방법.
  7. 제 1 항에 있어서,
    상기 촬영 위치 결정 방법에 따라 결정된 상기 촬영 위치에서 상기 카메라에 의해 촬상된 상기 관심 공간에 대한 복수의 촬영 영상을 획득하는 단계;
    상기 카메라의 내부 파라미터(Intrinsic Parameter)를 이용하여 상기 획득된 포인트 클라우드로부터 복수의 가상 영상을 생성하는 단계; 및
    상기 복수의 촬영 영상과 상기 복수의 가상 영상을 정합(Registration)하는 단계를 포함하는
    영상 정합 방법.
  8. 라이다에 의해 획득된 관심 공간의 포인트 클라우드를 이용하여 상기 관심 공간에 대한 3D 메쉬(3D Mesh)를 생성하고, 상기 3D 메쉬를 구성하는 복수의 폴리곤(Polygon) 각각의 위치를 기초로 상기 복수의 폴리곤 각각의 법선 벡터를 그룹핑(Grouping)하고, 상기 복수의 법선 벡터 그룹 중 그룹핑된 상기 법선 벡터의 수를 기초로 결정된 기준 그룹의 가중 평균을 기초로 카메라의 촬영 위치를 결정하는 결정부; 및
    상기 결정된 카메라의 촬영 위치를 출력하는 출력부를 포함하는
    촬영 위치 결정 장치.
  9. 제 1 항 내지 제 7 항 중 어느 한 항에 기재된 방법에 따른 각각의 단계를 수행하는 컴퓨터 판독 가능 기록매체에 저장된 프로그램
  10. 제 1 항 내지 제 7 항 중 어느 한 항에 기재된 방법에 따른 각각의 단계를 수행하는 명령어를 포함하는 프로그램이 기록된 컴퓨터 판독 가능 기록매체.

KR1020190134873A 2019-10-28 2019-10-28 촬영 위치 결정 장치 및 방법 Active KR102951782B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190134873A KR102951782B1 (ko) 2019-10-28 2019-10-28 촬영 위치 결정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190134873A KR102951782B1 (ko) 2019-10-28 2019-10-28 촬영 위치 결정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210050366A true KR20210050366A (ko) 2021-05-07
KR102951782B1 KR102951782B1 (ko) 2026-04-10

Family

ID=75916776

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190134873A Active KR102951782B1 (ko) 2019-10-28 2019-10-28 촬영 위치 결정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102951782B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023027883A (ja) * 2021-08-18 2023-03-03 株式会社日立製作所 レイアウトデータ表示システム及びレイアウトデータ表示方法
WO2023128100A1 (ko) * 2021-12-31 2023-07-06 주식회사 쓰리아이 3차원 가상모델 제공 방법 및 그를 위한 3차원 가상모델 제공 시스템
WO2025116229A1 (ko) * 2023-11-29 2025-06-05 네이버 주식회사 공간 영상 스캔 및 가상 현실 서비스 제공 방법, 장치, 시스템 및 컴퓨터 프로그램

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150129260A (ko) 2014-05-09 2015-11-19 주식회사 아이너지 오브젝트 가상현실 콘텐츠 서비스 시스템 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8879828B2 (en) * 2011-06-29 2014-11-04 Matterport, Inc. Capturing and aligning multiple 3-dimensional scenes
GB2543749A (en) * 2015-10-21 2017-05-03 Nokia Technologies Oy 3D scene rendering
US11024088B2 (en) * 2016-05-27 2021-06-01 HoloBuilder, Inc. Augmented and virtual reality

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150129260A (ko) 2014-05-09 2015-11-19 주식회사 아이너지 오브젝트 가상현실 콘텐츠 서비스 시스템 및 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023027883A (ja) * 2021-08-18 2023-03-03 株式会社日立製作所 レイアウトデータ表示システム及びレイアウトデータ表示方法
CN115908691A (zh) * 2021-08-18 2023-04-04 株式会社日立制作所 布局数据显示系统以及布局数据显示方法
WO2023128100A1 (ko) * 2021-12-31 2023-07-06 주식회사 쓰리아이 3차원 가상모델 제공 방법 및 그를 위한 3차원 가상모델 제공 시스템
KR20230103054A (ko) * 2021-12-31 2023-07-07 주식회사 쓰리아이 3차원 가상모델 제공 방법 및 그를 위한 3차원 가상모델 제공 시스템
WO2025116229A1 (ko) * 2023-11-29 2025-06-05 네이버 주식회사 공간 영상 스캔 및 가상 현실 서비스 제공 방법, 장치, 시스템 및 컴퓨터 프로그램

Also Published As

Publication number Publication date
KR102951782B1 (ko) 2026-04-10

Similar Documents

Publication Publication Date Title
US11551418B2 (en) Image rendering of laser scan data
KR102160196B1 (ko) 3d 모델링 장치 및 방법
KR102109814B1 (ko) 영상 정합 장치 및 방법
KR100443552B1 (ko) 가상 현실 구현 시스템 및 방법
US20130249901A1 (en) Systems and methods for geometrically mapping two-dimensional images to three-dimensional surfaces
CN107025663A (zh) 视觉系统中用于3d点云匹配的杂波评分系统及方法
KR20210050366A (ko) 촬영 위치 결정 장치 및 방법
JPWO2020075252A1 (ja) 情報処理装置、プログラム及び情報処理方法
CN111489384A (zh) 基于互视角的遮挡评估方法及装置、设备、系统和介质
CN113870430A (zh) 一种工件数据处理方法和装置
JP2004280776A (ja) 画像内のオブジェクトの形状を決定する方法
KR20210050365A (ko) 영상 정합 장치 및 방법
Ahmad Yusri et al. Preservation of cultural heritage: A comparison study of 3D modelling between laser scanning, depth image, and photogrammetry methods
CN112883920A (zh) 基于点云深度学习的三维人脸扫描特征点检测方法和装置
CN113945167B (zh) 一种工件数据获取方法和装置
KR101817756B1 (ko) 인터랙티브한 시점 제어가 가능한 3차원 모델 기반의 ptm 생성 시스템 및 이를 이용한 ptm 생성 방법
JPH05135155A (ja) 連続シルエツト画像による３次元モデル構成装置
Kontogianni et al. Investigating the effect of focus stacking on sfm-mvs algorithms
JP2019066424A (ja) ３次元形状を導出する装置、方法、及びプログラム
Sosa et al. 3D surface reconstruction of entomological specimens from uniform multi-view image datasets
JP6843319B2 (ja) 情報処理装置、プログラム及び情報処理方法
JP4168103B2 (ja) テクスチャ画像の生成・マッピングシステム
JP2004170277A (ja) ３次元計測方法、３次元計測システム、画像処理装置、及びコンピュータプログラム
JP6984870B2 (ja) ３次元形状測定装置、３次元形状測定方法、及び３次元形状測定プログラム
García Fernandez et al. An approach to 3D digital modeling of surfaces with poor texture by range imaging techniques.‘Shape from stereo’vs.‘shape from silhouette’in digitizing Jorge Oteiza’s sculptures

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13 Pre-grant limitation requested

Free format text: ST27 STATUS EVENT CODE: A-2-3-E10-E13-LIM-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11 Amendment of application requested

Free format text: ST27 STATUS EVENT CODE: A-2-2-P10-P11-NAP-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

D22 Grant of ip right intended

Free format text: ST27 STATUS EVENT CODE: A-1-2-D10-D22-EXM-PE0701 (AS PROVIDED BY THE NATIONAL OFFICE)

PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

F11 Ip right granted following substantive examination

Free format text: ST27 STATUS EVENT CODE: A-2-4-F10-F11-EXM-PR0701 (AS PROVIDED BY THE NATIONAL OFFICE)

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-2-2-U10-U11-OTH-PR1002 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

Q13 Ip right document published

Free format text: ST27 STATUS EVENT CODE: A-4-4-Q10-Q13-NAP-PG1601 (AS PROVIDED BY THE NATIONAL OFFICE)