KR102568699B1 - 360도 파노라마 실내 영상으로부터 생성된 포인트 클라우드의 바닥면을 고려한 후처리 방법 - Google Patents

Abstract

본 발명은 360도 파노라마 실내 영상으로부터 생성된 포인트 클라우드의 바닥면을 고려한 후처리 방법에 관한 것으로, 고가의 전문 장비를 사용하지 않고서도 상대적으로 쉽게 취득할 수 있는 360도 파노라마 실내 RGB 영상을 기반으로 사실적인 포인트 클라우드를 생성할 수 있고 360도 파노라마 실내 RGB 영상으로 생성된 포인트 클라우드에서 그래픽 물체와의 인터렉션시 사실감을 높이기 위해 바닥면에 대해 평탄화를 수행하는 360도 파노라마 실내 영상으로부터 생성된 포인트 클라우드의 바닥면을 고려한 후처리 방법을 제공한다.

Description

360도 파노라마 실내 영상으로부터 생성된 포인트 클라우드의 바닥면을 고려한 후처리 방법 {Floor-aware Post-processing method for Point Cloud Generated from 360-degree Panoramic Indoor Images}

본 발명은 360도 파노라마 실내 영상으로부터 생성된 포인트 클라우드의 바닥면을 고려한 후처리 방법에 관한 것으로서, 더욱 상세하게는 Lidar 센서, RGB-D 센서 등의 고가의 전문 장비를 사용하지 않고서도 상대적으로 쉽게 취득할 수 있는 360도 파노라마 실내 RGB 영상을 기반으로 사실적인 포인트 클라우드를 생성할 수 있는 방법에 관한 것이다.

최근 가상 현실(Virtual Reality; VR), 메타버스 기반 산업이 발전함에 따라 3차원(3D) 구현을 위한 기술들이 주목받고 있다.

우선 가상 현실(VR)은 컴퓨터를 통해서 가상현실을 체험하게 해주는 최첨단 기술을 말한다. 가상현실이라는 개념은 1970년 중반에 비디오플레이스(Videoplace) 개념을 창안한 크루거(Myron Krueger) 박사에 의해 처음으로 탄생되었는데, 인공현실(Artificial Reality) 또는 인조 두뇌 공간이라고도 한다. 가상현실에서는 모든 것들을 사용자가 원하는 방향대로 조작하거나 실행할 수 있다. 3D 애니메이션과의 차이점은 실시간으로 시연자가 스스로의 판단과 선택으로 3차원의 가상공간에서 이동과 사물의 작동 등을 제어할 수 있다는 것이다.

그리고, 메타버스(Metaverse)는 현실세계를 의미하는 ‘Universe(유니버스)’와 ‘가공, 추상’을 의미하는 'Meta(메타)’의 합성어로 3차원 가상세계를 뜻한다. 메타버스에는 가상세계 이용자가 만들어내는 UGC(User Generated Content)가 상품으로서, 가상통화를 매개로 유통되는 특징이 있다. 미국 IT 벤처기업인 린든랩이 만든 세컨드 라이프(Second Life)의 인기가 증가하면서 메타버스에 대한 관심이 크게 높아지고 있다.

한편, 포인트 클라우드는 x, y, z 좌표의 점 구름으로, 포인트 클라우드 기반의 3D 시각적 표현은 보다 사실적이고 포괄적인 공간 표현을 할 수 있다. 이러한 포인트 클라우드의 획득은 일반적으로 Lidar 센서, RGB-D 센서 등을 통해 이루어진다.

그러나, 포인트 클라우드의 획득에 이러한 고가의 전문 장비를 사용해야 한다는 점에서 광범위한 응용 분야에 활용되기 어렵다.

참고문헌 1 : Iro Armeni, Ozan Sener, "3D Semantic Parsing of Large-Scale Indoor Spaces", IEEE 2016 참고문헌 2 : Ilwi Yun, Hyuk-Jae Lee, Chae Eun Rhee, "Improving 360 Monocular Depth Estimation via Non-local Dense Prediction Transformer and Joint Supervised and Self-supervised Learning, CVPR 2021 참고문헌 3 : http://www.open3d.org/

본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 고가의 전문 장비를 사용하지 않고서도 상대적으로 쉽게 취득할 수 있는 360도 파노라마 실내 RGB 영상을 기반으로 사실적인 포인트 클라우드를 생성할 수 있는 방법을 제공하는 것이다.

특히, 본 발명은 360도 파노라마 실내 RGB 영상으로 생성된 포인트 클라우드에서 그래픽 물체와의 인터렉션에서 사실감을 높이기 위해 바닥면에 대해 평탄화를 수행하는 방법의 제공을 그 목적으로 하는 것이다.

이와 같은 기술적 과제를 해결하기 위해 본 발명은;

360도 파노라마 실내 RGB 영상으로부터 깊이 정보를 취득하는 제1단계; 상기 깊이 정보로부터 생성된 포인트 클라우드에서 바닥면을 구분하는 제2단계; 및 상기 바닥면의 한 점을 지정하여 다른 바닥면의 점들을 해당 점의 z좌표와 일치시켜 평탄한 바닥면을 만드는 제3단계;를 포함하는 것을 특징으로 하는 360도 파노라마 실내 영상으로부터 생성된 포인트 클라우드의 바닥면을 고려한 후처리 방법을 제공한다.

이때, 상기 제1단계는 딥러닝 모델(Deep Learning Model)을 통해 360도 파노라마 실내 RGB 영상으로부터 깊이 정보를 추출하는 단계인 것을 특징으로 한다.

그리고, 상기 제1단계는 상기 360도 파노라마 실내 RGB 영상으로부터 깊이 정보를 Joint_360depth를 사용하여 추정하는 단계인 것을 특징으로 한다.

또한, 상기 제2단계는 깊이 정보로부터 생성된 포인트 클라우드로부터 법선 벡터(normal vector)를 계산한 후, 법선 벡터(normal vector)의 방향과 z좌표에 따라 바닥면을 구분하는 단계인 것을 특징으로 한다.

아울러, 상기 제3단계는 오픈소스인 Open3D를 통해 법선 벡터(normal vector)를 계산하여 z좌표와 함께 바닥면을 인식한 후 z좌표를 일치시켜 포인트 클라우드를 얻는 단계인 것을 특징으로 한다.

본 발명에 따르면, 고가의 전문 장비를 사용하지 않고서도 상대적으로 쉽게 취득할 수 있는 360도 파노라마 실내 RGB 영상을 기반으로 하여 포인트 클라우드를 생성할 수 있고, 그로 인해 광범위한 응용 분야에 활용할 수 있는 장점이 있다.

아울러, 본 발명에 따르면 360도 파노라마 실내 RGB 영상으로 생성된 포인트 클라우드에서 바닥면에 대해 평탄화를 수행하여 그래픽 물체와의 인터렉션에서 사실감을 높이는 효과가 있다.

도 1은 본 발명에 따른 360도 파노라마 실내 영상으로부터 생성된 포인트 클라우드의 바닥면을 고려한 후처리를 위한 이미지 처리장치의 구성도이다.
도 2의 (a) 및 (b)는 본 발명에 따른 파노라마 영상의 평탄화 과정 전후의 포인트 클라우드의 결과를 비교하기 위해 도시한 도면이다.
도 3은 본 발명에 따른 파노라마 영상의 Dataset과 평탄화 과정 전후의 RMS 값 비교표이다.

이하, 본 발명에 따른 360도 파노라마 실내 영상으로부터 생성된 포인트 클라우드의 바닥면을 고려한 후처리 방법을 첨부한 도면을 참고로 하여 상세히 기술되는 실시 예에 의하여 그 특징들을 이해할 수 있을 것이다.

이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들은 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

본 발명에 따른 360도 파노라마 실내 영상으로부터 생성된 포인트 클라우드의 바닥면을 고려한 후처리 방법은 고가의 전문 장비를 사용하지 않고서도 상대적으로 쉽게 취득할 수 있는 360도 파노라마 실내 RGB 영상을 기반으로 사실적인 포인트 클라우드(Point Cloud)를 생성할 수 있는 방법이다.

이때, 포인트 클라우드를 생성하는데 사용하는 360도 파노라마 실내 RGB 영상은 잘 정렬되었다고 가정한다.

한편, 포인트 클라우드를 포함하여 대부분의 3D 구현에서는 깊이 정보가 필요하다. 이러한 깊이 정보는 영상을 촬영하는 과정에서 센서를 사용하여 취득할 수도 있지만, 본 발명에서는 최근 활발히 연구되고 있는 딥러닝 모델(Deep Learning Model)을 통해 360도 파노라마 실내 RGB 영상으로부터 깊이 정보를 취득한다.

도 1을 참고하면 상기 360도 파노라마 실내 RGB 영상은 카메라(1)를 통해 촬영될 수 있으며, PC, 노트북 등의 다양한 이미지 처리장치(10)에 입력되어 메모리(11)에 저장된다.

상기 360도 파노라마 실내 RGB 영상을 촬영하는 카메라(1)는 360도 카메라를 사용할 수 있다.

물론, 상기 이미지 처리장치(10)의 메모리(11)에는 상기 360도 파노라마 실내 RGB 영상으로부터 깊이 정보를 취득하기 위한 딥러닝 모델(Deep Learning Model)과 포인트 클라우드의 생성에 관여하는 프로그램이 저장된다.

아울러, 상기 이미지 처리장치(10)에는 상기 메모리(11)에 저장된 프로그램을 로딩하여 연산을 수행하는 프로세서(12)를 구비함으로서 후술할 다양한 방법 내지는 동작을 수행한다.

한편, 딥러닝 모델(Deep Learning Model)을 통해 360도 파노라마 실내 RGB 영상으로부터 추론된 깊이 정보로부터 생성된 포인트 클라우드는 실제 3D 환경과는 달리 왜곡되어 있다.

따라서, 본 발명에서는 촬영된 360도 파노라마 실내 RGB 영상으로부터 만들어진 3D 공간과 사용자 또는 그래픽 물체와의 상호작용을 위해 바닥면에 대한 평탄화 기법을 제안한다.

360도 파노라마 실내 RGB 영상으로부터 추론된 깊이 정보로부터 생성된 포인트 클라우드에서 바닥면의 평탄화를 하기 위해서는 먼저 포인트 클라우드에서 바닥면을 구분할 필요가 있다.

이에 깊이 정보로부터 생성된 포인트 클라우드로부터 법선 벡터(normal vector)를 계산한 후, 법선 벡터(normal vector)의 방향과 z좌표에 따라 바닥면을 구분한다. 이때, 포인트 클라우드 바닥면의 평탄화 정도를 정량적으로 판단하기 위해 바닥면이라 인식된 점들 간의 RMS(root-mean-square) 계산을 통해 평평함의 정도를 파악한다.

이후, 포인트 클라우드 바닥면의 한 점을 지정하여 다른 바닥면의 점들을 해당 점의 z좌표와 일치시킨다.

이상의 방법으로 정제된 포인트 클라우드는 평탄한 바닥면을 갖게 된다.

본 발명은 이미지 처리장치(10)를 통해 평탄한 바닥면을 갖는 정제된 포인트 클라우드를 구현하기 위해, 입력값(Input)으로 정렬된 360도 파노라마 실내 RGB 영상을 사용하며, 이러한 360도 파노라마 실내 RGB 영상은 참고문헌 1 등에 제안된 Stanford 2D-3D-Semantics Dataset(2D-3D-S) 및 360도 카메라를 통해 취득한 데이터셋을 사용하였다.

또한, 본 발명에서는 이미지 처리장치(10)에 입력된 360도 파노라마 실내 RGB 영상으로부터 깊이를 추정하기 위해 참고문헌 1에 제안된 Joint_360depth를 사용하였다. 여기서 상기 Joint_360depth의 경우 Depth Net이라는 딥 뉴럴 네트워크를 거쳐 깊이 정보를 추출한다.

그리고, 본 발명에서 포인트 클라우드의 구현 및 정제는 데이터 처리를 위한 오픈소스인 참고문헌 3의 Open3D를 통해 이루어진다.

상기 이미지 처리장치(10)에 입력된 360도 파노라마 실내 RGB 영상과 추출된 깊이값(깊이 정보)을 사용하여 UV sphere에 투영하여 포인트 클라우드를 생성한다.

이와 같은 방법으로 360도 파노라마 실내 RGB 영상으로 생성된 포인트 클라우드는 도 2의 (a)와 같이 실제 3D 공간에 비해 왜곡된 좌표를 가지게 된다.

그러므로, 본 발명에서는 360도 파노라마 실내 RGB 영상으로 생성된 포인트 클라우드에서 그래픽 물체와의 인터렉션에서 사실감을 높이기 위해 바닥면에 대해 평탄화를 수행한다. 이 경우 오픈소스인 참고문헌 3의 Open3D를 통해 법선벡트(normal vector)를 계산하여 z좌표와 함께 바닥면을 인식한 후 z좌표를 일치시키면 도 2의 (b)와 같은 포인트 클라우드를 얻어낼 수 있다.

한편, 본 발명에 따라 360도 파노라마 실내 RGB 영상으로 부터 생성된 포인트 클라우드의 평탄화 전후의 평탄화 정도를 파악하기 위해, 실제 측정으로 얻어낸 포인트 클라우드와 본 발명을 통해 제안된 방법으로 생성된 포인트 클라우드들에 대해 RMS(root-mean-square) 연산을 수행한 결과는 도 3의 표와 같다.

이에 의하면 Inference 값이 아닌 Ground Truth 값의 포인트 클라우드인 Stanford_gt의 평탄화 이전(Raw) RMS의 경우 0.1 이하의 매우 낮은 RMS 값을 가진다.

Depth inference를 통해 생성한 포인트 클라우드인 Stanford_inf와 Furniture_inf의 Raw RMS의 경우 0.4 이상의 큰 값을 가지며, 이러한 현상은 평탄화 작업(Flatten) 이후 측정한 RMS 값에서 약간 감소하였으나, 시각적으로는 큰 효과를 보였다.

이상에서와 같이 본 발명에 따른 방법에 의하면 360도 파노라마 실내 RGB 영상으로부터 간단히 3D 포인트 클라우드를 생성할 수 있다. 물론 보다 정확하게 포인트 클라우드의 바닥면을 탐색하고 평탄화할 수 있도록 개선하는 기술의 적용이 바람하며, 이를 통해 적은 자원으로 몰입감 있는 3D Object 및 포인트 클라우드를 생성할 수 있을 것이 바람직하다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형 가능한 것으로, 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

1: 카메라 10: 이미지 처리장치
11: 메모리 12: 프로세서

Claims (5)

1. 360도 파노라마 실내 RGB 영상으로부터 깊이 정보를 취득하는 제1단계;
   상기 360도 파노라마 실내 RGB 영상과 상기 깊이 정보를 사용하여 UV sphere에 투영하여 생성된 포인트 클라우드에서 바닥면을 구분하는 제2단계; 및
   상기 바닥면의 한 점을 지정하여 다른 바닥면의 점들을 해당 점의 z좌표와 일치시켜 평탄한 바닥면을 만드는 제3단계;를 포함하고,
   상기 제2단계는 깊이 정보로부터 생성된 포인트 클라우드로부터 법선 벡터(normal vector)를 계산한 후, 법선 벡터(normal vector)의 방향과 z좌표에 따라 바닥면을 구분하고,
   상기 포인트 클라우드 바닥면의 평탄화 정도를 정량적으로 판단하기 위해 바닥면이라 인식된 점들 간의 RMS(root-mean-square) 계산을 통해 평평함의 정도를 파악하며,
   상기 제3단계는 오픈소스인 Open3D를 통해 법선벡터(normal vector)를 계산하여 z좌표와 함께 바닥면을 인식한 후 z좌표를 일치시키는 것을 특징으로 하는 360도 파노라마 실내 영상으로부터 생성된 포인트 클라우드의 바닥면을 고려한 후처리 방법.
   
2. 제 1항에 있어서,
   상기 제1단계는 딥러닝 모델(Deep Learning Model)을 통해 360도 파노라마 실내 RGB 영상으로부터 깊이 정보를 추출하는 단계인 것을 특징으로 하는 360도 파노라마 실내 영상으로부터 생성된 포인트 클라우드의 바닥면을 고려한 후처리 방법.
   
3. 제 1항에 있어서,
   상기 제1단계는 상기 360도 파노라마 실내 RGB 영상으로부터 깊이 정보를 Joint_360depth를 사용하여 추정하는 단계인 것을 특징으로 하는 360도 파노라마 실내 영상으로부터 생성된 포인트 클라우드의 바닥면을 고려한 후처리 방법.
   
4. 삭제
5. 삭제