CN107705364A

CN107705364A - 一种基于三维地理信息的沉浸式虚拟展示系统

Info

Publication number: CN107705364A
Application number: CN201610646045.5A
Authority: CN
Inventors: 刘劲松; 白伟; 黄震; 阿斯卡尔; 万明忠; 范光甫; 戴拥民; 范卫东; 孙健刚; 李凤亮; 肖少辉; 刘奎; 赵宜明; 汤鸿颂; 崔永军; 崔福海; 张效俊; 严研; 陈敬理; 马旭
Original assignee: Beijing North-Star Digital Remote Sensing Technology Co Ltd; Guo Wang Xinjiang Power Co
Current assignee: Beijing North-Star Digital Remote Sensing Technology Co Ltd; Guo Wang Xinjiang Power Co
Priority date: 2016-08-08
Filing date: 2016-08-08
Publication date: 2018-02-16

Abstract

本发明公开了一种基于三维地理信息的沉浸式虚拟展示系统，包括：地理信息处理单元，用于存储多源地理信息数据，并基于多源地理信息数据生成对待展示区域的三维地理模拟数据；虚拟图像生成单元，用于根据观察点位置参数和投影显示区域参数，对三维地理模拟数据进行视图矩阵变换与透视投影变换处理，生成四通道三维图像；图像融合单元，用于根据投影显示单元对四幕图像进行切割和边缘融合；投影显示单元，用于将融合后的四幕图像分别同步投影显示。该沉浸式虚拟展示系统有效整合了三维GIS技术与CAVE虚拟展示技术，实现了从微观场景到宏观场景的全尺度三维立体沉浸式展现，达到了身临其境的沉浸式虚拟展示体验。

Description

一种基于三维地理信息的沉浸式虚拟展示系统

技术领域

本发明涉及一种基于三维地理信息的沉浸式虚拟展示系统，属于虚拟现实展示领域。

背景技术

CAVE系统是一种基于投影的洞穴式的沉浸式虚拟展示系统，其利用高性能图形工作站或渲染集群、图像融合系统和立体投影显示系统，模拟产生一个由3到6个投影幕包围的沉浸式虚拟演示环境，配合三维跟踪器，用户可以在被投影墙包围的系统近距离接触虚拟三维物体，使用户体验身临其境的感受。CAVE系统通常应用于虚拟样机评审、汽车模拟驾驶等小场景虚拟仿真交互演示，特点是显示效果逼真，但系统展示的场景范围与数据量较小。CAVE虚拟展示软件在大场景虚拟仿真中有较大性能瓶颈，缺乏多源海量空间及模型数据的管理与高效渲染能力。

地理信息系统(Geographic Information System，GIS)是一种特定的十分重要的空间信息系统，在计算机硬、软件系统支持下，对整个或部分地球表层(包括大气层)空间中的有关地理分布数据进行采集、储存、管理、运算、分析、三维显示和描述的技术系统。三维GIS具有强大的数据组织管理与可视化表现能力，但是三维GIS的细节表现能力、展现效果不及虚拟展示系统。

发明内容

本发明的主要目的在于解决现有技术中存在的问题，提供一种基于投影的洞穴式的沉浸式虚拟展示系统，将CAVE系统与地理信息系统的优势相结合，基于GIS创建沉浸式虚拟展示环境，给用户提供身临其境的沉浸式观看体验，并实际应用到企业仿真展厅中。

根据本发明实施例，提供了一种基于投影的洞穴式的沉浸式虚拟展示系统，包括：地理信息处理单元、虚拟图像生成单元、图像融合单元和投影显示单元；

地理信息处理单元，用于存储多源地理信息数据，并基于所述多源地理信息数据生成对待展示区域的三维地理模拟数据；

虚拟图像生成单元，用于根据观察点位置参数和投影显示区域参数，对所述三维地理模拟数据进行视图矩阵变换与透视投影变换处理，生成四通道三维图像；所述四通道三维图像为经过透视效果矫正的、同步显示的四幕图像组，分别对应于投影显示单元的正面幕、底面幕、左侧幕、右侧幕；

图像融合单元，用于根据投影显示单元对所述四通道三维图像进行切割和边缘融合，并将融合后的四通道三维图像发送给投影显示单元；

投影显示单元，用于将所述融合后的四通道三维图像分别同步投影显示在所对应的正面幕、底面幕、左侧幕和右侧幕。

所述虚拟图像生成单元对所述三维地理模拟数据进行视图矩阵变换，包括：计算得到一个投影幕的视图变换矩阵；根据各个投影幕之间的位置关系，将已经计算得到的视图变换矩阵进行相应的角度旋转，得到目标投影幕的视图变换矩阵。

所述虚拟图像生成单元基于透视投影变换矩阵对所述三维地理模拟数据进行透视投影变换；透视投影变换矩阵Pf、Pl、Pr、Pb分别是正面幕、左侧幕、右侧幕、地面幕对应的透视投影变换矩阵；所述透视投影变换矩阵Pf、Pl、Pr、Pb依据如下公式计算获得：

其中，W1、W2、H分别为对应投影幕的长、宽、高；(x，y，z)为所述观察点在所述投影显示单元坐标系空间中的坐标；Zn为观察点到近裁剪面的距离；Zf为观察点到远裁剪面的距离。

所述虚拟图像生成单元还包括：图像交换链；

所述图像交换链用于缓存生成的投影图像，并对所生成的投影图像标记同步信息。

所述投影显示单元采用至少一台投影机共同对所述融合后的四通道三维图像进行投影；

所述图像融合单元根据投影显示单元中的投影机信息对所述四通道三维图像进行切割；并且，所述图像融合单元对切割后的投影图像进行边缘融合处理，以使经投影后显示的图像之间边缘无缝拼接。

所述投影显示单元，用于接收并投影显示所述融合后的四通道三维图像；该投影模块由正面幕、底面幕、左侧幕、右侧幕，四个投影幕构成。

所述的沉浸式虚拟展示系统，还包括：人机交互模块、中央控制模块；

所述人机交互模块，用于提供人机交互界面，接收用户的指令并将其发送给所述中央控制系统；

所述中央控制模块，用于对整个投影显示单元进行控制，接收所述人机交互模块的控制指令以及融合后的四通道三维图像，并控制投影模块进行投影显示；

通过本发明实施例，提供了一种基于投影的洞穴式的沉浸式虚拟展示系统，有效整合了三维GIS技术与CAVE虚拟展示技术，突破了传统CAVE虚拟展示系统在海量多源数据管理与可视化上的瓶颈，实现了从微观场景到宏观场景的全尺度三维立体沉浸式展现；采用四块投影屏幕构建CAVE展示环境，达到了身临其境的沉浸式虚拟展示体验。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1是基于投影的洞穴式的沉浸式虚拟展示系统的系统结构示意图；

图2是投影显示单元的投影模块结构示意图；

图3是观察点与投影显示单元视锥体示意图；

图4是视锥体结构示意图；

图5是正面幕的视锥体结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

本发明的目的是解决CAVE虚拟展示系统无法承载多源海量空间数据的问题，基于三维GIS创建沉浸式虚拟展示展示环境，实现从微观到宏观的全尺度三维场景的立体沉浸式展现。

图1是本发明基于投影的洞穴式的沉浸式虚拟展示系统的系统结构示意图。如图所示，该沉浸式虚拟展示系统，包括：

地理信息处理单元101，用于存储多源地理信息数据，并基于所述多源地理信息数据生成对待展示区域的三维地理模拟数据；

该地理信息处理单元101是一个多源海量数据存储与管理单元，其以数字地球为载体，存储与管理数字高程模型数据(Digital Elevation Model，DEM)、高清影像数据(Digital Orthophoto Map，DOM)、高精度模型数据等多源海量地理信息数据。并且，该地理信息处理单元101通过三维GIS技术、海量数据动态调度技术、数据库管理技术等，基于多源地理信息数据生成对待展示区域的三维地理模拟数据，实现在单图形通道上对现实地理场景的三维模拟。该地理信息处理单元101支持从微观城市建筑模型、电网变电站及杆塔等模型的微观场景精细展示，到全国及全球大场景的宏观展现。

虚拟图像生成单元102，用于根据观察点位置参数和投影显示区域参数，对所述三维地理模拟数据进行视图矩阵变换与透视投影变换处理，生成四通道三维图像；四通道三维图像为经过透视效果矫正的、同步显示的四幕图像组，分别对应于投影显示单元的正面幕、底面幕、左侧幕、右侧幕；

如前所述，CAVE系统是由四个投影面组成的立体空间，四个通道的视椎体在空间中共用一个观察点，每个投影面为单独的投影通道，具有各自独立的透视投影矩阵，四个独立的投影通道最终组成空间连续的投影画面，以达到沉浸式观看体验。

在所述虚拟图像生成单元102中，根据观察点位置参数和投影显示区域参数，对所述三维地理模拟数据进行视图矩阵变换与透视投影变换处理，生成四通道三维图像。其中，可以先根据观察点位置参数及投影显示区域参数，计算获得其中一个投影幕的视图变换矩阵M。然后，根据各个投影幕之间的位置关系，将该变换矩阵M进行相应的角度旋转，即可获得对应投影幕的视图变换矩阵。例如，计算得到正面幕的视图变换矩阵Mf。左侧幕的视图变换矩阵Ml在该正面幕变换矩阵Mf的基础上向左旋转90度，右侧幕的视图变换矩阵Mr在该正面幕变换矩阵Mf的基础上向右旋转90度，底面幕的变换矩阵Mb在该正面幕变换矩阵Mf的基础上向下旋转90度。表现为公式如下：

Mf＝M；公式1

Ml＝M*Matrix.RotationY(-90°) 公式2

Mr＝M*Matrix.RotationY(90°) 公式3

Mb＝M*Matrix.RotationX(90°) 公式4

四个通道的视椎体共同构成了一个的立体空间，基于此种相机设置参数，计算四个通道相机的透视投影矩阵并应用于透视变换，投射出的图像能够无缝拼接成一个整体画面，产生符合视觉原理的透视效果。

具体的，本实施例中采用DirectX3D(简称D3D)图形库开发，支持每帧四通道图像同步输出，输出的图像构成CAVE四个投影幕的完整三维图像。另外，由于地理信息数据量非常大，同时处理四个通道的投影图像非常困难。但是，四通道三维图像需要同步显示在投影显示单元上，才能使得投影图像无缝拼接成一个整体画面，从而产生沉浸式的视觉感受。基于此，本发明还设计有图像交换链(SwapChain)。所述图像交换链用于缓存生成的三维图像，并对所生成的三维图像标记同步信息。程序在接到渲染命令后，依次设置四个投影显示区域参数，将四种不同的场景图像离屏渲染并存储到四个图像交换链，同时标记相应的同步信息。程序接到缓冲区交换命令后，根据该同步信息从图像交换链中提取图像数据，输出给投影显示单元，四个通道的图像构成完整的CAVE四通道三维图像。

具体的，依次渲染四个通道的三维场景，由CPU将四通道的渲染命令提交给GPU，GPU异步执行四通道离屏渲染工作；CPU提交渲染命令后，首先查询GPU的状态，如果GPU处于忙碌状态，则继续查询GPU状态，如此循环，直到GPU处于空闲状态，进入下一步操作；CPU给GPU发送Present命令，将四个通道离屏渲染好的图像提交给前端设备显示，然后进入下一帧渲染；Present命令的执行时间非常短(小于1ms)，从软件上保证了四通道的图像能够同步输出。

硬件设置上，根据渲染要求的帧率设定显卡的刷新频率，开启显卡垂直同步功能；使用NVIDIA Quadro显卡的MOSAIC技术，将四个通道的图像无缝组合成一个整体画面；从硬件上保证四通道图像的同步显示效果。

图像融合单元103，用于根据投影显示单元对所述四通道三维图像进行切割和边缘融合，并将融合后的四通道三维图像发送给投影显示单元；

由于，投影显示单元可能采用多台投影机共同对同一投影幕进行投影。因此，图像融合单元103需要根据投影显示单元对所述四通道三维图像进行切割。并且，切割后的投影图像在投影机投影后会有边缘不融合的问题。因此，还需要对切割后的投影图像进行边缘融合处理，以使经投影后显示的图像之间边缘无缝拼接。并且，还可以基于对每台投影机设备参数信息，进行几何变形校正、边缘融合、色差校正等处理，以使拼接后的图像构成一个整体画面。

投影显示单元104，用于将所述融合后的四通道三维图像分别同步投影显示在所对应的正面幕、底面幕、左侧幕和右侧幕。

如图2所示，该投影显示单元104由正面幕、底面幕、左侧幕、右侧幕，四个投影幕构成。四个投影幕之间相互垂直。在本实施例中，该投影显示单元包括16台投影机，其中9台投影机投影底面幕，3台投影机投影正面幕，2台投影机投影左侧幕，2台投影机投影右侧幕。

根据上述技术方案，本发明提供了一种将三维GIS技术与CAVE虚拟展示技术有效整合的三维地理信息展示系统。该展示系统突破了传统CAVE虚拟展示系统在海量多源数据管理与可视化上的瓶颈，实现了从微观场景到宏观场景的全尺度三维立体沉浸式展现；采用四块投影屏幕构建CAVE展示环境，达到了身临其境的沉浸式虚拟展示体验。

由前述可知，本发明的关键在于所述虚拟图像生成单元102，根据观察点位置参数和投影显示区域参数，对所述三维地理模拟数据进行透视投影变换处理，生成四通道三维图像。从而将三维GIS平台中的三维地理模拟数据变换为可以投影在CAVE虚拟展示系统。该变换处理算法是基于观察点位置与投影显示单元104的四个投影幕之间所构成的视锥体结构进行变换计算的。图3是观察点与投影显示单元视锥体示意图。如图所示，以观察点为顶点，以正面幕、底面幕、左侧幕、右侧幕四个投影幕为底面，构成四个视锥体。基于该视锥体结构可以对所述三维地理模拟数据进行变换处理。

这里，以对正面幕的视锥体为例，对该变换处理过程进行说明。图4是视锥体结构示意图。如图4所示，透视投影是将视椎体转换成一个标准的立方体，其顶点为观察点位置，底面为正面幕面。另外，由观察点观察事物一般是有可见范围的。其中，其最近可视面为近裁剪面，其最远可视面为远裁剪面。如图4所示，观察点在所述近裁剪面上投影点到视锥体近裁剪面的上、下、左、右四边的距离分别为t、b、l、r。观察点到视锥体近裁剪面的距离为Zn，到视锥体远裁剪面的距离为Zf。四幕投影变换矩阵中采用相同的近、远裁剪面距离参数，即共用一套Zn、Zf参数。

由上述视锥体结构可以得到所述进行变换处理的透视投影变换矩阵P为：

图5是正面幕的视锥体结构示意图。为了快速方便计算，将上述公式5中的距离参数转换到投影显示单元坐标系空间中计算。其中，该投影显示单元的正面幕的长、宽、高分别为W1、W2、H。根据图4可以看出，所述观察点到近裁剪面的距离参数(t，b，l，r，Zn)与到投影显示单元的投影平面的距离参数(T1，B1，L1，R1，Zn1)是成同比例关系的。即

其中，观察点在所述投影平面上投影点到投影平面的上、下、左、右四边的距离分别为T1、B1、L1、R1。观察点到投影平面的距离为Zn1。所述观察点在投影显示单元坐标系空间中的坐标为(x，y，z)。

因此，所述变换矩阵P的计算可直接用投影显示单元坐标系空间的参数替换，对于正面视椎体可得出：

将公式7、公式8、公式9带入公式5可得正面幕的投影变换矩阵Pf：

同样的方法可得出左侧幕、右侧幕、底面幕的透视投影矩阵快速计算式，分别为Pl、Pr、Pb；

将上述透视投影矩阵用于三维场景透视投影变换，生成的图像能够无缝拼接成一个整体画面，产生符合视觉原理的透视效果。

此外，本发明所提供的沉浸式虚拟展示系统，还包括：人机交互模块、中央控制模块。

所述人机交互模块，用于提供人机交互界面，接收用户的指令并将其发送给所述中央控制系统；人机交互系统包含外设装置，具体有触摸屏、IPad、3D鼠标和激光笔，用于结合所述计算机系统提供人机交互界面，接受并执行用户指令。

所述中央控制模块，用于对整个投影显示单元进行控制，接收所述人机交互模块的控制指令以及融合后的四通道三维图像，并控制投影模块进行投影显示。具体的，该中央控制模块包括一套中央控制设备，通过以太网与人机交互系统、灯光音响系统、CAVE主控系统连接；中央控制系统主要用于对CAVE主控系统进行开关机、启动程序等操作，以及对灯光、音响系统的开关、调节操作；CAVE主控系统根据中央控制系统的命令或人机交互系统的命令进行相应操作。

综上所述，本发明所提供的基于三维地理信息的沉浸式虚拟展示系统，具有如下特点：

1)基于三维GIS平台创建CAVE沉浸式虚拟现实环境，突破了传统CAVE虚拟展示系统在海量多源数据管理与可视化上的瓶颈，实现了从微观场景到宏观场景的全尺度三维立体沉浸式展现；同时改善了三维GIS平台的展现效果与显示方式，拓展了三维GIS技术的应用领域。

2)在投影矩阵计算过程中完成CAVE三维透视效果校正，与常规的CAVE系统相比，减少了后期图像透视效果校正的步骤，节省了图像处理的时间；支持多通道画面同步输出，利用显卡本身的刷新率与MOSAIC功能，结合专门设计的帧同步控制算法，实现了稳定的播放帧速和最佳的同步效果。

3)采用四屏幕画面同步显示，且四屏幕显示的图像都是通过透视投影校正的图像，真正实现CAVE三维透视效果，达到了沉浸式的虚拟现实体验。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims

1.一种基于三维地理信息的沉浸式虚拟展示系统，其特征在于包括：地理信息处理单元、虚拟图像生成单元、图像融合单元和投影显示单元；

地理信息处理单元，用于存储多源地理信息数据，并基于所述多源地理信息数据生成待展示区域的三维地理模拟数据；

图像融合单元，用于根据投影显示单元对所述四幕图像进行切割和边缘融合，并将融合后的四幕图像发送给投影显示单元；

投影显示单元，用于将所述融合后的四幕图像分别同步投影显示在所对应的正面幕、底面幕、左侧幕和右侧幕。

2.如权利要求1所述的沉浸式虚拟展示系统，其特征在于，所述虚拟图像生成单元对所述三维地理模拟数据进行视图矩阵变换，包括：计算得到一个投影幕的视图变换矩阵；根据各个投影幕之间的位置关系，将已经计算得到的视图变换矩阵进行相应的角度旋转，得到目标投影幕的视图变换矩阵。

3.如权利要求1所述的沉浸式虚拟展示系统，其特征在于，所述虚拟图像生成单元基于透视投影变换矩阵对所述三维地理模拟数据进行透视投影变换；透视投影变换矩阵Pf、Pl、Pr、Pb分别是正面幕、左侧幕、右侧幕、地面幕对应的透视投影变换矩阵；所述透视投影变换矩阵Pf、Pl、Pr、Pb依据如下公式计算获得：

4.如权利要求1所述的沉浸式虚拟展示系统，其特征在于，所述虚拟图像生成单元还包括：图像交换链；

5.如权利要求1所述的沉浸式虚拟展示系统，其特征在于，所述投影显示单元采用至少一台投影机共同对所述融合后的四幕图像进行投影；

6.如权利要求1所述的沉浸式虚拟展示系统，其特征在于，所述投影显示单元，用于接收并投影显示所述融合后的四通道三维图像；该投影模块由正面幕、底面幕、左侧幕、右侧幕，四个投影幕构成。

7.如权利要求1所述的沉浸式虚拟展示系统，其特征在于还包括人机交互模块、中央控制模块；

所述中央控制模块，用于对整个投影显示单元进行控制，接收所述人机交互模块的控制指令以及融合后的四通道三维图像，并控制投影模块进行投影显示。