一种实景三维城市开发显示系统及方法与流程

1.本发明属于城建开发技术领域，具体为一种实景三维城市开发显示系统及方法。


背景技术：

2.随着数字城市、智慧城市、城市规划与管理、建筑景观设计、三维导航以及旅游开发等对城市实景三维模型的需求快速建立有真实纹理的真实感城市三维景观日益突显出较高的经济价值和应用前景。
3.目前，在针对实景三维城市开发的技术中，通常使用航空摄影测量方法来实现，依靠计算机辅助设计软件，采用大量人工交互建模的方式，该方式对于三维城市场景而言存在制作周期长、成本高、更新难度大、时效性差、对建模人员技术水平的依赖性强等问题，且在三维模型构建的过程中对于包含大量不同物体的复杂图像，存在配准效率和构建效率低、真实性差等弊端，使其数据响应慢，易导致重复建设问题，不利于实景三维城市的规划工作。


技术实现要素：

4.(一)解决的技术问题
5.为了克服现有技术的上述缺陷，本发明提供了一种实景三维城市开发显示系统及方法，解决了在针对实景三维城市开发的技术中，通常使用航空摄影测量方法来实现，依靠计算机辅助设计软件，采用大量人工交互建模的方式，该方式对于三维城市场景而言存在制作周期长、成本高、更新难度大、时效性差、对建模人员技术水平的依赖性强等问题，且在三维模型构建的过程中对于包含大量不同物体的复杂图像，存在配准效率和构建效率低、真实性差等弊端，使其数据响应慢，易导致重复建设问题的问题。
6.(二)技术方案
7.为实现上述目的，本发明提供如下技术方案：一种实景三维城市开发显示系统，包括数据采集单元和三维模型构建单元，所述数据采集单元的输出端与三维模型构建单元的输入端连接，所述三维模型构建单元包括预处理模块，所述预处理模块的输出端与点云计算模块的输入端连接，所述点云计算模块的输出端与点云匹配模块的输入端连接，所述点云匹配模块的输出端通过数据融合模块与图像表面生成与构件模块的输入端连接，所述图像表面生成与构件模块的输出端与三维模型渲染模块的输入端连接。
8.作为本发明的进一步方案：所述无人机组模块利用多组无人机进行巡航，设定巡航路径，实现无人机定轨飞行的目的。
9.所述图像获取模块包括高清摄像头和kinect传感器。
10.图像获取模块，将图像获取模块装载于无人机组模块上，用于对城市实景进行拍摄，并且通过kinect传感器收集图像中物体的图像信息与之对应的彩色图像。
11.作为本发明的进一步方案：所述图像获取模块获取的图像信息包括人工建筑及自然地理位置等实体对象及空间参数信息，记录并拍摄城市建筑外型尺寸，外部颜色纹理，以
及障碍物信息。
12.作为本发明的进一步方案：所述预处理模块用于对图像获取模块获取的图像进行去噪处理，提高图像的利用率，得到具有二位信息的去噪图像。
13.作为本发明的进一步方案：所述点云计算模块用于将去噪后的图像进行点云计算，利用图像中各个像素点的值表示图像信息，通过kinect传感器到物体表面的距离表示，得到世界坐标系与图像中像素坐标关系，并且进行多角度图像坐标关系优化。
14.所述点云计算模块中世界坐标系与图像中像素坐标关系为：
[0015][0016]
即：
[0017]
其中，γ＝γ
′
f，fx＝f/dx，fy＝f/dy，r表示3
×
3的矩阵，t为平移向量，设
[0018][0019]
其中k的取值与fx，fy，μ0，υ0，有关，且这4个参数只与图像三维模型构建单元建立过程中的拍摄设备有关，则将k称为摄像头内参数矩阵，若将图像拍摄设备作为世界坐标系，得到[r,t]＝[i,0]，图像中值用zw表示，对应的坐标为(u,υ)，对式(3)进行转换，结果为：
[0020]
zcu＝fxxw u0zw,zcυ＝fyxw υ0zw,zc＝zwꢀꢀ
(4)
[0021]
在已知k值的情况下，得到：
[0022][0023]
其中，xw,yw,zw分别为点(u,υ)在世界坐标系下的x，y，z轴坐标。
[0024]
进一步的，进行多角度图像坐标关系优化的具体实施方式如下：
[0025]
在基于世界坐标系下的x，y，z轴坐标，设焦距由f1转变为f2，则多角度图像坐标系间的转换关系通过下式表达：
[0026]sx
＝dy/dx
[0027][0028]
式中，由(x1,y1)代表三维建模优化过程中的有效焦距f1下的部分特征点的像素坐标，由(x2,y2)代表相同特征点在有效焦距f2下的像素坐标，在优化过程中，通过下式代表多
角度图像透视模型：
[0029][0030][0031]
通过上式得出，在多角度图像三维建模优化过程中，多组高清摄像头拍摄图像的多角度点之间的对应关系，通过下式表达：
[0032][0033]
依据上式得出，在多角度图像三维建模优化中，多角度图像三维点空间坐标通过下式表达：
[0034][0035][0036]
作为本发明的进一步方案：所述点云匹配模块用于对物体进行多角度拍摄出现的重复部分进行参数转换，点云配准将拍摄时间、拍摄角度和拍摄环境不同的图像分别至统一坐标系中，消除冗杂信息。
[0037]
作为本发明的进一步方案：所述数据融合模块用于将点云配准后杂乱分布的图像信息进行数据融合，提高三维模型构建的精度。
[0038]
所述数据融合模块的具体实施方式如下：
[0039]
kinect传感器所处位置即为原点构造体积网络，原点体积网络将经点云配准后的数据空间划分为若干细小矩形，称其为体素。
[0040]
将体素附加上有效距离场，有效距离场的值为体素至三维模型表面的最短距离，有效距离场值越接近零，则体素与构建的图像三维模型表面的距离越近，若该距离大于零，则体素位于三维模型表面的前方，反之，位于三维模型的后方，采用tsdf算法，储存距真实表面近的数层体素，降低内存消耗和冗余点，增大三维模型的构建范围，tsdf算法用立体网格表示物体的三维空间，采用以下公式对数据进行融合操作：
[0041]wi 1
(x)＝wi(x) x
i 1
(x)
ꢀꢀ
(6)
[0042]
其中di表示网格的最初距离，d
i 1
表示点云到网格的距离，w表示对同一个网格进行融合操作的权重tsdf算法通过最小二乘法对三维模型进行优化，扩大三维模型的构建范围，点云融合过程中采用权重，对点云数据的降噪性能强。
[0043]
作为本发明的进一步方案：所述图像表面生成与构建模块用于建立物体的可视等值面，对原始灰度数据的处理采用体素级重建算法，对图像进行三维模型的构建。
[0044]
所述图像表面生成与构建模块的实施方式如下：
[0045]
s6001、体素级重建算法即移动立方体法，将处于点云数据中心的8个数据置于立方体的8个顶点上，对处于同一条棱上的两个数据点，若存在一个数据大于给定常数t，则另一个数据小于给定常数t，则该立方体上的该条棱上一定存在等值面的一个点，计算立方体上12条棱与等值面的交点，对三角面进行构建。
[0046]
对三角面进行构建采用点云中心附近平坦区域的数据点，采用点的k-邻域的协方差法表示点云中心附近数据点法向量的变化情况，进而判断数据点处点云中心的平坦度，具体实施方式如下：
[0047]
设点pi的k-邻域为{p
ij
,j＝1,l,k}，得到其协变矩阵为其中p
ic
表示k-邻域的形心坐标，表示为将cv的最小特征值对应的特征向量设为υ，得到点pi所处位置的平坦度为其中k值决定检索平坦度区域的半径。
[0048]
对点云中心内所有的数据点进行平坦度计算后，将平坦度最大的点作为初始点，将与该初始点距离最近的两个点作为构成初始三角形的另外两个点，三个点间用线段相连构成初始三角形。
[0049]
s6002、将上述立方体侯建的所有三角面相连构成等值面，合并立方体的所有等值面得到完整的三维表面，表面重构对图像进行处理操作后将得到图像进行配准操作，得到完整、将不同视角图融合在一起的图像点云模型。
[0050]
作为本发明的进一步方案：所述三维模型渲染模块用于将获取的图像点云模型，在opengl条件下对点云模型实施渲染，完成图像三维模型的构建，并且进行显示。
[0051]
所述opengl条件下对物体顶点进行平移或旋转操作，对由顶点构成的物体能够在空间任意变换。
[0052]
所述opengl条件下经过光照表达物体的三维特征，从物体的顶点进行光照，将顶点到光源的距离，方向向量和视觉向量带入该光照的光照模型中得到物体顶点的颜色，将物体顶点颜色用物体的视觉点以及光源三者间的空间位置关系表达，得到实景三维城建的三维模型。
[0053]
一种实景三维城市开发显示系统的方法，包括以下步骤：
[0054]
s100、将高清摄像头和kinect传感器装载于无人机组模块上，用于对城市实景进行拍摄，并且通过kinect传感器收集图像中物体的图像信息与之对应的彩色图像。
[0055]
s200、对图像获取模块获取的图像进行去噪处理。
[0056]
s300、将去噪后的图像进行点云计算，利用图像中各个像素点的值表示图像信息，通过kinect传感器到物体表面的距离表示，得到世界坐标系与图像中像素坐标关系。
[0057]
s400、对物体进行多角度拍摄出现的重复部分进行参数转换，点云配准将拍摄时
间、拍摄角度和拍摄环境不同的图像分别至统一坐标系中，消除冗杂信息。
[0058]
s500、将点云配准后杂乱分布的图像信息进行数据融合。
[0059]
s600、建立物体的可视等值面，对原始灰度数据的处理采用体素级重建算法，对图像进行三维模型的构建。
[0060]
s700、将获取的图像点云模型，在opengl条件下对点云模型实施渲染，完成图像三维模型的构建，并且进行显示。
[0061]
(三)有益效果
[0062]
与现有技术相比，本发明的有益效果在于：通过对建筑及物体的多角度原形进行采集，分析原始数据点之间的拓扑关系，得到世界坐标系与图像中像素坐标关系，并且进行多角度图像坐标关系优化，组建多角度图像透视模型并且依据不同位置拍摄的多角度图像中对应点的图像坐标，计算出不同角度的建筑及物体在三维空间中所对应点的三维坐标，再对图像进行去噪处理，并采用点云配准将不同图像分配到统一坐标系中，过滤掉图像中的冗杂信息，通过tsdf算法对点云配准后的图像进行数据融合，获取完整的点云模型，后在openg1条件下对点云模型实施渲染，完成图像三维模型的重建，基于传统方式而言，本技术在不同规模的点云数据下收敛性能均强于传统方式，通过进行多角度图像坐标关系优化，提高图像三维模型精准性，再降低图像三维模型构建中数据的冗余度，减少三维模型构建过程中算法的复杂度，提高图像三维模型构造效率和配准效率，从而避免重复建设的问题。
附图说明
[0063]
图1为本发明系统的原理结构示意图；
[0064]
图2为本发明三维模型构建单元的流程示意图。
具体实施方式
[0065]
下面结合具体实施方式对本专利的技术方案作进一步详细地说明。
[0066]
如图1-2所示，本发明提供一种技术方案：一种实景三维城市开发显示系统，包括数据采集单元和三维模型构建单元，数据采集单元的输出端与三维模型构建单元的输入端连接，三维模型构建单元包括预处理模块，预处理模块的输出端与点云计算模块的输入端连接，点云计算模块的输出端与点云匹配模块的输入端连接，点云匹配模块的输出端通过数据融合模块与图像表面生成与构件模块的输入端连接，图像表面生成与构件模块的输出端与三维模型渲染模块的输入端连接。
[0067]
无人机组模块利用多组无人机进行巡航，设定巡航路径，实现无人机定轨飞行的目的。
[0068]
图像获取模块包括高清摄像头和kinect传感器。
[0069]
图像获取模块，将图像获取模块装载于无人机组模块上，用于对城市实景进行拍摄，并且通过kinect传感器收集图像中物体的图像信息与之对应的彩色图像。
[0070]
图像获取模块获取的图像信息包括人工建筑及自然地理位置等实体对象及空间参数信息，记录并拍摄城市建筑外型尺寸，外部颜色纹理，以及障碍物信息。
[0071]
预处理模块用于对图像获取模块获取的图像进行去噪处理，提高图像的利用率，得到具有二位信息的去噪图像。
[0072]
点云计算模块用于将去噪后的图像进行点云计算，利用图像中各个像素点的值表示图像信息，通过kinect传感器到物体表面的距离表示，得到世界坐标系与图像中像素坐标关系，并且进行多角度图像坐标关系优化。
[0073]
点云计算模块中世界坐标系与图像中像素坐标关系为：
[0074][0075]
即：
[0076]
其中，γ＝γ
′
f，fx＝f/dx，fy＝f/dy，r表示3
×
3的矩阵，t为平移向量，设
[0077][0078]
其中k的取值与fx，fy，μ0，υ0，有关，且这4个参数只与图像三维模型构建单元建立过程中的拍摄设备有关，则将k称为摄像头内参数矩阵，若将图像拍摄设备作为世界坐标系，得到[r,t]＝[i,0]，图像中值用zw表示，对应的坐标为(u,υ)，对式(3)进行转换，结果为：
[0079]
zcu＝fxxw u0zw,zcυ＝fyxw υ0zw,zc＝zwꢀꢀ
(4)
[0080]
在已知k值的情况下，得到：
[0081][0082]
其中，xw,yw,zw分别为点(u,υ)在世界坐标系下的x，y，z轴坐标。
[0083]
进一步的，进行多角度图像坐标关系优化的具体实施方式如下：
[0084]
在基于世界坐标系下的x，y，z轴坐标，设焦距由f1转变为f2，则多角度图像坐标系间的转换关系通过下式表达：
[0085]sx
＝dy/dx
[0086][0087]
式中，由(x1,y1)代表三维建模优化过程中的有效焦距f1下的部分特征点的像素坐标，由(x2,y2)代表相同特征点在有效焦距f2下的像素坐标，在优化过程中，通过下式代表多角度图像透视模型：
[0088][0089][0090]
通过上式得出，在多角度图像三维建模优化过程中，多组高清摄像头拍摄图像的多角度点之间的对应关系，通过下式表达：
[0091][0092]
依据上式得出，在多角度图像三维建模优化中，多角度图像三维点空间坐标通过下式表达：
[0093][0094][0095]
点云匹配模块用于对物体进行多角度拍摄出现的重复部分进行参数转换，点云配准将拍摄时间、拍摄角度和拍摄环境不同的图像分别至统一坐标系中，消除冗杂信息。
[0096]
数据融合模块用于将点云配准后杂乱分布的图像信息进行数据融合，提高三维模型构建的精度。
[0097]
数据融合模块的具体实施方式如下：
[0098]
kinect传感器所处位置即为原点构造体积网络，原点体积网络将经点云配准后的数据空间划分为若干细小矩形，称其为体素。
[0099]
将体素附加上有效距离场，有效距离场的值为体素至三维模型表面的最短距离，有效距离场值越接近零，则体素与构建的图像三维模型表面的距离越近，若该距离大于零，则体素位于三维模型表面的前方，反之，位于三维模型的后方，采用tsdf算法，储存距真实表面近的数层体素，降低内存消耗和冗余点，增大三维模型的构建范围，tsdf算法用立体网格表示物体的三维空间，采用以下公式对数据进行融合操作：
[0100]wi 1
(x)＝wi(x) x
i 1
(x)(6)
[0101]
其中di表示网格的最初距离，d
i 1
表示点云到网格的距离，w表示对同一个网格进行融合操作的权重tsdf算法通过最小二乘法对三维模型进行优化，扩大三维模型的构建范围，点云融合过程中采用权重，对点云数据的降噪性能强。
[0102]
图像表面生成与构建模块用于建立物体的可视等值面，对原始灰度数据的处理采用体素级重建算法，对图像进行三维模型的构建。
[0103]
图像表面生成与构建模块的实施方式如下：
[0104]
s6001、体素级重建算法即移动立方体法，将处于点云数据中心的8个数据置于立方体的8个顶点上，对处于同一条棱上的两个数据点，若存在一个数据大于给定常数t，则另一个数据小于给定常数t，则该立方体上的该条棱上一定存在等值面的一个点，计算立方体上12条棱与等值面的交点，对三角面进行构建。
[0105]
对三角面进行构建采用点云中心附近平坦区域的数据点，采用点的k-邻域的协方差法表示点云中心附近数据点法向量的变化情况，进而判断数据点处点云中心的平坦度，具体实施方式如下：
[0106]
设点pi的k-邻域为{p
ij
,j＝1,l,k}，得到其协变矩阵为其中p
ic
表示k-邻域的形心坐标，表示为将cv的最小特征值对应的特征向量设为υ，得到点pi所处位置的平坦度为其中k值决定检索平坦度区域的半径。
[0107]
对点云中心内所有的数据点进行平坦度计算后，将平坦度最大的点作为初始点，将与该初始点距离最近的两个点作为构成初始三角形的另外两个点，三个点间用线段相连构成初始三角形。
[0108]
s6002、将上述立方体侯建的所有三角面相连构成等值面，合并立方体的所有等值面得到完整的三维表面，表面重构对图像进行处理操作后将得到图像进行配准操作，得到完整、将不同视角图融合在一起的图像点云模型。
[0109]
三维模型渲染模块用于将获取的图像点云模型，在opengl条件下对点云模型实施渲染，完成图像三维模型的构建，并且进行显示。
[0110]
opengl条件下对物体顶点进行平移或旋转操作，对由顶点构成的物体能够在空间任意变换。
[0111]
opengl条件下经过光照表达物体的三维特征，从物体的顶点进行光照，将顶点到光源的距离，方向向量和视觉向量带入该光照的光照模型中得到物体顶点的颜色，将物体顶点颜色用物体的视觉点以及光源三者间的空间位置关系表达，得到实景三维城建的三维模型。
[0112]
一种实景三维城市开发显示系统的方法，包括以下步骤：
[0113]
s100、将高清摄像头和kinect传感器装载于无人机组模块上，用于对城市实景进行拍摄，并且通过kinect传感器收集图像中物体的图像信息与之对应的彩色图像。
[0114]
s200、对图像获取模块获取的图像进行去噪处理。
[0115]
s300、将去噪后的图像进行点云计算，利用图像中各个像素点的值表示图像信息，通过kinect传感器到物体表面的距离表示，得到世界坐标系与图像中像素坐标关系。
[0116]
s400、对物体进行多角度拍摄出现的重复部分进行参数转换，点云配准将拍摄时间、拍摄角度和拍摄环境不同的图像分别至统一坐标系中，消除冗杂信息。
[0117]
s500、将点云配准后杂乱分布的图像信息进行数据融合。
[0118]
s600、建立物体的可视等值面，对原始灰度数据的处理采用体素级重建算法，对图像进行三维模型的构建。
[0119]
s700、将获取的图像点云模型，在opengl条件下对点云模型实施渲染，完成图像三维模型的构建，并且进行显示。
[0120]
综上所得：
[0121]
通过对建筑及物体的多角度原形进行采集，分析原始数据点之间的拓扑关系，得到世界坐标系与图像中像素坐标关系，并且进行多角度图像坐标关系优化，组建多角度图像透视模型并且依据不同位置拍摄的多角度图像中对应点的图像坐标，计算出不同角度的建筑及物体在三维空间中所对应点的三维坐标，再对图像进行去噪处理，并采用点云配准将不同图像分配到统一坐标系中，过滤掉图像中的冗杂信息，通过tsdf算法对点云配准后的图像进行数据融合，获取完整的点云模型，后在openg1条件下对点云模型实施渲染，完成图像三维模型的重建，基于传统方式而言，本技术在不同规模的点云数据下收敛性能均强于传统方式，通过进行多角度图像坐标关系优化，提高图像三维模型精准性，再降低图像三维模型构建中数据的冗余度，减少三维模型构建过程中算法的复杂度，提高图像三维模型构造效率和配准效率，从而避免重复建设的问题。
[0122]
上面对本专利的较佳实施方式作了详细说明，但是本专利并不限于上述实施方式，在本领域的普通技术人员所具备的知识范围内，还可以在不脱离本专利宗旨的前提下作出各种变化。