一种众源数据驱动的LOD2级城市建筑物模型增强建模算法的制作方法

一种众源数据驱动的lod2级城市建筑物模型增强建模算法
技术领域
1.本发明属于三维城市建筑物模型建模技术领域，具体涉及一种众源数据驱动的lod2级城市三维增强建模算法。


背景技术：

2.实景三维作为真实、立体、时序化反映人类生产、生活和生态空间的时空信息，是国家重要的新型基础设施，通过“人机兼容、物联感知、泛在服务”实现数字空间与现实空间的实时关联互通，为数字中国提供统一的空间定位框架和分析基础，是数字政府、数字经济重要的战略性数据资源和生产要素，是测绘地理信息行业落实国家新型基础设施建设的具体部署。
3.为适应不同的应用需求，三维建筑物模型通常采用多尺度的表达方式。根据citygml的定义，所有的模型可以分为5个不同的连贯细节层次(levels of detail，缩写：lod)，其中，lod0指2.5维的数字地形图，lod1指没有屋顶结构的“楼块模型”，lod2指包含楼顶结构和真实建筑贴图的粗模，lod3指包含更多细节的建筑模型，lod4指包含建筑内部结构的模型。
4.现有实景三维建模技术主要包括：人工建模技术、倾斜摄影建模技术、基于激光点云的三维建模技术、基于矢量数据的参数化建模技术等。其中，人工建模、基于激光点云的三维建模等技术以精细精确的模型细节效果为突出优势，但其建模速度慢、人工成本高，多适用于重点区域的建筑单体精细化建模。倾斜摄影建模技术在建模速度、纹理真实度以及自动化计算上具有显著优势，但仍面临着航飞与计算成本高、空域限制大等困难，多适用于部分经济条件好的城市主体区域建模。基于矢量数据的参数化三维建模的经济成本与时间成本低，能够满足大范围城市三维数据模拟表达需求，但其数据三维展示效果不足、纹理真实度欠佳，无法直观反映城市实景。
5.因此，如何在基础数据有限、建模经费有限的前提下，降低城市级建筑模型构建成本、加快城市lod2级建筑模型构建速率、兼顾城市级模型的纹理基本真实度，是当前实景三维、智慧城市、三维自然资源等建设面临的现实挑战。


技术实现要素：

6.发明目的：本设计聚焦如何降低城市级建筑模型构建消耗成本、加快城市级建筑模型构建速率、提升城市级模型构建技术效能，进而扩大城市三维模型覆盖范围，研发一种新型三维数据构建与服务方式，集成并融合基于深度学习的建筑轮廓及高度信息提取、建筑物景观聚类分析、街景数据采集、建筑类型智能解译分析、建筑纹理映射规则设计、三维增强建模等技术，推进实现快速化、批量化、自动化的城市级实景三维模型构建，提供更加真实准确、更丰富画面的城市建筑景观。
7.技术方案：本发明的一种众源数据驱动的lod2级城市三维增强建模算法，满足模型多层次细节2级需求，即建筑物模型具有不同类型的建筑屋顶和真实的表面纹理。本发明
具体包括如下步骤：
8.步骤1、建筑物轮廓与高度信息提取：构建深度学习影像分割模型，基于高分辨率遥感影像，自动提取建筑面及建筑阴影，并根据相邻性、方向一致性等原则匹配建筑面及其阴影。利用数学形态学表征建筑的空间结构特性，通过一系列形态学开操作和闭操作，优化建筑轮廓。基于太阳高度角与卫星高度角的关系，根据建筑阴影长度计算其对应建筑高度。
9.步骤2、建筑物景观聚类分析：综合建筑面轮廓几何特征、建筑空间关系和建筑真实纹理信息，通过基于道路和空间邻近性的建筑街区划分、基于自组织映射(self-organizingmapping，缩写：som)神经网络的建筑物特征聚类和基于兴趣点(point of interest，缩写：poi)语义信息的建筑聚类，实现相似建筑聚类，得到建筑聚类面。
10.步骤3、街景数据采集：基于众源数据的公共交通路网数据，按照固定间距提取道路点，并基于道路点空间信息获取其邻近范围内的街景数据。
11.步骤4、建筑类别智能解译分析：综合考虑不同区域特色、建筑风格、建筑用途、建筑密度等要素，以建筑结构、建筑涂料、部件分布等为具体特征，构建建筑分类体系。依据该体系建设建筑样本库与纹理库。将建筑类型样本库数据输入深度学习卷积神经网络，训练建筑类型ai识别检测模型并进行精度评估。将步骤2获取的建模区域街景数据输入该模型，可自动预测图片中的建筑物及其类型。
12.步骤5、纹理信息空间映射：针对街景图片与建筑聚类面的空间位置，将街景图片与建筑聚类面进行关联，以建筑聚类面为单元，统计其建筑类型标签并按数量排序，并依据最高等级的建筑类型调取对应纹理，将纹理信息赋予对应建筑聚类面，完成建筑面与纹理信息的空间映射。
13.步骤6、三维增强建模：基于gis桌面平台，根据建筑高度、结构与纹理信息等，自动生成建筑物三维模型，快速实现lod2级城市三维增强建模。
14.进一步的，所述步骤1中，采用深度学习方法根据遥感图像中建筑物阴影提取建筑物轮廓与高度信息，具体步骤如下：
15.步骤1.1、语义分割方法提取建筑及阴影信息：通过人工矢量化高分辨率影像中的建筑及阴影构建样本库，然后利用深度学习卷积神经网络，训练影像语义分割模型，自动提取高分辨率的建筑轮廓和阴影信息，并利用二次交叉熵作为损失函数对模型求解和评估。
16.步骤1.2、建筑面优化：通过一系列形态学开操作和闭操作构建一个形态学剖面，对建筑对象内像素的开剖面(op)和闭剖面(cp)进行取平均得到建筑对象的形态学开剖面均值和形态学闭剖面均值，提取建筑物形态学特征。
17.步骤1.3、高度特征提取：遵循相邻、方向一致以及至少有一个阴影的原则进行建筑面和阴影匹配。根据太阳方位角方向生成若干平行直线，通过阴影切割平行线并计算线段长度均值作为建筑阴影长度。并依据太阳高度角和卫星高度角与建筑的空间关系计算建筑高度，具体方法如下：
18.当太阳和卫星在建筑同侧时，建筑高度计算可见公式(1)，
[0019][0020]
当太阳和卫星在建筑异侧时，建筑高度计算可见公式(2)，
[0021]
h＝l_b
×
tanω＝l_s
×
tanω
ꢀꢀ
公式(2)
[0022]
其中，l_s为影像上阴影的长度，l_b为建筑实际阴影长度，σ为太阳高度角，ω为卫星高度角。
[0023]
进一步的，所述步骤2中，综合建筑面轮廓几何特征、建筑空间关系和建筑真实纹理信息，通过基于道路和空间邻近性的建筑街区划分、基于som神经网络的建筑物特征聚类和基于poi语义信息的建筑聚类，实现相似建筑聚类，得到建筑聚类面，具体步骤为：
[0024]
步骤2.1、基于道路和空间邻近性的建筑街区划分：通过构建delaunay三角网描述建筑物邻近关系，以建筑物间最小距离为度量构建最小生成树及道路网，识别空间邻近的建筑物聚类，构筑建筑街区空间关系。
[0025]
步骤2.2、基于som神经网络的建筑物特征聚类：选取建筑物高度、方向、形状、面积等12个因子对建筑物的几何特征进行描述，输入som神经网络提取地图建筑物的特点。通过不同因子的表达，生成建筑物空间特征关系的几何特征图，对街区建筑物进行聚类。
[0026]
步骤2.3、基于poi的建筑聚合：基于步骤2.1和步骤2.2的结果，通过建立poi、建筑物纹理与建筑物的匹配关系，将poi的语义信息和建筑物纹理特征与建筑物进行关联，实现建筑物基于语义和纹理特征的聚合。
[0027]
进一步的，所述的步骤3中，为了便于构建街景图片与建筑聚类面的空间关系，需在采集街景数据时模拟车辆行进，依据预设的前进方向，将每个点的街景数据划分为左侧街景pic_1、右侧街景pic_2。
[0028]
进一步的，所述步骤4中，建筑类别智能解译分析的具体步骤如下：
[0029]
步骤4.1、构建建筑分类体系与纹理库：综合考虑不同区域特色、建筑风格、建筑用途、建筑密度等要素，以建筑结构、建筑涂料、部件分布等为具体特征，构建建筑分类体系，并分别制作纹理，构建建筑纹理库。
[0030]
步骤4.2、构建建筑分类样本库：从全国范围内获取海量街景图，剔除建筑过远、建筑过小、被遮挡等无效图片，并以建筑分类体系为依据，对有效街景数据进行人工标记，构建建筑分类样本集，并对样本数据集进行数据增强，丰富样本类型，提高模型鲁棒性。
[0031]
步骤4.3、模型精度评价：建筑类型ai识别检测模型训练与精度评价：使用开源框架进行目标检测模型的构建与训练。衡量基于深度学习的目标检测模型精度，从测试集和实际检验效果等多方面对模型检测结果进行精度评价。
[0032]
进一步的，所述步骤5中，在构建街景图片与建筑聚类面的空间位置时，需以道路轴线为中心，以街景识别范围n为半径向两侧辐射，计算道路任一点pc(xc,yc)的辐射边界点p
l
(x
l
,y
l
)、pr(xr,yr)，并将p
l
、pr与邻近建筑聚类面做相交分析，把点pc的所对应的街景图片分别匹配给其辐射边界点所在建筑聚类面。p
l
、pr坐标计算公式如下：
[0033][0034]
其中，k为道路所在直线的斜率。
[0035]
然后以建筑聚类面为单元统计其建筑类型标签并按数量排序，并依据最高等级的建筑类型调取对应建筑纹理，将纹理信息赋予对应建筑聚类面，并按照建筑尺寸自动拼接生成合适的贴图，完成建筑纹理信息的空间映射。
[0036]
有益效果：与现有技术相比，本发明具有以下优点：
[0037]
(1)本发明集成了基于深度学习的建筑轮廓与高度计算、建筑外立面纹理ai智能识别等技术，实现了模型信息的快速、自动化提取，显著增强建模细节层次与建筑模型真实度，促进了城市三维建设的自动化、智能化、快速化发展，显著提高了城市三维建模的效率。
[0038]
(2)本发明由众源数据驱动，基于遥感影像、街景数据、osm数据、poi信息等多源异构数据，智能化提取建筑类型、建筑结构、建筑外立面纹理等信息，能够有效丰富建筑物模型细节，增强城市景观真实度与还原度，显著提高城市建模质量与视觉效果，克服建筑白膜纹理信息缺失、虚拟仿真技术还原度低等不足。
附图说明
[0039]
图1为本发明的技术流程图
[0040]
图2为景观聚合分区整体流程图
[0041]
图3为基于深度学习的建筑类型智能检测技术流程
[0042]
图4为基于深度学习的建筑类型识别结果示例图
[0043]
图5为建筑纹理映射规则示意图
[0044]
图6为本发明生成的南京市三维模型示例图
[0045]
图7为本发明生成的三维模型示例图与同位置街景数据对比图
[0046]
图8为本发明生成的三维模型示例图与同位置白膜数据和精模数据对比图
具体实施方式
[0047]
下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
[0048]
本实施例选取江苏省南京市作为实验区域，技术流程图如图1所示，具体步骤如下：
[0049]
步骤1、建筑物轮廓与高度信息提取：构建u-net神经网络模型，基于高分辨率遥感影像，自动提取建筑面及建筑阴影，并根据相邻性、方向一致性等原则匹配建筑面及其阴影。利用数学形态学表征建筑的空间结构特性，通过一系列形态学开操作和闭操作，优化建筑轮廓。通过太阳高度角与卫星高度角的关系，通过建筑阴影大小计算其对应建筑高度。具体步骤如下：
[0050]
步骤1.1、语义分割方法提取建筑及阴影信息：通过人工矢量化高分辨率影像中的建筑及阴影构建样本库，然后利用深度学习卷积神经网络，训练模型提取高分辨率建筑物和阴影信息，处理的全域总面积为6587.02km2，预测的建筑总量为164110个，并利用二次交叉熵作为损失函数对模型求解和评估。
[0051]
步骤1.2、建筑面优化：通过一系列形态学开操作和闭操作构建一个形态学剖面，对建筑对象内像素的开剖面(op)和闭剖面(cp)进行取平均得到建筑对象的形态学开剖面均值和形态学闭剖面均值，提取建筑物形态学特征。
[0052]
步骤1.3、高度特征提取：遵循相邻、方向一致以及至少有一个阴影的原则进行建筑面和阴影匹配。根据太阳方位角方向生成若干平行直线，通过阴影切割平行线并计算线段长度均值作为建筑阴影长度。并依据太阳高度角和卫星高度角与建筑的空间关系计算建筑高度，具体方法如下：
[0053]
当太阳和卫星在建筑同侧时，建筑高度计算可见公式(1)，
[0054][0055]
当太阳和卫星在建筑异侧时，建筑高度计算可见公式(2)，
[0056]
h＝l_b
×
tanω＝l_s
×
tanω
ꢀꢀ
公式(2)
[0057]
其中，l_s为影像上阴影的长度，l_b为建筑实际阴影长度，σ为太阳高度角，ω为卫星高度角。
[0058]
步骤2、建筑物景观聚类分析：综合建筑面轮廓几何特征、建筑空间关系和建筑真实纹理信息，通过基于道路和空间邻近性的建筑街区划分、基于som神经网络的建筑物特征聚类和基于poi语义信息的建筑聚类，实现相似建筑聚类，得到建筑聚类面。如图2所示为景观聚合分区整体流程图，具体步骤如下：
[0059]
步骤2.1、基于道路和空间邻近性的建筑街区划分：通过构建delaunay三角网描述建筑物邻近关系，以建筑物间最小距离为度量构建最小生成树及道路网，识别空间邻近的建筑物聚类，构筑建筑街区空间关系。
[0060]
步骤2.2、基于som神经网络的建筑物特征聚类：选取建筑物高度、方向、形状、面积等12个因子对建筑物的几何特征进行描述，输入som神经网络提取地图建筑物的特点。通过不同因子的表达，生成建筑物空间特征关系的几何特征图，对街区建筑物进行分类。
[0061]
步骤2.3、基于poi语义信息的建筑聚合：基于步骤2.1和步骤2.2的结果，通过建立poi、建筑物纹理与建筑物的匹配关系，将poi的语义信息和建筑物纹理特征与建筑物进行关联，实现建筑物基于语义和纹理特征的聚合。
[0062]
步骤3、街景数据采集：为了便于构建街景图片与建筑聚类面的空间关系，需在采集街景数据时模拟车辆行进，依据预设的前进方向每20米设置一个采样点，将每个点的街景数据划分为左侧街景pic_1、右侧街景pic_2，共计获取南京市街景图片401620张。
[0063]
步骤4、建筑类别智能解译分析：综合考虑不同区域特色、建筑风格、建筑用途、建筑密度等要素，以建筑结构、建筑涂料、部件分布等为具体特征，构建建筑分类体系。依据该体系建设建筑样本库与纹理库。基于建筑类型样本库，通过深度学习卷积神经网络，训练建筑类型ai识别检测模型并进行精度评估。将步骤2获取的建模区域街景数据输入该模型，可自动预测图片中的建筑类型。如图3所示为基于深度学习的建筑类型智能检测技术流程。具体步骤如下：
[0064]
步骤4.1、构建建筑分类体系与纹理库：综合考虑不同区域特色、建筑风格、建筑用途、建筑密度等要素，以建筑结构、建筑涂料、部件分布等为具体特征，构建建筑分类体系，并分别制作纹理，构建建筑纹理库。
[0065]
步骤4.2、构建建筑分类样本库：从全国范围内获取海量街景图，剔除建筑过远、建筑过小、被遮挡等无效图片，并以建筑分类体系为依据，对有效街景数据进行人工标记，构建建筑分类样本集，总计绘制样本达到30万，对样本数据集进行数据增强，丰富样本类型，提高模型鲁棒性。
[0066]
步骤4.3、建筑类型ai识别检测模型训练与精度评价：使用facebook开源的detectron2框架进行fasterr-cnn模型的构建与训练。在图像特征提取方面，使用resnet50作为特征提取层，并加入fpn机制构建fasterr-cnn模型。其中模型的批尺寸(batch_size)
为8，共需要区分15种不同类别的建筑类型。模型的基础学习率(base_lr)为0.001，模型迭代训练次数为40万次。
[0067]
本设计采用准确率(precision)、召回率(recall)、ap(average precision)、map(mean average precision)四个参数指标对建筑立面目标检测模型的精度进行评价。模型检测的准确率达到79.3％，召回率达到80.14％，map达到83.44％。同时结合实际检测效果来看，测试图像中存在符合本设计定义的建筑立面大多能够被有效检测，部分识别结果如图4所示。
[0068]
步骤4.4、建筑类型智能检测：将图片输入训练好的目标检测模型，预测建筑类型。
[0069]
步骤5、纹理信息空间映射：如图5所示为建筑纹理映射规则示意图。首先构建街景图片与建筑聚类面的空间位置时，以道路轴线为中心，以街景识别范围n为半径向两侧辐射，计算道路任一点pc(xc,yc)的辐射边界点p
l
(x
l
,y
l
)、pr(xr,yr)，并将p
l
、pr与邻近建筑聚类面做相交分析，把点pc的所对应的街景图片分别匹配给其辐射边界点所在建筑聚类面。p
l
、pr坐标计算公式如下：
[0070][0071]
其中，k为道路所在直线的斜率。
[0072]
然后以建筑聚类面为单元统计其建筑类型标签并按数量排序，并依据最高等级的建筑类型调取对应建筑纹理，将纹理信息赋予对应建筑聚类面，并按照建筑尺寸自动拼接生成合适的贴图，完成建筑纹理信息的空间映射。
[0073]
步骤6、三维增强建模：采用基于supermapidesktop软件的三维增强建模技术，根据建筑数据中的层高、层数、纹理类型等信息，自动构建街景增强三维数据，实现区域街景的真实化、快速化、三维化展示。
[0074]
实验验证可发现基于本文研究算法进行城市级三维模型构建具有可行性，建模效果如图6所示，建模总时长5天，建筑模型总量达到164110个。以南京全域三维建模为例，将本发明与现城市建模常用的基于倾斜摄影测量技术的自动建模、基于激光点云的三维构建方法进行成本对比，如表格1所示，可见本发明在经济成本与时间成本上具有较大的优势，能够满足当今社会城市形态急速变化的环境。
[0075]
表格1南京市全域三维建设成本估算表
[0076]