注意力融合全局和局部深度特征的建筑立面语义分割方法与流程

1.本发明属于建筑结构部件识别领域，特别涉及了一种建筑立面语义分割方法。


背景技术：

2.建筑物作为城市中最基本、最主要的组成元素，其三维模型在室内外导航、建筑能耗模拟、三维可视化、建筑抽象等领域有着广泛的应用。由于激光雷达技术可以捕捉到建筑屋顶和立面部件的复杂结构，如窗户、门、阳台等，点云被大量用于三维真实场景的增强。建筑物重建是摄影测量学、计算机图形学、计算机视觉和遥感界的一个重要的研究领域。然而，如何以精确的几何、正确的拓扑和丰富的语义来重建点云的建筑模型，以实现语义理解和几何表示仍然是一个重大的挑战。与识别建筑屋顶部件相比，解析建筑立面部件，如窗户、门、阳台等是极具挑战性的，因为立面部件的复杂性(类型多样化的窗户和门，不规则的排列等)，以及立面点云通常存在异常值、不规则性和遮挡和自遮挡造成的数据缺失等问题。
3.近年来，深度学习在处理点云语义分割任务展现了很好的性能，出现了基于多视图(mvcnn、deepr3ss、snapnet等)、体素(voxnet、sparseconvnet、oct-net、kd-net等)、点本身(pointnet、pointnet 等)的语义分割网络，这些方法相较于传统方法分割精度更高，不需要人工设计特征提取算子，因此利用深度学习处理建筑立面点云数据具有重要研究意义。由于建筑立面的门窗等小部件点云数据占比率极低，从现有技术文献可知，从不平衡数据中学习仍然是点云语义分割任务中一个具有挑战性的问题。
4.点云是无序的、不规则的、无结构的，在点云语义分割任务中，从3d点云提取特征的传统方法常常依赖于手工提取。近年来，基于自动提取特征的深度学习方法得到了广泛应用。点云语义分割的深度学习方法通常分为三类：基于多视图、体素和点本身。将3d点云映射为多视图、体素等规则表征，从而使用标准cnn，但此举会改变了点云的组织方式，从而产生点云几何信息损失、计算成本高、内存消耗大等问题。基于点本身的方法是直接应用mlp、卷积等方式提取点特征，保留了点云数据本身的结构并避免了以上问题。在点云语义场景分割任务中，基于点本身可分为逐点mlp、点卷积、图卷积和transformer的这四类方法。
5.(1)基于逐点mlp的方法
6.这类方法是把共享参数mlp作为提取逐点特征的基本单元，并在提取逐点点特征后利用对称函数消除无序。pointnet是最早提出直接基于点本身处理无序点云的方法，该方法利用对称函数实现置换不变性，将深度学习应用于无序点云的开创性工作。具体来说使用共享参数mlp获取逐点特征，并使用最大池化层聚合所有点的全局特征。pointnet 作为pointnet的扩展，使用一个自编码器来探索点云的层次结构。为增强对点云形状特征的描述，jiang等人受二维形状描述子sift的启发，设计了pointsift模块，该模块能够对不同方向的信息进行编码，并自适应不同尺度的形状，然后将该模块嵌入到pointnet 中。pointweb在pointnet 的基础上提出了adaptive feature adjustment(afa)模块，继而获
取局部邻域点集中所有点对之间的关系，实现局部点对之间的信息交换和特征优化。so-net通过self-organizing map(som)选择特征点，以此模拟点云的空间分布。chiang等人和geng等人都提出了一种多尺度特征聚合方法，将编码器或解码器不同尺度的特征均上采样到原始点集大小，然后进行聚合操作获取点云的全局结构。randla-net提出了一种高效、轻量级的网络结构，该网络采用随机点采样策略对点云实施大规模处理，并采用新颖的局部特征聚合模块保持几何细节。虽然这种方法可以利用共享的mlp获取逐点特征，利用注意力池化函数获取局部特征，但不能捕获点云的全局几何形状和邻域点之间的相互关系。这些方法使用mlp作为网络的基本单元使其处理效率高，但这未充分考虑语义上下文之间的依赖关系和邻域点之间的几何关系。
7.(2)基于点卷积的方法
8.这类方法是对采样点构建局部邻域空间，以便定义合适的卷积运算，使其直接作用于无序的点云。hua等人采用3d卷积核对点云逐点卷积，以此获取每个点的高级特征，该方法原理简单、鲁棒性高，但效率低下。tatarchenko等人把每个点的局部邻域点集投影到切平面上，然后在切平面上实施卷积，该方法能够处理大规模点云数据集，但没有充分利用3d点云潜在的几何结构信息。shellnet提出了一种有效的卷积算子，该算子利用同心球壳的统计量来定义局部代表性特征。pointcnn使用χ-conv算子将输入点云转换为潜在的规范顺序，然后对转换后的特征实现“标准卷积”。kpconv对点云进行卷积操作，通过使用一小组核点为相邻点分配不同的权值。该方法采用固定卷积核和可变形卷积核两种工作模式，使核点适应不同的局部几何复杂度。a-cnn提出一种在指定的环形结构和方向上的环形卷积，通过获取局部邻域空间内所有点对之间的关系，可以更好地捕获局部几何结构信息。虽然这些方法得到了很好的分割结果，但需要注意的是，如何设计合理的连续和离散卷积算子，逐步赋予邻域点权值是一个具有挑战性的步骤。另外，利用邻域点构造的卷积算子只反映了中心点与其邻域点之间的几何关系，忽略了邻域点之间的相互作用，导致局部形状描述不足。
9.(3)基于图卷积的方法
10.这类方法通过构建复杂多样的图的表示，从有组织的点云中获取依赖关系和底层连接模式。针对点云数据，图结构通常被认为是一种很好的解决和表示方法，以编码自然场景中的对象关系。dgcnn把edgeconv模块嵌入到pointnet结构中，edgeconv建立了一个局部图，继而学习了点与其邻近点之间的关系，该方法对特征空间中相似的特征进行聚类，所以在点云分类及分割任务中效果显著。然而，在该框架中引入空间变换模块会极度增大网络的复杂度。rgcnn为了自适应捕获动态图结构而使用图拉普拉斯矩阵，以描述层之间特征的关系，该方法对点云的噪声及密度都具有较强的鲁棒性。gacnet提出了一种图注意卷积，通过给相邻点分配适当的注意力权重，可以关注到学习特征中最相关的部分，继而适应不同形状的点云。spg将点云按照几何形状划分为均匀的超点，在此基础上建立了一个图卷积，通过网络学习相邻超点之间的上下文信息，该方法能够处理大规模的室外场景点云数据集，但效率较低。尽管深度图结构试图利用点云的几何结构来实现更好的形状表示，但它通常会受到不合理的图结构的影响。因此，如何构建一个深度图架构，从合理的图中自适应地探索更深层次的结构模式是一个重大的挑战。
11.(4)基于transformer的方法
12.transformer在自然语言处理任务中取得巨大进展后引起了广泛关注，transformer是由注意力特征向量和mlp组成，有助于改善识别特征，抑制干扰。pct第一次将transformer引入到点云处理中，通过构建offset-attention模块能够学习点云的上下文全局特征，由于transformer的注意力矩阵运算容易消耗gpu显存，该方法并不适合较大规模的数据集。


技术实现要素：

13.为了解决上述背景技术提到的技术问题，本发明提出了注意力融合全局和局部深度特征的建筑立面语义分割方法，从三维激光点云数据中精确提取建筑外立面的部件语义信息，增强建筑立面语义表达，为建筑立面的结构部件定量分析和建筑立面三维几何重建提供语义丰富的语义信息。
14.为了实现上述技术目的，本发明的技术方案为：
15.注意力融合全局和局部深度特征的建筑立面语义分割方法，通过设计顾及方向和位置编码的局部特征编码，强化局部特征聚合，增强门窗边界点的边缘特征和立面点的局部特征；通过融入全局transformer感知模块，捕获门窗上下文全局特征，推理建筑立面门窗的几何位置结构和结构布局，从密度变化不均、含有噪声和离值点且数据缺失的建筑立面点云中正确识别出边缘特征不显著的门窗；基于注意力机制融合局部特征和全局特征。
16.进一步地，所述局部特征编码包括局部位置编码、局部方向编码和局部特征聚合；
17.所述局部位置编码过程如下：
18.给定建筑立面点云p＝{p1,
···
,pi,
···
,pn}中每个点的三维坐标，采用knn搜索算法，检索到pi点的k个邻域点集利用pi及k个邻近点，根据下式对pi进行局部位置编码：
[0019][0020]
其中，表示pi相对的位置编码，是pi点的第k个邻近点，符号表示拼接运算；
[0021]
所述局部方向编码过程如下：
[0022]
给定pi及其邻域点且各自的法向量分别为ni和在pi点定义局部坐标系uvw，并建立规则，如下式：
[0023][0024]
其中，符号
“×”
表示向量叉乘；
[0025]
ni与之间的差异用3个角度来表示，如下式所示：
[0026][0027]
其中，符号“·”表示向量点乘；
[0028]
则pi相对的方向特征编码表示如下：
[0029][0030]
所述局部特征聚合过程如下：
[0031]
在对实施了局部位置编码和局部方向编码后，需将相关位置编码和相关方向编码的结果与中间特征f
ik
拼接得到点的增强特征
[0032][0033]
得到增强特征后，将pi点的k个邻近点采用注意力池化策略，实施邻域特征点集的加权求和，聚合邻域点集中有用信息，最终pi点的聚合特征如下：
[0034][0035]
其中，是pi点的局部聚合特征，δ表示归一化函数softmax，mlp表示共享参数。
[0036]
进一步地，对于所述全局transformer感知模块，将pi投入到transformer中的三个不同的全连接层，得到逐点的特征向量qi、ki和vi，进而根据下式得到pi的全局特征
[0037][0038]
其中，γ是两个串联的全连接层。
[0039]
进一步地，在全局transformer感知模块中借助残差连接和多次transformer编码增强对立面全局几何结构特征表达，提高解析不同类型建筑立面的泛化能力。
[0040]
进一步地，基于注意力机制融合局部特征和全局特征的过程如下：
[0041]
(1)局部和全局特征生成：给定输入点云(n,d
in
)，分别从自编码器学习到建筑立面门窗的边缘几何局部特征(n,d
local
)和从使用残差连接的transformer层学习到门窗间上下文全局特征(n,d
global
)；其中，n为当前采样尺度下处理的建筑立面点的数目，d
in
、d
local
和d
global
分别为对应的特征维度；
[0042]
(2)注意力矩阵构建：将(n,d
local
)和(n,d
global
)用共享参数mlp分别特征映射到(n,64)，将两个特征向量相加构建注意力矩阵，并对注意力矩阵使用softmax函数实施归一化操作；
[0043]
(3)注意力机制的特征融合：将归一化后的注意力矩阵与局部特征矩阵(n,d
local
)实施点乘，计算融合特征向量的注意力值，将注意力值进行非线性映射，得到注意力的融合特征向量，整个融合过程如下所示：
[0044]
[0045]
其中，fi是pi的注意力机制融合特征向量，是pi的局部特征，是pi的全局特征，pi是建筑立面3d点，δ是归一化函数softmax，符号“·”表示点乘。
[0046]
进一步地，最后将融合后的特征经过两个全连接层和一个dropout层后，提取建筑立面门窗小部件，得到门窗小部件标注结果。
[0047]
采用上述技术方案带来的有益效果：
[0048]
本发明采用一种基于注意力的特征融合机制来聚合由自编码器和transformer模块分别生成的局部和全局特征，从而学习增强的门窗编码特征，以帮助解决立面分割时发生的类不平衡问题。
[0049]
在经典的自编码器神经网络结构的基础上，本发明提出了一种结合局部位置编码和局部方向编码的增强局部空间编码器。增强后的局部空间编码特征可以很容易地识别立面部件的轮廓，例如窗框。
[0050]
本发明引入transformer模块，以增强全局/上下文特征表征。针对密度不均、异常值和数据缺失的立面点云，通过利用立面门窗之间的全局特征，利用不完美的立面点云的上下文来推断感知不显著的建筑立面门窗结构部件。
附图说明
[0051]
图1为本发明的基本流程图；
[0052]
图2为本发明设计的深度学习框架afgl-net示意图；
[0053]
图3为dublin城区建筑立面标注数据集分布图；
[0054]
图4为dublin城区每块区域类别占比图；
[0055]
图5为dublin数据集相对基本配置参数下miou变化图；
[0056]
图6为ruemonge2014数据集相对基本配置参数下miou变化图；
[0057]
图7为不同占比训练集语义分割结果图；
[0058]
图8为消融实验立面分割结果图；
[0059]
图9为dublin立面分割细节图。
具体实施方式
[0060]
以下将结合附图，对本发明的技术方案进行详细说明。
[0061]
本发明提出了一种注意力融合全局和局部深度特征的建筑立面语义分割方法，如图1所示，通过设计顾及方向和位置编码的局部特征编码，强化局部特征聚合，增强门窗边界点的边缘特征和立面点的局部特征；通过融入全局transformer感知模块，捕获门窗上下文全局特征，推理建筑立面门窗的几何位置结构和结构布局，从密度变化不均、含有噪声和离值点且数据缺失的建筑立面点云中正确识别出边缘特征不显著的门窗；基于注意力机制融合局部特征和全局特征。据此，本发明设计出了一种深度学习框架afgl-net，如图2所示，该网络采用提取局部特征的自编码器和全局transformer感知模块的并行网络架构：首先把建筑立面点坐标和法向量等原始特征输入到全连接层，实现特征映射，生成非线性中间特征；然后将中间特征分别输入到自编码器和transformer层，提取3d点云几何的局部和全局特征；继而借助注意力特征融合模块，融合局部集成特征和全局transformer特征，生成高级融合特征；最后将融合特征输入到两个的全连接层和一个dropout层，获得建筑立面每
个3d点对应的语义标签。
[0062]
本实施例使用dublin城区建筑立面标注数据集和ruemonge2014建筑立面分割点云数据集评估afgl-net提取建筑立面门窗小部件的精度，并通过对比实验和鲁棒性实验实施例充分验证了afgl-net框架的有效性和鲁棒性。
[0063]
(1)数据集描述
[0064]
①
dublin城区建筑立面标注数据集
[0065]
dublin城区数据集于2015年由laefer等人采集，包含41条航线，覆盖区域约5.6km2。直升飞机平台搭载topeye system s/n 443激光雷达传感器和飞思相机，飞行高度较低约300m，激光点云的密度每平方米为250-348个点。由于飞行高度较低、密度较大，该数据集包含丰富的建筑立面点云。在该数据集的基础之上，2019年学者zolanvarid等人从该数据集中选择部分密度较高、影像覆盖度较大和建筑类型较丰富的区域，实施了人工点云语义标注，用于训练卷积神经网络。为了深入挖掘dublin城区数据点云的价值和充分训练神经网络，我们扩展了zolanvarid等学者点云语义标注的范围，对图3的b2区域开展了点云语义标注，选择该区域因为建筑密集、点云密度较大且建筑立面类型丰富。这些标注数据集一并用于本发明afgl-net网络的训练和预测建筑立面、门窗等部件。在训练时我们去除了建筑屋顶点云，仅仅将标注数据集中约3,600万个建筑立面点用于模型的训练和预测，以识别建筑立面门窗等部件。标注数据语义占比如表1所示：
[0066]
表1 dublin城区建筑立面标注数据集语义类别占比
[0067][0068]
为了便于后续实验的训练和测试，本发明对该将标注数据集划分为7块区域，见图5分别为b1～b7，其每块区域类别占比如图4所示。
[0069]
②
ruemonge2014建筑立面分割点云数据集
[0070]
ruemonge2014数据集覆盖区域沿巴黎ruemonge 700 m的街道，采用428张高分辨率的建筑立面多视角图像通过sfm/mvs算法得到立面的三角网，并生成稠密3d点云。riemenschneider等人对每张图像开展人工语义标注，然后利用图像与三角网的几何关系挑选出最适合点云标注的图像，继而将图像的标签传递到3d点云。该数据集点云语义标注分类包括墙壁、商店、门、窗户、阳台、屋顶和天空七个类别，每个点具有坐标、颜色、法向量和相对地面高度共10维特征。riemenschneider等人将该数据集分割为约50％的训练数据集和剩余约50％的测试数据集，用于深度学习测试建筑立面分割任务。
[0071]
(2)精度评价指标
[0072]
本实施例用建筑立面各类别交并比(iou)、类别平均交并比(miou)和总体分类精度(oa)三个精度指标用于评估afgl-net提取建筑立面门窗小部件的性能，其中把门窗交并比和平均交并比作为主要考虑的精度评价指标。iou即某一类别两个集合的交集和并集之比，本实施例为预测结果(prediction)与真实场景(ground truth)的交集与它们的并集之间的比值，miou则为各个类别交并比的平均值，oa衡量的是所有类别作为一个整体的分类精度。假定数据集中有k个类别，指定p
ii
表示原本为i类且正确预测为i类的点数，p
ij
表示原本为i类实际错误预测为j类的点数，p
ji
表示原本为j类实际错误预测为i类的点数，miou和
oa定义如下式所示：
[0073][0074][0075][0076]
(3)超参数设置
[0077]
为了充分挖掘afgl-net对建筑立面点云的分割潜力，需要找到适合afgl-net网络的最佳超参数。本实施例使用以下六类超参数：初始afgl-net单独处理的一个数据单元的立面点数n；立面点pi的邻域点数k；自编码器中编码器或解码器层数a以及对应特征维度b；全局transformer感知模块层数c以及对应特征维度d。
[0078]
针对dublin数据集，六类超参数中的每类超参数进行四组设置(见表2所示)，即schemes 1～4，每次改变其中一类超参数的值，其余超参数采用scheme2中预定义的标准超参数配置，六类超参数共有24种组合。本实施例采用b1～b3三个区域作为测试集，剩余区域作为训练集。图5为dublin数据集使用不同超参数得到实验结果与表2中scheme 2中预定义的标准超参数预测结果的对比。针对ruemonge2014倾斜摄影点云数据集，采用ruemonge2014数据集提供的训练集和测试集开展建筑立面语义标注实验，对每类超参数进行了三组设置(见表3所示)，不同超参数设置的实验结果与表3中scheme 2预定义的标准超参数预测结果的对比如图6所示。
[0079]
表2 dublin数据集超参数设置
[0080][0081]
表3 ruemonge2014数据集超参数设置
[0082][0083]
为兼顾建筑立面分割精度和gpu显存消耗，针对dublin数据集，afgl-net网络超参数设置为：n3＝16,384、k2＝16、a2＝4、b2＝(16-64-128-256)、c2＝2、d2＝(8-32)。ruemonge2014数据集超参数设置为：n2＝2,048、k3＝24、a1＝3、b2＝(16-64-128)、c2＝2、d1＝(4-16)。在网络训练过程中针对dublin和ruemong2014数据集，afgl-net的训练轮次epoch设为100，训练批大小batch_size设为4，训练批数量batch_number设为500，每个训练轮次输入的点云块数为2,000(batch_size
×
batch_number)，每块点数为16,384(dublin数据集)或2,048(ruemonge2014数据集)，学习率设为0.01。afgl-net软件运行环境为ubuntu 20.04、tensorflow 1.15、cuda 11.1和python 3.6；硬件运行环境为nvidia gtx 3090 24g gpu、3.00ghz intel i9-10980 xe cpu和64gb ram。
[0084]
(4)训练集的比例选择
[0085]
在确保语义分割精度的同时，为兼顾网络训练效率，本发明期待能够利用最少占比的训练数据即可有效学习建筑立面门窗等部件几何。为此本实施例逐步增加训练数据集，训练多个afgl-net网络，通过评估这些afgl-net网络在相同测试数据集上的分割精度，以确定选择训练数据集的最佳规模。
[0086]
针对dublin数据集，从中随机选择区域b2为测试数据集，通过对剩余分块数据的组合，构造不同比例的训练数据集，如表4所示构建了6种规模的训练数据集，占比从12.88％至80.74％，用于训练afgl-net网络，最终均以b2作为测试集评估立面语义分割精度。根据图7可知，随着训练样本的增加，miou也同步增加，在训练数据集占比为35.27％时出现了拐点，此时miou为68.44％，其后虽然再增加训练样本，miou仍然增加，但增幅较小(≤0.3％)，增长趋势基本达到了饱和，这说明针对dublin数据集，选择35.27％规模的训练数据基本能够充分训练网络来表征建筑立面几何特征。
[0087]
表4六种规模的dublin训练集且b2为测试集条件下afgl-net语义分割结果
[0088][0089]
针对ruemonge2014数据集，从其原有的50％训练数据集中依次划分11％、22％、30％、42％和50％，构建5种规模的训练数据集，用于训练afgl-net网络，最终以ruemonge2014中约50％的测试集评估立面语义分割精度。根据图7可知，随着训练集比例不断增大，其测试集的分割精度逐步提高，当训练数据集占比为50％时，miou达到最大值59.80％，由于训练数据集占比的限制整条蓝线未出明显的拐点，这说明利用ruemonge2014中占比约50％的训练数据训练afgl-net，此时学习并不充分。
[0090]
(5)消融实验
[0091]
本实施例设计了如表5所示的五组消融实验与afgl-net进行实验结果对比，验证afgl-net中相应模块的有效性。消融实验(a)：仅使用afgl-net中自编码器autoencoder，验证局部编码的有效性。消融实验(b)：将消融实验(a)自编码器中解码器的lse替换为共享参数mlp，验证解码器中施加lse的有效性。消融实验(c)：去除消融实验(a)中lse模块中的lde编码，验证lde编码的有效性。消融实验(d)：仅保留afgl-net中gta，验证gta学习全局上下文信息的有效性。消融实验(e)：仅保留afgl-net中autoencoder和gta，继而直接拼接autoencoder和gta各自获取的局部和全局特征，验证autoencoder和gta分别编码局部和全局特征的互补性。消融实验(f)：为本发明提出的afgl-net网络，在消融实验(e)的基础上增加了注意力特征融合模块aff，融合局部和全局特征，替代简单拼接局部和全局特征的融合策略。实验选用dublin数据集中b1～b3作为测试集，剩余区域作为训练集，图8为消融实验得到的立面分割对比结果图。
[0092]
表5 afgl-net中各模块的消融实验结果
[0093][0094]
从结果可以看出autoencoder侧重对建筑立面局部几何特征的学习，gta侧重对建筑立面门窗上下文语义的学习。表5中实验方案(a)门窗iou和miou比方案(d)分别高出
19.63％和14.13％，直接表明了autoencoder的重要性。方案(b)和(c)的miou均小于方案(a)的miou也直接证明了autoencoder中增加局部方向编码lde和在解码模块中施加lse是有效果的。lse能够对门窗边界框的形状进行有效的描述，从而得到几何形状较为规则的门窗。lde增强了门窗边界点的边缘特征，对门窗边界框的位置刻画更精确。但是应该看到仅仅采用自编码器autoencoder不易识别边缘特征不显著、密度不一的门窗，而gta能够通过门窗上下文的全局特征捕获/推理建筑立面门窗的几何位置结构，识别出这些不显著的门窗。aff特征融合通过注意力机制加权处理局部和全局特征能够更好地均衡gta所带来门窗提取commission分割错误。通过对比方案(e)和(f)门窗分割结果观察得到增加了aff特征融合后的立面噪声更少、分割结果更均质。
[0095]
(6)对比实验
[0096]
为评估afgl-net在dublin数据集上的性能，本实施例将afgl-net与当今基于逐点mlp的方法(pointnet、pointnet 、randla-net)、基于图卷积的方法(dgcnn)和基于点卷积的方法(kpconv)进行了比较，实验中训练集为b4～b7四个区域，测试集为b1～b3三个区域，超参数选用最优超参数设置，分割结果如表6和图9所示。pointnet、pointnet 和dgcnn的默认采样方法为1m
×
1m的网格分块，在训练时由于分块较小，将整个场景切割成非常小的点云块会破坏建筑立面门窗结构的完整性，训练得到的网络不能有效地学习建筑立面几何结构。另外由于测区建筑分布密度不一且高度差异较大，导致1m
×
1m的网格划分得到的建筑立面点数差异很大。上述两点导致直接采用1m
×
1m网格划分作为上述三个模型的输入，其结果预测精度过低，有失对比的公平性。为此本实施例借鉴randla-net点云分块预处理策略为pointnet、pointnet 和dgcnn网络提供输入，开展对比实验。
[0097]
表6 dublin数据集对比实验结果
[0098][0099]
根据如表6和图9的定量和定性分割结果，对比实验结论如下：
[0100]
pointnet和dgcnn容易将较大区域局部点集全部预测为门窗或者建筑立面，产生错误分割，这是因为这两种算法均未采用能够有效扩大立面点感受野的自编码器，削弱了对立面点局部特征的表达。由于pointnet 对采样点的邻域半径设置和密度较为敏感，使得该方法虽然能够探测到大部分门窗的粗略位置，但未能对建筑立面的门窗进行精确提取。
[0101]
randla-net、kpconv和afgl-net的门窗分割效果比其他方法明显具有优势(miou:63.98％～67.02％；oa:86.02％～89.72％)，说明randla-net、kpconv和afgl-net比其他三种方法具有更强大的局部特征编码能力，其中afgl-net门窗iou分别比randla-net、kpconv
高出3.42％和4.27％。randla-net将建筑立面预测为门窗的commission分割错误相对较为严重，而kpconv明显存在将门窗预测为建筑墙面的omission分割错误，afgl-net设计的局部方向编码以及在解码器中用局部空间编码替换mlp能学习到建筑立面更有效的局部几何细节，可以更好地均衡commission和omission两类分割错误，分割的结果与真值更为接近。尤其值得注意的是图9(f)afgl-net能更有效识别一系尺寸较小，密度不均的不显著的立面窗户，表明全局transformer感知模块可以学习到建筑立面的结构信息特征、窗户间的上下文全局特征，而kpconv和randla-net则难以正确识别出该区域包含的非显著门窗。但是同样应看到我们方法对区域b4～b7的训练最为耗时，需要253.95分钟，这主要是由于在自编码器中施加了更加复杂的局部空间编码和引入了刻画全局特征的transformer模块。
[0102]
(7)鲁棒性实验
[0103]
为了评估afgl-net在其他类型点云数据集的鲁棒性和泛化能力，本实施例选择倾斜摄影建筑点云立面数据集ruemonge2014开展对比实验。表7为afgl-net与逐点mlp方法(pointnet、pointnet 和randla-net)、图卷积方法(dgcnn)和点卷积方法(kpconv)针对ruemonge2014数据集的定量对比结果。
[0104]
表7与相关方法的比较结果
[0105][0106]
根据如表7定量分割结果，鲁棒性实验结论如下：
[0107]
pointnet 、randla-net和afgl-net在ruemonge2014数据集的建筑立面整体分割精度明显优于其他算法。pointnet 在ruemonge2014数据集表现较佳主要是由于ruemonge2014倾斜摄影点云分布相对均质和稠密，使得该方法能够较好地捕获建筑立面的几何细节，但由于训练样本有限，pointnet 分割精度的绝对值仍然比dublin数据集差。randla-net和afgl-net不仅使用了更强的局部空间特征编码，还采用了注意力池化策略对邻域点集加权处理，聚合得到的局部特征更加具有区分度。另外由于afgl-net引入了transformer，其能够学习建筑立面各部件间的拓扑，推理出相应语义信息，有效提升对不均衡类别的分割精度。如表7afgl-net对门分割的iou为37.01％，远高于紧接其后randla-net对该部件得到的21.75％iou的分割精度。
[0108]
pointnet、dgcnn和kpconv在分割门、窗和阳台等部件的分割精度明显低于其他算法。其中pointnet和dgcnn分割精度低可能是由于未充分考虑各部件之间几何分布的相关性，从而弱化了立面点的上下文特征。由于ruemonge2014训练样本有限且立面部件类型单
一，建筑立面部件几何部件差异较小，限制了kpconv对该数据集的编码和特征的表达能力。
[0109]
综上，本发明提出的建筑立面点云的门窗小部件分割的深度学习框架afgl-net，与当今主流深度学习框架相比afgl-net能够从大规模点云中有效识别占比过低的门窗等不均衡类别部件：譬如，afgl-net在预测dublin数据集的门窗时，其门窗iou为47.06％，比randla-net、kpconv分别提高了3.42％和4.27％；在预测ruemonge2014数据集的门窗时，其门、窗iou分别为55.31％和37.01％，比randla-net提高了4.67％和15.44％。另外由于afgl-net通过注意力机制融合了刻画立面细节的局部特征和表征上下文结构布局的全局特征，建筑立面门窗边界点的识别更加精确，同时也能够根据立面门窗上下文信息，学习建筑立面的结构布局，将边缘特征不显著的门窗从密度变化不均的建筑立面点云中正确识别。
[0110]
实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。