一种基于结构感知和点集自适应偏移的建筑物几何轮廓提取方法
本发明属于遥感影像处理与计算机视觉,具体涉及一种基于结构感知和点集自适应偏移的建筑物几何轮廓提取方法。
背景技术:
1、通过卫星影像准确获取城市建筑物的空间矢量信息对于城市规划、基础设施建设、环境监测和灾害应急管理等诸多领域具有重要意义。因此,从高分辨率遥感影像中自动提取建筑物矢量多边形轮廓一直都是摄影测量与遥感领域的重点研究方向。
2、从遥感图像中提取建筑物矢量多边形轮廓的早期研究遵循先设计特征、再判别目标的基本范式。基于对象分割的方法和基于几何特征的方法在阴影干扰或建筑物相互遮挡时,轮廓提取准确率明显下降;后续引入的传统机器学习方法在复杂城市场景中仍受限于单一特征空间的描述能力。深度学习的兴起使模型能够从大规模标注影像中直接学习层次化特征表达,在密集城市场景的边界识别和跨域泛化方面取得了一定进展。
3、然而,上述深度学习方法多输出栅格化分割掩码,与gis制图生产所要求的矢量多边形格式不兼容,从栅格掩码到矢量多边形的后处理转换会引入精度损失和拓扑错误,这一问题驱动了面向端到端直接矢量化输出的研究。现有技术通过双向序列化顶点预测、高斯顶点图预测、关键点引导的双向边界追踪以及空间认知图卷积等方法实现了端到端多边形预测。尽管如此,在实际复杂场景中仍存在诸多未解决的问题:
4、(1)在建筑物密集分布区域,相邻建筑物边缘间距极小,传统均匀采样策略引入的大量无效特征加剧了轮廓粘连与实例混淆;
5、(2)对于具有复杂几何形状的建筑物,现有transformer解码器将顶点视为无序集合,忽略了闭合多边形的拓扑结构和拐角的几何重要性,导致角点区域形状保真度不足;
6、(3)在植被覆盖与阴影遮挡条件下,现有方法多依赖于局部特征进行轮廓预测,缺乏全局上下文补偿机制,导致被遮挡区域的边界定位精度显著下降。
7、因此,本领域亟需一种新的建筑物几何轮廓提取方法,以解决现有技术在密集场景下轮廓易粘连、复杂几何拐角区域保真度不足以及遮挡干扰下边界定位精度低的问题。
技术实现思路
1、本发明是为解决现有方法在密集场景下轮廓易粘连、复杂几何拐角区域保真度不足以及遮挡干扰下边界定位精度低的问题,而提出了一种基于结构感知和点集自适应偏移的建筑物几何轮廓提取方法。
2、本发明为解决上述技术问题所采取的技术方案是:一种基于结构感知和点集自适应偏移的建筑物几何轮廓提取方法,所述方法具体包括以下步骤:
3、步骤一、分别获取遥感图像中每个建筑物实例的原始感兴趣区域特征图;
4、步骤二、将建筑物实例的原始感兴趣区域特征图经过边界感知特征增强器,获得建筑物实例的增强感兴趣区域特征;
5、所述边界感知特征增强器内包括边界引导采样模块、上下文增强边界定位模块和自适应特征融合模块;
6、步骤三、构建可变形的transformer编码器和解码器,利用可变形的transformer编码器对增强感兴趣区域特征进行全局空间编码,再将全局空间编码后的增强感兴趣区域特征输入可变形的transformer解码器,通过可变形的transformer解码器输出顶点坐标与顶点的拐角判别置信度分数;
7、步骤四、分别构建步骤三中输出的顶点坐标矩阵中每个顶点的几何特征,根据几何特征得到顶点坐标残差矩阵,并根据步骤三中输出的拐角判别置信度分数向量得到拐角判别置信度分数残差向量;
8、将顶点坐标残差矩阵叠加到最后一个解码单元预测的顶点坐标矩阵,得到最终修正后的顶点坐标矩阵;
9、将拐角判别置信度分数残差向量叠加到最后一个解码单元预测的拐角判别置信度分数向量,得到最终修正后的拐角判别置信度分数向量,将最终修正后的拐角判别置信度分数向量经sigmoid激活函数后,根据sigmoid激活函数的输出确定高置信度结构性拐角点;
10、高置信度结构性拐角点在最终修正后的顶点坐标矩阵中的坐标根据建筑物实例的候选框位置和尺寸进行仿射变换,将高置信度结构性拐角点坐标映射为原始遥感图像坐标系下的绝对像素坐标;根据各个高置信度结构性拐角点对应的绝对像素坐标形成建筑物矢量多边形轮廓。
11、进一步地,所述步骤一的具体过程为:
12、步骤一一、将resnet-50网络作为主干网络,并将遥感影像输入resnet-50网络中,分别提取出resnet-50网络中第2个、第3个、第4个和第5个残差阶段的输出特征图,将resnet-50网络中第2个残差阶段的输出特征图记为,将resnet-50网络中第3个残差阶段的输出特征图记为,将resnet-50网络中第4个残差阶段的输出特征图记为,将resnet-50网络中第5个残差阶段的输出特征图记为;
13、将特征图、、和输入特征金字塔网络,经特征金字塔网络聚合输出多尺度特征金字塔,其中,表示特征金字塔网络在基础上经自顶向下融合后输出的特征,表示特征金字塔网络在基础上经自顶向下融合后输出的特征,表示特征金字塔网络在基础上经自顶向下融合后输出的特征,表示特征金字塔网络在基础上经自顶向下融合后输出的特征;
14、步骤一二、遥感影像中每个建筑物实例均根据候选框面积从多尺度特征金字塔中自动选取对应的特征层,每个建筑物实例均从选取的特征层中截取出候选框区域对应的特征,再分别将每个建筑物实例对应的特征通过空间池化,将空间池化后的特征作为对应建筑物实例的原始感兴趣区域特征图。
15、进一步地,所述步骤二的具体过程为:
16、在边界引导采样模块内执行步骤二一至步骤二五:
17、步骤二一、将一个建筑物实例的原始感兴趣区域特征图依次经过卷积核大小为的卷积层、组归一化层和高斯误差线性单元激活函数,得到边缘先验特征;
18、步骤二二、将原始感兴趣区域特征图经线性映射得到查询特征,再将查询特征与边缘先验特征沿通道维拼接后,将拼接结果输入偏移预测网络,在偏移预测网络内,将拼接结果依次经过卷积核大小为的卷积层、卷积核大小为的深度可分离卷积层、组归一化层和高斯误差线性单元激活函数;
19、再对偏移预测网络的输出进行处理得到偏移向量;
20、步骤二三、对原始感兴趣区域特征图进行网格划分,再将各个网格点的位置坐标归一化到[-1,1]之间,利用各个网格点的归一化坐标组成三维张量;
21、并将偏移向量与中的网格点坐标对应相加,得到轮廓偏移采样点坐标;
22、步骤二四、在轮廓偏移采样点坐标位置对执行可微双线性插值采样,得到局部稀疏特征;
23、步骤二五、为局部稀疏特征中的每个采样点分别预测置信度分数,最终得到经置信度自适应门控后的局部稀疏特征:
24、 (8)
25、其中,为局部稀疏特征中的局部采样点总数;
26、在上下文增强边界定位模块内执行步骤二六至步骤二七:
27、步骤二六、将展平,展平后的特征经线性映射得到查询矩阵,经线性映射得到键矩阵和值矩阵,执行交叉注意力得到注意力特征;
28、将注意力特征经过轮廓分割头,在轮廓分割头内,注意力特征依次经过卷积核大小为3×3的卷积层、组归一化层、relu激活函数层、dropout层和卷积核大小为1×1的卷积层,通过轮廓分割头生成轮廓置信度图,再根据轮廓置信度图和注意力特征计算全局密集特征;
29、步骤二七、对轮廓置信度图执行可学习温度软膨胀构建轮廓缓冲区:
30、 (11)
31、其中,为温度参数,表示最大池化层;
32、根据轮廓缓冲区对全局密集特征进行轮廓区域增强,得到过滤密集特征;
33、在自适应特征融合模块内执行步骤二八:
34、步骤二八、将过滤密集特征在轮廓偏移采样点坐标位置采样后,对采样结果与特征分别进行上采样,再将两个上采样结果沿通道维拼接,拼接结果再输入到注意力融合网络,在注意力融合网络内,拼接结果依次经过卷积核大小为1×1的卷积层、组归一化层、relu激活函数层、卷积核大小为1×1的卷积层和sigmoid激活函数层,得到注意力融合网络输出的融合特征,再根据与融合特征获得增强感兴趣区域特征:
35、 (13)
36、其中,为残差缩放因子,为残差增强系数。
37、进一步地,所述对偏移预测网络的输出进行处理得到偏移向量,具体为:
38、 (3)
39、其中,表示偏移预测网络,表示查询特征,表示边缘先验特征,为通道维拼接操作,为双曲正切函数,为降采样处理,为缩放因子,操作将偏移限制在[−0.7,0.7]范围内。
40、进一步地,所述将偏移向量与中的网格点坐标对应相加,得到轮廓偏移采样点坐标;具体为:
41、 (5)。
42、进一步地,所述根据轮廓置信度图和注意力特征计算全局密集特征,具体为:
43、 (10)
44、其中,为逐元素乘法,表示将轮廓置信度图映射为(0,1)概率图。
45、进一步地,所述根据轮廓缓冲区对全局密集特征进行轮廓区域增强,得到过滤密集特征;具体为:
46、 (12)。
47、进一步地,所述步骤三的具体过程为:
48、步骤三一、将增强感兴趣区域特征展平为增强特征,对增强特征进行二维正弦余弦位置编码后,将二维正弦余弦位置编码后的特征输入可变形的transformer编码器,通过可变形的transformer编码器输出上下文特征;
49、步骤三二、初始化顶点坐标矩阵和拐角判别置信度分数向量;
50、步骤三三、初始化解码单元索引;
51、步骤三四、在可变形的transformer解码器的第个解码单元内,对第个解码单元输出的顶点坐标矩阵执行自注意力计算,将自注意力计算结果与上下文特征进行交叉注意力计算,交叉注意力计算结果再经过前馈网络运算,得到第个解码单元输出的隐藏语义特征,将顶点坐标矩阵更新为:
52、 (14)
53、其中, 为sigmoid逆函数,为第个解码单元的坐标预测头,为第个解码单元输出的顶点坐标矩阵;
54、第个解码单元输出的拐角判别置信度分数向量为:
55、 (15)
56、其中,为第个解码单元输出的拐角判别置信度分数向量,为第个解码单元的拐角判别头,为第个解码单元输出的拐角判别置信度分数向量;
57、步骤三五、若,则对第个解码单元输出的顶点坐标矩阵和拐角判别置信度分数向量执行步骤四,否则,若,则令,返回执行步骤三四。
58、进一步地,所述步骤四的具体过程为:
59、将transformer解码器内最后一个解码单元输出的30个顶点坐标视为闭合多边形的有序顶点序列,计算每个顶点的5维几何特征,定义顶点的入边、顶点的出边;
60、5维几何特征分别为顶点夹角的余弦值、顶点夹角的正弦值、入边的归一化长度、出边的归一化长度以及边长比的对数;
61、(1)顶点夹角的余弦值
62、 (16)
63、其中,和分别为入边和出边的长度,表示入边的反方向;
64、(2)顶点夹角的正弦值
65、 (17)
66、(3)顶点入边的归一化长度
67、 (18)
68、其中,为全部顶点顺次连接形成的多边形的所有边长的均值,为顶点入边的归一化长度;
69、(4)顶点出边的归一化长度
70、 (19)
71、其中,为顶点出边的归一化长度;
72、(5)顶点边长比的对数
73、 (20)
74、其中,表示顶点入边长度与顶点出边长度的比值的对数值;
75、将5维几何特征依次经过两层mlp编码,得到顶点的几何特征:
76、 (21)
77、其中,表示输入维度为a、输出维度为b的线性变换,为激活函数,为层归一化;
78、将顶点的几何特征与顶点在最后一个解码单元输出的隐藏语义沿特征维拼接后,再对拼接结果进行处理得到几何语义特征:
79、 (22)
80、其中,为transformer解码器内最后一个解码单元对第个顶点的隐藏语义,表示特征维拼接;
81、利用30个顶点的几何语义特征组成几何语义特征矩阵,将几何语义特征矩阵依次经过2个自注意力层和顶点优化回归头,通过顶点优化回归头输出顶点坐标残差矩阵;
82、将最后一个解码单元输出的拐角判别置信度分数向量经过拐角判别分类头,通过拐角判别分类头输出拐角判别置信度分数残差向量;
83、将残差叠加到最后一个解码单元预测的顶点坐标矩阵,将残差叠加到最后一个解码单元预测的拐角判别置信度分数向量:
84、 (23)
85、 (24)
86、其中,为顶点绝对像素坐标矩阵,为修正后的拐角判别置信度分数向量;
87、将最终修正后的拐角判别置信度分数向量中的各个元素经sigmoid激活函数后,将大于0.3的输出值对应的顶点作为高置信度结构性拐角点;
88、高置信度结构性拐角点在最终修正后的顶点坐标矩阵中的坐标根据建筑物实例的候选框位置和尺寸进行仿射变换,将高置信度结构性拐角点坐标映射为原始遥感图像坐标系下的绝对像素坐标;根据各个高置信度结构性拐角点对应的绝对像素坐标形成建筑物矢量多边形轮廓。
89、更进一步地,边界感知特征增强器、可变形的transformer编码器和解码器联合训练,训练过程中采用的损失函数包括相邻解码单元间的一致性损失、第1至第5解码单元的拐角判别损失、第1至第5解码单元的坐标回归损失;
90、所述相邻解码单元间的一致性损失为:
91、 (25)
92、其中,为解码单元总数;将修正后的拐角判别置信度分数向量中的各个值分别经sigmoid激活函数后,为sigmoid激活函数输出的全部大于0.3的值所对应的顶点组成的集合,为集合中顶点个数,为第个解码单元对顶点的坐标预测结果,为第个解码单元对顶点的坐标预测结果,表示对坐标预测结果的分量和分量分别计算huber损失后,再求和得到的总huber损失;为常数。
93、本发明的有益效果是:
94、(1)有效解决轮廓粘连与遮挡下的边界缺失问题:本发明提出的边界感知特征增强器,通过可学习偏移量驱动采样点向建筑轮廓区域自适应聚焦,从源头上提高了有效轮廓特征的占比;并结合交叉注意力机制聚合全局轮廓上下文,使被遮挡区域也能从远处可见的轮廓段获取边界线索,从而在植被遮挡与密集建筑场景下均能提取到高质量的边界特征。
95、(2)增强网络对多尺度建筑物的逐层精化能力:本发明提出的渐进式层级监督策略,对transformer解码器中每个解码单元的输出独立施加监督并引入相邻解码单元间的一致性约束,使浅层到深层形成由粗到精的递进式优化,提高了模型的收敛速度和对不同尺度建筑物的适应性。
96、(3)显著提升复杂几何形状建筑物的角点定位精度和形状保真度:本发明提出的几何感知层级transformer解码器,将多边形几何结构约束显式注入解码流程,利用多边形结构先验约束顶点预测;同时利用拐角敏感平衡机制将梯度权重与顶点的几何贡献度精确对齐,使拐角获得与其几何重要性相匹配的训练信号,大幅改善了复杂形状建筑拐角区域的轮廓保真度。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com