基于结构先验注意力融合的桥梁病害实例分割方法及系统与流程
本发明涉及桥梁智能巡检,具体涉及基于结构先验注意力融合的桥梁病害实例分割方法及系统。
背景技术:
1、随着桥梁运维管理对病害检测效率与精度要求的不断提升,基于图像的智能巡检技术已逐步替代传统人工判读方式,成为桥梁病害排查的主流手段。现有技术中,基于深度学习的实例分割模型已被应用于桥梁裂缝、露筋、锈蚀、剥落等病害的识别,可输出病害的类别与像素级分割结果;现有方案包括人工判读、传统图像处理、目标检测模型和实例分割模型四类。人工判读效率低且主观性强;目标检测只能输出矩形框,无法提供像素级边界;传统图像处理依赖阈值、边缘和颜色规则,复杂背景下鲁棒性不足;纯深度实例分割模型主要依赖训练数据学习桥梁病害形态,缺少明确的工程物理先验约束,为优化复杂场景下的识别效果,部分方案尝试引入桥梁病害的结构先验信息辅助网络特征学习。
2、但在实际应用中,现有桥梁病害实例分割方案对结构先验的利用方式存在明显缺陷:结构先验要么以固定硬规则的形式直接参与病害判定,易将阴影、水渍、施工缝等背景干扰作为有效先验传入,引入大量噪声;要么仅作为额外通道简单拼接至图像输入端,先验信息无法与深度特征实现有效融合,网络难以真正利用先验增强病害特征表达,从而导致复杂桥梁场景下细小病害召回率不足、分割边界质量较差,无法同时兼顾病害识别的鲁棒性、像素级分割精度、工程量化需求与端侧推理开销控制。
技术实现思路
1、针对现有技术存在的不足,本发明提出基于结构先验注意力融合的桥梁病害实例分割方法及系统,用于解决上述技术问题。
2、第一方面,提供了基于结构先验注意力融合的桥梁病害实例分割方法,包括:
3、获取桥梁表面图像并进行预处理,得到标准输入图像;
4、对所述标准输入图像进行桥梁病害结构先验计算,生成多通道结构先验张量及表征各像素先验可信程度的可靠度图;
5、提取所述标准输入图像的原图多尺度特征,并基于所述可靠度图对所述多通道结构先验张量进行门控编码,得到结构先验融合特征;
6、将所述原图多尺度特征与所述结构先验融合特征进行结构一致性注意力残差融合,得到融合后多尺度特征;
7、将所述融合后多尺度特征输入实例分割头进行处理,得到各病害实例的像素级分割结果。
8、具体地,本发明区别于现有同类桥梁病害分割方案,核心差异体现在先验利用方式、特征融合机制与输出价值三个层面:相较于仅输出矩形检测框的目标检测方案、依赖固定阈值规则的传统图像处理方案,本方案可输出像素级分割掩膜、边界质量评分与工程量化指标,直接支撑病害长度、面积测算与风险等级评估;相较于缺少明确工程物理先验约束的纯深度分割网络,本方案将桥梁病害形态先验、像素级可靠度与先验冲突抑制机制融入多尺度特征学习,提升了复杂背景下的识别鲁棒性与结果可解释性;相较于仅将先验简单拼接至图像输入端的方案,本方案通过可靠度门控完成先验编码,再在多尺度特征层以结构一致性注意力实现显式特征调制,既保障先验有效落地,也避免错误先验干扰原图语义;相较于通用自学习注意力模块与通用实例分割头,本方案的注意力受工程先验与语义冲突共同约束,分割掩膜由病害形态约束的动态原型生成,各模块间存在逐级约束的数据依赖关系,并非独立算法模块的简单堆叠。
9、进一步的,获取桥梁表面图像并进行预处理,得到标准输入图像,包括:
10、对所述桥梁表面图像依次执行尺寸归一化、去噪、亮度均衡及颜色校正处理,得到标准输入图像。
11、进一步的,对所述标准输入图像进行桥梁病害结构先验计算,生成多通道结构先验张量及表征各像素先验可信程度的可靠度图,包括:
12、对所述标准输入图像计算局部暗细响应、方向一致响应、成对边缘响应、颜色偏离响应、纹理破碎响应及边界闭合响应,得到基础响应集合;
13、根据各类桥梁病害对应的工程形态约束,对所述基础响应集合进行加权组合,生成包括至少两类病害先验的多通道结构先验张量;
14、结合候选响应强度、形态约束满足度、邻域一致度、背景干扰抑制项及类别互斥项,计算所述多通道结构先验张量中各通道对应的像素级可靠度,拼接得到多通道可靠度图。
15、进一步的,提取所述标准输入图像的原图多尺度特征,并基于所述可靠度图对所述多通道结构先验张量进行门控编码,得到结构先验融合特征,包括:
16、将所述多通道结构先验张量与所述可靠度图按通道拼接,经通道整合与邻域聚合处理得到局部结构响应;
17、将所述可靠度图缩放至对应特征尺度,生成空间门控权重;
18、采用所述空间门控权重对所述局部结构响应执行逐元素调制,得到多尺度门控先验编码特征;
19、对所述多尺度门控先验编码特征执行空间对齐与通道投影,得到结构先验融合特征。
20、进一步的,将所述原图多尺度特征与所述结构先验融合特征进行结构一致性注意力残差融合,得到融合后多尺度特征,包括:
21、对所述结构先验融合特征与所述原图多尺度特征执行通道拼接与逐元素乘积运算,生成空间注意力图;
22、对所述结构先验融合特征执行全局池化与通道映射处理,生成通道选择向量;
23、对所述原图多尺度特征与所述结构先验融合特征执行特征差值运算,生成先验冲突抑制项;
24、以所述原图多尺度特征为残差基底,结合所述空间注意力图、通道选择向量及先验冲突抑制项执行特征调制,经通道重整后得到融合后多尺度特征。
25、进一步的,将所述融合后多尺度特征输入实例分割头进行处理,得到各病害实例的像素级分割结果,包括:
26、对所述融合后多尺度特征进行特征编码与原型生成处理,得到多组病害掩膜原型与各候选实例的特征向量;
27、对所述候选实例的特征向量进行信息整合,得到实例描述向量;其中,所述实例描述向量包括类别嵌入、位置嵌入、特征池化向量、先验可靠度统计量以及病害形态描述量,所述病害形态描述量包括细长比、骨架连续度、边界闭合度中的至少一种;
28、对所述实例描述向量进行权重映射处理,得到各候选实例对应的动态原型组合权重;
29、根据所述动态原型组合权重对多组所述病害掩膜原型进行组合计算,得到各病害实例的病害类别、像素级掩膜以及对应分类概率、掩膜响应强度。
30、进一步的,得到各病害实例的像素级掩膜后,还包括:
31、结合对应类别结构先验的边界匹配度与先验可靠度均值,计算各病害实例的边界质量评分;
32、结合像素级掩膜与对应类别结构先验的区域匹配度与先验可靠度均值,计算各病害实例的先验一致性评分;
33、结合分类概率、掩膜响应强度与先验可靠度均值,计算各病害实例的综合置信度。
34、进一步的,得到各病害实例的像素级掩膜后,还包括:
35、对所述像素级掩膜执行连通域分析、孔洞填充、边界平滑与病害形态校验,得到精修后实例掩膜;
36、基于所述精修后实例掩膜计算病害量化指标,其中,所述病害量化指标包括面积、长度、平均宽度、最大宽度以及边界完整度;
37、结合所述病害类别、病害量化指标、边界质量评分及先验一致性评分进行风险分级,生成结构化巡检结果。
38、第二方面,提供了基于结构先验注意力融合的桥梁病害实例分割系统,基于前文任一项所述的基于结构先验注意力融合的桥梁病害实例分割系统,包括:
39、图像采集模块,用于获取桥梁表面图像并进行预处理,得到标准输入图像;
40、结构先验生成模块,用于对所述标准输入图像进行桥梁病害结构先验计算,生成多通道结构先验张量及表征各像素先验可信程度的可靠度图;
41、双分支特征提取模块,用于提取所述标准输入图像的原图多尺度特征,并基于所述可靠度图对所述多通道结构先验张量进行门控编码,得到结构先验融合特征;
42、注意力融合模块,用于将所述原图多尺度特征与所述结构先验融合特征进行结构一致性注意力残差融合,得到融合后多尺度特征;
43、实例分割模块,用于将所述融合后多尺度特征输入实例分割头进行处理,得到各病害实例的像素级分割结果。
44、进一步的,还包括结果量化与报告生成模块,用于对像素级分割结果执行精修、工程量化与风险分级,生成病害台账与结构化巡检报告,并输出至对应终端或养护系统。
45、采用上述技术方案的发明,具有如下优点:
46、1、本发明通过针对桥梁病害形态设计的多类基础响应与工程形态约束,生成裂缝、露筋、锈蚀、剥落等多通道结构先验张量,可有效强化低对比裂缝、遮挡露筋、剥落破碎边界的候选特征,提升疑难病害的召回能力;同步生成的像素级可靠度图从候选响应强度、形态约束满足度、背景干扰抑制等多维度校准先验可信程度,从上降低阴影、水渍、施工缝等干扰区域的先验影响,进而避免无效噪声传入后续网络。
47、2、本发明采用可靠度门控的先验编码方式,结合尺度对齐与通道投影生成与原图特征匹配的结构先验融合特征,再通过空间注意力、通道选择与先验冲突抑制相结合的残差融合机制,在可靠先验区域针对性增强原图的病害特征表达,在先验与原图语义不一致的区域自动降低先验调制强度。
48、3、本发明采用融入病害形态描述量与先验可靠度统计量的动态原型掩膜生成方式,使不同形态病害匹配适配的掩膜原型组合,缓解了细小裂缝断裂、不规则剥落边界粗糙、锈蚀区域碎片化的问题;同时基于预测掩膜与对应类别结构先验的匹配关系,计算边界质量评分与先验一致性评分,可为分割结果提供可解释的质量量化指标,便于后续结果复核与筛选。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com