一种面向公路养护的智能巡检数据处理方法及系统与流程
本发明涉及公路巡检数据处理,尤其涉及一种面向公路养护的智能巡检数据处理方法及系统。
背景技术:
1、近年来,我国公路路网规模持续扩大,公路养护作为保障交通通行安全与效率的核心环节,其智能化升级已成为行业发展必然趋势,传统人工巡检模式存在效率低下、主观性强、危险系数高的固有缺陷,难以适配大规模、高频次的公路养护需求,因此基于无人机、计算机视觉的智能巡检技术应运而生,其中,巡检数据处理是智能巡检系统的核心支撑,其性能直接决定缺陷识别的精准度与时效性,对提升公路养护决策科学性、降低养护成本具有重要现实意义。
2、然而,现有公路巡检数据处理技术在特征提取环节存在明显短板,传统骨干网络缺乏对路面复杂场景的针对性优化,未引入有效的注意力机制,难以精准聚焦路面缺陷区域,同时多尺度特征融合策略较为简单,导致浅层高分辨率特征易丢失细节信息、深层特征缺乏充足的上下文关联,无法充分适配路面缺陷大小差异大、形态不规则的特点,现有技术的检测头设计同样存在优化不足问题,传统检测头采用固定锚框匹配策略,未充分考虑路面缺陷的实际分布特性,易出现小尺寸缺陷锚框匹配不准确、边界框回归精度低的情况,且低置信度噪声过滤机制不完善,常导致误检、漏检问题频发,这些不足使得现有数据处理技术难以满足公路养护对巡检结果的高精度、高可靠性要求,制约了智能巡检技术在实际养护工作中的规模化落地,亟需通过针对性的技术创新突破上述瓶颈。
技术实现思路
1、本发明解决的技术问题是:现有公路巡检数据处理技术在特征提取环节存在明显短板,传统骨干网络缺乏对路面复杂场景的针对性优化,未引入有效的注意力机制,难以精准聚焦路面缺陷区域,同时多尺度特征融合策略较为简单,导致浅层高分辨率特征易丢失细节信息、深层特征缺乏充足的上下文关联,无法充分适配路面缺陷大小差异大、形态不规则的特点,现有技术的检测头设计同样存在优化不足问题,传统检测头采用固定锚框匹配策略,未充分考虑路面缺陷的实际分布特性,易出现小尺寸缺陷锚框匹配不准确、边界框回归精度低的情况,且低置信度噪声过滤机制不完善,常导致误检、漏检问题频发,这些不足使得现有数据处理技术难以满足公路养护对巡检结果的高精度、高可靠性要求,制约了智能巡检技术在实际养护工作中的规模化落地,亟需通过针对性的技术创新突破上述瓶颈。
2、为解决上述技术问题,本发明提供如下技术方案:一种面向公路养护的智能巡检数据处理方法,包括以下步骤,
3、步骤s1,基于mobilenetv3架构构建骨干网络,骨干网络包括浅层特征提取模块、中层特征提取模块和深层特征提取模块;
4、通过浅层特征提取模块对路面图像数据进行处理,得到第一特征图,通过嵌入ca注意力模块的中层特征提取模块对第一特征图进行处理,得到第二特征图,通过嵌入rfb-s模块的深层特征提取模块对第二特征图进行处理,得到第三特征图;
5、步骤s2,对第一特征图、第二特征图和第三特征图进行处理,得到细节增强特征图、第二统一特征图和第三统一特征图;
6、步骤s3,将细节增强特征图、第二统一特征图和第三统一特征图输入至atss策略优化后的ssd检测头进行处理,得到路面缺陷结构化预测结果。
7、作为本发明所述的面向公路养护的智能巡检数据处理方法的一种优选方案,其中,通过无人机搭载的高清摄像机采集路面图像数据;
8、步骤s1包括步骤s101、步骤s102、步骤s103和步骤s104;
9、步骤s101,通过浅层特征提取模块对所述路面图像数据进行特征提取,输出高分辨率特征图,记为第一特征图。
10、作为本发明所述的面向公路养护的智能巡检数据处理方法的一种优选方案,其中,步骤s102,通过嵌入ca注意力模块的中层特征提取模块对第一特征图进行处理,得到第二特征图,具体包括,通过中层特征提取模块中mobilenetv3瓶颈块的1×1卷积降维层对第一特征图进行处理,得到中层降维特征图;
11、通过所述瓶颈块的3×3深度卷积语义深化层对中层降维特征图进行处理,得到中层语义特征图;
12、通过所述瓶颈块的1×1卷积升维层对中层语义特征图进行处理,得到中层升维特征图;
13、通过ca注意力模块对中层升维特征图执行坐标注意力操作,具体包括,在所述中层升维特征图的高度坐标上执行一维全局平均池化,生成一个负载宽度方向全局信息的宽度特征向量;
14、在所述中层升维特征图的宽度坐标上执行一维全局平均池化,生成一个负载高度方向全局信息的高度特征向量;
15、将所述高度特征向量和宽度特征向量在特征维度上进行拼接,形成一个联合特征描述符;
16、使用一个1×1卷积层对所述联合特征描述符进行变换,得到变换后的联合特征描述符,并将通道维度降低至原输入通道数的1/r得到降维后的联合特征描述符;
17、其中,r表示预设的通道缩减因子;
18、将所述降维后的联合特征描述符通过非线性激活函数处理,得到激活后的联合特征描述符。
19、作为本发明所述的面向公路养护的智能巡检数据处理方法的一种优选方案,其中,步骤s103,将激活后的联合特征描述符在空间维度上拆分为高度方向特征向量和宽度方向特征向量,分别对高度方向特征向量和宽度方向特征向量通过独立的1×1卷积层和sigmoid激活函数依次进行处理,生成对应的高度方向注意力权重图与宽度方向注意力权重图;
20、将所述中层升维特征图、高度方向注意力权重图与宽度方向注意力权重图,通过逐元素相乘进行特征增强,得到特征增强图;
21、对特征增强图通过瓶颈块的残差连接融合处理层进行处理,得到第二特征图;
22、逐元素相乘进行特征增强的表达式为;
23、;
24、其中,c表示中层升维特征图的通道索引,表示中层升维特征图的空间位置坐标,i表示中层升维特征图的行,j表示中层升维特征图的列,表示中层升维特征图在通道c、空间位置处的特征值,表示中层升维特征图在通道c、空间位置处的特征值,表示对应位置的高度方向注意力权重,具体为,针对中层升维特征图第i行全局信息生成的权重,表示对应位置的宽度方向注意力权重,具体为,针对中层升维特征图第j列全局信息生成的权重。
25、作为本发明所述的面向公路养护的智能巡检数据处理方法的一种优选方案,其中,步骤s104,通过嵌入rfb-s模块的深层特征提取模块对第二特征图进行处理,得到第三特征图,具体包括,对第二特征图通过深层特征提取模块中瓶颈块的1×1卷积降维层进行处理,得到深层降维特征图;
26、对深层降维特征图通过深层特征提取模块中瓶颈块的3×3深度卷积语义深化层进行处理,得到深层语义特征图。
27、作为本发明所述的面向公路养护的智能巡检数据处理方法的一种优选方案,其中,对深层语义特征图通过rfb-s模块通过并行o个具有不同膨胀率的3×3卷积分支进行处理,输出rfb-s增强特征图,表达式为;
28、;
29、其中,表示每个卷积分支输出的rfb-s增强特征图的尺寸,表示卷积分支的输入的深层语义特征图的尺寸,表示填充,表示卷积核大小,表示膨胀率,表示步长;
30、对rfb-s增强特征图通过瓶颈块的残差融合处理层进行处理,得到第三特征图。
31、作为本发明所述的面向公路养护的智能巡检数据处理方法的一种优选方案,其中,步骤s2,对第一特征图、第二特征图和第三特征图进行处理,得到细节增强特征图、第二统一特征图和第三统一特征图;
32、步骤s2包括步骤s201和步骤s202;
33、步骤s201,通过1×1卷积对第一特征图、第二特征图和第三特征图进行通道对齐处理,得到第一对齐特征图、第二对齐特征图和第三对齐特征图;
34、对第二对齐特征图和第三对齐特征图进行上采样处理,得到第二上采样特征图和第三上采样特征图;
35、将第二上采样特征图和第三上采样特征图的空间分辨率与第一对齐特征图进行统一,得到第二统一特征图和第三统一特征图;
36、步骤s202,对第一对齐特征图、第二统一特征图和第三统一特征图进行加权融合,生成细节增强特征图;
37、所述加权融合的表达式为;
38、;
39、其中,表示第一对齐特征图,表示第二统一特征图,表示第三统一特征图,表示细节增强特征图,表示第一对齐特征图的权重,表示第二统一特征图的权重,表示第三统一特征图的权重,且++=1。
40、作为本发明所述的面向公路养护的智能巡检数据处理方法的一种优选方案,其中,步骤s3,将所述细节增强特征图、所述第二统一特征图和所述第三统一特征图输入至atss策略优化后的ssd检测头进行处理,得到路面缺陷结构化预测结果;
41、步骤s3包括步骤s301和步骤s302;
42、步骤s301,将所述细节增强特征图、所述第二统一特征图和第三统一特征图,通过所述检测头的分类分支进行处理,输出每个预设锚框的类别置信度向量;
43、将所述细节增强特征图、第二统一特征图和第三统一特征图,通过所述检测头的回归分支进行处理,输出每个预设锚框的边界框偏移量向量。
44、作为本发明所述的面向公路养护的智能巡检数据处理方法的一种优选方案,其中,步骤s302,对每个预设锚框的类别置信度向量及边界框偏移量向量进行解码与筛选,输出路面缺陷结构化预测结果;
45、所述解码通过ssd标准解码公式进行解码,利用回归分支输出的偏移量向量,结合锚框的预设位置,计算出候选预测框的精确坐标;
46、所述筛选包括,根据分类分支输出的置信度向量,得到每个预设锚框的缺陷类别及置信度分数,并过滤掉低置信度锚框;
47、所述路面缺陷结构化预测结果包括缺陷类别、边界框位置坐标及置信度。
48、一种面向公路养护的智能巡检数据处理系统,其中,包括构建模块、处理模块和输出模块;
49、构建模块,基于mobilenetv3架构构建骨干网络,骨干网络包括浅层特征提取模块、中层特征提取模块和深层特征提取模块;
50、通过浅层特征提取模块对路面图像数据进行处理,得到第一特征图,通过嵌入ca注意力模块的中层特征提取模块对第一特征图进行处理,得到第二特征图,通过嵌入rfb-s模块的深层特征提取模块对第二特征图进行处理,得到第三特征图;
51、处理模块,对第一特征图、第二特征图和第三特征图进行处理,得到细节增强特征图、第二统一特征图和第三统一特征图;
52、输出模块,将细节增强特征图、第二统一特征图和第三统一特征图输入至atss策略优化后的ssd检测头进行处理,得到路面缺陷结构化预测结果。
53、本发明的有益效果:通过融入ca注意力模块与rfb-s模块的mobilenetv3骨干网络实现精准多尺度特征提取,解决现有技术中骨干网络缺乏针对性优化、未融入有效注意力机制导致无法精准聚焦路面缺陷区域的不足,同时结合加性融合策略强化深浅层特征互补,弥补传统多尺度特征融合策略简单、难以实现浅层高分辨率细节信息与深层上下文信息充分互补的缺陷,搭配atss策略优化的检测头提升锚框匹配合理性与边界框回归精度,改善传统检测头固定锚框匹配策略难以适配路面缺陷大小差异大、形态不规则特点而出现的漏检、误检及边界框回归精度低的问题,不仅显著提升了路面缺陷识别的精准度与鲁棒性,还保证了数据处理的高效性,为公路养护提供了更可靠的结构化巡检结果,助力养护决策的科学性与及时性,进一步推动智能巡检技术在公路养护领域的规模化落地。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com