一种基于轻量化深度学习的路面损坏检测系统及方法

本发明提供一种基于轻量化深度学习的路面损坏检测系统及方法，属于路面损坏检测。

背景技术：

1、随着全球交通基础设施的快速发展，道路作为重要的交通载体承担着巨大的交通负荷。在长期荷载、气候变化与自然老化等因素作用下，路面常出现纵向裂缝、横向裂缝、鳄鱼裂缝、坑洼等多种类型的损坏。

2、这些缺陷不仅严重影响交通安全，还显著降低了居民的出行体验，增加了道路维护成本。传统的路面损坏检测主要依靠人工检查，这种方法不仅效率低下、成本高昂，而且在复杂道路环境和恶劣天气条件下存在安全风险。因此，建立高效、准确的自动化路面损坏检测系统对于确保交通安全、延长道路使用寿命和提高道路维护效率具有重要意义。

3、早期的路面损坏检测主要基于传统的图像处理和机器学习方法，这些方法通常采用边缘检测、阈值分割、区域增长等图像处理技术来识别路面缺陷，传统机器学习方法如支持向量机(svm)、随机森林、朴素贝叶斯等也被广泛应用于路面损坏分类任务，然而这些传统方法在处理复杂背景和多样化损坏模式时表现不佳，依赖人工设计特征，且对复杂背景、光照变化与噪声敏感，难以满足实际应用对精度与鲁棒性的要求；同时，现有方法多为通用目标检测算法的简单迁移，未能针对路面损伤的多尺度性、低对比度等特殊要求进行定制化设计。

4、目前也有采用基于卷积神经网络与单阶段目标检测算法（如yolo系列）对路面损坏进行检测，但现有深度学习模型参数量庞大、计算复杂度高，难以在资源受限的移动设备和边缘设备上实现实时检测；此外，将yolo系列算法应用在路面损坏检测时，单一感受野设计导致多尺度目标检测性能失衡，小卷积核难以捕获细微裂缝，大卷积核又引入冗余背景噪声；采用简单的拼接或相加融合方式缺乏对特征重要性的区分能力，使得裂缝边缘等关键特征容易被背景噪声淹没，且浅层细节特征与深层语义特征难以有效对齐；同时标准卷积检测头参数冗余严重，其参数量占据全网络40%以上，而简单的压缩方法又不可避免地牺牲检测精度，导致检测误差大。

5、综上，目前缺少一种将检测算法与检测系统的硬件结构与模块化设计以及报警与信号输出相结合的一体化方案，以满足道路养护现场对检测-报警-上报的需求。

技术实现思路

1、本发明为了解决背景技术中存在的技术问题，采用的技术方案为：提供一种基于轻量化深度学习的路面损坏检测系统，包括壳体，所述壳体中固定设置有印刷电路板，在印刷电路板上设置有主控与运算模块、图像采集接口电路、存储电路、通信接口电路、电源模块、报警与显示输出电路；

2、所述主控与运算模块内置有msrf-yolo轻量化路面损坏检测模型，在msrf-yolo轻量化路面损坏检测模型中设置有多尺度重参数化特征提取模块、注意力引导多层次融合网络、轻量化自适应检测头；

3、所述主控与运算模块通过导线分别与图像采集接口电路、存储电路、通信接口电路、报警与显示输出电路相连，所述电源模块的输出端分别与主控与运算模块的供电端、图像采集接口电路的供电端、存储电路的供电端、通信接口电路的供电端、报警与显示输出电路的供电端相连。

4、一种基于轻量化深度学习的路面损坏检测系统进行检测的方法，包括如下的检测步骤：

5、步骤1：检测系统进行上电自检，自检完毕后进入待检测状态；

6、步骤2：由图像采集接口电路采集一帧路面图像，并将采集的图像数据发送至主控与运算模块进行处理；

7、步骤3：主控与运算模块对采集的图像进行缩放与归一化的预处理；

8、步骤4：主控与运算模块对预处理后的图像通过msrf-yolo轻量化路面损坏检测模型执行前向推理与nms后处理，输出损伤检测框、类别及置信度；

9、步骤5：主控与运算模块判断该帧路面图像是否存在置信度高于设定阈值的损伤目标：

10、若存在，则判定存在路面有效损伤，由主控与运算模块驱动报警与显示输出电路发出报警信号，并将该帧路面图像的检测结果经通信接口电路进行数据上传；

11、若不存在，不触发报警，选择通过通信接口电路上传无损伤状态数据，或通过存储电路仅记录；

12、步骤6：然后控制图像采集接口电路继续采集下一帧路面图像，重复步骤2至步骤5实现连续检测。

13、所述步骤1中检测系统进行上电自检的具体方法为：

14、控制电源模块中的电源管理电路输出各电压，启动检测系统；

15、控制主控与运算模块复位并启动；

16、控制存储电路读写自检；

17、控制图像采集接口电路进行设备枚举；

18、控制通信接口电路进行注册与网络附着；

19、控制报警与显示输出电路进行信号输出测试；

20、控制主控与运算模块加载msrf-yolo轻量化路面损坏检测模型，执行dummy虚拟推理，判断自检是否通过：

21、是，则控制检测系统进入就绪状态，等待接收图像与检测任务；

22、否，则控制检测系统上报故障码，禁止进入图像检测阶段。

23、所述步骤4中对预处理后的图像通过msrf-yolo轻量化路面损坏检测模型执行前向推理具体包括：

24、采用多尺度重参数化特征提取模块对数据进行处理；

25、采用注意力引导多层次融合网络对数据进行处理；

26、采用轻量化自适应检测头对数据进行处理。

27、采用多尺度重参数化特征提取模块对数据进行处理的具体方法为：

28、多尺度重参数化特征提取模块采用分阶段特征处理策略，首先通过1×1卷积将输入特征图分割为两个并行分支，然后串联的重参数化跨阶段部分模块rcspm对特征进行深度提取和精炼生成；

29、所述重参数化跨阶段部分模块rcspm采用双分支并行处理策略，其中一个分支通过在线重参数化架构ora进行深度特征提取，另一分支则保持原始特征的直接传递，最后通过特征拼接和降维操作完成信息融合，整个过程的表达式为：

30、（1）；

31、其中，和分别表示两个并行分支的初始特征变换，代表ora，为最终的特征融合操作，为进入和的公共输入特征，为对两路特征拼接融合后的输出特征；

32、所述在线重参数化架构ora采用两阶段重参数化策略，包括块线性化和块压缩两个阶段，其中：

33、在块线性化阶段，orepa将包含卷积conv、批归一化bn、池化pooling的多种组件的原型块转换为线性化块，表达式为：

34、（2）；

35、其中，表示线性化后的特征变换函数，为第个分支的线性变换算子，为各分支的卷积权重，表示卷积操作，n为分支总数，x为输入特征张量；

36、在块压缩阶段，通过块压缩技术将多分支线性化结构合并为单一的orepa卷积层，实现从训练时的复杂多分支架构到推理时的简化单分支结构的无缝转换，表达式为：

37、（3）；

38、其中，为最终融合的等价卷积权重，表示第个分支经过尺寸统一化后的等价权重，为恒等映射分支的权重表示，和分别为可学习的分支重要性系数，n为多分支卷积分支的总条数，m为恒等映射类分支的总条数。

39、采用注意力引导多层次融合网络对数据进行处理的具体方法为：

40、采用注意力引导多层次融合网络的表达式为：

41、（4）；

42、其中，表示尺度处的输出特征，(·)表示通道注意力函数，t(·)和u(·)分别表示转置卷积和上采样操作，表示逐元素乘法运算，表示表示在特征金字塔第i个融合节点处，来自相对高层/语义更强的尺度的特征图，表示表示在同一融合节点i处，来自相对低层/细节更丰富的尺度的特征图；

43、注意力引导多层次融合网络采用平均池化与最大池化双路径捕获全局上下文信息，随后通过瓶颈变换与注意力生成机制学习通道间非线性映射关系，采用双路特征压缩过程的数学表达式为：

44、（5）；

45、（6）；

46、其中，h表示特征图的空间高度，w表示特征图的空间宽度，c表示通道索引，c表示特征图的通道总数；

47、表示待统计的特征图f在空间位置处、第c个通道上的特征响应值；

48、表示用于最大池化路径的同一输入特征图在处的响应；

49、表示对f在空间维度上做全局平均池化得到的描述；

50、表示对f在空间维度上做全局最大池化得到的通道描述；

51、瓶颈变换与注意力权重生成过程的表达式为：

52、（7）；

53、其中，和为可学习权重矩阵，r(·)为relu激活函数，σ(·)为sigmoid函数；a为通道注意力权重，r为通道压缩比，为实数域；

54、最终通过(f)=fa实现特征重加权，使网络能够自适应聚焦于损伤敏感通道，提升检测精度，f为进入通道注意力模块时的输入特征图；

55、空间特征融合模块sffm首先对高层特征和低层特征分别应用通道注意力以重标定其通道响应，高层特征通过转置卷积操作匹配低层特征的空间分辨率，同时保持语义丰富性，融合过程采用乘性注意力机制结合残差连接以保持信息流的完整性，其中：

56、空间特征融合模块sffm的表达式为：

57、（8）；

58、其中，ca(·)表示通道注意力操作，i(·)表示用于空间对齐的双线性插值，t(·)表示转置卷积操作，加法运算实现残差学习，表示选择特征融合模块在完成高低层特征对齐、通道注意力调制与融合后的输出特征图。

59、采用轻量化自适应检测头对数据进行处理的具体方法为：

60、轻量化自适应检测头采用双分支并行架构设计，包括回归分支和分类分支两个核心组件，其中回归分支负责精确的边界框坐标预测，采用级联深度可分离卷积结构进行特征提取，给定输入特征图，回归分支特征变换过程的表达式为：

61、（9）；

62、其中，∈{1,2,3}表示深度可分离卷积层的索引，d(·)和p(·)分别表示深度卷积和逐点卷积操作，bn(·)和σ(·)分别表示批归一化和激活函数；

63、表示轻量化自适应检测头回归分支中第级深度可分离卷积堆叠处理后得到的中间特征图；

64、表示第层深度可分离卷积模块所表示的映射算子；

65、深度可分离卷积通过将标准卷积分解为两个独立的操作，将参数复杂度从o(cin×cout×k2 )降低到o(cin×k2+cin×cout )，其中k为卷积核尺寸，cin表示卷积输入特征图的通道数，cout表示卷积输出特征图的通道数；

66、经过三层深度可分离卷积后，回归分支通过一层1×1标准卷积进行特征维度调整，然后输出4×个通道的回归特征，表达式为：

67、（10）；

68、其中，和分别表示1×1卷积和输出卷积的权重参数，和为对应的偏置项，regmax为dfl机制中的最大回归距离，表示归分支最终输出的回归特征，表示轻量化检测头回归分支经3层深度可分离卷积堆叠后的特征图；

69、分类分支采用轻量化设计，通过两层1×1标准卷积实现高效的语义特征提取，分类分支特征变换和概率预测过程的表达式为：

70、（11）；

71、（12）；

72、其中，和分别表示两层卷积的权重参数，和为对应的偏置项，表示分类分支中第一层映射后的中间特征图，表示分类分支最终输出的多类别置信度；

73、激活函数确保输出概率值在[0,1]区间内，为多类别检测提供归一化的置信度分数；

74、最终将回归分支和分类分支的输出进行通道维度的特征融合，表达式为：

75、（13）；

76、其中，c(·)表示通道拼接操作，[·;·]表示沿通道维度的张量连接，表示将回归输出与分类输出在通道维拼接后得到的检测头融合输出特征图；

77、融合后的特征图包含了完整的检测信息，其中前4×个通道对应边界框回归，后nc个通道对应类别预测；

78、在推理阶段，轻量化自适应检测头ladh通过分布焦点损失dfl机制将回归输出转换为最终的边界框坐标，dfl机制的表达式为：

79、（14）；

80、其中，dfl(·)表示分布焦点损失变换，(·)表示距离到边界框的转换函数，为动态生成的锚点坐标，为不同尺度的步长系数，表示逐元素乘法，表示解码后预测框几何量；

81、轻量化自适应检测头ladh的总体损失函数采用多任务联合优化策略，综合考虑分类和回归两个任务，表达式为：

82、（15）；

83、其中，、和分别表示焦点损失、广义iou损失和分布焦点损失，、和为对应的平衡权重系数，表示分类监督目标，表示边界框回归监督真值，表示分布式回归分支监督目标，表示测头多任务训练的总损失。

84、本发明相对于现有技术具备的有益效果为：本发明针对目前基于深度学习的路面损坏检测方法精度与效率难以平衡的问题，提出一种集成多尺度重参数化融合技术的轻量化检测算法msrf-yolo，该算法通过三个核心模块解决现有方法的局限性，包括：采用多尺度重参数化特征提取模块采用在线重参数化架构技术，实现训练期多分支学习与推理期单分支高效计算；采用注意力引导多层次融合网络结合通道注意力机制和空间特征融合模块，有效缓解多尺度特征语义差异；采用轻量化自适应检测头通过深度可分离卷积和双分支并行设计降低模型复杂度，本发明通过采用多尺度重参数化融合策略，在路面损坏检测中能够实现精度-效率最优平衡的有效性；此外本发明还提供有相应的路面损坏检测系统，通过设置相应的主控与运算模块、通信接口电路，能够实现检测到报警到上传的一体化控制，适用于道路现场与无人机巡检，能够在检测到路面损坏时通过报警输出与通信上传实现及时预警与上报。