一种面向公路施工场景的轻量化实例分割模型及构建方法

本发明涉及计算机视觉与深度学习，具体为一种面向公路施工场景的轻量化实例分割模型及构建方法。

背景技术：

1、在公路施工场景的智能化建设中，实例分割模型常用于识别施工人员与工程机械。这类场景通常存在光照动态变化和背景杂乱的物理条件，且不同类型的工程车辆与施工人员之间存在显著的尺度差异，导致通用视觉模型的分割精度受到影响。同时，实际部署模型的载体多为搭载于压路机等施工装备上的边缘计算节点或嵌入式硬件，此类设备的计算算力与功耗均存在严格上限。常规的高精度实例分割模型由于参数量和运算负荷庞大，无法满足施工现场设备对实时推理及控制的要求。

2、为了适配算力受限的边缘设备，现有技术通常采用基于yolo框架的轻量化基线模型。然而，该类模型在主干网络阶段依赖标准卷积操作提取特征，内部特征图产生较多通道冗余，导致模型底层的计算量仍有压缩空间。在颈部特征融合阶段，常规的特征增强模块难以兼顾施工现场大尺度车辆与小尺度人员的双向特征提取，对杂乱背景的抗干扰能力偏弱。在检测端边界框回归阶段，主流模型普遍采用完整交并比损失函数处理边界框定位，由于该函数内部包含对边界框宽高比例的惩罚项，当施工人员发生站立到弯腰等姿态变化，或工程车辆观测视角发生偏转时，过度的形态约束会阻碍模型的回归收敛速度，影响最终的定位精度。此外，在对网络层级进行进一步轻量化改造以降低计算开销的过程中，不可避免地会造成分割精度的直接折损，现有模型在训练阶段缺少相应的知识迁移机制，难以引导轻量化网络突破由参数量减少造成的性能瓶颈。

技术实现思路

1、针对现有技术的不足，本发明提供了一种面向公路施工场景的轻量化实例分割模型及构建方法，解决了常规实例分割模型在公路施工边缘设备上因算力受限无法满足实时推理需求，以及模型轻量化后针对复杂背景与多变目标分割精度下降的问题。

2、为实现以上目的，本发明通过以下技术方案予以实现：

3、本发明第一方面提供一种面向公路施工场景的轻量化实例分割模型，所述模型由主干网络、颈部网络和检测头组成；

4、所述主干网络包括通过幻影卷积模块构建的轻量化卷积单元和轻量化残差特征提取模块；

5、所述颈部网络中处理中等尺度目标的p4层接入空间与通道协同注意力机制；

6、所述检测头用于输出目标检测与实例分割结果，所述模型的内部权重参数是基于距离交并比损失函数和掩码生成蒸馏方法训练更新得到的。

7、本发明第二方面提供一种面向公路施工场景的轻量化实例分割模型的构建方法，应用于本发明第一方面提供的一种面向公路施工场景的轻量化实例分割模型，包括以下步骤：

8、基于幻影卷积对主干网络进行轻量化改进；

9、基于空间与通道协同注意力对颈部网络进行改进；

10、基于距离交并比对检测头损失函数进行优化；

11、基于掩码生成蒸馏进行知识迁移优化，构建模型。

12、在本发明的一个优选实施例中，所述基于幻影卷积对主干网络进行轻量化改进，具体包括：

13、使用少量标准卷积操作提取输入数据的主要特征信息，生成通道数较少的核心特征图；

14、基于所述核心特征图通过低成本线性变换操作生成对应的冗余特征图；

15、将所述核心特征图与生成的冗余特征图在通道维度上进行拼接，得到最终的输出特征，并将所述主干网络中所有的标准卷积模块替换为所述幻影卷积模块，形成轻量化卷积单元。

16、通过上述改进，模型使用部分标准卷积结合低成本线性变换生成目标通道数的特征图，替代完整的标准卷积运算，从而在特征提取阶段降低网络的参数量与计算量。

17、进一步的，所述基于幻影卷积对主干网络进行轻量化改进，还包括：

18、采用所述幻影卷积模块替换主干网络中残差特征提取模块内部的标准卷积层，构建轻量化瓶颈结构；

19、将主干网络中残差特征提取模块内部的瓶颈结构全部更新为所述轻量化瓶颈结构，生成轻量化残差特征提取模块，并在不同深度的网络阶段间构建短连接，将浅层特征与经过轻量化瓶颈结构处理后的深层特征进行跨阶段融合。

20、通过上述改进，网络在减少模型复杂度的同时保留了多层特征的跨阶段传递路径，避免深层网络训练迭代时发生梯度消失。

21、在本发明的一个优选实施例中，所述基于空间与通道协同注意力对颈部网络进行改进，具体包括：

22、将所述空间与通道协同注意力机制接入颈部网络中处理中等尺度目标的p4层；接收特征融合模块输出的中尺度特征图，对所述中尺度特征图执行高度与宽度维度方向的独立分解操作；

23、采用多尺度轻量卷积对分解后的两个方向特征进行空间信息提取与融合映射，生成空间注意力图，并将所述空间注意力图与原始输入特征图进行元素级相乘获取空间增强特征图。

24、进一步的，所述基于空间与通道协同注意力对颈部网络进行改进，还包括：

25、对所述空间增强特征图进行空间维度上的全局信息聚合，生成通道维度的全局特征向量；

26、通过多层线性映射操作对所述全局特征向量进行渐进式压缩降维；

27、对压缩后的特征描述子沿通道维度计算自注意力矩阵，生成通道注意力权重矩阵，将所述通道注意力权重矩阵与所述空间增强特征图进行元素级乘法操作，输出最终的重校准特征图。

28、通过上述改进，模型对颈部网络中处理车辆与人员目标的中尺度特征执行空间与通道协同运算。其中空间方向分解用于增强目标物理位置信息的表达，通道降维重新标定各通道特征的权重，优化网络对高语义价值通道特征的响应机制，抑制施工场景杂乱背景的干扰。

29、在本发明的一个优选实施例中，所述基于距离交并比对检测头损失函数进行优化，具体包括：

30、获取检测头输出的预测边界框以及对应的真实边界框；

31、计算所述预测边界框与真实边界框的交并比数值；

32、计算所述预测边界框的中心点坐标与真实边界框的中心点坐标之间欧氏距离的平方；

33、计算能够包围上述预测边界框与真实边界框的最小外接矩形的对角线长度数值的平方；

34、根据所述交并比数值、中心点欧氏距离的平方以及对角线长度数值的平方，计算生成距离交并比损失值。

35、通过上述改进，模型取消针对边界框长宽比例的约束参数计算。针对公路施工场景中施工人员姿态多变以及车辆视场角变化导致的形态差异，网络回归直接依赖目标边界框中心点物理距离的拉近，适配不同形状目标的检测任务并加快训练过程的损失收敛速度。

36、在本发明的一个优选实施例中，所述基于掩码生成蒸馏进行知识迁移优化，具体包括：

37、选取教师模型与待训练的学生模型；

38、将相同的公路施工场景图像批量输入至所述教师模型与学生模型中，分别提取多尺度特征图；

39、采用1×1大小的卷积核对所述学生模型的多尺度特征图执行线性映射计算，使所述学生模型的多尺度特征图在特征通道数量上与同一尺度的教师模型特征图完全对齐。

40、进一步的，所述基于掩码生成蒸馏进行知识迁移优化，还包括：

41、生成与通道对齐后的学生模型特征图空间分辨率尺寸相等的随机掩码矩阵；

42、将所述随机掩码矩阵与所述通道对齐后的学生模型特征图进行空间对应位置的元素乘法运算，丢弃遮挡区域的像素响应信息得到残缺特征图；

43、将经过遮挡处理后的残缺特征图输入至生成网络中进行前向计算，输出生成网络重建后的完整特征图。

44、进一步的，所述基于掩码生成蒸馏进行知识迁移优化，还包括：

45、提取所述生成网络输出的重建特征图与所述教师模型特征图；

46、计算所述重建特征图与所述教师模型特征图在各个特征通道以及空间像素位置上数值差值的平方和，并求取平均值得到掩码生成蒸馏损失值；

47、将所述掩码生成蒸馏损失值与目标检测损失、实例分割损失进行数值求和运算生成总损失数值，反向传播更新所述学生模型的内部权重参数。

48、通过上述改进，学生模型通过生成网络对残缺特征图进行推导重建。训练过程以高精度教师模型的输出特征作为监督基准，将教师模型提取特征的空间分布与语义关联逻辑传递给轻量化学生模型，补偿主干网络压缩造成的分割精度折损。

49、本发明提供了一种面向公路施工场景的轻量化实例分割模型及构建方法。具备以下有益效果：

50、本发明采用幻影卷积模块替换主干网络中的标准卷积操作，通过部分标准卷积提取核心特征并结合低成本线性变换生成冗余特征图。以此从底层削减了模型前向推理过程中的浮点运算次数与参数存储占用规模。经过网络改造的模型对硬件算力要求低，能够直接部署在搭载于施工装备的边缘计算或嵌入式设备上，满足工程现场的实时视觉感知需求。

51、本发明在颈部网络中段嵌入空间与通道协同注意力机制，并在检测头采用距离交并比损失函数作为回归优化目标。协同注意力机制利用空间方向分解与通道降维映射运算，有效抑制了施工环境杂乱背景的特征响应；距离交并比损失函数依靠中心点物理距离指导参数更新，排除了原有的长宽比严苛约束，解决了由施工人员姿态多变和车辆观测视角切换引发的边界框定位偏差问题。

52、本发明通过掩码生成蒸馏方法建立模型知识迁移训练框架。在训练阶段，对轻量化学生模型的输出特征施加随机掩码遮挡，利用生成网络执行特征重建，并将重建特征与高精度教师模型的基准特征进行误差计算反馈。此过程引导轻量化网络拟合高层语义特征的空间分布规律，弥补了因主干网络大幅压缩造成的特征信息流失，在不增加实际部署计算量的前提下保障了实例分割精度。