一种基于时序混合的轻量化焊接阶段分类方法及系统

本发明主要涉及焊接图像处理相关，具体是一种基于时序混合的轻量化焊接阶段分类方法及系统。

背景技术：

1、在多层多道焊接过程中，通常依次经历打底、填充和盖面等工艺阶段，不同阶段在熔池形态、焊缝表面特征、热输入状态及工艺参数等方面存在差异。对焊接阶段进行连续、准确识别，可为焊接过程分段记录、工艺参数关联、异常片段检索、质量分析及后续控制提供可靠的状态依据。

2、然而，实际焊接环境具有较强的光学干扰和动态不确定性。焊接图像容易受到电弧强光、金属飞溅、烟尘遮挡、工件表面反光、曝光变化以及熔池瞬态波动等因素影响。同一焊接阶段在相邻时刻的图像外观可能发生明显变化，而不同焊接阶段之间又可能存在局部视觉特征相似的情况。因此，仅依据单帧图像进行焊接阶段判断时，识别结果容易受到瞬时噪声和局部外观波动干扰，难以充分利用焊接过程在时间维度上的连续性和演化规律。

3、现有技术中，三维卷积神经网络、循环神经网络以及复杂注意力网络能够在一定程度上提取视频序列中的时序信息，但上述方法通常需要引入额外的三维卷积核、循环状态、注意力参数或大规模中间特征，从而增加模型参数量、计算复杂度和运行内存占用，不利于在算力、存储空间及功耗受限的工业设备上实现实时部署。alexnet是具有代表性的公开卷积神经网络。但该网络的大部分参数集中于全连接分类层，导致模型文件体积和参数存储开销较大，难以满足焊接现场边缘设备对模型轻量化和实时运行的要求。

4、因此，亟需提供一种面向焊接过程智能感知的阶段分类方案，在降低模型参数量和计算开销的同时，实现多帧短时信息的有效交互，并在候选时序通道中对响应相对突出的通道保持当前位置特征，从而避免对全部候选通道采用完全相同的时序处理方式。

技术实现思路

1、为解决目前技术的不足，本发明结合现有技术，从实际应用出发，提供一种基于时序混合的轻量化焊接阶段分类方法及系统，能够降低模型参数量和计算开销的同时，实现多帧短时信息的有效交互，并在候选时序通道中对响应相对突出的通道保持当前位置特征，从而避免对全部候选通道采用完全相同的时序处理方式。

2、本发明的技术方案如下：

3、根据本发明的一个方面，提供一种基于时序混合的轻量化焊接阶段分类方法，包括如下步骤：

4、s1、按照采集时间连续获取焊接图像，按照采集时间顺序写入图像流；

5、s2、以待分类当前帧为结束帧，构建包含所述当前帧及其之前多个历史帧的滑动窗口；

6、s3、对图像进行尺寸统一、通道排列、张量化与归一化的预处理；

7、s4、通过各时间位置共享参数的轻量化空间特征提取网络提取所述滑动窗口内各帧的空间特征，并在预设特征位置执行动态突出通道保护型时序混合；

8、s5、通过共享分类头对各时间位置输出未归一化类别得分；

9、s6、在概率归一化之前沿时间维对各时间位置的未归一化类别得分逐类别求算术平均，得到滑动窗口对应的序列级融合得分；

10、s7、选取所述序列级融合得分最大的类别作为待分类当前帧的焊接阶段；

11、s8、输出当前帧的焊接阶段分类结果，其中输出结果为打底焊或填充焊或盖面焊；

12、s9、在输出当前帧的焊接阶段之后，将新获取的焊接图像加入滑动窗口并移出最早的一帧，形成下一时刻的滑动窗口，重复上述步骤以连续输出焊接阶段结果。

13、进一步，步骤s4中，所述轻量化空间特征提取网络包括普通卷积前端和多个深度可分离卷积，每个深度可分离卷积先使用逐通道卷积分别提取各输入通道的空间特征，再使用逐点卷积组合不同通道信息，轻量化空间特征提取网络不设置局部响应归一化层。

14、进一步，步骤s4中，所述普通卷积前端包括三层普通卷积层，所述深度可分离卷积为五个，所述预设特征位置位于第四个深度可分离卷积与第五个深度可分离卷积之间。

15、进一步，步骤s4中，所述动态突出通道保护型时序混合包括：在预设特征位置将特征通道划分为第一候选组、第二候选组和恒等保持组，第一候选组从相邻较早时间位置取得待混合特征，第二候选组从相邻较晚时间位置取得待混合特征；

16、依据候选通道当前位置响应相对于候选通道平均响应的归一化突出度生成动态保护标识，达到保护阈值的候选通道保持当前位置特征，未达到保护阈值的候选通道将当前位置特征与相邻时间特征进行定比混合，恒等保持组始终保持当前位置特征。

17、进一步，当相邻较早时间位置或相邻较晚时间位置超出滑动窗口的边界时，相应来源特征按零值补齐，对于未被保护的候选通道，边界处仍保留当前位置特征的一部分，对于被保护的候选通道以及恒等保持组，输出始终等于当前位置输入。

18、进一步，步骤s4中，对每个候选通道的当前位置特征图在空间维进行平均绝对响应统计得到候选通道当前位置响应，表达式如下：

19、

20、式中，表示时间位置t、通道c、空间位置(h,w)处的当前位置特征，表示候选通道集合，即第一候选通道组g(−)与第二候选通道组g(＋)的并集；

21、在候选通道集合内对求平均，得到当前样本、当前时间位置的候选通道平均响应，表达式如下：

22、。

23、进一步，步骤s4中，将单个候选通道的响应与候选通道平均响应进行比值归一化，并加入稳定常数得到候选通道的归一化突出度，表达式如下：

24、

25、将归一化突出度与预设保护阈值比较，生成逐样本、逐时间位置、逐候选通道的动态保护标识，表达式如下：

26、

27、对于候选通道集合，时保留当前位置特征；当时，以当前位置特征和相邻时间特征的差分为基础按混合系数进行更新，表达式如下：

28、

29、式中，表示时序混合模块的输出特征，表示经边界补值的相邻时间特征。

30、进一步，步骤s6中，各时间位置经共享分类头得到未归一化类别得分后，在归一化之前沿时间维逐类别求算术平均，得到序列级类别得分，表达式如下：

31、

32、其中，为滑动窗口长度，取值5。

33、进一步，步骤s8中，输出当前帧的焊接阶段分类结果时同时输出经归一化计算的置信度以及当前帧时间戳，将分类结果、置信度、时间戳、图像索引和模型版本写入过程记录。

34、根据本发明的另一方面，提供一种基于时序混合的轻量化焊接阶段分类系统，包括：

35、图像获取模块，配置用于按照采集时间连续获取焊接图像；

36、滑动窗口构建模块，配置用于以待分类当前帧为结束帧，构建包含所述当前帧及其之前多个历史帧的滑动窗口；

37、图像预处理模块，配置用于对图像进行尺寸统一、通道排列、张量化与归一化的预处理；

38、共享轻量空间特征提取模块，配置用于提取所述滑动窗口内各帧的空间特征；

39、动态突出通道保护型时序混合模块，配置用于在预设特征位置执行动态突出通道保护型时序混合；

40、共享分类模块，配置用于接收时序混合后的特征，对各时间位置输出未归一化类别得分；

41、时间融合模块，配置用于在概率归一化之前沿时间维对各时间位置的未归一化类别得分逐类别求算术平均，得到滑动窗口对应的序列级融合得分；

42、分类输出模块，配置用于输出当前帧的焊接阶段分类结果；

43、过程记录与接口模块，配置用于将分类结果、置信度、当前帧时间戳、图像索引和模型版本写入过程记录，并按照部署需要发送至显示终端、数据接口或上层系统。

44、本发明的有益效果：

45、本发明不是仅改变输出类别数，而是协同改造空间骨干、分类头和多帧时序处理链，深度可分离卷积和通道压缩降低卷积骨干规模；全局平均池化和分类头替代分类器，消除参数量的主要来源；取消局部响应归一化以简化计算链。

46、本发明只在一个晚期位置执行时序混合，并在候选通道范围内增加输入相关突出度判定，本发明进一步根据当前输入生成动态保护标识，使突出候选通道保持当前位置特征、非突出候选通道执行定比时序混合，恒等保持组中的通道不参与突出度基准计算并始终保持当前位置特征，该动态判定与分流过程不增加可学习时序参数。