一种钢中非金属夹杂物分割方法、系统、计算机设备、计算机可读存储介质和计算机程序产品与流程

本发明涉及计算机视觉与深度学习，尤其涉及一种钢中非金属夹杂物分割方法、系统、计算机设备、计算机可读存储介质和计算机程序产品。

背景技术：

1、随着航空航天及海洋工程对构件服役寿命要求的不断提高，钢中非金属夹杂物的精确定量表征已成为提升钢铁品质与质量管控的关键环节。传统夹杂物检测主要依赖人工显微观察分析或基于灰度阈值的简单图像处理。这种检测方式不仅效率低下、主观性强、对检测人员要求极高，而且在面对形态复杂的夹杂物时，难以实现准确的分割与分类。

2、近年来，基于卷积神经网络（cnn）的深度学习方法逐渐被应用于夹杂物的自动化检测，并在一定程度上提升了检测效率。然而，受限于卷积操作固有的局部感受野，现有cnn模型在处理金相大尺度背景下的细微特征关联及全局语义理解时存在明显的瓶颈。此外，面对形态各异、尺寸跨度极大的非金属夹杂物，现有cnn模型往往难以兼顾局部细微特征的精准定位与全局长距离依赖关系的捕获，导致分割精度受限。因此，本领域亟需一种能够突破局部感受野限制、具备强大全局语义理解与多尺度特征融合能力的新方法，以实现高精度、智能化的钢铁非金属夹杂物定量分析。

3、上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本发明的目的是为了解决现有技术中存在的缺点，而提出的一种钢中非金属夹杂物分割方法、系统、计算机设备、计算机可读存储介质和计算机程序产品，基于视觉transformer与多尺度特征融合，适用于钢铁金相显微图像中的非金属夹杂物高精度自动化检测与评级场景，解决了基于cnn模型的分割方法在金相复杂场景下多尺度特征提取受限、长距离特征依赖缺失，进而导致微小点状夹杂物易漏检、大尺度夹杂物易断裂且易受复杂背景干扰的问题。

2、为了实现上述目的，本发明采用了如下技术方案：

3、一种钢中非金属夹杂物分割方法，包括如下步骤：

4、步骤1：获取各类非金属夹杂物的金相显微图像为原始样本，进行数据还原与动态裁剪预处理；

5、步骤2：将处理后的图像数据输入至骨干网络，通过多阶段自注意力机制提取夹杂物的多尺度全局依赖特征；

6、步骤3：将多尺度全局依赖特征输入至解码器，利用金字塔池化与自顶向下的特征融合机制获得高维特征描述；

7、步骤4：将高维特征描述进行尺度统一与特征聚合，获得各像素点分别属于不同非金属夹杂物类别的预测概率分布；

8、步骤5：基于对各像素点的预测概率分布与其真实掩码计算混合损失函数，对模型进行优化，使用优化后的模型输出最终的像素级语义分割掩码。

9、进一步，步骤1中，进行动态裁剪处理包括以下步骤：

10、对于原始金相显微图像及对应夹杂物缺陷真值掩码图，利用连通域分析算法提取独立缺陷的掩码集合，计算其零阶空间矩与一阶空间矩以获取缺陷几何质心，公式如下：

11、；

12、；

13、其中，为掩码图像在坐标处的像素指示值；

14、针对预设的目标裁剪尺寸，依据缺陷尺度执行自适应动态裁剪：

15、当缺陷最大边长时，判定为小尺度目标；以几何质心构建单一边界框，计算起始横、纵坐标x1、y1，得到平移修正后的裁剪边界，x1、y1的计算公式如下：

16、；

17、；

18、其中，为原图宽度，为向下取整算子；

19、当缺陷最大边长时，判定为大尺度目标；设定外扩边距，计算缺陷的离心率参量，构建形态感知的动态滑动步长衰减函数；基于几何质心与缺陷物理边界，生成空间切片锚点集合；公式如下：

20、；

21、；

22、；

23、其中，为缺陷最小边长；为基准滑动步长，为衰减控制系数，为长宽比阈值； 与分别为该缺陷最小外接矩形的左边界与上边界坐标，为滑动步数索引，p为外扩边距，d为动态滑动步长，w为原图宽度，h为原图高度；最终输出包含拓扑结构连续性的统一分辨率单目标金相图像切片及其对应真值掩码；

24、针对裁剪后的统一分辨率真值掩码，构建rle编码并指向其对应金相图像，对数据进行压缩，并划分训练集与测试集。

25、进一步，步骤2中，通过多阶段自注意力机制提取夹杂物的多尺度特征包括以下步骤：

26、将预处理后的金相图像输入至rest型transformer骨干网络，输入的金相图像首先经过stem模块执行初步空间降采样与特征通道扩充，生成维度为的初始特征嵌入；

27、随后，特征序列依次流经串联的四个特征提取阶段，在每个阶段的起始处，利用块嵌入层执行空间下采样；

28、随后，特征张量经过层归一化后进入高效多头自注意力模块；高效多头自注意力模块通过跨步深度卷积操作对注意力机制中的键和值进行空间维度的压缩，提取长距离的全局空间依赖关系；

29、其具体过程为，对于输入长度为、维度为的特征序列，高效多头自注意力模块对查询矩阵保持全分辨率投影，对键矩阵和值矩阵引入空间降维算子，查询矩阵、键矩阵、值矩阵的计算公式如下：

30、；

31、；

32、；

33、其中，、、分别为查询矩阵、键矩阵、值矩阵的对应的可学习线性映射权重矩阵，表示利用步长为的深度可分离卷积操作，将键值对特征空间序列长度由压缩至；

34、随后，计算重构后的全局注意力响应矩阵z，公式如下：

35、；

36、其中，为相对位置偏置项，为缩放因子；

37、经过四个阶段提取，网络输出对应不同分辨率与通道数的多层特征集合。

38、进一步，步骤3中，利用金字塔池化与自顶向下的特征融合机制获得高维特征描述，包含以下步骤：

39、针对特征集合中最深层全局语义特征，将其输入金字塔池化模块，金字塔池化模块并行应用四个不同网格尺寸的自适应平均池化算子提取多尺度上下文，经双线性插值算子恢复尺度后，与原始沿通道级联，输出深层聚合特征，公式如下：

40、；

41、其中，为多尺度上下文聚合函数，为沿特征图通道维度的矩阵拼接操作，为双线性插值算子，为通过不同网格尺寸的自适应平均池化算子，为二维卷积运算符号，为降维卷积核权重矩阵；

42、随后，构建自顶向下的特征金字塔级联反馈网络，建立融合特征的逐级反馈递推方程，如下：

43、；

44、；

45、其中，，为的平滑卷积算子，为卷积映射函数，用于生成空间异质性门控掩码，为sigmoid激活函数，为空间异质性门控掩码矩阵，为特征张量的逐元素乘法，为特征张量的逐元素加和，为两倍空间上采样，为深层聚合特征，为同层级骨干浅层特征，为通道对齐映射权重，用于通道维度对齐；

46、最终得到包含全尺度信息的融合特征集合。

47、进一步，步骤4中，获得各像素点分别属于不同夹杂物类别的预测概率分布的步骤如下：

48、将包含全尺度信息的融合特征集合中的各尺度特征上采样至目标基准分辨率，并沿通道拼接，构建全尺度信息高维特征描述；

49、随后，将高维特征描述经过卷积层投影至目标缺陷类别对应的通道空间，得到对应个分类类别的输出张量，其中，表示非金属夹杂物的分类类别总数；

50、最后，经过双线性插值将张量恢复至原始输入图像的空间尺度，并通过激活函数将其转换为概率分布，获得对应原始图像的每一个像素点归属于特定非金属夹杂物类别的预测概率。

51、进一步，步骤5中，基于对各像素点的预测概率分布与其真实掩码计算混合损失函数，对模型进行优化的步骤如下：

52、构建二值交叉熵与dice系数混合损失函数，对模型进行联合优化；二值交叉熵损失项和dice系数损失项的计算公式分别如下：

53、；

54、；

55、其中，为图像像素总数，为分类类别总数，为像素是否属于类别的真实标签，为模型预测像素属于类别的概率，为平滑常数；

56、构建随训练轮数动态演化的自适应权重调节函数，使其随训练轮数动态演化，的公式如下：

57、；

58、；

59、其中，为第类夹杂物在当前批次中的像素频数占比因子，、、为控制超参数，该函数确保了模型在训练初期侧重于全局搜索，在后期精准聚焦于极小面积的难分样本；

60、将预测概率分布与真实掩码结合，构建总损失函数联合优化公式如下：

61、；

62、通过反向传播算法最小化总损失，利用优化算法迭代更新模型参数，对模型进行迭代优化直至模型收敛，以在推理阶段输出高精度的像素级语义分割掩码。

63、为了实现上述目的，本发明还采用了如下技术方案：

64、一种钢中非金属夹杂物分割系统，用于实现本发明提供的任一所述的方法，系统包括以下模块：

65、第一模块，金相显微图像动态裁剪预处理模块；

66、第二模块，骨干网络多尺度全局特征提取模块；

67、第三模块，金字塔池化与多层级特征融合模块；

68、第四模块，特征聚合与概率分布预测模块；

69、第五模块，混合损失联合优化与掩码输出模块。

70、为了实现上述目的，本发明还采用了如下技术方案：

71、一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明提供的任一所述的方法的步骤。

72、为了实现上述目的，本发明采用了如下技术方案：

73、一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明提供的任一所述的方法的步骤。

74、为了实现上述目的，本发明采用了如下技术方案：

75、一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本发明提供的任一所述的方法的步骤。

76、本发明与现有技术相比，其有益效果为：

77、1、针对基于cnn模型的分割方法在金相复杂场景下多尺度特征提取受限、长距离特征依赖缺失，进而导致微小点状夹杂物易漏检、大尺度夹杂物易断裂且易受复杂背景干扰的问题。在对比实验中，采用与本发明方法相同的钢中非金属夹杂物金相显微图像数据进行实验，并采用相同的数据处理流程及评价指标对不同分割方法的性能进行评价。其中，本发明方法采用rest-small作为特征提取骨干网络，并结合前述自适应动态裁剪、多尺度特征融合以及动态加权损失函数进行非金属夹杂物分割；对比方法采用deeplabv3+网络，并采用efficientnet-b4作为其骨干网络。通过对两种方法在相同测试数据上的分割结果进行比较，以评价本发明方法对钢中非金属夹杂物区域的像素级分割能力。

78、在评价指标方面，采用平均dice系数（mean dice，mdice）和平均交并比（meanintersection over union，miou）作为分割精度评价指标。其中，mdice用于衡量预测分割区域与真实标注区域之间的重叠程度，miou用于衡量预测区域与真实区域的交并比。两项指标的数值越高，表示模型获得的非金属夹杂物分割结果与真实标注结果越接近，分割性能越好。

79、表 1：不同模型在测试集上的性能指标对比

80、

81、由表1可以看出，在相同测试数据和评价指标下，deeplabv3+模型的mdice为90.346%，miou为88.849%；采用本发明方法后，mdice达到95.613%，miou达到93.440%。与deeplabv3+方法相比，本发明方法的mdice提高5.267个百分点，miou提高4.591个百分点。

82、由上述对比结果可知，本发明方法能够有效提高钢中非金属夹杂物的分割精度。具体而言，本发明通过自适应动态裁剪提高不同尺度夹杂物目标的有效像素占比，通过rest-small中的高效自注意力机制建立夹杂物区域的全局特征关联，通过多尺度空间上下文信息提取和多层级特征融合增强不同尺度目标及边界区域的特征表达，并通过动态加权bce-dice联合损失函数改善类别不平衡情况下的模型优化效果。上述技术措施共同作用，使本发明方法在mdice和miou两个评价指标上均优于deeplabv3+对比方法。

83、2、重构了自适应的动态裁剪预处理机制，有效解决了极端尺度差异与背景干扰难题：本发明针对金相图像分辨率极大而缺陷极小的特性，设计了基于连通域分析的动态裁剪与防越界偏移策略。该策略在统一模型输入分辨率的同时，能够根据目标尺寸自适应调整截取窗口并排除无关缺陷干扰，最大程度保留了夹杂物的局部上下文纹理；此外，这种处理方式避免了常规全局缩放带来的特征失真，贴合工业产线高通量、非结构化金相显微图像的实际分布形态，为模型的高效学习提供了高质量的纯净样本。

84、3、构建了专属于金相缺陷的混合损失函数，缓解了极端样本不平衡问题：本发明分析了金相分割中背景像素占据绝对主导地位的问题，经过大量严谨的实验验证与测试对比，使用二值交叉熵（bce）与dice系数加权结合的混合损失函数（bcediceloss）作为最优优化目标。通过合理调控损失权重，该函数能够引导模型在反向传播中聚焦于困难样本及微小夹杂物整体形态的挖掘，显著减少了掩码断裂与孔洞现象的发生，提升了模型训练的鲁棒性。

85、4、依托先进视觉transformer架构，实现了复杂工况下检测精度的显著跃升：在上述预处理策略与专属优化目标的协同作用下，本发明有利于视觉transformer架构捕捉长距离依赖关系与全尺度特征融合的研发。为了验证本发明所提出的钢中非金属夹杂物分割方法的有效性，采用与本发明方法相同的实验数据，对本发明方法与deeplabv3+分割方法进行对比实验。其中，本发明方法采用rest-small作为骨干网络，并结合自适应动态裁剪、多尺度特征融合及动态加权损失函数；对比方法采用deeplabv3+模型，并采用efficientnet-b4作为骨干网络。在相同测试数据和评价指标下，对两种方法的非金属夹杂物分割结果进行定量比较，评价指标包括平均dice系数mdice和平均交并比miou；特别是提高了对微小点状夹杂物的感知与定位能力，为钢铁质量的高精度、智能化评级提供了可靠的视觉技术支撑。