一种钢中非金属夹杂物单张及全视场自动评级方法及系统与流程

本发明涉及金属材料微观组织分析，具体为一种钢中非金属夹杂物单张及全视场自动评级方法及系统。

背景技术：

1、钢中非金属夹杂物，作为钢材冶炼、凝固及冷热加工过程中形成的并最终存留于钢基体内的各类非金属物质的统称，其来源复杂多样。这些夹杂物可分为内生夹杂物和外来夹杂物。内生夹杂物主要指在钢冶炼过程中，因氧、硫、氮析出及脱氧剂使用而产生的氧化物、硫化物、氮化物等化合物。外来夹杂物则源于炉渣、耐火材料或其他外部物质的剥落与混入。非金属夹杂物的存在对钢材性能具有显著影响，其不均匀性直接关乎产品的性能与寿命。因此，在炼钢过程中严格控制其生成与引入，对于提升钢材性能与质量，进而推动制造业发展，具有重要意义。

2、为精确控制钢中非金属夹杂物含量，业界普遍依据gb/t 10561或astm e45标准进行测定与评级。然而，传统的钢中非金属夹杂物评级方法主要依赖人工显微镜观察与比较，存在诸多弊端。具体表现为：人工评级效率低下，尤其在批量检测时导致高昂的人力成本；人工评级易受操作人员视觉疲劳等因素影响，进而引发误判；此外，人工评级的主观性强，不同检测人员对同一图像的评级结果可能存在差异，难以确保评级结果的一致性与重复性。

3、现有自动化检测技术主要分为两大路线：第一类为基于深度学习的检测方案，如现有专利cn114694144a公开了结合目标检测与语义分割的夹杂物识别方法，该方案仅完成夹杂物定位、分割与基础尺寸计算，未针对四类夹杂物不同形貌设计专属形态后处理策略，对于断裂、粘连、群聚分布的夹杂物修复能力不足，易造成评级失真，且仅支持单张视场分析，无法实现标准要求的全视场批量检测。第二类为基于传统图像处理的方案，如现有专利cn117893472a采用滤波、轮廓提取、几何特征分析实现夹杂物分类评级，该方案对所有类型夹杂物采用统一轮廓合并与判定规则，无法适配不同类别夹杂物的形态差异，存在a类与c类混淆、b类群状颗粒漏合并、d类球状夹杂分级缺失等问题，泛化能力弱，同样不具备全视场遍历与最恶劣视场定位功能。

技术实现思路

1、本发明的目的在于提供一种钢中非金属夹杂物单张及全视场自动评级方法及系统，以解决上述背景技术中提出的问题。

2、为解决上述技术问题，本发明提供如下技术方案：一种钢中非金属夹杂物单张图像自动分类与评级方法，其特征在于，包括：

3、获取待评级的金相图像；

4、采用整幅图像识别和局部区域识别对金相图像进行多尺度识别，根据局部区域识别结果对整幅图像识别结果进行筛选，并将筛选结果与局部区域识别结果进行融合，获得非金属夹杂物候选区域；

5、对非金属夹杂物候选区域进行连通域标记，提取各连通域的图像特征，将图像特征输入分类器，获得a类硫化物、b类氧化铝、c类硅酸盐和d类球状氧化物的分类概率，并根据连通域的颗粒分布特征确定类别权重系数，对分类概率进行加权调整，根据加权调整后的分类概率确定第一轮分类结果；

6、对第一轮分类为b类的候选区域，根据相邻颗粒的空间关系进行合并，对合并后的b类候选区域重新提取图像特征并进行第二轮分类；

7、根据a类、b类、c类和d类夹杂物的形态特征分别进行形态学优化，并根据优化后的夹杂物的长度、宽度、粒径或数量计算级别指数，得到金相图像的评级结果。

8、优选的，还包括图像预处理步骤：

9、对金相图像中的比例尺区域进行定位，将比例尺区域转换到hsv颜色空间，并基于红色颜色范围生成比例尺检测区域；

10、根据红色连通区域的长度、形状和面积确定有效比例尺条，结合比例尺条的实际长度确定像素尺寸；

11、对被刻度字符遮挡的比例尺条进行形态学连接，并根据连接区域与原始红色区域之间的对应关系确定比例尺条的实际跨度；

12、采用光学字符识别方式从比例尺区域提取长度值和单位信息，并根据比例尺信息清除金相图像中的比例尺条和刻度文字；

13、在未识别到比例尺信息时，采用预设像素尺寸或人工设置的像素尺寸。

14、优选的，整幅图像识别采用语义分割网络unet对整张金相图像进行推理，局部区域识别采用unet的切片微调模型进行推理；unet在编码器与解码器之间的跳跃连接处设置有注意力门控，并在编码器末端设置空洞空间金字塔池化瓶颈层。

15、优选的，整幅图像识别采用全图模型，并配合边界扩张算法生成整幅图像的基础识别结果；

16、局部区域识别采用切片微调模型，并通过窗口加权方式对多个局部区域的识别结果进行叠加，以降低局部区域之间的拼接伪影；

17、根据局部识别结果的支持程度和置信度对局部候选区域进行规则筛选，并将筛选后的局部候选区域与基础识别结果进行融合，得到非金属夹杂物候选区域。

18、优选的，对每个连通域计算归一化对比度，当连通域属于低对比度亮区时，从非金属夹杂物候选区域中移除连通域；

19、连通域的图像特征包括几何特征、颜色特征、灰度特征、纹理特征和空间特征，其中，几何特征包括外接矩形、面积、周长、费雷特直径、hu不变矩和pca尖端特征，颜色特征包括bgr均值、标准差、最值、通道比和色彩丰富度，灰度特征包括均值、方差、michelson对比度、rms对比度和灰度熵，纹理特征包括lbp直方图、边缘密度和梯度，空间特征包括颗粒群分布、质心间距、主轴方向和共线性。

20、优选的，确定类别权重系数并进行第二轮分类包括：

21、对连通域在所述金相图像中对应的前景区域进行二次分割，获得连通域内部的独立颗粒分布，根据独立颗粒的数量、颗粒面积与连通域面积的比例、连通域的长宽比、颗粒的排列关系，确定与各类别对应的类别权重系数，并将相应类别的分类概率与类别权重系数相乘；

22、根据加权调整后的分类概率确定第一轮分类结果，并将满足b类颗粒群分布特征的连通域确定为b类候选区域；

23、对b类候选区域中具有空间邻近关系和方向一致性的相邻颗粒进行合并，合并后重新提取图像特征，并对合并后的b类候选区域进行第二轮分类；

24、根据第二轮分类结果中b类区域的颗粒粒径特征、d类颗粒与b类区域之间的空间排列关系，对分类结果进行修正。

25、优选的，形态学优化和评级包括：

26、对a类硫化物和c类硅酸盐的连通域计算最小外接矩形，沿最小外接矩形的主轴方向确定实际最宽处宽度，并对相邻或相交的外接矩形进行延展和合并；

27、对b类氧化铝夹杂物进行方向性膨胀，根据相邻颗粒的方向关系和距离关系确定同组颗粒，并对同组颗粒进行合并；

28、对d类球状氧化物夹杂物进行对比度过滤和尺寸过滤，根据过滤后的颗粒直径将其划分为d类或ds类；

29、根据各类非金属夹杂物的类别、长度、宽度、粒径或数量，采用与类别相对应的评级规则计算级别指数。

30、本发明还提出一种钢中非金属夹杂物全视场自动评级方法，包括：

31、获取多张相邻视场的金相图像，并按照预设的网格布局对多张相邻视场的金相图像进行拼接，形成完整视场；

32、从完整视场中确定用于最恶劣视场搜索的候选局部区域，并对候选局部区域进行窗口扫描；

33、对每个窗口内的非金属夹杂物进行多尺度识别，将整幅窗口识别结果与局部区域识别结果进行融合，获得窗口内的非金属夹杂物候选区域；

34、对窗口内的非金属夹杂物候选区域进行连通域特征提取和分类，根据连通域的颗粒分布特征对分类概率进行类别权重调整，并对第一轮分类为b类的候选区域进行空间关系合并和第二轮分类；

35、根据a类、b类、c类和d类夹杂物的形态特征分别进行形态学优化，并根据优化后的夹杂物的长度、宽度、粒径或数量计算窗口的类别评级结果；

36、按照非金属夹杂物的类别和系别对各窗口对应的评级结果进行比较，确定每类非金属夹杂物的最恶劣视场代表；以及，输出最恶劣视场代表的位置、类别和评级结果。

37、本发明还提出一种钢中非金属夹杂物自动评级系统，包括：图像输入装置，用于输入待评级的金相图像或多张相邻视场的金相图像；

38、图像识别装置，用于对金相图像进行整幅图像识别和局部区域识别，并对整幅图像识别结果和局部区域识别结果进行融合，以获得非金属夹杂物候选区域；

39、分类装置，用于基于非金属夹杂物候选区域中连通域的图像特征，将连通域分类为a类硫化物、b类氧化铝、c类硅酸盐和d类球状氧化物，并根据连通域的颗粒分布特征对分类概率进行加权调整；

40、形态学优化与评级装置，用于按照分类结果对连通域进行形态学优化，并根据优化后的连通域的长度、宽度、粒径或数量计算级别指数；

41、结果输出装置，用于输出非金属夹杂物的分类结果和评级结果；

42、其中，图像输入装置、图像识别装置、分类装置、形态学优化与评级装置以及结果输出装置与处理器连接，处理器与存储器连接。

43、与现有技术相比，本发明的有益效果是：

44、本发明能够实现钢中非金属夹杂物的自动分割、分类与评级，减少人工检测工作量；通过多尺度识别、分类概率加权和b类区域二次分类，提高细小及相邻夹杂物的识别与整合效果，并通过全视场窗口扫描准确定位各类夹杂物的最恶劣视场，提高评级结果的一致性和可靠性。