一种基于机器视觉的钢材低倍数字化检测方法与流程

1.本发明涉及钢铁冶金领域，特别涉及一种基于机器视觉的钢材低倍数字化检测方法。


背景技术：

2.钢材产品在国防军工、船舶工业、核电设备等领域有着广泛应用，生产出组织均匀、心部无缺陷的高品质钢材对于提高企业竞争力具有重要意义。连铸-加热-连轧-冷却是钢材典型的生产工艺过程，具有高效自动化生产的特点。连铸坯的质量直接决定了轧制后钢材产品质量。尽管目前连铸技术已经相当成熟，但连铸过程中由于冷却工艺、铸坯拉速不匹配等原因导致的连铸坯中心疏松缩孔、裂纹、枝晶偏析等缺陷仍是连铸领域的共性问题，且随着连铸坯规格尺寸增大，问题也更加突出。因此对连铸坯心部缺陷的快速识别，对于溯源优化生产工艺、改善连铸坯质量、提高钢材产品质量具有重要意义。
3.由于钢材在生产过程中，不可避免地出现缺陷，甚至废品，而不同工艺状态下产生的缺陷类型、特征和形成机制也不完全相同。这些加工缺陷将对产品质量产生较大影响，因此对铸坯缺陷检测和控制对提高钢材产品质量也有一定意义。
4.综合以上两点可以得知，连铸坯在凝固过程中形成的内部组织形态，对于后续生产环节对最终产品的力学性能有着极为重要的影响。在生产过程中，多种因素(如钢水中的非金属杂质、气体，温度控制不当，工艺缺陷或操作人员失误等)都会使连铸坯内部产生低倍缺陷，以及影响连铸坯凝固组织结构。连铸坯凝固组织结构反映了铸坯结晶的形貌，结晶状况的差异会使凝固组织的结构发生相应的变化。通过对连铸坯低倍试样凝固组织的区域识别，可以及时监测铸坯产品质量，进而优化生产工艺，避免产生大量不合格产品，造成巨大经济损失。
5.连铸坯的低倍检验是企业质量控制的最重要环节。对于企业而言，铸坯低倍组织检验的最基本任务有：
①
优化操作工艺，改善铸坯内部质量，大多低倍缺陷都是在连铸中产生的，通过对钢坯的低倍组织进行观察，可判断出操作工艺存在的问题；
②
研制新钢种，通过对铸坯凝固组织进行验证，可初步判断新钢种的性能；
③
为连铸机的维护检修工作提供指导性信息，控制铸坯缺陷的产生；
④
在最终产品质量体系中，为铸坯初始形态提供检验结果证明。
6.近年来，随着钢铁冶金行业自动化程度及生产水平不断提高，需要快速而精确地对钢材低倍组织缺陷进行检测，以适应更快的生产速度及更高的产品质量。目前常规低倍检测评级方法仍采取人工评级模式，即将低倍组织试样图片与国家/行业标准进行目测或人工测量后对比，给出评级报告。这种评级方法不可避免的存在误差大、评级滞后、缺乏数据库支持等缺陷。由于每个质检人员的经验水平参差不齐，评判标准各不相同，导致主观因素对检测结果产生影响，并且数据的汇总整理、归档主要依赖人工手动完成，较难保障数据的完整性和有效组织，容易出现数据丢失、不一致的情况，抑制了低倍缺陷评级在先进自动化钢铁生产流程的发挥。
7.随着机器视觉技术的迅猛发展，视觉检测作为一种快速、准确的非接触无损检测方法，已广泛应用于工业制造领域。相较于人工检测，视觉检测的优势主要体现在以下几个方面：
①
人工检测人力成本高，检测速度慢，使用视觉检测可以有效降低成本；
②
人工检测往往存在一定的误差和人为因素，而视觉检测在确定装置的检测标准后，检测过程将严格按照检测标准进行，精度较高；
③
视觉检测具有很高的自动化程度，不仅可以提高检测效率，还会为企业的设备及工作的安全性带来好处。此外，通过将视觉检测与各种技术、设备和算法相结合，可以最大限度发挥出系统的潜力，具有较高的应用前景。
8.因此本发明提出了一种基于机器视觉的钢材低倍数字化检测方法，旨在集成制样输送、图像采集、缺陷识别和数据整理功能，提升检测过程的自动化、智能化、精确化和安全化程度，构建起高效、准确、客观的钢材试样低倍组织质量评价体系，为钢铁行业产品质量检测向短流程、自动化、智能化发展提供技术支撑。


技术实现要素：

9.为了解决上述技术问题，本发明提供了一种基于机器视觉的钢材低倍数字化检测方法，通过集成制样输送、图像采集、缺陷识别和数据整理功能，实现钢材试样低倍组织缺陷自动化、安全化、高效化检测，提高试样低倍组织缺陷检测效率，实现操作人员高度自动化控制作业，构建起高效、准确、客观的铸坯低倍组织质量评价体系，为钢铁行业产品质量检测向短流程、自动化、智能化发展提供技术支撑。
10.本发明的技术方案如下：一种基于机器视觉的钢材低倍数字化检测方法，其特征在于：低倍检测流程包括以下步骤：低倍取样
→
试样加工
→
吊运
→
样品刷洗
→
腐蚀
→
回酸
→
冲洗
→
吹干
→
放置无人运输车
→
贴标签
→
图像采集
→
数据分析
→
数据存储
→
样品入堆；s1、试样处理，将待测试样按照相关标准进行加工，完成后吊运至酸洗槽进行酸洗、吹干处理，确保试样表面无其他干扰因素；s2、试样定位，无人运输车运送待测试样从酸洗室运送到检测系统前，工业相机扫码枪对标签进行扫描，将待测试样信息传递至系统记录，通过显示台控制面板将箱门打开，无人运输车将待测试样移动至检测装置内部，按控制面板上“寻零点”按钮确保相机处于中心位置，通过检测装置将无人运输车位置图像传送至监控平台，移动无人运输车确保待测试样处于检测系统中心位置处，关闭箱门；s3、试样图像采集及系统成像检测，工业相机捕捉待测试样图像，获取待测试样种类和尺寸类型信息，检测装置自动调整成像高度，工作人员进一步通过操控系统调节成像质量，实现最佳成像效果，完成图像采集；基于图像分析系统对图片进行分析，确定待测试样存在哪些类型的缺陷，并提取缺陷量化信息：尺寸和数量，参照gb/t1979-2001等国家标准和yb/t153-2015等行业标准建立的评价规则，结合冶金理论模型实现对缺陷进行数字化评级处理，最终将缺陷信息及评级结果显示在监控系统并储存数据；s4、检测完成，检测装置待测试样检测完成后，箱门打开，无人运输车将检测完试样运送至样品入堆场。
11.优选地，检测系统包括无人运输车agv、监控系统平台、硬件系统、电气控制单元，
其中硬件系统包含工业相机、微距相机、高精度3d相机、激光设备、扫码枪传感器；电气控制单元包含plc、电源、机械结构和防护隔热模块；所述高精度3d相机包括镜头、光源、滤镜。
12.优选地，无人运输车agv通过在酸洗室和检测系统之间建立电磁自动引导装置，结合电脑终端配合控制，实现沿规定的导引路径行驶。
13.优选地，工业相机、微距相机、高精度3d相机均固定安置于灯罩下方，灯罩安置于移动杆上，箱体内设置y、z两轴滑轨，实现移动杆y、z两方向移动，灯罩设置x轴滑轨，实现相机x轴方向移动。
14.优选地，箱体、检测装置、无人运输车选用防酸材料（例如pph、pp2）并在外部增加防酸涂层，避免酸雾腐蚀设备本身，抑制设备在酸性环境下发生腐蚀，有效延长使用寿命。
15.优选地，采集样品规格待测试样，包括不同生产工艺下的钢材。
16.优选地，试样图像采集及系统成像过程，包括：试样类型及尺寸识别、光源与成像装置调整、表面平整度检测与调整、成像采集四个部分。
17.优选地，钢材低倍试样类型及尺寸识别部分由2d工业相机实现，试样进入低倍组织缺陷检测设备后，相机开始捕捉试样图像，获取当前试样类型及尺寸信息，并根据试样类型及尺寸信息确定核心检测位置。
18.优选地，光源与成像装置调整部分由光源范围及相机清晰度反馈调节和光源及相机自主升降结构装置实现，基于当前钢材低倍试样类型及尺寸信息，首先由工业相机对led灯带光源范围进行捕捉，并对比试样边界，反馈控制调节led灯带光源高度，保证led灯带光源涵盖试样边界，其次根据工业相机捕捉led环形光源，并对比所确定核心检测位置，反馈控制调节环形光源高度，保证环形光源覆盖核心检测位置，最后根据工业相机与微距相机成像清晰度，分别调节工业相机与微距相机高度，调整物距保证成像质量。
19.优选地，表面平整度检测与调整部分由高精度3d相机实现，光源与成像清晰度调节完成后，由高精度3d相机对钢材低倍试样检测面进行扫描成像，并在系统内自动建模，对试样位置进行三维点云分析，以表面高度差评估试样平整度差异，并基于表面高度差信息，通过支撑点配合相机摄像角度连锁调节表面平整度。
20.优选地，成像采集部分由工业相机与微距相机实现，工业相机负责捕捉钢材低倍试样检测面整体图像，微距相机负责捕捉连铸坯枝晶组织、缺陷细节图像，图像获取完成后，需要对数据集图像进行采集及预处理以便后续图像识别工作，图像预处理功能包括，图像去噪、图像增强、阈值分割三部分，首先采用中值滤波算法对受光照及图像采集与传输过程中的干扰信号进行去噪处理，其次采用局域图像增强模型变换对图像进行增强处理，避免图像整体灰度偏低问题，最后基于滑窗法对图像进行图像分割，划分为缺陷区域和无缺陷区域，保证后续缺陷特征提取与分析顺利进行。
21.优选地，图像增强处理过程包括图像增强与图像质量评价，首先基于局域图像增强模型，根据待处理图像灰度值进行图像增强处理，lge模型变换函数可以表示为：其中， 代表待处理图像点的灰度值，代表全局平均灰度值，代表窗口内平均灰度值，代表加窗口后的局部标准差，参数a,b,c,k为图像增强效果因子；
图像质量评价函数为：其中，代表增强后的图像，代表由一阶微分边缘检测算子得到的边缘像素数， 代表图像边缘强度，代表图像熵值，为图像最大坐标数。
22.优选地，图像阈值分割为多阈值分割过程，根据不同区域灰度值对图像进行分割，假设，灰度范围为[0,l-1]，共有n个阈值（），共分为区域，分割过程可表示如下：
…
其中，灰度值范围为，灰度值范围为 。
[0023]
优选地，图像阈值分割过程中，阈值根据子图类间方差最大选定最优阈值。
[0024]
优选地，采用resnest网络提取铸坯组织缺陷，引入特征图注意力模块，可以让注意力跨特征图组，聚焦钢材试样低倍缺陷重要特征，从而更好地进行学习；网络的输入端为经过预处理后的图像数据，输出端为待检测试样的缺陷尺寸、数量、缺陷位置、形貌和等级。
[0025]
优选地，基于resnest网络输出上采用多任务方式，支持输出分类、数值回归、目标检测框、语义分割多种输出格式。
[0026]
优选地，输入大小为特征图，将待检测钢材试样低倍缺陷特征图沿通道数划分为组，将得到的特征图成为基数组，在基数组分组的基础上将特征图进一步的分为组，表述基数组内分裂数，因此特征组总数为，第个分支到第个分支的特征图之和，大小为，然后按做全局平均值池化，就获得了第组特征图；继而，对k个分组做通道注意力：；继而，对k个分组做通道注意力：是通道权重的向量，表示每个切片的权重，表示每一个基数群有多少个切片，表示第 个基数群，为基数超参数，表示每一个切片有多少个通道，分支特征图与对应权重相乘，得到第组卷积通过注意力模块学习到的特征图的第 维通道 ： 表示的是第个分支的输出，将组表示形式沿通道维度连接起来：然后将基数组的特征沿通道维度连接起来，特征图注意力模块与标准残差块一
样，其最终输出是使用快捷连接生成的，输入和输出特征图形状相同，再通过concatenate函数进行数组拼接后，用一个1
×
1的卷积转换成输入特征图相同的大小，最后将其与输入特征图进行相加；输出的y再同时输入第一分支和第二分支，第一分支包括一个全连接层，用于输出待检测试样的缺陷等级，第二分支包括一个回归函数，用于输出待检测试样的缺陷位置、尺寸大小、面积、数量、分布信息。
[0027]
优选地，所述系统包括：缺陷识别模块、基于resnest网络建立的缺陷检测模型、接收模块、预处理模块和输出模块；其中：所述缺陷识别模块，用于识别钢材试样低倍缺陷的数量、尺寸及密集程度等局部特征，同时也能兼顾裂纹的大小和所在位置等全局特征；所述基于resnest网络建立的缺陷检测模型，用于同时进行钢材试样多种缺陷识别任务，综合利用全部缺陷的数据，提高运行计算效率；所述接收模块，用于接收广角相机采集的完整铸坯图像以及微距相机采集的铸坯局部图像；所述预处理模块，用于对接收模块采集的图像进行预处理，在保留缺陷信息的同时增强和去除干扰区域；所述缺陷输出模块，用于将预处理后的图像数据输入缺陷检测模型，得到该试样的缺陷位置、形貌和等级，在交互界面可视化显示缺陷信息。
[0028]
与现有技术相比，本发明具有以下有益效果：本发明一种基于机器视觉的钢材低倍数字化检测方法集成制样输送、图像采集、缺陷识别和数据整理功能，具有小型化、自动化、安全化、高效化以及实时人机交互设计特点，实现操作人员高度自动化控制作业，减少操作人员工作强度以及作业的酸性环境对操作人员身体的危害。提升检测过程的自动化、智能化、精确化和安全化程度，以图像处理技术为基础对钢材低倍试样检测面缺陷进行检测和分类，并且将缺陷信息数字化，有效提高企业的生产效率。
附图说明
[0029]
图1是一种基于机器视觉的钢材低倍数字化检测方法流程图；图2是无人运输车运输钢材低倍试样示意图；图3是一种基于机器视觉的钢材低倍数字化检测方法检测装置示意图；图4是工业相机拍摄连铸坯图像；图5是本发明基于resnest提取钢材低倍组织缺陷的网络结构示意图。
具体实施方式
[0030]
以下，参照附图对本发明的实施方式进行说明。
[0031]
以连铸圆坯为例将加工切割完成30~100mm厚度的连铸坯试样按照一种基于机器视觉的钢材低倍数字化检测方法流，流程如图1所示，吊运至酸洗中心，对连铸坯进行刷洗预处理后，浸入至酸洗槽中进行腐蚀，去除表面上的氧化皮和锈蚀物，对酸洗后的连铸坯进行最终清洗去除残留的酸液避免继续腐蚀。在最终表面吹干环节，确保连铸坯表面保持干燥的环境后，对连铸坯粘贴产品信息标签，放置在无人运输车上，如图2所示。无人运输车(agv)通过在酸洗室
和检测系统之间建立的电磁自动引导装置，并根据电脑终端控制，沿规定的导引路径行驶将连铸坯准确运送至检测系统前，基于机器视觉的钢材低倍数字化检测方法检测系统装置，如图3所示。检测系统包括硬件系统、无人运输车、监控系统平台，电气控制单元，硬件系统包含工业相机、微距相机、高精度3d相机、激光设备、扫码枪传感器；其中工业相机、微距相机、高精度3d相机固定安置于灯罩下方，灯罩安置于移动杆上，箱体内设置y、z两轴滑轨，实现移动杆y、z两方向移动，灯罩设置x轴滑轨，实现相机x轴方向移动，电气控制单元包含plc、电源、机械结构和防护隔热模块。检测系统标识扫码枪对标签进行扫描，将连铸坯信息传递至系统记录，箱门打开后，无人运输车将连铸坯移动至检测装置内部，控制面板上“寻零点”按钮控制检测装置、灯罩、移动杆进行x、y、z三轴方向移动，确保相机处于中心位置。检测装置将无人运输车位置图像传送至监控平台，移动无人运输车确保待测试样处于检测系统中心位置处，关闭箱门。工业相机通过捕捉连铸坯图像，获取种类和尺寸类型信息后自动调整成像高度，进一步通过操控系统调节成像质量，实现最佳成像效果，完成照片拍摄图像采集。基于图像分析系统对于图片进行分析，确定存在哪些类型的缺陷，缺陷的量化信息以及对缺陷进行评级处理，最终将分析结果显示在监控系统并储存数据。连铸坯检测完成后，箱门打开，无人运输车将检测完连铸坯运送至样品入堆场。
[0032]
连铸坯进入检测装置后，2d工业相机开始捕捉连铸坯图像，如图4所示，之后根据连铸坯图像在系统内连铸坯生产数据库搜索，获取当前连铸坯类型及尺寸信息，并根据连铸坯类型及尺寸信息确定核心检测位置为心部50
×
50mm方形区域。识别完成后，首先由工业相机对led灯带光源范围进行捕捉，并对比连铸坯边界，反馈控制调节led灯带光源高度，保证led灯带光源涵盖连铸坯边界，其次根据工业相机捕捉led环形光源，并对比所确定核心检测位置，反馈控制调节环形光源高度，保证环形光源覆盖核心检测位置，最后根据工业相机与微距相机成像清晰度，分别调节工业相机与微距相机高度，调整物距保证成像质量。光源与成像清晰度调节完成后，高精度3d相机开始对铸坯表面进行扫描成像，并在系统内自动建模，对铸坯位置进行三维点云分析，以表面高度差评估铸坯平整度差异，并基于表面高度差信息，通过支撑点配合相机摄像角度连锁调节表面平整度。平整度调整完成后，工业相机开始捕捉连铸坯表面整体图像，微距相机开始捕捉连铸坯表面枝晶组织图像，图像获取完成后，开始对数据集图像进行采集及预处理以便后续图像识别工作，图像预处理功能包括，图像去噪、图像增强、阈值分割三部分，首先采用中值滤波算法对受光照及图像采集与传输过程中的干扰信号进行去噪处理，其次采用局域图像增强模型变换对图像进行增强处理，避免图像整体灰度偏低问题，最后基于滑窗法对图像进行图像分割，划分为缺陷区域和无缺陷区域，保证后续缺陷特征提取与分析顺利进行。
[0033]
其中图像增强处理过程包括图像增强与图像质量评价，首先基于局域图像增强模型，根据待处理图像灰度值进行图像增强处理，局域图像增强模型变换函数可以表示为：型，根据待处理图像灰度值进行图像增强处理，局域图像增强模型变换函数可以表示为：代表待处理图像 点的灰度值，代表全局平均灰度值，代表窗口内平均灰度值，代表加窗口后的局部标准差，参数a,b,c,k为图像增强效果因子。
[0034]
图像质量评价函数为：
ꢀ
代表增强后的图像，代表由一阶微分边缘检测算子得到的边缘像素数，代表图像边缘强度，代表图像熵值，为图像最大坐标数。
[0035]
其中图像阈值分割为多阈值分割过程，根据不同区域灰度值对图像进行分割，假设，灰度范围为[0,l-1]，共有n个阈值（），共分为区域，分割过程可表示如下：
…ꢀ
灰度值范围为，灰度值范围为。阈值根据子图类间方差最大选定最优阈值。
[0036]
在铸坯组织缺陷识别模型方面，采用resnest作为主干网络，模型结构如图5所示，resnest模型是在resnet模型基础上进一步优化，能够进一步改善组织表征特性，优化多个下游任务功能，此外，还引入了多任务和特征图注意力模块，每个网络块均由不同的卷积组成，能更好的自适应提取连铸坯的晶体颗粒和夹杂物的大小及密度等局部特征，同时也能兼顾裂纹的大小和所在位置等全局特征，在算法的输出上采用了多任务方式，支持输出分类、数值回归、目标检测框、语义分割等多种输出格式，能够满足连铸坯的多种缺陷识别任务。将待检测铸坯经过拍摄预处理后的图像调整为w*h*c的大小，输入到网络模型中，将待检测铸坯缺陷特征图分为k组，基于此分组将特征进一步的分为r组，总的分组数为 ，注意力模块r组逐元素相加，按k来进行分组，然后按k做全局平均值池化，在通道维度上对每组进行拼接操作，与标准残差块中一样，如果输入和输出特征图共享相同的形状，则我们的注意力模块输出y是使用残差连接生成的，最后输出为。在算法的输出上采用了多任务方式，相比普通的单任务算法，能更好的综合利用全部缺陷的数据，大大减少对现场数据采集的依赖、在运行效率上也是成倍增加，大大的减少现场服务器所需的硬件成本和体积。分支通过回归函数，优选sigmoid函数，得到待检测钢材的缺陷位置、大小，如图5所示。
[0037]
以上所述的实施例仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。