一种钢铁冷轧退火炉元器件多目标自动测温与预警方法

1.本发明涉及金属冶炼技术领域，具体为一种钢铁冷轧退火炉元器件多目标自动测温与预警方法。


背景技术：

2.由于在网络上没有开源的钢铁企业退火炉关键元器件图像，需要通过人工拍摄采集获得图像作为模型训练的基础数据集，并且需要进行数据集的人工标注工作，再通过数据增强的方法对数据集进行扩充。由于需要增强模型的泛化性与精确程度，所以需要采集多种角度、不同光照强度下的元器件图像；通过前期的数据采集工作获得的元器件图像数据集，相较于一些网络上开源的机器视觉训练数据集来说，关键目标的特征相对不那么明显。在使用自主构建的符合真实场景的训练数据集完成目标检测算法与图像语义分割算法的训练过程中，如何选择在精度、速度等方面都具备优势的基础模型或网络，构建鲁棒的目标检测与图像语义分割模型；
3.结合现场实际工况，需要使用红外热成像摄像头采集的退火炉关键元器件的图像信息，并且基于实时目标检测与图像语义分割等多源图像解析技术，计算各元器件的实时温度，并实现温度异常检测功能。如何将目标检测与图像语义分割输出的目标与元器件轮廓结果与红外热成像摄像头采集图像相结合，以获得各个元器件的像素区域，计算对应元器件的温度；鉴于此，我们提出了一种钢铁冷轧退火炉元器件多目标自动测温与预警方法。


技术实现要素：

4.针对现有技术的不足，本发明提供了一种钢铁冷轧退火炉元器件多目标自动测温与预警方法，解决了上述背景技术提到的问题。
5.为实现以上目的，本发明通过以下技术方案予以实现：一种钢铁冷轧退火炉元器件多目标自动测温与预警方法，该自动测温与预警方法包括以下步骤：
6.s1：采集退火炉关键元器件图像数据，通过多角度拍摄待检测的元器件获取更为有效的特征信息；基于labelme开源标注工具研究确定适用于本发明的样本标注方法，制定电机、减速机、轴承的元器件标注的准则，进行数据集目标识别与语义分割任务所需特征的精细化标注；
7.s2：退火炉元器件目标检测算法开发过程，基于yolov3模型开发退火炉元器件目标检测算法；
8.s3：退火炉元器件图像语义分割算法开发的过程，使用fcn模型对图像进行像素级的分类，进而对元器件图像进行语义级别的图像分割；
9.s4：在炉辊一侧的通道部署滑轨，将红外热成像摄像头在滑轨上匀速移动拍摄得到每个炉辊的红外热图像。根据红外热图像提供的每个像素的温度，结合通过目标检测与图像分割算法获得的各个元器件的像素区域，通过平均加权算法计算各个元器件的实时温度；
10.s5：通过分析各个元器件的历史温度，设计温度异常检测算法；分析统计部件的历史温度，计算过去一段时间内的最高、最低和平均温度，从而计算出当前时刻该元器件的正常温度范围，继而判断该元器件当前的温度是否处于正常温度范围内。如若不然，则判定该元器件当前温度异常，发出报警。
11.优选的，步骤s1数据采集及预处理的过程还包括：
12.s11、通过人工在多角度、不同明暗状态下拍摄退火炉元器件照片，覆盖所有关键检测元器件，模拟多种实装后红外摄像头的拍摄角度；
13.s12、通过业务调研分析，制定各个关键特征如目标检测过程中的关键目标、图像语义分割过程中的元件覆盖区域的标注准则；
14.s13、根据业务调研分析及退火炉元器件目标特征，对元器件图像数据集采用翻转、随机修剪、平移变换、尺度变化、噪声扰动的数据增广技术，对数据集进行预处理。
15.优选的，步骤s2退火炉元器件目标检测算法开发过程还包括：
16.s21、根据退火炉元器件目标识别需要的目标数、目标尺寸及定位要求的特性，综合实际业务中对模型推理速度与结果精确度的要求，进行目标检测模型或网络的选取。
17.优选的，步骤s2进一步还包括：
18.s22、yolov3模型仅使用卷积层，采用darknet-53特征提取网络，它包含53个卷积层，每个后面跟随着批标准化层和leaky relu层；
19.s23、yolov3算法同时在darknet-53网络中加入了残差模块。
20.优选的，步骤s3退火炉元器件图像语义分割算法开发的过程还包括：
21.s31、根据对退火炉元器件的多源图像解析任务要求，综合实际业务中对模型推理速度与结果精确度的要求，进行图像语义分割模型的选取，对比试验结果，选定fcn模型作为退火炉元器件图像语义分割任务的基础模型。
22.优选的，步骤s3进一步的还包括：
23.s32、在fcn模型中，输入模型的图像经过多个卷积层和一个最大池化层，变为特征图pool1，宽高变为1/2；特征图pool1再经过经过多个卷积层和一个最大池化层特征图pool2，宽高变为1/4；生成特征图pool5，其宽高变为1/32。而网络的第6层和第7层分别是一个长度为4096的一维向量，第8层是长度为1000的一维向量，分别对应1000个不同类别的概率；
24.s33、生成热图之后，需要对其进行上采样过程，把图像进行多次放大，直到还原为原图像的大小。
25.优选的，步骤s4元器件实时温度检测的过程还包括：
26.s41、综合目标检测方案与图像语义分割算法，实现退火炉元器件多元图像解析方案，以目标检测算法实现退火炉元器件的检测定位，以图像语义分割算法确认每个元器件的准确轮廓；
27.s42、将经过多元图像解析中的目标检测与实例分割算法生成的实例分割图像与红外热成像摄像头传回的图像进行图像矩阵对齐。
28.优选的，步骤s4进一步的包括：
29.s43红外热成像摄像头拍摄红外热图像，摄像头内部算法会对图像进行计算处理，输出每个像素点的温度t_p，其中p表示像素点，目标检测与图像分割算法会对图像进行目
标检测与图像分割，从而获得各个元器件的像素区域obji，表示第i个元器件的像素区域，然后通过平均加权算法，求出各个部件的实时温度，计算公式如下：
[0030][0031]
式中：mi表示第i个元器件区域内的像素个数。
[0032]
优选的，步骤s5元器件实时温度状态判定的过程还包括：
[0033]
s51、通过s4步骤中计算得到每个元器件的实时温度并记录，通过统计分析每个元器件在过去t时刻的温度c
it
，计算出过去一段时间内的最高、最低和平均温度，分别记为maxi、mini和averi，从而计算出当前时刻该元器件的正常温度范围。
[0034]
s52、通过实时检测每个元器件的温度与计算得到的正常温度范围比较，判断元器件当前温度是否正常，对于异常状态需要发出报警。
[0035]
本发明提供了一种钢铁冷轧退火炉元器件多目标自动测温与预警方法。具备以下有益效果：
[0036]
该钢铁冷轧退火炉元器件多目标自动测温与预警方法，基于红外热成像摄像头和人工智能技术相结合的自动温度监测系统，并采用基于机器视觉技术的目标检测和图像语义分割算法，获得实时设备元器件图像。在获取现场实测数据的基础上，基于红外热成像摄像头获取关键元器件的实时温度数据，并开发温度异常检测算法，从而判断设备的运行状态并及时对设备异常进行预警。
附图说明
[0037]
图1为本发明目标检测yolov3模型网络结构图；
[0038]
图2为本发明图像语义分割fcn模型网络结构图；
[0039]
图3为本发明图像解析效果与红外热成像摄像头实拍图；
[0040]
图4为本发明元器件位置与温度推断流程示意图。
具体实施方式
[0041]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0042]
请参阅图1-图4，本发明提供一种技术方案：一种钢铁冷轧退火炉元器件多目标自动测温与预警方法，该自动测温与预警方法包括以下步骤：
[0043]
s1：采集退火炉关键元器件图像数据，通过多角度拍摄待检测的元器件获取更为有效的特征信息；基于labelme开源标注工具研究确定适用于本发明的样本标注方法，制定电机、减速机、轴承的元器件标注的准则，进行数据集目标识别与语义分割任务所需特征的精细化标注；对数据集采用翻转、随机修剪、平移变换、尺度变化、噪声扰动的数据增广技术进行预处理，以提高模型的泛化能力。
[0044]
具体的，步骤s1包括：
[0045]
s11、通过人工在多角度、不同明暗状态下拍摄退火炉元器件照片，覆盖所有关键检测元器件，模拟多种实装后红外摄像头的拍摄角度；
[0046]
s12、通过业务调研分析，制定各个关键特征如目标检测过程中的关键目标、图像语义分割过程中的元件覆盖区域的标注准则；使用labelme软件对千余张退火炉元器件图像进行标注；
[0047]
s13、根据业务调研分析及退火炉元器件目标特征，对元器件图像数据集采用翻转、随机修剪、平移变换、尺度变化、噪声扰动的数据增广技术，对数据集进行预处理，以在模型训练过程中提高模型的泛化能力。
[0048]
s2：根据退火炉关键元器件数据集目标特征，基于yolov3模型开发退火炉元器件目标检测算法；yolov3是兼具模型推理速度与精确度的小物体目标检测算法；算法使用一个单独神经网络作用在图像上，将图像划分多个区域并且预测边界框和每个区域的概率。
[0049]
具体的，步骤s2包括：
[0050]
s21、根据退火炉元器件目标识别需要的目标数、目标尺寸及定位要求的特性，综合实际业务中对模型推理速度与结果精确度的要求，进行目标检测模型或网络的选取；对比试验结果，最终选定在保持yolo家族算法速度优势的同时，对小目标识别精度进一步提升的yolov3模型作为基础模型；yolo创造性的提出了one-stage，也就是将物体分类和物体定位在一个步骤中完成，并直接在输出层回归边框所在位置和边框所属类别，从而实现one-stage；通过这种方式，可实现45帧/秒的运算速度，可以满足实时性要求；
[0051]
s22、yolov3模型仅使用卷积层，采用darknet-53特征提取网络，它包含53个卷积层，每个后面跟随着批标准化层和leaky relu层，没有池化层，使用步幅为2的卷积层替代池化层进行特征图的下采样过程，这样可以有效阻止由于池化层导致的低层级特征的损失；
[0052]
s23、yolov3算法同时在darknet-53网络中加入了残差模块，这样有利于解决深层次网络的梯度问题，每个残差模块由两个卷积层和一个直接链接组成。如果输入416*416*3的图像，通过darknet-53网络将得到三种不同尺度的预测结果，每个尺度都对应n个通道，包含着预测的信息。yolov3共有13*13*3 26*26*3 52*52*3个预测；每个预测对应85维，分别是4(坐标值)、1(置信度分数)、80(coco类别数)；yolov3模型网络结构如图1所示。
[0053]
s3：根据退火炉关键元器件数据集目标特征，使用fcn模型对图像进行像素级的分类，进而对元器件图像进行语义级别的图像分割。fcn模型采用反卷积层对最后一个卷积层的特征图进行上采样，使它恢复到输入图像相同的尺寸，从而可以对每个像素都产生一个预测，同时保留了原始输入图像中的空间信息。再通过上采样过程，对上采样后的特征图进行逐像素分类。最后逐个像素计算softmax分类的损失，这个过程相当于每个像素对应一个训练样本，最终实现对每个像素的实例分割。
[0054]
具体的，步骤s3包括：
[0055]
s31、根据对退火炉元器件的多源图像解析任务要求，综合实际业务中对模型推理速度与结果精确度的要求，进行图像语义分割模型的选取。对比试验结果，选定fcn模型作为退火炉元器件图像语义分割任务的基础模型。对于一般的分类cnn网络，网络的最后通常需要加入一些全连接层，经过softmax后就可以获得类别概率信息；fcn模型将网络后向的全连接曾都替换为卷积层，这样就可以获得一张二维的特征图，最后经过softmax层获得每
个像素点的分类信息，从而获得了二维的概率信息，由此解决了语义分割问题；
[0056]
s32、在fcn模型中，输入模型的图像经过多个卷积层和一个最大池化层，变为特征图pool1，宽高变为1/2；特征图pool1再经过经过多个卷积层和一个最大池化层特征图pool2，宽高变为1/4；利用相同处理过程，最终生成特征图pool5，其宽高变为1/32。而网络的第6层和第7层分别是一个长度为4096的一维向量，第8层是长度为1000的一维向量，分别对应1000个不同类别的概率。fcn将这3层表示为卷积层，卷积核的大小(通道数，宽，高)分别为(4096，1，1)、(4096，1，1)、(1000，1，1)，并使用的之前cnn已经训练好的权值和偏置，但是不一样的在于权值和偏置是有自己的范围，属于自己的一个卷积核。因此fcn网络中所有的层都是卷积层，故称为全卷积网络。经过多次卷积和池化以后，得到的图像越来越小，分辨率越来越低。最后一层后所产生高维特征图称为热图。图像语义分割fcn模型网络结构如图2所示；
[0057]
s33、生成热图之后，需要对其进行上采样过程，即把图像进行多次放大，直到还原为原图像的大小。最后的输出是经过上采样的热图生成的原图大小的图像，图像中已对每个像素进行分类预测，并且通过该过程实现像素级的语义分割。
[0058]
s4：在炉辊一侧的通道部署滑轨，将红外热成像摄像头在滑轨上匀速移动拍摄得到每个炉辊的红外热图像。根据红外热图像提供的每个像素的温度，结合通过目标检测与图像分割算法获得的各个元器件的像素区域，通过平均加权算法计算各个元器件的实时温度。
[0059]
具体的，步骤s4包括：
[0060]
s41、综合目标检测方案与图像语义分割算法，实现退火炉元器件多元图像解析方案，以目标检测算法实现退火炉元器件的检测定位，以图像语义分割算法确认每个元器件的准确轮廓。将红外摄像头传入的图像输入图像语义分割网络中，得到输入图像的语义分割图形；再将语义分割图形与元器件目标检测所得的定位结合，选取目标检测位置与语义分割区域在缩放后的交集来优化元器件识别结果所选范围，得到单个元器件的实例分割图像；
[0061]
s42、将经过多元图像解析中的目标检测与实例分割算法生成的实例分割图像与红外热成像摄像头传回的图像进行图像矩阵对齐。图像解析效果图与红外热成像摄像头实拍图如图3所示；同时精确识别红外热成像摄像头图像中每个元器件的位置与轮廓所在的像素区域，再通过平均加权算法计算各个元器件的实时温度。元器件位置与其温度推断流程如图4所示；
[0062]
s43、红外热成像摄像头拍摄红外热图像，摄像头内部算法会对图像进行计算处理，输出每个像素点的温度t_p，其中p表示像素点。目标检测与图像分割算法会对图像进行目标检测与图像分割，从而获得各个元器件的像素区域obji，表示第i个元器件的像素区域，然后通过平均加权算法，求出各个部件的实时温度。计算公式如下：
[0063][0064]
式中：mi表示第i个元器件区域内的像素个数。
[0065]
s5：通过分析各个元器件的历史温度，设计温度异常检测算法。分析统计部件的历
史温度，计算过去一段时间内的最高、最低和平均温度，从而计算出当前时刻该元器件的正常温度范围，继而判断该元器件当前的温度是否处于正常温度范围内。如若不然，则判定该元器件当前温度异常，发出报警。
[0066]
具体的，步骤s5包括：
[0067]
s51、通过s4步骤中计算得到每个元器件的实时温度并记录。通过统计分析每个元器件在过去t时刻的温度c
it
，计算出过去一段时间内的最高、最低和平均温度，分别记为maxi、mini和averi，从而计算出当前时刻该元器件的正常温度范围；
[0068]
s52、通过实时检测每个元器件的温度与计算得到的正常温度范围比较，判断元器件当前温度是否正常。对于异常状态需要发出报警。
[0069]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。