一种基于深度学习的板坯实时检测及宏跟踪方法与流程

1.本发明涉及连铸生产过程信息化技术领域，尤其是一种基于深度学习的板坯实时检测及宏跟踪方法。


背景技术：

2.在板坯连铸生产到热轧的钢铁生产过程中，生产的板坯根据其订单要求被喷上唯一的编号，经mes系统生产调度，经由辊道传输，一是直接传送到加热炉进行下一步热轧生产；二是把板坯暂时存放到板坯库。当板坯在辊道上移动时，调度系统会根据实际需求不定时地发出板坯调度指令，有的板坯直接送到热轧，有的板坯入板坯库，有时还需要用天车从板坯库调板坯到辊道。在使用天车调运板坯时，天车的运行会对辊道上的板坯产生遮挡，还会影响辊道的运行速度，如果没有一套完善的板坯实时检测、跟踪方法及系统，将会出现板坯跟踪信息丢失，从而影响整个连铸连轧生产流程的高效稳定可靠运行。
3.目前较为传统的板坯跟踪方法是基于plc的连铸板坯跟踪系统，该系统在实际运行过程中其红外传感器信号容易误触发，进而对板坯跟踪信号造成干扰，使得跟踪准确率降低；另外，由于传感器长期工作在高温环境中，硬件寿命低，可靠性差，当硬件设备损坏进行维护和更换时，需要暂停产线，导致维护成本较高。所以，为了替代传统的板坯跟踪方法，有必要研发一种基于深度学习的板坯实时检测及宏跟踪方法。


技术实现要素：

4.本发明需要解决的技术问题是提供一种基于深度学习的板坯实时检测及宏跟踪方法，实现板坯在辊道运输过程中全时段、全方位的多板坯实时检测跟踪，包括板坯上下线和天车对板坯遮挡的准确追踪，该方式识别精度更高，跟踪速度更快。
5.为解决上述技术问题，本发明所采用的技术方案是：
6.一种基于深度学习的板坯实时检测及宏跟踪方法，包括以下步骤：
7.步骤1，结合现场连铸区传输辊道实际，分区段安装若干个摄像头实时拍摄整个辊道，并保证相邻摄像头的拍摄区域不重叠；
8.步骤2，完成各摄像头下连铸板坯传输线运行图像数据集的采集，并对每个摄像头的图像分别进行板坯、天车、夹取板坯天车的标注；
9.步骤3，分别使用每个摄像头的数据集进行改进yolov5模型的训练，得到模型的最优权重，进而将优化后的各改进yolov5模型作为各摄像头下的板坯检测优化模型；
10.步骤4，使用板坯检测优化模型检测当前帧现场图像中辊道上的各板坯信息，然后将当前帧的板坯检测结果配合多目标跟踪算法，与前1帧的板坯检测结果进行对比，更新记录各板坯的跟踪id信息；当板坯从某一摄像头拍摄区域运动到下一摄像头拍摄区域时，实现同一板坯在跨摄像头区域时的跟踪id保持不变；
11.步骤5，将板坯调度系统中的板坯信息与步骤4中的各板坯跟踪id进行匹配，当板坯调度系统发送板坯上线、下线指令时，板坯实时检测及宏跟踪系统能够识别板坯在辊道
上的上线、下线操作，及时增删id。
12.本发明技术方案的进一步改进在于：步骤1中，需要安装6个摄像头来拍摄连铸产线全部辊道区域，对每个摄像头采集的图像数据集分别进行训练，得到该组数据最优的检测模型权重；根据辊道区域大小调整摄像头的个数为大于6个或小于6个，以覆盖整个辊道区域。
13.本发明技术方案的进一步改进在于：步骤3中，引入空间和通道注意力模块对yolov5算法的主干网络进行改进，完成板坯特征的提取；引入多尺度特征融合网络对yolov5算法的特征金字塔网络进行改进，使提取的多尺度特征能够有效融合。
14.本发明技术方案的进一步改进在于：步骤4中，将板坯检测优化模型得到的板坯信息作为多目标跟踪算法的输入，使板坯的逐帧检测结果关联起来，进而创建板坯的跟踪轨迹，并为每块板坯赋予一个跟踪id。
15.本发明技术方案的进一步改进在于：所述多目标跟踪算法采用sort算法或deep sort算法。
16.本发明技术方案的进一步改进在于：步骤5中，将板坯调度系统的板坯号信息与板坯跟踪id进行匹配，并对应到每一个跟踪的板坯。
17.本发明技术方案的进一步改进在于：步骤5中，板坯下线，即天车吊走某板坯，板坯实时检测及宏跟踪系统根据板坯调度系统发送的板坯下线信息相应地删除目标板坯；板坯上线，即天车吊来某板坯，板坯实时检测及宏跟踪系统收到板坯调度系统发送的板坯上线信息与新识别到的位于卸板台附近的板坯进行绑定；能够识别天车对板坯的遮挡，保证天车的运行不会造成板坯跟踪信息的丢失。
18.本发明技术方案的进一步改进在于：所述板坯实时检测及宏跟踪系统，是板坯实时检测及宏跟踪方法在服务器计算机上运行构成的系统，能够实现多板坯在辊道上位置的实时检测和同一板坯在跨摄像头区域时的准确跟踪。
19.由于采用了上述技术方案，本发明取得的技术进步是：
20.1、本发明使用机器视觉技术实现了板坯在辊道运输过程中全时段、全方位的多板坯实时检测跟踪，包括板坯上下线和天车对板坯遮挡的准确追踪，该方式识别精度更高，跟踪速度更快；解决了基于plc的传统板坯跟踪方法的不易维修替换、硬件寿命短、可靠性差等问题。
21.2、本发明只需要1台高性能服务器与6个摄像头，易于维护更换，使用成本低，能够保证连铸生产稳定可靠高效运行。
22.3、本发明使用机器视觉技术实时检测和跟踪各板坯在辊道上的运行，并与板坯调度系统实时交互，实现了连铸多板坯运行过程中调用、储存的无人化，为连铸连轧高效生产奠定了坚实基础。
23.4、本发明能够实现多板坯在辊道上位置的实时检测和同一板坯在跨摄像头区域时的准确跟踪。
附图说明
24.图1为本发明实施例中基于深度学习的板坯实时检测及宏跟踪方法的总流程图；
25.图2为本发明实施例中基于深度学习的板坯实时检测及宏跟踪方法的相机安装位
置图；
26.图3为本发明实施例中基于深度学习的板坯实时检测及宏跟踪方法的改进yolov5算法结构图；
27.图4为本发明实施例中基于深度学习的板坯实时检测及宏跟踪方法的sort算法子流程图。
具体实施方式
28.本技术实施例通过提供一种基于深度学习的板坯实时检测及宏跟踪方法，解决了现有技术中存在的基于plc的传统板坯跟踪方法的不易维修替换、硬件寿命短、可靠性差等问题，使用机器视觉技术实现了板坯在辊道运输过程中全时段、全方位的多板坯实时检测跟踪，并与板坯调度系统实时交互，实现了连铸多板坯运行过程中调用、储存的无人化，识别精度更高，跟踪速度更快，为连铸连轧高效生产奠定了坚实基础。
29.需要说明的是，在本发明的描述中，“若干个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
30.下面结合附图及实施例对本发明做进一步详细说明：
31.如图1所示，一种基于深度学习的板坯实时检测及宏跟踪方法，即辊道上所有板坯的跟踪方法，包括以下步骤：
32.步骤1，结合现场连铸区传输辊道实际，分区段安装若干个摄像头实时拍摄整个辊道，并保证相邻摄像头的拍摄区域不重叠；
33.具体的：需要安装6个摄像头来拍摄连铸产线全部辊道区域，对每个摄像头采集的图像数据集分别进行训练，得到该组数据最优的检测模型权重；根据辊道区域大小可调整摄像头的个数为大于6个或小于6个，以覆盖整个辊道区域。
34.步骤2，完成各摄像头下连铸板坯传输线运行图像数据集的采集，并对每个摄像头的图像分别进行板坯、天车、夹取板坯天车的标注；
35.步骤3，分别使用每个摄像头的数据集进行改进yolov5模型的训练，得到模型的最优权重，进而将优化后的各改进yolov5模型作为各摄像头下的板坯检测优化模型；
36.具体的：引入空间和通道注意力模块对yolov5算法的主干网络进行改进，完成板坯特征的提取；引入多尺度特征融合网络对yolov5算法的特征金字塔网络进行改进，使提取的多尺度特征能够有效融合。
37.步骤4，使用板坯检测优化模型检测当前帧现场图像中辊道上的各板坯信息，然后将当前帧的板坯检测结果配合多目标跟踪算法，与前1帧的板坯检测结果进行对比，更新记录各板坯的跟踪id信息；当板坯从某一摄像头拍摄区域运动到下一摄像头拍摄区域时，实现同一板坯在跨摄像头区域时的跟踪id保持不变；
38.具体的：将板坯检测优化模型得到的板坯信息作为多目标跟踪算法的输入，使板坯的逐帧检测结果关联起来，进而创建板坯的跟踪轨迹，并为每块板坯赋予一个跟踪id；所述多目标跟踪算法采用sort(simple online and realtime tracking的缩写)算法或deep sort算法。
39.步骤5，将板坯调度系统中的板坯信息与步骤4中的各板坯跟踪id进行匹配，当板坯调度系统发送板坯上线、下线指令时，板坯实时检测及宏跟踪系统能够识别板坯在辊道
上的上线、下线操作，及时增删id。
40.具体的：将板坯调度系统的板坯号信息与板坯跟踪id进行匹配，并对应到每一个跟踪的板坯。板坯下线，即天车吊走某板坯，板坯实时检测及宏跟踪系统根据板坯调度系统发送的板坯下线信息相应地删除目标板坯；板坯上线，即天车吊来某板坯，板坯实时检测及宏跟踪系统收到板坯调度系统发送的板坯上线信息与新识别到的位于卸板台附近的板坯进行绑定；能够识别天车对板坯的遮挡，保证天车的运行不会造成板坯跟踪信息的丢失。
41.进一步的，所述板坯实时检测及宏跟踪系统，是板坯实时检测及宏跟踪方法在服务器计算机上运行构成的系统，能够实现多板坯在辊道上位置的实时检测和同一板坯在跨摄像头区域时的准确跟踪。
42.实施例
43.本实施例针对2台铸坯连铸机，最终通过一条辊道将连铸板坯传送到热轧机的生产现场，在现场安装了6个摄像头，具体位置如图2所示：6个摄像头保证可以拍摄到整个辊道，并尽量保证相邻摄像头的拍摄区域不重叠。
44.基于现场安装的6个摄像头进行数据采集，并从采集的视频中抽帧截取出图片，每个摄像头约选取15000张图片，总计约90000张图片作为数据集。使用标注软件labelimg将图像标注为三类，分别是“slab”(板坯)、“crane”(天车，即未夹取板坯的天车)、“craneandslab”(已夹取板坯的天车)。标注时尽量将标注框恰好框住目标，在标注完成一张图片后，labelimg软件会生成一个“.xml”文件，该文件包含标注的类别、标注框的尺寸和坐标等信息。由于改进yolov5算法的训练集需使用voc数据集的格式，故还需要将数据集进行格式转换。
45.改进yolov5算法的网络需要生成不同大小的锚框来推理出目标框的大小，本发明中采用的是k-means聚类算法。由于6个摄像头的安装角度以及高度有所不同，成像的目标也会有长宽上的差异，所以每组数据需要单独进行训练，且聚类出的锚框尺寸也不尽相同。
46.改进yolov5算法的输入端采用了mosaic数据增强、自适应锚框计算以及自适应图片缩放的方法。改进yolov5算法融合了其他算法的相关机制，如：在骨干网络中加入了focus与csp(cross stage partial的缩写)结构，以及空间和通道注意力模块；在骨干网络与最后的输出层之间引入了多尺度特征融合的bifpn(bi-directional feature pyramid network的缩写，中文翻译为：双向特征金字塔网络)结构；在输出层使用了边界框回归损失函数diou_loss和用于预测框筛选的nms(non maximum suppression的缩写)算法。改进yolov5算法结构图如图3所示，其流程为：
47.(1)首先将输入的图片经过mosaic数据增强后自适应缩放至640*640大小，然后按设定的minibatch作为卷积网络的输入；
48.(2)依次通过骨干网络进行特征提取、多尺度特征融合网络进行特征融合、输出层分类预测，得到目标预测框的位置、大小以及类别；
49.(3)利用损失函数计算预测框与标注真值之间的误差；
50.(4)通过梯度下降算法迭代更新网络中的权重矩阵和偏置参数，来减少预测框与实际框之间的误差；
51.(5)求取预设迭代次数下损失函数取最小时的权重矩阵和偏置参数；
52.(6)将得到的权重矩阵和偏置参数作为检测阶段的网络参数来求取待检测图片的
预测信息。
53.改进yolov5算法在骨干网络中添加了空间和通道注意力模块cbam(convolutional block attention module的缩写)，来增强复杂背景下板坯的特征表达效果。cbam包括通道注意模块(channel attention module，简称cam)和空间注意模块(spatial attention module，简称sam)，来分别增强通道和空间上的目标特征信息。在yolov5算法的特征金字塔结构中引入了一种更有效的bifpn特征融合结构。
54.改进yolov5算法的损失函数如下：
55.置信度损失和分类损失：
[0056][0057]
其中，focal loss是focal损失函数，α和γ是解决正负样本不均衡问题的两个协调参数，pr是样本的预测值，y是样本类别，y＝1表示是该类别，y＝0表示不是该类别。
[0058]
边界框损失：
[0059][0060]
其中，l
diou
是diou损失函数，b是预测框的中心点，b
gt
是真实框的中心点，ρ2(b,b
gt
)为预测框中心点与真实框中心点的欧氏距离，c表示包含预测框和真实框最小矩形的对角线的欧氏距离。
[0061]
板坯检测模型的训练是通过梯度下降算法迭代更新网络中的权重矩阵和偏置，来减少预测框与实际框之间损失，最后求取预设迭代次数下损失函数取最小时的权重矩阵和偏置的过程。
[0062]
板坯检测模型训练完成后，将其用于板坯传输图像中板坯和天车的检测。在检测过程中，检测速度不低于每秒12帧。
[0063]
sort算法是一种简单的在线实时多目标跟踪算法，它以iou作为前后帧间目标关系度量指标，利用卡尔曼滤波器预测当前位置，通过匈牙利算法关联检测框到目标，应用试探期甄别虚检。sort算法以检测作为关键组件，传播目标状态到未来帧中，将当前检测与现有目标相关联，并管理跟踪目标的生命周期。sort算法采用了两种经典但非常有效的方法，即卡尔曼滤波器和匈牙利方法，来分别处理跟踪问题的运动预测和数据关联部分，这种最低限度的跟踪公式有助于在线跟踪的效率和可靠性。sort算法的算法流程如图4所示。
[0064]
sort算法用一个独立于其他物体和相机运动的线性等速模型来近似每个物体的帧间位移。每个目标的状态建模为：
[0065][0066]
其中，u和v分别代表目标中心的水平和垂直像素位置，而s和r分别代表目标边界框的比例(面积)和纵横比。关联检测到目标后，用检测到的边界框更新目标状态，其中速度分量通过卡尔曼滤波器框架进行优化求解。如果没有与目标相关的检测，则使用线性速度模型简单地预测其状态而不进行校正。
[0067]
将检测框关联到跟踪目标时，预测每个目标在当前帧中的新位置，估计其边界框形状，然后由每个板坯检测结果与现有目标的所有预测边界框之间的交并比(iou)计算分
配成本矩阵,最后使用匈牙利算法对分配进行优化求解。在匹配过程中，拒绝检测与目标重叠小于iou
min
的分配。
[0068]
将改进yolov5算法的检测结果与sort算法进行关联，实现板坯在摄像头视野中的宏跟踪，并对天车进行识别，辨识天车对板坯的遮挡。在单个摄像头实现板坯在整个视野范围内的跟踪之后，对6个摄像头进行联合调试，关联6个摄像头的跟踪信息，使同一板坯在跨摄像头区域时其跟踪id保持不变。最后将调度系统中的板坯信息与该跟踪id进行匹配，实现宏跟踪系统与板坯调度系统的数据关联。
[0069]
板坯调度系统会在板坯进入跟踪监控范围内时向宏跟踪系统发送板坯的信息，宏跟踪系统会添加跟踪id，并绑定板坯信息；当调度系统发送板坯下线指令，天车吊走某板坯后，宏跟踪系统会相应地删除该目标板坯的跟踪id；当调度系统发送板坯上线指令，天车吊来某板坯后，宏跟踪系统将收到的信息与新识别到的位于卸板台附近的板坯进行绑定；板坯运动到跟踪监控范围外，宏跟踪系统会自动删除板坯id，并解除信息绑定。
[0070]
本技术的技术方案也可以经适当组合，形成本领域技术人员可以理解的其它实施方案，凡依本专利权利要求书所做的等同变换，均为本技术权利要求的保护范围。