一种基于深度学习的废钢判级方法

1.本发明属于废钢判级领域，尤其是涉及一种基于深度学习的废钢判级方法。


背景技术：

2.随着钢铁产量不断增加，每天也会有大量的废钢产生。所谓废钢，就是在生产生活的过程中，淘汰或者损坏的作为回收利用的废旧钢铁，分为废钢、废铁、冶金废渣、氧化废料等，这些都统称为废钢。
3.本着物尽其用的原则，废钢供应部门必须通过加工手段，把不同种类和不同规格的废钢，按照炼钢生产要求，加工成为规格对路的炉料。在加工的同时要把能够直接利用的型材、钢板等挑选出来，经过剪切、气割加工以后，作为直接生产用料，从而提高废钢的利用价值。
4.目前大部分钢铁公司的废钢的回收分类还是靠人力完成，凭借个人经验与主观判断来把废钢按照其外形尺寸(一般为厚度)分为重型废钢、中型废钢等。这种方法不但极其依赖判断者的经验和状态，还容易产生廉洁问题，影响回收分类的效率。
5.为了减少人力物力的消耗、提高回收分类的效率，可以将深度学习引入废钢判级中。现有的基于深度学习的废钢判级方法，如申请号为202110527787.7的中国专利文献公开了“一种人工智能废钢扣杂评级方法及系统”，申请号为202110527787.7的中国专利文献公开了一种基于视频监控的废钢车厢等级判定方法。以上两种方法均没有除去重复检测的结果(钢爪/吸盘每次只会抓取车厢中的部分废钢，因此同一块废钢可能出现在不同图片中)，而这会导致判级的错误率大大增加。
6.因此，需要设计一种准确率高、安全性高、稳定性好的判级方法，实现基于深度学习的废钢判级。


技术实现要素：

7.本发明提供了一种基于深度学习的废钢判级方法，可以实现对废钢的有效准确判级。
8.一种基于深度学习的废钢判级方法，包括以下步骤：
9.(1)采集多个整车废钢卸载的视频数据，从每个视频数据中抽取多个关键图像帧后对废钢等级进行人工标注，使用数据扩增的方法对图像帧进行扩充，并将扩充后的数据集随机划分为训练集和测试集；
10.(2)将训练集和测试集中的所有图片归一化；
11.(3)构建判级模型，所述的判级模型包括时空信息分离网络和改进的时间信息融合网络；其中，所述的时空信息分离网络用于从输入的图片中提取一系列高维特征，在整车废钢全部卸载后，将时空信息分离网络提取的特征输入改进的时间信息融合网络，获得整车判级结果；
12.(4)利用训练集对判级模型进行训练，得到训练完成的判级模型；
13.(5)对于待判级的废钢，利用摄像机拍摄整车废钢卸载的视频，截取视频帧输入训练完的判级模型，得到最终的废钢判级结果。
14.步骤(1)中，使用数据扩增的方法具体为：对图片随机采用随机旋转、水平翻转和随机裁剪方法中的一种，进行数据扩增。将扩充后的数据集的80％作为训练集，20％作为测试集。
15.数据扩增的目的是使得训练数据尽可能的接近测试数据，从而提高预测精度，另外数据扩增可以使网络学习到更鲁棒性的特征，从而使模型拥有更强的泛化能力。这样可以有效防止模型过拟合。
16.步骤(2)中，将训练集和测试集中的所有图片归一化的具体步骤为：
17.首先对训练集进行零均值化，即计算特征的均值其中x(i)表示训练集中的第i个数据；再用x-μ代替原训练集x，使得训练集中的每个数据特征的均值为0；接着对零均值化后的训练集进行归一化方差，即计算特征的方差其中x
′(i)表示零均值化后的训练集中的第i个数据，再用代替零均值化后的训练集x
′
，使得训练集中的每个数据特征的方差为1；此外，对于测试集采用相同的归一化方法，并且需要采用与训练集相同的μ和σ2。
18.步骤(3)中，所述的时空信息分离网络采用resnet50网络，以拍摄同一辆车厢上的废钢的一组关键图像帧为单次的输入，假设每次输入n张rgb三通道图片，大小为h
×
w，则先通过resnet50提取图片中废钢的等级分布信息，得到n个大小为nh×nw
、通道数为nc的特征图。再经过特征拼接得到了一辆车厢上的废钢特征信息。
19.所述改进的时间信息融合网络具体结构如下：
20.首先使用4个带有n
×1×
1的3dcnn处理时空信息分离网络中得到的特征，其中3d卷积层的步长为1，填充为1
×0×
0；接着再用一个2d池化层对3dcnn的输出进行最大池化；最后用展平层和全连接层处理池化层的输出，得到该车厢上废钢的分类结果，具体输出为一个onehot形式的主料种类向量。
21.步骤(4)中，对判级模型进行训练时使用反向传播算法。可以使用大规模数据集上的预训练模型进行微调，优化器包括但不限于sgd。
22.步骤(5)中，得到最终的废钢判级结果转换为固定格式的文档或输出到终端。
23.与现有技术相比，本发明具有以下有益效果：
24.本发明的废钢判级方法可以减少人力物力的消耗，提高回收分类的效率，并且会除去重复检测的结果(钢爪/吸盘每次只会抓取车厢中的部分废钢，因此同一块废钢可能出现在不同图片中)，大大降低判级的错误率。针对不同的深度学习网络模型性能的差异性，本发明融合了改进后的resnet50、3dcnn等网络模型，与单个模型相比，对废钢主料判级的准确率可以稳定在80％以上，实现了废钢的准确判级，达到了工业应用要求。
附图说明
25.图1为本发明一种基于深度学习的废钢判级方法中判级模型的网络架构图；
26.图2为本发明判级模型中改进的时间信息融合网络架构图；
27.图3为本发明模型训练过程中训练误差和主料判级准确率的变化曲线图；
28.图4为本发明实施例中所采用的客户端操作流程；
29.图5为本发明实施例中模型训练完成后系统的实际工作流程图。
具体实施方式
30.下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
31.一种基于深度学习的废钢判级方法，包括以下步骤：
32.步骤1、使用随机旋转、水平翻转和随机裁剪方法进行数据扩增，再随机划分数据集，其中80％作为训练集，20％作为测试集。
33.具体如下：本实施例采用的服务器显卡型号为nvidia tesla t4 16g显存gddr6/gpu套件。为了减小显存的压力，数据库由基于均匀抽帧算法抽取的关键帧构成，总计1542张，这些关键帧分为60组，每一组关键帧描述的是从同一个车厢上卸载废钢的场景，并且每一张关键帧都是rgb三通道形式，大小为800
×
1344。
34.对原始数据集中的每张图片随机采用随机旋转、水平翻转和随机裁剪方法中的一种，进行数据扩增，数据扩增的目的就是使得训练数据尽可能的接近测试数据，从而提高预测精度，另外数据扩增可以使网络学习到更鲁棒性的特征，从而使模型拥有更强的泛化能力，这样可以有效防止模型过拟合。再对扩充后的数据集进行随机划分，其中80％作为训练集，20％作为测试集。
35.步骤2、将训练集中的所有图片归一化，加快训练速度，具体如下：首先对训练集进行零均值化，即计算特征的均值其中x(i)表示训练集中的第i个数据，再用x-μ代替原训练集x，使得训练集中的每个数据特征的均值为0。接着对零均值化后的训练集进行归一化方差，即计算特征的方差其中x(i)表示零均值化后的训练集中的第i个数据，再用代替零均值化后的训练集x
′
，使得训练集中的每个数据特征的方差为1。
36.此外，测试集也需要归一化，并且需要采用与训练集相同的μ和σ2。这样可以使用较大的学习率，加快训练速度。
37.步骤3、构建判级模型，判级模型包括时空信息分离网络和改进的时间信息融合网络。其中，时空信息分离网络用于从输入的图片中提取一系列高维特征，在整车废钢全部卸载后，将时空信息分离网络提取的特征输入改进的时间信息融合网络，获得整车判级结果。
38.具体的，如图1所示，时空信息分离网络采用resnet50网络，不同于一般的特征提取，此算法针对应用场景的特殊性(不同图片中的废钢具有共同的空间特征)，以拍摄同一
辆车厢上的废钢的一组关键图像帧为单次的输入，假设每次输入n张rgb三通道图片，大小为h
×
w，则先通过resnet50提取图片中废钢的等级分布信息，得到n个大小为nh×nw
、通道数为nc的特征图。再经过特征拼接得到了一辆车厢上的废钢特征信息。此算法简化了网络间时空信息的融合流程，提高了计算速度。并且可以通过预训练特征提取网络，加快模型的训练速度，在数据较少时也有较强的泛化能力。
39.在整车废钢全部卸载后，使用改进的时间信息融合网络，处理上一步获得的特征，获得整车判级结果。具体如下：对于resnet50提取到的特征，本发明采用带有3
×1×
1的卷积核算子的3dcnn融合各个图像信息，并输出分类结果，具体输出为一个onehot形式的主料种类向量。如图2所示，首先使用4层带有3
×1×
1的3d卷积层处理上一步中得到的特征，其中3d卷积层的步长为1，填充为1
×0×
0。接着再用一个2d池化层对3dcnn的输出进行最大池化。最后用展平层和全连接层处理池化层的输出，得到该车厢上废钢的分类结果。
40.此算法在使用3d卷积网络时，针对应用场景的特殊性，使用3
×1×
1的卷积核算子，保证前一网络输出的空间信息不被破坏，只更新同一位置上的时间信息。
41.步骤4，对判级模型进行训练，模型评价指标是主料判级准确率。模型训练过程中的训练误差和主料判级准确率变化曲线如图3所示，随着迭代次数的增加，训练误差总体呈下降趋势，主料判级准确率稳定在80％以上。
42.步骤5、保存判级结果，并转换为固定格式的文档或输出到终端上。另外，废钢回收时工作人员需要对废钢判级系统运行情况进行了解，为了方便用户实时监控和查看数据，系统提供客户端软件给用户使用，期间客户端与服务器之间保持着tcp协议通讯。若用户想获取实时数据和对硬件进行控制，在个人电脑上运行客户端软件与服务器建立连接，就能够获取相关数据和发送对应指令，客户端的操作流程如图4所示。
43.本发明方法中所有涉及到的算法，均需要使用实际图片与人工标注进行训练，其中数据进行了一定程度的扩增。训练使用反向传播算法，可以使用大规模数据集上的预训练模型进行微调。优化器包括但不限于sgd。
44.在模型训练完成后，实际使用时的废钢判级系统工作流程如图5所示。
45.以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。