一种基于多级网络融合的钢板字符检测方法及装置与流程

1.本发明涉及计算机视觉、深度学习、目标检测以及金属表面检测技术领域，特别涉及一种基于多级网络融合的钢板字符检测方法及装置。


背景技术：

2.传统钢铁生产线的钢板字符信息由mes系统下发，由操作工手动确认钢板字符信息是否正确，钢板字符包括面喷及侧喷字符；钢板号信息、标印质量需人工确认。当前，随着智能制造的不断推进，产线向无人化升级日益紧迫，钢板字符识别是产品质量管控流程的重要一环，如何利用图像识别技术进行多种钢板表面字符检测从而替代人工识别是钢铁生产智能化的攻关难点之一。
3.ocr(optical character recognition，光学字符识别)技术是通过扫描等光学输入方式将各种票据、文稿、印刷制品等文字转化为图像信息，再利用文字识别技术将图像信息转化为可以使用的计算机输入技术。利用这一技术，可以直接从影像中提取标号、文字等重要数据，生成所需的新文本，进而代替人的手工录入。因此，其在字符识别领域应用广泛，而钢板表面字符主要由“0、1、2、3、4、5、6、7、8、9”阿拉伯数字、以及“a、b、c、d、e、f、g、h、i、j、k、l、m、n、o、p、q、r、s、t、u、v、w、x、y、z”二十六个英文字母组成，亦属于ocr技术邻域。但不同于其他字符的是，针对工业场景的喷印钢板字符，其主要表现为三种喷印信息形态：钢板表面喷印字符、钢板表面钢印字符、侧面喷印字符。若采用常规ocr识别技术将面临如下问题和技术难点：第一，由于三种形式的字符信息其图像特征存在较大的差异性，利用常规ocr识别技术需要设计三种特定的特征提取器进行字符识别，其算法设计复杂、且泛化性差；第二，工业产品表面光照阴影、镜面反射、杂物遮挡现象，降低了钢板字符成像质量；第三，钢板字符存在模糊、缺失、笔画粘连现象，常规ocr识别技术识别准确率低；第四，钢板喷涂字符存在排列为弧形、方向不定，常规ocr识别容易产生翻转识别；第五，在钢板生产过程中，钢板字符的空间分布结构、上下文语义规则具有特定规律，常规ocr识别技术忽略了空间分布和上下文语义的有价值信息。
4.此外，目标检测进行图像识别的特点是识别数字图像中某一感兴趣目标的类别、并且定位感兴趣目标在数字图像中的位置；同时目标检测技术可作为实例分割、目标追踪等视觉处理任务的基础研究。当前随着深度学习技术在图像识别领域的不断发展，基于目标检测的ocr技术比常规的ocr技术更有优势。常规的ocr技术主要依赖于设计复杂的人工特征提取器的方法实现。与传统构造人工特征提取器的ocr技术相比，基于深度神经网络的目标检测算法实现ocr，其算法结构设计更为简单、能自动提取特征、检测精度高、鲁棒性更好。因此，随着钢铁生产线不断智能化，生产节奏不断提升，有必要在实际钢铁生产过程中，基于深度学习、目标检测技术进行钢板字符识别。但采用基于深度学习的字符识别技术进行钢板字符检测也需解决以下两个问题：第一，在实际钢板生产车间环境中，实际生产环境的大量钢板表面字符样本难以采集。因此，样本数量不足容易造成不同类别缺陷样本数量不平衡，训练过程中容易造成过拟合的问题；第二，针对钢板字符信息的多种表现形态，如
何利用一套检测算法进行多种形态钢板字符信息识别是提高检测效率的关键。若只利用单一的分类网络和目标检测网络进行多种钢板喷涂信息识别，会造成模型实际检测精度偏低。因此，需根据实际生产工艺和检测对象的特征有针对性地设计算法模型。


技术实现要素：

5.本发明提供了一种基于多级网络融合的钢板字符检测方法及装置，以解决现有技术所存在的因样本数量不足而造成不同类别缺陷样本数量不平衡，训练过程中容易过拟合，以及现有技术不适用于多形态钢板字符检测的技术问题。
6.为解决上述技术问题，本发明提供了如下技术方案：
7.一方面，本发明提供了一种基于多级网络融合的钢板字符检测方法，包括：
8.收集钢板字符的图像，并对收集的图像进行标注，以构建钢板字符数据集；
9.利用gan网络对构建的钢板字符数据集进行样本增强，以扩充钢板字符数据集并使得样本分布平衡，得到用于模型训练和测试的样本数据集；
10.构建多级网络融合的钢板字符识别算法模型；
11.基于所述样本数据集，利用迁移学习方法训练所述钢板字符识别算法模型；
12.利用训练好的钢板字符识别算法模型实现钢板字符的在线检测。
13.进一步地，所述收集钢板字符的图像，并对收集的图像进行标注，包括：
14.利用图像采集系统自动收集钢板字符的图像；
15.利用标注工具对所述图像采集系统收集的钢板字符的图像进行标注，并将标注信息保存于标注文本文件中；其中，所述标注信息包括：钢板字符区域位置、钢板字符行的分割信息以及单个字符的位置信息。
16.进一步地，所述图像采集系统收集的钢板字符包括：钢板表面喷印字符、钢板表面钢印字符以及钢板侧面喷印字符中的任意一种或多种的组合。
17.进一步地，所述gan网络以lstm作为生成器，以cnn作为判别器。
18.进一步地，所述钢板字符识别算法模型包括第一模块、第二模块以及第三模块；其中，
19.所述第一模块为yolov3网络，用于对钢板表面图像的字符区域进行检测；
20.所述第二模块为dbnet网络，用于对所述yolov3网络检测出的钢板表面图像的字符区域进行分割，以得到相应的字符行；
21.所述第三模块为efficientdet网络，用于对所述yolov3网络分割出的字符行进行单个字符检测，以检测出所述字符行中的每一个钢板字符。
22.进一步地，所述yolov3的主干卷积神经网络darknet53的3个尺度特征提取分支处分别添加了一层特征提取层，以分别增大不同尺度预测目标的感受野；其中，所述特征提取层kernel size为3*3，strides为1，padding为1；
23.同时，darknet53网络的输入尺寸设置为448*448。
24.进一步地，在利用所述dbnet网络对所述yolov3网络检测出的钢板表面图像的字符区域进行分割时，所述钢板字符检测方法还包括：
25.对所述yolov3网络检测出的钢板表面图像的字符区域进行位置扩充；
26.利用所述dbnet网络对扩充后的字符区域进行分割。
27.进一步地，在利用所述efficientdet网络对所述yolov3网络分割出的字符行进行单个字符检测时，所述钢板字符检测方法还包括：
28.根据检测得到的单个钢板字符位置信息进行定位排列。
29.进一步地，基于样本数据集，利用迁移学习方法训练钢板字符识别算法模型，包括：
30.把imagenet数据集上训练得到的权重作为主干网络训练的初始化权重，并且在公开相似字符数据集进行预训练，得到预训练权重；
31.将所述样本数据集按照7：1：2的比例划分为训练集、验证集以及测试集；
32.冻结主干卷积神经网络的浅层预训练权重，采用adam优化器，学习率设为1e-3进行网络模型预训练；
33.解冻主干卷积神经网络的浅层预训练权重，学习率降为1e-4再次进行训练。
34.另一方面，本发明还提供了一种基于多级网络融合的钢板字符检测装置，该基于多级网络融合的钢板字符检测装置包括：
35.钢板字符数据集构建模块，用于收集钢板字符的图像，并对收集的图像进行标注，以构建钢板字符数据集；
36.数据增强模块，用于利用gan网络对所述钢板字符数据集构建模块所构建的钢板字符数据集进行样本增强，以扩充钢板字符数据集并使得样本分布平衡，得到用于模型训练和测试的样本数据集；
37.模型构建模块，用于构建多级网络融合的钢板字符识别算法模型；
38.模型训练模块，用于基于所述数据增强模块得到的样本数据集，利用迁移学习方法训练所述模型构建模块所构建的钢板字符识别算法模型；
39.钢板字符在线检测模块，用于利用所述模型训练模块训练好的钢板字符识别算法模型实现钢板字符的在线检测。
40.再一方面，本发明还提供了一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
41.又一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
42.本发明提供的技术方案带来的有益效果至少包括：
43.1、在实际钢板生产过程中，本发明解决了钢板字符数据集采集不均衡的问题，能有效实现样本增强，从而提高算法网络模型的泛化能力和检测精度；
44.2、本发明设计了由三级网络模块构成的检测模型，该检测模型既能保证识别的精度、又能保证算法的鲁棒性，实现了有效地对多种类的钢板字符进行识别(钢板表面喷印字符、钢板表面钢印字符、钢板侧面喷印字符)的效果；
45.3、本发明在算法模型的训练过程中，利用迁移学习的训练方法，可以有效避免训练过拟合的问题，提升了网络训练效果；
46.4、将本发明所提供的基于多级网络融合的钢板字符检测方法应用于钢板实际生产过程中的钢板字符检测，能够满足钢板字符检测的实时性和精度要求，可以有效提升生产效率、降低人工成本。
附图说明
47.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
48.图1是本发明实施例提供的基于多级网络融合的钢板字符检测方法流程图；
49.图2是gan网络示意图；
50.图3是本发明实施例提供的一级网络模块示意图；
51.图4是本发明实施例提供的二级网络模块示意图；
52.图5是本发明实施例提供的三级网络模块示意图；
53.图6是迁移学习训练网络模型示意图。
具体实施方式
54.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
55.第一实施例
56.本实施例提供了一种基于多级网络融合的钢板字符检测方法，该方法可以由电子设备实现。该方法首先利用图像采集系统自动收集钢板字符(钢板表面喷印字符、钢板表面钢印字符、钢板侧面喷印字符，后统称钢板字符都包含该三类字符)的图像，利用标注工具进行标注后组成数据集；其次，针对数据集中各类别钢板字符图像分布不平衡情况，利用生成式对抗网络(gan)进行数据增强，得到一个用于训练与测试的数据集；然后，针对单一网络模块特征提取能力有限、难以满足多种类的钢板字符检测精度需求，利用深度学习技术设计多级网络融合的钢板字符检测算法模型；最后，利用迁移学习的算法模型训练方法训练基于多级网络融合的钢板字符检测算法模型，将整个算法部署于用于检测钢板字符的服务器中，实现了具有业内领先识别准确率的钢板字符检测。
57.具体地，该方法的执行流程如图1所示，包括以下步骤：
58.s1，收集钢板字符的图像并对收集的图像进行标注，构建钢板字符数据集；
59.具体地，在本实施例中，上述s1的实现过程如下：
60.s11，设计图像采集系统，在实际钢板生产的喷涂机器后，利用图像采集系统自动收集钢板字符的图像；其中，收集的钢板字符包括：钢板表面喷印字符、钢板表面钢印字符以及钢板侧面喷印字符中的任意一种或多种的组合；
61.s12，利用labimg和labme标注工具对图像采集系统收集的钢板字符的图像进行标注，并将标注信息保存于标注文本文件中；其中，标注信息包括：钢板字符区域位置、钢板字符行的分割信息以及单个字符的位置信息；
62.s13，由多种钢板字符图像及相对应的标注文本文件组成钢板字符数据集。
63.s2，利用gan网络对构建的钢板字符数据集进行样本增强，以扩充钢板字符数据集并使得样本分布平衡，得到用于模型训练和测试的样本数据集；
64.需要说明的是，在本实施例中，所使用的gan网络以lstm作为生成器，以cnn作为判别器；经过样本增加可以解决样本数量不足容易造成不同类别缺陷样本数量不平衡的问
题；有助于提高算法网络模型的泛化能力和检测精度。如图2所示，random noise为随机噪声，generator为生成器，discriminator为判别器，trainset为数据集图片数据和生成器输出的fake image一起做为判别器的输入，real和fake为判别器判定的结果。生成器的目标是生成判别器识别不出来real or fake的图片，即使生成的图片尽量逼真；gan生成图像数据是从数据分布的角度来进行的，在生成器和判别器的对抗过程中达到平衡，生成接近于真实图像数据的相似图像数据以实现图像样本增强。
65.s3，构建多级网络融合的钢板字符识别算法模型；
66.需要说明的是，本实施例构建的钢板字符识别算法模型可以定位钢板字符区域、分割字符行、识别单个字符，将单个字符识别结果根据位置信息组成有序字符串，实现高精度、鲁棒性强、多种类、多尺度、多种形态钢板字符有效质量检测。具体地，该钢板字符识别算法模型设计过程如下：
67.s31，通过对yolov3的主干网络darknet53进行改进，构建如图3所示的一级网络模块，对钢板表面图像的字符区域进行检测，并对检出区域进行质量判断；为提高yolov3的特征提取能力、提高多尺度预测的感受野，本实施例对yolov3的主干卷积神经网络darknet53进行改进，改进方式包括：在darknet53网络的3个尺度特征提取分支处分别添加一层特征提取层(该特征提取层kernel size为3*3，strides为1，padding为1)，以分别增大y1、y2、y3不同尺度预测目标的感受野；同时将网络的输入尺寸由416*416调整为448*448，以提取更多的特征信息并提升网络对钢板字符区域的检测精度；
68.s32，基于dbnet语义分割网络设计如图4所示的二级网络模块，对一级网络模块检出的表面喷印字符区域和钢印字符区域进行分割，得到字符行图像；其中，该网络模块在主干卷积神经网络提取特征基础上利用特征金字塔上采样到相同的尺寸，并进行特征级联得到特征图；该特征图用于预测得到概率图(probability map)和阈值图(threshold map)，利用概率图和阈值图融合计算得到近似二值图(approximate binary map)，预测分割得到钢板字符行图像；
69.进一步地，为减少因检出钢板字符区域过于贴合造成的钢板字符行分割误差，本实施例在对字符区域进行分割前，将s31检出的字符区域位置进行扩充。
70.s33，以轻量级efficientdet目标检测网络作为如图5所示的三级网络模块，进行单个字符检测，在二级网络模块分割得到的钢板表面字符行基础上检测出每一个钢板字符；并根据检测得到的单个钢板字符位置信息进行定位排列，实现字符串的有序质量检测。具体地，该网络模块的主干网络是一个加权的双向特征金字塔网络，该网络允许简单快速的多尺度特征融合，并通过复合尺度扩张方法将所有主干网、特征网络和预测网络的分辨率、深度和宽度进行缩放，使得该轻量级目标检测网络能保证快速、高精度地识别单个钢板字符。
71.s4，基于样本数据集，利用迁移学习方法训练钢板字符识别算法模型；
72.需要说明的是，本实施例采用如图6所示的预训练微调的迁移学习的模型训练方法可以通过学习公开相似字符数据集上的相似特征来提升算法模型在钢板字符数据集上学习目标特征的能力，在一定程度上解决特征提取不足的问题，同时提升模型泛化能力。解决训练过程中容易造成过拟合的问题，进一步提升网络训练效果，从而实现端到端、鲁棒性强、检测精度高的在线钢板字符检测。
73.具体地，利用迁移学习方法训练钢板字符识别算法模型的训练过程如下：
74.s41，利用迁移学习训练多级网络融合算法模型时，首先把imagenet数据集上训练得到的权重作为主干网络训练的初始化权重，并且在公开相似字符数据集进行预训练，得到预训练权重；
75.s42，将钢板字符数据集划分训练集、验证集、测试集，比例为7：1：2。在钢板字符数据集训练分为两步，第一步，冻结主干卷积神经网络的浅层预训练权重，采用adam优化器，学习率设为1e-3，batchsize设为20，迭代次数设为200个epoch；进行网络模型预训练。第二步，解冻主干卷积神经网络的浅层预训练权重，学习率降低为1e-4，batchsize设置为5，再次训练300个epoch。
76.通过训练，网络模型能识别并定位多种形式的钢板表面字符。
77.s5，利用训练好的钢板字符识别算法模型实现钢板字符的在线检测。
78.综上，本实施例通过利用深度学习技术设计算法模型，其算法可实现多种形式(钢板表面喷印字符、钢板表面钢印字符、钢板侧面喷印字符等)钢板字符端到端在线钢板字符检测；同时将多级网络进行融合设计，可实现多种形式(钢板表面喷印字符、钢板表面钢印字符、钢板侧面喷印字符)的钢板字符识别，提高了算法检测精度及鲁棒性；并且在建立数据集时，通过生成式对抗网络(gan)进行样本增强，在网络模型训练时，利用迁移学习进行整个多级网络模型算法的训练，解决了样本数量不足容易造成不同类别缺陷样本数量不平衡、训练过程中容易造成过拟合的问题。将本实施例方法应用于多条实际钢板热轧生产线的钢板字符检测，发现相比于现有检测方法，本实施例的方法针对多种类别、多尺度的钢板字符检测鲁棒性好、综合检测精度大于98％，可有效提升生产效率、降低人工成本。因此具有较大的应用前景、并处于行业领先。
79.第二实施例
80.本实施例提供了一种基于多级网络融合的钢板字符检测装置，包括：
81.钢板字符数据集构建模块，用于收集钢板字符的图像，并对收集的图像进行标注，以构建钢板字符数据集；
82.数据增强模块，用于利用gan网络对所述钢板字符数据集构建模块所构建的钢板字符数据集进行样本增强，以扩充钢板字符数据集并使得样本分布平衡，得到用于模型训练和测试的样本数据集；
83.模型构建模块，用于构建多级网络融合的钢板字符识别算法模型；
84.模型训练模块，用于基于所述数据增强模块得到的样本数据集，利用迁移学习方法训练所述模型构建模块所构建的钢板字符识别算法模型；
85.钢板字符在线检测模块，用于利用所述模型训练模块训练好的钢板字符识别算法模型实现钢板字符的在线检测。
86.本实施例的基于多级网络融合的钢板字符检测装置与上述第一实施例的基于多级网络融合的钢板字符检测方法相对应；其中，本实施例的基于多级网络融合的钢板字符检测装置中的各功能模块所实现的功能与第一实施例的基于多级网络融合的钢板字符检测方法中的各流程步骤一一对应；故，在此不再赘述。
87.第三实施例
88.本实施例提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少
一条指令，所述指令由处理器加载并执行，以实现第一实施例的方法。
89.该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)和一个或一个以上的存储器，其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行上述方法。
90.第四实施例
91.本实施例提供一种计算机可读存储介质，该存储介质中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述第一实施例的方法。其中，该计算机可读存储介质可以是rom、随机存取存储器、cd-rom、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。
92.此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
93.本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
94.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
95.还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
96.最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。