一种基于多级网络融合的钢板字符检测方法及装置与流程

技术特征：
1.一种基于多级网络融合的钢板字符检测方法，其特征在于，包括：收集钢板字符的图像，并对收集的图像进行标注，以构建钢板字符数据集；利用gan网络对构建的钢板字符数据集进行样本增强，以扩充钢板字符数据集并使得样本分布平衡，得到用于模型训练和测试的样本数据集；构建多级网络融合的钢板字符识别算法模型；基于所述样本数据集，利用迁移学习方法训练所述钢板字符识别算法模型；利用训练好的钢板字符识别算法模型实现钢板字符的在线检测。2.如权利要求1所述的基于多级网络融合的钢板字符检测方法，其特征在于，所述收集钢板字符的图像，并对收集的图像进行标注，包括：利用图像采集系统自动收集钢板字符的图像；利用标注工具对所述图像采集系统收集的钢板字符的图像进行标注，并将标注信息保存于标注文本文件中；其中，所述标注信息包括：钢板字符区域位置、钢板字符行的分割信息以及单个字符的位置信息。3.如权利要求1或2所述的基于多级网络融合的钢板字符检测方法，其特征在于，所述图像采集系统收集的钢板字符包括：钢板表面喷印字符、钢板表面钢印字符以及钢板侧面喷印字符中的任意一种或多种的组合。4.如权利要求1所述的基于多级网络融合的钢板字符检测方法，其特征在于，所述gan网络以lstm作为生成器，以cnn作为判别器。5.如权利要求1所述的基于多级网络融合的钢板字符检测方法，其特征在于，所述钢板字符识别算法模型包括第一模块、第二模块以及第三模块；其中，所述第一模块为yolov3网络，用于对钢板表面图像的字符区域进行检测；所述第二模块为dbnet网络，用于对所述yolov3网络检测出的钢板表面图像的字符区域进行分割，以得到相应的字符行；所述第三模块为efficientdet网络，用于对所述yolov3网络分割出的字符行进行单个字符检测，以检测出所述字符行中的每一个钢板字符。6.如权利要求5所述的基于多级网络融合的钢板字符检测方法，其特征在于，所述yolov3的主干卷积神经网络darknet53的3个尺度特征提取分支处分别添加了一层特征提取层，以分别增大不同尺度预测目标的感受野；其中，所述特征提取层kernel size为3*3，strides为1，padding为1；同时，darknet53网络的输入尺寸设置为448*448。7.如权利要求5所述的基于多级网络融合的钢板字符检测方法，其特征在于，在利用所述dbnet网络对所述yolov3网络检测出的钢板表面图像的字符区域进行分割时，所述钢板字符检测方法还包括：对所述yolov3网络检测出的钢板表面图像的字符区域进行位置扩充；利用所述dbnet网络对扩充后的字符区域进行分割。8.如权利要求5所述的基于多级网络融合的钢板字符检测方法，其特征在于，在利用所述efficientdet网络对所述yolov3网络分割出的字符行进行单个字符检测时，所述钢板字符检测方法还包括：根据检测得到的单个钢板字符位置信息进行定位排列。
9.如权利要求1所述的基于多级网络融合的钢板字符检测方法，其特征在于，基于样本数据集，利用迁移学习方法训练钢板字符识别算法模型，包括：把imagenet数据集上训练得到的权重作为主干网络训练的初始化权重，并且在公开相似字符数据集进行预训练，得到预训练权重；将所述样本数据集按照7：1：2的比例划分为训练集、验证集以及测试集；冻结主干卷积神经网络的浅层预训练权重，采用adam优化器，学习率设为1e-3进行网络模型预训练；解冻主干卷积神经网络的浅层预训练权重，学习率降为1e-4再次进行训练。10.一种基于多级网络融合的钢板字符检测装置，其特征在于，包括：钢板字符数据集构建模块，用于收集钢板字符的图像，并对收集的图像进行标注，以构建钢板字符数据集；数据增强模块，用于利用gan网络对所述钢板字符数据集构建模块所构建的钢板字符数据集进行样本增强，以扩充钢板字符数据集并使得样本分布平衡，得到用于模型训练和测试的样本数据集；模型构建模块，用于构建多级网络融合的钢板字符识别算法模型；模型训练模块，用于基于所述数据增强模块得到的样本数据集，利用迁移学习方法训练所述模型构建模块所构建的钢板字符识别算法模型；钢板字符在线检测模块，用于利用所述模型训练模块训练好的钢板字符识别算法模型实现钢板字符的在线检测。

技术总结
本发明公开了一种基于多级网络融合的钢板字符检测方法及装置，该方法包括：收集钢板字符的图像，并对收集的图像进行标注，以构建钢板字符数据集；利用GAN网络对构建的钢板字符数据集进行样本增强，以扩充钢板字符数据集并使得样本分布平衡，得到用于模型训练和测试的样本数据集；构建多级网络融合的钢板字符识别算法模型；基于所述样本数据集，利用迁移学习方法训练所述钢板字符识别算法模型；利用训练好的钢板字符识别算法模型实现钢板字符的在线检测。本发明能够满足钢板实际生产过程中的钢板字符检测的实时性和精度要求，可以有效提升生产效率、降低人工成本，具有重大应用前景。景。景。


技术研发人员：侯睿 邓能辉
受保护的技术使用者：北京科技大学设计研究院有限公司
技术研发日：2021.10.13
技术公布日：2022/1/28