一种基于深度学习的点阵字符识别方法

技术特征：
1.一种基于深度学习的点阵字符识别方法，其特征在于，包括以下步骤：1)获取喷码机字符字体以及字符大小，通过halcon软件创建点阵序列，并按照点阵序列在新建的背景图像中生成点阵字符图像；2)对点阵字符图像中每个字符图像添加随机弹性形变，得到包含多个字符图像的数据集；3)将每个字符图像作为前景图像与背景图像相融合，得到融合后的图像；4)用融合后的图像建立图像数据集，构建网络训练模型，并根据图像数据集训练网络模型，将待识别图片输入至网络训练模型进行文本检测与识别，得到字符。2.根据权利要求1所述的一种基于深度学习的点阵字符识别方法，其特征在于，所述步骤2)，具体为：2-1)对于每个字符图像中字符，添加随机弹性形变，通过控制因子β与随机函数，建立随机位移场(pr，pc)，即：pr＝(rand(1)-0.5)*2*β (1)pc＝(rand(1)-0.5)*2*β (2)其中，rand(1)为生成一个0-1的随机函数，pr为像素点在行方向的随机偏移量，pc为像素点在列方向的随机偏移量；2-2)通过高斯滤波对图像进行平滑处理，得到最终位移场，即：其中，g
σ
(x)为最终位移场，σ为标准差，x为添加随机弹性形变后像素点横坐标，y为添加随机弹性形变后像素点纵坐标；2-3)通过双线性插值法填充弹性形变后图像中邻域处空缺的像素点后，为字符图像中每一个连通域设置一个相同的偏移量，即：pr
n
＝max(pr)，pr∈regionr (4)pc
n
＝max(pc)，pc∈regionc (5)其中，regionr，regionc表示的是第n个黑点区域内所有像素点的偏移量；max(pr)表示取最大值；pr
n
为第n个黑点区域内所有像素点行方向偏移量的最大值，作为第n个黑点的行方向偏移量；pc
n
为第n个黑点区域内所有像素点列方向偏移量的最大值，作为第n个黑点的列方向偏移量；2-4)对于字符图像发生前倾或后倾情况，则采用下式添加随机前倾或后倾形变：pc＝(height-r)*β (6)其中，pc为列方向偏移量，height为图像高度，r为行向量。3.根据权利要求1所述的一种基于深度学习的点阵字符识别方法，其特征在于，所述步骤3)，具体为：根据像素点和黑点区域中心的空间位置关系，创建阿尔法通道图像，距离黑点区域中心越近，α越大，前景图像像素所占比例越大，利用阿尔法通道图像对多个字符图像进行图像融合，即：g
dst
＝g
c
*α g
b
*(1-α) δ (7)其中，g
dst
为融合后图像，g
c
为字符图像，α为字符图像的加权系数，g
b
为背景图像，δ为偏
移量。4.根据权利要求1所述的一种基于深度学习的点阵字符识别方法，其特征在于，所述构建网络训练模型，包括以下步骤：生成每个融合图像时，生成对应的字符目标框，构成图像数据集；采用图像数据集，通过dbnet进行训练，得到训练后的dbnet网络模型；通过dbnet网络模型对输入图像进行检测，得到字符框的位置，截取字符框区域作为字符框图像；采用字符框图像以及标注的字符所构成的数据集，传入到识别网络，进行训练，得到网络训练模型。5.根据权利要求1所述的一种基于深度学习的点阵字符识别方法，其特征在于，所述对待识别图片进行文本检测与识别，得到字符，包括以下步骤：将待识别图片输入至dbnet网络模型，得到分割后的含有字符的字符框图像；将字符框图像输入至识别网络，获取识别网络识别出的字符。6.根据权利要求4所述的一种基于深度学习的点阵字符识别方法，其特征在于，所述识别网络，通过以下步骤构建：识别网络主要由顺序连接的cnn和rnn构成，将空间变化网络stn插入到输入的图像和cnn之间，用于将输入的图像进行校正，或者插入到cnn内部用于将特征图进行校正，最终输出为去除随机形变和特定形变的图像或者特征图，rnn对特征序列的每一帧进行预测，并转化为最终的标签字符序列，即最终的识别点阵字符。

技术总结
本发明属于机器视觉领域，具体说是一种基于深度学习的点阵字符识别方法，包括以下步骤：1)获取喷码机字符字体以及字符大小，创建点阵序列，并按照点阵序列在新建的背景图像中生成点阵字符图像；2)对点阵字符图像中每个字符图像添加随机弹性形变，得到包含多个字符图像的数据集；3)将每个字符图像作为前景图像与背景图像相融合，得到融合后的图像；4)用融合后的图像建立图像数据集，构建网络训练模型，并根据图像数据集训练网络模型，将待识别图片输入至网络训练模型进行文本检测与识别，得到字符。本发明通过将空间变化网络STN插入到空间卷积递归神经网络CRNN中，建立新的网络结构，能够实现对点阵字符的精准识别。能够实现对点阵字符的精准识别。能够实现对点阵字符的精准识别。


技术研发人员：穆宝岩 陈帅 马钺
受保护的技术使用者：中国科学院沈阳自动化研究所
技术研发日：2022.11.08
技术公布日：2023/2/3