一种基于深度学习的文本定位识别方法与流程

摘要: 本发明涉及计算机图像处理,具体涉及一种基于深度学习的文本定位识别方法。背景技术:1、随着生产自动化和信息化的不断推进,机器视觉技术在工业检测和质量控制等领域发挥...
一种基于深度学习的文本定位识别方法与流程

本发明涉及计算机图像处理,具体涉及一种基于深度学习的文本定位识别方法。

背景技术:

1、随着生产自动化和信息化的不断推进,机器视觉技术在工业检测和质量控制等领域发挥着越来越重要的作用。文本定位识别作为机器视觉技术的一个重要组成部分,在工业品标签识别、发票识别、生产线上缺陷检测等方面具有广泛的应用。然而,在实际应用中,文本定位识别面临着许多挑战,如文本多样化的排列方向、密集分布、大横纵比以及多源数据融合等问题,这些问题导致现有的文本定位精度和文本识别准度上往往难以满足工业需求。

2、特别是在工业场景中,文本的排列方向可能是任意的,这使得传统的基于边界框的文本检测算法难以准确捕捉和识别文本。现有的文本定位识别往往只能针对特定场景或特定排列方向的文本进行有效识别,对于复杂场景下的文本检测,其定位精度与识别准度仍有待提高。

技术实现思路

1、针对现有技术存在的问题,本发明的目的在于提供一种基于深度学习的文本定位识别方法,以提高定位精度和识别准确度。

2、为实现上述目的,本发明采用的技术方案如下:

3、一种基于深度学习的文本定位识别方法,包括以下步骤:

4、s1、获取待识别的文本标识图像;

5、s2、采用训练好的旋转解耦有向文本定位模型对所述文本标识图像进行有向文本定位,输出定位区域文本图像;

6、s3、采用训练好的基于卷积循环神经网络改进的文本识别模型对所述定位区域文本图像进行识别,输出文本识别结果;

7、其中,所述旋转解耦有向文本定位模型包括输入层、特征提取主干网络、多尺度特征融合网络和旋转解耦边界框检测模块;

8、所述输入层对输入图像进行预处理后送入特征提取主干网络;所述特征提取主干网络对输入图像进行逐级下采样,输出三个不同尺度的特征图c3、c4、c5;所述多尺度特征融合网络对所述三个尺度的特征图进行跨尺度拼接与融合,输出多尺度融合特征f3、f4、f5;所述旋转解耦边界框检测模块在所述多尺度融合特征的每一网格位置上生成密集锚框,每个锚框经检测头预测偏移量,将所述偏移量解码为边界框几何参数,经置信度筛选和非极大值抑制后输出最终的定位边界框,并根据所述定位边界框从原始图像中裁剪出定位区域文本图像;

9、所述旋转解耦边界框检测模块采用五参数旋转解耦边界框表征方式,所述五参数为,其中为中心点坐标,为宽度和高度,为旋转角度,且角度预测范围限定在区间内;

10、所述文本识别模型包括卷积层、循环层和转录层;所述定位区域文本图像先经所述卷积层提取特征序列信息,再经所述循环层对所述特征序列进行上下文建模并输出序列预测结果,最后经所述转录层将所述序列预测结果解码为文本标签序列。

11、所述特征提取主干网络以focus模块、csp模块和spp模块为主体结构;

12、所述focus模块位于主干网络最前端,对输入图像的每个通道进行间隔采样并重新拼接为切片后执行卷积操作,得到下采样特征图并送入后续csp模块;

13、所述csp模块在主干网络中沿深度方向多次堆叠,csp模块将其输入特征分别送入两个分支,第一分支直接进行卷积操作,第二分支依次通过conv模块和bottleneck残差模块,然后利用concat操作将两个分支合并,最后经bn层、leakyrelu激活函数和conv模块输出对应特征图;其中,浅层csp模块接收focus模块的输出并输出特征图c3,中层csp模块对特征图c3进行下采样和深度特征提取并输出特征图c4;

14、所述spp模块设置于特征提取主干网络第9层,其输入为中层csp模块输出的特征图c4,将输入特征图分别送入三个不同池化核尺寸的最大池化分支和一个跳跃连接分支,利用concat操作合并后输出特征图c5。

15、所述多尺度特征融合网络为d-panet特征融合网络,以跨尺度连接方式对多尺度特征添加一条并行的上采样和下采样通道,形成并行的双分支特征融合网络结构;

16、各尺度的融合特征图f3、f4、f5表示如下:

17、

18、其中,为各尺度特征层输出特征,为操作,分别与c3、c4、c5对应,即特征提取主干网络输出的三个不同尺度的原始特征图,分别作为进入多尺度特征融合网络的三个层级输入;

19、为对进行下采样后输出的过渡特征,用于与深层特征进行融合得到的特征;

20、为对进行跨尺度下采样后输出的过渡特征,用于与深层特征进行融合得到的特征;

21、为将与进行特征融合后,再经下采样输出的过渡特征,用于与深层特征进行融合得到的特征。

22、所述旋转解耦边界框检测模块的处理过程包括:

23、在多尺度融合特征f3、f4、f5的每一个网格位置上生成预设锚框,每个锚框包含网格坐标、预设锚框宽高;

24、将每个锚框位置的特征向量送入预测卷积层,输出偏移量;

25、将所述偏移量与锚框的网格坐标和预设锚框宽高结合,通过解码公式计算预测边界框参数;

26、对得到的所有预测框进行置信度筛选及非极大值抑制处理,输出最终定位边界框;

27、根据最终定位边界框参数从原始图像中裁剪出文本区域图像。

28、预测偏移量时采用的编码计算公式如下:

29、

30、其中,表示锚框的中心点,表示锚框的宽度和高度,表示锚框角度;

31、将偏移量解码为边界框参数时采用的解码计算公式如下:

32、

33、其中,为预测框的中心点坐标、宽度、高度和角度,为sigmoid函数。

34、所述五参数旋转解耦边界框表征方式为:将旋转解耦边界分为和两种,当旋转解耦边界框有时将被解耦为水平边界框,当边界框时将被解耦为水平边界框。

35、所述卷积层为se-densenet特征提取网络,以densenet作为主干网络并在dense-block的每个卷积层后引入se-block注意力机制模块;所述循环层为双向循环神经网络bi-gru;所述转录层为ctc转录层。

36、所述se-densenet特征提取网络中,dense-block模块由一个1×1卷积层和3×3卷积层组成,其第层的输出表示为:

37、

38、其中,为非线性转化函数,为将0至层的输出进行拼接;

39、所述se-block注意力机制模块通过对每个输出执行压缩、激励和重新加权操作完成特征权重的重新标定;

40、所述双向循环神经网络bi-gru利用两个相反的门控循环单元连接形成,通过正向和反向两个方向上运行两个独立的gru单元来处理输入序列;将正向和逆向gru单元的输出向量按照时间步进行连接得到双向输出序列;

41、所述ctc转录层通过引入空白符和多对一映射方式将双向循环神经网络bi-gru的输出序列解码为文本标签序列,所述多对一映射方式包括合并相同的连续字符和删除空白符。

42、所述旋转解耦有向文本定位模型和所述文本识别模型在使用前经过训练;

43、所述旋转解耦有向文本定位模型的训练中,由正样本匹配策略确定参与损失计算的锚框:利用锚框与真实边界框计算iou,当iou大于所设阈值时将该锚框标记为正样本,反之标记为负样本;损失函数由边界框损失、角度损失和置信度损失三类损失构成,角度回归分支采用smooth l1损失;

44、所述文本识别模型的训练中,ctc损失函数为

45、,

46、其中,,表示输入序列,表示合法路径,表示输出文本标签,表示去重操作。

47、所述旋转解耦有向文本定位模型的损失函数为:

48、

49、其中,为第个网格中第个锚框是否负责预测文本边界宽位置,如果是则为1,否则为0;和分别表示为真实文本标记边界框与预测边界框参数和置信度;和表示为惩罚系数。

50、采用上述方案后,本发明在旋转解耦有向文本定位模型中引入五参数旋转解耦边界框表征方式,将角度预测范围限定在[π/4,π/4][π/4,π/4]区间内,有效避免了角度边界不连续导致的回归不稳定问题,并在匹配中引入旋转边界框解耦计算,降低了角度变化对正负样本筛选的干扰,从而显著提升了旋转文本的定位精度。多尺度特征融合网络对三个尺度的特征图进行跨尺度拼接与融合,使各尺度特征图兼具丰富的语义信息和精确的空间位置信息,为不同尺寸文本目标的定位提供充分的特征基础,进一步增强了模型对多尺度文本的定位能力。旋转解耦有向文本定位模型输出的高精度文本区域图像相比传统水平裁剪方式,能够以更贴合文本实际边界的角度和范围进行裁剪,有效减少了背景干扰和字符截断,为识别模型提供了高质量输入,间接提升了整体识别准确度。

51、此外,文本识别模型通过卷积层、循环层和转录层的针对性改进,进一步提升了字符序列的识别准确度。具体地,卷积层采用se-densenet特征提取网络,通过密集连接解决梯度消失问题,同时引入se-block注意力机制对特征通道进行自适应加权,使模型聚焦于对识别贡献更大的特征通道。循环层采用bi-gru替代bi-lstm,通过双向上下文建模捕捉字符前后依赖关系,且结构更简洁、参数量更少、计算效率更高。转录层采用ctc连接时序分类,无需精确对齐即可自动学习序列映射,支持变长文本的端到端识别。本发明通过旋转解耦有向文本定位模型与改进文本识别模型的协同配合,从输入图像到最终文本输出实现了高精度的端到端识别,可广泛应用于工业场景中多角度、密集分布、大横纵比文本标识的自动化识别任务。