一种物流证件的文本检测与识别方法及计算机装置与流程

摘要: 本发明涉及图像识别,特别涉及一种物流证件的文本检测与识别方法及计算机装置。背景技术:1、在物流行业的日常运营中,涉及对居民身份证、机动车驾驶证、机动车行驶证、道...
一种物流证件的文本检测与识别方法及计算机装置与流程

本发明涉及图像识别,特别涉及一种物流证件的文本检测与识别方法及计算机装置。

背景技术:

1、在物流行业的日常运营中,涉及对居民身份证、机动车驾驶证、机动车行驶证、道路运输证、从业资格证等多种证件的审核与信息录入。传统的人工录入方式存在效率低、易出错、人力成本高等问题,难以满足大规模物流证件批量处理的需求。为此,业界逐渐引入图像识别技术,试图通过自动化方式提取证件中的关键文本信息。

2、然而,现有证件文本检测与识别方法在实际物流场景中面临诸多挑战。首先,用户拍摄的证件图像常存在透视畸变、倾斜偏移、任意方向旋转等非理想姿态,导致传统基于矩形框的检测方法难以准确捕捉证件实际轮廓,进而影响后续识别精度。其次,物流涉及的证件类型多样,版面结构差异显著,通用检测模型难以兼顾各类证件的字段定位需求,容易出现漏检或误检。再者,证件上的印章区域与文本区域相互干扰,且存在数字与英文字母易混淆字符(如“0”与“o”),单一识别模型难以同时满足不同字体风格和字符类型的识别要求。

3、综上所述,现有技术在处理复杂拍摄条件下的物流证件文本检测与识别任务时,普遍存在定位精度不足、类型适应性差、识别准确率偏低等问题,亟待提出一种更为高效、鲁棒的解决方案。

技术实现思路

1、本发明提供一种物流证件的文本检测与识别方法及计算机装置,旨在至少解决现有技术中存在的技术问题之一。

2、本发明的技术方案为一种物流证件的文本检测与识别方法,其包括:

3、接收物流证件的原始图像,通过基于centernet-heatmap技术路线的证件外框检测模型对所述物流证件的原始图像中的证件区域进行四点角点定位,输出四边形角点坐标序列;

4、基于所述四边形角点坐标序列,对所述证件区域执行透视变换,生成矫正后的证件图像;将所述矫正后的证件图像输入至方向分类模型,判断并输出所述证件图像的拍摄方向类别,依据输出的方向类别执行对应的旋转变换,得到方向校正后的证件图像;

5、将所述方向校正后的证件图像输入至基于yolov12骨干网络的证件类别分类模型,输出与所述方向校正后的证件图像对应的证件类型标签;

6、基于输出的证件类型标签,并行执行印章检测、文本子项检测分类和文本精细定位检测,输出印章区域边界框、字段边界框及字段类型标签和文本边界框的定位结果;

7、基于所述印章区域边界框、所述字段边界框及字段类型标签和所述文本边界框的定位结果,得到待识别文本区域;

8、将所述待识别文本区域输入至文本识别模型,输出识别字符串,基于所述识别字符串及其对应的字段类型标签,生成结构化文本数据。

9、根据本发明的一些实施例,所述并行执行印章检测、文本子项检测分类和文本精细定位检测,输出印章区域边界框、字段边界框及字段类型标签和文本边界框的定位结果包括:

10、通过印章检测模型对所述证件图像中的印章区域进行检测与定位,输出印章存在性判断结果及印章区域边界框;

11、调用与所述证件类型标签对应的子项检测模型,对所述证件图像中各预定义字段区域进行检测与类别标注,输出各子项对应的字段边界框及字段类型标签;

12、采用基于dbnet可微分二值化机制的文本检测模型,在所述证件图像或子项区域上进行像素级文本行分割与定位,输出精细的文本边界框的定位结果。

13、根据本发明的一些实施例,还包括:

14、获取子项检测模型输出的粗粒度字段区域候选集合与所述文本检测模型输出的精细文本行区域候选集合;

15、建立粗粒度字段区域候选集合的粗粒度候选框与精细文本行区域候选集合的精细候选框之间的关联匹配关系,并计算所述粗粒度候选框和所述精细候选框的交并比;

16、对匹配成功的候选框以精细候选框替代粗粒度候选框并继承字段类别标签,对未被任何粗粒度候选框匹配的精细候选框作为孤立框予以保留;

17、对融合后的精细候选框集合执行基于置信度的非极大值抑制去重,并输出结构化字段列表。

18、根据本发明的一些实施例,还包括:

19、根据所述字段类别标签选择对应的识别模型进行文字识别;

20、当所述字段类别标签为以标准印刷体中文为主的文本时,调用基于svtr骨干网络训练的专项文字识别模型进行识别,输出第一识别字符串;

21、当所述字段类别标签以阿拉伯数字及英文字母为主的文本时,调用预训练视觉语言大模型进行识别,输出第二识别字符串;

22、将第一识别字符串及其对应的字段类型标签和第二识别字符串及其对应的字段类型标签进行整合,生成结构化的文本数据输出。

23、根据本发明的一些实施例,所述当所述字段类别标签为以标准印刷体中文为主的文本时,调用基于svtr骨干网络训练的专项文字识别模型进行识别,输出第一识别字符串,包括:

24、当识别出字段类别标签为以标准印刷体中文为主的文本行图像,将所述文本行图像统一缩放至高度48像素、宽度自适应,并进行归一化处理;

25、采用patch embedding将文本行图像切分为局部块,经线性映射生成初始序列特征,随后交替堆叠局部混合层与全局混合层,输出字符级特征序列;

26、将所述字符级特征序列经自适应平均池化压缩至固定时间步长,输入至全连接分类头,输出每个时间步对应的字符类别概率;

27、采用ctc损失函数对svtr骨干网络训练的专项文字识别模型进行训练,采用真实物流业务场景采集的物流证件样本进行自适应性微调,并在推理阶段采用贪心解码,取每个时间步概率最大字符,合并重复字符并去除空白符号,输出最终的第一识别字符串。

28、根据本发明的一些实施例,所述通过基于centernet-heatmap技术路线的证件外框检测模型对所述物流证件的原始图像中的证件区域进行四点角点定位,输出四边形角点坐标序列,包括:

29、采用轻量化深度可分离卷积结构,以mobilenetv3-small或shufflenetv2-0.5x为主干,在imagenet上完成预训练后进行微调,控制参数量在2m以内;

30、引入特征金字塔网络,融合浅层高分辨率特征与深层语义特征,输出步长为4的多尺度特征图;

31、基于所述多尺度特征图实现精细化的角点热力图预测;

32、设置证件外框检测模型的输出头包括三个输出分支,所述三个输出分支分别输出中心点热力图、四角点偏移图以及中心点尺寸回归图;

33、基于所述中心点热力图、四角点偏移图以及中心点尺寸回归图确定证件区域进行四点角点定位,并输出四边形角点坐标序列。

34、根据本发明的一些实施例,所述通过印章检测模型对所述证件图像中的印章区域进行检测与定位,输出印章存在性判断结果及印章区域边界框,包括:

35、设定印章检测模型的检测置信度阈值,仅保留得分不低于所述置信度阈值的检测结果作为候选印章区域;

36、对所述候选印章区域进行尺寸约束、宽高比约束及位置约束以得到候选印章区域检测框,并过滤异常候选印章区域检测框;

37、采用非极大值抑制对所述候选印章区域检测框进行去重处理;

38、若存在至少一个满足所有约束条件的候选印章区域检测框,则判定印章存在并输出印章区域的边界框坐标与置信度,否则判定印章缺失。

39、根据本发明的一些实施例,所述方向分类模型采用mobilenetv3-small作为骨干网络,在imagenet预训练基础上进行迁移微调,全连接分类头输出维度为4,对应0°、90°、180°、270°四个方向类别;所述方向分类模型在训练时采用交叉熵损失函数并引入标签平滑机制,标签平滑系数ε为0.1。

40、根据本发明的一些实施例,所述证件类型标签包括居民身份证正面、居民身份证背面、机动车驾驶证正页、机动车驾驶证副页、机动车行驶证正本、机动车行驶证副本、电子版道路运输证、电子版从业资格证、卡片版从业资格证中的至少一种。

41、本发明的技术方案还涉及一种计算机装置,包括存储器和处理器,所述处理器执行存储在所述存储器中的计算机程序时实施上述的方法。

42、本发明的技术方案还涉及一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实施上述的方法。

43、本发明实施例提供的物流证件的文本检测与识别方法及计算机装置至少具备如下的优点或者有益效果之一:采用基于centernet-heatmap技术路线的证件外框检测模型进行四点角点检测,直接回归证件外框的四个角点坐标,相比传统矩形框检测方法,能够精准捕捉证件在透视畸变、倾斜拍摄等非理想姿态下的实际轮廓;结合透视变换操作,有效消除因拍摄角度造成的形变干扰,从根本上降低了几何畸变对识别准确率的影响。引入基于yolov12骨干网络的证件类别分类模型,充分利用yolov12在特征提取与多尺度融合方面的优势,实现对物流场景中驾驶证、行驶证、道路运输证、从业资格证等多种证件类型的快速、准确判别;同时配合方向分类模型进行自适应旋转校正,确保文本始终处于正向可读状态,解决了任意方向拍摄导致的识别失败问题,大幅提升了系统的环境适应性与鲁棒性。基于证件类型标签并行驱动印章检测、文本子项检测分类及文本精细定位三个分支任务,通过字段类型标签的先验引导,能够针对性地关注关键信息区域;配合文本识别模型输出结构化文本数据,不仅实现了印章、关键字段与精细文本的多粒度协同检测,还完成了从非结构化图像到结构化数据的端到端转换,显著提升了物流证件信息录入的自动化水平,有效降低了人工审核成本,适用于大规模物流证件的批量处理场景。

44、本发明提出的物流证件的文本检测与识别方法,通过多阶段级联处理架构,显著提升了复杂场景下物流证件信息的自动化采集精度与效率。

45、此外,本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。