基于多任务深度学习的物流运单号智能识别方法与流程

本发明涉及智能图像识别，尤其涉及基于多任务深度学习的物流运单号智能识别方法。

背景技术：

1、现有技术中，物流运单号智能识别领域已形成多类技术方案，早期以传统光学字符识别与规则匹配方法为主，后续逐步引入深度学习技术，主流方案采用文本检测与字符识别分离的两阶段级联架构，依托卷积神经网络、循环神经网络等模型完成运单号区域定位与字符序列解析，部分方案通过单任务深度学习模型实现运单号的单一维度识别，可支撑物流场景下基础的运单信息自动化录入与分拣核验需求。

2、然而，现有技术方案在实际应用中仍存在多方面的性能局限与适配短板。两阶段级联的处理架构易产生误差逐级累积现象，单任务识别模式无法同步输出运单多维度业务信息，整体处理效率与信息输出完整度受限；常规深度学习模型在处理运单号字符长距离依赖关系时效果有限，对物流场景中常见的污损、褶皱、低清晰度、字符变形等复杂工况适配能力不足，识别鲁棒性与准确率难以保障；部分多任务方案采用固定权重的优化方式，难以适配不同快递公司运单格式的学习难度差异，易引发任务间学习进度失衡与性能相互干扰；同时新增运单格式适配需依托人工更新规则与模型全量重训完成，系统长期运维成本较高，且无法在识别链路内完成异常运单的自动校验，需额外配套人工复核环节，难以适配物流行业快速迭代的业务需求。

技术实现思路

1、本发明的目的是提供基于多任务深度学习的物流运单号智能识别方法，解决上述技术问题。

2、为实现上述目的，本发明提供了基于多任务深度学习的物流运单号智能识别方法，包括以下步骤：

3、s1、接收运单号图像，经去噪、增强及几何校正预处理，得到预处理图像数据；

4、s2、基于预处理图像数据，通过transformer特征提取模块的自注意力机制学习字符长距离依赖关系，得到运单号特征表示；

5、s3、根据运单号特征表示，通过多尺度卷积核提取分层特征并融合，得到多尺度融合特征；

6、s4、经共享特征提取层映射至多个并行任务特定输出层，同步完成运单号归属、格式类型识别及关键业务信息提取，得到多任务初始识别结果；

7、s5、基于多任务初始识别结果，经运单号异常检测模块完成格式校验与伪造风险判定，得到带异常标记的识别结果；

8、s6、根据识别结果的置信度，经自适应阈值调整机制动态调整判定阈值，得到平衡准确率与召回率的最终识别结果；

9、s7、模型训练阶段，基于训练中各任务实时损失值，经动态任务权重调节机制计算并调整权重分配，得到适配当前训练状态的联合损失函数；

10、s8、基于联合损失函数，经端到端反向传播同步优化共享特征层与各任务特定输出层参数，得到训练完成的多任务识别模型；

11、s9、新增格式适配阶段，对于新增运单号格式样本，经在线增量学习机制更新模型部分参数，得到适配新格式的更新后识别模型。

12、优选的，s2中的基于transformer的特征提取模块包含多层级联的自注意力单元；基于预处理后的图像数据划分得到的图像块序列，通过多层自注意力单元建模字符序列的全局依赖关系与上下文语义关联，得到包含全局语义信息的运单号的特征表示；

13、自注意力机制的计算公式为：

14、；

15、其中，表示查询矩阵，表示键矩阵，表示值矩阵，表示键向量的维度；为自注意力运算输出的特征矩阵；为归一化指数函数，用于将原始注意力得分映射为取值范围在0~1之间、总和为1的权重分布。

16、优选的，s3中的多尺度特征融合通过至少三种不同感受野的卷积核分别提取浅层字符纹理特征、中层字符结构特征与高层语义特征，对多层特征执行通道拼接与自适应加权融合，得到适配复杂字符变形的多尺度融合特征；将所述多尺度融合特征输入至各任务特定输出层，辅助提升复杂环境下的识别精度；

17、s5中的运单号异常检测模块基于多任务初始识别结果中的格式信息与字符序列信息，通过预配置的运单号规则库进行匹配校验，识别并标记格式异常或存在伪造风险的运单号，得到异常检测结果。

18、优选的，s7中的动态任务权重调节机制通过损失占比法计算各任务的动态权重，具体计算方式如下：

19、总联合损失函数的计算公式为：

20、；

21、其中，表示总损失函数，表示第个任务的动态权重，表示第个任务的损失函数，表示任务总数；

22、第个任务的动态权重计算公式为：

23、；

24、其中，表示第个任务当前训练步的实时损失值；为第个任务在当前训练迭代步的实时损失值；为当前正在计算权重的目标任务的编号；为用于累加全部任务损失的遍历变量；

25、基于各任务当前的实时损失值，通过上述公式计算对应动态权重并代入总损失函数，得到随训练进程动态优化的联合损失函数。

26、优选的，s6中的自适应阈值调整机制基于多任务初始识别结果中每个结果的置信度得分，动态调高或调低判定阈值，在高置信度场景下降低阈值提升召回率，在低置信度场景下提高阈值保障准确率，得到平衡准确率与召回率的最终识别结果；

27、s8中的端到端训练方式基于联合损失函数，通过反向传播算法同步更新共享特征提取层与所有任务特定输出层的网络参数，实现多个识别任务的协同优化；

28、s9中的在线增量学习机制基于新增的运单号格式样本，仅更新任务特定输出层与顶层特征层的参数，在保留原有识别能力的前提下，得到适配新运单号格式的更新模型。

29、优选的，一种基于多任务深度学习的物流运单号智能识别系统，包括：依次信号连接的图像输入模块、预处理模块、共享特征提取模块、多尺度特征融合模块、多任务输出模块，还包括分别与所述共享特征提取模块、所述多任务输出模块信号连接的动态任务权重调节模块，以及与所述多任务输出模块信号连接的异常检测模块与在线学习模块；

30、所述共享特征提取模块采用基于transformer的网络架构，所述多任务输出模块包含多个并行的任务特定输出层，用于同时输出运单号归属、运单号格式类型与关键业务信息三类识别结果。

31、优选的，所述图像输入模块的输出端连接所述预处理模块的输入端，所述预处理模块的输出端连接所述共享特征提取模块的输入端；所述图像输入模块用于采集运单号原始图像；所述预处理模块内置有级联排布的去噪单元、增强单元与几何校正单元，用于对原始图像进行画质优化与姿态校正，输出预处理后的图像数据至共享特征提取模块。

32、优选的，所述多尺度特征融合模块的输入端连接所述共享特征提取模块的特征输出端，所述多尺度特征融合模块的输出端分别连接每个任务特定输出层的输入端；所述多任务输出模块包含运单号归属识别子模块、运单号格式识别子模块与关键业务信息提取子模块，三个子模块并行排布且共享同一融合特征输入，分别独立输出对应维度的识别结果。

33、优选的，还包括联合损失函数优化模块，所述动态任务权重调节模块的输入端分别连接每个任务特定输出层的损失输出端，所述动态任务权重调节模块的输出端连接所述联合损失函数优化模块的输入端，所述联合损失函数优化模块的输出端反馈连接所述共享特征提取模块与各任务特定输出层的参数更新端；所述动态任务权重调节模块用于根据各任务当前损失值计算动态权重并输入联合损失函数优化模块，通过反向传播统一更新全网络参数。

34、优选的，所述异常检测模块的输入端连接所述多任务输出模块的结果输出端，部署于推理输出链路的末端，用于对识别结果进行格式合规性校验与伪造风险标记；所述在线学习模块的输入端接入新增运单号格式样本，输出端连接所述共享特征提取模块顶层与多任务输出模块的参数更新端，用于在不重启全量训练的前提下增量更新模型参数，适配新的运单号格式。

35、因此，本发明采用上述基于多任务深度学习的物流运单号智能识别方法和对应的系统，具有的有益效果为：

36、1、通过采用共享特征提取层与三并行任务特定输出层的端到端网络架构，将运单号归属识别、格式类型识别与关键业务信息提取三类异质任务纳入统一模型完成联合推理，与现有技术“单字符识别+后置规则匹配”的多模块级联范式不同；既消除了多级模块串联带来的误差累积，实现一次推理同步输出多维度业务信息，提升了单帧图像的处理效率与信息输出完整度，又可借助多任务间的语义特征互补作用反向强化特征表达能力，同步提升各子任务的识别精度，实现了效率与精度的双重提升。

37、2、基于实时损失占比的动态任务权重分配算法，依据各任务当前训练步的实时损失值动态计算权重系数并更新联合损失函数，替代了现有技术依赖人工经验预设的固定权重方案；能够自适应感知不同运单格式下各任务的学习难度差异，自动向误差较大、学习难度更高的任务倾斜优化权重，缓解了多任务学习中普遍存在的任务相互干扰、性能失衡问题，尤其适配物流场景运单格式多样、不同批次任务难度波动大的行业特性，在无需人工反复调参的前提下实现整体识别性能的最优平衡。

38、3、通过构建transformer全局序列建模与多尺度卷积局部特征提取相结合的互补式特征提取体系，通过自注意力机制捕捉运单号字符间的长距离语义依赖关系，同时利用多感受野卷积核补充浅层字符纹理与中层结构特征，弥补了单一transformer模型对模糊、褶皱、污损等复杂运单字符细节捕捉能力不足的固有缺陷；增强了模型对复杂物流场景下字符变形、低画质、局部遮挡等问题的适应能力，在不增加推理耗时的前提下提升恶劣环境下的识别鲁棒性与准确率。

39、4、通过将运单号异常检测模块嵌入识别链路内部，结合格式识别结果与字符序列规则完成伪造、格式异常运单的自动标记，同时基于识别结果的置信度数值动态调整判定阈值，替代了现有技术中独立后置的规则校验模块与固定阈值判定方案；既实现了识别与校验的一体化执行，降低了系统架构的复杂度与部署维护成本，又能够根据不同应用场景的置信度分布动态平衡识别准确率与召回率，灵活适配高精准、高召回等差异化业务需求，减少了人工复核的工作量。

40、5、通过采用端到端的联合损失优化方式实现全网络参数的协同训练，同时配套增量式在线学习机制，适配新增运单格式时仅需更新顶层网络参数即可完成能力迭代，替代了现有技术中分阶段训练、新格式需全量重训的方案；既降低了模型训练的复杂度与周期，又缩减了新运单格式的适配成本与响应时间，且可在保留原有识别能力的前提下实现模型能力的持续迭代，形成“识别-校验-迭代”的自闭环运维体系，降低了系统的长期维护成本与升级门槛。

41、6、通过构建包括图像输入模块、预处理模块、共享特征提取模块、多尺度特征融合模块、多任务输出模块、动态任务权重调节模块、异常检测模块与在线学习模块的一体化系统架构，明确了各模块间的级联连接关系、信号流向与功能边界，将训练优化、推理识别与迭代更新能力集成于同一系统；减少了跨模块的数据交互开销与部署复杂度，支持高并发运单识别场景下的流水线式处理，可适配边缘端与云端等多种部署环境。

42、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。