物流面单识别方法、装置、设备及存储介质与流程

本发明涉及物流领域，尤其涉及一种物流面单识别方法、装置、设备及存储介质。

背景技术：

1、随着智慧物流行业高速发展，包裹分拣、出入库核验、物流信息追踪等环节均依赖物流面单信息自动识别，传统人工录入方式效率低下、人工差错率高，已无法适配自动化物流流水线的作业需求。现阶段主流ocr面单识别方案仍存在诸多行业痛点：其一，物流现场采集的面单图像普遍存在光照不均、褶皱、反光、污渍、角度倾斜等问题，原始图像质量不佳直接导致文字与条码识别精度大幅下降；其二，现有识别模型多单一采用文本检测或文本识别算法，无法兼顾文本区域精准检测、长文本识别与条码解码多重需求，文本识别与条码识别相互独立，易出现信息不匹配的问题；其三，基础识别模型输出结果存在字符错识、条码解码偏差等固有误差，缺乏后置纠错环节，微小识别误差会直接造成物流分拣错单、信息录入失误；其四，市面识别模型对多版式物流面单适配性差，不同快递公司差异化面单识别鲁棒性不足。综上，现有物流面单识别技术存在图像抗干扰能力弱、多信息协同识别能力差、识别结果无纠错机制等缺陷，难以满足复杂物流现场高精度、高稳定性的实时识别需求。

2、因此，现有技术有待进一步发展和改进。

技术实现思路

1、本发明提供了一种物流面单识别方法、装置、设备及存储介质，用于提高物流面单的识别准确率。

2、本发明第一方面提供了一种物流面单识别方法，包括：获取历史物流面单图像，对所述历史物流面单图像进行标注处理，以构建训练数据集；基于dbnet算法、svtr算法和条码解码算法构建基础识别模型；构建图像增强模块和文本与条码纠错模块，并将所述图像增强模块连接在所述基础识别模型的输入端，将所述文本与条码纠错模块连接在所述基础识别模型的输出端，得到待训练模型；使用所述训练数据集对待训练模型进行训练，得到面单识别模型；实时获取待识别面单图像，将所述待识别面单图像输入所述面单识别模型，得到面单识别结果。

3、可选的，在本发明第一方面的第一种实现方式中，所述获取历史物流面单图像，对所述历史物流面单图像进行标注处理，以构建训练数据集，包括：获取正常状态以及图像劣化工况下的多张历史物流面单图像；分别对各所述历史物流面单图像进行训练文本区域标记和训练码图区域标注，得到多张标注面单图像；基于所有所述标注面单图像构建训练数据集。

4、可选的，在本发明第一方面的第二种实现方式中，所述基于dbnet算法、svtr算法和条码解码算法构建基础识别模型，包括：基于dbnet算法构建文本检测模块，所述文本检测模块用于对输入图像进行文本区域检测和码图区域检测，并输出文本区域坐标和码图区域坐标；构建区域裁剪单元，所述区域裁剪单元用于根据所述文本区域坐标从输入图像中裁剪得到文本区域图像，以及根据所述码图区域坐标从输入图像中裁剪得到码图区域图像；基于svtr算法构建文本识别模块，所述文本识别模块用于对文本区域图像进行字符序列识别，并输出文本识别结果；基于zbar条码解码算法构建条码解码模块，所述条码解码模块用于对码图区域图像进行码图编码内容解码，得到解码结果；将所述文本检测模块的输出端连接至所述区域裁剪单元的输入端，将所述区域裁剪单元的输出端分别连接至所述文本识别模块的输入端和所述条码解码模块的输入端，构建基础识别模型。

5、可选的，在本发明第一方面的第三种实现方式中，所述基于dbnet算法构建文本检测模块，包括：构建基于卷积神经网络的特征提取主干网络，并配置所述特征提取主干网络的层数和参数，所述特征提取主干网络用于从输入图像中提取多尺度特征图；在所述特征提取主干网络后级联双分支检测头，所述双分支检测头包括并联设置的文本检测分支和码图检测分支，所述文本检测分支和所述码图检测分支均包括并联设置的概率图预测单元和阈值图预测单元，所述概率图预测单元用于根据所述多尺度特征图生成对应类别的概率图，所述阈值图预测单元用于根据所述多尺度特征图生成对应类别的阈值图；构建第一可微分二值化单元和第二可微分二值化单元，将所述第一可微分二值化单元的输入端连接至所述文本检测分支中概率图预测单元的输出端和阈值图预测单元的输出端，将所述第二可微分二值化单元的输入端连接至所述码图检测分支中概率图预测单元的输出端和阈值图预测单元的输出端，以构建文本检测模块，所述第一可微分二值化单元和第二可微分二值化单元用于对对应分支的概率图和阈值图进行可微分二值化处理，生成并输出对应类别的区域边界框坐标。

6、可选的，在本发明第一方面的第四种实现方式中，所述构建图像增强模块和文本与条码纠错模块，并将所述图像增强模块连接在所述基础识别模型的输入端，将所述文本与条码纠错模块连接在所述基础识别模型的输出端，得到待训练模型，包括：构建图像增强模块，所述图像增强模块用于对输入图像进行亮度调整、对比度调整、清晰度增强和噪声去除中的至少一项预处理操作；构建文本与条码纠错模块，所述文本与条码纠错模块用于接收所述文本识别模块输出的文本识别结果和所述条码解码模块输出的解码结果，并对二者进行一致性校验，校验不一致时结合置信度与预置规则进行融合纠错，输出经过校验和纠错后的面单识别结果；将所述图像增强模块的输出端分别连接至所述文本检测模块的输入端和所述区域裁剪单元的输入端，将所述文本识别模块的输出端和所述条码解码模块的输出端分别连接至所述文本与条码纠错模块的输入端，得到待训练模型。

7、可选的，在本发明第一方面的第五种实现方式中，所述使用所述训练数据集对待训练模型进行训练，得到面单识别模型，包括：将所述训练数据集中的历史物流面单图像输入待训练模型，经所述图像增强模块预处理后执行前向推理，通过所述文本检测模块输出预测区域坐标，通过所述文本识别模块输出文本识别结果，通过所述条码解码模块输出解码结果；获取所述训练数据集的标注信息作为监督信息，根据所述预测区域坐标中的文本区域坐标与所述训练文本区域坐标之间的差异计算第一损失，根据所述预测区域坐标中的码图区域坐标与所述训练码图区域坐标之间的差异计算第二损失，根据所述文本识别结果与所述训练文本内容标签之间的差异计算第三损失；对所述第一损失、所述第二损失和所述第三损失进行加权求和得到综合损失值，根据所述综合损失值反向传播更新所述文本检测模块和所述文本识别模块的参数，迭代至模型收敛，得到面单识别模型。

8、可选的，在本发明第一方面的第六种实现方式中，所述实时获取待识别面单图像，将所述待识别面单图像输入所述面单识别模型，得到面单识别结果，包括：实时获取待识别物流面单图像，将所述待识别物流面单图像输入所述面单识别模型；所述面单识别模型先通过所述图像增强模块对输入图像进行预处理，得到增强图像，通过所述文本检测模块定位增强图像的待识别文本区域坐标和待识别码图区域坐标，通过所述区域裁剪单元从增强图像中裁剪得到待识别文本区域图像和待识别码图区域图像；再通过所述文本识别模块识别所述待识别文本区域图像得到文本识别结果，同时通过所述条码解码模块对所述待识别码图区域图像进行解码得到解码结果；最后，通过所述文本与条码纠错模块对所述文本识别结果和所述解码结果进行一致性校验，校验不一致时结合置信度与预置规则进行融合纠错，输出经过校验和纠错后的面单识别结果；对纠错后仍不满足校验条件的异常结果进行标记。

9、本发明第二方面提供了一种物流面单识别装置，包括：获取模块，用于获取历史物流面单图像，对所述历史物流面单图像进行标注处理，以构建训练数据集；第一构建模块，用于基于dbnet算法、svtr算法和条码解码算法构建基础识别模型；第二构建模块，用于构建图像增强模块和文本与条码纠错模块，并将所述图像增强模块连接在所述基础识别模型的输入端，将所述文本与条码纠错模块连接在所述基础识别模型的输出端，得到待训练模型；训练模块，用于使用所述训练数据集对待训练模型进行训练，得到面单识别模型；识别模块，用于实时获取待识别面单图像，将所述待识别面单图像输入所述面单识别模型，得到面单识别结果。

10、本发明第三方面提供了一种物流面单识别设备，包括：存储器和至少一个处理器，所述存储器中存储有计算机可读指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述计算机可读指令，以使得所述物流面单识别设备执行如上所述物流面单识别方法的各个步骤。

11、本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可读指令，当其在计算机上运行时，使得计算机执行如上所述物流面单识别方法的各个步骤。

12、本发明提供的技术方案中，根据dbnet、svtr及条码解码三大算法搭建一体化基础识别模型，可同步完成面单文本检测、高精度文本识别与条码解码，实现文字与条码信息的协同识别，解决传统模型文本、条码拆分识别导致的信息错位问题；同时在基础识别模型输入端增设图像增强模块，提前修复现场采集的低质量面单图像，消除光照、褶皱、污渍等环境干扰，从源头降低图像缺陷带来的识别误差；在基础识别模型输出端配套文本与条码纠错模块，针对基础识别模型识别产生的字符错误、条码解码偏差进行智能校验修正，进一步压缩识别错误率，能够有效提升复杂现场下面单识别的准确率与稳定性，兼顾识别速度与识别精度，适配物流分拣、仓储出入库等全场景实时识别需求。