基于语义解析的国际物流货代单证自动校验方法及系统与流程

本发明涉及单证识别，具体为基于语义解析的国际物流货代单证自动校验方法及系统。

背景技术：

1、随着国际贸易规模持续扩大，国际物流货代行业在跨境运输组织、单证流转、客户协同和信息留存等环节中承担着重要的信息处理职能。国际物流货代业务通常涉及运输委托、订舱、装运、清关、结算和归档等多个流程，相关流程需要依托大量单证文件完成信息传递和凭证留存。随着企业数字化管理水平提升，越来越多的物流企业、货代企业、承运方和客户之间通过线上系统、电子邮件、网页端平台或应用程序编程接口传递单证材料，纸质单证扫描件、电子单证文件和拍照上传文件并存的情况较为普遍。与此同时，单证电子化处理、文档识别、信息抽取、数据校验和电子档案管理等技术逐渐应用于物流货代信息处理场景，使传统依赖人工录入和人工核对的单证处理方式逐步向自动化、结构化和可追溯方向发展。

2、例如公告号为cn114359918b的发明专利公开了一种提货单信息提取方法、装置及计算机设备，方法包括：获取提货单图片，基于第一模型对提货单图片进行文本框检测，获得提货单图片中文本框的坐标信息；将文本框的坐标信息以及提货单图片输入第二模型，获得文本框对应的文本信息；根据文本信息、坐标信息以及模板库，确定与提货单图片匹配的目标提货单模板；根据文本信息以及目标提货单模板生成参考提货单，对参考提货单进行关键信息提取，获得提货单图片对应的提货单信息，实现了提高对提货单图片识别准确率的技术效果。

3、例如公告号为cn107633239b的发明专利公开了一种基于深度学习和ocr的票据分类及票据字段提取方法，包括以下步骤：选取多张标准票据图像，截取标准票据图像中的公章图像的外接矩形轮廓，作为深度学习的训练样本，得到深度学习模型；将待识别的票据图像的公章的外接矩形轮廓通过深度学习模型进行分类，若分类成功，则输出待识别的票据图像的票据类型并判定待识别的票据图像为标准票据图像，若分类失败，则判定待识别的票据图像为非标准票据图像，实现了票据的自动分类以及票据内容的智能提取，为票据信息快速检索和快速获取提供了技术支持。

4、现有方法已经能够通过文本框检测、图像识别、模板匹配、票据分类和字段抽取等方式，将单证或票据中的部分文本内容转换为结构化信息，但其处理重点通常集中在图像中文字内容的识别、票据类型的判断或模板字段的匹配上。对于国际物流货代单证中多个相似数字字段同时出现的场景，现有方法仍容易依赖关键词触发、识别置信度或邻近位置关系确定字段归属，难以充分结合字段标题、页面区域、表格行列、符号邻接和上下文语义进行综合消歧，导致数字内容本身能够被正确识别，但其对应字段容易发生归属错误，进而影响后续字段校验、系统写入和复核处理的准确性。

5、因此，针对以上问题，亟待需要基于语义解析的国际物流货代单证自动校验方法及系统。

技术实现思路

1、解决的技术问题

2、针对现有技术的不足，本发明提供了基于语义解析的国际物流货代单证自动校验方法及系统，解决了现有方法多依赖关键词触发、识别置信度或最近邻匹配确定字段归属，在相似数字字段同时出现时，容易出现数字识别正确但字段归属错误的问题。

3、技术方案

4、为实现以上目的，本发明通过以下技术方案予以实现：基于语义解析的国际物流货代单证自动校验方法，包括：s1，上传国际物流货代单证文件并读取单证图像数据和校验数据，对单证图像数据和校验数据进行预处理，得到单页单证图像；s2，对单页单证图像进行文本检测、文档版面检测、识别校正和版式语义解析，基于文本行内容生成字段标题锚点集合、字段候选集合和多候选字段集合；s3，基于字段候选集合和字段标题锚点集合构建字段归属关系图，得到字段归属状态、结构化数据和候选字段列表；s4，对结构化数据进行神经符号约束解码、证据回读和置信度融合，生成字段处理等级并进行货代单证处理系统写入、复核和电子档案归档。

5、进一步地，上传国际物流货代单证文件并读取单证图像数据和校验数据的具体过程为：通过网页端和应用程序编程接口上传国际物流货代单证文件，读取单证图像数据，单证图像数据包括：文件格式标识、上传时间戳、页码序号、页面像素矩阵、页面像素宽度值和页面像素高度值；通过校验数据接口获取航司代码记录、国际航空运输协会港口代码记录、币种代码记录和历史已确认字段记录，文件格式标识包括可移植文档格式、扫描图像和拍照图像。

6、进一步地，对单证图像数据和校验数据进行预处理，得到单页单证图像的具体过程为：当文件格式标识为可移植文档格式时，将国际物流货代单证文件拆分为单页单证图像；当文件格式标识为扫描图像或拍照图像时，读取单页单证图像；对单页单证图像进行去噪、纠偏、增强、页面方向校正和页面边界补齐；通过零均值单位方差标准化算法对页面像素宽度值和页面像素高度值进行标准化处理；通过最大值最小值归一化算法对页面像素矩阵的灰度值进行归一化处理。

7、进一步地，对单页单证图像进行文本检测、文档版面检测、识别校正和版式语义解析的具体过程为：将单页单证图像输入可微分二值化文本检测模型，输出文本行区域坐标；通过基于detr的文档版面检测方法处理单页单证图像，得到表格区域坐标和印章遮挡区域坐标，并将表格区域与印章遮挡状态纳入单证版式语义结构表达；对文本行区域坐标对应的图像裁剪块依次执行卷积循环神经网络识别和transformer上下文校正，得到文本行内容和文本行识别置信度；基于页码序号、文本行区域坐标、页面像素宽度值、页面像素高度值和文本行内容，采用layoutreader阅读顺序预测方法和二维位置编码处理，生成原始文本块列表；原始文本块列表包括文本块标识、页码序号、文本行内容、文本行区域坐标、文本行识别置信度和原始单证裁剪图块；对原始文本块列表、表格区域坐标和印章遮挡区域坐标执行版式语义解析，生成单证版式语义结构；版式语义解析采用文档多模态预训练编码方法和关系预测式版面分析方法，对文本行内容、文本行区域坐标、表格区域坐标和页面区域关系进行联合表达；按照单证版式语义结构划分表头区、明细区、汇总区、备注区和签章关联区域，并生成区域层级标记。

8、进一步地，基于文本行内容生成字段标题锚点集合、字段候选集合和多候选字段集合的具体过程为：对文本行内容进行字段标题识别，得到字段标题锚点集合；对文本行内容中的数字、金额符号和代码文本进行序列标注与跨度抽取，得到字段候选集合；字段候选集合包括字段候选值、字段候选坐标、字段候选所属区域、字段候选相邻文本、字段候选币种、字段候选识别置信度和字段候选裁剪图块，字段候选相邻文本为与字段候选坐标处于同一页码序号，且位于候选上下文窗口内的文本行内容；当字段候选集合中存在n个同页数字型字段候选，且字段候选相邻文本、字段候选所属区域或字段标题锚点集合对应不同字段标题锚点时，将对应字段候选集合划入多候选字段集合，保留数字候选之间的竞争关系，不按照关键词触发结果、文本行识别置信度和最近邻距离直接确定字段归属。

9、进一步地，基于字段候选集合和字段标题锚点集合构建字段归属关系图的具体过程为：对字段候选坐标和字段标题锚点坐标进行几何距离计算，得到标题距离特征；对字段候选所属区域和区域层级标记进行区域一致性分析，得到区域层级特征；对字段候选坐标、表格区域坐标和文本行区域坐标进行表格行列关系解析，得到表格行列位置特征；对字段候选相邻文本和字段候选币种进行符号邻接解析，得到符号邻接特征；对字段候选相邻文本、字段标题锚点集合和文本行内容进行上下文语义编码，得到上下文语义特征；对字段候选识别置信度、印章遮挡区域坐标和字段候选裁剪图块进行图像质量联合分析，得到识别可靠特征；将标题距离特征、区域层级特征、表格行列位置特征、符号邻接特征、上下文语义特征和识别可靠特征组合为候选配对特征向量；以字段标题锚点和字段候选作为异构节点，以字段标题锚点与字段候选之间的坐标距离、水平投影重叠、垂直投影重叠、表格区域归属、符号相邻状态和语义相似状态分别生成空间关系边、行列关系边、表格区域关系边、符号邻接边和语义邻接边，构建字段归属关系图，字段归属关系图为包含标题锚点节点、候选字段节点以及多类型关系边的异构图；将候选配对特征向量作为字段归属关系边的边属性输入字段归属关系图，对字段归属关系图执行图注意力传播和双仿射配对处理，得到字段归属匹配值和字段归属分离值。

10、进一步地，得到字段归属状态、结构化数据和候选字段列表的具体过程为：由历史已确认字段记录构建字段标题、字段值、字段坐标和字段币种的正负样本对，通过ranknet成对排序学习方法得到字段归属阈值和字段分离阈值；当字段归属匹配值大于或等于字段归属阈值，且字段归属分离值大于或等于字段分离阈值时，生成字段归属锁定标记；当字段归属匹配值大于或等于字段归属阈值，且字段归属分离值小于字段分离阈值时，生成字段归属竞争标记；当字段归属匹配值小于字段归属阈值时，生成字段归属不可靠标记；对字段归属锁定标记对应的提单号、总件数、毛重、体积、计费重量、品名、装运港代码、目的港代码、单价、数量、运费金额和币种进行结构化信息提取，生成键值对形式的结构化数据；结构化数据包括字段名、字段值、置信度、校验状态初始值、字段来源页码、字段来源坐标、字段归属匹配值、字段归属状态和原始单证裁剪图块；字段归属竞争标记和字段归属不可靠标记对应的字段候选保留在候选字段列表中。

11、进一步地，对结构化数据进行神经符号约束解码、证据回读和置信度融合的具体过程为：对结构化数据执行神经符号约束解码，结合航司代码记录、国际航空运输协会港口代码记录和币种代码记录，对字段名与字段值之间的引用关系、代码存在关系、币种绑定关系和数值关联关系进行一致性校验，得到字段校验状态；字段校验状态包括通过状态、冲突状态和缺证状态；对字段校验状态为冲突状态和缺证状态的结构化数据执行检索增强证据回读，从原始文本块列表中调取字段来源坐标对应的原始单证裁剪图块和相邻文本块，相邻文本块为与字段来源页码相同，且文本行区域坐标落入证据回读窗口内的文本块，并读取候选字段列表，生成异常字段定位结果；对文本行识别置信度、字段归属匹配值、字段归属状态、字段校验状态和异常字段定位结果进行dempster-shafer证据融合，并通过分布无关共形预测方法生成综合置信度和复核候选集；复核候选集保留字段归属竞争标记和字段归属不可靠标记对应的字段候选。

12、进一步地，生成字段处理等级并进行货代单证处理系统写入、复核和电子档案归档的具体过程为：根据综合置信度、复核候选集和字段校验状态，采用代价敏感分类决策方法生成字段处理等级，字段处理等级包括直接写入等级、人工复核等级和禁止填充等级；当字段处理等级为直接写入等级时，将字段名和字段值写入货代单证处理系统的表单输入框；当字段处理等级为人工复核等级或禁止填充等级时，在对应表单输入框中进行标红高亮，显示原始单证裁剪图块，并生成待复核任务；复核确认后，将国际物流货代单证文件、文件格式标识、上传时间戳、结构化数据、字段归属状态、字段校验状态、综合置信度、异常字段定位结果、复核候选集和修改记录生成电子档案记录；对电子档案记录进行哈希摘要计算和时间戳链式封存，创建并存入档案数据库，用于校验电子档案记录在归档后的完整性。

13、本发明第二方面提供了基于语义解析的国际物流货代单证自动校验系统，包括：采集与预处理单元，用于上传国际物流货代单证文件并读取单证图像数据和校验数据，对单证图像数据和校验数据进行预处理，得到单页单证图像；版式语义解析与字段候选生成单元，用于对单页单证图像进行文本检测、文档版面检测、识别校正和版式语义解析，基于文本行内容生成字段标题锚点集合、字段候选集合和多候选字段集合；字段归属消歧单元，用于基于字段候选集合和字段标题锚点集合构建字段归属关系图，得到字段归属状态、结构化数据和候选字段列表；置信校验归档单元，用于对结构化数据进行神经符号约束解码、证据回读和置信度融合，生成字段处理等级并进行货代单证处理系统写入、复核和电子档案归档。

14、有益效果

15、本发明具有以下有益效果：

16、（1）本发明，通过版式语义解析、阅读顺序预测、字段标题识别、序列标注与跨度抽取，将文本行内容、页面区域关系和字段候选关系统一表达，使字段标题锚点集合、字段候选集合和多候选字段集合能够在同一处理链路中形成关联，进而实现了单证文本从字符识别到字段候选组织的连续化处理效果，有效解决了现有技术中仅识别文字但字段候选组织不稳定的问题。

17、（2）本发明，通过保留同页数字型字段候选之间的竞争关系，不直接按照关键词触发结果、文本行识别置信度和最近邻距离确定字段归属，使相似数字字段能够进入后续字段归属消歧流程进行统一判断，进而实现了相似数字字段延迟判定和竞争保留的效果，有效解决了现有技术中数字识别正确但字段归属容易提前误判的问题。

18、（3）本发明，通过标题距离特征、区域层级特征、表格行列位置特征、符号邻接特征、上下文语义特征和识别可靠特征构建候选配对特征向量，并结合字段归属关系图、图注意力传播和双仿射配对处理得到字段归属状态，进而实现了相似数字字段多维消歧和结构化提取的效果，有效解决了现有技术中仅依赖单一位置关系或识别置信度难以准确确定字段归属的问题。

19、（4）本发明，通过将图注意力传播、双仿射配对、ranknet成对排序学习方法、dempster-shafer证据融合和分布无关共形预测方法，分别绑定至单页单证图像、文本行区域坐标、表格区域坐标、字段候选坐标、字段标题锚点集合、原始单证裁剪图块和证据回读窗口等技术对象，使字段归属状态、字段校验状态和字段处理等级均来源于可定位的单证图像证据，进而减少相似数字字段在结构化提取过程中的字段错配。

20、当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。