一种面向工业物料智能识别的多模态单据解析系统的制作方法

本发明涉及工业物料信息处理，尤其涉及一种面向工业物料智能识别的多模态单据解析系统。

背景技术：

1、在工业生产与供应链管理过程中，物料单据是采购、入库、出库、对账等环节的核心凭证。现有单据识别技术通常将单据视为统一的文本流进行ocr识别和信息抽取，对单据图像中的文本内容执行整体处理后再进行字段提取。

2、然而，工业物料单据通常包含单据头区、物料明细区、汇总区、备注与签章区等功能区域，不同区域承载不同性质的物料信息。现有技术未充分利用工业物料单据特有的版面结构语义，导致字段对齐过程中出现跨区域干扰和字段错位问题。此外，物料名称、规格、型号等描述存在大量同义异写、缩写简称等非标准化表达，现有方法在抽取物料信息后缺乏有效的验证手段，导致解析错误率较高。

技术实现思路

1、本发明的目的在于：为了解决上述问题，而提出的一种面向工业物料智能识别的多模态单据解析系统。

2、为了实现上述目的，本发明采用了如下技术方案：

3、一种面向工业物料智能识别的多模态单据解析系统，包括：

4、版面分区识别模块，用于对工业物料单据图像执行版面语义分区识别，获取各功能区域及其语义类别标签；

5、定向信息抽取模块，用于基于各功能区域的语义类别标签，对各功能区域分别执行定向信息抽取，获取结构化的物料清单；

6、标准化映射模块，用于对物料清单中各物料记录的原始名称描述执行标准化映射，采用多策略投票方式确定映射结果，获取标准化物料名称及映射置信度；

7、知识图谱校验模块，用于将标准化映射结果输入至工业物料知识图谱执行双向校验，获取校验结果；

8、置信度评估模块，用于对各物料记录计算多维度置信度评分，基于多维度置信度评分生成解析结果报告。

9、优选地，所述版面语义分区识别通过版面布局检测模型实现，所述版面布局检测模型的输入层接收单据图像的图像特征序列与对应的文本位置编码序列，输出层包含两个并行的全连接层，一个全连接层输出各区域的边界框坐标，另一个全连接层输出各区域的语义类别标签；对版面布局检测模型输出的各功能区域计算分区置信度分数，将分区置信度分数低于分区阈值的区域标记为分区不确定。

10、优选地，所述对各功能区域分别执行定向信息抽取包括：

11、对于物料明细区，采用表格结构识别获取表格的行列结构，基于行列结构对每行物料记录执行行对齐处理，将每行物料拆解为物料名称、规格型号、计量单位、数量、单价、金额字段，所述行对齐处理利用版面先验知识作为约束条件；

12、对于单据头区，采用命名实体识别模型提取供应商名称、单据编号、日期信息；

13、对于汇总区，基于预定义的字段模板执行模板匹配，提取合计金额、税额数值字段；

14、对于备注与签章区，提取文本内容作为附加说明字段存入物料清单的备注字段。

15、优选地，所述行对齐处理过程中，对每个单元格的文本内容执行字段类型判别，将纯数字或带小数点的文本归类为数值型字段，将包含中文字符和字母混合的文本归类为名称型字段，将包含单位符号的文本归类为计量单位字段；将字段类型判别结果与列索引对应的预期字段类型进行交叉验证，当两者不一致时对该单元格的列归属进行修正。

16、优选地，所述标准化映射包括：对原始名称描述执行简称扩展处理，基于同义词典将简称或缩写扩展为完整的标准名称；对原始名称描述执行同义归一处理，将含义相同但表述不同的名称映射为同一标准名称；对原始描述中的规格参数执行规格解析处理，将规格表达式解析为结构化的规格参数；对原始描述中的型号信息执行型号标准化处理，将不同来源的型号差异统一至企业标准型号体系。

17、优选地，所述多策略投票方式中，当某一候选标准名称被至少两种策略推荐且加权分数最高时，将该候选标准名称确定为标准化映射结果；所述映射置信度为加权分数归一化后的数值，取值范围为0至1；所述语义向量相似度检索中的文本编码器为在工业物料语料上进行领域适配训练的文本编码器，以对比学习损失为损失函数更新参数。

18、优选地，所述正向校验包括：检查标准化映射结果中的标准物料名称是否存在于工业物料知识图谱中，若不存在则将该物料记录标记为新物料并触发新物料注册流程；所述反向校验包括：检查标准化映射结果中的规格参数是否落在工业物料知识图谱中标准物料名称对应的标准参数范围内，当规格参数超出标准参数范围时将该物料记录标记为疑似识别错误并返回重新执行标准化映射。

19、优选地，所述对每条物料记录设置重新映射次数上限，当某条物料记录重新执行标准化映射的累计次数达到所述重新映射次数上限时，直接将该物料记录标记为待人工复核。

20、优选地，所述多维度置信度评分包括ocr识别置信度、版面分区稳定性、字段对齐完整性、标准化映射投票得分、知识图谱校验通过度，综合置信度评分，其中为各维度对应的预设权重，为维度索引且满足；将综合置信度评分低于预设阈值的物料记录标记为待复核，复核确认后的正确结果作为正样本反馈至定向信息抽取过程和标准化映射处理流程进行增量学习。

21、综上所述，由于采用了上述技术方案，本发明的有益效果是：

22、1、本发明通过多策略投票的标准化映射方式，综合利用字符串相似度匹配、语义向量相似度检索和规则引擎解析三种匹配策略的互补性，克服了单一匹配策略对同义异写、缩写简称等非标准化表达适应能力不足的问题，提高了物料名称标准化的可靠性。

23、2、本发明通过工业物料知识图谱的正向校验和反向校验，对标准化映射结果从物料存在性和规格参数合理性两个方向进行验证，有效过滤了因ocr误识别或格式解析错误导致的物料信息失真。

1.一种面向工业物料智能识别的多模态单据解析系统，其特征在于，包括：

2.根据权利要求1所述的一种面向工业物料智能识别的多模态单据解析系统，其特征在于，版面语义分区识别通过版面布局检测模型实现，所述版面布局检测模型的输入层接收单据图像的图像特征序列与对应的文本位置编码序列，输出层包含两个并行的全连接层，一个全连接层输出各区域的边界框坐标，另一个全连接层输出各区域的语义类别标签；对版面布局检测模型输出的各功能区域计算分区置信度分数，将分区置信度分数低于分区阈值的区域标记为分区不确定。

3.根据权利要求1所述的一种面向工业物料智能识别的多模态单据解析系统，其特征在于，对各功能区域分别执行定向信息抽取包括：

4.根据权利要求3所述的一种面向工业物料智能识别的多模态单据解析系统，其特征在于，行对齐处理过程中，对每个单元格的文本内容执行字段类型判别，将纯数字或带小数点的文本归类为数值型字段，将包含中文字符和字母混合的文本归类为名称型字段，将包含单位符号的文本归类为计量单位字段；将字段类型判别结果与列索引对应的预期字段类型进行交叉验证，当两者不一致时对该单元格的列归属进行修正。

5.根据权利要求1所述的一种面向工业物料智能识别的多模态单据解析系统，其特征在于，标准化映射包括：对原始名称描述执行简称扩展处理，基于同义词典将简称或缩写扩展为完整的标准名称；对原始名称描述执行同义归一处理，将含义相同但表述不同的名称映射为同一标准名称；对原始描述中的规格参数执行规格解析处理，将规格表达式解析为结构化的规格参数；对原始描述中的型号信息执行型号标准化处理，将不同来源的型号差异统一至企业标准型号体系。

6.根据权利要求1所述的一种面向工业物料智能识别的多模态单据解析系统，其特征在于，多策略投票方式中，当某一候选标准名称被至少两种策略推荐且加权分数最高时，将该候选标准名称确定为标准化映射结果；所述映射置信度为加权分数归一化后的数值，取值范围为0至1；所述语义向量相似度检索中的文本编码器为在工业物料语料上进行领域适配训练的文本编码器，以对比学习损失为损失函数更新参数。

7.根据权利要求1所述的一种面向工业物料智能识别的多模态单据解析系统，其特征在于，正向校验包括：检查标准化映射结果中的标准物料名称是否存在于工业物料知识图谱中，若不存在则将该物料记录标记为新物料并触发新物料注册流程；所述反向校验包括：检查标准化映射结果中的规格参数是否落在工业物料知识图谱中标准物料名称对应的标准参数范围内，当规格参数超出标准参数范围时将该物料记录标记为疑似识别错误并返回重新执行标准化映射。

8.根据权利要求7所述的一种面向工业物料智能识别的多模态单据解析系统，其特征在于，对每条物料记录设置重新映射次数上限，当某条物料记录重新执行标准化映射的累计次数达到所述重新映射次数上限时，直接将该物料记录标记为待人工复核。

9.根据权利要求1所述的一种面向工业物料智能识别的多模态单据解析系统，其特征在于，多维度置信度评分包括ocr识别置信度、版面分区稳定性、字段对齐完整性、标准化映射投票得分、知识图谱校验通过度，综合置信度评分，其中为各维度对应的预设权重，为维度索引且满足；将综合置信度评分低于预设阈值的物料记录标记为待复核，复核确认后的正确结果作为正样本反馈至定向信息抽取过程和标准化映射处理流程进行增量学习。