一种基于大语言模型的运单信息自动抽取方法及系统与流程
本发明涉及信息处理,尤其涉及一种基于大语言模型的运单信息自动抽取方法及系统。
背景技术:
1、随着物流行业的快速发展,运单作为物流运输过程中的核心信息载体,其信息处理效率直接影响供应链运行效率。当前,运单以图片、pdf、扫描件等多种数字形态存在,且不同物流企业、不同业务场景下的运单在版式结构上差异显著,具有典型的跨版式、多格式特征。
2、为实现运单信息的自动化处理,现有技术主要采用基于规则模板的解析方案或基于ocr结合命名实体识别的ai抽取方案。前者需要针对每种版式人工配置解析规则或模板,版式变更即需重新配置,维护成本极高;后者虽具备一定泛化能力,但严重依赖前端ocr识别质量,当扫描图像存在倾斜、模糊或复杂背景时,ocr识别误差会在后续处理流程中级联传递并放大,最终导致信息抽取失败。如图1所示,当前运单信息自动抽取技术主要可分为模板/规则法、ocr+nlp方法以及版面理解方法三类,对应从“固定结构依赖”到“多模态建模”的逐步演进。
3、随着大语言模型技术的发展,部分方案尝试将ocr文本直接输入大语言模型进行零样本或少样本信息抽取,以规避规则配置和模型训练成本。然而,该方案存在以下突出问题:其一,大语言模型对输入上下文长度敏感,直接输入全量ocr文本容易因无关信息干扰导致关键字段误抽或漏抽;其二,大语言模型存在固有的幻觉问题,可能基于上下文臆测生成运单中并不存在的信息;其三,大语言模型输出具有随机性,即使输入相同,不同次推理可能产生不同结果,缺乏对抽取结果可信度的量化评估和质量控制机制;其四,当前方案将抽取结果以自然语言或json格式直接输出,缺乏校验与干预机制,当模型输出格式不符合预期或字段取值违反业务规则时,系统无法自动识别和纠正,错误的抽取结果将直接传递至下游业务系统,严重影响系统可靠性。
技术实现思路
1、鉴于目前信息处理技术领域存在的上述不足,本发明提供一种基于大语言模型的运单信息自动抽取方法及系统,能够在不依赖版式规则和模型重训练的前提下,实现跨版式运单信息的准确抽取及抽取结果的可信度量化与异常干预。
2、为达到上述目的,本发明的实施例采用如下技术方案:
3、一种基于大语言模型的运单信息自动抽取方法,包括:
4、获取运单图像并进行ocr识别,得到若干文本块及各文本块的空间位置信息;
5、对于预设目标字段集合中的每一目标字段,根据各所述文本块与当前目标字段之间的语义关联度、空间位置匹配度以及ocr置信度,从所述若干文本块中筛选出与该目标字段关联的候选文本块;
6、将各所述目标字段及其对应的候选文本块输入大语言模型进行信息抽取,得到初始抽取结果;
7、分别计算所述初始抽取结果中每一目标字段抽取结果的综合可信度,所述综合可信度基于该抽取结果所对应候选文本块的ocr置信度、该抽取结果通过预定义格式规则的校验结果以及该抽取结果通过预定义跨字段逻辑规则的校验结果确定;
8、当所述综合可信度低于预设阈值时,触发对相应目标字段的二次抽取或标记为低置信度结果;
9、输出各目标字段的最终抽取结果。
10、依照本发明的一个方面,所述若干文本块中筛选出与该目标字段关联的候选文本块,具体包括:
11、对于任一文本块,分别计算该文本块与当前目标字段之间的语义一致性得分、该文本块的空间位置与当前目标字段的预设目标区域之间的空间位置一致性得分、该文本块的文本内容与当前目标字段的同义标签之间的标签匹配度得分以及该文本块的ocr置信度得分;
12、对所述语义一致性得分、空间位置一致性得分、标签匹配度得分和ocr置信度得分进行加权求和,得到该文本块与当前目标字段的匹配得分;
13、根据所述匹配得分对各所述文本块进行排序,选取得分最高的前k个文本块作为候选文本块。
14、依照本发明的一个方面,所述语义一致性得分的权重为0.40,所述空间位置一致性得分的权重为0.25,所述标签匹配度得分的权重为0.20,所述ocr置信度得分的权重为0.15。
15、依照本发明的一个方面,所述综合可信度的计算方式为:对所述ocr置信度、所述格式规则的校验通过率和所述跨字段逻辑规则的校验通过率进行加权求和,得到所述综合可信度。
16、依照本发明的一个方面,所述综合可信度的计算中,所述ocr置信度的权重为0.20,所述格式规则校验通过率的权重为0.20,所述跨字段逻辑规则校验通过率的权重为0.15;所述综合可信度还包含模型生成概率分量,所述模型生成概率的权重为0.45。
17、依照本发明的一个方面,所述预设阈值包括第一阈值和第二阈值,且所述第一阈值大于所述第二阈值;
18、当所述综合可信度大于或等于所述第一阈值时,保留当前抽取值作为最终抽取结果;
19、当所述综合可信度小于所述第一阈值且大于或等于所述第二阈值时,构建携带当前目标字段的候选证据的纠错提示,将所述纠错提示重新输入所述大语言模型进行二次推理,以更新抽取值;
20、当所述综合可信度小于所述第二阈值时,标记当前目标字段为待人工复核。
21、依照本发明的一个方面,述第一阈值为0.75,所述第二阈值为0.55;所述二次推理的采样温度低于首次推理的采样温度,且二次推理次数不超过2次。
22、依照本发明的一个方面,还包括:
23、当所述综合可信度低于所述预设阈值或二次推理后仍无法通过校验时,将相应目标字段的抽取异常事件回传至反馈模块;
24、所述反馈模块根据累计的多个所述异常事件进行错误模式聚类分析,并根据聚类结果更新后续所述结构化提示文本中的字段定义、同义标签或格式约束规则。
25、依照本发明的一个方面,所述反馈模块进行错误模式聚类分析后:
26、若同一字段类型的错误率在连续预设数量个统计窗口内持续下降,则继续执行所述结构化提示文本的更新;
27、若连续预设数量个统计窗口内仍未恢复,则启动对所述大语言模型的参数高效微调。
28、一种基于大语言模型的运单信息自动抽取系统,包括:
29、预处理模块,用于获取运单图像并进行ocr识别,得到若干文本块及各文本块的空间位置信息;
30、候选筛选模块,用于对于预设目标字段集合中的每一目标字段,根据各所述文本块与当前目标字段之间的语义关联度、空间位置匹配度以及ocr置信度,从所述若干文本块中筛选出与该目标字段关联的候选文本块;
31、推理模块,用于将各所述目标字段及其对应的候选文本块输入大语言模型进行信息抽取,得到初始抽取结果;
32、可信度评估模块,用于分别计算所述初始抽取结果中每一目标字段抽取结果的综合可信度,所述综合可信度基于该抽取结果所对应候选文本块的ocr置信度、该抽取结果通过预定义格式规则的校验结果以及该抽取结果通过预定义跨字段逻辑规则的校验结果确定;
33、干预模块,用于当所述综合可信度低于预设阈值时,触发对相应目标字段的二次抽取或标记为低置信度结果;
34、输出模块,用于输出各目标字段的最终抽取结果。本发明实施的优点:
35、1、通过上述基于“语义+空间+置信度”三维加权匹配的候选筛选技术方案,能够将全量ocr文本降维为字段关联的有限候选集输入大语言模型,从根源上消除无关文本对模型推理的噪声干扰,有效抑制模型误抽、漏抽及臆测生成问题,显著提升跨版式运单信息抽取的准确率与稳定性。
36、2、通过上述基于“ocr置信度+格式规则+跨字段逻辑规则”融合加权的综合可信度量化评估技术方案,能够将大语言模型不可控的自由文本输出转化为字段级可信度可量化、可比较的结构化数据,使每一输出结果均具备工程意义上的质量标尺,从根本上解决了模型输出随机性带来的不可靠问题。
37、3、通过上述基于预设阈值触发的“直接通过/二次推理/人工复核”三级动态干预技术方案,能够在无需人工介入的情况下自动拦截低可信度输出,并对可疑结果进行携带证据的定向纠错重推理,确保最终输出结果的可靠性与规范性,显著提升系统在工业场景中的可用性。
38、4、通过上述将校验失败样本自动回流至反馈模块并进行错误模式聚类分析,据此更新prompt中字段定义、同义标签或格式约束规则的技术方案,能够在无需重新训练模型的前提下实现系统性能的持续自演进,将系统维护成本降至最低,同时保障抽取性能随数据分布变化而自适应优化。
39、综上所述,本发明能够在不依赖版式规则和模型重训练的前提下,实现跨版式运单信息的准确抽取及抽取结果的可信度量化与异常干预。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com