结构化信息抽取方法、装置、设备及存储介质与流程
本技术涉及知识库管理,尤其涉及结构化信息抽取方法、结构化信息抽取装置、电子设备及存储介质。
背景技术:
1、基于大语言模型从知识库文档中抽取结构化信息时,大语言模型可自由生成字段名,导致不同文档的同一语义信息被转化为不同字段名,或产生不符合知识库预设字段体系的无效字段名。对于这部分不符合要求的输出,现有方法仅作丢弃处理,使得大语言模型在对后续文档进行抽取时仍会重复产生同类无效或冲突字段,使得抽取的效率和准确性低下,从而制约了知识库中结构化知识的有效积累、查询与复用,同时也影响了下游内容生成任务基于这些结构化知识进行回答时的准确性与一致性。
技术实现思路
1、本技术的主要目的在于提供一种结构化信息抽取方法、结构化信息抽取装置、电子设备及存储介质,旨在解决现有抽取结构化信息的效率和准确性低下对应的技术问题。
2、为实现上述目的,本技术提出一种结构化信息抽取方法,所述结构化信息抽取方法包括:
3、基于知识库中的预设配置文件,确定字段约束条件列表;
4、确定所述知识库中的待处理文档;并以所述字段约束条件列表中的各字段约束条件为约束,通过大语言模型对所述待处理文档进行结构化抽取,得到所述待处理文档的提案列表,其中,所述提案列表包含多条提案,每条提案至少包含字段名;
5、校验每个提案中所述字段名是否满足所述字段约束条件列表中的目标约束条件,其中,所述目标约束条件为所述字段名存在于预设配置文件对应的字段名集合中;
6、若否,则将对应提案作为拒绝提案,并根据所述拒绝提案,更新所述大语言模型进行结构化抽取时所使用的提示词;若是,则将对应提案作为目标知识条目,并通过所述目标知识条目更新所述大语言模型基于所述待处理文档进行内容生成时的提示词。
7、在一实施例中,所述目标知识条目存储于所述知识库中;在所述将对应提案作为目标知识条目的步骤之后,还包括:
8、获取所述知识库中各目标知识条目的信号维度,其中,所述信号维度包括:最后访问时间、访问热度、关联文档数量以及源文档修改时间;
9、通过各所述信号维度对应的预设权重对所述信号维度进行加权融合,确定所述目标知识条目的置信度分数;
10、从所述目标知识条目中确定所述置信度分数大于或等于预设分数的第一知识条目,根据所述第一知识条目更新所述大语言模型进行内容生成时所使用的提示词。
11、在一实施例中,在所述确定所述目标知识条目的置信度分数的步骤之后,还包括:
12、响应于对所述知识库中目标知识条目的访问操作,更新所述目标知识条目的访问时间;
13、确定与所述目标知识条目相关联的邻居知识条目,并更新所述邻居知识条目的访问时间;
14、基于所述访问操作调整所述目标知识条目的访问热度对应的权重;
15、基于所述访问时间分别调整所述目标知识条目和所述邻居知识条目的最后访问时间对应的权重;
16、根据调整后的权重,重新计算所述目标知识条目和所述邻居知识条目的置信度分数。
17、在一实施例中,所述根据所述第一知识条目更新所述大语言模型进行内容生成时所使用的提示词的步骤包括:
18、根据当前内容生成任务的任务类型信息,确定将所述第一知识条目组织为文本片段的组织方式;
19、将所述第一知识条目按照所述组织方式组织为文本片段,注入所述大语言模型进行内容生成时所使用的提示词中,得到更新后的提示词。
20、在一实施例中,所述方法还包括:
21、通过大语言模型对所述待处理文档的正文内容进行识别,得到候选字段名;
22、获取所述知识库中预设的标准术语;
23、当所述候选字段名与各标准术语均不匹配时,将所述候选字段名作为新增条目;
24、对所述新增条目进行去重处理,得到去重后的新增条目,并将所述去重后的新增条目补充至所述字段约束条件列表中。
25、在一实施例中,所述方法还包括:
26、通过大语言模型提取所述知识库中各文档的关键词;
27、将满足预设出现频次的关键词确定为目标关键词,并对多个目标关键词进行聚类,得到主题簇;
28、从所述知识库中获取与所述主题簇对应的目标文档,根据所述目标文档中与所述主题簇语义匹配的正文内容信息,生成所述主题簇对应的汇总信息;
29、将所述汇总信息加入到待处理文档中,参与下一轮结构化抽取。
30、在一实施例中,所述知识库包括多个业务领域的分区,每个分区具备各自业务领域的字段约束条件列表,分别以各分区各自业务领域的字段约束条件列表作为约束,通过大语言模型对所述待处理文档进行结构化抽取,得到各分区各自关于所述待处理文档的提案列表。
31、此外,为实现上述目的,本技术还提出一种结构化信息抽取装置,所述结构化信息抽取装置包括:
32、确定模块,用于基于知识库中的预设配置文件,确定字段约束条件列表;
33、抽取模块,用于确定所述知识库中的待处理文档;并以所述字段约束条件列表中的各字段约束条件为约束,通过大语言模型对所述待处理文档进行结构化抽取,得到所述待处理文档的提案列表,其中,所述提案列表包含多条提案,每条提案至少包含字段名;
34、校验模块,用于校验每个提案中所述字段名是否满足所述字段约束条件列表中的目标约束条件,其中,所述目标约束条件为所述字段名存在于预设配置文件对应的字段名集合中;
35、更新模块,用于若否,则将对应提案作为拒绝提案,并根据所述拒绝提案,更新所述大语言模型进行结构化抽取时所使用的提示词;若是,则将对应提案作为目标知识条目,并通过所述目标知识条目更新所述大语言模型基于所述待处理文档进行内容生成时的提示词。
36、此外,为实现上述目的,本技术还提出一种电子设备,所述电子设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如上文所述的结构化信息抽取方法的步骤。
37、此外,为实现上述目的,本技术还提出一种存储介质,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上文所述的结构化信息抽取方法的步骤。
38、此外,为实现上述目的,本技术还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现如上文所述的结构化信息抽取方法的步骤。
39、本技术提出的一个或多个技术方案,至少具有以下技术效果:
40、本技术通过预先基于知识库中的预设配置文件确定字段约束条件列表,使得大语言模型在对待处理文档进行结构化抽取时,需要基于字段约束条件列表所限定的字段约束条件输出提案列表,每条提案均受限于字段约束条件列表所规定的范围;抽取完成后,对每条提案中的字段名是否存在于字段约束条件列表中的目标约束条件中进行校验,将校验不通过的提案作为拒绝提案,并根据该拒绝提案更新大语言模型进行下一次结构化抽取时所使用的提示词,使得此前产生的无效字段以提示词约束的形式作用于后续抽取过程,避免同类无效字段的重复产生,从而逐步提升抽取通过率;将通过校验的提案作为目标知识条目,并利用已积累的目标知识条目更新大语言模型在下游基于待处理文档进行内容生成时所使用的提示词,使生成阶段能够直接引用已校验通过的目标知识条目,确保同一语义信息在不同文档中被统一为相同的字段名进行表达与存储。
41、通过本技术的技术方案,一方面解决了大语言模型自由生成字段名导致的跨文档字段名冲突与无效字段问题,另一方面将校验失败的错误模式转化为对后续抽取的提示约束,使抽取通过率随处理文档数量的增加而提升,进而保证了知识库中跨文档结构化知识的一致性积累与精确查询,同时提升了下游内容生成任务基于此类结构化知识进行回答时的准确性与一致性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com