面向业务文本的大模型分层知识萃取与标签关联方法与流程
本发明涉及自然语言处理,具体地说,涉及面向业务文本的大模型分层知识萃取与标签关联方法。
背景技术:
1、在企业数字化运营过程中,合同、流程规范、运营报告、业务记录等多源异构业务文本沉淀了大量业务知识与规则。针对这类文本开展自动化知识萃取与标签关联处理,是实现业务知识沉淀、高效检索复用及合规管控的重要技术手段,广泛应用于业务流程管理、知识图谱构建等领域。
2、现有技术中,已有多种面向业务文本的标签构建与内容分类方案。如申请号为cn202311478490.1的专利文件公开了一种基于电商数据和社交媒体营销内容数据建立内容标签的方法,针对现有打标签实体抽取结果不准确且效率慢的问题,本发明提供一种基于电商数据和社交媒体营销内容数据建立内容标签的方法,包括构建商品知识图谱;构建内容品类数据库;对内容品类数据库进行信息抽取构建品类内容标签树,按照品类内容标签树将内容品类数据库中的数据进行打标签。又如申请号为cn202110173106.1的专利文件公开了一种文档标签生成方法、系统及可读存储介质,包括以下步骤:s1自动化标签库生成:通过文章主题模型和命名实体抽取算法,从有限数量的文档中,获取关键词标签和名词实体标签,生成自动化标签库;s2标签分类算法:通过文本多分类模型,对系统原有文档和新入系统文档进行处理,通过s1生成的自动化标签库对文本多分类模型的分类结果进行匹配,生成对应的标签;s3标签反馈机制:对没有获得标签的文档重新通过s1中方法,获取关键词标签和名词实体标签并加入自动化标签库。
3、综合来看,这两类方案分别通过品类标签树匹配、标签库分类匹配的技术思路,实现了业务文本的自动化标签生成。但二者在知识抽取与标签关联的设计上,都采用单粒度信息单元与标签节点直接匹配的模式:知识抽取只提取实体、关键词这类单一粒度的信息单元,没有对业务文本中的知识按语义粒度做由粗到细的层级梳理,也没有明确不同粒度知识单元之间的层级归属关系;标签关联都采用信息单元与标签节点的点对点对应方式,没有结合层级化标签体系的语义特点建立对应的路径化匹配机制,既难以保证知识粒度与标签粒度的对应性,也难以保障标签关联结果的层级一致性。因此,如何实现业务文本知识的分层结构化梳理,并建立与层级化标签体系相适配的关联机制,是本领域需要解决的技术问题。
技术实现思路
1、本发明针对现有技术中存在的业务文本知识分层结构化梳理不足、标签关联机制与层级化标签体系适配性差的技术问题,提供面向业务文本的大模型分层知识萃取与标签关联方法,其能够对业务文本完成由粗到细的分层知识单元萃取与层级化结构化表征,并建立与层级化业务标签体系相适配的路径化关联机制,得到具备层级一致性的可追溯分层知识标签数据。
2、为实现上述技术问题的解决,本发明提供了面向业务文本的大模型分层知识萃取与标签关联方法,包括如下步骤:
3、s1、业务文本预处理与标准化转换:以多源异构原始业务文本数据为处理对象,通过文本格式归一化、噪声内容过滤及业务领域语义适配的电数字数据处理手段,得到标准化业务文本语料;
4、s2、分层知识单元语义萃取:以所述标准化业务文本语料为处理对象,通过大模型多层级语义编码、知识边界识别及层级化结构化表征的电数字数据处理手段,得到具有父子层级关系的分层知识单元集合;
5、s3、分层知识与业务标签层级化关联映射:以所述分层知识单元集合与预置层级化业务标签体系为处理对象,通过提取知识父子层级边上子知识相对于父知识的新增语义证据、构建以父标签为起点的候选标签路径并累计各路径段的标签新增语义证据、计算知识新增语义证据与标签路径累计新增语义证据之间的双向覆盖关联度,确定与知识层级变化对应的标签路径及目标标签的电数字数据处理手段,得到知识-标签关联结果集;
6、s4、关联结果校验与结构化输出:以所述知识-标签关联结果集为处理对象,通过层级一致性校验、冗余关联剔除及结构化数据封装的电数字数据处理手段,得到分层知识标签数据集。
7、作为本技术方案的进一步改进,所述s2中,通过大模型对标准化业务文本语料进行由粗到细的多层级语义编码,在每一层级语义编码结果中识别独立知识单元的语义边界,得到对应不同语义层级的知识单元候选集,并记录各知识单元在标准化业务文本语料中对应的原文位置区间。
8、作为本技术方案的进一步改进,所述s2中,还依据语义粒度从粗到细的层级关系对各语义层级的知识单元候选集进行层级归属判定,建立相邻层级知识单元之间的父子层级关系,得到具有父子层级关系的分层知识单元集合。
9、作为本技术方案的进一步改进,所述s3中,分层知识与业务标签层级化关联映射,包括以下步骤:
10、s3.1、在语义单元粒度上提取知识父子层级边上子知识相对于父知识的新增语义证据,得到知识父子层级边新增语义证据集合;
11、s3.2、以父标签为起点构建涵盖零级、一级或多级层级迁移的候选标签路径,按与知识父子层级边新增语义证据相同的语义单元粒度覆盖计算方式获取各直接标签父子边的标签新增语义证据,累计各路径段的标签新增语义证据,得到候选标签路径累计新增语义证据;
12、s3.3、分别计算知识新增语义证据对标签路径新增语义证据的前向覆盖度,以及标签路径新增语义证据对知识新增语义证据的反向覆盖度,基于前向覆盖度和反向覆盖度形成双向覆盖关联度,沿知识树进行全局关联求解,确定与知识层级变化对应的标签路径及目标标签,并对关联度不足的结果进行不确定结果处理,得到知识-标签关联结果集。
13、作为本技术方案的进一步改进,所述s3.1中,提取知识父子层级边新增语义证据,包括以下步骤:
14、s3.11、对父知识和子知识分别进行语义单元粒度的编码;
15、s3.12、基于归一化语义相似度计算子知识中各语义单元被父知识中各语义单元覆盖的最大程度;
16、s3.13、以该覆盖程度的剩余比例作为对应语义单元的新增语义权重,得到知识父子层级边新增语义证据集合。
17、作为本技术方案的进一步改进,所述s3.2中,构建候选标签路径并累计各路径段的标签新增语义证据,具体包括:
18、在父标签所在标签分支范围内,以父标签为起点构建涵盖标签层级不变的零级路径、下降一个标签层级的一级路径以及下降多个标签层级的多级路径;
19、分别累计各候选标签路径上各直接标签父子边的标签新增语义证据,得到候选标签路径累计新增语义证据。
20、作为本技术方案的进一步改进,所述s3.3中,基于归一化比例分别计算两个方向的覆盖度,具体包括:
21、计算知识新增语义证据被候选标签路径累计新增语义证据解释的前向覆盖度;
22、计算候选标签路径累计新增语义证据在知识新增语义证据中获得支持的反向覆盖度。
23、作为本技术方案的进一步改进,所述s3.3中,形成双向覆盖关联度并确定标签路径及目标标签,包括以下步骤:
24、s3.31、将所述前向覆盖度与所述反向覆盖度形成双向覆盖关联度;
25、s3.32、依据各候选标签路径的双向覆盖关联度,自适应选择各知识父子层级边的局部候选标签路径,形成各知识父子层级边对应的局部知识-标签关联结果。
26、作为本技术方案的进一步改进,所述s3.3中,进行全局关联求解与不确定结果处理,具体包括:
27、沿知识树对各知识单元保留多个候选标签状态,进行全局关联求解;
28、当最优候选的双向覆盖关联度低于第一预设阈值,或最优候选与次优候选的双向覆盖关联度差异小于第二预设阈值时,将对应知识单元的关联结果标记为待确认状态。
29、作为本技术方案的进一步改进,所述s4中,对知识-标签关联结果集进行层级一致性校验、冗余关联剔除及结构化数据封装,具体包括:
30、校验各知识单元的标签路径是否符合层级化业务标签体系的父子层级关系;
31、剔除同一知识单元在同一标签层级下的多个候选标签关联结果;
32、将知识单元标识、目标标签、标签路径、关联状态及对应的原始文本证据区间封装为结构化记录,得到可追溯的分层知识标签数据集。
33、与现有技术相比,本发明的有益效果:
34、1.本发明通过大模型多层级语义编码、知识边界识别及层级归属判定的技术手段,解决了现有技术仅能单粒度抽取信息、缺乏知识层级结构的问题,实现了业务文本知识由粗到细的分层结构化表征;
35、2.本发明通过提取知识父子层级边新增语义证据、构建候选标签路径并计算双向覆盖关联度的技术手段,解决了现有点对点匹配粒度错位、层级适配性不足的问题,实现了知识层级与标签层级的路径化精准关联;
36、3.本发明通过沿知识树全局关联求解、层级一致性校验及原始文本区间封装的技术手段,解决了局部匹配易引发层级冲突、结果缺乏追溯依据的问题,实现了标签关联结果的全局层级一致与可追溯。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com