一种基于异构图先验的大语言模型多标签分类方法与系统

摘要: 本发明属于人工智能的自然语言处理领域,具体涉及一种基于异构图先验的大语言模型多标签分类方法与系统。背景技术:1、多标签文本分类是自然语言处理领域的一项基础性工作...
一种基于异构图先验的大语言模型多标签分类方法与系统

本发明属于人工智能的自然语言处理领域,具体涉及一种基于异构图先验的大语言模型多标签分类方法与系统。

背景技术:

1、多标签文本分类是自然语言处理领域的一项基础性工作,旨在根据输入文本的语义内容,从预定义标签空间中选择一个或多个相关标签,在科技文献标引、新闻主题识别、内容推荐、医疗编码和工业知识管理等场景中得到广泛应用。与单标签分类不同,单个文本通常同时对应多个标签,不同标签之间还可能通过共享文本样本形成稳定的关联结构。

2、现有多标签文本分类方法主要包括参数化分类模型和基于大语言模型的上下文学习方法。参数化分类模型通过训练神经网络将文本映射至标签空间,能够利用训练数据,但其输出层规模和训练成本会随标签空间扩大而增加。基于大语言模型的上下文学习方法可以在不更新大语言模型参数的情况下,将任务规则、候选标签和少量标注示例组装成提示并生成预测标签。

3、然而,大语言模型的单次输入长度受到上下文窗口限制,提示中只能容纳有限数量的训练示例。有限示例主要反映局部文本相似性,难以完整呈现训练集中由大量文本与标签关系共同形成的全局标签关联拓扑。常规检索增强方法通常只在文本向量空间中选择语义相似样本,未对文本节点与标签节点之间的异构关系进行消息传递,因而难以将输出端标签的全局关联信息稳定地提供给大语言模型。

4、综上所述,现存的技术问题是:现有基于大语言模型的多标签分类方法受上下文容量限制,难以利用训练集范围内的标签关联结构;仅依据文本语义相似度选择局部示例,难以使候选标签组合与训练数据的全局分布保持一致。

技术实现思路

1、为了解决现有技术存在的上述问题,本发明提供一种基于异构图先验的大语言模型多标签分类方法与系统,通过异构图表征器离线聚合训练集中的文本与标签关系,并在在线推理时从图增强标签表征矩阵中确定候选标签集合;同一候选标签集合连续作为语义相似示例的标签过滤边界、大语言模型的允许输出边界和响应解析边界,从而以受约束上下文示例和受约束生成结果的形式向大语言模型注入标签关联先验。

2、本发明的目的是通过以下技术方案实现的:

3、本发明提供一种基于异构图先验的大语言模型多标签分类方法,包括以下步骤:

4、获取多标签文本分类数据集,生成文本节点初始向量和标签节点初始向量,并构建异构二部图;

5、基于所述异构二部图构建异构图表征器,采用正样本关系边和硬负标签构造对比学习目标进行训练,得到标签表征矩阵和查询投影模块;

6、利用所述查询投影模块将待预测文本的初始查询向量映射至与所述标签表征矩阵一致的特征空间,根据映射后的查询向量与各标签表征向量之间的相似度确定候选标签集合;

7、从训练集中检索语义相似的训练样本,将该训练样本的真实标签集合与所述候选标签集合求交,得到受约束示例标签集合,形成上下文示例;

8、将任务规则、所述候选标签集合、所述上下文示例和待预测文本组装成分类提示,在任务规则中将大语言模型的允许输出标签限定为所述候选标签集合,输入大语言模型;

9、仅针对所述候选标签集合解析响应,将满足匹配条件的候选标签加入多标签分类结果,使分类结果为所述候选标签集合的子集;其中,同一候选标签集合分别作为受约束示例标签的过滤边界、允许输出边界和响应解析边界。

10、进一步地,所述构建异构二部图的方法包括:筛选特征值大于预设置信度阈值的特征列,保留满足字符类型条件和长度条件的特征名称,将不超过预设数量的特征名称拼接成文本字符串;将标签值大于所述预设置信度阈值的标签确定为对应文本样本的正样本标签;利用同一句子特征编码器分别对所述文本字符串和标签名称进行编码;建立文本节点指向标签节点的第一关系边和标签节点指向文本节点的第二关系边。

11、进一步地,所述异构图表征器包括分别对应文本节点和标签节点的输入投影层、至少两层异构图转换卷积层、与各异构图转换卷积层对应的残差连接和层归一化模块;所述异构图转换卷积层针对不同节点类型和不同关系边类型分别计算多头注意力权重;所述查询投影模块包括第一线性变换层、层归一化层、非线性激活层和第二线性变换层,所述第一线性变换层将句子特征编码器输出的初始查询向量映射至所述异构图表征器的隐藏维度,所述第二线性变换层输出与所述标签表征矩阵列维度相同的查询投影向量。

12、进一步地,所述构造对比学习目标包括:根据正样本关系边获得文本查询投影向量q和正样本标签表征向量p,计算正样本得分;计算所述文本查询投影向量与全部标签表征向量的相似度,屏蔽正样本标签后选取相似度最高的j个标签作为硬负标签,计算硬负标签得分;根据所述正样本得分、硬负标签得分和温度参数τ计算交叉熵损失。

13、进一步地,所述确定候选标签集合包括:分别对映射后的查询向量和标签表征矩阵中的标签表征向量进行二范数归一化,通过矩阵乘法计算余弦相似度,并按照所述余弦相似度降序选取前k个标签构成所述候选标签集合。

14、进一步地,所述检索训练样本包括:预先计算并缓存训练集文本的归一化句子特征向量,计算所述待预测文本的归一化句子特征向量与所述训练集文本的归一化句子特征向量之间的内积,按照内积降序选取不超过预设示例数量的训练样本。

15、进一步地,所述组装分类提示包括:将所述候选标签集合中的标签按序号排列;对于检索到的每个训练样本,将其真实标签集合与所述候选标签集合求交;按照相似度顺序依次加入包含求交结果的训练样本,直至分类提示达到预设词数上限;在分类提示中设置输出标签只能来自所述候选标签集合的约束。

16、进一步地,所述组装分类提示还包括:先计算不包含上下文示例的基础提示词数,再按照训练样本相似度顺序逐条试加入上下文示例,当加入当前上下文示例会使分类提示超过预设词数上限时停止加入后续上下文示例;所述任务规则至少包括标签来源约束、标签去重约束、标签排序约束、空结果表示约束和输出格式约束。

17、进一步地,所述解析所述大语言模型的响应包括:对响应文本执行格式清洗;仅在所述候选标签集合内扫描候选标签名称或候选标签名称对应的词干短语;在未获得严格匹配结果时,计算响应词集与候选标签词集之间的词干命中比例,将达到预设比例阈值的候选标签加入所述多标签分类结果,并排除所述候选标签集合之外的标签。

18、本发明同时提供一种基于异构图先验的大语言模型多标签分类系统,其用于实现所述的基于异构图先验的大语言模型多标签分类方法,系统包括:

19、数据处理模块,用于从多标签文本分类数据集中生成文本节点初始向量、标签节点初始向量以及文本样本对应的正样本标签;

20、异构图构建模块,用于构建文本节点与标签节点组成的异构二部图;

21、图表征训练模块,用于训练异构图表征器并得到标签表征矩阵和查询投影模块;

22、候选标签检索模块,用于将待预测文本映射至与所述标签表征矩阵一致的特征空间,并根据相似度从所述标签表征矩阵中确定候选标签集合;

23、上下文示例检索模块,用于检索语义相似的训练样本,并将每个训练样本的真实标签集合与所述候选标签集合求交以生成受约束上下文示例;

24、提示组装模块,用于基于所述候选标签集合和所述受约束上下文示例组装分类提示,并将所述大语言模型的允许输出标签限定为所述候选标签集合;

25、大语言模型推理模块,用于根据分类提示生成响应;

26、响应解析模块,用于仅在所述候选标签集合内解析响应,使获得的多标签分类结果为所述候选标签集合的子集。

27、本发明具有以下有益效果:

28、本发明利用文本节点与标签节点之间的双向关系进行多层消息传递,使共享文本节点的多个标签在高阶传播过程中相互影响,从而在标签表征中编码训练集范围内的隐式共现先验;将图先验用于候选标签召回,而不是要求大语言模型直接读取全量训练数据,能够在不扩展上下文窗口的情况下缩小输出搜索空间;候选标签列表同时约束相似示例中的标签和大语言模型的最终输出,使图表征检索、示例检索和生成解析形成一致的标签边界;图表征训练和训练文本向量编码均可离线完成并缓存,便于在线重复调用。

29、与仅采用文本近邻作为提示示例的方式相比,本发明先利用异构图确定受全局关系结构约束的候选标签集合,再利用该候选标签集合筛选语义近邻的示例标签,使局部语义证据和全局标签拓扑在同一提示中协同作用。与直接要求大语言模型在全量标签空间中自由生成的方式相比,本发明将生成边界限制在候选集合内,有利于降低无关标签和集合外标签进入最终结果的概率。