基于大模型反馈强化学习的文献关键词生成方法及装置

摘要: 本发明属于自然语言处理与科学文献信息管理,具体涉及一种基于大模型反馈强化学习的文献关键词生成方法及装置(以下简称scikgen)。背景技术:1、科学文献是人类知...
基于大模型反馈强化学习的文献关键词生成方法及装置

本发明属于自然语言处理与科学文献信息管理,具体涉及一种基于大模型反馈强化学习的文献关键词生成方法及装置(以下简称scikgen)。

背景技术:

1、科学文献是人类知识的主要载体,然而每年数以百万计的新论文持续发表,使得研究人员难以全面跟踪各领域的最新进展。在此背景下,将海量数字化文献集合转化为结构化、机器可理解的知识资源变得至关重要,其中高效的索引和摘要机制是关键。关键词作为文献核心主题的简洁表达,在文献检索和组织中发挥着核心作用。然而,大量科学文献(尤其是计算机科学领域)缺乏作者提供的关键词,或者现有的作者标注关键词存在不完整和不一致的问题,这严重限制了现有方法的有效性。

2、现有的关键词提取方法主要分为以下几类:

3、(1)传统统计与图方法:如tf-idf、textrank、topicrank等,主要基于词频、共现或图中心性信号对文档中显式出现的短语进行排序和选择。这些方法仅能操作文档的表层形式,对底层语义空间的覆盖有限。

4、(2)基于预训练语言模型的方法:如keybert、embedrank、sifrank等,利用预训练语言模型编码上下文语义。虽然能力有所提升,但本质上仍是基于表层表达的精细化提取器,无法生成文档中未直接出现的语义关键词。

5、(3)基于大语言模型的直接生成方法:虽然llm能够理解复杂的科学文本并生成关键词,但直接使用时往往产生次优结果--生成的术语可能过于宽泛或不一致,通用生成模型在缺乏文档内容锚定的情况下容易偏离主题。

6、现有技术面临的核心挑战包括:(a)缺乏对文档深层语义的理解,无法生成文档表面未出现的概念性关键词;(b)生成结果缺乏质量控制机制,无法针对语义相关性、覆盖度、多样性等多维度进行系统优化;(c)难以利用大规模无标注科学语料中的弱监督信号来增强生成质量。

7、因此,亟需开发一种能够结合检索增强生成(rag)与强化学习(rl)的科学文献关键词生成方法,以克服上述局限性。

技术实现思路

1、针对现有技术在科学文献关键词生成中的局限性,本发明提出了一种基于大模型反馈强化学习的文献关键词生成方法及装置。本发明将检索增强弱监督、轻量级语言模型训练、基于偏好的评估和强化学习优化集成为统一流水线,能够从科学文献中自动生成高质量、语义准确的关键词集合,提高科学文献的组织、检索和分析效率。

2、为实现上述目的,本发明的技术方案包括以下内容。

3、一种基于大模型反馈强化学习的文献关键词生成方法,所述方法包括:

4、从无标注科学语料库中检索输入文档的语义相关文档;其中,所述无标注科学语料库中的每一文档关联一个或多个学科分类标签,且该文档没有关键词标注;

5、将输入文档和语义相关文档送入轻量级大语言模型进行候选关键词生成,得到候选关键词集合;

6、使用大规模大语言模型对候选关键词集合进行质量评估,得到每一候选关键词的偏好奖励信号;

7、基于偏好奖励信号,通过强化学习算法对所述轻量级大语言模型进行微调,得到关键词生成模型;

8、部署关键词生成模型,并结合无标注科学语料库,获取目标文档的关键词生成结果。

9、进一步地,从无标注科学语料库中检索输入文档的语义相关文档,包括:

10、分别计算输入文档与文档的稠密向量表征,并基于稠密向量表征,得到输入文档与文档之间的相似度;

11、选取相似度最高的k个文档作为输入文档的语义相关文档。

12、进一步地,所述偏好奖励信号基于关键词级质量分数、分类对齐分数、主题特异性分数和过度分散惩罚分数生成;其中,表示候选关键词集合中的第个候选关键词。

13、进一步地,所述关键词级质量分数;所述分类对齐分数;所述主题特异性分数;所述过度分散惩罚分数;其中,表示候选关键词与输入文档的语义相关性,表示候选关键词对输入文档的主题覆盖度,表示候选关键词的语义与词汇多样性,表示候选关键词的简洁性,表示候选关键词与学科分类标签之间的语义一致性;表示候选关键词反映输入文档核心贡献与指示单一主题类别方面的能力;表示候选关键词虚假分散到不相关学科分类标签的程度。

14、进一步地,基于偏好奖励信号,通过强化学习算法对所述轻量级大语言模型进行微调,得到关键词生成模型,包括:

15、依据偏好奖励信号计算每个候选关键词在候选关键词集合中的相对优势

16、基于相对优势,计算策略梯度;

17、通过所述策略梯度更新所述轻量级大语言模型的模型参数。

18、进一步地,部署关键词生成模型之后,所述方法还包括:

19、基于用户反馈构建人工标注数据集,并计算每一用户反馈对应的在线偏好奖励;

20、对于人工标注数据集中每一数据,计算该数据的偏好奖励信息;

21、对该数据的偏好奖励信号与对应的在线偏好奖励进行加权计算,生成最终奖励;

22、基于最终奖励,通过强化学习算法对关键词生成模型进行微调。

23、一种基于大模型反馈强化学习的文献关键词生成装置,所述装置包括:

24、检索增强模块,用于从无标注科学语料库中检索输入文档的语义相关文档;其中,所述无标注科学语料库中的每一文档关联一个或多个学科分类标签,且该文档没有关键词标注;

25、关键词生成模块,用于将输入文档和语义相关文档送入轻量级大语言模型进行候选关键词生成,得到候选关键词集合;

26、偏好评估模块,用于使用大规模大语言模型对候选关键词集合进行质量评估,得到每一候选关键词的偏好奖励信号;

27、强化学习优化模块,用于基于偏好奖励信号,通过强化学习算法对所述轻量级大语言模型进行微调,得到关键词生成模型;

28、人机交互模块,用于部署关键词生成模型,并结合无标注科学语料库,获取目标文档的关键词生成结果。

29、一种计算机设备,所述计算机设备包括:处理器以及存储有计算机程序指令的存储器;所述处理器执行所述计算机程序指令时实现上述任一项所述的基于大模型反馈强化学习的文献关键词生成方法。

30、一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现实现任一项所述的基于大模型反馈强化学习的文献关键词生成方法。

31、一种计算机程序产品,当所述计算机程序产品在计算机设备上运行时,使得计算机设备执行上述任一项所述的基于大模型反馈强化学习的文献关键词生成方法。

32、与现有技术相比,本发明至少具有以下有益效果。

33、(1)现有关键词生成技术的奖励信号或依赖人工逐条标注的偏好数据、或依赖需要另行训练的奖励模型,且其领域约束通常来自通用语料,缺少面向科学文献的专门设计,亦不具备将真实用户反馈回注训练的闭环通路。本发明则以"大语言模型自动打分-人工反馈闭环校准-科学文献学科分类体系弱监督"三者协同的方式构建偏好信号。

34、(2)以大语言模型作为自动评分器,取代人工标注偏好数据与独立训练的奖励模型。本发明将强大的大语言模型直接用作多维度自动评估器,对同一文档的多个候选关键词集合逐一打分并输出归一化子分数,进而聚合为标量奖励。区别于现有基于人类反馈的强化学习方案须先采集大规模人工偏好对、再训练一个独立的奖励模型(rewardmodel)作为打分代理,本发明的奖励信号由大语言模型评估器即时给出,既免除了人工逐条标注偏好数据的成本,也免除了奖励模型的训练与维护环节,避免了奖励模型因训练数据分布偏移而产生的奖励失真;同时,该评分覆盖关键词级质量(相关性、覆盖度、多样性、简洁性)、分类对齐度、主题特异性与过度分散惩罚等多个正交维度,并采用均匀权重聚合,使关键词质量得以在多个维度上被同时约束,克服了传统关键词提取方法(如tf-idf、textrank、keybert等)完全缺乏质量控制机制、以及直接调用大语言模型生成时术语过宽或不一致的缺陷;

35、(3)引入人工反馈闭环,实现奖励函数的在线动态校准与模型持续演化。本发明将优化后的模型部署为web服务,通过人机交互模块采集真实用户的显式修正(如增删、改写关键词)与隐式行为线索(如采纳、复制、忽略等操作),据此构建在线偏好数据集,并按对奖励函数进行动态校准,再经周期性重训练回注生成器。区别于现有方案将人工标注仅作为一次性的离线训练输入、模型上线后即固定不变,本发明的人工反馈是在部署环境中持续采集并直接作用于奖励函数的,由此形成"生成-使用-反馈-再优化"的闭环:其一,可校正自动评分器与人类专家判断之间的系统性偏差,使优化目标始终锚定于真实用户偏好;其二,可使模型持续适应不断演化的科学术语(如新兴方法名、新任务名),缓解科学文献场景下术语快速更新导致的模型时效性衰减;其三,权重可调,便于在自动评分与人类偏好之间灵活配置影响比例;

36、(4)面向科学文献的专门化设计:以学科分类体系作为弱监督信号,无需人工标注即可获得领域级语义约束。本发明针对科学文献自带结构化元数据这一特性,通过检索模块从大规模科学语料库中检索语义最相近的k篇文献,并提取其学科分类标签(如arxiv主题类别cs.cl、cs.ai、cs.lg等)作为弱标签,进而据此构造分类对齐、主题特异性与过度分散惩罚三项奖励分量。区别于现有通用文本关键词生成技术仅以文档自身内容为约束、或使用与学科体系无关的通用语料作检索源,本发明利用的是科学文献领域内经长期积累而成的既定研究分类体系,使生成的关键词同时满足"局部对齐"(贴合本篇文献的具体内容)与"全局对齐"(契合该学科公认的术语体系与知识组织结构);由此,生成器能够产出文档表面未显式出现、但由语义推断得到的概念性关键词,显著提升关键词的语义覆盖度与领域对齐度,且整个过程不需要任何额外的人工标注;

37、(5)本发明采用grpo算法进行分组相对策略优化,仅依据同一文档下$g$个候选的组内相对排名计算优势估计,无需额外的价值网络(critic),亦无需为各评估维度手动调整权重方案。该设计与上述大语言模型自动打分机制天然契合--由于自动评分在多个异质维度上的绝对分值尺度并不严格可比,而同组候选之间的相对优劣关系稳定可靠,故采用组内相对比较可有效抑制评分尺度漂移带来的方差,在降低训练复杂度的同时获得稳定收敛;

38、(6)本发明在多个大规模科学文献数据集(ai-dm、dblp v10、pubmed)及六个标准基准数据集上均优于传统关键词提取方法和十三个同规模llm基线模型,在自动评估指标和人类专家评价中均取得领先表现;其中,消融实验进一步验证了上述关键设计的必要性:移除检索模块后覆盖度显著下降,证明学科分类证据是全面性的来源;将大语言模型评估器替换为能力较弱的开源模型后相关性与内聚性受损,证明强评分器所提供的偏好监督不可或缺;