综述生成方法及时序化综述生成方法
本发明属于大语言模型,更具体地,涉及一种综述生成方法及时序化综述生成方法。
背景技术:
1、目前,随着各学科领域研究文献数量的激增,学术综述作为系统梳理某一研究方向进展、方法及瓶颈的核心载体,其撰写效率与质量愈发受到重视。然而,传统人工撰写综述严重依赖专家知识并耗费大量时间。因此,亟需研究一种能够高效处理海量文献信息和精确控制生成内容质量的综述生成方法,以提升学术综述的自动化生成水平与实用价值。
2、现有的综述生成方法,主要包括以下两种;第一种综述生成方法通过构建模块化流水线系统,依次完成检索式构建、文献筛选、数据提取与信息汇总等步骤,最终输入至大语言模型来生成结构化报告;第二种综述生成方法通过采用检索增强生成(rag)技术,将文献语料库转换为高维向量并建立索引,通过向量检索结合bm25混合检索召回相关内容,再交由大语言模型生成带参考文献的可溯源综述。然而上述方法深度依赖现有大语言模型本身的处理能力,但由于大语言模型训练数据通常来源于互联网的大规模语料,这些数据中不可避免地包含性别、种族、文化、年龄、学历、地域等偏见。这些偏见在模型训练过程中被吸收,并通过多层网络的交互作用编码到模型的参数中,导致模型在生成或预测文本时可能产生不公平或有歧视性的输出,安全性较差。
3、为了解决上述问题,一些现有的综述生成方法引入额外的通用大语言模型作为评判器,对生成的综述进行质量评估与偏见检测;然而,此类方法普遍采用单次前向推理的静态评估范式,即评判器仅在生成流程末端进行一次性的偏见判别;而通用大语言模型自身固有的人工标注数据所带的偏见,会在一次性检测中被直接固化并放大,导致偏见检测失准,难以实现准确有效的偏见修正。
技术实现思路
1、针对现有技术的以上缺陷或改进需求,本发明提供了一种综述生成方法及时序化综述生成方法,用以解决现有技术难以实现准确有效的偏见修正的技术问题。
2、为了实现上述目的,第一方面,本发明提供了一种综述生成方法,包括:
3、获取综述生成指令信息,并输入至第一大语言模型中,得到候选综述文本;综述生成指令信息用于指示第一大语言模型按照用户需求生成综述文本;
4、采用文本修正算法,对候选综述文本进行修正,得到最终的综述文本;
5、其中,采用文本修正算法,对任意文本d进行修正的过程包括:
6、s1、将文本d作为当前待修正文本;
7、s2、构建当前结构化提示信息,包括:当前待修正文本、历史上下文信息和评估指令信息;评估指令信息用于指示偏见评估模型,基于历史上下文信息对当前待修正文本进行偏见评估,并获取对应的偏见提示信息及对应的修正策略;偏见提示信息包括:当前待修正文本在n个不同偏见类型下的偏见评估分数、当前待修正文本中存在偏见内容的文本片段以及描述为何存在偏见的理由;当当前迭代轮次为第一轮迭代轮次时,历史上下文信息为空;当当前迭代轮次不为第一轮迭代轮次时,历史上下文信息包括:当前迭代轮次之前的所有迭代轮次下偏见评估模型所生成的偏见提示信息及对应的修正策略;其中,偏见评估模型为预训练好的用于进行偏见评估的第二大语言模型;n为偏见类型数量;
8、s3、将当前结构化提示信息输入至偏见评估模型中,得到当前待修正文本所对应的偏见指示信息及对应的修正策略;对当前待修正文本中存在偏见内容的文本片段基于对应的修正策略进行修正,从而更新当前待修正文本;
9、s4、重复s2-s3进行迭代,直至迭代轮次达到预设迭代轮次或者当前待修正文本所对应的偏见评估分数小于预设评估分数;将当前待修正文本作为修正完成后的文件。
10、进一步优选地,第二大语言模型的参数规模小于第一大语言模型的参数规模。
11、进一步优选地,生成候选综述文本的过程包括:顺序执行的输入解析阶段、资料检索阶段、资料修正阶段、提纲规划阶段、提纲修正阶段、分段生成阶段、段落描述修正阶段、整合阶段和整合修正阶段;输入解析阶段、资料检索阶段、提纲规划阶段、分段生成阶段和整合阶段均由第一大语言模型执行;
12、其中,输入解析阶段用于解析用户需求,提取包括主题和领域约束的元信息;
13、资料检索阶段用于基于元信息从预设资料库中检索资料文本;
14、资料修正阶段用于采用文本修正算法,对资料文本进行修正;
15、提纲规划阶段用于根据修正后的资料文件生成包含章节结构的提纲规划文本;
16、提纲修正阶段用于采用文本修正算法,对提纲规划文本进行修正;
17、分段生成阶段用于为修正后的提纲规划文本中章节结构的每个主题,生成对应的段落描述文本;
18、段落描述修正阶段用于采用文本修正算法,对每个主题所对应的段落描述文本进行修正;
19、整合阶段用于对修正后的各段落描述文本进行整合,得到初始综述文本。
20、进一步优选地,第一大语言模型中集成有与n个偏见类型一一对应的n个偏见评估头,以及与n个偏见类型一一对应的n个低秩适配器;
21、对于任意综述生成指令信息c,将其输入至第一大语言模型得到对应的候选综述文本的过程,包括:
22、将生成指令信息c输入至第一大语言模型中,获取第一大语言模型的最后一层解码层输出的隐藏状态特征;综述生成指令信息c用于指示第一大语言模型按照用户需求生成综述文本;
23、将隐藏状态特征分别输入至n个偏见评估头中,得到n个不同偏见类型下的偏见分数评估值,并进行归一化处理,得到n个不同偏见类型所对应的偏见权重;
24、将隐藏状态特征分别输入至n个低秩适配器中,到n个特征扰动增量;
25、对n个特征扰动增量基于对应的偏见权重进行加权求和,并将加权求和结果叠加在隐藏状态特征上,以对隐藏状态特征进行更新;
26、将更新后的隐藏状态特征输入至第一大语言模型的输出投影层,映射为词表概率分布,并解码生成对应的候选综述文本。
27、进一步优选地,上述第一大语言模型为微调得到的大语言模型,其微调方法包括:
28、获取第一训练样本集;第一训练样本集中的训练样本为n个不同偏见类型下的偏见评估分数之和小于或等于预设分数、且符合对应预设用户需求的综述文本样本;综述文本样本的n个不同偏见类型下的偏见评估分数通过将对应综述文本样本输入至偏见评估模型中得到;
29、为第一训练样本集中的每个训练样本,构建对应的综述生成指令信息,用于指示第一大语言模型按照对应的预设用户需求生成综述文本;
30、将第一训练样本集中每个训练样本所对应的综述生成指令信息,输入至第一大语言模型中,得到对应的候选综述文本;
31、以第一训练样本集中的每个训练样本与对应的候选综述文本的差异损失最小化为目标,对第一大语言模型中的n个低秩适配器进行微调。
32、进一步优选地,上述第一大语言模型的微调方法还包括:
33、获取第二训练样本集;第二训练样本集中的训练样本为综述生成指令信息样本,用于指示第一大语言模型按照对应的预设用户需求生成综述文本;
34、将第二训练样本集中每个训练样本输入至第一大语言模型中,得到对应的候选综述文本,并记录第一大语言模型中的n个偏见评估头对应输出的n个不同偏见类型下的偏见分数评估值,相加后取相反数作为对应训练样本的第一奖励值;
35、基于第二训练样本集中每个训练样本所对应的候选综述文本的字符长度,确定对应训练样本的第二奖励值;当任意候选综述文本的字符长度
x小于或等于预设最小长度时,对应训练样本的第二奖励值为;为预设最小值;为预设步长;当当候选综述文本的字符长度大于预设最小长度度、且小于预设最大长度度时,对应训练样本的第二奖励值为预设最大值;当当候选综述文本的字符长度大于或等于预设最大长度时,对应训练样本的第二奖励值为预设最大长度;
36、针对第二训练样本集中每一个训练样本:当其对应的候选综述文本为表征拒绝回答的文本时,将该训练样本的第三奖励值设置为第一预设分数;否者,将该训练样本的第三奖励值设置为第二预设分数;第一预设分数小于0;第二预设分数大于或等于0;第一预设分数的绝对值大于第二预设分数;
37、计算第二训练样本集中所有训练样本的第一奖励值之和,作为第一总奖励值;
38、计算第二训练样本集中所有训练样本的第二奖励值之和,作为第二总奖励值;
39、计算第二训练样本集中所有训练样本的第三奖励值之和,作为第三总奖励值;
40、通过最大化第一总奖励值、第二总奖励值和第三总奖励值的加权求和结果,对第一大语言模型中的n个低秩适配器进行微调。
41、进一步优选地,上述n个偏见评估头通过以下方式训练得到:
42、获取训练集,包括多个携带有标签的综述文本样本;标签包括:通过将对应综述文本样本输入至偏见评估模型中所得的n个不同偏见类型下的偏见评估分数;
43、获取评估模型;评估模型为将上述n个偏见评估头分别连接在特征提取模块输出端之后的模型;特征提取模块的输出维度与第一大语言模型的最后一层解码层的输出维度相同;
44、将训练集中的综述文本样本输入至评估模型中,得到对应的n个不同偏见类型下的偏见分数评估值;
45、通过最小化每个综述文本样本在每个偏见类型下的偏见分数评估值与对应偏见评估分数之间的差异损失,对评估模型进行训练,从而得到训练好的n个偏见评估头。
46、进一步优选地,偏见类型包括:性别偏见、种族偏见、文化偏见、年龄偏见、学历偏见和地域偏见。
47、第二方面,本发明提供了一种时序综述生成方法,包括:
48、a1、基于用户需求从预设资料库中查询资料;从所查询的资料中抽取时间实体,并提取与时间实体关联的事件描述;
49、计算每个事件描述的综合重要度;综合重要度为对应事件描述的里程碑分数、时间接近分数和跨文档出现频率分数的加权求和结果;里程碑分数通过以下方式计算得到:将对应事件描述输入至词嵌入模型中,得到词向量序列;将词向量序列中的每个词向量分别与各预设关键词的词向量进行相似度计算,将所得的最大相似度作为对应的里程碑分数;时间接近分数与对应时间差呈负相关;时间差为对应事件描述所对应的时间与当前时间之间的时间差;跨文档出现频率分数与对应事件描述在预设资料库中不同文档中出现的频率正相关;
50、将事件描述依据时间实体的先后顺序进行排序,并划分为多个不重叠的时间段,删除每个时间段中综合重要度小于预设阈值的事件描述;
51、a2、按照时间段的先后顺序,依次为每个时间段生成对应的最终摘要文本,包括:针对每一时间段执行以下操作:
52、为当前时间段构建对应的提示模板,包括:当前时间段内的事件描述、历史信息和摘要生成指令信息,并输入至第三大语言模型中,得到对应的候选摘要文本;当当前时间段为第一个时间段时,历史信息为空;当当前时间段不为第一个时间段时,历史信息为上一时间段所生成的最终摘要文本;摘要生成指令信息用于指示第三大语言模型基于当前时间段内的事件描述和历史信息,按照用户需求生成摘要文本;
53、采用文本修正算法,对当前时间段所对应的候选摘要文本进行修正,得到对应的最终摘要文本;
54、a3、将各时间段所对应的最终摘要文本按照时间先后顺序进行整合,得到时序综述文本;
55、其中,采用文本修正算法,对任意文本d进行修正的过程包括:
56、s1、将文本d作为当前待修正文本;
57、s2、构建当前结构化提示信息,包括:当前待修正文本、历史上下文信息和评估指令信息;评估指令信息用于指示偏见评估模型,基于历史上下文信息对当前待修正文本进行偏见评估,并获取对应的偏见提示信息及对应的修正策略;偏见提示信息包括:当前待修正文本在n个不同偏见类型下的偏见评估分数、当前待修正文本中存在偏见内容的文本片段以及描述为何存在偏见的理由;当当前迭代轮次为第一轮迭代轮次时,历史上下文信息为空;当当前迭代轮次不为第一轮迭代轮次时,历史上下文信息包括:当前迭代轮次之前的所有迭代轮次下偏见评估模型所生成的偏见提示信息及对应的修正策略;其中,偏见评估模型为预训练好的用于进行偏见评估的第二大语言模型;n为偏见类型数量;
58、s3、将当前结构化提示信息输入至偏见评估模型中,得到当前待修正文本所对应的偏见指示信息及对应的修正策略;对当前待修正文本中存在偏见内容的文本片段基于对应的修正策略进行修正,从而更新当前待修正文本;
59、s4、重复s2-s3进行迭代,直至迭代轮次达到预设迭代轮次或者当前待修正文本所对应的偏见评估分数小于预设评估分数;将当前待修正文本作为修正完成后的文件。
60、进一步优选地,第二大语言模型的参数规模小于第三大语言模型的参数规模。
61、进一步优选地,任一事件描述e的时间接近分数为:
62、
63、其中,为预设系数;为当前时间;为事件描述e所对应的时间;为预设单位时长。
64、进一步优选地,任一事件描述e的跨文档出现频率分数为:
65、
66、其中,为预设资料库中包含事件描述e的文档数量;为预设资料库中的总文档数量。
67、进一步优选地,第三大语言模型中集成有与n个偏见类型一一对应的n个偏见评估头以及与n个偏见类型一一对应的n个低秩适配器;
68、将任意时间段所对应的提示模板i输入至第三大语言模型得到对应的候选摘要文本的过程,包括:
69、将提示模板i输入至第三大语言模型中,获取第三大语言模型的最后一层解码层输出的隐藏状态特征h;
70、将隐藏状态特征h分别输入至n个偏见评估头中,得到n个不同偏见类型下的偏见分数评估值,并进行归一化处理,得到n个不同偏见类型所对应的偏见权重;
71、将隐藏状态特征h分别输入至n个低秩适配器中,到n个特征扰动增量;
72、对所得的n个特征扰动增量基于对应的偏见权重进行加权求和,并将加权求和结果叠加在隐藏状态特征h上,以对隐藏状态特征h进行更新;
73、将更新后的隐藏状态特征输入至第三大语言模型的输出投影层,映射为词表概率分布,并解码生成对应的候选摘要文本。
74、进一步优选地,上述第三大语言模型为微调得到的大语言模型,其微调方法包括:
75、获取第三训练样本集;第三训练样本集中的训练样本为n个不同偏见类型下的偏见评估分数之和小于或等于预设分数、且符合对应预设用户需求的摘要文本样本;摘要文本样本的n个不同偏见类型下的偏见评估分数通过将对应摘要文本样本输入至偏见评估模型中得到;
76、为第三训练样本集中的每个训练样本,构建对应的摘要生成指令信息,用于指示第三大语言模型按照对应的预设用户需求生成摘要文本;
77、将第三训练样本集中每个训练样本所对应的摘要生成指令信息,输入至第三大语言模型中,得到对应的候选摘要文本;
78、以第三训练样本集中的每个训练样本与对应的候选摘要文本的差异损失最小化为目标,对第三大语言模型中的n个低秩适配器进行微调。
79、进一步优选地,上述第三大语言模型的微调方法还包括:
80、获取第四训练样本集;第四训练样本集中的训练样本为摘要生成指令信息样本,用于指示第三大语言模型按照对应的预设用户需求生成摘要文本;
81、将第四训练样本集中每个训练样本输入至第三大语言模型中,得到对应的候选摘要文本,并记录第三大语言模型中的n个偏见评估头对应输出的n个不同偏见类型下的偏见分数评估值,相加后取相反数作为对应训练样本的第一奖励值;
82、基于第四训练样本集中每个训练样本所对应的候选综述文本的字符长度,确定对应训练样本的第二奖励值;当任意候选综述文本的字符长度
x小于或等于预设最小长度时,对应训练样本的第二奖励值为;为预设最小值;为预设步长;当当候选综述文本的字符长度大于预设最小长度度、且小于预设最大长度度时,对应训练样本的第二奖励值为预设最大值;当当候选综述文本的字符长度大于或等于预设最大长度时,对应训练样本的第二奖励值为预设最大长度;
83、针对第四训练样本集中每一个训练样本:当其对应的候选摘要文本为表征拒绝回答的文本时,将该训练样本的第三奖励值设置为第一预设分数;否者,将该训练样本的第三奖励值设置为第二预设分数;第一预设分数小于0;第二预设分数大于或等于0;第一预设分数的绝对值大于第二预设分数;
84、计算第四训练样本集中所有训练样本的第一奖励值之和,作为第一总奖励值;
85、计算第四训练样本集中所有训练样本的第二奖励值之和,作为第二总奖励值;
86、计算第四训练样本集中所有训练样本的第三奖励值之和,作为第三总奖励值;
87、通过最大化第一总奖励值、第二总奖励值和第三总奖励值的加权求和结果,对第三大语言模型中的n个低秩适配器进行微调。
88、进一步优选地,上述n个偏见评估头通过以下方式训练得到:
89、获取训练集,包括多个携带有标签的摘要文本样本;标签包括:通过将对应摘要文本样本输入至偏见评估模型中所得的n个不同偏见类型下的偏见评估分数;
90、获取评估模型;评估模型为将上述n个偏见评估头分别连接在特征提取模块输出端之后的模型;特征提取模块的输出维度与第三大语言模型的最后一层解码层的输出维度相同;
91、将训练集中的摘要文本样本输入至评估模型中,得到对应的n个不同偏见类型下的偏见分数评估值;
92、通过最小化每个摘要文本样本在每个偏见类型下的偏见分数评估值与对应偏见评估分数之间的差异损失,对评估模型进行训练,从而得到训练好的n个偏见评估头。
93、进一步优选地,偏见类型包括:性别偏见、种族偏见、文化偏见、年龄偏见、学历偏见和地域偏见。
94、第三方面,本发明提供了一种电子设备,包括:存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时执行本发明第一方面所提供的综述生成方法或本发明第二方面所提供的时序综述生成方法。
95、第四方面,本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序被处理器运行时控制所述存储介质所在设备执行本发明第一方面所提供的综述生成方法或本发明第二方面所提供的时序综述生成方法。
96、第五方面,本发明还提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现本发明第一方面所提供的综述生成方法或本发明第二方面所提供的时序综述生成方法。
97、总体而言,通过本发明所构思的以上技术方案,能够取得以下有益效果:
98、1、本发明第一方面提供了一种综述生成方法,在生成候选综述文本之后,基于渐进修正机制对生成候选综述文本进行多轮迭代修正,且在每轮修正的过程中,采用偏见评估模型基于当前迭代轮次之前的所有迭代轮次下偏见评估模型所生成的偏见提示信息及对应的修正策略,对当前待修正文本进行偏见评估;其中,偏见提示信息包含当前包含当前待修正文本在n个不同偏见类型下的偏见评估分数、当前待修正文本中存在偏见内容的文本片段以及描述为何存在偏见的理由;本发明通过多轮迭代的渐进修正机制,使偏见评估模型能动态累积历史修正经验,每一轮评估都显式参考前序所有轮次的偏见提示与修正策略,形成从“粗筛”到“精调”的逐步收敛过程;同时,输出的偏见提示包含偏见类型分数、偏见文本片段和解释理由三重细粒度信息,为修正提供精准的指导,避免全盘重写的盲目性。这种机制克服了静态单次评估中偏见被一次性固化的缺陷,使得修正方向在历史经验的约束下不断趋近最优解,最终实现远优于现有方法的稳定、可控的偏见修正效果,实现了准确有效的偏见修正,能够有效消除所生成的综述文本中的社会刻板印象与歧视性偏差,显著提升综述的客观性、中立性和整体可信度,使其内容更加严谨、包容且普适。
99、2、进一步地,在本发明所提供的综述生成方法中,第二大语言模型的参数规模小于第一大语言模型的参数规模,能够进一步降低计算开销。
100、3、进一步地,在本发明所提供的综述生成方法中,生成候选综述文本的过程包括:顺序执行的输入解析阶段、资料检索阶段、资料修正阶段、提纲规划阶段、提纲修正阶段、分段生成阶段、段落描述修正阶段、整合阶段和整合修正阶段;输入解析阶段、资料检索阶段、提纲规划阶段、分段生成阶段和整合阶段之前均设置有修正阶段,通过逐阶段修正方式,使得每一阶段的输出在进入下一环节前都经过偏见净化,有效切断了偏见的级联放大路径,最终以远低于传统末端单次修正的代价获得更高的整体公平性收益。
101、4、进一步地,在本发明第一方面所提供的综述生成方法中,第一大语言模型中集成有与n个偏见类型一一对应的n个偏见评估头,以及与n个偏见类型一一对应的n个低秩适配器;n个偏见评估头共享同一隐藏状态,各低秩适配器只学习对应偏见类型维度的特征修正增量,并由对应偏见评估分数控制修正强度,能够在冻结底座大语言模型主体参数的情况下进行针对性缓解,减少对低风险内容的过度改写,进一步提高综述生成质量。
102、5、进一步地,在本发明第一方面所提供的综述生成方法中,第一大语言模型的微调过程中,进一步引入了强化学习,从而降低了单独监督微调产生的模板化拒答和回答压缩,进一步提高了综述生成质量。
103、6、本发明第二方面提供了一种时序综述生成方法,分时间段生成候选摘要文本,并对每个时间段下的候选摘要文本进行修正,得到对应的最终摘要文本;将各时间段所对应的最终摘要文本按照时间先后顺序进行整合,得到时序综述文本;本发明在生成每一个候选摘要文本之后,基于渐进修正机制对生成候选综述文本进行多轮迭代修正,且在每轮修正的过程中,采用偏见评估模型基于当前迭代轮次之前的所有迭代轮次下偏见评估模型所生成的偏见提示信息及对应的修正策略,对当前待修正文本进行偏见评估;其中,偏见提示信息包含当前包含当前待修正文本在n个不同偏见类型下的偏见评估分数、当前待修正文本中存在偏见内容的文本片段以及描述为何存在偏见的理由;本发明通过多轮迭代的渐进修正机制,使偏见评估模型能动态累积历史修正经验,每一轮评估都显式参考前序所有轮次的偏见提示与修正策略,形成从“粗筛”到“精调”的逐步收敛过程;同时,输出的偏见提示包含偏见类型分数、偏见文本片段和解释理由三重细粒度信息,为修正提供精准的指导,避免全盘重写的盲目性。这种机制克服了静态单次评估中偏见被一次性固化的缺陷,使得修正方向在历史经验的约束下不断趋近最优解,最终实现远优于现有方法的稳定、可控的偏见修正效果,实现了准确有效的偏见修正,能够有效消除所生成的时序综述文本中的社会刻板印象与歧视性偏差,显著提升综述的客观性、中立性和整体可信度,使其内容更加严谨、包容且普适。
104、7、进一步地,在本发明第二方面所提供的时序综述生成方法中,第一大语言模型中集成有与n个偏见类型一一对应的n个偏见评估头,以及与n个偏见类型一一对应的n个低秩适配器;n个偏见评估头共享同一隐藏状态,各低秩适配器只学习对应偏见类型维度的特征修正增量,并由对应偏见评估分数控制修正强度,能够在冻结底座大语言模型主体参数的情况下进行针对性缓解,减少对低风险内容的过度改写,进一步提高综述生成质量。
105、8、进一步地,在本发明第二方面所提供的时序综述生成方法中,第三大语言模型的微调过程中,进一步引入了强化学习,从而降低了单独监督微调产生的模板化拒答和回答压缩,进一步提高了综述生成质量。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com