大语言模型的词元生成方法、电子设备及程序产品与流程

摘要: 本技术属于大语言模型,尤其涉及一种大语言模型的词元生成方法、电子设备及程序产品。背景技术:1、在大语言模型执行文本生成任务时,其解码过程依赖自注意力机制同步处理...
大语言模型的词元生成方法、电子设备及程序产品与流程

本技术属于大语言模型,尤其涉及一种大语言模型的词元生成方法、电子设备及程序产品。

背景技术:

1、在大语言模型执行文本生成任务时,其解码过程依赖自注意力机制同步处理用户查询文段与外部知识文段。当模型对查询文段和知识文段中特定片段的注意力分布呈现高度集中且强度异常时,生成结果易产生对原文的机械复现现象,导致姓名、电话号码、电子邮箱、身份证件信息、医疗健康记录以及企业内部敏感数据等个人可识别信息被直接输出,引发严重的提示侧隐私泄露风险。

2、现有隐私防护方案主要聚焦于输入数据的预处理环节或输出内容的后置过滤机制。输入侧策略包括对敏感字段实施掩码处理、假名化转换或语义扰动,但这些方法无法全面捕捉上下文中的隐式隐私线索,过度脱敏操作还可能破坏原始信息的语义完整性,损害生成内容的事实准确性。输出后过滤则属于被动拦截手段,仅在文本生成完毕后进行审查,此时模型已基于明文证据完成高强度复制式推理,无法从源头上抑制隐私泄露,损害生成内容的隐私安全性。

3、可以看出,现有技术只能从大语言模型生成文本之前或者之后进行隐私防护处理,这些方案使得大语言模型的生成文本难以同时兼顾隐私安全性和事实准确性。

技术实现思路

1、有鉴于此,本技术实施例提供了一种大语言模型的词元生成方法、电子设备及程序产品,以解决现有技术中的大语言模型的生成文本难以同时兼顾隐私安全性和事实准确性的技术问题。

2、第一方面,本技术实施例提供一种大语言模型的词元生成方法,包括:

3、在当前词元生成步骤中,获取大语言模型对查询文段中的各个词元的第一平均注意力得分、对知识文段中的各个词元的第二平均注意力得分以及对所述知识文段的注意力分布信息熵;

4、若所述第一平均注意力得分大于第一预设得分阈值,则通过惩罚项对待选词元的原始预测分值进行修正,得到各个所述待选词元的目标预测分值;

5、若所述第二平均注意力得分大于第二预设得分阈值,并且所述注意力分布信息熵小于预设信息熵阈值,则将所述大语言模型的温度参数提高至目标温度;

6、在对所述待选词元的所述原始预测分值进行修正之后,和/或,在将所述大语言模型的所述温度参数提高至所述目标温度之后,根据各个所述待选词元的所述目标预测分值和所述目标温度,生成所述当前词元生成步骤对应的目标词元。

7、可选的,所述第一平均注意力得分和所述第二平均注意力得分通过以下方式获取:

8、确定所述大语言模型的目标网络层;所述目标网络层的层级深度大于预设深度阈值;

9、根据各个所述目标网络层的多头自注意力分数,得到综合注意力向量,并通过预设掩码将所述综合注意力向量切分为所述查询文段对应的第一注意力向量和所述知识文段对应的第二注意力向量;所述综合注意力向量用于描述整体文段中的每个词元各自对应的注意力得分;

10、获取所述查询文段对应的第一有效词元数量和所述知识文段对应的第二有效词元数量;

11、根据所述第一注意力向量和所述第一有效词元数量,确定所述第一平均注意力得分;

12、根据所述第二注意力向量和所述第二有效词元数量,确定所述第二平均注意力得分。

13、可选的,所述注意力分布信息熵通过以下方式获取:

14、确定所述第二注意力向量中的各个词元各自对应的注意力得分和所述第二注意力向量中的所有词元的注意力分数总和;

15、针对所述第二注意力向量中的每个词元,根据该词元对应的注意力得分和所述注意力分数总和,确定该词元对应的注意力概率;

16、根据所述第二注意力向量中的各个词元各自对应的所述注意力概率,确定所述注意力分布信息熵。

17、可选的,所述惩罚项通过以下方式确定:

18、获取目标正数,所述目标正数大于预设数值;

19、确定所述第一平均注意力得分和所述第一预设得分阈值之间的第一差值;

20、以自然常数为底,以所述第一差值为指数,进行指数运算,得到第一中间值;

21、根据所述目标正数和所述第一中间值,确定所述惩罚项;所述惩罚项为负数。

22、可选的,所述待选词元通过以下方式确定:

23、在所述查询文段中确定注意力得分大于第三预设得分阈值的目标文段;

24、在所述当前词元生成步骤对应的词元汇表中,选取与所述目标文段之间的重合度大于预设重合度阈值的词元作为所述待选词元。

25、可选的,所述目标温度通过以下方式确定:

26、确定所述第二平均注意力得分与所述第二预设得分阈值之间的第二差值;

27、确定所述预设信息熵阈值与所述注意力分布信息熵之间的第三差值;

28、获取第一系数、第二系数以及第三系数;所述第一系数用于控制所述大语言模型的最大升温幅度,所述第二系数用于放大所述第二差值,所述第三系数用于放大所述第三差值;

29、根据所述第二差值、所述第一系数、所述第二系数以及第一平滑开关函数确定所述目标温度,或者,根据所述第二差值、第三差值、所述第一系数、所述第二系数、所述第三系数、所述第一平滑开关函数以及所述第二平滑开关函数确定所述目标温度。

30、可选的,所述根据所述第二差值、所述第一系数、所述第二系数以及第一平滑开关函数确定所述目标温度,包括:

31、将所述第二系数与所述第二差值的积作为所述第一平滑开关函数的输入值进行运算,得到第二中间值;所述第二中间值大于0且小于1;

32、将所述第二中间值与所述第一系数的乘积确定为第一温度增量;

33、将所述第一温度增量与基础温度的和确定为所述目标温度。

34、可选的,所述根据所述第二差值、第三差值、所述第一系数、所述第二系数、所述第三系数、所述第一平滑开关函数以及所述第二平滑开关函数确定所述目标温度,包括:

35、将所述第二系数与所述第二差值的积作为所述第一平滑开关函数的输入值进行运算,得到第二中间值;所述第二中间值大于0且小于1;

36、将所述第三系数与所述第三差值的积作为所述第二平滑开关函数的输入值进行运算,得到第三中间值;所述第三中间值大于0且小于1;

37、将所述第二中间值、所述第三中间值以及所述第一系数的乘积确定为第二温度增量;

38、将所述第二温度增量与基础温度的和确定为所述目标温度。

39、第二方面,本技术实施例提供大语言模型,包括:

40、获取单元,用于在当前词元生成步骤中,获取大语言模型对查询文段中的各个词元的第一平均注意力得分、对知识文段中的各个词元的第二平均注意力得分以及对所述知识文段的注意力分布信息熵;

41、第一处理单元,用于若所述第一平均注意力得分大于第一预设得分阈值,则通过惩罚项对待选词元的原始预测分值进行修正,得到各个所述待选词元的目标预测分值;

42、第二处理单元,用于若所述第二平均注意力得分大于第二预设得分阈值,并且所述注意力分布信息熵小于预设信息熵阈值,则将所述大语言模型的温度参数提高至目标温度;

43、词元生成单元,用于在对所述待选词元的所述原始预测分值进行修正之后,和/或,在将所述大语言模型的所述温度参数提高至所述目标温度之后,根据各个所述待选词元的所述目标预测分值和所述目标温度,生成所述当前词元生成步骤对应的目标词元。

44、第三方面,本技术实施例提供一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面任一项所述的大语言模型的词元生成方法中的各步骤。

45、第四方面,本技术实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面任一项所述的大语言模型的词元生成方法中的各步骤。

46、第五方面,本技术实施例提供一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行如上述第一方面任一项所述的大语言模型的词元生成方法中的各步骤。

47、本技术实施例提供的大语言模型的词元生成方法的有益效果为:

48、本技术实施例提供的大语言模型的词元生成方法包括:在当前词元生成步骤中,获取大语言模型对查询文段中的各个词元的第一平均注意力得分、对知识文段中的各个词元的第二平均注意力得分以及对知识文段的注意力分布信息熵,若第一平均注意力得分大于第一预设得分阈值,则通过惩罚项对待选词元的原始预测分值进行修正,得到各个待选词元的目标预测分值;若第二平均注意力得分大于第二预设得分阈值,并且注意力分布信息熵小于预设信息熵阈值,则将大语言模型的温度参数提高至目标温度;在对待选词元的原始预测分值进行修正之后,和/或,在将大语言模型的温度参数提高至目标温度之后,根据各个待选词元的目标预测分值和目标温度,生成当前词元生成步骤对应的目标词元。本方案通过动态调整各个待选词元的预测分值和大语言模型的温度参数实时干预大语言模型的词元生成过程,能够在大语言模型生成词元的过程中实时检测并抑制大语言模型生成过程中的隐私泄露风险,使得大语言模型的生成文本兼顾隐私安全性和事实准确性。