基于上下文自适应度量的词元预测方法、系统及设备

摘要: 本发明涉及自然语言处理,尤其涉及一种基于上下文自适应度量的词元预测方法、系统及设备。背景技术:1、自回归文本生成是人工智能和自然语言处理领域的核心技术之一,其基...
基于上下文自适应度量的词元预测方法、系统及设备

本发明涉及自然语言处理,尤其涉及一种基于上下文自适应度量的词元预测方法、系统及设备。

背景技术:

1、自回归文本生成是人工智能和自然语言处理领域的核心技术之一,其基本任务为:给定已输入的文本序列,预测下一个词元(即最小语义单元)是什么,并基于预测结果逐步生成后续内容。该技术是文本补全、对话生成、代码自动补全、输入法候选词推荐等诸多应用场景的基础。随着大语言模型的快速发展,对目标词元预测的准确性和效率要求不断提高。

2、目前,主流语言模型通常采用线性变换加softmax的方式计算目标词元的预测分数。具体地,语言模型通过transformer等网络对输入序列进行编码,得到待预测位置的隐藏状态,然后将该隐藏状态输入一个线性层,得到与词表各候选词元对应的预测分数,再经softmax函数归一化为概率分布。

3、然而,线性变换层的输出维度为词表大小,输入维度为隐藏状态维数,因此该变换的秩不超过隐藏状态维数。而实际应用中,隐藏状态维数通常远小于词表大小,使得该线性变换层能够表达的概率分布空间受限于该低秩约束,导致模型对复杂概率分布的拟合能力低,目标词元预测精度差。

技术实现思路

1、本发明提供了一种基于上下文自适应度量的词元预测方法、系统及设备,以解决现有技术中因输出头线性变换层的低秩约束导致概率分布拟合能力低、预测精度差的技术问题。

2、为了解决上述技术问题,本发明实施例提供了一种基于上下文自适应度量的词元预测方法,包括:

3、获取输入文本,对输入文本进行分词处理,得到词元序列;

4、将词元序列输入预设的语言模型,以通过上下文编码模块对词元序列进行上下文编码,得到待预测位置的隐藏状态向量;通过度量生成模块根据隐藏状态向量确定权重向量,并根据权重向量确定待预测位置对应的正定对角度量矩阵;针对预设词表中的每个候选词元向量,在正定对角度量矩阵下,通过输出模块计算隐藏状态向量与候选词元向量之间的距离,得到候选词元向量对应的预测概率,根据所有预测概率确定目标词元并输出,以实现词元预测;

5、其中,语言模型包括上下文编码模块、度量生成模块和输出模块;权重向量中的每个元素与隐藏状态向量的维度一一对应,并且,每个元素用于表征对应维度的权重值。

6、本发明通过度量生成模块根据隐藏状态向量实时生成逐维正权重并构造正定对角度量矩阵,使得每个词元位置具有由其上下文决定的局部几何,能够根据数值、实体、句法等不同上下文动态调整各表示维度的贡献程度,提升了词元预测精度。同时,仅替换语言模型的输出头,保持上下文编码主干不变,便于接入各类语言模型架构及预训练、微调、强化学习等不同训练流程,具有良好的兼容性。

7、作为优选方案,度量生成模块包括降维网络、升维网络和正值映射单元,且降维网络和升维网络均为瓶颈网络;

8、根据隐藏状态向量确定权重向量,包括:

9、通过降维网络对隐藏状态向量进行降维处理,得到低维瓶颈向量;

10、通过预设的非线性激活函数对低维瓶颈向量进行处理,得到激活瓶颈向量;

11、通过升维网络对激活瓶颈向量进行升维处理,得到与隐藏状态向量同维度的中间向量;

12、通过正值映射单元对中间向量执行正值映射处理,得到权重向量。

13、本方案采用瓶颈网络结构(降维→升维)生成度量权重,相比常规的以完整d×d矩阵进行权重计算的方式,本实施例以极低的参数量实现了逐维权重的动态生成,避免了引入大规模额外参数所带来的存储和计算开销。

14、作为优选方案,其中,正值映射单元的网络参数包括第一尺度参数,其中,第一尺度参数大于零且第一尺度参数小于一;

15、对中间向量执行正值映射处理,得到权重向量,包括:

16、针对中间向量中每个维度的分量,通过正值映射单元计算分量的双曲正切函数值,将双曲正切函数值乘以第一尺度参数后加一,得到权重向量中对应维度的权重值。

17、本方案采用有界正值映射,将权重向量各分量限定在正数值区间内,既保证了对角度量矩阵的正定性,又限制了上下文对各表示维的放大或抑制幅度,避免训练初期出现极端权重值,提升了训练稳定性。

18、作为优选方案,输出模块包括距离评分子模块和归一化输出子模块;

19、计算隐藏状态向量与候选词元向量之间的距离,得到候选词元向量对应的预测概率,包括:

20、在正定对角度量矩阵下,通过距离评分子模块计算隐藏状态向量与候选词元向量之间的二次型距离;识别二次型距离中与候选词元向量无关的公共距离项,并从二次型距离中删除公共距离项,得到候选词元对应的初始预测分数;

21、通过归一化输出子模块根据初始预测分数确定预测概率。

22、本方案通过识别并删除二次型距离中与候选词元无关的公共距离项,在不改变softmax概率分布的前提下大幅降低了计算量,使主要运算转化为面向词表的矩阵乘法,适配现有加速器和张量并行,解决了大词表场景下逐候选计算完整二次型距离的冗余问题。

23、作为优选方案,从二次型距离中删除公共距离项,得到候选词元对应的初始预测分数,包括:

24、将删除公共距离项后的二次型距离进行展开,得到加权双线性项和加权范数项;其中,加权双线性项通过计算加权状态向量与候选词元向量的内积得到,加权状态向量通过权重向量对隐藏状态向量进行逐维加权得到;加权范数项通过将候选词元向量在每个维度的平方值与权重向量中对应维度的权重值进行加权求和得到;

25、计算加权双线性项与加权范数项的二分之一之间的差值,得到初始预测分数。

26、本方案将局部二次型距离展开为加权双线性项与候选词元加权范数项的差值,避免了逐候选构造完整差向量的冗余计算,显著降低了计算开销,同时保持了与完整二次型距离在softmax下的概率等价性。

27、作为优选方案,归一化输出子模块包括调节层和softmax层;调节层的网络参数包括第二尺度参数;

28、根据初始预测分数确定预测概率,包括:

29、通过调节层接收预设词表中所有候选词元向量的初始预测分数,并计算所有初始预测分数的平均值,得到第一平均值;针对每个候选词元向量,将初始预测分数减去第一平均值,得到中间预测分数;利用第二尺度参数对中间预测分数进行统一缩放,得到调节预测分数;

30、通过softmax层中的softmax函数对调节预测分数进行归一化处理,得到预测概率。

31、本方案通过去中心化处理控制有限精度计算中的公共偏移、改善数值范围,通过可学习尺度参数调节softmax的集中程度,两者共同提升了计算过程的数值稳定性,使预测分数在有限精度下保持稳定。

32、作为优选方案,调节层是通过对初始调节网络进行训练得到;

33、方法还包括:

34、在初始调节网络的每轮训练过程中,通过初始调节网络计算所有训练预测分数的平均值,在计算过程中,同时对平均值执行停止梯度处理,以使平均值在反向传播过程中不参与梯度计算,得到经停止梯度处理后的第二平均值,其中,第二平均值用于训练预测分数的去中心化处理。

35、本方案通过对去中心化中的均值执行停止梯度处理,使均值仅用于公共中心校正而不参与反向传播,省去均值分支的梯度计算。

36、作为优选方案,度量生成模块是通过对初始度量生成网络训练得到;

37、方法还包括:

38、在初始度量生成网络的训练之前,将升维网络的网络参数初始化为零,以使训练阶段的中间向量的初始值为零,并使训练阶段的权重向量的初始值为单位向量。

39、本方案在训练开始前将升维网络参数初始化为零,使初始权重向量为单位向量,动态度量模块在训练初期退化为带范数修正项的内积输出头,降低新模块引入对训练初期的扰动,确保训练的平滑启动和稳定收敛。

40、本发明另一实施例还提供了一种基于上下文自适应度量的词元预测系统,包括:获取模块和控制模块;

41、获取模块,用于获取输入文本,对输入文本进行分词处理,得到词元序列;

42、控制模块,用于将词元序列输入预设的语言模型,以通过上下文编码模块对词元序列进行上下文编码,得到待预测位置的隐藏状态向量;通过度量生成模块根据隐藏状态向量确定权重向量,并根据权重向量确定待预测位置对应的正定对角度量矩阵;针对预设词表中的每个候选词元向量,在正定对角度量矩阵下,通过输出模块计算隐藏状态向量与候选词元向量之间的距离,得到候选词元向量对应的预测概率,根据所有预测概率确定目标词元并输出,以实现词元预测;

43、其中,语言模型包括上下文编码模块、度量生成模块和输出模块;权重向量中的每个元素与隐藏状态向量的维度一一对应,并且,每个元素用于表征对应维度的权重值。

44、本发明另一实施例还提供了一种终端设备,包括:处理器、存储器以及存储在存储器中且被配置为由处理器执行的计算机程序,处理器执行计算机程序时,实现如本发明基于上下文自适应度量的词元预测方法的步骤。