基于深度学习模型的注意力矩阵的计算方法及装置与流程

本说明书实施例涉及计算机，尤其涉及一种基于深度学习模型的注意力矩阵的计算方法及装置。

背景技术：

1、基于自注意力机制的深度学习模型（以下简称为深度学习模型）能够依靠自注意力机制（self-attention）替代循环/卷积结构，实现序列数据的全并行计算与长距离依赖建模，因而成为当前大语言模型（llm）、计算机视觉等多领域的基石。

2、尽管深度学习模型在许多场景的任务中表现优异，但在一些特定场景中则依然存在一定的问题。

3、例如，在推荐场景的任务下，如果深度学习模型的输入数据存在不均衡与长尾特征，就会触发注意力层的谱塌缩（spectral collapse），表现为特征交互被少数主成分所主导，进而导致模型表达能力受限、深度扩展时性能不能稳定提升。

技术实现思路

1、本说明书实施例提供的一种基于深度学习模型的注意力矩阵的计算方法及装置。

2、根据本说明书实施例的第一方面，提供一种基于深度学习模型的注意力矩阵的计算方法，所述深度学习模型中的自注意力模块包括谱软化模块、谱交叉注意力模块和谱残差连接模块；所述方法包括：

3、将输入深度学习模型的数据矩阵传输至所述谱软化模块，对所述数据矩阵进行谱软化操作，得到谱软化矩阵；其中，所述谱软化操作用于使所述数据矩阵中的奇异值分布平滑；

4、将所述谱软化矩阵传输至所述谱交叉注意力模块，在谱域空间中基于所述谱软化矩阵计算谱注意力得分；

5、将所述数据矩阵和所述谱软化矩阵传输至所述谱残差连接模块，根据所述谱软化矩阵构建谱残差项，以及根据所述数据矩阵构建空间残差项；其中，所述谱残差项用于引入显式的谱归纳偏置，所述空间残差项用于防止坍缩在模型深层网络中累积；

6、根据所述谱注意力得分、谱残差项和空间残差项进行加权融合，得到最终的注意力矩阵。

7、可选的，所述对所述数据矩阵进行谱软化操作，得到谱软化矩阵，包括：

8、对所述数据矩阵进行奇异值分解，得到左奇异向量矩阵、奇异值对角矩阵和转置的右奇异向量矩阵；

9、对所述奇异值对角矩阵进行幂次软化，得到软化后的奇异值对角矩阵；

10、根据所述左奇异向量矩阵、所述软化后的奇异值对角矩阵和所述转置的右奇异向量矩阵，重构出谱软化矩阵。

11、可选的，所述对所述奇异值对角矩阵进行幂次软化，得到软化后的奇异值对角矩阵，包括：

12、将所述奇异值对角矩阵与软化参数进行乘积计算，得到软化后的奇异值对角矩阵；其中，所述软化参数由一个可动态调节的标量参数通过sigmoid函数计算得到，所述标量参数的取值与所述奇异值对角矩阵中的最大奇异值成正比。

13、可选的，所述在谱域空间中基于所述谱软化矩阵计算谱注意力得分，包括：

14、获取投影谱域空间的第一投影矩阵和第二投影参数；

15、将所述谱软化矩阵分别与所述第一投影矩阵和第二投影参数进行乘积计算，得到投影到谱域空间的查询矩阵和键矩阵；

16、将所述投影到谱域空间的查询矩阵和转置的键矩阵进行乘积计算，得到谱注意力得分。

17、可选的，所述根据所述谱软化矩阵构建谱残差项，包括：

18、获取构建谱残差项所需的谱交互权重矩阵，以及所述谱软化矩阵进行奇异值分解得到的左奇异向量矩阵；

19、将所述左奇异向量矩阵、所述谱交互权重矩阵和转置的左奇异向量矩阵进行乘积计算，得到谱残差项。

20、可选的，在所述获取构建谱残差项所需的谱交互权重矩阵之后，还包括：

21、对所述谱交互权重矩阵中的元素进行泰勒展开的双元谱映射，得到参数化的谱交互权重矩阵；

22、其中，所述泰勒展开的双元谱映射包括：

23、基于最大奇异值对每个奇异值进行归一化，得到归一化奇异值；

24、根据归一化奇异值构建第i个和第j个归一化奇异值之间谱交互的二阶多项式；

25、将最大奇异值平方与所述二阶多项式进行乘积计算，得到参数化的谱交互权重矩阵。

26、可选的，所述根据所述数据矩阵构建空间残差项，包括：

27、获取构建空间残差项所需的第一线性投影矩阵和第二线性投影矩阵；其中，所述第一线性投影矩阵和第二线性投影矩阵用于确保原始空间和谱域空间的梯度流动互不干扰；

28、将所述数据矩阵与所述第一线性投影矩阵进行乘积计算，得到第一乘积结果；

29、将所述数据矩阵与所述第二线性投影矩阵进行乘积计算，得到第二乘积结果；

30、将所述第一乘积结果与转置的第二乘积结果进行乘积计算，得到空间残差项。

31、可选的，所述根据所述谱注意力得分、谱残差项和空间残差项进行加权融合，得到最终的注意力矩阵，包括：

32、获取谱残差项和空间残差项对应的超参数，并将所述超参数作为权重计算加权后的谱残差项和加权后的空间残差项；

33、通过激活函数将所述谱注意力得分、加权后的谱残差项和加权后的空间残差项映射为最终的注意力矩阵。

34、可选的，所述激活函数中还引入了所述数据矩阵。

35、可选的，所述深度学习模型应用于推荐场景；所述数据矩阵包括从推荐请求中携带的检索数据解析得到的词元矩阵；

36、所述方法还包括：

37、将所述最终的注意力矩阵传输至层归一化进行计算，得到初始的层归一化值；

38、将所述初始的层归一化值传输至逐位置前馈网络进行计算后再次传输至所述层归一化进行再次计算，得到最终的层归一化值；

39、将所述最终的层归一化值传输至多层感知器进行推荐预测，并向发起所述推荐请求的请求方输出推荐结果。

40、可选的，所述深度学习模型包括transformer模型。

41、根据本说明书实施例的第二方面，提供一种基于深度学习模型的注意力矩阵的计算装置，所述深度学习模型中的自注意力模块包括谱软化模块、谱交叉注意力模块和谱残差连接模块；所述装置包括：

42、第一计算单元，将输入深度学习模型的数据矩阵传输至所述谱软化模块，对所述数据矩阵进行谱软化操作，得到谱软化矩阵；其中，所述谱软化操作用于使所述数据矩阵中的奇异值分布平滑；

43、第二计算单元，将所述谱软化矩阵传输至所述谱交叉注意力模块，在谱域空间中基于所述谱软化矩阵计算谱注意力得分；

44、第三计算单元，将所述数据矩阵和所述谱软化矩阵传输至所述谱残差连接模块，根据所述谱软化矩阵构建谱残差项，以及根据所述数据矩阵构建空间残差项；其中，所述谱残差项用于引入显式的谱归纳偏置，所述空间残差项用于防止坍缩在模型深层网络中累积；

45、第四计算单元，根据所述谱注意力得分、谱残差项和空间残差项进行加权融合，得到最终的注意力矩阵。

46、根据本说明书实施例的第三方面，提供一种电子设备，包括：

47、处理器；

48、用于存储处理器可执行指令的存储器；

49、其中，所述处理器被配置为上述任一项基于深度学习模型的注意力矩阵的计算方法。

50、根据本说明书实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机可读指令，该计算机可读指令被处理器执行时实现如上述任一项基于深度学习模型的注意力矩阵的计算方法。

51、根据本说明书实施例的第五方面，提供一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现如上述任一项基于深度学习模型的注意力矩阵的计算方法。

52、根据本说明书实施例的第六方面，提供一种推荐系统，所述推荐系统集成有深度学习模型，所述深度学习模型包括解析模块、自注意力模块和推理模块；其中，所述自注意力模块包括谱软化模块、谱交叉注意力模块和谱残差连接模块；

53、所述推荐系统在接收到推荐请求后，将所述推荐请求中携带的检索数据传输至所述深度学习模型；

54、所述解析模块用于从所述检索数据中解析得到词元矩阵；

55、所述谱软化模块用于对所述词元矩阵进行谱软化操作，得到谱软化矩阵；其中，所述谱软化操作用于使所述词元矩阵中的奇异值分布平滑；

56、所述谱交叉注意力模块用于在谱域空间中基于所述谱软化矩阵计算谱注意力得分；

57、所述谱残差连接模块用于根据所述谱软化矩阵构建谱残差项，以及根据所述词元矩阵构建空间残差项；其中，所述谱残差项用于引入显式的谱归纳偏置，所述空间残差项用于防止坍缩在模型深层网络中累积；

58、所述推理模块用于根据所述谱注意力得分、谱残差项和空间残差项进行加权融合，得到最终的注意力矩阵，并对所述最终的注意力矩阵进行推荐预测，以及向发起所述推荐请求的请求方输出推荐结果。

59、本说明书实施例，提供了一种基于深度学习模型的注意力矩阵的计算方案，将现有深度学习模型中的自注意力模块改造为紧密耦合的谱软化模块、谱交叉注意力模块和谱残差连接模块；从而通过谱软化模块动态平滑输入的数据矩阵中的奇异值分布，抑制主成分主导；并通过谱交叉注意力模块在更为均匀的谱域空间中建模特征交叉，得到谱注意力得分；最后，通过谱残差连接模块提供谱归纳偏置并配合空间残差防止坍缩在模型深层网络中累积。如此，通过这三个紧密耦合模块，解决了注意力层的谱坍缩问题，最终计算出更为稳定可靠的注意力矩阵。