语音识别任务中的保持注意力机制单调性方法与流程

技术特征：

1.一种语音识别任务中的保持注意力机制单调性方法，其特征在于，包括：

通过神经网络模块，学习能够拟合注意力机制权重分布的高斯分布的参数，并进行数值计算，使之符合设定要求；

将数值计算得到的参数值与注意力机制权重矩阵之间的均方误差作为单调性损失，并将所述单调性损失作为原本优化目标的正则项，得到最终的优化目标；

基于所述最终的优化目标对语音识别框架进行训练。

2.根据权利要求1所述的一种语音识别任务中的保持注意力机制单调性方法，其特征在于，所述通过神经网络模块，学习能够拟合注意力机制权重分布的高斯分布的参数包括：

所述语音识别框架为包含注意力机制的编解码框架，连接编码器和解码器的注意力机制的三个输入query、key、value分别来自解码器、编码器、编码器；

神经网络模块的输入为query，通过神经网络模块的映射操作，得到高斯分布的参数均值μ和方差σ的初步数值；其中，均值μ的映射权重w^μ与方差σ映射权重w^σ不共享。

3.根据权利要求1或2所述的一种语音识别任务中的保持注意力机制单调性方法，其特征在于，通过神经网络模块，得到高斯分布的参数，即均值μ和方差σ的初步数值，在进行数值计算时，对均值μ的初步数值进行截断使之非负，再做放缩使得求和等于语音序列长度，计算结果记为δ；对方差σ进行截断使之在设定范围内，计算结果记为∑；计算过程表示为：

δ，∑＝cal^(μ)(qw^μ)，cal^(σ)(qw^σ)

其中，w^μ、w^σ各自表示神经网络模块中对于均值μ、方差σ的映射权重，q为注意力机制中的query；令qw^μ，qw^σ＝x，则cal^(μ)(x)、cal^(σ)(x)的计算公式为：

cal^(σ)(x)＝clamp(x，σmin，σmax)

上式中，xi为qw^μ的第i行，inf表示无穷大，j表示语音识别框架中编码器的序列长度，clamp(.)为区间限定函数，将括号中的三个数值对应的表示为(x，xmin，xmax)，如果输入为矩阵则为每一个元素进行计算，表示为：

4.根据权利要求1或2所述的一种语音识别任务中的保持注意力机制单调性方法，其特征在于，计算参数值与注意力机制权重之间的均方误差的过程包括：

高斯分布的参数包含了均值μ和方差σ的初步数值，数值计算结果对应记为δ，∑，由δ与∑对应的计算每个位置高斯分布参数的均值μi与σi，从而计算每个位置上的数值然后，与注意力机制权重矩阵a相减，计算均方误差，计算过程表示为：

μi，σi＝μi-1 δi，∑i

其中，i，j为位置索引，i、j分别表示语音识别框架中解码器、编码器的序列长度，表示均方误差。

5.根据权利要求1或2所述的一种语音识别任务中的保持注意力机制单调性方法，其特征在于，所述将所述单调性损失作为原本优化目标的正则项，得到最终的优化目标包括：

对于包含注意力机制的编解码框架，对解码器部分的n个layer和每个layer的h个head的单调性损失取平均，表示为：

将lossmono作为原本优化目标lossce的正则项，得到最终的优化目标loss：

loss＝lossce λ*lossmono

其中，λ为正则项系数，n＝1，...，n，h＝1，...，h，表示对第n个layer、第h个head的注意力机制计算出的单调性损失。

6.根据权利要求1或2所述的一种语音识别任务中的保持注意力机制单调性方法，其特征在于，预先收集语音数据集作为训练数据，并基于所述最终的优化目标对语音识别框架进行训练；对于训练后的语音识别框架，使用新的语音数据样本进行测试，获得语音识别结果。

技术总结
本发明公开了一种语音识别任务中的保持注意力机制单调性方法，包括：通过神经网络模块，学习能够拟合注意力机制权重分布的高斯分布的参数，并进行数值计算，使之符合设定要求；将数值计算得到的参数值与注意力机制权重矩阵之间的均方误差作为单调性损失，并将所述单调性损失作为原本优化目标的正则项，得到最终的优化目标；基于所述最终的优化目标对语音识别框架进行训练。上述方法使得模型在训练和测试过程中都能保持良好的语音和文本的对齐关系，从而避免解码过长或重复解码的问题，提升模型稳定性，减少预测错误，尤其是插入错误。此外，该方法简单易实施，参数量小，只少量增加计算量。

技术研发人员：杨周旺;杜叶倩;王昊
受保护的技术使用者：中国科学技术大学
技术研发日：2021.03.08
技术公布日：2021.06.18