一种相对位置编码方法及系统

技术特征：
1.一种相对位置编码方法，其特征在于，包括：步骤1、构建包括多头注意层的递归神经网络，获取待相对位置编码的数据序列；步骤2、将该数据序列进行拆分后并行输入该多头注意层，该多头注意层通过计算拆分后数据在该数据序列中的相对位置，为每一个拆分后数据分配注意力分数；步骤3、基于各拆分后数据对应的注意力分数，生成各拆分后数据的相对位置编码。2.如权利要求1所述的相对位置编码方法，其特征在于，该多头注意层通过下述内容为拆分后数据分配注意力分数：步骤11、计算q，k，a：q＝x*w
q
→
q[n,t,h,64]k＝x*w
k
→
k[n,t,h,64]a[t,t,64]select
←
postable[2k 1,64]其中q为查询；k为键值；a为相对位置编码；a通过rpr pos_tab[2k 1,64]权重矩阵查表扩展得到，x:[n,t,d
a
]，w
q
:[h*64,d
a
]，w
k
:[h*64,d
a
]，postable:[2k 1,64]，n表示输入数据序列的批次，t表示数据序列的长度，d
a
表示数据序列的嵌入向量的维度，h表示该多头注意层中的头数量，64为该多头注意层中的头长度；步骤22、分别为q和k进行矩阵相乘，并相加矩阵相乘结果，得到该注意力分数：attentionscoree＝q*k q*a。3.如权利要求2所述的相对位置编码方法，其特征在于，该步骤22包括：q[n,t,h,64]trans
→
q
t
[n,h,t,64]式中trans代表改变张量数据摆放顺序。4.如权利要求2所述的相对位置编码方法，其特征在于，q*a的计算过程为：q[n,t,h,64]trans
→
q
t
[n,h,t,64]q*a:q
t
[n,h,t,64]*postable[2k 1,64]
→
[n*h,t,2k 1]select
→
[n,h,t,t]式中trans代表改变张量数据摆放顺序。5.一种相对位置编码系统，其特征在于，包括：初始模块，用于构建包括多头注意层的递归神经网络，获取待相对位置编码的数据序列；拆分模块，将该数据序列进行拆分后并行输入该多头注意层，该多头注意层通过计算拆分后数据在该数据序列中的相对位置，为每一个拆分后数据分配注意力分数；编码模块，基于各拆分后数据对应的注意力分数，生成各拆分后数据的相对位置编码。6.如权利要求5所述的相对位置编码方法，其特征在于，该多头注意层通过下述模块为拆分后数据分配注意力分数：第一计算模块，用于计算q，k，a：q＝x*w
q
→
q[n,t,h,64]k＝x*w
k
→
k[n,t,h,64]a[t,t,64]select
←
postable[2k 1,64]其中q为查询；k为键值；a为相对位置编码；a通过rpr pos_tab[2k 1,64]权重矩阵查表
扩展得到，x:[n,t,d
a
]，w
q
:[h*64,d
a
]，w
k
:[h*64,d
a
]，postable:[2k 1,64]，n表示输入数据序列的批次，t表示数据序列的长度，d
a
表示数据序列的嵌入向量的维度，h表示该多头注意层中的头数量，64为该多头注意层中的头长度；第二计算模块，用于分别为q和k进行矩阵相乘，并相加矩阵相乘结果，得到该注意力分数：attentionscoree＝q*k q*a。7.如权利要求6所述的相对位置编码方法，其特征在于，该第二计算模块，用于执行下式：q[n,t,h,64]trans
→
q
t
[n,h,t,64]式中trans代表改变张量数据摆放顺序。8.如权利要求6所述的相对位置编码方法，其特征在于，该第二计算模块，用于执行下式：q[n,t,h,64]trans
→
q
t
[n,h,t,64]q*a:q
t
[n,h,t,64]*postable[2k 1,64]
→
[n*h,t,2k 1]select
→
[n,h,t,t]式中trans代表改变张量数据摆放顺序。9.一种存储介质，用于存储执行如权利要求1到4所述任意一种相对位置编码方法的程序。10.一种客户端，用于权利要求5至8中任意一种基于相对位置编码系统。

技术总结
本发明提出一种相对位置编码方法和系统，包括：构建包括多头注意层的递归神经网络，获取待相对位置编码的数据序列，将该数据序列进行拆分后并行输入该多头注意层，该多头注意层通过计算拆分后数据在该数据序列中的相对位置，为每一个拆分后数据分配注意力分数，并基于各拆分后数据对应的注意力分数，生成各拆分后数据的相对位置编码。后数据的相对位置编码。后数据的相对位置编码。


技术研发人员：杜子东 戴文娟 孙正 刘小蒙
受保护的技术使用者：中国科学院计算技术研究所
技术研发日：2021.12.24
技术公布日：2022/4/29