一种基于权重衰减的注意力图的生成方法、装置以及设备与流程

技术特征：
1.一种基于权重衰减的注意力图的生成方法，应用于包含知识点和时间的知识点序列中，所述方法包括：确定所述知识点序列所对应的特征矩阵，所述特征矩阵包括键矩阵k、查询矩阵q和值矩阵v；获取第i个知识点在所述查询矩阵q中的特征值q
i
，以及，获取第j个知识点在所述键矩阵k中的特征值k
j
，其中，所述第j个知识点为与所述第i个知识点相关的前一个知识点；确定所述第i个知识点与所述第j个知识点的时间差δ(t
i
,t
j
)，确定包含所述时间差和衰减参数θ的衰减函数γ(t
i
,t
j
,θ)，其中，所述θ为可学习的衰减参数；根据所述特征值q
i
、特征值k
j
、所述衰减函数γ(t
i
,t
j
,θ)和所述值矩阵v生成注意力图。2.如权利1所述的方法，其中，根据所述特征值q
i
、特征值k
j
、所述衰减函数γ(t
i
,t
j
,θ)和所述值矩阵v生成注意力图，包括：根据所述特征值q
i
、特征值k
j
生成原始注意力分数s
i,j
；融合所述原始注意力分数s
i,j
和所述衰减函数γ(t
i
,t
j
,θ)生成新注意力分数s
i,j,γ
。3.如权利要求2所述的方法，其中，融合所述原始注意力分数s
i,j
和所述衰减函数γ(t
i
,t
j
,θ)生成新注意力分数s
i,j,γ
，包括：将所述原始注意力分数s
i,j
与所述衰减函数γ(t
i
,t
j
,θ)相乘生成新注意力分数s
i,j,γ
；或者，将所述原始注意力分数s
i,j
与所述衰减函数γ(t
i
,t
j
,θ)相减生成新注意力分数s
i,j,γ
。4.如权利要求1所述的方法，其中，确定包含所述时间差和衰减参数θ的衰减函数γ(t
i
,t
j
,θ)，包括：确定包含所述时间差和衰减参数θ的指数函数形式的衰减函数γ(t
i
,t
j
,θ)，其中，所述时间差和衰减参数θ为所述指数函数形式的衰减函数γ(t
i
,t
j
,θ)中的自变量；或者，确定包含所述时间差和衰减参数θ的幂函数形式的衰减函数γ(t
i
,t
j
,θ)，其中，所述时间差和衰减参数θ为所述幂函数形式的衰减函数γ(t
i
,t
j
,θ)中的自变量。5.如权利要求1所述的方法，其中，所述方法还包括：确定所述第i个知识点与所述第j个知识点在所述序列中是否相邻；当不相邻时，确定所述第i个知识点与所述第j个知识点之间所存在的其它知识点，根据所述其它知识点对所述衰减函数γ(t
i
,t
j
,θ)进行修正。6.如权利要求5所述方法，其中，根据所述其它知识点对所述衰减函数γ(t
i
,t
j
,θ)进行修正，包括：确定所述第i个知识点与所述其它知识点的时间差δ(t
i
,t
k
)；确定所述δ(t
i
,t
k
)与所述δ(t
i
,t
j
)的比值p，根据所述p对所述衰减函数γ(t
i
,t
j
,θ)进行修正。7.如权利要求6所述的方法，其中，根据所述δ(t
i
,t
k
)与所述δ(t
i
,t
j
)的比值对所述衰减函数γ(t
i
,t
j
,θ)进行修正，包括：确定包含λ、所述衰减函数γ(t
i
,t
j
,θ)和所述p的修正项φ，其中，所述λ为可学习的修正参数；将所述修正项φ和所述衰减函数γ(t
i
,t
j
,θ)的和γ(t
i
,t
j
,t
k
,θ,λ)确定为所述衰减函数γ(t
i
,t
j
,θ)的修正值。
8.如权利要求1所述的方法，还包括：根据所述注意力图对所述衰减参数θ进行训练。9.一种基于权重衰减的注意力图的生成装置，应用于包含知识点和时间的知识点序列中，所述装置包括：特征确定模块，确定所述知识点序列所对应的特征矩阵，所述特征矩阵包括键矩阵k、查询矩阵q和值矩阵v；特征值获取模块，获取第i个知识点在所述查询矩阵q中的特征值q
i
，以及，获取第j个知识点在所述键矩阵k中的特征值k
j
，其中，所述第j个知识点为与所述第i个知识点相关的前一个知识点；衰减模块，确定所述第i个知识点与所述第j个知识点的时间差δ(t
i
,t
j
)，确定包含所述时间差和衰减参数θ的衰减函数γ(t
i
,t
j
,θ)，其中，所述θ为可学习的衰减参数；注意力图生成模块，根据所述特征值q
i
、特征值k
j
、所述衰减函数γ(t
i
,t
j
,θ)和所述值矩阵v生成注意力图。10.一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8任一项所述的方法。

技术总结
本说明书实施例公开了一种基于权重衰减的注意力图的生成方法、装置以及设备。通过确定所述知识点序列所对应的特征矩阵，所述特征矩阵包括键矩阵K、查询矩阵Q和值矩阵V；获取第i个知识点在所述查询矩阵Q中的特征值Q


技术研发人员：苏伟 石君太 孙元涛
受保护的技术使用者：支付宝（杭州）信息技术有限公司
技术研发日：2022.09.19
技术公布日：2022/12/19