基于先验知识约束的注意力校准方法、装置、介质和产品与流程

本公开涉及人工智能，尤其涉及一种基于先验知识约束的注意力校准方法、装置、介质和产品。

背景技术：

1、随着神经科学与人工智能技术的快速发展，基于多模态数据的脑健康评估已成为认知健康管理、脑疾病早筛及术后康复的重要方向。现有脑健康分析系统通常采集脑电、影像、行为、认知问卷等多模态数据，通过深度学习模型尤其是自注意力机制进行融合分析，以充分利用各模态信息之间的关联性提升评估准确性。

2、然而，临床专家已知不同模态数据对评估结果的贡献存在显著差异（如认知量表评分比人口统计学信息更具诊断价值），但现有方法无法在不破坏模型内部信息交互、不导致梯度消失的前提下将此类先验知识融入自注意力机制，导致注意力输出结果的准确性和临床可解释性均难以满足实际需求。

技术实现思路

1、有鉴于此，本公开实施例提供了一种基于先验知识约束的注意力校准方法、装置、介质和产品，能够在缩放点积注意力计算之后、对值矩阵加权求和之前进行先验校准并重新归一化，在不扭曲特征交互且不损失梯度的前提下融入先验知识，提升了注意力输出的准确性与可解释性。

2、第一方面，本公开实施例提供了一种基于先验知识约束的注意力校准方法，采用如下技术方案：

3、获取目标对象的多模态脑健康数据并预处理为输入特征；

4、将所述输入特征划分为多个特征组，为每个特征组设置先验权重；

5、将每个特征组线性变换后进行拼接，生成查询矩阵、键矩阵和值矩阵；

6、对所述查询矩阵与所述键矩阵进行缩放点积注意力计算，得到原始注意力权重矩阵；

7、基于所述特征组的先验权重，构造与所述原始注意力权重矩阵相同尺寸的先验权重矩阵；

8、使用所述先验权重矩阵对所述原始注意力权重矩阵进行校准，得到校准后注意力权重矩阵；

9、对所述校准后注意力权重矩阵进行归一化，得到最终注意力权重矩阵；

10、使用所述最终注意力权重矩阵对所述值矩阵加权求和，得到注意力输出结果，所述注意力输出结果用于生成目标对象的脑健康评估数据。

11、可选地，所述将所述输入特征划分为多个特征组，为每个特征组设置先验权重，包括：

12、将所述输入特征按照临床知识划分为至少两个层级的特征组，其中上一层级特征组包含至少两个下一层级特征子组；

13、基于所述输入特征的总维度数量，从所述至少两个层级中确定适配当前注意力计算的目标层级；

14、配置多个脑健康评估子场景的候选先验权重集合；

15、获取所述输入特征的业务标签，基于所述业务标签从所述多个候选先验权重集合中选取适配先验权重集合；

16、基于所述适配先验权重集合，对所述目标层级下的每个特征组赋值先验权重。

17、可选地，所述基于所述特征组的先验权重，构造与所述原始注意力权重矩阵相同尺寸的先验权重矩阵，包括：

18、构建与所述原始注意力权重矩阵相同尺寸的初始矩阵；

19、遍历所述初始矩阵中的每一行，确定当前行对应的特征维度所属的特征组，将当前行的所有元素赋值为所属特征组的先验权重；

20、遍历所有行完成赋值，得到先验权重矩阵。

21、可选地，所述基于先验知识约束的注意力校准方法还包括：

22、为每个特征组设置一个可学习的动态调整系数；

23、将各特征组的先验权重乘以对应的动态调整系数，得到调整后的先验权重；

24、基于所述调整后的先验权重构造先验权重矩阵。

25、可选地，所述使用所述先验权重矩阵对所述原始注意力权重矩阵进行校准，得到校准后注意力权重矩阵，包括：

26、将所述原始注意力权重矩阵与所述先验权重矩阵逐元素相乘，得到校准后注意力权重矩阵。

27、可选地，所述对所述校准后注意力权重矩阵进行归一化，得到最终注意力权重矩阵，包括：

28、对所述校准后注意力权重矩阵逐行进行归一化，使得每一行的权重之和为1，得到最终注意力权重矩阵。

29、可选地，所述基于先验知识约束的注意力校准方法还包括：

30、当包含多个注意力头时，每个注意力头分别独立执行注意力计算、校准和对值矩阵加权求和步骤，将各注意力头的输出结果拼接后进行线性变换，得到多头注意力输出结果。

31、第二方面，本公开实施例还提供了一种基于先验知识约束的注意力校准系统，采用如下技术方案：

32、预处理模块，用于获取目标对象的多模态脑健康数据并预处理为输入特征；

33、特征划分模块，用于将所述输入特征划分为多个特征组，为每个特征组设置先验权重；

34、线性变换模块，用于将每个特征组线性变换后进行拼接，生成查询矩阵、键矩阵和值矩阵；

35、注意力计算模块，用于对所述查询矩阵与所述键矩阵进行缩放点积注意力计算，得到原始注意力权重矩阵；

36、矩阵构造模块，用于基于所述特征组的先验权重，构造与所述原始注意力权重矩阵相同尺寸的先验权重矩阵；

37、矩阵校准模块，用于使用所述先验权重矩阵对所述原始注意力权重矩阵进行校准，得到校准后注意力权重矩阵；

38、归一化模块，用于对所述校准后注意力权重矩阵进行归一化，得到最终注意力权重矩阵；

39、加权求和模块，用于使用所述最终注意力权重矩阵对所述值矩阵加权求和，得到注意力输出结果，所述注意力输出结果用于生成目标对象的脑健康评估数据。

40、第三方面，本公开实施例还提供了一种计算机装置，采用如下技术方案：

41、所述计算机装置包括：

42、至少一个处理器；以及，

43、与所述至少一个处理器通信连接的存储器；其中，

44、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行以上任一所述的基于先验知识约束的注意力校准方法。

45、第四方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行以上任一所述的基于先验知识约束的注意力校准方法。

46、第五方面，本公开实施例还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现以上任一项所述方法的步骤。

47、本公开实施例提供的基于先验知识约束的注意力校准方法，通过在缩放点积注意力计算之后、对值矩阵加权求和之前，将先验权重矩阵与原始注意力权重矩阵逐元素相乘并重新归一化，实现了业务先验知识对注意力分布的定向校准。由于查询矩阵和键矩阵的计算完全未受权重干扰，特征之间的真实相关性被完整保留，同时校准后的重新归一化严格保持了注意力权重每行之和为1的归一化特性，确保输出尺度稳定，值矩阵的梯度在回传过程中未经业务权重缩放，所有特征的梯度均完整保留，避免了梯度消失问题。

48、上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。