一种生物学知识引导的多源数据融合持续学习神经网络构建方法

本发明属于人工神经网络的构建与持续学习，尤其涉及一种生物学知识引导的多源数据融合持续学习神经网络构建方法。

背景技术：

1、持续学习神经网络是指在已完成训练的神经网络上扩展新增类别样本并继续训练所得到的网络。在实际部署的智能感知系统中，待判别的类别往往随应用场景的推进不断增加，所收集的样本也有可能因为不同光照、拍摄角度、地域影响导致重新收集全部历史数据并从头训练网络的代价高昂，实践中通常采用持续学习的方式，在保留原有网络参数的基础上引入新增类别或样本继续训练。持续学习的核心困难在于灾难性遗忘，即网络在拟合新增类别的过程中改写了承载旧类别判别力的共享参数，旧类别的识别精度随之下降。为抑制灾难性遗忘，现有技术提出了参数正则化、输出蒸馏与样本回放等方案，其共同思路是限制参数或输出相对于旧模型的偏移量。

2、在网络扩展的初始化环节，现有持续学习方法在构建新增类别的分类器时大多采用随机初始化，未利用不同类别在演化过程中所具有的先验关联。随机赋予的初始权重在特征空间中的方向是任意的，其与新增类别真实特征分布之间的偏离程度较大，网络必须以较大幅度更新共享参数才可完成收敛，而共享参数的大幅更新同时破坏了旧类别已经形成的特征分布，训练效率下降与遗忘加剧同时出现。

3、在输入数据的组织环节，现有方法在输入端大多依赖单一模态的数据，对温度、土壤水分与降雨等环境信息缺乏协同利用。表征数据采集系统与环境监测系统通常各自独立部署与独立存储，两类数据之间缺乏统一的时空对齐、统一编码与交互建模机制，难以形成可直接用于时序持续学习网络训练的多源融合样本。在类别之间外观差异较小的场景中，仅凭单一模态的表征难以稳定区分处于相邻演化阶段的类别。

4、在跨类别知识迁移环节，现有方法普遍采用固定的类别映射关系，把旧类别与新增类别之间的关联描述为非此即彼的硬对应。此类映射只可表达离散的类别关联，无法刻画不同类别在演化阶段上连续变化的相似程度，关联适中的类别对被过度拉近或者被完全忽略，跨类别知识迁移与泛化的效率受到限制。

5、在旧知识保持环节，现有方法主要依赖输出层的蒸馏约束与参数层的正则约束，对网络内部的注意力分布缺乏约束手段。网络在学习新增类别时，内部的关注区域容易发生漂移，即便输出层的响应被约束在一定范围内，中间层所依据的判别线索已经改变，旧类别的识别精度与遗忘率仍然恶化。

6、综上所述，现有技术在新增类别的初始化方式、多源异构数据的统一表达、跨类别关联的描述粒度以及网络内部表示的保持手段四个方面均存在不足，缺少一种把领域先验知识、多源数据融合与内部表示约束结合于同一训练流程的神经网络构建方法。

技术实现思路

1、为解决上述问题，本发明的技术方案为：一种生物学知识引导的多源数据融合持续学习神经网络构建方法，包括以下步骤：

2、s1、按同一固定采样周期分别采集目标对象的连续表征数据序列与物联网环境参数，以表征数据的采集时间戳为基准对两类数据进行时间对齐、编号与入库，构建多源时空对齐样本集；

3、s2、以视觉transformer作为共享骨干提取表征数据的高维特征，将物联网环境参数经多层感知机编码为环境嵌入向量，并将该向量、所述高维特征与时序位置编码拼接后经融合网络映射至统一特征空间，输出多源融合特征；

4、s3、以基类样本的多源融合特征训练投影层与余弦分类头，得到基类模型，并对每一基类的归一化特征聚类得到基类原型，构建基类原型库；

5、s4、依据基类与新增类别之间的生物学关联建立可学习的软相似度矩阵，并沿基类维度归一化，得到归一化软相似度；

6、s5、以所述归一化软相似度为权重对基类原型加权融合并归一化，将结果作为新增类别分类头的初始权重，其余参数继承基类模型，得到增量模型；

7、s6、在增量训练中以所述归一化软相似度为迁移强度，对新增类别的多源融合特征与基类原型分别施加拉近约束与推远约束；

8、s7、以冻结的基类模型副本作为参考模型，对参考模型与增量模型各编码层的类标记注意力分布施加一致性约束，并与所述拉近约束、推远约束及分类损失加权联合优化；训练收敛后将新增类别原型并入基类原型库并返回s4执行下一增量任务，直至输出持续学习神经网络。

9、进一步，所述s1包括：

10、s11、在目标对象所在区域部署表征数据采集设备与物联网设备，所述物联网设备包括一体式空气温度传感器、分别埋设于地下10cm与30cm深度处的介电式土壤水分传感器以及雨量计，所述表征数据采集设备与各传感器均经网络接入统一管理平台；

11、s12、表征数据采集设备按预设时间间隔连续获取表征数据序列，并携带采集时间戳上传至服务器，服务器按对象编号与采集日期分类存储；所述物联网设备以与表征数据采集设备相同的固定采样周期采集并上传日最低温度、日最高温度、日平均温度、土壤体积含水量与降雨量；

12、s13、由日最高温度与日最低温度按下式逐日计算有效积温：

13、；

14、其中，gdd为当日有效积温；为当日最高温度；为当日最低温度；为目标对象的生物学下限温度；max[]为取最大值运算；

15、再按下式逐日累加得到累计积温：

16、；

17、其中，为自起始日至第t日的累计积温；为第n日的有效积温；t为自起始日起的日序号；n为累加序号；

18、s14、以采集时间戳为基准，将同一采样时刻的表征数据与环境参数向量[,,,gdd,agdd,,,rain]匹配为一条样本，其中为当日平均温度；、分别为10cm与30cm深度处的土壤体积含水量；rain为当日降雨量；对缺失时刻的环境参数按其前后相邻采样时刻的数值线性插值补全，并按对象编号赋予类别标签，生成可直接用于网络训练的多源时空对齐样本集。

19、进一步，所述s2包括：

20、s21、将表征数据缩放至固定尺寸并按通道均值与标准差标准化，划分为互不重叠的等尺寸数据块，经线性映射得到数据块词元序列，并在该序列首位拼接可学习的类标记词元；

21、s22、将拼接后的词元序列输入视觉transformer骨干网络，取末层类标记词元的输出作为表征数据的高维特征；

22、s23、将s14所述8维环境参数向量按训练集中各分量的均值与标准差作标准化处理后，输入由两个全连接层与激活函数构成的多层感知机，输出环境嵌入向量；

23、s24、按采样时刻在序列中的次序生成正弦-余弦时序位置编码，将所述高维特征、环境嵌入向量与时序位置编码沿通道维拼接，输入由全连接层、层归一化与激活函数依次构成的融合网络，映射为统一特征空间中的向量并作l2归一化，得到同时表达对象自身表征与环境背景的多源融合特征。

24、进一步，所述s3包括：

25、s31、将基类样本的多源融合特征输入全连接投影层，对投影层输出作l2归一化，得到基类嵌入向量；

26、s32、以余弦分类头计算基类嵌入向量与各基类权重向量的余弦相似度作为分类得分，并采用带角度间隔的分类损失训练骨干网络、投影层与余弦分类头：

27、；

28、其中，为分类损失；为尺度因子；为角度间隔；为基类嵌入向量与其真实类别y的权重向量之间的夹角；为基类嵌入向量与第c个非真实类别的权重向量之间的夹角；exp为自然指数运算；log为自然对数运算；

29、s33、训练收敛后冻结骨干网络与投影层，对每一基类的全部基类嵌入向量执行k均值聚类，将聚类中心作l2归一化后作为该基类的基类原型；

30、s34、将各基类原型及其类别标识写入基类原型库并持久化存储，得到供后续增量任务调用的已知知识基底。

31、进一步，所述s4包括：

32、s41、由领域生物学关联为每一个由基类i与新增类别j构成的类别对赋予初值，生物学关联强的类别对取较大初值、关联弱的类别对取较小初值，各初值构成m行n列的参数矩阵，并将该参数矩阵注册为随网络梯度更新的可学习参数；

33、s42、沿基类维度对所述参数矩阵作softmax归一化：

34、；

35、其中，为第i个基类对第j个新增类别的归一化软相似度；为参数矩阵中第i行第j列的可学习参数；为参数矩阵中第u行第j列的可学习参数；m为基类类别总数；n为新增类别总数；i为基类序号；j为新增类别序号；u为基类维度的求和序号；exp为自然指数运算；

36、s43、归一化后同一新增类别所对应的各基类软相似度之和为1，由全部构成取值连续可微的软相似度矩阵，作为s5的初始化权重与s6的迁移强度来源。

37、进一步，所述s5包括：

38、s51、按下式以归一化软相似度对基类原型库中的全部基类原型加权求和：

39、；

40、其中，为第j个新增类别的融合权重向量；为基类原型库中第i个基类的基类原型向量；

41、s52、按下式对融合权重向量作l2归一化，使其与余弦分类头的权重尺度一致：

42、；

43、其中，为第j个新增类别分类头的初始权重向量；为l2范数运算；

44、s53、在余弦分类头输出层新增n个输出通道，将各分别填入对应通道，与已有基类权重共同构成增量分类头，骨干网络、投影层与融合网络的参数由基类模型继承，得到无需随机初始化的增量模型。

45、进一步，所述s6包括：

46、s61、将新增类别样本按s2处理，得到新增类别的多源融合特征；

47、s62、对归一化软相似度大于拉近阈值的类别对，按下式施加拉近约束：

48、；

49、其中，为拉近损失；为拉近阈值，取值范围0.5～0.9；为第j个新增类别样本的多源融合特征向量；cos(,)为与基类原型的余弦相似度；

50、s63、对归一化软相似度小于推远阈值的类别对，按下式施加推远约束：

51、；

52、其中，为推远损失；为推远阈值，取值范围0.05～0.3且小于；m为推离边界，取值范围0～1；

53、s64、取与之和作为跨类别知识迁移损失，随软相似度在训练中的更新连续调整拉近与推远强度，得到随生物学关联强度连续变化的知识迁移约束。

54、进一步，所述s7包括：

55、s71、复制s3训练完成的基类模型并冻结其全部参数，作为参考模型，参考模型在增量训练中仅前向计算、不回传梯度；

56、s72、将同一批新增类别样本分别输入参考模型与增量模型，逐编码层提取类标记词元对各数据块词元的注意力权重，并沿数据块维度归一化为注意力分布；

57、s73、按下式以总变差距离计算两模型注意力分布的一致性损失：

58、；

59、其中，为注意力一致性损失；d为transformer编码层总数；d为编码层序号；k为数据块总数；k为数据块序号；为参考模型第d个编码层中类标记词元对第k个数据块的注意力权重；为增量模型第d个编码层中类标记词元对第k个数据块的注意力权重；

60、s74、按下式构建联合损失，并以随机梯度下降法同步更新增量模型参数与可学习参数矩阵：

61、；

62、其中，为联合损失；为知识迁移损失的权重系数；为注意力一致性损失的权重系数；

63、s75、当验证集上旧类别与新增类别的平均分类准确率在连续预设轮次内不再提升时终止本次增量训练，对新增类别的归一化特征执行k均值聚类得到新增类别原型，写入基类原型库并将基类类别总数更新为m与n之和；

64、s76、若仍存在待扩展的新增类别，则以更新后的基类原型库返回s4执行下一增量任务；否则输出持续学习神经网络及其分类头权重，用于对多源融合特征进行类别推断。

65、本发明的有益效果为：

66、本发明以表征数据的采集时间戳为基准对表征数据序列与物联网环境参数进行时间对齐与统一编号，把两类异构数据在样本层面绑定为固定的一一对应关系，随后以共享骨干网络提取表征数据的高维特征，以多层感知机把环境参数编码为环境嵌入向量，并把高维特征、环境嵌入向量与时序位置编码拼接后经融合网络映射至同一特征空间。上述特征使网络在感知目标对象自身形态变化的同时获得热量、水分与降雨背景的参考，处于相邻演化阶段而外观相近的类别在融合特征空间中获得可区分的辅助依据，多源数据的利用更为充分，网络对复杂动态环境的适应性得到改善。

67、本发明依据基类与新增类别之间的生物学关联建立软相似度矩阵，沿基类维度归一化后以其为权重对基类原型库中的原型加权融合，并把归一化后的融合结果直接写入余弦分类头的新增通道，替代常规的随机初始化。新增类别的初始权重落在与之关联最强的若干基类原型附近，其与新增类别真实特征分布之间的初始偏离明显减小，网络无须以较大幅度更新共享骨干与投影层的参数即可完成收敛，旧类别特征分布所受的扰动同步减弱，训练稳定性提高，收敛速度加快，灾难性遗忘的风险在训练起始阶段即被抑制。

68、本发明把软相似度矩阵注册为随网络梯度更新的可学习参数，并以其取值作为知识迁移的强度，对关联较强的类别对施加拉近约束，对关联较弱的类别对施加带边界的推远约束。迁移强度随类别之间相似程度连续变化，取代了非此即彼的固定类别映射，关联适中的类别对不再被过度拉近或者被完全忽略；专家赋予的先验取值在训练中依据数据分布持续修正，跨类别的共享知识得到充分利用，新增类别的判别能力与整体泛化能力共同提升。

69、本发明以冻结的基类模型副本作为参考模型，逐编码层提取参考模型与增量模型的类标记注意力分布，并以总变差距离约束两者保持一致，把约束的作用位置由输出层延伸至网络内部表示。网络在学习新增类别的过程中保持对关键区域的稳定关注，注意力漂移受到抑制，旧知识的保持不以牺牲新增类别的学习能力为代价；分类损失、迁移约束与注意力约束分别作用于输出层、特征层与中间层，三者的作用对象互不重叠，联合优化时相互补充；每一轮增量任务收敛后新增类别的原型被写入原型库，先验知识随任务序列不断累积，网络在多轮类别扩展中持续保持较高的识别精度与较低的遗忘水平。