一种面向深度神经网络训练的混合数据批次筛选方法及系统

摘要: 本发明属于机器学习与数据增强,具体涉及一种面向深度神经网络训练的混合数据批次筛选方法及系统。尤其涉及利用线性可分性(linearseparability,ls)...
一种面向深度神经网络训练的混合数据批次筛选方法及系统

本发明属于机器学习与数据增强,具体涉及一种面向深度神经网络训练的混合数据批次筛选方法及系统。尤其涉及利用线性可分性(linear separability,ls)度量对由mixup类增强生成的候选混合批次进行信息性评估、并优先选择分类边界信息(classification-margin information,cmi)更丰富的混合批次用于训练的技术方案。

背景技术:

1、数据增强是深度学习模型训练中扩充训练样本、提升模型泛化能力和降低过拟合风险的常用技术。其中,mixup通过随机选取训练样本,并对样本及其标签进行插值以构造新的混合样本,从而改善模型的泛化性能[zhang hongyi等,“mixup: beyond empiricalrisk minimization,” international conference on learning representations(iclr), 2018]。然而,mixup中参与混合的样本、混合系数或混合区域通常采用随机方式确定,使不同随机状态下生成的混合数据在信息含量和监督有效性方面存在差异。部分混合数据能够为模型提供有效的分类边界约束,另一些混合数据则可能包含较多背景区域、无关局部区域或语义不一致内容,导致其监督信号较弱,甚至对模型训练产生干扰。因此,mixup随机生成的混合数据并非均能有效提升神经网络的训练效果。

2、为解决上述问题,kim等提出puzzle mix方法,该方法利用显著性信息和图像局部统计特征优化混合掩码,以提高所生成混合样本的语义合理性[kim jang-hyun等,“puzzlemix: exploiting saliency and local statistics for optimal mixup,” proceedingsof the 37th international conference on machine learning (icml), 2020, pp.5275-5285]。然而,该方法主要从单个样本的显著区域及局部统计特征出发改进混合样本的生成过程,未评价多个混合样本组成批次后所包含的分类边界信息。在混合样本生成方面,dabouei等提出supermix方法,该方法利用预训练模型提供的监督信息确定混合区域,使生成的混合样本包含较丰富的视觉特征并符合自然图像先验[dabouei ali等,“supermix: supervising the mixing data augmentation,” proceedings of theieee/cvf conference on computer vision and pattern recognition (cvpr), 2021,pp. 13794-13803]。然而,该方法同样侧重于依据单个混合样本的视觉特征优化其生成结果,未考虑神经网络以批次形式输入训练数据的特点,也未比较不同候选混合批次所含分类边界信息的价值。因此,上述方法虽然能够改善单个混合样本的生成质量,但不能根据批次层面的分类边界信息判断当前候选混合批次是否适合用于模型训练。

3、综上所述,如何提供一种适用于不同mixup生成方式的混合数据批次筛选方法及系统,能够在不改变原有混合生成逻辑和深度神经网络训练模式的情况下,对原始批次与候选混合批次所含的分类边界信息进行量化比较,并优先选择分类边界信息更丰富的候选混合批次用于神经网络训练,成为亟待解决的问题。

技术实现思路

1、为了解决现有mixup方法未考虑混合批次所含分类边界信息价值的问题,本发明提供一种面向深度神经网络训练的混合数据批次筛选方法及系统。该方法适用于不同的mixup生成方式,通过比较原始批次与候选混合批次对应隐藏层表示的线性可分性,评价候选混合批次所含的分类边界信息,并根据评价结果选择用于主网络训练的混合批次,从而减少低信息量混合批次对训练过程的影响,提高混合数据增强的有效性。

2、为了实现上述目的,本发明采用的技术方案为:

3、一种面向深度神经网络训练的混合数据批次筛选方法,包括以下步骤:

4、步骤s1,获取主网络当前训练轮次的原始批次和训练损失,根据当前训练轮次及训练损失的变化情况判断是否启动混合数据批次筛选,得到筛选触发结果,具体如下:

5、步骤s11,获取主网络当前训练轮次、主网络的总训练轮次、当前训练轮次的原始批次以及当前训练轮次的训练损失;

6、步骤s12,根据当前训练轮次之前各训练轮次的训练损失,确定历史最低训练损失:

7、.(1)

8、其中,为训练轮次序号,为第个训练轮次的训练损失,为第个训练轮次开始前记录的历史最低训练损失。

9、将当前训练轮次的训练损失与历史最低训练损失进行比较,计算当前训练轮次相对于历史最低训练损失的改善量,具体为:

10、(2)

11、步骤s13,将当前训练轮次与预设筛选窗口进行比较,并将改善量与预设停滞阈值进行比较。

12、当时,判定当前训练轮次的训练损失得到显著改善,将当前训练损失更新为历史最低训练损失,并将连续停滞轮数清零;当时,判定当前训练轮次的训练损失未得到显著改善,将连续停滞轮数加一。

13、当当前训练轮次位于预设筛选窗口内,且连续个训练轮次的改善量均不大于预设停滞阈值时,判定主网络训练进入平台期,得到启动筛选的触发结果;否则,得到不启动筛选的触发结果,直接采用原训练流程更新主网络参数。其中,为预设的连续判断轮数,,。

14、步骤s2,基于步骤s1得到的启动筛选的触发结果,利用混合生成器对原始批次进行混合处理,得到候选混合批次;具体如下:

15、步骤s21,将原始批次中的样本作为待混合样本,并生成用于控制样本组合关系的随机参数;

16、步骤s22,将待混合样本及随机参数输入混合生成器,按照混合生成器对应的样本组合规则生成候选混合样本及其混合标签,由生成的候选混合样本及其混合标签组成候选混合批次:

17、(3)

18、其中,为混合生成器;

19、步骤s23,混合生成器采用输入空间插值、图像区域组合、显著性引导混合、特征空间混合或局部特征块混合中的任一种混合方式,使本发明能够对不同混合方式生成的候选混合批次进行后续评价。

20、步骤s3,基于步骤s1得到的原始批次和步骤s2得到的候选混合批次,构建两个具有相同网络结构和相同初始参数的辅助网络,分别使用原始批次和候选混合批次训练对应的辅助网络,得到原始批次辅助网络和候选混合批次辅助网络;具体如下:

21、步骤s31,构建第一辅助网络和第二辅助网络,使第一辅助网络与第二辅助网络具有相同的网络结构,并将二者的初始网络参数均设置为;其中,为用于学习原始批次的原始批次辅助网络,为用于学习候选混合批次的候选混合批次辅助网络,为两个辅助网络共享的初始网络参数;

22、步骤s32,为第一辅助网络和第二辅助网络设置相同的训练参数,所述训练参数包括学习率、权重衰减、训练步数以及能够处理混合标签的训练目标,使两个辅助网络的训练条件保持一致;

23、步骤s33,采用原始批次对第一辅助网络训练预设步数,得到训练后的原始批次辅助网络;

24、步骤s34,采用候选混合批次对第二辅助网络训练与步骤s33相同的步数,得到训练后的候选混合批次辅助网络。

25、步骤s4,基于步骤s3得到的训练后的辅助网络和,将同一原始批次分别输入两个训练后的辅助网络,提取两个辅助网络对应层的隐藏层输出,得到原始批次隐藏层输出集和候选混合批次隐藏层输出集;具体如下:

26、步骤s41,将原始批次中的各原始样本分别输入训练后的原始批次辅助网络和候选混合批次辅助网络;

27、步骤s42,从辅助网络和的第个隐藏层分别提取各原始样本的输出,得到:

28、(4)

29、(5)

30、其中,为两个辅助网络的隐藏层总数,为原始样本经过辅助网络后在第个隐藏层的输出,为同一原始样本经过辅助网络后在第个隐藏层的输出,为原始批次隐藏层输出集,为候选混合批次隐藏层输出集;

31、步骤s43,将原始批次隐藏层输出集和候选混合批次隐藏层输出集分别按照原始批次中各样本的类别标签划分为多个类别输出子集,得到用于计算线性可分性的两组多类别输出集。

32、步骤s5,基于步骤s4得到的两组多类别输出集,分别计算原始批次隐藏层输出集和候选混合批次隐藏层输出集的多分类线性可分性度量值,根据两个多分类线性可分性度量值的比较结果筛选用于主网络训练的混合批次;具体如下:

33、步骤s51,对于任意两个待比较的类别点集和,构建minkowski差分集:

34、(6)

35、其中,为维实数空间,和分别为类别点集和类别点集中的特征向量数量,为类别点集中的第个特征向量,为类别点集中的第个特征向量,为特征向量与特征向量的差分向量;minkowski差分集用于描述两个类别点集之间的方向差异;

36、步骤s52,基于minkowski差分集,计算类别点集和类别点集的二分类线性可分性度量值:

37、(7)

38、其中,为经过原点的超平面的法向量,为向量的转置,和分别为类别点集和类别点集中特征向量的序号。当两个类别点集线性可分时,;当接近时,表示两个类别点集的凸包严重重叠;

39、步骤s53,依次将每一个类别表示子集与其余类别表示子集的并集进行步骤s51和步骤s52所述的二分类线性可分性计算,再按照各类别所含样本数量对得到的二分类线性可分性度量值进行加权汇总。对于包含个类别的多类别表示集,其多分类线性可分性度量值为:

40、(8)

41、其中,为类别序号,为类别总数,为第个类别点集,为第个类别点集所含的样本数量,为除第个类别以外的其余类别点集的并集。按照公式(8),分别计算得到:

42、(9)

43、 (10)

44、其中,用于表示原始批次对应隐藏层输出的多分类线性可分程度,用于表示候选混合批次对应隐藏层输出的多分类线性可分程度;

45、步骤s54,比较步骤s53得到的多分类线性可分性度量值和;当满足公式(11)时,判定候选混合批次所含的分类边界信息多于原始批次,接受候选混合批次,并将候选混合批次用于主网络参数更新;当时,拒绝当前候选混合批次,并返回步骤s2重新生成候选混合批次;

46、(11)

47、步骤s55,记录候选混合批次的生成次数;当生成次数达到预设最大尝试次数,或当前候选混合批次满足时,终止候选混合批次的重新生成过程,并采用当前候选混合批次更新主网络参数,使主网络继续完成后续训练;其中,为当前生成次数,。

48、进一步地,步骤s1中的预设筛选窗口由总训练轮次与预设窗口比例确定,当前训练轮次满足:

49、(12)

50、进一步地,步骤s3中的两个辅助网络采用参数量小于主网络参数量的神经网络,以控制混合数据批次筛选过程的附加计算量。

51、进一步地,步骤s4中的目标隐藏层为靠近辅助网络输出端的隐藏层;当目标隐藏层输出的特征表示维度大于预设维度阈值时,对所述特征表示进行特征聚合或降维处理,再计算其线性可分性。

52、本发明还提供一种面向深度神经网络训练的混合数据批次筛选系统,用于实现上述混合数据批次筛选方法,包括数据获取模块、触发判定模块、混合生成模块、辅助网络训练模块、表示提取模块、线性可分性计算模块、批次筛选模块及主网络训练模块。

53、所述数据获取模块:该数据获取模块用于获取主网络当前训练轮次的原始批次、当前训练轮次、总训练轮次以及训练损失,并将获取的数据传输至触发判定模块和混合生成模块。

54、所述触发判定模块:该触发判定模块与数据获取模块连接,用于接收当前训练轮次、总训练轮次以及训练损失,根据当前训练轮次是否位于预设筛选窗口内以及训练损失的变化情况,判断是否启动混合数据批次筛选,并输出启动筛选或不启动筛选的触发结果。

55、所述混合生成模块:该混合生成模块与数据获取模块及触发判定模块连接,用于接收原始批次和筛选触发结果;在得到启动筛选的触发结果后,利用混合生成器对原始批次进行混合处理,生成候选混合批次,并将原始批次和候选混合批次传输至辅助网络训练模块。

56、所述辅助网络训练模块:该辅助网络训练模块与混合生成模块连接,用于构建两个具有相同网络结构和相同初始参数的辅助网络,分别采用原始批次和候选混合批次,在相同训练参数和训练步数下训练对应的辅助网络,得到训练后的原始批次辅助网络和候选混合批次辅助网络。

57、所述表示提取模块:该表示提取模块与辅助网络训练模块连接,用于将同一原始批次分别输入训练后的原始批次辅助网络和候选混合批次辅助网络,提取两个辅助网络第个隐藏层的输出,并按照原始批次中各样本的类别标签进行划分,得到原始批次隐藏层输出集和候选混合批次隐藏层输出集。

58、所述线性可分性计算模块:该线性可分性计算模块与表示提取模块连接,用于接收原始批次隐藏层输出集和候选混合批次隐藏层输出集,基于minkowski差分和二分类线性可分性度量,分别计算两个隐藏层输出集的多分类线性可分性度量值和。

59、所述批次筛选模块:该批次筛选模块与线性可分性计算模块及混合生成模块连接,用于比较多分类线性可分性度量值和;当时,接受当前候选混合批次;否则,控制混合生成模块重新生成候选混合批次;当候选混合批次满足筛选条件或生成次数达到预设最大尝试次数时,终止重新生成过程,并输出确定的候选混合批次。

60、所述主网络训练模块:该主网络训练模块与触发判定模块、混合生成模块及批次筛选模块连接,用于在得到不启动筛选的触发结果时,采用混合生成模块直接生成的混合批次更新主网络参数;在得到启动筛选的触发结果时,采用批次筛选模块确定的候选混合批次更新主网络参数,使主网络继续完成后续训练。

61、本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序由处理器执行时,实现上述面向深度神经网络训练的混合数据批次筛选方法。

62、本发明的有益效果为:

63、本发明与现有技术相比,不再仅从单个混合样本的生成方式进行改进,而是从训练批次层面对候选混合批次所含的分类边界信息进行评价和筛选。本发明采用具有相同网络结构和相同初始网络参数的两个辅助网络,分别学习原始批次和候选混合批次,再将同一原始批次输入训练后的两个辅助网络,通过基于minkowski差分的多分类线性可分性度量比较两个隐藏层输出集,从而将难以直接计算的分类边界信息转化为可量化的批次筛选依据,并优先选择分类边界信息更丰富的候选混合批次用于主网络参数更新。该方法能够减少随机生成的低信息量候选混合批次对训练过程的干扰,且不限定混合生成器的具体实现方式,因而能够提高混合数据增强的有效性、适用性和可解释性。