神经网络的训练方法、系统及神经网络模型的评价方法与流程

技术特征：
1.一种神经网络的训练方法，其特征在于，包括：步骤s1：获取原始任务数据集，将其编号为第零任务数据集，在其上训练神经网络，训练完成后得到第零基准神经网络模型；步骤s2：获取新的任务数据集，根据获取次序，将其编号为第i任务数据集(i＝1,2,3,
…
)，利用第i任务数据集重新训练所述神经网络，训练完成后得到第i基准神经网络模型；步骤s3：采用回放方法，从第零任务数据集至第i-1任务数据集中分别抽取一定比例的数据，与第i任务数据集的全部数据合在一起，构成第i训练数据集；步骤s4：融合知识蒸馏方法和正则化方法，在第i训练数据集上重新训练所述神经网络，训练完成后得到第i目标神经网络模型，重复触发步骤s2至步骤s4。2.根据权利要求1所述的神经网络的训练方法，其特征在于，所述步骤s4包括：依次将第i训练数据集中的数据输入所述神经网络，得到对应的输出结果；针对单个训练轮次，根据预测值与真实值之间的差距计算基础损失l
b
；利用第零基准神经网络模型或者第i-1目标神经网络模型进行知识蒸馏得到蒸馏损失l
d
，使用正则化方法得到正则损失l
r
；计算总损失l
t
＝l
b
l
d
l
r
；利用总损失l
t
对所述神经网络进行反向传播，对神经网络参数进行调节；在训练一定轮次后，选择总损失l
t
最低的轮次所对应的神经网络模型为第i目标神经网络模型。3.根据权利要求1或2所述的神经网络的训练方法，其特征在于，所述神经网络采用yolov5架构，所述yolov5架构包括：主干网络、特征融合网络以及检测头网络；所述主干网络采用cspdarknet53 focus结构；所述特征融合网络采用fpn pan结构；所述检测头网络则输出三个特征图；数据经过预处理后输入到主干网络中进行特征提取，生成不同大小的特征图；特征融合网络将生成的特征图进行相互融合，使得每一层的特征图都能获得其他不同层特征图的信息，特征融合网络输出的特征图的个数、大小与主干网络输出的一致；检测头网络在特征融合的基础上再加一个卷积层得到输出，输出的个数、大小与骨干网络和特征融合网络输出的均一致。4.根据权利要求1所述的神经网络的训练方法，其特征在于，第一目标神经网络模型直至第i目标神经网络模型，均能够部署在实际应用场合中，执行包括目标检测、图像分类在内的任务。5.一种神经网络的训练系统，其特征在于，包括：原始数据处理单元：获取原始任务数据集，将其编号为第零任务数据集，在其上训练神经网络，训练完成后得到第零基准神经网络模型；任务数据处理单元：获取新的任务数据集，根据获取次序，将其编号为第i任务数据集(i＝1,2,3,
…
)，利用第i任务数据集重新训练所述神经网络，训练完成后得到第i基准神经网络模型；训练数据构建单元：采用回放方法，从第零任务数据集至第i-1任务数据集中分别抽取一定比例的数据，与第i任务数据集的全部数据合在一起，构成第i训练数据集；
目标模型训练单元：融合知识蒸馏方法和正则化方法，在第i训练数据集上重新训练所述神经网络，训练完成后得到第i目标神经网络模型。6.根据权利要求5所述的神经网络的训练系统，其特征在于，所述目标模型训练单元包括：依次将第i训练数据集中的数据输入所述神经网络，得到对应的输出结果；针对单个训练轮次，根据预测值与真实值之间的差距计算基础损失l
b
；利用第零基准神经网络模型或者第i-1目标神经网络模型进行知识蒸馏得到蒸馏损失l
d
，使用正则化方法得到正则损失l
r
；计算总损失l
t
＝l
b
l
d
l
r
；利用总损失l
t
对所述神经网络进行反向传播，对神经网络参数进行调节；在训练一定轮次后，选择总损失l
t
最低的轮次所对应的神经网络模型为第i目标神经网络模型。7.根据权利要求5所述的神经网络的训练系统，其特征在于，所述神经网络采用yolov5架构，所述yolov5架构包括：主干网络、特征融合网络以及检测头网络；所述主干网络采用cspdarknet53 focus结构；所述特征融合网络采用fpn pan结构；所述检测头网络则输出三个特征图；数据经过预处理后输入到主干网络中进行特征提取，生成不同大小的特征图；特征融合网络将生成的特征图进行相互融合，使得每一层的特征图都能获得其他不同层特征图的信息，特征融合网络输出的特征图的个数、大小与主干网络输出的一致；检测头网络在特征融合的基础上再加一个卷积层得到输出，输出的个数、大小与骨干网络和特征融合网络输出的均一致。8.根据权利要求5所述的神经网络的训练系统，其特征在于，第一目标神经网络模型直至第i目标神经网络模型，均能够部署在实际应用场合中，执行包括目标检测、图像分类在内的任务。9.一种神经网络模型的评价方法，其特征在于，使用超参数配置文件，先计算第零至第i基准神经网络模型的基准平均精度均值p
bj
(j＝0,1,2,
…
,i)，再基于p
bj
计算第i目标神经网络模型的稳定性精度、可塑性精度以及总精度。10.根据权利要求9所述的神经网络模型的评价方法，其特征在于，p
total
＝(p
stability

plasticity
)/2其中，p
total
为总精度，p
stability
为稳定性精度，p
plasticity
为可塑性精度；对于在第i训练数据集上进行训练得到的第i目标神经网络模型m，p
stability
和p
plasticity
的计算式分别为的计算式分别为其中，p
bk
(k＝0,1,2,
…
,i-1)表示第k基准神经网络模型的基准平均精度均值，表示
模型m在第零原始数据集上的平均精度均值，表示模型m在第k任务数据集上的平均精度均值；p
bi
表示第i基准神经网络模型的基准平均精度均值，表示模型m在第i任务数据集上的平均精度均值。

技术总结
本发明提供了一种神经网络的训练方法、系统及神经网络模型的评价方法，包括：S1：获取原始任务数据集，为第零任务数据集，在其上训练神经网络，得到第零基准神经网络模型；S2：获取新的任务数据集，根据获取次序，将其编号为第i任务数据集，利用第i任务数据集重新训练所述神经网络，训练完成后得到第i基准神经网络模型；S3：采用回放方法，从第零任务数据集至第i-1任务数据集中分别抽取一定的数据，与第i任务数据集的合在一起，构成第i训练数据集；S4：融合知识蒸馏和正则化，在第i训练数据集上重新训练神经网络，得到第i目标神经网络模型。因此本发明结合回放方法、知识蒸馏和正则化方法能在大幅提升训练模型稳定性效果的同时保持可塑性。塑性。塑性。


技术研发人员：廖文龙 何弢 周海进 彭湃
受保护的技术使用者：上海酷移机器人有限公司
技术研发日：2022.08.30
技术公布日：2022/12/5