一种增量学习方法、装置和电子设备与流程

本发明涉及计算机，尤其涉及一种增量学习方法、装置和电子设备。

背景技术：

1、图像分类模型和目标检测模型在计算机视觉领域具有广泛的应用，且相互配合。例如，在智能安防系统中，图像分类模型可以对监控视频中的场景进行初步分类，判断是否存在异常情况；目标检测模型可以进一步检测具体的目标物体，如人员、车辆等，并跟踪其位置，实现更精准的监控和预警。又如，在自动驾驶领域，图像分类模型可以识别交通标志和信号灯的类别；目标检测模型可以检测道路上的车辆、行人等目标，为自动驾驶车辆的决策提供依据。

2、增量学习(incremental learning)是机器学习中的一项重要技术，目的是在已有模型的基础上，根据新的数据对模型进行局部调整和更新。通过逐步学习新数据中的信息，不断优化模型的参数，使得模型能够适应数据分布的变化或学习新的任务，而不用重新训练整个模型。在学习过程中，模型会保留之前学习到的知识，并将新数据中的新知识融入到已有的知识体系中。

3、例如，对于图像分类模型，增量学习旨在让模型在不断接收新的图像数据及对应类别标签时，能够逐步更新模型参数，以准确分类新出现的图像类别，同时保持对已有类别的分类能力。对于目标检测模型，增量学习旨在让模型在不断接收新的图像数据及对应目标标签(含位置与类别信息)时，能够逐步更新模型参数，以精准检测新目标的类别及位置，同时维持对已有目标的检测能力。

4、然而，增量学习通常存在“灾难性遗忘”(catastrophic forgetting)的现象，即模型在学习新数据时，容易遗忘之前学到的知识。例如，在图像分类模型中，随着新类别数据的不断加入学习，模型对一些早期学习过的类别图像的分类准确率出现明显降低。对于目标检测模型，遗忘问题可能表现为对之前已经能够准确检测的目标，在学习新目标后，检测的精度下降，如边界框的定位不再准确，或者对一些旧目标出现漏检的情况。

技术实现思路

1、本发明实施例提供一种增量学习方法、装置和电子设备，可以在不增加额外计算开销的基础上，缓解增量学习中的“灾难性遗忘”问题，提高增量学习后模型的准确性。

2、第一方面，本发明实施例公开了一种增量学习方法，所述方法包括：

3、获取第一模型；所述第一模型基于原始数据训练得到，所述第一模型用于执行原始任务；

4、以所述第一模型的模型结构为主结构，增加分支结构，得到第二模型；

5、使用所述第一模型的模型参数对所述第二模型的主结构进行参数初始化，以及使用元素值为1的对角线矩阵对所述分支结构进行参数初始化，得到重参数化的第二模型；

6、将所述第一模型作为教师模型，将所述重参数化的第二模型作为学生模型，利用增量数据进行蒸馏训练，得到训练完成的第二模型；所述训练完成的第二模型用于执行所述原始任务以及增量任务。

7、第二方面，本发明实施例公开了一种增量学习装置，所述装置包括：

8、模型获取模块，用于获取第一模型；所述第一模型基于原始数据训练得到，所述第一模型用于执行原始任务；

9、模型构建模块，用于以所述第一模型的模型结构为主结构，增加分支结构，得到第二模型；

10、重参数化模块，用于使用所述第一模型的模型参数对所述第二模型的主结构进行参数初始化，以及使用元素值为1的对角线矩阵对所述分支结构进行参数初始化，得到重参数化的第二模型；

11、蒸馏训练模块，用于将所述第一模型作为教师模型，将所述重参数化的第二模型作为学生模型，利用增量数据进行蒸馏训练，得到训练完成的第二模型；所述训练完成的第二模型用于执行所述原始任务以及增量任务。

12、第三方面，本发明实施例公开了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如前所述的增量学习方法的步骤。

13、本发明实施例包括以下优点：

14、本发明实施例提出一种基于蒸馏训练和重参数化相结合的增量学习方法。在蒸馏训练过程中，利用教师模型(第一模型)指导学生模型(第二模型)的学习，教师模型对原始任务的输出可以作为监督信号，约束学生模型保留原始任务的知识。此外，蒸馏训练过程中，通过蒸馏损失可以传递原始任务的知识，从而可以减少对原始数据的依赖，因此无需存储大量原始数据，可以节省存储空间，提高训练效率。

15、此外，本发明实施例利用教师模型(第一模型)构建学生模型(第二模型)，并对第二模型中与第一模型相同的结构(如主结构)的参数，直接使用第一模型的模型参数进行参数初始化，以在蒸馏训练过程中保留原始任务的知识。对于第二模型中新增的分支结构，使用元素值为1的对角线矩阵进行参数初始化，以在训练初期可以更多的保留原始任务的知识；随着训练的逐步进行，主结构的原始参数可以在一定程度上继续保留原始任务的知识，而新增加的分支结构的重参数则可以更多地学习增量任务的知识，从而平衡原始任务和增量任务之间的冲突。由于增加的分支结构的参数可以在部署阶段进行参数融合，因此，本发明实施例可以在不增加额外计算开销的基础上，缓解增量学习的“灾难性遗忘”问题，在提高增量学习后模型的准确性的同时，减少模型的计算量，提高模型执行效率。

1.一种增量学习方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述分支结构包括卷积核尺寸为1×1的卷积层。

3.根据权利要求1所述的方法，其特征在于，所述增加分支结构，包括：

4.根据权利要求1所述的方法，其特征在于，所述将所述第一模型作为教师模型，将所述重参数化的第二模型作为学生模型，利用增量数据进行蒸馏训练，包括：

5.根据权利要求4所述的方法，其特征在于，所述确定用于蒸馏训练的动态比例因子，包括：

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1至6任一所述的方法，其特征在于，所述原始数据包括第一图像数据以及基于原始任务标注的标签值；所述增量数据包括第二图像数据以及基于增量任务标注的标签值；所述原始任务包括用于识别第一类别的图像分类任务，所述增量任务包括用于识别第二类别的图像分类任务；或者，所述原始任务包括用于检测第一目标的目标检测任务，所述增量任务包括用于检测第二目标的目标检测任务。

8.一种增量学习装置，其特征在于，所述装置包括：

9.根据权利要求8所述的装置，其特征在于，所述分支结构包括卷积核尺寸为1×1的卷积层。

10.一种电子设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1至7任一所述的增量学习方法的步骤。