增量学习方法和对象分类处理方法与流程
本技术涉及计算机,特别是涉及一种增量学习方法和对象分类处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
背景技术:
1、增量学习(incremental learning)又叫持续学习(continual learning)或终身学习(life long learning),是从非平稳的数据分布中获取新知识的学习方式。在获取新知识的同时,旧知识会受到干扰,导致模型性能快速下降,甚至会完全覆盖或遗忘以前学到的旧知识,即发生灾难性遗忘(catastrophic forgeeting)。
2、传统技术中,采用重放(replay)方法来缓解灾难性遗忘问题。具体通过将已训练分支网络的数据样本存储在内存中,并在针对待训练分支网络的增量学习过程中定期重放这些样本,以保留模型对旧知识的记忆。然而,随着分支网络数量的增加,存储旧任务数据所需的内存会迅速膨胀,需要耗费大量的存储资源。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种能够节约存储资源的增量学习方法、对象分类处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
2、第一方面,本技术提供了一种增量学习方法。所述方法包括:
3、获取增量学习网络的多个增量训练样本;所述增量学习网络包括基础网络、已训练的第一分支网络和待训练的第二分支网络,所述基础网络包括第一基础网络模块,所述第一分支网络包括第一分支网络模块,所述第二分支网络包括第二分支网络模块;
4、针对每一所述增量训练样本,获得以下特征:通过所述第一基础网络模块对所述增量训练样本的初始样本特征进行调整得到的第一样本特征,通过所述第一分支网络模块对所述初始样本特征进行调整得到的第一分支特征,以及通过所述第二分支网络模块对所述初始样本特征进行调整得到的第二分支特征;
5、将所述第一样本特征、所述第一分支特征与所述第二分支特征融合,以得到第二分支网络的第一融合特征;
6、基于所述第一融合特征,确定所述第二分支网络针对所述增量训练样本的预测标签;
7、依据各所述增量训练样本各自的预测标签与真实标签之间的差异,调整所述第二分支网络的网络参数;
8、在满足训练结束条件的情况下,获得包括所述基础网络、所述第一分支网络以及已训练的第二分支网络的机器学习网络。
9、第二方面,本技术还提供了一种对象分类处理方法。所述方法包括:
10、获取待分类的目标对象和训练好的机器学习网络;所述机器学习网络通过上述的增量学习方法训练得到;所述机器学习网络包括基础网络、以及已训练的多个分支网络;
11、获得通过所述基础网络对所述目标对象的初始对象特征进行调整得到的对象特征、以及通过各所述分支网络分别对所述初始对象特征进行调整得到的分支特征;
12、针对每一所述分支网络,在所述分支网络存在级联的前级分支网络的情况下,基于所述对象特征、所述前级分支网络提取的前级分支特征、以及所述分支网络提取的本级分支特征,对所述目标对象进行分类,确定所述分支网络针对所述目标对象的预测数据;
13、基于所述目标对象在各所述分支网络下各自的预测数据,确定所述目标对象的对象类别。
14、第三方面,本技术还提供了一种类增量学习装置。所述装置包括:
15、训练样本获取模块,用于获取增量学习网络的多个增量训练样本;所述增量学习网络包括基础网络、已训练的第一分支网络和待训练的第二分支网络,所述基础网络包括第一基础网络模块,所述第一分支网络包括第一分支网络模块,所述第二分支网络包括第二分支网络模块;
16、样本特征提取模块,用于针对每一所述增量训练样本,获得以下特征:通过所述第一基础网络模块对所述增量训练样本的初始样本特征进行调整得到的第一样本特征,通过所述第一分支网络模块对所述初始样本特征进行调整得到的第一分支特征,以及通过所述第二分支网络模块对所述初始样本特征进行调整得到的第二分支特征;
17、特征融合模块,用于将所述第一样本特征、所述第一分支特征与所述第二分支特征融合,以得到第二分支网络的第一融合特征;
18、预测模块,用于基于所述第一融合特征,确定所述第二分支网络针对所述增量训练样本的预测标签;
19、参数调整模块,用于依据各所述增量训练样本各自的预测标签与真实标签之间的差异,调整所述第二分支网络的网络参数;
20、网络确定模块,用于在满足训练结束条件的情况下,获得包括所述基础网络、所述第一分支网络以及已训练的第二分支网络的机器学习网络。
21、第四方面,本技术还提供了一种对象分类处理装置。所述装置包括:
22、获取模块,用于获取待分类的目标对象和训练好的机器学习网络;所述机器学习网络通过上述的增量学习方法训练得到;所述机器学习网络包括基础网络、以及已训练的多个分支网络;
23、对象特征提取模块,用于获得通过所述基础网络对所述目标对象的初始对象特征进行调整得到的对象特征、以及通过各所述分支网络分别对所述初始对象特征进行调整得到的分支特征;
24、预测数据确定模块,用于针对每一所述分支网络,在所述分支网络存在级联的前级分支网络的情况下,基于所述对象特征、所述前级分支网络提取的前级分支特征、以及所述分支网络提取的本级分支特征,对所述目标对象进行分类,确定所述分支网络针对所述目标对象的预测数据;
25、对象类别确定模块,用于基于所述目标对象在各所述分支网络下各自的预测数据,确定所述目标对象的对象类别。
26、第五方面,本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述的增量学习方法或对象分类处理方法。
27、第六方面,本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的增量学习方法或对象分类处理方法。
28、第七方面,本技术还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述的增量学习方法或对象分类处理方法。
29、上述增量学习方法、对象分类处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品,针对每一增量训练样本,通过第一基础网络模块对该增量训练样本的初始样本特征进行调整得到第一样本通用特征、通过第一分支网络模块对初始样本特征进行调整得到的第一分支特征,以及通过第二分支网络模块对初始样本特征进行调整得到的第二分支特征,并基于第一样本特征、第一分支特征和第二分支特征的融合结果,确定第二分支网络针对增量训练样本的预测标签,相当于是将第一样本特征和第一分支特征应用于针对第二分支网络的训练中,相当于是在学习新知识的同时,引入来自旧知识的特征贡献,使得类增量学习过程中,可以在不需要依赖于已训练分支网络的训练数据的前提下,保留模型对旧知识的识别能力,可以在避免模型遗忘旧知识的同时,减少增量学习过程中对内存资源的依赖。因此,采用上述方法,可以在确保增量学习效果的同时,节约增量学习过程中所耗费的存储资源。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com