图像语义分割网络持续学习方法、系统、设备及存储介质

技术特征：
1.一种图像语义分割网络持续学习方法，其特征在于，包括：获取新增语义分割数据集及对应新增类别的标签，利用原始图像语义分割网络提取所述新增语义分割数据集中图像数据的原始特征图，通过特征变换模块对所述原始特征图进行变换，并利用变换结果重构的特征图与所述原始特征图的差异初步训练所述特征变换模块；使用所述原始图像语义分割网络与初步训练的特征变换模块初始化一个相同的图像语义分割网络与特征变换模块，将所述原始图像语义分割网络称为旧网络，初步训练的特征变换模块称为旧特征变换模块，初始化产生的图像语义分割网络称为新网络，初始化产生的特征变换模块称为新特征变换模块；固定所述旧网络与旧特征变换模块，训练所述新网络与新特征变换模块；训练时，将新增语义分割数据集的图像数据同时输入至所述旧网络与新网络，所述旧网络与新网络中各自进行特征图提取、解码与语义分割，获得分割结果；其中，所述旧网络提取的特征图通过所述旧特征变换模块进行变换，所述新网络提取的特征图通过所述新特征变换模块进行变换，并计算两种变换结果的对齐损失；利用所述旧网络与新网络的分割结果及解码获得的特征向量对于旧类别分别独自构建相应的类间关系矩阵与类内关系集合，并利用所述旧网络与新网络的类间关系矩阵计算类间结构保持损失，利用所述旧网络与新网络的类内关系集合计算类内结构保持损失，所述类间结构保持损失与类内结构保持损失用于保持旧类别中类间结构与类内结构的一致性；同时，对于新增类别，利用所述新网络解码获得的特征向量计算初始结构优化损失，所述初始结构优化损失用于拉近相同新增类别的特征向量的分布，疏远不同新增类别的特征向量的分布，并且，利用逐类别动态阈值对旧网络的分割结果进行优化去噪，获得相应的伪标签，利用所述伪标签计算所述新网络的分类损失；结合所述对齐损失、类间结构保持损失、类内结构保持损失、初始结构优化损失及分类损失训练所述新网络与新特征变换模块。2.根据权利要求1所述的一种图像语义分割网络持续学习方法，其特征在于，所述利用原始图像语义分割网络提取所述新增语义分割数据集中图像数据的原始特征图，通过特征变换模块对所述原始特征图进行变换，并利用变换结果重构的特征图与所述原始特征图的差异初步训练所述特征变换模块包括：使用自编码器结构初步训练特征变换模块，将所述原始特征图记为，将特征变换模块记为p
*
；通过特征变换模块p
*
对原始特征图进行变换包括：先通过卷积操作进行通道降维，再通过若干空洞卷积操作进行局部空间信息混合，生成关于原始特征图的表征；使用重构网络r
*
对变换结果进行重构，重构的特征图与所述原始特征图的差异为二者的欧氏距离，表示为：利用重构损失初步训练所述特征变换模块p
*
。3.根据权利要求1所述的一种图像语义分割网络持续学习方法，其特征在于，所述旧网络提取的特征图通过所述旧特征变换模块进行变换，所述新网络提取的特征图通过所述新
特征变换模块进行变换，并计算两种变换结果的对齐损失包括：所述旧网络提取的特征图即为所述原始特征图，记为，将所述旧特征变换模块记为，变换结果表示为；将所述新网络提取的特征图记为，将所述新特征变换模块记为，变换结果表示为，对齐损失为两种变换结果的l1距离，表示为：。4.根据权利要求1所述的一种图像语义分割网络持续学习方法，其特征在于，所述利用所述旧网络与新网络的类间关系矩阵计算类间结构保持损失表示为：其中，表示利用所述旧网络的分割结果以及解码获得的特征向量对于旧类别构建的类间关系矩阵；表示利用所述新网络的分割结果以及解码获得的特征向量对于旧类别构建的类间关系矩阵； ||.||
f
表示矩阵的f范数；类间关系矩阵中的单个元素表示两个旧类别对应的类别原型之间的余弦距离；对于旧类别i与旧类别j，旧网络中对应的类别原型分别表示为与，新网络中对应的类别原型分别表示为与，则类间关系矩阵与中相应元素与的计算方式表示为：其中，类别原型为相应类别下所有特征向量的平均，、分别表示类别原型与余弦相似度、类别原型与的余弦相似度。5.根据权利要求1所述的一种图像语义分割网络持续学习方法，其特征在于，所述利用所述旧网络与新网络的类内关系集合计算类内结构保持损失表示为：其中，利用所述旧网络的分割结果以及解码获得的特征向量对于旧类别构建的类内关系集合表示为，与分别表示旧网络解码获得的属于旧类别i的特征向量与相应的类别原型；利用所述新网络的分割结果以及解码获得的特征向量对于旧类别构建的类内关系集合表示，与分别表示新网络解码获得的属于旧类别i的特征向量与相应的类别原型；类别原型为相应类别下所有特征向量的平均，d表示距离度量函数，表示旧类别集合，表示旧类别的数量。6.根据权利要求1所述的一种图像语义分割网络持续学习方法，其特征在于，所述对于新增类别，利用所述新网络解码获得的特征向量计算初始结构优化损失表示为：其中，表示引导类内结构的损失，表示引导类间结构的损失，为的权重；引导类内结构的损失用于拉近相同新增类别的特征向量的分布，表示为：
其中，表示当前学习阶段t新增类别的集合，表示当前学习阶段t新增类别的数量，所述当前学习阶段t表示训练所述新网络与新特征变换模块的阶段；表示新增类别c对应的类别原型，表示属于新增类别c的特征向量；引导类间结构的损失用于疏远不同新增类别的特征向量的分布，表示为：其中，与分别表示新增类别m与新增类别n对应的类别原型， 表示类别原型与的余弦相似度，为预定义的距离；类别原型为相应类别下所有特征向量的平均，对于新增类别c，类别原型表示为：其中，y为当前阶段中新增类别的标签，|y=c|表示标签中属于新增类别c的像素的数量， 为指示函数，当y=c时，输出为1，其他情况输出为0。7.根据权利要求1所述的一种图像语义分割网络持续学习方法，其特征在于，所述利用逐类别动态阈值对旧网络的分割结果进行优化去噪，获得相应的伪标签，利用所述伪标签计算所述新网络的分类损失包括：利用逐类别动态阈值对旧网络的分割结果进行优化去噪，并融合获取到的新增类别的标签，获得相应的伪标签，表示为：其中，表示当前学习阶段t获取到的输入图像中像素k对应的新增类别的标签，所述当前学习阶段t表示训练所述新网络与新特征变换模块的阶段；表示旧网络对像素k的分类置信度，表示旧类别i对应的动态阈值，表示旧类别集合，表示旧网络 对输入图像输出的分割结果，即每一像素的分类结果，为生成的像素k的伪标签；利用伪标签计算所述新网络的分类损失，表示为：其中，表示所述新网络对于输入图像输出的分割结果。8.一种图像语义分割网络持续学习系统，其特征在于，基于权利要求1~7任一项所述的方法实现，该系统包括：数据收集与初步训练单元，用于获取新增语义分割数据集及对应新增类别的标签，利用原始图像语义分割网络提取所述新增语义分割数据集中图像数据的原始特征图，通过特征变换模块对所述原始特征图进行变换，并利用变换结果重构的特征图与所述原始特征图的差异初步训练所述特征变换模块；
学习单元，用于使用所述原始图像语义分割网络与初步训练的特征变换模块初始化一个相同的图像语义分割网络与特征变换模块，将所述原始图像语义分割网络称为旧网络，初步训练的特征变换模块称为旧特征变换模块，初始化产生的图像语义分割网络称为新网络，初始化产生的特征变换模块称为新特征变换模块；固定所述旧网络与旧特征变换模块，训练所述新网络与新特征变换模块；训练时，将新增语义分割数据集的图像数据同时输入至所述旧网络与新网络，所述旧网络与新网络中各自进行特征图提取、解码与语义分割，获得分割结果；其中，所述旧网络提取的特征图通过所述旧特征变换模块进行变换，所述新网络提取的特征图通过所述新特征变换模块进行变换，并计算两种变换结果的对齐损失；利用所述旧网络与新网络的分割结果及解码获得的特征向量对于旧类别分别独自构建相应的类间关系矩阵与类内关系集合，并利用所述旧网络与新网络的类间关系矩阵计算类间结构保持损失，利用所述旧网络与新网络的类内关系集合计算类内结构保持损失，所述类间结构保持损失与类内结构保持损失用于保持旧类别中类间结构与类内结构的一致性；同时，对于新增类别，利用所述新网络解码获得的特征向量计算初始结构优化损失，所述初始结构优化损失用于拉近相同新增类别的特征向量的分布，疏远不同新增类别的特征向量的分布，并且，利用逐类别动态阈值对旧网络的分割结果进行优化去噪，获得相应的伪标签，利用所述伪标签计算所述新网络的分类损失；结合所述对齐损失、类间结构保持损失、类内结构保持损失、初始结构优化损失及分类损失训练所述新网络与新特征变换模块。9.一种处理设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1~7任一项所述的方法。10.一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现如权利要求1~7任一项所述的方法。

技术总结
本发明公开了一种图像语义分割网络持续学习方法、系统、设备及存储介质，一方面，通过特征空间中的非线性变换提取旧知识表征进行对齐的手段，有效保持旧知识不变性的同时提高对新知识学习的能力。另一方面，在嵌入空间中对新类别优化其拓扑结构，对旧类别维护其拓扑结构的不变性，达到降低遗忘，防止类间混淆的效果；此外，联合伪标签及伪标签降噪技术，使得在语义分割持续学习中无需提供旧类别的标签，降低标注成本。总体来说，本发明作为一种通用性的语义分割持续学习方法，对应用场景均无限制，具有很强的泛化能力与实用价值。具有很强的泛化能力与实用价值。具有很强的泛化能力与实用价值。


技术研发人员：王子磊 林子涵
受保护的技术使用者：中国科学技术大学
技术研发日：2022.03.11
技术公布日：2022/4/12