基于交叉蒸馏的ViT编码器的自监督训练方法

本发明涉及人工智能领域，具体来说涉及图像分类与图像分割的自监督学习领域，更具体地说，涉及基于交叉蒸馏的vit编码器的自监督训练方法。

背景技术：

1、自监督学习通过无标注图像预训练视觉模型，使模型能够在不依赖人工类别标签的条件下学习通用视觉表征。近年来，基于视觉变换器（vision transformer，简称vit）的教师-学生自蒸馏方法在图像分类等图像级任务中表现突出，并逐渐成为视觉基础模型训练的重要技术路线。该类模型通常包含类别标记（class token，图像级标记，以下统一称为[cls]标记）和图像块标记（patch token，以下统一称为图像块标记），前者主要汇聚图像级语义，后者直接用于语义分割、深度估计、视频目标分割等密集预测任务。

2、现有自蒸馏方法通常同时设置图像级[cls]蒸馏损失和遮蔽图像块蒸馏损失。然而，图像级语义并不会均匀地传递给所有图像块标记。发明人发现，在自监督vit中，[cls]标记倾向于从少量判别性区域汇聚全局语义，这些区域可称为代表性图像块；低注意力的非代表性图像块虽然对密集预测同样重要，却更容易出现语义不足和预测错误。

3、因此，现有技术至少存在以下不足：其一，图像级自蒸馏信号主要经由[cls]注意力读出传递，低注意力图像块获得的全局语义梯度较弱；其二，普通遮蔽图像块蒸馏主要学习局部图像块目标，缺少直接的全局语义校正；其三，若通过改变主干结构或引入人工标注解决该问题，将增加训练成本并削弱自监督训练的通用性。

4、需要说明的是：本背景技术仅用于介绍本发明的相关信息，以便于帮助理解本发明的技术方案，但并不意味着相关信息必然是现有技术。相关信息与本发明方案一同提交和公开，在没有证据表明相关信息已在本发明的申请日以前公开的情况下，相关信息不应被视为现有技术。

技术实现思路

1、因此，本发明的目的在于克服上述现有技术的缺陷，提供基于交叉蒸馏的vit编码器的自监督训练方法。

2、本发明的目的是通过以下技术方案实现的：

3、根据本发明的第一方面，提供一种vit编码器的自监督训练方法，包括步骤：s1、对当前批次内的所有训练图像进行增强采样，生成教师视图和学生视图并组成视图对，为至少部分学生视图采样遮蔽图像块的位置集合，其中，每个视图对中两个视图对应同一训练图像的同一空间区域且在增强采样时使用相同的几何变换；s2、将教师视图输入教师网络，经其vit编码器从输入视图（教师视图）提取教师[cls]嵌入和教师图像块嵌入序列，并经其投影头将教师[cls]嵌入映射为教师[cls]目标分布，将教师图像块嵌入序列映射为各教师图像块目标分布；s3、将学生视图按其位置集合遮蔽对应图像块后输入学生网络，经其vit编码器从输入视图（学生视图）提取学生[cls]嵌入和学生图像块嵌入序列，并经其投影头将学生[cls]嵌入映射为学生[cls]预测分布，将学生图像块嵌入序列映射为各学生图像块预测分布；s4、针对所述位置集合中的每一个遮蔽位置，将对应位置的教师图像块目标分布和所述教师[cls]目标分布按照预设比例进行凸组合，得到所述遮蔽位置的混合教师目标；s5、根据视图对中的学生[cls]预测分布和教师[cls]目标分布确定图像级蒸馏损失，根据视图对中遮蔽位置的学生图像块预测分布和对应遮蔽位置的混合教师目标确定交叉蒸馏损失，根据所述图像级蒸馏损失和所述交叉蒸馏损失得到总损失；s6、根据所述总损失更新学生网络的vit编码器和投影头参数，并通过指数滑动平均更新所述教师网络的vit编码器和投影头参数。该方案至少能够实现以下有益技术效果：通过向遮蔽图像块直接注入教师[cls]全局语义分布，使低注意力非代表性图像块获得与注意力质量不显式相关的语义校正，改善图像块级密集表征的空间完整性；在不改变标准自蒸馏框架、不使用人工标签的条件下，提升自监督vit编码器提取的密集表征质量；训练完成后，vit编码器在多种下游任务上均具有提升的迁移性能，且在代表性图像块被遮挡时保持模型鲁棒性。

4、可选的，按照以下方式确定混合教师目标：获取为教师[cls]目标分布设置的第一加权系数和为教师图像块目标分布设置的第二加权系数，其中，第一和第二加权系数的和为1且两者均为正值；将所述第一加权系数与所述教师[cls]目标分布相乘，得到全局目标分量，将所述第二加权系数与所述教师图像块目标分布中对应遮蔽位置的教师图像块目标分布相乘，得到局部目标分量；根据所述全局目标分量和局部目标分量，得到所述遮蔽位置的混合教师目标。该方案至少能够实现以下有益技术效果：通过显式设置第一加权系数和第二加权系数，精确控制全局语义与局部语义在混合教师目标中的比例；使混合目标的构造过程具有可解释性和可调节性，保证混合教师目标为概率分布的凸组合，提升编码器性能。

5、可选的，按照以下方式确定混合教师目标：

6、

7、其中，为第个遮蔽位置对应的混合教师目标，为第一加权系数，的取值范围为(0,1)，得到的差值为第二加权系数，为教师视图下确定的第个遮蔽位置处所对应的教师图像块目标分布，为所述教师视图的教师[cls]目标分布，为所述位置集合中的遮蔽位置索引。该方案至少能够实现以下有益技术效果：通过简洁的线性加权公式实现教师图像块目标分布与教师[cls]目标分布的快速融合，降低计算开销；在指定的取值范围下，每个遮蔽图像块在保留局部目标的同时获得适量全局语义校正，有效缓解非代表性图像块的语义不足问题。

8、可选的，按照以下方式确定交叉蒸馏损失：

9、

10、其中，为视图对集合，为视图对数量；为所述学生视图的遮蔽图像块位置集合，为所述学生视图的遮蔽位置数量，为第个遮蔽位置对应的混合教师目标，为自然对数函数，为学生网络在学生视图的第个遮蔽位置输出的图像块预测分布。该方案至少能够实现以下有益技术效果：通过先对单个学生视图内的所有遮蔽位置取平均、然后对所有视图对取平均，避免不同学生视图间遮蔽数量差异导致的梯度不平衡，提升训练稳定性；精确度量每个遮蔽位置的学生预测与混合教师目标之间的差异，使交叉蒸馏损失直接驱动全局语义向图像块级表征传递；该图像块级的交叉蒸馏损失与图像级蒸馏损失协同作用，联合优化全局语义汇聚和局部细节保持。

11、可选的，按照以下方式确定总损失：

12、

13、其中，为图像级蒸馏损失，为交叉蒸馏损失，为图像级蒸馏损失的权重系数，为交叉蒸馏损失的权重系数。该方案至少能够实现以下有益技术效果：通过权重系数灵活平衡图像级蒸馏损失与交叉蒸馏损失的贡献，适应不同下游任务对全局语义和密集表征的侧重需求；使总损失同时监督图像级[cls]预测和图像块级遮蔽预测，提升学生网络的多尺度表征学习能力；通过联合优化，使训练后的vit编码器兼具更高质量的图像级语义汇总能力和更优的图像块级密集预测能力。

14、根据本发明的第二方面，提供一种图像语义分割方法，包括：获取经训练的图像分割模型，所述图像分割模型包括用于从输入图像提取图像块嵌入序列的特征提取器和用于对图像块嵌入序列进行上采样以预测像素级语义的分割预测器，其中，所述特征提取器采用如第一方面所述的方法训练得到的学生网络的vit编码器或者教师网络的vit编码器；将待分割图像输入所述图像分割模型，由其特征提取器提取待分割图像的图像块嵌入序列，由其分割预测器根据待分割图像的图像块嵌入序列得到分割结果，该分割结果包括每个像素的像素级语义预测值。该方案至少能够实现以下有益技术效果：利用经交叉蒸馏训练得到的vit编码器作为特征提取器，所述特征提取器的图像块嵌入蕴含全局语义校正信息，提升语义分割模型对非代表性区域（如背景、边缘）的判别能力；分割预测器接收高质量的图像块级特征，生成更精确、更连续的像素级语义预测结果；无需从头训练大规模vit编码器，降低语义分割模型的训练成本与数据标注依赖，提升分割性能。

15、根据本发明的第三方面，提供一种图像分类方法，包括：获取经训练的图像分类模型，所述图像分类模型包括用于从输入图像提取图像级语义特征的特征提取器和用于根据图像级语义特征进行分类预测的分类预测器，其中，所述特征提取器采用如第一方面所述的方法训练得到的学生网络的vit编码器或者教师网络的vit编码器，所述图像级语义特征为所述特征提取器输出的[cls]嵌入；将待分类图像输入所述图像分类模型进行分类，由其特征提取器提取待分类图像的[cls]嵌入，由其分类预测器根据待分类图像的[cls]嵌入得到图像分类结果。该方案至少能够实现以下有益技术效果：利用经交叉蒸馏训练得到的vit编码器输出的[cls]嵌入作为图像级语义特征，所述[cls]嵌入汇聚了经全局语义校正后的判别信息，提升图像分类的准确率；特征提取器对低注意力区域具有更强的语义感知能力，增强分类模型在遮挡、变形等复杂场景下的鲁棒性；可快速构建高性能图像分类模型，减少下游任务的训练开销，提升图像分类性能。

16、根据本发明的第四方面，提供一种计算机装置/设备/系统，包括存储器、处理器及存储在存储器上的计算机程序/指令，所述处理器执行所述计算机程序/指令以实现第一或第二方面所述方法的步骤。

17、根据本发明的第五方面，提供一种计算机程序产品，其包括计算机程序/指令，该计算机程序/指令被处理器执行时实现第一或第二方面所述方法的步骤。