一种基于密集语义对比的自监督视觉模型预训练方法与流程

技术特征：
1.一种基于密集语义对比的自监督视觉模型预训练方法，其步骤包括：1)对于样本图像x
i
，利用数据增强方法a对样本图像x
i
增强后输入第一编码器网络分支得到基础特征然后将基础特征输入全局映射模块得到实例级特征将基础特征输入密集映射模块得到样本图像x
i
中每一个像素点p
i
的特征，即像素级特征利用数据增强方法b对样本图像x
i
增强后输入第二编码器网络分支得到基础特征然后将基础特征输入全局映射模块得到实例级特征将基础特征输入密集映射模块得到样本图像x
i
中每一个像素点p
i
的特征，即像素级特征2)基于和进行对比学习，得到实例判别损失l
ins
；基于和进行对比学习，得到像素判别损失l
pix
；3)对于样本图像x
i
中的任意一像素点p
i
，根据该像素点p
i
对应的正样本集计算邻居判别损失l
nei
；4)对数据增强方法a增强后的样本图像对应的像素级特征集合v
a
执行聚类操作，获得k个聚类集群；对数据增强方法b增强后的样本图像对应的的像素级特征集合v
b
执行聚类，获得k个聚类集群；然后对每个集群进行对比学习，计算聚类对比损失l
km
；5)将损失函数l＝l
ins
l
pix
l
sem
作为自监督视觉模型预训练的最终损失函数，对自监督视觉模型进行端到端的训练；其中l
sem
为l
nei
、l
km
或l
pm
，l
pm
表示对一个像素进行原型映射的损失。2.如权利要求1所述的方法，其特征在于，其中，τ
ins
代表实例级别的温度系数；s(,)是相似度函数，z_为除x
i
自身之外的其他所有样本构成负样本集。3.如权利要求1所述的方法，其特征在于，其中，τ
pix
代表像素级别的温度系数，s(,)是相似度函数，v-为来自于除x
i
之外的其他图像的像素点构成负样本集。4.如权利要求2或3所述的方法，其特征在于，a、b的相似度5.如权利要求1所述的方法，其特征在于，6.如权利要求1所述的方法，其特征在于，其中e
c
为第c个集群的质心特征，为对像素级特征v
a
进行聚类操作得到的第c个集群的质心特征，为对像素级特征v
b
进行聚
类操作得到的第c个集群的质心特征，τ
km
为集群级别的温度系数，e-表示对像素级特征v
a
进行聚类所得k个集群中除第c个集群之外的其他所有k-1个集群的质心。7.如权利要求6所述的方法，其特征在于，l(v,q)＝∑
k
q
k
log p
k
,其中，k是索引值，c
k
表示k-分类器中第k个类别的权重，k’的取值范围为1～k，c
k’表示k-分类器中第k’个类别的权重。

技术总结
本发明公开了一种基于密集语义对比的自监督视觉模型预训练方法，其步骤包括：1)对于样本图像x


技术研发人员：王伟平 李晓倪 周宇
受保护的技术使用者：中国科学院信息工程研究所
技术研发日：2021.08.26
技术公布日：2022/1/28