基于标签传播对比半监督学习的图像分类方法与系统

1.本发明属于图像处理领域，涉及一种基于标签传播对比半监督学习的图像分类方法与系统。


背景技术：

2.图像分类问题一直是研究的热点和难点，由于标记数据需要大量的人力财力，半监督学习的提出解决了大量标记数据的问题，但是标记数据和未标记数据之间有时会有不匹配的情况，在未标记的数据集中会出现标记数据中未出现过的数据，这造成了数据的不匹配问题，导致标记数据不可靠，不可靠的样本点可能会误导模型学习的过程，从而降低了算法的性能。
3.半监督学习最近受到了很多关注，因为它减轻了对大量标记数据的需求，这些数据通常很昂贵，需要专家知识并且收集起来很耗时。深度半监督分类的最新发展达到了前所未有的性能，监督学习和半监督学习之间的差距不断缩小。这种性能改进是基于包含许多技术技巧、强大的增强技术和具有多项损失函数的昂贵优化方案。半监督学习旨在结合少量的标签数据，从未标记的数据中提取信息，并产生与完全监督方法相当的结果。近年来，深度学习的发展推动了图像分类半监督学习(ssl)的新方向。这些新的深度方法的主要好处是能够学习特征表示，而不是依赖手工制作的特征。在过去几年中，深度ssl论文取得了前所未有的性能，监督和半监督模型之间的差距甚至比五年前小得多，半监督方法超过了某些监督技术。
4.在本发明作出之前，目前深度半监督做图像识别和图像分类都是采用一个无噪声无干扰的数据，标记数据和无标记数据之间也是平衡的，遇到和标记数据不平衡数据时都选择直接丢弃和标记数据比匹配的那一部分，在实际的应用中通常难以得到无噪声的未标记数据，训练数据是随机选取的，即有类的标签样例和无类标签的样例独立分布，无类标签的样例可能来自于有类标签的样例分布不同情景，并且带有噪声，导致标记数据和未标记数据会产生不匹配的情况，也导致了数据的不可靠，对于数据的准确性计算不能很好地把握，降低了模型的性能。


技术实现要素：

5.发明目的：本发明的目的在于克服上述图像数据分布不平衡的缺陷，提供一种基于标签传播对比半监督学习的图像分类方法与系统，以解决图像数据在进行图像分类时因为图像数据分布不平衡导致数据在标记时不匹配引起的模型性能严重下降的问题，提高图像数据分类的准确性。
6.技术方案：为实现上述发明目的，本发明采用如下技术方案：
7.一种基于标签传播对比半监督学习的图像分类方法，包括如下步骤：
8.(1)将原始的图像数据集进行部分标记，其中标记图像数量少于未标记图像，并对图像数据集进行预处理；
9.(2)构建包括对比学习模型和标签传播模型的半监督图像分类框架，通过对比学习拉近未标记图像数据和标记图像数据之间相似特征的距离；所述对比学习模型最大化正样本对的相似性，同时最小化负样本对的相似性，通过实例混合的对比损失来优化对比学习模型的权重参数；
10.(3)使用对比学习得到的图像特征进行标签传播，使用相似对齐的方法，分别找出和标记图像数据匹配以及和标记图像数据不匹配的标签；对于匹配的标签，经传播的标签使用交叉熵损失值大于余弦相似度分布值的图像样本构建一个可靠的图像数据集；对于不匹配的标签，采用无监督对比学习的方法去提取图像的特征，预测出其标签和类别；
11.(4)使用可靠图像数据集和标记数据来训练半监督网络模型，通过地面真实标签和预测标签的交叉熵构成监督损失，未标记数据的预测构成交叉熵无监督损失，使用监督损失和无监督损失构成半监督网络模型的总损失，通过反向传播算法优化半监督网络模型的权重参数；
12.(5)使用半监督网络模型对测试图像数据进行分类，获得分类结果。
13.进一步地，步骤(2)中的对比学习模型使用实例混合策略，用于改进对比特征学习，首先将对比学习转化为训练一个分类器，为一批数据分配一个唯一的虚拟标签，表明它们在批次中的身份；然后在输入空间和虚拟标签空间中混合图像实例，在训练期间提供更多的增强数据。
14.进一步地，所述实例混合策略是一种用于对比学习的数据驱动增强策略，具体为：令为一批图像数据对，其中n
p
为批次大小，对于每个锚点，是同一个图像数据的两个不同程度的增强版本，对于每个输入图像样本xi，和分别称为xi的正样本和负样本；对比学习模型f(
·
)学习最大化正样本对的相似性，同时最小化负样本对的相似性，f(
·
)的输出经过l2归一化，是批次b中和的虚拟标签，同一图像的虚拟标签值是1，不同图像的混合虚拟标签值为0，对于具有虚拟标签的一般样本(xi,vi)、(xj,vj)，实例混合的方式如下：
15.mix＝(λxi (1-λ)xj,λvi (1-λ)vj)
16.其中λ是混合系数。
17.进一步地，步骤(2)中使用实例混合对比学习的对比损失为：
[0018][0019]
每个批次设置一个虚拟标签，最后算出总的损失，其中n表示样本总量，τ
t
表示温度参数，|b|表示批次b中图像样本数量，表示两个l2归一化向量内积，分别表示在两种不同增强版本下进行特征提取，v
i,j
表示虚拟标签，并且v
i,i
＝1，v
i,j≠i
＝0。
[0020]
进一步地，步骤(2)中标签传播模型使用图扩散算法，具体为：设图像数据集d＝d
l
du，n＝n
l
nu表示样本总量，n
l
,nu分别表示标记图像样本数
量、未标记图像样本数量，yi是图像样本xi的标签；标签传播任务是从已标记的图像传播标签，来估计未标记图像样本的标签首先，使用描述符集合v＝(v1,v2,...,vn)定义亲和矩阵，其中vi为图的结点，i＝1,2,...,n，根据数据关系构造亲和矩阵：其中d＝diag(a1n)表示度矩阵，1n表示全一的n向量，邻接矩阵a
i,j
:
[0021][0022]
γ是亲和参数，||
·
||是二范数，标签传播扩散的估计过程是：
[0023]
f＝(i-αs)-1y[0024]
f是估计矩阵，α∈[0,1]表示到相邻顶点的概率，y是n
×
c的标签矩阵，c是类的数量；如果图像样本xi∈d
l
，并且yi＝c，则y
ic
＝1，c表示类，最终估计的独热标签表示如下：
[0025][0026]
其中是矩阵y中第i行c列的值，表示第i行c列的估计标签，f
ic
表示矩阵f中第i行c列的估计值。
[0027]
进一步地，步骤(3)中使用相似对齐的方法中类上的相似性分布sd按以下方法得到：给定标记图像样本集合中c类的列表，用编码器计算标记图像样本xi的特征表示zi，c类的特征表示是通过平均化得到，即其中l是归一化常数值，nc是c类标记图像样本的数量；给定一个具有归一化特征的无标记图像样本x
′
，我们用c个预定的原型得到它的余弦相似度分布sd＝(s1,s2,...,sc)，其中sc表示的相似性，c＝1,2,...,c，c是类的数量。
[0028]
进一步地，步骤(3)中构建一个可靠的图像数据集dr的方法，具体为：使用交叉熵损失和余弦相似分布识别可靠图像样本：使用softmax归一化li表示第i个图像样本xi的交叉熵，是经过标签传播得到的估计标签，表示对比学习模型参数；选择c类的标记图像和无标记图像中损失最小的lc，当lc》sc为类c选择可靠样本集创建可靠图像数据集nr＞n
l
，nr为可靠图像数据集中样本数量，n
l
为标记图像样本数量。
[0029]
进一步地，步骤(4)中，监督损失使用地面真值标签yi与标记数据的预测值之间的交叉熵构成，表示为：
[0030][0031]
其中h表示两个值之间的交叉熵，表示半监督模型为标记图像xi生成的预测类分布；
[0032]
无监督损失表示为：
[0033][0034]
其中表示无标记图像在增强操作下模型生成的预测类分布，表示模型生成的伪标签，1是指示函数，当max(pi)≥τ为真的话取1，为假的话取0，保留最大类别概率高于阈值τ的以进行优化。
[0035]
基于相同的发明构思，本发明提供的一种基于标签传播对比半监督学习的图像分类系统，包括：
[0036]
预处理模块，用于将原始的图像数据集进行部分标记，其中标记图像数量少于未标记图像，并对图像数据集进行预处理；
[0037]
对比学习提取特征模块，用于构建对比学习模型，通过对比学习拉近未标记图像数据和标记图像数据之间相似特征的距离；所述对比学习模型最大化正样本对的相似性，同时最小化负样本对的相似性，通过实例混合的对比损失来优化对比学习模型的权重参数；
[0038]
标签传播模块，用于构建标签传播模型，使用对比学习得到的图像特征进行标签传播；
[0039]
图像筛选模块，用于使用相似对齐的方法找出和标记图像数据匹配以及和标记图像数据不匹配的标签；对于匹配的标签，经传播的标签使用交叉熵损失值大于余弦相似度分布值的图像样本构建一个可靠的图像数据集；对于不匹配的标签，采用无监督对比学习的方法去提取图像的特征，预测出其标签和类别；
[0040]
分类模型训练模块，用于使用可靠图像数据集和标记数据来训练半监督网络模型，通过地面真实标签和预测标签的交叉熵构成监督损失，未标记数据的预测构成交叉熵无监督损失，使用监督损失和无监督损失构成半监督网络模型的总损失，通过反向传播算法优化半监督网络模型的权重参数；
[0041]
以及测试模块，用于使用半监督网络模型对测试图像数据进行分类，获得分类结果。
[0042]
基于相同的发明构思，本发明提供的一种计算机系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的基于标签传播对比半监督学习的图像分类方法。
[0043]
有益效果：本发明的优点和效果在于克服标记图像数据和未标记图像数据的不匹配缺陷，少数标记的先验知识纳入对比学习中，目标是借助伪标记分支中的挖掘图像样本来寻求更具辨别力的表示。拉近未标记图像数据中和标记图像数据特征相似的距离。特征表示更具区分性，这有利于半监督学习。利用对比学习得到的特征进行标签传播，利用相似对齐选择可靠的图像样本，进行后面的半监督学习，对于不匹配的数据再利用无监督对比学习预测出其标签。具体表现为：
[0044]
(1)将匹配数据和不匹配数据分开讨论，使用对比学习的方式学习标记图像数据的特征，然后使用学习到的标记特征进行标签传播，使用少量标记图像样本和未标记图像样本进行无监督学习，以获得区分性表示。无监督表示上的标签传播将少数标记的示例传播到所有图像样本。这可导致正确和错误标签。最后进行样本选择，选择出相似度高的可靠
的图像样本，这样选择的标签更加可靠，以避免噪声标签，并创建可靠的扩展的标记图像数据集。最后使用可靠的扩展标记图像数据集和未标记的图像数据集进行模型的半监督训练，进行半监督图像分类。
[0045]
(2)对和标记数据不匹配的标签，采用无监督对比学习的方法去提取图像的特征，预测出其标签和类别。
[0046]
本发明采用基于标签传播对比半监督学习方法，标签传播对比学习特征的半监督分类提供了具有从原始较少标记集扩展的(较大)可靠标记集的半监督算法。从到的扩展是以完全自监督的方式完成的，我们选用自监督中的对比学习的方法来研究，并且当给出很少的标签时，可以显着降低ssl算法的错误率，在对比学习中，正样本被简单地限制在一幅图像中，并进行不同的数据转换，而所有其他图像都被视为负样本并被推开。我们将少数标记的先验知识纳入对比学习中，目标是借助伪标记分支中的挖掘图像样本来寻求更具辨别力的表示。我们扩展了原始的对比学习损失，并将挖掘的图像样本与预定义的原型拉近距离。对于经标签传播得到的图像标签，使用相似分布对齐计算出图像的相似度，判断出与标记数据匹配的标签以及与标记数据不匹配的标签，然后对于两种不同的标签使用不同的分类方法进行分类，匹配数据与标记数据一起进行半监督分类，不匹配的数据进行无监督对比学习提取特征，进行标签的预测并分类。
附图说明
[0047]
图1为本发明实施例的详细框架示意图。
具体实施方式
[0048]
下面结合附图和具体实施例对本发明的方案做详细说明。
[0049]
如图1所示，本发明实施例公开的一种基于标签传播对比半监督学习的图像分类方法，使用对比学习提取图像数据特征，特征信息经过标签传播算法，利用相似对齐从未标记图像数据中选择与标记数据匹配、不匹配的标签，进而使用不同的方法去进行分类，匹配数据和标记数据一起进行半监督模型的训练，对图像进行分类，不匹配数据使用有效的正则化策略实例混合的对比学习进行提取特征，预测出类别信息。使用少量标记图像样本和未标记图像样本进行对比学习，以获得区分性表示。无监督表示上的标签传播将少数标记的图像示例传播到所有图像样本。这可导致正确和错误标签。最后进行图像样本选择，选择出相似度高的可靠的图像样本，这样选择的标签更加可靠，以避免噪声标签，并创建可靠的扩展的标记图像数据集。最后使用可靠的扩展标记图像数据集和未标记的图像数据集进行模型的半监督训练，进行半监督图像分类。
[0050]
本发明采用基于标签传播对比半监督学习进行图像分类，克服了一般半监督方法对无标记图像数据无较好反馈导致分类准确率较低的缺陷，同时克服了全监督方法需求标记信息较多，物资耗费庞大的缺陷，以及克服了因为数据分布不均匀引起的数据不匹配的问题导致的模型性能下降的问题，本发明采用基于标签传播对比半监督学习的图像分类方法，采用对比学习提取图像数据特征，使用标签传播和相似对齐的方法判断是否和标记数据匹配，充分研究数据之间的关联，提高图像分类的精准度。
[0051]
本发明实施例公开的一种基于标签传播对比半监督学习的图像分类方法，具体包
括如下步骤：
[0052]
(1)将原始的图像数据集进行部分标记，其中标记图像数量少于未标记图像，并对图像数据集进行预处理；
[0053]
(2)构建包括对比学习模型和标签传播模型的半监督图像分类框架，通过对比学习拉近未标记图像数据和标记图像数据之间相似特征的距离；所述对比学习模型最大化正样本对的相似性，同时最小化负样本对的相似性，通过实例混合的对比损失来优化对比学习模型的权重参数；
[0054]
(3)使用对比学习得到的图像特征进行标签传播，使用相似对齐的方法，分别找出和标记图像数据匹配以及和标记图像数据不匹配的标签；对于匹配的标签，经传播的标签使用交叉熵损失值大于余弦相似度分布值的图像样本构建一个可靠的图像数据集；对于不匹配的标签，采用无监督对比学习的方法去提取图像的特征，预测出其标签和类别；
[0055]
(4)使用可靠图像数据集和标记数据来训练半监督网络模型，通过地面真实标签和预测标签的交叉熵构成监督损失，未标记数据的预测构成交叉熵无监督损失，使用监督损失和无监督损失构成半监督网络模型的总损失，通过反向传播算法优化半监督网络模型的权重参数；
[0056]
(5)使用半监督网络模型对测试图像数据进行分类，获得分类结果。
[0057]
步骤(1)中将图像数据集分为训练图像数据集和测试图像数据集，对图像数据集进行预处理包括数据增强和归一化处理，数据增强包括对训练数据集中图像进行翻转、旋转一定的角度、随机白化操作以扩充训练图像数据集。
[0058]
步骤(2)中的对比学习模型使用实例混合策略，用于改进对比特征学习，首先将对比学习转化为训练一个分类器，为一批数据分配一个唯一的虚拟标签，表明它们在批次中的身份；然后在输入空间和虚拟标签空间中混合图像实例，在训练期间提供更多的增强数据。
[0059]
进一步地，所述实例混合策略是一种用于对比学习的数据驱动增强策略，具体为：令为一批图像数据对，其中n
p
为批次大小，对于每个锚点，是同一个图像数据的两个不同程度的增强版本，对于每个输入图像样本xi，和分别称为xi的正样本和负样本；对比学习模型f(
·
)学习最大化正样本对的相似性，同时最小化负样本对的相似性，f(
·
)的输出经过l2归一化，是批次b中和的虚拟标签，同一图像的虚拟标签值是1，不同图像的混合虚拟标签值为0，对于具有虚拟标签的一般样本(xi,vi)、(xj,vj)，实例混合的方式如下：
[0060]
mix＝(λxi (1-λ)xj,λvi (1-λ)vj)
[0061]
其中λ是混合系数。
[0062]
步骤(2)中使用实例混合对比学习的对比损失为：
[0063][0064]
每个批次设置一个虚拟标签，最后算出总的损失，其中n表示样本总量，τ
t
表示温
度参数，|b|表示批次b中图像样本数量，表示两个l2归一化向量内积，分别表示在两种不同增强版本下进行特征提取，v
i,j
表示虚拟标签，并且v
i,i
＝1，v
i,j≠i
＝0。
[0065]
步骤(2)中标签传播模型使用图扩散算法，具体为：设图像数据集d＝d
l
du，n＝n
l
nu表示样本总量，n
l
,nu分别表示标记图像样本数量、未标记图像样本数量，yi是图像样本xi的标签；标签传播任务是从已标记的图像传播标签，来估计未标记图像样本的标签首先，使用描述符集合v＝(v1,v2,...,vn)定义亲和矩阵，其中vi为图的结点，i＝1,2,...,n，根据数据关系构造亲和矩阵：其中d＝diag(a1n)表示度矩阵，1n表示全一的n向量，邻接矩阵a
i,j
:
[0066][0067]
γ是亲和参数，||
·
||是二范数，标签传播扩散的估计过程是：
[0068]
f＝(i-αs)-1y[0069]
f是估计矩阵，α∈[0,1]表示到相邻顶点的概率，y是n
×
c的标签矩阵，c是类的数量；如果图像样本xi∈d
l
，并且yi＝c，则y
ic
＝1，c表示类，最终估计的独热标签表示如下：
[0070][0071]
其中是矩阵y中第i行c列的值，表示第i行c列的估计标签，f
ic
表示矩阵f中第i行c列的估计值。
[0072]
步骤(3)中使用相似对齐的方法中类上的相似性分布sd按以下方法得到：给定标记图像样本集合中c类的列表，用编码器计算标记图像样本xi的特征表示zi，c类的特征表示是通过平均化得到，即其中l是归一化常数值，nc是c类标记图像样本的数量；给定一个具有归一化特征的无标记图像样本x
′
，我们用c个预定的原型得到它的余弦相似度分布sd＝(s1,s2,...,sc)，其中sc表示的相似性，c＝1,2,...,c，c是类的数量。
[0073]
步骤(3)中构建一个可靠的图像数据集dr的方法，具体为：使用交叉熵损失和余弦相似分布分布识别可靠图像样本：使用softmax归一化li表示第i个图像样本xi的交叉熵，是经过标签传播得到的估计标签，表示对比学习模型参数；选择c类的标记图像和无标记图像中损失最小的lc，当lc》sc为类c选择可靠样本集创建可靠图像数据集nr＞n
l
，nr为可靠图像数据集中样本数量，n
l
为标记图像样本数量。
[0074]
步骤(4)中，监督损失使用地面真值标签yi与标记数据的预测值之间的交叉熵构成，表示为：
[0075][0076]
其中h表示两个值之间的交叉熵，表示半监督模型为标记图像xi生成的预测类分布；
[0077]
无监督损失表示为：
[0078][0079]
其中表示无标记图像在增强操作下模型生成的预测类分布，表示模型生成的伪标签，1是指示函数，当max(pi)≥τ为真的话取1，为假的话取0，保留最大类别概率高于阈值τ的以进行优化。
[0080]
为证明本发明的效果，将本发明方法在现有图像数据集上分别与现有方法进行了对比。
[0081]
我们使用两个图像分类数据集进行本发明(lpcssl)的实验：cifar10、cifar100。cifar数据由60k 32
×
32(84
×
84)rgb图像组成，分为50k训练样本和10k用于测试。cifar10样本分为10个类别，而cifar100在100个类别中。遵循图像检索的常见做法，对cifar10和ciafar100分别标记1、4、10、25个标签，并对之前的特征执行pca白化和l2归一化应用扩散。通过以高学习率(0.1)训练60个epoch来构建可靠集，以防止标签噪声记忆，并在训练结束时选择每类损失最低的样本。对最后t＝30个训练阶段的每个样本损失进行平均。对于半监督学习实验，使用标准的wideresnet-28-2与相关工作进行公平比较。将我们的方法与最先进的伪标签和基于一致性正则化的半监督方法相结合，以证明我们的发明方法在应用于不同的半监督策略时的稳定性。使用伪标签的默认配置，除了网络初始化，利用旋转自监督目标。网络在标记集上预热200个epoch，然后在整个数据集上训练400个epoch。使用可靠集的扩展监督，使半监督算法能够在标准数据集上以极少的标记样本达到显着且稳定的精度。从表格数据可以看出无论标签数据的多少，本发明的效果都是最好的，由此可以看出本发明对图像分类任务的有效性。
[0082]
表1:6种算法在cifar10图像数据集上的分类效果
[0083][0084]
表2:6种算法在cifar100图像数据集上的分类效果
[0085][0086]
基于相同的发明构思，本发明实施例公开一种基于标签传播对比半监督学习的图像分类系统，包括：预处理模块，用于将原始的图像数据集进行部分标记，其中标记图像数量少于未标记图像，并对图像数据集进行预处理；对比学习提取特征模块，用于构建对比学习模型，通过对比学习拉近未标记图像数据和标记图像数据之间相似特征的距离；所述对比学习模型最大化正样本对的相似性，同时最小化负样本对的相似性，通过实例混合的对比损失来优化对比学习模型的权重参数；标签传播模块，用于构建标签传播模型，使用对比学习得到的图像特征进行标签传播；图像筛选模块，用于使用相似对齐的方法找出和标记图像数据匹配以及和标记图像数据不匹配的标签；对于匹配的标签，经传播的标签使用交叉熵损失值大于余弦相似度分布值的图像样本构建一个可靠的图像数据集；对于不匹配的标签，采用无监督对比学习的方法去提取图像的特征，预测出其标签和类别；分类模型训练模块，用于使用可靠图像数据集和标记数据来训练半监督网络模型，通过地面真实标签和预测标签的交叉熵构成监督损失，未标记数据的预测构成交叉熵无监督损失，使用监督损失和无监督损失构成半监督网络模型的总损失，通过反向传播算法优化半监督网络模型的权重参数；以及测试模块，用于使用半监督网络模型对测试图像数据进行分类，获得分类结果。
[0087]
上述描述的各模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。所述模块的划分仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统。
[0088]
基于相同的发明构思，本发明实施例公开一种计算机系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的基于标签传播对比半监督学习的图像分类方法。
[0089]
本领域技术人员可以理解的是，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机系统(可以是个人计算机，服务器，或者网络设备等)执行本发明实施例所述方法的全部或部分步骤。存储介质包括：u盘、移动硬盘、只读存储器rom、随机存取存储器ram、磁碟或者光盘等各种可以存储计算机程序的介质。