基于自适应权重的类间关系的半监督多标签图像分类方法

1.本发明属于图像分类领域，特别涉及一种基于自适应权重的类间关系的半监督多标签图像分类方法。


背景技术：

2.深度学习的发展对特征学习与分类任务性能的提高有着重要的意义。但是，训练深度网络需要大量的带标签的样本，在实际应用中大部分可利用的样本缺少类别标签，这使得分类训练显得尤为困难。面对这一困难，通常的做法是从少量有标签的样本中训练一个有效的分类器，并为无标签的样本添加合理的辅助信息利用。半监督学习是当前计算机视觉领域中有前景的研究课题之一。近年来半监督图像分类的研究工作越来越多，从优化方法的角度大致可分为以下两类：(1)熵最小化方法；(2)一致性正则化方法。熵最小化方法是通过最小化模型预测的熵得到。模型从有监督数据从无监督数据集中逐渐挑选置信度较高的无监督数据打伪标签并添加到有监督训练集中，从而实现对无监督数据的利用并提高模型泛化性能；这类方法建立在无监督数据、有监督数据与测试集的分布相似，以及简单的无监督样本可以被基于有监督数据训练的模型正确标注的假设上，通过增加样本数量提高泛化性。这类方法可以利用无监督数据，但如何既能利用到足够数量的无监督数据又能保证这些伪标签的高准确率和置信度是需要不断探索和尝试的问题。一致性正则化方法则是通过利用数据不变性提升模型的表征能力。近年来深度学习的表征能力有所增强，有不少研究人员利用同一个图像在多个模型之间，或同一个图像的多个数据增强版本在一个模型之间的一致性对模型进行约束，希望模型对于同一个数据的多个增强版本或加入了噪声的图像能预测到与原始图像相同的结果，进而提高模型的表征能力以适用于测试集的分类。这类方法近年来在计算机视觉应用中有明显的效果，但对于不同的计算机视觉任务，如何更加充分地挖掘一致性信息需要更多的探索。
3.不同于单标签多分类问题，现实中的自然图像多标签分类问题，多个类的物体经常同时出现在同一个图像中，这增大了学习单标签半监督学习的熵最小化的难度，并限制了一致性约束的设计方式。同时，近年来基于类间关系的多标签图像分类方法占有主导地位，而如果没有足够的监督数据，类间关系知识会变得不可信，损伤模型泛化性和测试时的精度。同时，目前多标签分类方法的类间关系大多存在长尾分布问题，即对于共现关系不典型的图像，类间关系反而会对原始预测破坏造成错误的预测。
4.针对上述两类半监督方法以及基于类间关系的多标签分类方法的不足之处，本发明提出的基于自适应权重的类间关系的半监督多标签图像分类方法，考虑学习一个更加自适应类间关系权重，并基于自适应权重的类间关系对原始与基于类间关系的两个分类预测结果间添加一致性约束互相其帮助学习，利用类间关系预测与原始分类预测和权重对无监督数据定义更加鲁棒的伪标签及一致性约束，进而增加模型泛化性并提高图像分类精度。


技术实现要素：

5.发明目的：本发明为了解决半监督学习在多标签图像分类的问题，提出了一种基于自适应权重的类间关系的半监督多标签图像分类方法，有效利用训练集有监督和无监督的样本，结合类间关系预测与原始预测，实现对目标图像的分类并提高模型在测试集上的分类精度。
6.技术方案：本发明所述的一种基于自适应权重的类间关系的半监督多标签图像分类方法，具体包括以下步骤：
7.(1)图像预处理：对预先获取的图像进行归一化操作，构建包括有监督数据和无监督数据的半监督分类数据集；
8.(2)构建权重计算和预测融合模型；所述模型包括原始分类器、类相关分类器以及权重计算模块组成，采用主流的基于类间共现关系的多标签分类模型中的原始分类器和类相关分类器，权重计算模块用多层感知机实现，加入对分类器和权重计算模块的各个约束损失函数；
9.(3)训练分类器以及权重计算模块：使用步骤1中经过预处理的图像数据集的有监督数据对步骤2中的两个图像分类器和权重计算模块分别进行训练，之后根据权重计算模块的值使得两个分类器的预测相互监督，并基于权重计算对无监督数据和有监督数据进行半监督训练；
10.(4)训练好的权重计算和预测融合模型预测图像分类结果：使用步骤3中训练好的模型对待分类目标图像进行测试，得到最终的分类结果。
11.进一步地，步骤(1)所述半监督分类数据集为：
12.在半监督分类任务中，给定训练集有监督图像样本无监督图像样本其中是第i张有监督图像，是对应图像的分类标签，是第i张无监督图像且没有标签，n
l
是有监督图像样本的个数，nu是有监督图像样本的个数；给定无标签的测试集图像样本其中是测试集的第i张图像，n
t
是测试集图像样本个数，处理任务是预测测试集图像的标签
13.进一步地，所述步骤(2)实现过程如下：
14.(21)采用主流的类间关系相关的多标签图像分类器以及由多层感知机实现的权重计算模块，权重计算单元的输出如下所示：
15.αi(xi)＝a(ci(f(xi))，cr(f(xi))，f(xi))
16.其中，f为特征提取器，ci为原始分类器，cr为类相关分类器，a为权重计算模块，αi(xi)为图像xi基于权重计算模块的权重计算结果；基于此权重，最终分类器预测如下所示：
17.c(xi)＝αi(xi)*cr(f(xi)) (1-αi(xi))ci(f(xi))
18.其中，c(xi)表示融合两个分类器后，模型对样本xi的最终分类预测结果；对于有监督数据训练分类器的预测与真实值之间的损失如下所示：
19.20.其中，l
ml-sm
是多标签软边际损失函数(multilabelsooftmarginloss)，两个分类器和权重预测模块共同参与训练；
21.(22)基于类间关系权重的损失为：
[0022][0023]
其中，h是判定括号内公式是否成立的布尔值函数，τ为是否计算损失的阈值通常设为0.5，l
mse
表示均方误差来约束原始分类器和类相关分类器对样本xi预测的一致性；
[0024]
(23)分别采用基于类间关系权重的自学习伪标签以及一致性约束用于为无监督数据添加监督信息并提高仅基于有监督数据学习到的模型的泛化性，计算样本的伪标签，基于权重的伪标签定义为：
[0025][0026]
其中，ema表示对同一样本不同时刻多次预测取加权滑动平均值，伪标签计算根据权重的倾向选用两个预测之一，伪标签损失的公式为：
[0027][0028]
其中，τ
ps
为参与计算伪标签损失的阈值，仅在高于一定置信度时参与损失计算；
[0029]
在两个分类器的预测，融合权重之间做一致性损失，公式为：
[0030][0031]
其中，和为样本的两个数据增强数据。
[0032]
进一步地，(21)步骤所述的类间关系相关的多标签图像分类器实现过程如下：
[0033]
选取可提取图像特征的特征提取器以及基于特征的原始分类器；基于数据集统计信息与类相关特征，使用图卷积网络构建基于类间关系的特征及分类器。
[0034]
进一步地，步骤(21)所述的基于多层感知机的权重计算模块实现过程过程如下：
[0035]
选取原始分类器的预测结果以及基于类间关系分类器的预测结果，以及可知类相关的特征作为输入，根据类别数量定义输出层神经元的数量；根据输入的维度选取隐藏层的神经元数量，隐藏层神经元数量与输入的大小成正比。
[0036]
进一步地，所述步骤(3)实现过程如下：
[0037]
(31)调整权重计算模块中的神经网络层数，设置初始学习率、训练周期数及损失函数权重；
[0038]
(32)使用训练好的特征提取器，以初始固定权重训练原始分类器和类相关分类器，观察有监督图像的预测精度以及过程中各个损失函数的变化情况，并根据变化修改相关参数；
[0039]
(33)在分类器初步训练完成后，冻结经过训练的两个分类器参数，训练权重计算模块，观察权重的变化以及有监督图像的精度变化，并根据变化修改相关参数；
[0040]
(34)交替调试分类器和权重计算模块，为无监督数据打伪标签和计算一致性损失，观察各个损失函数的变化情况，直到权重计算和预测融合模型收敛；
[0041]
(35)经过充分训练与调参后，得到最终的训练好的权重计算和预测融合模型，保存并用于测试。
[0042]
有益效果：与现有技术相比，本发明的有益效果：1、本发明提出的权重计算和预测融合模块，将原始预测与基于类间关系的预测结合起来，减少了类间关系的长尾分布问题导致的分类器预测精度损失，并通过自适应的权重使得两个分类器的预测结果互相帮助训练；2、本发明基于自适应的类间关系权重计算，为无监督数据添加更加鲁棒的伪标签和一致性约束；3、本发明能够在有效时间内训练权重计算和预测融合模型模型并预测目标图像分类结果，同时可迁移到多种主流的基于类间关系的多标签分类模型，实现简单，适合实际应用环境，具有可观的使用价值。
附图说明
[0043]
图1为本发明的流程图；
[0044]
图2为本发明构建的权重计算和预测融合模型的结构示意图；
[0045]
图3为本发明训练整体模型及使用模型预测图像分类结果步骤流程图。
具体实施方式
[0046]
下面结合附图对本发明作进一步详细说明。
[0047]
如图1所示，本发明提出了一种基于自适应权重的类间关系的半监督多标签图像分类方法，构建了权重计算和预测融合模型，将原始预测与基于类间关系的预测结合起来，减少了类间关系的长尾分布问题导致的预测精度损失，并通过自适应的权重使得两个预测结果互相帮助训练，为无监督数据在特征、预测和类间关系多个层面添加更加鲁棒的伪标签和一致性约束，实现高效的无监督数据的利用和模型训练。具体包括以下步骤：
[0048]
步骤1：图像预处理：对预先获取的图像进行归一化操作，构建包括有监督数据和无监督数据的半监督分类数据集。
[0049]
给定训练集有监督图像样本无监督图像样本其中是第i张有监督图像，是对应图像的分类标签，是第i张无监督图像且没有标签，n
l
是有监督图像样本的个数，nu是有监督图像样本的个数；给定无标签的测试集图像样本其中是测试集的第i张图像，n
t
是测试集图像样本个数，处理任务是预测测试集图像的标签
[0050]
步骤2：构建权重计算和预测融合模型；所述模型包括原始分类器、类相关分类器以及权重计算模块组成，采用主流的基于类间共现关系的多标签分类模型中的原始分类器和类相关分类器，权重计算模块用多层感知机实现，加入对分类器和权重计算模块的各个约束损失函数。
[0051]
如图2所示的权重计算和预测融合模型结构所示：
[0052]
为预测测试集图像的分类标签，采用主流的类间关系相关的多标签图像分类器以及由多层感知机实现的权重计算模块。权重计算单元的输出如下所示：
[0053]
αi(xi)＝a(ci(f(xi))，cr(f(xi))，f(xi))
[0054]
其中，f为特征提取器，ci为原始分类器，cr为类相关分类器，a为权重计算模块，αi(xi)为图像xi基于权重计算模块的权重计算结果；基于此权重，最终分类器预测如下所示：
[0055]
c(xi)＝αi(xi)*cr(f(xi)) (1-αi(xi))ci(f(xi))
[0056]
其中，c(xi)表示融合两个分类器后，权重计算和预测融合模型对样本xi的最终分类预测结果；对于有监督数据训练分类器的预测与真实值之间的损失如下所示：
[0057][0058]
其中，l
ml-sm
是多标签软边际损失函数(multilabelsoftmarginloss)，两个分类器和权重预测模块共同参与训练。
[0059]
为使得原始分类器与类相关分类器的结果相互影响并给没有真实值的无监督数据提供一个监督信息，这里设计一种基于类间关系权重的损失，公式如下所示：
[0060][0061]
其中n为包括有监督和无监督数据的训练集的样本总数量，xi为其中的第i个样本，h是判定括号内公式是否成立的布尔值函数，τ为是否计算损失的阈值通常设为0.5，l
mse
表示均方误差来约束原始分类器和类相关分类器对样本xi预测的一致性，此损失用于将类相关关系的预测优化原始分类器的预测，为包括有监督样本和无监督样本提供约束信息提升分类器精度，仅用于优化原始分类器而不参与类相关分类器的梯度更新。
[0062]
为利用没有人工标签的无监督数据以降低分类错误率，这里分别采用基于类间关系权重的自学习伪标签以及一致性约束用于为无监督数据添加监督信息并提高仅基于有监督数据学习到的模型的泛化性，计算无监督样本的伪标签，基于权重的伪标签定义如下所示：
[0063][0064]
其中，ema表示对同一样本不同时刻多次预测取加权滑动平均值，伪标签计算根据权重的倾向选用两个预测之一。定义伪标签损失的公式如下所示：
[0065][0066]
τ
ps
为参与计算伪标签损失的阈值，仅在高于一定置信度(确信某个类别存在或确信某个类别不存在)时参与损失计算；同时，为了更多利用无监督数据的信息，在两个分类器的预测，融合权重之间做一致性损失，公式如下所示：
[0067][0068]
其中，和为样本的两个经过不同数据增强操作的数据。
[0069]
步骤3：训练分类器以及权重计算模块：使用步骤1中经过预处理的图像数据集的有监督数据对步骤2中的两个图像分类器和权重计算模块分别进行训练，之后根据权重计算模块的值使得两个分类器的预测相互监督，并基于权重计算对无监督数据和有监督数据
进行半监督训练。具体如图3所示：
[0070]
1)调整权重计算模块中的神经网络层数，设置初始学习率、训练周期数及损失函数权重。
[0071]
2)使用训练好的特征提取器，以初始固定权重训练原始分类器和类相关分类器，观察有监督图像的预测精度以及过程中各个损失函数的变化情况，并根据变化修改相关参数。
[0072]
3)在分类器初步训练完成后，冻结经过训练的两个分类器参数，训练权重计算模块，观察权重的变化以及有监督图像的精度变化，并根据变化修改相关参数；
[0073]
4)交替调试分类器和权重计算模块，为无监督数据打伪标签和计算一致性损失，观察各个损失函数的变化情况，直到权重计算和预测融合模型收敛。
[0074]
5)经过充分训练与调参后，得到最终的训练好的权重计算和预测融合模型，保存并用于测试。
[0075]
步骤4：训练好的权重计算和预测融合模型预测图像分类结果：使用步骤3中训练好的模型对待分类目标图像进行测试，得到最终的分类结果。
[0076]
图像的质量对算法的实现与分类效果有着直接的影响。对图像进行归一化操作，是一种简化计算的方式，对提高分类精度有着重要意义。给定图像样本x，根据公式img＝x-mean/std，这里mean和std取0.5，将图像像素值归一化为[-1，1]里的数。
[0077]
以上对本发明所提供的一种基于自适应权重的类间关系的半监督多标签图像分类方法进行了详细介绍。值得注意的是，具体实现该技术方案的方法和途径有很多，以上所述仅是本发明的优选实施方式，只用于帮助理解本发明的方法及核心思想；同时，对于本领域的一般技术人员，在本发明核心思想的基础上，做出的修改和调整都将视为本发明的保护范围。综上所述，本说明书内容不应理解为对本发明的限制，本发明的保护范围应由所附的权利要求来限定。