基于抗偏置信度加权损失的多标签图像分类方法

摘要: 本发明属于计算机视觉多标签图像分类,具体涉及基于抗偏置信度加权损失的多标签图像分类方法。背景技术:1、多标签图像分类是指从预定义的类别标签集合中为每张图像分配多...
基于抗偏置信度加权损失的多标签图像分类方法

本发明属于计算机视觉多标签图像分类,具体涉及基于抗偏置信度加权损失的多标签图像分类方法。

背景技术:

1、多标签图像分类是指从预定义的类别标签集合中为每张图像分配多个与其相关的类别标签。多标签图像分类具有广泛的应用需求,包括多目标识别与检测、相册归类、图像语义标注、图像检索等。基于大数据驱动的监督深度学习方法已在多标签图像分类等计算机视觉应用领域中取得了目前最好的性能。然而,为多标签图像构建大规模有标注的训练样本集非常耗时、昂贵,且往往需要相关专业知识。在现实场景中,用于模型训练的多标签图像标注往往不完整,这种数据称为缺失类标签数据。

2、缺失类标签数据是指数据的类别标注不完整,在类标签向量中存在分量值缺失。具体地,在对样本类标签标注时,只对样本上可能包含的部分类标签进行了逐一判断和状态标注(包含和未包含的类标签的状态标注分别为 1和 0),而其余可能包含的类标签没有对应的状态标注,如果一个样本的类标签向量中某些分量位置的状态标注缺失(既不是 0也不是 1),那么就称这个样本为缺失类标签样本,状态标注缺失位置对应的类标签为这个样本的缺失类标签。

3、针对上述标签缺失问题,现有主流多标签分类方法大多基于完整标注假设设计,其损失函数会对模型产生误导,从而严重削弱分类器的召回率与整体性能。为缓解这一问题,研究者尝试引入置信度加权、课程学习或伪标签校正等策略,但此类方法通常依赖静态阈值或独立估计各标签的缺失概率,难以捕捉图像中标签之间的高阶语义关联,也无法动态适应不同样本的标注偏差分布。同时,图神经网络虽被用于建模标签共现关系,但常规图卷积结构多基于固定的统计先验,缺乏对训练过程中特征表征变化的自适应调整能力,且其消息传递机制在面对噪声标注时容易放大错误传播。因此,亟需设计一种既能有效挖掘图像区域与标签之间的深层交互结构,又能抵御假负例偏置影响的鲁棒学习框架,以在标注不完整的实际条件下充分挖掘多标签分类模型的潜力。

技术实现思路

1、本发明的目的是提供基于抗偏置信度加权损失的多标签图像分类方法,该方法能够有效缓解因标签缺失导致的模型偏差,且能够显著降低训练数据的标注成本。

2、本发明所采用的技术方案是:基于抗偏置信度加权损失的多标签图像分类方法,具体为:

3、步骤1:准备含有缺失类标签的多标签图像训练样本集;

4、步骤2:基于含有缺失类标签的多标签图像训练样本集,构建类共生关系图;

5、步骤3:搭建基于抗偏置信度加权损失的多标签图像分类网络模型;

6、步骤4:构造抗偏置信度加权损失函数;

7、步骤5:构造总的目标损失函数;

8、步骤6:根据步骤5构造的总的目标损失函数在训练样本集上训练步骤3所搭建的网络模型;

9、步骤7:将待分类的图像输入到步骤6训练好的网络模型,在动态图卷积网络的分类层得到该图像的预测类别。

10、本发明的特征还在于:

11、步骤1的具体实现方法如下:

12、假定含有缺失类标签的多标签图像训练样本集为,是该训练样本集中所有的类别标签集合,代表训练样本集中的第个类别标签,其中,表示训练样本集中类别标签的总数,表示训练样本的总数,表示训练样本集中的第个图像样本,表示训练样本图像的类别标签向量,表示的第个分量,若,表示含有,若,表示不含有,若,表示不确定是否含有,此时对应的标签即为样图像的缺失类标签。

13、步骤2的具体实现方法如下:

14、构建一个完全无向图,图中节点的个数为,节点分别为,即一个节点对应一个类别标签;

15、根据训练样本集构建观测标签矩阵,令的第行第列的元素为,即,从训练样本集的观测标签矩阵中提取所有正标签位置,即标签值为1的位置,计算类别标签之间的条件概率关系,具体为:

16、首先,令二值化的标签矩阵为,的第行第列的元素为,当且仅当时,计算共现矩阵,其中为的转置,得到,为实数集;

17、然后,计算条件概率矩阵,的第行第列的元素,其中为共现矩阵第行第列的元素,即表示训练样本集中第个标签与第个标签共同出现的次数,,为第个标签的总体出现频次,ε为小常数防止分母为零,表示当第个标签出现时第个标签出现的概率,然后对条件概率矩阵进行对称化处理,对应的表达式为:,再对对称化的条件概率矩阵中每一行进行l1范数归一化,使得每行的权重之和为1,得到类共生关系图的邻接矩阵。

18、步骤3中,基于抗偏置信度加权损失的多标签图像分类网络模型由骨干网络和动态图卷积网络两个模块组成,动态图卷积网络包含融合图生成模块、图卷积网络和分类层三部分。

19、步骤3的具体实现方法如下:

20、步骤3.1:搭建骨干网络:选定一个深度卷积神经网络,深度卷积神经网络的最后一层为基础分类层,将基础分类层神经元的数目设为,基础分类层的激活函数为sigmoid激活函数;将深度卷积神经网络的倒数第二层看做是特征层,特征层前面是若干卷积层,特征层的输出称为全局特征,基础分类层没有经过sigmoid激活函数时的输出称为初步预测,输入多标签图像经骨干网络提取全局特征并得到初步预测后,将得到的全局特征和初步预测进行拼接,然后将拼接结果送入动态图卷积网络模块进行基于类共生关系图的精炼预测;

21、步骤3.2:搭建动态图卷积网络:动态图卷积网络包含融合图生成模块、图卷积网络和分类层三部分;动态图卷积网络模块负责基于标签之间的类共生关系图对初步预测进行精炼;

22、步骤3.2具体为:

23、步骤3.2.1:构建融合图生成模块:融合图生成模块包括包含多层感知机动态图生成分支与融合门控分支两条并行分支;假定经骨干网络处理后得到的图像全局特征为,初步预测为,其中为实数集,为批处理数,为全局特征的维数,首先将与进行拼接,得到联合向量,随后将联合向量送入一个多层感知机(mlp),该多层感知机用于将联合向量维度映射为后做维度重塑,并使用softmax按行归一化确保每行之和为1,得到动态图的邻接矩阵,动态图的结构与类共生关系图的结构相同,区别在于邻接矩阵不同;联合向量还会被送入一个结构为的融合门控分支,用于输出逐样本的融合权重,最后,为步骤2中构建的类共生关系图新增批次维度并沿该维度广播使,使其与动态图按照权重进行融合,得到融合图的邻接矩阵,,由个的矩阵组成,其中,表示第个训练样本所对应的融合图的邻接矩阵;将融合图输入到图卷积网络;

24、步骤3.2.2:构建图卷积网络:采用三层结构的图卷积网络,图卷积网络每一层的结构都与融合图的结构相同,邻接矩阵也相同,区别在于图卷积网络每一层的节点值不同;图卷积网络第一层的输入是初始节点特征,经过第一层的图卷积运算,第一层的输出是第二层图卷积的输入,第二层的输出是第三层图卷积的输入;经过三层图卷积运算后,输出的图中每一个节点的值都是一个向量;具体为:

25、假定有单位矩阵,训练样本批处理数为,为新增批次维度并沿该维度广播使,并对拓展后的的最后一维做线性投影,使其通过线性投影层从维编码映射到维语义空间,得到初始节点特征,为自定义的语义空间维度,由个的矩阵组成,表示第个训练样本所对应的初始节点特征,;

26、约定如下符号含义:为图卷积网络第层的输出,为图卷积网络第层的线性变换,为非线性激活函数,其中;

27、图卷积网络第一层的输出为,,,为残差投影层;

28、图卷积网络第二层的输出为,,;

29、图卷积网络第三层的输出为,,。

30、步骤3.2.3:构建分类层:分类层是一个单层的全连接层,分类层神经元的数目设为,它的输入是图卷积网络第三层的输出,分类层神经元的激活函数为sigmoid函数,分类层的输出是多标签图像属于不同类别标签的概率向量,分类层没有经过sigmoid激活函数时的输出记为,将称为精炼预测。

31、步骤4的具体实现方法如下:

32、步骤4.1:构造标注标签损失函数:对已明确标注为正即值为1或负即值为0的标签位置,使用非对称聚焦损失进行监督,具体为:

33、首先,假定当前批次样本数据的观测标签矩阵,令的第行第列的元素为,即,表示第个训练样本在第个类别标签位置的标注值,令,其中,,为手动指定的平滑参数;表示对的平滑值,用于调节下面的标注标签损失函数的大小;

34、然后,令预测概率矩阵为,为当前批次样本的预测向量所构成的矩阵,为sigmoid函数,标记掩码,其中已标注位置为1,否则为0;

35、对于第个训练样本,非对称聚焦损失为,其中,表示当时第个训练样本在第个类别标签位置的损失,表示当时第个训练样本在第个类别标签位置的损失,、、为数值稳定常数,表示预测概率矩阵的第行第列的元素;对当前批次所有训练样本的非对称聚焦损失求和取均值得到标注标签损失函数为:

36、。

37、步骤4.2:构造未标注标签损失函数,具体为:定义未标注标签索引集合为,其中表示第个训练样本在第个类别标签位置的标注值,定义正标签索引集合为,其中表示第个训练样本在第个类别标签位置的标注值;对于每个,计算相关性置信度,表示第个训练样本所对应的融合图,计算预测置信度,其中为sigmoid函数,为带宽参数;将相关性置信度和预测置信度以加权平均方式融合,并进行非线性增强,得到最终置信度;基于最终置信度,未标注标签损失函数为:

38、;

39、步骤4.3:构造正样本挖掘损失函数,具体为:正样本挖掘损失函数为,其中表示被挖掘出来的高可信缺失标签集合;

40、步骤4.4:结合步骤4.1、4.2和4.3得到的标注标签损失函数、未标注标签损失函数和正样本挖掘损失函数,得到抗偏置信度加权损失函数为:

41、,

42、其中、、为自定义权重参数。

43、步骤5的具体实现方法如下:

44、确定初步预测损失函数为,精炼预测损失函数为,其中,为经骨干网络得到的初步预测,为经动态图卷积网络得到的精炼预测,构造一致性约束损失函数为:

45、,

46、其中,,,为sigmoid函数;

47、则总的目标损失函数为,其中、、为权重系数。

48、步骤6:根据步骤5构造的总的目标损失函数在训练样本集上训练步骤3所搭建的网络模型;

49、步骤7:将待分类的图像输入到步骤6训练好的网络模型,在动态图卷积网络的分类层得到该图像的预测类别。

50、本发明的有益效果是:

51、(1)本发明方法提出了基于抗偏置信度加权损失的多标签图像分类方法。本发明方法提出的抗偏置信度加权损失函数,能够对样本中不同状态的标签位施加不同策略的监督,从而能有效缓解因标签缺失导致的模型偏差。

52、(2)本发明方法能够显著降低训练数据的标注成本。