一种基于三重网络与标注一致性正则化的半监督学习方法与流程

技术特征：
1.一种基于三重网络与标注一致性正则化的半监督学习方法，其特征在于，包括以下步骤：步骤一、输入图像数据集及其对应的标签集：步骤101、输入图像数据集v，具体地，v＝{v1,...v
i
,...v
l
}，分为标注数据x＝{x1,...x
f
,...x
n
}与无标注数据u＝{u1,...u
j
,...u
m
}，其中，v
i
表示第i个图像样本数据，1≤i≤l，1≤f≤n，1≤j≤m，且l＝m n，n、m与l均为正整数；步骤102、输入图像集v对应的标签集，标注数据x＝{x1,...x
i
,...x
n
}的标签为p＝{p1,...p
i
,...p
n
}，无标注数据u＝{u1,...u
j
,...u
m
}不具有标签。步骤二、对有标签和未标注数据集进行预处理：步骤201、对图像标注数据x和未标注数据u进行数据增强，其中，对于标注数据，进行单次增强，得到增强后的数据x
′
。对于无标注数据，进行k次随机增强，得到增强后的数据u
′
；步骤202、将数据x
′
和u
′
混合，随机排列得到数据组合w，其中，增强数据的标签与原标签一致。步骤三、构建并训练自适应视觉机制的深度网络，用于提取图像数据集的深度特征：步骤301、构建生成对抗网络g，分为数据生成器与鉴别器。步骤302、在生成对抗网络中使用自卷积层，基于空间特殊性，频域无关性的原则，设置自适应卷积核生成函数。依据输入的图像特征，输出与特征图尺寸大小相同的卷积核，控制缩放比例调整参数量，对特征图通道进行缩放。步骤303、将图像集v中标注数据的标签删除，利用无标注的全部图像集v对生成对抗网络g进行无监督学习，使生成器生成的伪数据特征接近真实的图像特征,利用自卷积层，增强鉴别器的特征表示能力。步骤304、将训练好的生成对抗网络g的鉴别器g
d
作为特征提取器f
d
，用于提取目标图像标注数据x＝{x1,...x
f
,...x
n
}与无标注数据u＝{u1,...u
j
,...u
m
}的深度特征x
labeled
＝f
d
(x
f
)与x
unlabeled
＝f
d
(u
j
)。步骤四、构建孪生网络，利用标注数据与无标注数据的深度特征，获取正向传播结果与伪标签：步骤401、构建两个浅层分类网络net1与net2，作为孪生网络，输入数据组合w；步骤402、对于标注数据，输入增强后的数据x
′
与对应的标签p，得到深度特征x
labeled
＝f
d
(x
′
)，利用孪生网络进行预测，正向传播结果为其中，p
d1
和p
d2
为net1与net2的组合预测，w为超参数；步骤403、对于未标注数据，输入增强后的数据u
′
，得到深度特征x
unlabeled
＝f
d
(u
′
)，利用孪生网络进行预测，将输出加权平均作为正向传播结果p
n
，其中，与为孪生网络对无标注数据的预测，θ为网络训练参数。步骤404、对无标注数据的预测进行锐化，得到伪标签q。其中，锐化操作具体为t是锐化参数，k是增强次数，p(u；θ)是网络对每个类别的
预测概率。步骤405、将孪生网络预测的伪标签q进行标签融合。具体地，融合后的伪标签为：其中，为网络net1锐化的伪标签，为网络net2锐化的伪标签，λ服从根据实际数据集设置的概率分布。步骤五、利用正向传播结果与伪标签，构建训练标注数据和无标注数据的损失函数，对孪生网络进行半监督训练：步骤501、建立半监督标注一致性正则化损失函数，按照每个类别计算标注数据与无标注数据差异的正则项，消除同类别标注数据与无标注数据的差异，如下所示：其中，num为类别数量，x
labeled
、x
unlabeled
为图像标注数据与未标注数据的深度特征，class
‑
k为第k个类别；步骤502、对于增强后的已标注数据x
′
，建立损失函数如下所示：步骤503、对于增强后的无标注数据u
′
，建立损失函数如下所示：其中，|x
′
|等于每批次样本数量，|u
′
|等于k倍每批次样本数量，是交叉熵函数，x,p是增强的已标注数据和标签，u,q是增强的未标注数据和伪标签。步骤504、整体损失函数l是三者的加权，如下所示：l＝l
x
λ
u
l
u
β
u
loss
semi
‑
supervised
其中，λ
u
、β
u
为超参数。利用整体损失函数l，经过不停迭代，将训练好的孪生网络模型进行分类测试。

技术总结
本发明公开了一种基于三重网络与标注一致性正则化的半监督学习方法，包括以下步骤：步骤一、输入图像数据集及其对应的标签集；步骤二、对有标签和未标注数据集进行预处理；步骤三、构建并训练自适应视觉机制的深度网络，用于提取图像数据集的深度特征；步骤四、构建孪生网络，利用标注数据与无标注数据的深度特征，获取正向传播结果与伪标签；步骤五、利用正向传播结果与伪标签，构建训练标注数据和无标注数据的损失函数，对孪生网络进行半监督训练；本发明构造三重网络对标注数据不足的数据集进行训练，首先建立自适应视觉机制的生成对抗网络，对图像数据集进行无监督学习，用于更有效地特征提取，可以消除异类标注数据与无标注数据特征提取的差异；然后，基于标注一致性原则建立并训练孪生网络，可以消除同类标注数据与无标注数据特征判别的差异，减少网络训练参数数量，更有效地利用无标注数据进行半监督学习。学习。学习。


技术研发人员：蒋雯 苗旺 耿杰
受保护的技术使用者：西北工业大学
技术研发日：2021.07.23
技术公布日：2021/11/17