一种基于元伪标签校正和双视角对齐的半监督行为识别方法

摘要: 本发明涉及深度学习,尤其涉及一种基于元伪标签校正和双视角对齐的半监督行为识别方法。背景技术:1、视频行为识别是计算机视觉领域的重要研究方向,在视频监控、人机交互...
一种基于元伪标签校正和双视角对齐的半监督行为识别方法

本发明涉及深度学习,尤其涉及一种基于元伪标签校正和双视角对齐的半监督行为识别方法。

背景技术:

1、视频行为识别是计算机视觉领域的重要研究方向,在视频监控、人机交互、智能教育等场景中具有广泛的应用前景。深度学习已在视频行为识别领域取得广泛应用,传统监督学习方法依赖大量高质量人工标注数据来训练模型以获得较高分类精度。然而,在实际应用中,视频数据的标注成本远高于图像数据——视频行为识别不仅需要对每一帧中的行为进行识别,还需要在时间维度上对行为的起止位置进行判断,标注过程既耗时又需要较强的专业知识,使得获取充足的标注视频样本十分困难。因此,在仅有少量标注视频和大量未标注视频的条件下提升模型性能,已成为视频行为识别领域的重要研究方向。

2、现有半监督视频行为识别方法通常采用教师-学生框架,利用教师模型对未标注样本生成伪标签,并利用伪标签对学生模型进行训练。其典型训练流程为:首先利用标注数据对学生模型进行预训练;随后通过对学生模型参数进行指数滑动平均构建教师模型;接着教师模型对未标注样本的弱增强视图进行预测生成伪标签;最后学生模型对未标注样本的强增强视图进行预测,通过一致性约束使学生模型输出接近教师模型产生的伪标签。为控制伪标签质量,现有方法通常采用固定置信度阈值对伪标签进行筛选,即仅保留预测置信度高于阈值的伪标签用于模型训练,而将低于阈值的伪标签直接丢弃。此外,现有方法通常仅利用未标注样本的全局信息进行伪标签监督,未充分利用视频数据中的局部时序信息辅助模型训练。

技术实现思路

1、本申请要解决的技术问题是:现有半监督视频行为识别方法采用固定置信度阈值筛选伪标签,难以适应不同样本和类别之间的预测差异,导致低置信度未标注样本中的有效监督信息被浪费,而处于决策边界附近的复杂样本又难以在利用其判别信息与避免错误标签传播之间取得平衡,同时对不可靠的伪正类标签缺少针对性抑制机制,无法有效降低错误伪标签的持续负面影响,且未充分利用视频数据中局部时间片段所包含的细粒度动作信息,导致模型对局部时序变化和短时动作的识别能力不足,制约了行为识别的精度。

2、为了解决上述技术问题,本发明的一方面提供一种基于元伪标签校正和双视角对齐的半监督行为识别方法,包括:

3、s1:获取标注视频样本集和未标注视频样本集;构建网络结构相同的学生模型和教师模型;

4、s2:对各视频样本的帧序列均匀采样,得到全局帧序列;利用标注视频样本的全局帧序列对学生模型进行全监督预训练;预训练完成后,根据学生模型的参数初始化教师模型的参数;

5、s3:对每个未标注视频样本分别构建多个局部帧序列;将标注视频样本的全局帧序列强增强后输入学生模型计算有监督分类损失;将未标注视频样本的全局帧序列弱增强后输入教师模型,生成教师端未标注全局预测结果;将未标注视频样本的全局帧序列经强增强后输入学生模型,生成学生端未标注全局预测结果;

6、s4:根据教师端未标注全局预测结果进行可靠性划分,生成可靠区域掩码、复杂区域掩码和噪声区域掩码;构建可学习的元标签校正模块,并执行双层优化;所述双层优化包括基于复杂区域掩码模拟学生模型预测更新,基于可靠区域掩码和噪声区域掩码计算元评价损失对元标签校正模块进行虚拟更新;

7、s5:利用虚拟更新后的元标签校正模块对教师端未标注全局预测结果进行修正得到未标注视频样本的伪标签;根据未标注视频样本的伪标签和学生端未标注全局预测结果计算未标注样本主分类损失;

8、s6:将未标注视频样本的各局部帧序列弱增强后输入教师模型得到教师端未标注局部预测结果,将未标注视频样本的各局部帧序列强增强后输入学生模型得到学生端未标注局部预测结果,并构建局部一致性损失;根据教师端未标注全局预测结果和学生端未标注局部预测结果构建局部—上下文一致性损失;

9、s7:对批次内未标注视频样本的全局帧序列强增强后进行随机混合,混合完成后输入学生模型,得到混合预测结果;基于混合预测结果构建视频混合学习损失;

10、s8:将有监督分类损失、未标注样本主分类损失、局部一致性损失、局部—上下文一致性损失和混合学习损失进行加权求和构建总损失函数,基于总损失函数反向传播更新学生模型参数和元标签校正模块的参数;通过指数移动平均方式更新教师模型参数;

11、s9:训练完成后的学生模型作为最终行为识别模型,用于对待识别视频样本进行行为类别判定。

12、本发明的另一方面还提供一种基于元伪标签校正和双视角对齐的半监督行为识别系统,所述系统包括存储器和处理器;所述存储器用于存储应用程序;所述处理器用于运行所述应用程序,执行所述的一种基于元伪标签校正和双视角对齐的半监督行为识别方法。

13、本发明至少具有以下有益效果

14、本发明通过对教师模型多次随机前向预测结果进行可靠性划分,将伪标签区分为可靠区域、复杂区域和噪声区域,并针对不同区域分别采用正向监督学习、元标签校正修正和负向学习的差异化处理策略,克服了固定置信度阈值难以适应不同样本和类别预测差异的缺陷,既避免了低置信度有效监督信息的浪费,又降低了对不可靠伪正类标签的错误响应;同时,通过构造局部一致性约束和局部—上下文一致性约束,充分利用了视频数据中局部时间片段所包含的细粒度动作信息,使学生模型在强增强条件下的局部预测与教师模型在弱增强条件下的局部预测保持一致,并使学生模型局部预测的聚合结果与教师模型的全局上下文预测保持一致,增强了模型对局部时序变化和短时动作的识别能力,从而在有效抑制伪标签噪声累积的同时提高了行为识别精度。

1.一种基于元伪标签校正和双视角对齐的半监督行为识别方法,其特征在于,包括:

2.根据权利要求1所述的一种基于元伪标签校正和双视角对齐的半监督行为识别方法,其特征在于,所述学生模型和所述教师模型均采用timesformer网络结构;所述弱增强操作包括随机裁剪、尺度缩放、水平翻转和颜色扰动;所述强增强操作包括空间扰动、外观扰动、帧顺序反转和随机特征丢弃。

3.根据权利要求1所述的一种基于元伪标签校正和双视角对齐的半监督行为识别方法,其特征在于,对各视频样本的帧序列均匀采样得到全局帧序列具体为:在各视频样本的完整时间范围内按固定间隔均匀采样t帧,构成所述全局帧序列,其中,t为预设采样帧数;对每个未标注视频样本分别构建多个局部帧序列具体为:针对每个未标注视频样本,设置k个不同的时间窗口,各时间窗口具有预设的起始位置和窗口长度,在各时间窗口内按固定间隔均匀采样t帧,得到k个局部帧序列,其中,k为预设的局部帧序列数量;t为大于1的整数。

4.根据权利要求3所述的一种基于元伪标签校正和双视角对齐的半监督行为识别方法,其特征在于,所述步骤s4具体包括:

5.根据权利要求4所述的一种基于元伪标签校正和双视角对齐的半监督行为识别方法,其特征在于,所述根据未标注视频样本的伪标签和学生端未标注全局预测结果计算未标注样本主分类损失包括:

6.根据权利要求5所述的一种基于元伪标签校正和双视角对齐的半监督行为识别方法,其特征在于,所述构建局部一致性损失包括:

7.根据权利要求6所述的一种基于元伪标签校正和双视角对齐的半监督行为识别方法,其特征在于,所述构建局部—上下文一致性损失包括:

8.根据权利要求7所述的一种基于元伪标签校正和双视角对齐的半监督行为识别方法,其特征在于,所述构建视频混合学习损失包括:

9.根据权利要求8所述的一种基于元伪标签校正和双视角对齐的半监督行为识别方法,其特征在于,所述构建总损失函数包括:

10.一种基于元伪标签校正和双视角对齐的半监督行为识别系统,其特征在于,所述系统包括存储器和处理器;所述存储器用于存储应用程序;所述处理器用于运行所述应用程序,执行如权利要求1至9任一项所述的一种基于元伪标签校正和双视角对齐的半监督行为识别方法。