基于无监督域自适应的动作识别模型的训练方法及应用

本发明涉及域自适应动作识别领域，尤其涉及基于无监督域自适应的动作识别模型的训练方法及应用。

背景技术：

1、视频动作识别在工业安全、智慧交通、公共安防等领域应用广泛，例如通过动作识别模型对驾驶员行为进行分析以预防安全事故。实际部署时，由于训练数据（源域）与应用场景（目标域）间存在光照、视角、背景等差异，模型精度会显著下降，即域偏移问题。

2、为缓解域偏移，无监督域自适应成为主流方案。现有技术主要有两类：一类是特征分布对齐，但存在训练不稳定的问题；另一类是伪标签自训练，即模型对目标域数据生成伪标签再迭代微调，因实现简单，在实际应用中更为常见。上述方案存在一个问题：部分方法在自训练过程中引入额外处理以提升模型泛化能力，但如果监督信号未进行相应调整，仍要求处理后的数据与原始数据的输出保持一致，则模型可能学到偏离真实语义的特征，影响跨域识别精度与训练稳定性。

3、因此，如何在提升模型泛化能力的同时，避免额外处理对语义信息的破坏，是亟待解决的技术难题。

技术实现思路

1、本发明提供基于无监督域自适应的动作识别模型的训练方法及应用，能够在提升模型泛化能力的同时，避免额外处理对语义信息的破坏。

2、本发明提供的一种基于无监督域自适应的动作识别模型的训练方法，包括：

3、获取第一训练样本集和第二训练样本集；其中，所述第一训练样本集包括多个第一训练样本及其动作类别，所述第二训练样本集包括多个第二训练样本；

4、依据所述第一训练样本集对待训练的动作识别模型进行训练，得到初步训练的动作识别模型；

5、将所述第二训练样本集分别输入到初步训练的动作识别模型和预训练的clip模型中，对应得到各个所述第二训练样本的第一伪标签、第二伪标签；

6、针对每个所述第二训练样本，依据该第二训练样本的第一伪标签与第二伪标签的匹配情况对其进行筛选，并将所述第一伪标签或所述第二伪标签作为该第二训练样本的动作类别；其中，筛选后保留的第二训练样本及其动作类别作为第三训练样本集；

7、将所述第一训练样本集与所述第三训练样本集分别输入到初步训练的动作识别模型中，得到对应的第一训练损失与第二训练损失；

8、对所述第三训练样本集中的各个第二训练样本进行随机掩码，得到对应的掩码训练样本；

9、将各个所述掩码训练样本与对应的第二训练样本输入到初步训练的动作识别模型中，得到对应的第三训练损失；

10、根据所述第一训练损失、所述第二训练损失和所述第三训练损失更新初步训练的动作识别模型的参数，得到训练完成的动作识别模型。

11、于本发明一实施例中，所述依据所述第一训练样本集对待训练的动作识别模型进行训练，得到初步训练的动作识别模型，包括：

12、将所述第一训练样本集中的各个第一训练样本输入到待训练的动作识别模型中，得到各个所述第一训练样本的预测类别；

13、针对每个所述第一训练样本，根据该第一训练样本的动作类别与预测类别计算交叉熵损失；

14、计算所有第一训练样本的交叉熵损失的平均值，作为第一训练损失；

15、根据所述第一训练损失更新待训练的动作识别模型的参数，得到初步训练的动作识别模型。

16、于本发明一实施例中，所述将所述第二训练样本集分别输入到初步训练的动作识别模型和预训练的clip模型中，对应得到各个所述第二训练样本的第一伪标签、第二伪标签，包括：

17、针对所述第二训练样本集中的每个第二训练样本：

18、将该第二训练样本输入到初步训练的动作识别模型中，得到该第二训练样本属于各个动作类别的第一置信度，并将第一置信度最大的动作类别作为该第二训练样本的第一伪标签；

19、将该第二训练样本输入到预训练的clip模型中，得到该第二训练样本属于各个动作类别的第二置信度，并将第二置信度最大的动作类别作为该第二训练样本的第二伪标签。

20、于本发明一实施例中，所述将该第二训练样本输入到预训练的clip模型中，得到该第二训练样本属于各个动作类别的第二置信度，并将第二置信度最大的动作类别作为该第二训练样本的第二伪标签，包括：

21、将该第二训练样本输入到预训练的clip模型中，得到多个帧级视觉特征；

22、针对每一个帧级视觉特征，分别计算该帧级视觉特征与各个动作类别的相似度，得到该帧级视觉特征属于各个动作类别的预测概率；

23、针对每一个动作类别，对所有帧级视觉特征的预测概率取平均，得到该第二训练样本属于各个动作类别的第二置信度；

24、将第二置信度最大的动作类别作为该第二训练样本的第二伪标签。

25、于本发明一实施例中，所述针对每个所述第二训练样本，依据该第二训练样本的第一伪标签与第二伪标签的匹配情况对其进行筛选，并将所述第一伪标签或所述第二伪标签作为该第二训练样本的动作类别，包括：

26、针对每个所述第二训练样本：

27、若该第二训练样本的第一伪标签与第二伪标签一致，则将第一伪标签或第二伪标签作为该第二训练样本的动作类别；

28、若该第二训练样本的第一伪标签与第二伪标签不一致，则比较所述第一伪标签的第一置信度和所述第二伪标签的第二置信度：

29、若所述第一置信度和所述第二置信度的至少一者大于等于预设阈值，则将所述第一伪标签和第二伪标签中置信度较大的一个作为该第二训练样本的动作类别；

30、否则，舍弃该第二训练样本。

31、于本发明一实施例中，所述将各个所述掩码训练样本与对应的第二训练样本输入到初步训练的动作识别模型中，得到对应的第三训练损失，包括：

32、将各个所述掩码训练样本与对应的第二训练样本输入到初步训练的动作识别模型中，得到每个所述掩码训练样本的掩码视图特征与对应的第二训练样本的完整视图特征，依据各个所述掩码视图特征与对应的完整视图特征计算第三训练损失。

33、于本发明一实施例中，所述动作识别模型是根据损失函数进行训练更新的；所述损失函数的计算公式如下：

34、

35、

36、

37、

38、其中，为损失函数，、、分别为第一训练损失、第二训练损失、第三训练损失，为第一训练样本的总数，为交叉熵损失函数，为第个第一训练样本的预测类别，为第个第一训练样本的动作类别，为第三训练样本集中第二训练样本的总数，为第个第二训练样本的动作类别的置信度，为第个第二训练样本的预测类别，为第个第二训练样本的动作类别，为第个掩码训练样本的掩码视图特征，为停止梯度操作，为第个第二训练样本的完整视图特征。

39、本发明还提供一种基于无监督域自适应的动作识别模型的训练装置，包括：

40、数据获取模块，用于获取第一训练样本集和第二训练样本集；其中，所述第一训练样本集包括多个第一训练样本及其动作类别，所述第二训练样本集包括多个第二训练样本；

41、第一训练模块，用于依据所述第一训练样本集对待训练的动作识别模型进行训练，得到初步训练的动作识别模型；

42、类别预测模块，用于将所述第二训练样本集分别输入到初步训练的动作识别模型和预训练的clip模型中，对应得到各个所述第二训练样本的第一伪标签、第二伪标签；

43、匹配筛选模块，用于针对每个所述第二训练样本，依据该第二训练样本的第一伪标签与第二伪标签的匹配情况对其进行筛选，并将所述第一伪标签或所述第二伪标签作为该第二训练样本的动作类别；其中，筛选后保留的第二训练样本及其动作类别作为第三训练样本集；

44、第一输入模块，用于将所述第一训练样本集与所述第三训练样本集分别输入到初步训练的动作识别模型中，得到对应的第一训练损失与第二训练损失；

45、随机掩码模块，用于对所述第三训练样本集中的各个第二训练样本进行随机掩码，得到对应的掩码训练样本；

46、第二输入模块，用于将各个所述掩码训练样本与对应的第二训练样本输入到初步训练的动作识别模型中，得到对应的第三训练损失；

47、第二训练模块，用于根据所述第一训练损失、所述第二训练损失和所述第三训练损失更新初步训练的动作识别模型的参数，得到训练完成的动作识别模型。

48、本发明还提供一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现所述的基于无监督域自适应的动作识别模型的训练方法的步骤。

49、本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现所述的基于无监督域自适应的动作识别模型的训练方法的步骤。

50、本发明的有益效果：通过融合初步训练模型与clip模型生成双路伪标签，并依据一致性与高置信度规则进行筛选，提升了伪标签的可靠性，减少了噪声标签对训练的干扰；通过联合训练阶段对完整视频与掩码视频施加差异化监督约束，在利用掩码增强提升模型泛化能力的同时，避免了掩码对视频语义结构的破坏，从而在保持基础识别精度的前提下提升模型对域偏移的适应能力。