基于特征解耦的小样本模型优化系统及方法

本技术涉及计算机视觉中的动作识别，更具体地说，它涉及基于特征解耦的小样本模型优化系统及方法。

背景技术：

1、手语是一种以手型、手部运动、上肢姿态及身体动作等视觉信息表达语义的语言形式。随着计算机视觉和深度学习技术的发展，基于视频的连续手语识别已应用于无障碍交流、手语教学、智能服务窗口和视频翻译等场景。连续手语识别通常需要从连续帧中提取手部区域、姿态变化和时序上下文，并将其映射为相应的手语词或语义序列。

2、现有方法多采用卷积神经网络、循环神经网络、时序卷积网络、transformer网络或骨架点图网络对手语视频进行特征建模，并结合注意力机制、关键帧选取、帧采样、手部裁剪或冗余帧删除等方式提高识别性能。在样本充足、标注完整且采集环境稳定的条件下，上述方法能够取得一定效果。

3、然而，在实际应用中，手语视频采集和标注成本较高，连续手语样本往往仅具有词级、句级或弱时序标签，缺少精确的帧级语义边界标注。尤其在小样本训练或增量优化场景下，每一类手语词可用样本数量有限，视频中却普遍混有词间过渡动作、姿态调整、停顿保持、手部遮挡、动作速度差异以及背景扰动等非稳定因素。由于这些因素与真实语义动作在时间上连续交织，模型难以准确判断哪些帧主要承载类别语义，哪些帧仅反映动作衔接或重复姿态。

4、现有处理方式通常将整段视频作为统一训练序列，或仅通过采样和注意力权重弱化部分帧的影响，难以在特征学习过程中有效抑制非语义帧对类别判别信息的干扰。当过渡帧、停顿帧或冗余姿态帧被错误学习为类别依据时，少量样本形成的类别表示容易被污染，相邻手语词边界也容易发生偏移，进而造成相似手型、相近运动轨迹或不同手语者表达差异下的识别混淆。

5、因此，现有小样本连续手语识别模型优化技术仍存在如下技术问题：在缺少精确帧级语义边界标注且训练样本有限的条件下，难以稳定地区分连续视频中的语义有效信息、动作过渡信息和冗余干扰信息，导致类别特征学习不纯、时序边界约束不足，进而降低模型在小样本场景下的识别鲁棒性和泛化能力。

技术实现思路

1、本技术的目的就在于在小样本连续手语识别场景下，改善训练样本数量有限、帧级语义边界标注缺失、语义帧与过渡帧及冗余帧相互混杂而导致的类别特征学习不稳定、时序边界区分不足和模型泛化能力下降的问题，而提供基于特征解耦的小样本模型优化系统及方法。

2、本技术提供了基于特征解耦的小样本模型优化方法，包括以下步骤：

3、接收小样本手语视频序列，基于预训练的连续手语识别模型对小样本手语视频序列生成样本特征；

4、基于样本特征为小样本手语视频序列的每帧图像计算语义帧评分、过渡帧评分和冗余帧评分，并将语义帧评分、过渡帧评分和冗余帧评分分别转换为语义门控、过渡门控和冗余门控；

5、以语义门控加权构建净化类别原型，以过渡门控构建过渡帧边界约束损失，基于冗余门控计算类别判别损失；

6、将类别判别损失、过渡帧边界约束损失与基于净化类别原型的度量学习损失联合优化得到总损失，以总损失更新连续手语识别模型，并迭代更新净化类别原型，得到优化后的连续手语识别模型和净化类别原型；

7、基于优化后的连续手语识别模型和净化类别原型输出小样本手语视频序列的识别结果。

8、进一步地，生成样本特征的方法包括：

9、对小样本手语视频序列的每帧图像调用手部检测模型和人体姿态检测模型得到检测结果，基于检测结果计算遮挡比例，基于检测结果与遮挡比例生成结构化特征；

10、利用预训练的连续手语识别模型对小样本手语视频序列前向推理，生成初始伪标签、空白帧标记和初始边界区域置信度，并由初始伪标签构建初始类别原型；

11、由连续手语识别模型的帧级特征提取主干网络输出帧级视觉特征向量，基于帧级视觉特征向量提取视觉子特征；

12、生成样本特征，样本特征包括结构化特征、帧级视觉特征向量、视觉子特征、初始伪标签、空白帧标记、初始边界区域置信度和初始类别原型。

13、进一步地，计算遮挡比例的方法包括：

14、将检测结果组织为解剖左手实例和解剖右手实例，将其中任一解剖手别对应的实例称为目标手实例；

15、计算目标手实例的检测结果中手部关键点的关键点置信度小于预设关键点可见阈值的关键点数量，占目标手实例全部手部关键点数量的比例，得到第一判据；

16、基于目标手实例的检测结果中手部检测框面积，与同一解剖手别手部检测框面积中位数的比值，计算得到第二判据；

17、基于解剖左手实例与解剖右手实例手部检测框交叠区域内手部关键点置信度均值，计算得到第三判据；

18、取第一判据、第二判据和第三判据中的最大值作为遮挡比例。

19、进一步地，得到语义门控、过渡门控和冗余门控的方法包括：

20、基于样本特征计算语义帧评分；

21、基于帧级视觉特征向量、连续手语识别模型预测手语类别的概率与初始边界区域置信度计算过渡帧评分；

22、将语义帧评分与过渡帧评分分别经阈值平移与斜率放大后执行sigmoid函数处理，对应得到语义门控与过渡门控；

23、基于小样本手语视频序列中相邻帧的余弦相似度计算相邻保持相似度，基于相邻保持相似度、语义门控和过渡门控，计算得到冗余帧评分；

24、将冗余帧评分经阈值平移与斜率放大后执行sigmoid函数处理，得到冗余门控。

25、进一步地，计算语义帧评分的方法包括：

26、基于检测结果中的手部检测置信度与遮挡比例计算手部关键区域置信度；

27、基于帧级视觉特征向量与上一轮净化类别原型的余弦相似度计算语义接近度；

28、基于结构化特征中手部运动特征计算非稳定运动突变量，将手部关键区域置信度、语义接近度与非稳定运动突变量加权组合得到语义帧评分。

29、进一步地，构建净化类别原型的方法包括：

30、对第k轮迭代中伪标签为同一手语类别的所有候选帧，将每帧的帧级视觉特征向量乘以语义门控后求和，再除以累加项，得到第k轮加权平均项；其中，累加项为所有候选帧的语义门控之和再加上预设常数，k为大于或等于一的整数，第零轮净化类别原型为初始类别原型；

31、当第k轮迭代中候选帧数量为零或候选帧的语义门控之和为零时，手语类别第k轮净化类别原型为第k减一轮净化类别原型；

32、当候选帧数量与语义门控之和均大于零，且第k轮迭代中手语类别的候选帧数量或候选帧语义门控之和小于对应预设稳定下限时，将第k减一轮净化类别原型与第k轮加权平均项进行线性融合，得到第k轮净化类别原型；

33、否则，取第k轮加权平均项为第k轮净化类别原型。

34、进一步地，计算过渡帧边界约束损失的方法包括：

35、依据初始伪标签为每帧确定不同的前一类别和后一类别，将同时存在前一类别和后一类别的帧作为有效过渡候选帧；

36、在有效过渡候选帧预设的邻域窗口内，取前一类别和后一类别一侧语义门控最大的帧作为相应类别的参考语义帧；

37、基于有效过渡候选帧、前一类别与后一类别参考语义帧的帧级视觉特征向量，以及前一类别与后一类别的当前参考净化类别原型，计算得到前一类别与后一类别的边界间隔惩罚项；当前参考净化类别原型为第k减一轮净化类别原型；

38、基于有效过渡候选帧的过渡门控，和前一类别与后一类别的边界间隔惩罚项，计算得到边界损失项，将多个边界损失项累加，得到过渡帧边界约束损失。

39、进一步地，得到总损失的方法包括：

40、基于语义门控、帧级视觉特征向量、当前参考净化类别原型，计算度量学习损失；

41、以冗余门控对帧级视觉特征向量与其相邻帧帧级视觉特征向量均值之差加权，计算邻域一致性约束损失；

42、基于语义门控、冗余门控与过渡门控构建门控协调约束损失；

43、基于视觉子特征计算得到解耦正交约束损失、子特征重构损失和语义子特征辅助类别判别损失；

44、基于类别判别损失、度量学习损失、过渡帧边界约束损失、邻域一致性约束损失、解耦正交约束损失、子特征重构损失、语义子特征辅助类别判别损失、门控协调约束损失计算得到总损失。

45、进一步地，计算得到解耦正交约束损失、子特征重构损失和语义子特征辅助类别判别损失的方法包括：

46、视觉子特征包括语义子特征、过渡子特征和冗余子特征；

47、将归一化语义子特征、归一化过渡子特征和归一化冗余子特征两两之间余弦相似度的平方求和，得到解耦正交约束损失；

48、将语义子特征、过渡子特征和冗余子特征分别经对应反投影矩阵映射后相加，得到帧级重构特征向量，并对帧级重构特征向量与帧级视觉特征向量之间差向量的二范数平方求和，得到子特征重构损失；

49、基于语义子特征输出的类别概率与伪标签，计算语义子特征辅助类别判别损失。

50、本技术提供了基于特征解耦的小样本模型优化系统，用于执行前述的基于特征解耦的小样本模型优化方法；所述系统包括：

51、特征表示模块，用于接收小样本手语视频序列，基于预训练的连续手语识别模型对小样本手语视频序列生成样本特征；

52、解耦评分模块，基于样本特征为小样本手语视频序列的每帧图像计算语义帧评分、过渡帧评分和冗余帧评分，并将语义帧评分、过渡帧评分和冗余帧评分分别转换为语义门控、过渡门控和冗余门控；

53、净化降权模块，用于以语义门控加权构建净化类别原型，以过渡门控构建过渡帧边界约束损失，基于冗余门控计算类别判别损失；

54、损失优化模块，用于将类别判别损失、过渡帧边界约束损失与基于净化类别原型的度量学习损失联合优化得到总损失，以总损失更新连续手语识别模型，并迭代更新净化类别原型，得到优化后的连续手语识别模型和净化类别原型；

55、识别输出模块，基于优化后的连续手语识别模型和净化类别原型输出小样本手语视频序列的识别结果。

56、本技术的有益效果在于：本技术通过对小样本手语视频序列生成样本特征，并基于样本特征分别计算语义帧评分、过渡帧评分和冗余帧评分，使连续手语视频中混杂的类别语义信息、动作切换信息和重复干扰信息能够被区别表征，避免将整段视频中的各类帧作为同质训练数据处理。

57、本技术通过将语义帧评分、过渡帧评分和冗余帧评分分别转换为语义门控、过渡门控和冗余门控，使不同类型帧在后续优化中承担不同作用，语义门控用于突出稳定承载手语类别信息的帧，过渡门控用于约束相邻手语词之间的切换区域，冗余门控用于降低重复姿态、停顿帧和非语义扰动对类别判别的影响，从而提升小样本条件下训练信息的有效利用率。

58、本技术通过以语义门控加权构建净化类别原型，能够减少过渡帧及冗余帧对类别原型的污染，使少量有效语义帧形成更稳定的类别表示；同时，以过渡门控构建过渡帧边界约束损失，有利于增强相邻手语词之间的边界区分能力，降低相似手型或相近运动轨迹造成的类别混淆。

59、本技术通过将类别判别损失、过渡帧边界约束损失以及基于净化类别原型的度量学习损失进行联合优化，并在优化过程中迭代更新连续手语识别模型和净化类别原型，使模型参数更新、类别原型净化和时序边界校正形成协同作用。由此，本技术能够在缺少精确帧级语义边界标注、训练样本数量有限的条件下，提高连续手语识别模型的鲁棒性、类别区分能力和跨手语者、跨场景应用的泛化性能。