基于占优博弈的自监督神经网络的行为识别方法及相关装置

本发明实施例涉及人工智能，具体涉及一种基于占优博弈的自监督神经网络的行为识别方法及相关装置。

背景技术：

1、目前，对比学习作为自监督学习的重要分支，凭借其直观的学习机制与优异的特征提取能力，在骨架行为识别领域展现出巨大潜力，其核心思想是通过构建的“正样本对”与“负样本对”驱动模型学习到更具判别性的特征。但是，目前的算法在样本构建与管理方面，存在正负样本质量与价值未实现精准优化，导致模型特征学习有效性不足、判别边界优化能力受限的问题。

技术实现思路

1、鉴于上述问题，本发明实施例提供了一种基于占优博弈的自监督神经网络的行为识别方法、装置、计算机设备及存储介质，用于解决现有技术中存在的正样本易出现语义失真或信息稀释，难以同时满足高语义完整性与高信息多样性的需求，制约模型对动作核心特征的学习效率的问题。

2、根据本发明实施例的一个方面，提供了一种基于占优博弈的自监督神经网络的行为识别方法，所述方法包括：

3、获取待识别视觉数据；

4、将所述待识别视觉数据输入基于占优博弈的自监督神经网络中，得到行为识别结果；其中，所述基于占优博弈的自监督神经网络包括基于时空双权协同定位的关键区域划分模块、基于双尺度博弈的分区数据增强模块及基于熵驱占优博弈的替换队列；所述基于占优博弈的自监督神经网络根据预设样本数据进行训练得到；所述预设样本数据为骨架行为数据集；所述骨架行为数据集中包括正样本数据及存储在多个负样本记忆库中的负样本数据；

5、其中，迭代训练时，所述基于时空双权协同定位的关键区域划分模块根据输入的所述骨架行为数据中每一个节点的时空复合度权重及节点键特征，确定关键运动区域及非关键运动区域；基于双尺度博弈的分区数据增强模块对正样本数据中的所述关键运动区域及非关键运动区域分别进行不同程度的增强；基于熵驱占优博弈的替换队列以每个负样本记忆库的信息熵为熵驱占优博弈的收益函数，计算各负样本记忆库的相似度归一化概率，筛选出信息熵值最高的负样本记忆库作为最优负样本记忆库，将所述最优负样本记忆库作为训练用负样本集；

6、输出所述行为识别结果。

7、在一种可选的方式中，所述基于时空双权协同定位的关键区域划分模块根据输入的所述骨架行为数据中每一个节点的时空复合度权重及节点键特征，确定关键运动区域及非关键运动区域，进一步包括：

8、计算所述正样本数据中每个骨架节点的差异度和关节度；

9、融合差异度和关节度得到所述骨架节点的时空复合度权重；

10、根据所述时空复合度权重结合骨架节点键特征，生成关键动作区域掩码；

11、依据所述关键动作区域掩码确定所述正样本数据的关键运动区域和非关键运动区域。

12、在一种可选的方式中，所述计算所述正样本数据中每个骨架节点的差异度和关节度，进一步包括：

13、基于所述骨架行为数据集计算全局统计基准姿态；

14、基于所述全局统计基准姿态与输入的所述骨架行为数据中各个骨架行为数据之间的余弦相似度关于节点特征的负梯度，计算得到每一个节点的差异度；

15、根据所述骨架行为数据中各个骨架行为数据对应的骨架无向图的邻接矩阵，统计每个所述骨架行为数据中每个节点的连接边数，并将所述连接边数归一化后计算出每一个节点的关节度。

16、在一种可选的方式中，所述基于双尺度博弈的分区数据增强模块对正样本数据中的所述关键运动区域及非关键运动区域分别进行不同程度的增强，进一步包括：

17、根据所述关键运动区域，对每个正样本数据中关节度大于第一关节度阈值的节点作风格迁移，生成风格迁移后的正样本数据；

18、分别从相似性及相异性两个尺度，对风格迁移后的正样本数据的关键运动区域和非关键运动区域进行不同程度的数据增强，得到数据增强后正样本数据集。

19、在一种可选的方式中，根据所述关键运动区域，对每个正样本数据中关节度大于第一关节度阈值的节点作风格迁移，生成风格迁移后的正样本数据，包括：

20、通过以下公式将第

j个正样本的风格迁移至第

i个正样本中：

21、；

22、其中，为风格迁移后的正样本，为正样本的节点的关节度，及分别正样本及正样本的空间均值，及分别为样本及的时间方差。

23、在一种可选的方式中，分别从相似性及相异性两个尺度，对风格迁移后的正样本数据的关键运动区域和非关键运动区域进行不同程度的数据增强，得到数据增强后正样本数据集，包括：

24、根据双尺度占优博弈的收益函数，确定风格迁移后的正样本数据的关键运动区域所使用的目标强数据增强策略，以及非关键运动区域所使用的目标普通数据增强策略；所述目标强数据增强策略为多个强数据增强策略中的一个，所述目标普通数据增强策略为多个普通数据增强策略中的一个；

25、所述双尺度占优博弈的收益函数为：

26、；

27、其中，为掩码系数，对于关键运动区域，所述掩码系数为1，否则掩码系数设定为0；表示第

i个正样本的节点使用增强策略时的相似性得分，表示第

i个正样本的节点使用增强策略时的相异性得分；当时，取；当时，取。

28、根据目标强数据增强策略对风格迁移后的正样本数据的关键运动区域进行数据增强，得到数据增强后的关键运动区域；

29、根据目标普通数据增强策略对风格迁移后的正样本数据的非关键运动区域进行数据增强，得到数据增强后的非关键运动区域；

30、对所述数据增强后的关键运动区域及所述数据增强后的非关键运动区域进行拼接，得到数据增强后正样本。

31、在一种可选的方式中，基于熵驱占优博弈的替换队列以每个负样本记忆库的信息熵为熵驱占优博弈的收益函数，计算各负样本记忆库的相似度归一化概率，筛选出信息熵值最高的负样本记忆库作为最优负样本记忆库，将所述最优负样本记忆库作为训练用负样本集，包括：

32、通过以下公式计算熵驱占优博弈的收益函数：

33、；

34、其中，对于占优博弈，博弈的策略集合为；为负样本记忆库大小，表示策略用当前样本替换负样本记忆库中的样本；表示相似度归一化概率；

35、相似度归一化概率表示为：

36、；

37、其中，表示两个负样本之间的余弦相似度，及表示负样本被负样本替换后的负样本记忆库中的负样本特征，分别表示第次训练迭代时的正样本特征。

38、根据本发明实施例的另一方面，提供了一种基于占优博弈的自监督神经网络的行为识别装置，包括：

39、获取模块，用于获取待识别视觉数据；

40、行为识别模块，用于将所述待识别视觉数据输入基于占优博弈的自监督神经网络中，得到行为识别结果；其中，所述基于占优博弈的自监督神经网络包括基于时空双权协同定位的关键区域划分模块、基于双尺度博弈的分区数据增强模块及基于熵驱占优博弈的替换队列；所述基于占优博弈的自监督神经网络根据预设样本数据进行训练得到；所述预设样本数据为骨架行为数据集；所述骨架行为数据集中包括正样本数据及存储在多个负样本记忆库中的负样本数据；

41、其中，迭代训练时，所述基于时空双权协同定位的关键区域划分模块根据输入的所述骨架行为数据中每一个节点的时空复合度权重及节点键特征，确定关键运动区域及非关键运动区域；基于双尺度博弈的分区数据增强模块对正样本数据中的所述关键运动区域及非关键运动区域分别进行不同程度的增强；基于熵驱占优博弈的替换队列以每个负样本记忆库的信息熵为熵驱占优博弈的收益函数，计算各负样本记忆库的相似度归一化概率，筛选出信息熵值最高的负样本记忆库作为最优负样本记忆库，将所述最优负样本记忆库作为训练用负样本集；

42、输出模块，用于输出所述行为识别结果。

43、根据本发明实施例的另一方面，提供了一种计算机设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

44、所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行所述的基于占优博弈的自监督神经网络的行为识别方法的操作。

45、根据本发明实施例的又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令在计算机设备上运行时，使得计算机设备执行所述的基于占优博弈的自监督神经网络的行为识别方法的操作。

46、本发明实施例通过获取待识别视觉数据；将所述待识别视觉数据输入基于占优博弈的自监督神经网络中，得到行为识别结果；输出所述行为识别结果。其中，所述基于占优博弈的自监督神经网络包括基于时空双权协同定位的关键区域划分模块、基于双尺度博弈的分区数据增强模块及基于熵驱占优博弈的替换队列；所述基于占优博弈的自监督神经网络根据预设样本数据进行训练得到；所述预设样本数据为骨架行为数据集；所述骨架行为数据集中包括正样本数据及存储在多个负样本记忆库中的负样本数据。在迭代训练时，所述基于时空双权协同定位的关键区域划分模块根据输入的所述骨架行为数据中每一个节点的时空复合度权重及节点键特征，确定关键运动区域及非关键运动区域；基于双尺度博弈的分区数据增强模块对正样本数据中的所述关键运动区域及非关键运动区域分别进行不同程度的增强；基于熵驱占优博弈的替换队列以每个负样本记忆库的信息熵为熵驱占优博弈的收益函数，计算各负样本记忆库的相似度归一化概率，筛选出信息熵值最高的负样本记忆库作为最优负样本记忆库，将所述最优负样本记忆库作为训练用负样本集。通过这样的方式，基于博弈论中“占优博弈”理论，构建了“正样本优化-负样本筛选”双维度占优体系。通过关键区域精准定位、分区差异化增强优化正样本质量，借助熵优先级队列筛选高价值难负样本强化约束性，同时融合对比损失优化模块引导模型学习，显著提升骨架行为识别的精度、泛化能力与训练效率。

47、进一步地，通过基于时空双权协同定位的关键区域划分模块计算样本与全局统计基准姿态之间的差异度，结合其中的关节度加权差异激活模块计算的关节度，从差异度和关节度两个角度定位核心运动关节群，并依托基于双尺度博弈的骨架分区数据增强模块对关键区域施加强增强以保动作语义、对非关键区域施加弱增强以维结构特征，实现正样本高信息量与强代表性的协同优化，完善了样本语义并丰富了特征的多样性。

48、进一步地，以经样本替换后的负样本记忆库的熵值为收益目标，将博弈论中占优策略与负样本价值筛选深度耦合，通过信息熵量化负样本占优程度，得到占优负样本；优先保留占优难负样本以维持队列强约束性，同时淘汰劣势样本，把负样本管理从无差别处理转变为按占优价值动态筛选，确保模型始终获取对特征判别能力提升最关键的对比信号。

49、上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。