对抗群目标意图识别方法及装置

本技术涉及图结构学习、智能辅助决策等，更具体地涉及一种对抗群目标意图识别方法及装置。

背景技术：

1、随着轨迹追踪与动态事件等数据的开放与工程化采集，如体育赛事等对抗类群目标的意图识别已成为图结构学习的重要应用方向，相关技术中多依赖单帧或短序列统计，难以捕捉群体结构的动态演化与多维交互；同时，不同语义关系被混为单一邻接进行同质化消息传递，易导致模型习得浅层关联，从而导致动态时序信息捕捉不足、对抗关系信息传递缺失及多目标表征协同优化困难的问题。

技术实现思路

1、有鉴于此，本技术实施例提供了一种对抗群目标意图识别方法及装置。

2、本技术实施例的一个方面提供了一种对抗群目标意图识别方法，包括：获取在滑动窗口内对抗群目标中的第一目标与第二目标各自的关键帧数据，其中，上述关键帧数据包括目标在目标时刻的节点状态，上述节点状态包括空间位置坐标、运动方向角、运动动量矢量以及上述目标与预设关键区域的距离，上述目标包括第一目标或上述第二目标；将上述关键帧数据分别转化为同质图和异质图，其中，上述同质图包括表示上述第一目标的同质节点，上述同质节点之间的同质边表示上述第一目标之间的相互作用关系，上述异质图中的多个异质节点表示上述第一目标和上述第二目标，上述异质节点之间的异质边表示不同的目标之间的相互作用关系；基于与上述异质边表示的关系类型对应的重要性权重，对上述异质图中的异质关系进行关系特征提取，得到异质关系特征；基于上述异质关系特征融合上述异质图的图特征，得到目标异质特征；将上述目标同质特征和上述目标异质特征输入至初始目标意图识别模型，得到目标意图识别结果，上述目标同质特征是对上述同质图进行特征提取得到；以及将上述目标同质特征和上述目标异质特征输入至经训练的目标意图识别模型，输出与上述第一目标和上述第二目标相关的行为意图。

3、根据本技术的实施例，上述目标同质特征是对上述同质图进行特征提取得到，包括：根据上述同质图中多个同质节点之间的关联概率和距离中的至少一种，确定不同的同质节点之间的邻接关系特征；将上述邻接关系特征与上述同质节点的节点状态进行融合，得到同质节点融合特征；将上述多个关键帧对应的上述同质节点融合特征编码，得到上述目标同质特征。

4、根据本技术的实施例，上述基于与上述异质边表示的关系类型对应的重要性权重，对上述异质图中的异质关系进行关系特征提取，得到异质关系特征包括：针对多种关系类型，从上述图结构中提取与目标关系类型相关的多个目标节点，得到基于上述目标节点构建的子图结构；对上述子图结构，按照不同的目标关系类型进行节点特征提取，得到与上述目标关系类型对应的上下文向量；将多种上述关系类型各自的上述上下文向量输入门控网络，得到上述多种上述关系类型各自的重要性权重；基于多个上述重要性权重对多个初始关系特征加权融合，得到上述异质关系特征。

5、根据本技术的实施例，上述基于上述异质关系特征融合上述异质图的图特征，得到目标异质特征包括：根据上述异质关系特征计算每种关系类型的语义重要性分数，得到归一化语义权重；基于上述归一化语义权重更新上述异质关系特征，计算得到上述第一目标的节点特征均值向量与上述第二目标的节点特征均值向量；将上述第一目标的关键帧数据均值向量与上述第二目标的关键帧数据均值向量融合输入上述全连接层，得到异质节点融合特征；上述异质节点融合特征作为上述异质图的图特征；将多个上述关键帧对应的上述异质图的图特征编码，得到上述目标异质特征。

6、根据本技术的实施例，上述将上述目标同质特征和上述目标异质特征输入至经训练的目标意图识别模型，输出与上述第一目标和上述第二目标相关的行为意图，上述经训练的目标意图识别模型基于如下操作确定：融合样本目标同质特征和样本目标异质特征得到样本目标融合特征；将上述样本目标融合特征输入分类器，输出上述样本目标意图识别结果；基于上述样本目标意图识别结果与标签数据计算分类损失结果；基于上述样本目标同质特征和上述样本目标异质特征，计算辅助损失结果，其中，上述辅助损失结果包括：时序对比损失、时序平滑损失、一致性损失与特异性损失；将上述分类损失结果与上述辅助损失结果，更新上述初始目标意图识别模型的参数，得到上述经训练的目标意图识别模型。

7、根据本技术的实施例，上述辅助损失结果包括上述时序对比损失，上述时序对比损失通过以下方式得到：将同一节点在相邻关键帧的上述样本同质节点融合特征和上述样本异质节点融合特征作为正样本对，将同一节点在非相邻关键帧的上述样本同质节点融合特征和上述样本异质节点融合特征和/或不同节点在任意关键帧的上述样本同质节点融合特征和上述样本异质节点融合特征作为负样本对；计算上述正样本对和上述负样本对各自的特征相似度，基于上述相似度，利用损失函数计算得到上述时序对比损失。

8、根据本技术的实施例，上述辅助损失结果还包括上述时序平滑损失，上述时序平滑损失通过以下方式得到：基于同一节点在相邻关键帧的上述样本目标同质特征和上述样本目标异质特征，计算得到上述样本目标同质特征和上述样本目标异质特征的差异度量值；基于上述差异度量值，计算得到上述时序平滑损失。

9、根据本技术的实施例，上述辅助损失结果还包括上述一致性损失与特异性损失，上述一致性损失与特异性损失通过以下方式得到：将上述样本目标同质特征和上述样本目标异质特征输入一致性投影模块，分别得到样本目标同质一致性特征和样本目标异质一致性特征；基于上述样本目标同质一致性特征和上述样本目标异质一致性特征之间的相关性构建上述一致性损失；将上述样本目标同质特征和上述样本目标异质特征输入第一特异性投影模块，分别得到样本同质特异性特征和样本目标异质特异性特征；利用第二特异性投影模块将上述样本同质特异性特征映射为样本目标同质特异性特征；基于上述样本目标同质特异性特征与上述样本目标异质特异性特征之间的正交关系构建上述特异性损失。

10、本技术实施例的另一个方面提供了一种对抗群目标意图识别装置，包括：数据获取模块，用于获取在滑动窗口内对抗群目标中的第一目标与第二目标各自的关键帧数据；其中，上述关键帧数据包括目标在目标时刻的节点状态，上述节点状态包括空间位置坐标、运动方向角、运动动量矢量以及上述目标与预设关键区域的距离，上述目标包括第一目标或上述第二目标；视图投影模块，用于将上述关键帧数据分别转化为同质图和异质图；其中，上述同质图包括表示上述第一目标的同质节点，上述同质节点之间的同质边表示上述第一目标之间的相互作用关系，上述异质图中的多个异质节点表示上述第一目标和上述第二目标，上述异质节点之间的异质边表示不同的目标之间的相互作用关系；关系特征提取模块，用于基于与上述异质边表示的关系类型对应的重要性权重，对上述异质图中的异质关系进行关系特征提取，得到异质关系特征；特征提取模块，用于基于上述异质关系特征融合上述异质图的图特征，得到目标异质特征；第一识别模块，用于将上述目标同质特征和上述目标异质特征输入至初始目标意图识别模型，得到目标意图识别结果，上述目标同质特征是对上述同质图进行特征提取得到；以及第二识别模块，将上述目标同质特征和上述目标异质特征输入至经训练的目标意图识别模型，输出与上述第一目标和上述第二目标相关的行为意图。

11、本技术实施例的另一个方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的方法。

12、本技术实施例的另一个方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

13、本技术实施例的另一个方面提供了一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

14、根据本技术的实施例，通过获取在滑动窗口内对抗群目标中的第一目标与第二目标各自的关键帧数据，将关键帧数据分别转化为同质图和异质图，以便于减少单一视角下的冗余信息，更好的捕捉时序信息和事件特征，然后基于与异质边表示的关系类型对应的重要性权重，对异质图中的异质关系进行关系特征提取，得到异质关系特征，以便于各节点在迭代更新过程中能够根据当前意图判断自适应地接收来自不同关系类型的高贡献信息、抑制低贡献信息，实现对多关系信息的动态筛选，再基于异质关系特征融合异质图的图特征，得到目标异质特征，以便于为后续时序融合与意图分类提供异质图视角的全局特征输，随后将目标同质特征和目标异质特征输入至初始目标意图识别模型，得到目标意图识别结果；以及目标同质特征和目标异质特征输入至经训练的目标意图识别模型，输出与第一目标和第二目标相关的行为意图，通过多目标协同优化改善特征质量，提升对短时过程与对抗交互意图类别的分类能力。至少部分地克服了相关技术中时序信息捕捉受限、关系信息传递缺失和对比信息利用不足的技术问题，从而达到了增强时序感知与泛化性能，优化消息差异化传递与完整捕捉及提升模型对短时过程与对抗交互敏感类别识别能力的技术效果。