一种小样本元学习的机器视觉暴力检测分析方法及系统与流程

本公开的实施例涉及机器视觉与小样本学习，尤其涉及一种小样本元学习的机器视觉暴力检测分析方法及系统。

背景技术：

1、随着公共安全监控网络的持续扩张与视频分析技术的深入应用，基于机器视觉的暴力行为自动检测已成为智能安防领域的重要研究方向。多人协同暴力行为因其参与者数量多、角色分工复杂、动作耦合关系多样，对检测方法的时空建模能力提出了较高要求。

2、在技术层面，现有暴力检测方法通常依赖大规模标注数据进行监督训练，而在实际场景中，罕见角色配置模式（例如多施暴者围攻、一人持械威胁多人）的标注样本极度稀缺，导致此类方法在小样本条件下的泛化能力受到严重制约。小样本元学习方法虽能在少量样本条件下快速适应新类别，但其原型计算的可靠性高度依赖合成样本的质量与多样性。

3、现有基于统计共现关系的动作序列合成方式在极少样本条件下估计不可靠，且未对多人角色之间的动作耦合约束进行建模，导致合成样本中各角色的动作序列缺乏协调一致性，无法为元学习原型计算提供可靠的训练信号。此外，现有基于小样本元学习的暴力检测方法将交互图中所有人体目标节点视为同质节点，采用统一的特征聚合方式进行处理，导致暴力交互特征被旁观者噪声稀释，进一步削弱了检测准确性。

4、本公开的发明人注意到，目前的小样本暴力检测方案没有考虑到多人协同暴力场景中不同参与角色之间存在的跨角色动作因果耦合约束关系，导致在罕见角色配置模式下合成样本的角色动作协调性不足，同时异构交互图中旁观者节点的同质化聚合引入了特征噪声，使得元学习原型向量的判别性下降。

技术实现思路

1、本发明的目的是提供一种小样本元学习的机器视觉暴力检测分析方法及系统，解决现有暴力行为检测方法在小样本条件下对多人协同暴力场景中角色交互关系建模不足、样本稀缺导致原型向量估计偏差以及跨角色因果约束缺失等技术问题。

2、本公开至少一实施例提供一种小样本元学习的机器视觉暴力检测分析方法，所述小样本元学习的机器视觉暴力检测分析方法包括：获取视频帧序列，提取人体目标的外观特征向量及骨架关节点坐标序列，对骨架运动序列进行原子动作切分与编码，通过聚类生成语义动作原语词典；基于骨架运动序列计算运动攻击性指标，结合运动方向特征生成角色概率分布向量，根据主导角色标签生成角色标注的动作原语序列集合；对同一暴力场景中不同角色的原语序列进行跨角色时序对齐，利用因果发现算法检验不同角色原语之间的因果方向和响应延迟，生成跨角色动作原语因果约束图；在所述跨角色动作原语因果约束图上对罕见角色配置模式的原语序列执行角色约束反事实干预，生成角色协调的反事实多人原语序列组合；将各角色原语序列解码为骨架运动序列并施加时间对齐约束、空间距离约束与运动连续性约束，生成多人合成骨架序列集合；将所述多人合成骨架序列集合与原始样本合并为扩展样本集，基于空间位置关系和运动方向关系生成时空异构交互图；对所述时空异构交互图利用关系类型感知图注意力网络提取时空角色交互特征向量，在元学习框架中计算暴力交互原型向量和正常交互原型向量；以及对待检测视频生成时空角色交互特征向量，根据与各原型向量之间的距离度量值生成暴力行为检测判定结果。

3、例如，在本公开至少一实施例提供的小样本元学习的机器视觉暴力检测分析方法中，所述基于骨架运动序列计算运动攻击性指标，结合运动方向特征生成角色概率分布向量，包括：对每个人体目标在每个原子动作片段内的骨架运动序列，对肢体伸展速度均值、重心前倾角度均值、手臂挥动频率分别采用z-score标准化处理后，按照计算运动攻击性指标，其中为人体目标的索引，、、为预设的权重系数且满足；提取运动方向特征，所述由第个人体目标在当前原子动作片段内的位移向量与该人体目标指向场景中其余所有人体目标位置均值的方向向量之间的余弦相似度计算得到；将所述运动攻击性指标与所述运动方向特征拼接后，经全连接层映射至三维向量并施加softmax运算，生成角色概率分布向量，其中、、分别对应攻击角色、防御角色和旁观角色的概率值。

4、例如，在本公开至少一实施例提供的小样本元学习的机器视觉暴力检测分析方法中，所述跨角色动作原语因果约束图为有向图结构，每个节点对应一种角色标注的原语类型，所述跨角色动作原语因果约束图包含三种类型的有向边：角色内因果前置边，连接同一角色标签下的两个原语类型节点，表示前驱原语在时序上因果性地先于后继原语出现；跨角色响应因果边，连接不同角色标签下的两个原语类型节点，表示源角色的原语因果性地引发目标角色的原语响应，边上标注有响应延迟参数；互斥约束边，连接在物理层面不可能同时发生的原语类型节点对；其中，所述因果发现算法在统计显著性水平满足预设阈值的条件下确认因果边的存在，所述预设阈值为条件独立性检验的显著性水平参数。

5、例如，在本公开至少一实施例提供的小样本元学习的机器视觉暴力检测分析方法中，所述角色约束反事实干预包括：选取目标角色的原语序列中的目标原语位置，在所述跨角色动作原语因果约束图中查找与所述目标原语具有相同角色标签且同时满足以下条件的候选替代原语：所述候选替代原语与所述目标原语的前驱原语之间存在角色内因果前置边；所述候选替代原语与所述目标原语的后继原语之间存在角色内因果前置边；所述候选替代原语与其他角色的原语序列中在对应时间窗口内的原语之间不违反互斥约束边的限定。

6、例如，在本公开至少一实施例提供的小样本元学习的机器视觉暴力检测分析方法中，在所述候选替代原语通过角色内约束筛选后，进一步执行跨角色因果一致性检验，包括：在所述跨角色动作原语因果约束图中检索以所述候选替代原语节点为源节点或目标节点的全部跨角色响应因果边；若所述候选替代原语为跨角色响应因果边的源节点，则验证目标角色的原语序列中在响应延迟参数所指定的时间窗口内存在该因果边指向的目标原语类型；若所述候选替代原语为跨角色响应因果边的目标节点，则验证源角色的原语序列中在对应的前置时间窗口内存在该因果边的源原语类型；仅当所述候选替代原语同时满足角色内因果前置约束、互斥约束及跨角色响应因果约束时，该替换方案被判定为有效。

7、例如，在本公开至少一实施例提供的小样本元学习的机器视觉暴力检测分析方法中，所述基于空间位置关系和运动方向关系生成时空异构交互图，包括：对每个时间帧中每个人体目标作为图节点，节点特征为该人体目标的角色概率分布向量、外观特征向量和骨架运动特征经z-score标准化后的拼接结果；对当前帧中任意两个人体节点，根据两端节点各自的主导角色标签的组合确定边的关系类型，所述关系类型包括攻击角色与防御角色之间的交互边、攻击角色与旁观角色之间的交互边、防御角色与旁观角色之间的交互边以及同类角色之间的交互边；边的生成条件为两端节点之间的空间距离不超过预设的交互距离阈值，或两端节点的运动方向呈现相向趋近趋势；沿时间维度对相邻帧中的同一人体目标节点基于外观特征向量的余弦相似度及空间位置连续性执行跨帧匹配，匹配成功的跨帧节点对之间添加时序连接边。

8、例如，在本公开至少一实施例提供的小样本元学习的机器视觉暴力检测分析方法中，所述关系类型感知图注意力网络对节点在关系类型下的特征更新为，其中为节点在关系类型下的更新特征向量，为节点在关系类型下的邻居节点集合，为关系类型对应的可学习线性变换矩阵，为节点的输入特征向量，为非线性激活函数；注意力权重计算为

9、，其中为关系类型对应的可学习参数向量，表示向量拼接操作；各关系类型下的聚合结果经融合后，对每条边根据其两端节点的更新特征与关系类型的可学习类型嵌入向量拼接后经线性变换生成边嵌入向量，将攻击角色与防御角色之间交互边的边嵌入向量序列沿时间维度执行平均池化操作输出时空角色交互特征向量。

10、例如，在本公开至少一实施例提供的小样本元学习的机器视觉暴力检测分析方法中，所述根据与各原型向量之间的距离度量值生成暴力行为检测判定结果，包括：计算所述待检测视频的时空角色交互特征向量与各角色配置模式下暴力交互原型向量之间的欧氏距离以及与正常交互原型向量之间的欧氏距离；当所述时空角色交互特征向量与某一角色配置模式的暴力交互原型向量之间的距离小于与正常交互原型向量之间的距离，且二者差值的绝对值超过预设的判定阈值时，判定所述待检测视频包含暴力交互行为；输出检测告警信息，所述检测告警信息包含判定的暴力类型标签、各参与者的角色标识以及各参与者在画面中的空间位置信息。

11、本公开至少一实施例还提供一种小样本元学习的机器视觉暴力检测分析系统，所述小样本元学习的机器视觉暴力检测分析系统包括视频特征提取单元、角色概率分配单元、因果约束图生成单元、反事实干预与合成单元、异构交互图生成单元、特征聚合与原型计算单元、检测判定单元；所述视频特征提取单元配置为获取视频帧序列，提取人体目标的外观特征向量及骨架关节点坐标序列，对骨架运动序列进行原子动作切分与编码，通过聚类生成语义动作原语词典；所述角色概率分配单元配置为基于骨架运动序列计算运动攻击性指标，结合运动方向特征生成角色概率分布向量，根据主导角色标签生成角色标注的动作原语序列集合；所述因果约束图生成单元配置为对同一暴力场景中不同角色的原语序列进行跨角色时序对齐，利用因果发现算法检验不同角色原语之间的因果方向和响应延迟，生成跨角色动作原语因果约束图；所述反事实干预与合成单元配置为在所述跨角色动作原语因果约束图上对罕见角色配置模式的原语序列执行角色约束反事实干预，生成角色协调的反事实多人原语序列组合，并将各角色原语序列解码为骨架运动序列并施加时间对齐约束、空间距离约束与运动连续性约束，生成多人合成骨架序列集合；所述异构交互图生成单元配置为将所述多人合成骨架序列集合与原始样本合并为扩展样本集，基于空间位置关系和运动方向关系生成时空异构交互图；所述特征聚合与原型计算单元配置为对所述时空异构交互图利用关系类型感知图注意力网络提取时空角色交互特征向量，在元学习框架中计算暴力交互原型向量和正常交互原型向量；所述检测判定单元配置为对待检测视频生成时空角色交互特征向量，根据与各原型向量之间的距离度量值生成暴力行为检测判定结果。

12、本公开提供的小样本元学习的机器视觉暴力检测分析方法及系统，至少能够实现以下技术效果。

13、其一，通过对每个人体目标计算包含攻击角色、防御角色和旁观角色三种类型概率值的角色概率分布向量，并将角色概率分布信息作为连续特征纳入时空异构交互图的节点表示，使得不同参与角色在图结构中得到差异化表征，从而在特征聚合过程中减少旁观者节点对暴力交互特征的干扰。

14、其二，通过构建跨角色动作原语因果约束图，对不同角色之间原语的因果方向、响应延迟及互斥关系进行显式建模，在罕见角色配置模式的极少量样本上执行角色约束反事实干预时，所生成的反事实多人原语序列组合受因果约束图的约束，各角色动作序列之间的因果一致性得到保障，从而提升合成样本的角色协调性。

15、其三，通过在合成骨架序列生成过程中联合施加时间对齐约束、角色间空间距离先验约束和关节运动连续性约束，使得生成的多人合成骨架序列在时间维度和空间维度上均满足多人协同暴力行为的物理合理性要求，进而为元学习原型计算提供质量更为可靠的训练样本。

16、其四，关系类型感知图注意力网络对不同关系类型的边采用独立注意力计算头进行差异化聚合，并单独提取攻击角色与防御角色之间交互边的边嵌入向量序列用于时空角色交互特征向量的计算，使得最终用于原型计算的特征表示更集中地反映暴力核心交互关系，有助于提升不同角色配置模式之间的特征区分度。

17、其五，在检测判定阶段，通过将待检测视频的时空角色交互特征向量与各角色配置模式暴力交互原型向量及正常交互原型向量进行距离度量比较，并输出包含暴力类型标签、参与者角色标识及空间位置信息的检测告警信息，使检测结果具备可解释性，便于后续安防响应的针对性处置。