基于深度学习的安保人员行为特征数据提取方法及系统与流程

本发明涉及计算机视觉，尤其涉及基于深度学习的安保人员行为特征数据提取方法及系统。

背景技术：

1、现有技术中，安保人员行为特征提取多采用端到端的深度学习模型对视频片段进行动作分类，输出巡逻、站立等预设动作标签。此类方法将特征提取与分类任务高度耦合，缺乏对行为内部结构的精细化建模，难以从视频流中显式提取具有语义可解释性的短时动作基元，也无法构建动作间的时序邻接关系与演化路径，导致行为特征呈现为孤立的动作标签序列而非结构化的行为语义图谱，中间特征表示与具体任务高度耦合，难以直接用于安防报表生成、行为态势研判等高层应用。

2、在行为意图推理方面，现有时序模型多通过对动作序列分类来推断意图，普遍缺乏对行为主干路径的显式析出机制，难以在冗余动作中准确提取关键行为链，且忽略行为特征与高层意图的联合表征学习，对复杂行为模式的语义理解能力不足。当出现异常行为时，现有方法难以依据时序关系对关键动作节点进行精准逆向定位与贡献度分析，无法快速锁定异常根源并可视化意图演化路径，造成监督决策滞后。因此，亟需开发一种能够提取结构化、可解释、带有意图语义的安保人员行为特征数据的方法，解决现有技术中特征碎片化、意图推理能力弱、高层应用适配性差的问题。

技术实现思路

1、本发明提供基于深度学习的安保人员行为特征数据提取方法及系统，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供的基于深度学习的安保人员行为特征数据提取方法，包括：

3、s1：对监控视频流进行目标检测，得到所述安保人员的连续图像序列；

4、s2：对所述连续图像序列进行热力图回归，得到所述安保人员的姿态时序特征；

5、s3：基于预设的卷积神经网络，对所述姿态时序特征进行特征聚合，得到所述姿态时序特征中的短时动作基元；

6、s4：以所述短时动作基元为节点，所述短时动作基元的邻接关系为边，所述短时动作基元的时间间隔为权重，构建所述安保人员的行为语义图谱；

7、s5：对所述行为语义图谱进行主线流形析出，得到所述安保人员的行为特征链；

8、s6：对所述行为特征链进行动态贝叶斯推断，得到所述行为特征链的行为意图标签；

9、s7：对所述行为特征链与所述行为意图标签进行联合特征编码，得到所述安保人员的行为特征数据。

10、在一个优选的实施方式中，所述对监控视频流进行目标检测，得到所述安保人员的连续图像序列，包括：

11、对所述监控视频流进行前景分离，得到所述监控视频流的前景运动区域掩膜；

12、对所述前景运动区域掩膜进行形态学滤波，得到所述监控视频流的候选连通区域；

13、对所述候选连通区域进行人体判定，得到所述监控视频流的人体连通区域；

14、基于预设的安保人员身份特征，从所述人体连通区域筛选出所述安保人员的目标连通区域；

15、对所述目标连通区域进行轨迹关联与身份标定，得到所述安保人员的目标轨迹；

16、基于所述目标轨迹，从所述监控视频流中截取所述安保人员的图像块，并对所述图像块进行尺寸归一化，得到所述安保人员的连续图像序列。

17、在一个优选的实施方式中，所述对所述连续图像序列进行热力图回归，得到所述安保人员的姿态时序特征，包括：

18、对所述连续图像序列进行帧提取，得到所述连续图像序列的图像帧集合；

19、对所述图像帧集合中的图像进行关节点概率分布映射，得到所述图像的多通道热力图张量；

20、对所述多通道热力图张量进行非极大值抑制，得到所述图像中关节点的亚像素坐标；

21、对所述亚像素坐标进行时序关联，得到所述图像中关节点的运动轨迹；

22、对所述运动轨迹进行时空重构，得到所述安保人员的姿态时序特征。

23、在一个优选的实施方式中，所述基于预设的卷积神经网络，对所述姿态时序特征进行特征聚合，得到所述姿态时序特征中的短时动作基元，包括：

24、构建所述姿态时序特征的训练数据集；

25、对所述训练数据集进行滑动时窗截取，得到所述训练数据集的局部时域切片；

26、基于预设的初始卷积神经网络，对所述局部时域切片进行时序卷积，得到所述局部时域切片的初始特征嵌入向量；

27、基于预设的对比学习损失函数，将所述初始特征嵌入向量输入至所述初始卷积神经网络，得到所述初始卷积神经网络的迭代优化网络参数；

28、基于所述迭代优化网络参数，对所述初始卷积神经网络进行参数更新，得到更新后卷积神经网络；

29、对所述姿态时序特征进行滑动时窗截取，得到所述姿态时序特征的局部时域切片；

30、基于所述更新后卷积神经网络，对所述局部时域切片进行时序卷积，得到所述局部时域切片的时序特征张量；

31、对所述局部时序特征张量进行向量化映射，得到所述局部时域切片的特征嵌入向量；

32、对所述特征嵌入向量进行聚类归并，得到所述局部时域切片的特征向量簇；

33、将所述特征向量簇的聚类中心定义为所述安保人员的短时动作基元。

34、在一个优选的实施方式中，所述对所述特征嵌入向量进行聚类归并，得到所述局部时域切片的特征向量簇，包括：

35、获取所述局部时域切片的特征嵌入向量集合；

36、遍历所述特征嵌入向量集合与预设的聚类中心集合，计算所述特征嵌入向量集合与所述聚类中心集合之间的归属度量值；

37、将所述特征嵌入向量归属至所述聚类中心中归属度量值最大的聚类中心，得到所述局部时域切片的特征向量簇；

38、所述归属度量值计算公式为：

39、；

40、其中，表示特征嵌入向量与第个聚类中心之间的归属度量值，表示当前遍历到的特征嵌入向量，表示第个聚类中心向量，表示空间尺度参数，表示特征向量与聚类中心之间的欧氏距离，表示第个聚类中心的强度。

41、在一个优选的实施方式中，所述以所述短时动作基元为节点，所述短时动作基元的邻接关系为边，所述短时动作基元的时间间隔为权重，构建所述安保人员的行为语义图谱，包括：

42、对所述短时动作基元进行时序排序与节点索引化，得到所述短时动作基元的节点标识集合；

43、基于所述短时动作基元的时序排列，提取所述短时动作基元之间的有向邻接关系；

44、基于所述短时动作基元的时序间隔，对所述有向邻接关系进行加权融合，得到所述短时动作基元的有向邻接关系集合；

45、基于所述节点标识集合与所述有向邻接关系集合，构建所述安保人员的行为语义图谱。

46、在一个优选的实施方式中，所述对所述行为语义图谱进行主线流形析出，得到所述安保人员的行为特征链，包括：

47、对所述行为语义图谱中的节点进行拓扑排序，得到所述节点的时序排序序列；

48、基于所述时序排序序列，对所述行为语义图谱中的有向边进行最大权值回溯，得到所述行为语义图谱中的主干行为路径；

49、对所述主干行为路径进行路径结构解析，得到所述主干行为路径的节点序列；

50、将所述节点序列中的节点进行行为链串联，得到所述安保人员的行为特征链。

51、在一个优选的实施方式中，所述对所述行为特征链进行动态贝叶斯推断，得到所述行为特征链的行为意图标签，包括：

52、对所述行为特征链进行隐状态空间初始化，得到所述行为特征链的隐状态候选空间；

53、对所述隐状态候选空间中相邻隐状态间的时序转移关系进行转移概率参数化，得到所述行为特征链的隐状态转移概率分布；

54、对所述行为特征链与所述隐状态候选空间中隐状态之间的发射关系进行观测概率参数化，得到所述行为特征链的观测概率分布；

55、基于所述隐状态转移概率分布与所述观测概率分布，对所述行为特征链的隐状态序列进行维特比回溯解码，得到所述行为特征链的最大后验概率隐状态序列；

56、对所述最大后验概率隐状态序列的末端隐状态进行解码输出，得到所述安保人员的行为意图标签。

57、在一个优选的实施方式中，所述对所述行为特征链与所述行为意图标签进行联合特征编码，得到所述安保人员的行为特征数据，包括：

58、对所述行为特征链中的短时动作基元进行向量空间投影，得到所述短时动作基元的基元嵌入向量；

59、对所述行为意图标签进行语义空间编码投射，得到所述行为意图标签的标签嵌入向量；

60、对所述基元嵌入向量与所述标签嵌入向量进行特征融合，得到所述短时动作基元的联合特征张量；

61、对所述联合特征向量进行特征值域规整与通道重排，得到所述安保人员的行为特征数据。

62、为了解决上述问题，本发明还提供基于深度学习的安保人员行为特征数据提取系统，所述系统包括：

63、目标检测与追踪模块，用于对监控视频流进行目标检测，得到所述安保人员的连续图像序列；

64、姿态时序特征提取模块，用于对所述连续图像序列进行热力图回归，得到所述安保人员的姿态时序特征；

65、短时动作基元聚合模块，用于基于预设的卷积神经网络，对所述姿态时序特征进行特征聚合，得到所述姿态时序特征中的短时动作基元；

66、行为语义图谱构建模块，用于以所述短时动作基元为节点，所述短时动作基元的邻接关系为边，所述短时动作基元的时间间隔为权重，构建所述安保人员的行为语义图谱；

67、主线流形析出模块，用于对所述行为语义图谱进行主线流形析出，得到所述安保人员的行为特征链；

68、动态贝叶斯推断模块，用于对所述行为特征链进行动态贝叶斯推断，得到所述行为特征链的行为意图标签；

69、联合特征编码模块，用于对所述行为特征链与所述行为意图标签进行联合特征编码，得到所述安保人员的行为特征数据。

70、与现有技术相比，本发明具有以下有益效果：

71、1.本发明通过构建从监控视频流到结构化行为特征数据的完整提取链路，实现了安保人员行为特征的精细化建模与结构化表达。针对现有深度学习方法将特征提取与分类任务高度耦合、输出仅为孤立动作标签的缺陷，本发明首先对监控视频流进行目标检测与热力图回归，精准获取安保人员的姿态时序特征，克服了目标检测不准、姿态估计精度低的问题。进而基于卷积神经网络对姿态时序特征进行特征聚合，通过对比学习与聚类归并提取出具有语义可解释性的短时动作基元，将连续的动作流分解为可复用的基本动作单元，解决了现有技术中行为内部结构建模能力不足、难以提取细粒度动作基元的问题。在此基础上，以短时动作基元为节点、以时序邻接关系为边、以时间间隔为权重构建行为语义图谱，将离散的动作基元组织为反映行为演化规律的结构化图模型，并通过主线流形析出获得行为特征链，精准提取表征核心行为意图的关键行为路径，避免了冗余动作对行为分析的干扰。该过程将传统方法中碎片化的动作标签序列转化为包含时序结构、邻接关系和间隔权重的语义图谱，显著提升了行为特征的可解释性与结构化表达能力，为安防报表生成、行为态势综合研判等高层应用提供了高质量的输入数据。

72、2.本发明通过动态贝叶斯推断与联合特征编码，实现了行为意图的概率化推理与高层应用适配的行为特征生成。针对现有时序模型缺乏行为主干路径显式析出机制、忽略行为特征与高层意图联合表征学习的缺陷，本发明对行为特征链进行动态贝叶斯推断，通过隐状态空间初始化、转移概率与观测概率参数化，结合维特比回溯解码得到最大后验概率隐状态序列，进而输出行为意图标签，将行为特征与高层语义意图建立概率关联，解决了现有技术中行为意图推理能力弱、缺乏不确定性建模的问题，使推断结果具备全局最优性和概率可解释性。进而对行为特征链中的短时动作基元与行为意图标签进行联合特征编码，将基元嵌入向量与标签嵌入向量进行特征融合，生成统一的行为特征数据，使得输出特征不仅包含动作序列的时序结构，还融合了高层语义意图，有效避免了特征表示与具体识别任务的高度耦合。生成的行为特征数据具备通用性与可复用性，可直接用于异常行为预警、人员效能评估、安防数据报表生成等高层应用，大幅提升了智能安防系统的自动化水平与数据复用效率。