一种基于行为特征识别的警务督察异常行为预警方法与流程

本发明涉及智能安防与警务合规，尤其涉及一种基于行为特征识别的警务督察异常行为预警方法。

背景技术：

1、基于多模态融合与可解释人工智能的技术因为在复杂场景下具备多维感知与逻辑推理能力，近年来被广泛应用于智能安防、警务督察、合规审查等领域，成为智能化合规监管的重要发展方向。然而在实际应用中，警务合规预警场景面临行为姿态多变、遮挡频繁、场景容忍度差异大等诸多挑战，多模态行为识别与合规判定的部署效果仍受多方面制约。

2、目前多数警务预警方法依赖单一视觉模态的特征输入，难以充分利用执法记录仪状态、门禁轨迹、审讯音频等多源异构信息，导致对违规意图的建模缺乏上下文约束与全面性；部分系统仅采用固定静态阈值评估行为风险，忽略了常态提审、紧急入所、强制约束与夜间值守等不同场景对合规边界容忍度的差异化需求，限制了预警策略的自适应动态调整能力。同时，预警逻辑过程缺乏透明解释路径，传统归因方法仅依赖分类概率进行反向解码，难以精准定位推动行为跨越合规边面的关键物理特征，无法向督察人员提供清晰的决策依据，影响预警结果的可信度与可用性。

3、此外，现有合规边界模型在面对动态场景时缺乏自适应漂移机制，未能根据上下文标签动态缩放边界半径，导致高敏感场景下漏报与低敏感场景下误报频发；且异常判定后的证据提取多为简单的时间段数据堆叠，缺乏违规溯因陈述与多模态证据之间的逻辑绑定，难以形成具有排他性的违规溯源证据包，严重影响智能督察系统在真实执法场景中的实用价值与执法取信效力。

4、因此，如何提供一种基于行为特征识别的警务督察异常行为预警方法是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于行为特征识别的警务督察异常行为预警方法，本发明充分融合多模态流同步采集、合规知识图谱向量化、马尔可夫链意图演化预测、边界自适应漂移与反向解码归因等关键步骤，构建了具备动态上下文状态机驱动、合规边界自适应调整与违规特征精准溯源的智能督察流程，实现了在复杂执法场景下对异常行为的全面感知、前置预警与动态校验。本发明通过引入改进的grad-cam进行反向解码归因，构建以当前行为特征点到合规边界超平面的距离为梯度回传目标标量，替代传统分类概率目标，精准筛选出推动行为跨越合规边界的正向贡献区域，提取top-k关键特征维度，结合多模态证据打包形成具有逻辑排他性的违规溯源证据包。本发明具备场景边界自适应漂移、违规归因几何解释性强、预警结果可追溯等优点，能够显著提升动态场景下的预警精准度与违规溯源可信度，从而有效解决现有方法中合规边界固化、预警评价片面与决策过程不透明等问题。

2、根据本发明实施例的一种基于行为特征识别的警务督察异常行为预警方法，包括如下步骤：

3、s1、同步采集警务督察场景下的多模态流数据，并对监控视频的视觉流进行抗遮挡骨骼拓扑重构，输出行为特征拓扑序列与多模态流数据；

4、s2、将预设的警务合规条令进行图谱化处理，构建合规知识图谱，并将合规知识图谱向量化，映射为合规边界超平面；

5、s3、基于行为特征拓扑序列，并联合多模态流数据中的状态流、轨迹流及声纹流作为时序上下文约束特征，计算当前行为序列向各类违规意图演化的转移概率马尔可夫链，输出前置预警信号；

6、s4、从多模态流数据中提取状态流与轨迹流，解析得到当前场景的上下文标签，划分当前场景状态，得到常态提审、紧急入所、强制约束或夜间值守状态，构建动态上下文状态机，驱动合规边界超平面进行自适应漂移，输出动态调整后的判定阈值；

7、s5、基于动态调整后的判定阈值对前置预警信号进行校验，引入改进的grad-cam进行反向解码归因，构建以当前行为特征点到合规边界超平面的距离为梯度回传目标标量，并计算相对于前向传播特征图的梯度和权重系数，筛选出正向贡献区域，提取导致异常判定的top-k关键特征维度，输出违规溯因陈述；

8、s6、在触发异常预警的瞬间，根据违规溯因陈述，自动截取预警前n秒的监控关键帧、执法记录仪画面及门禁记录，并与违规溯因陈述打包为违规溯源证据包，输出至警务督察平台。

9、可选的，所述s1具体包括：

10、s11、通过部署于办案区上方的高清网络摄像机采集监控视频的视觉流，通过警员佩戴的执法记录仪采集设备开关机及录像状态的状态流，通过办案区出入口的闸机读卡器采集人员通行记录的轨迹流，通过审讯室内置的拾音器采集审讯室音频的声纹流，并利用统一时钟源向各设备发送同步触发信号，对齐各路数据的采集时间戳；

11、s12、将视觉流的各视频帧转换为rgb色彩空间图像，对状态流提取执法记录仪的电量、录制及连接状态编码，对轨迹流提取门禁刷卡的时间节点与人员标识，对声纹流执行语音端点检测提取有效音频片段及声纹特征向量；

12、s13、对视觉流的rgb图像使用人体姿态估计模型提取人体二维骨骼关键点坐标，并在相邻关键点之间按照人体物理骨架连接关系绘制连线，构建初始骨骼拓扑图；

13、s14、针对初始骨骼拓扑图中的被遮挡关键点，采用时空图卷积网络融合前后相邻帧的可见关键点位置信息，计算被遮挡关键点的预测坐标并补全缺失的骨骼连线，执行抗遮挡骨骼拓扑重构，输出行为特征拓扑序列；

14、s15、将完成时间戳对齐的状态流、轨迹流及声纹流数据进行格式化封装，输出多模态流数据。

15、可选的，所述s2具体包括：

16、s21、读取预设的警务合规条令文本，使用命名实体识别模型扫描文本，将识别出的警员与嫌疑人词汇记录为人员节点，将审讯室与候问室词汇记录为区域节点，将警械与约束带词汇记录为物品节点，将殴打与辱骂词汇记录为动作节点；

17、s22、计算人员节点与区域节点在物理空间中的间隔米数，并记录为距离边的属性值，计算动作节点在合规条令中规定的最长持续时间分钟数，并记录为时长边的属性值，按照合规条令文本中描述的先后顺序，从先发生的动作节点画一条指向后发生的动作节点的有向线段，将有向线段记录为顺序边；

18、s23、将所有人员节点、区域节点、物品节点与动作节点作为图顶点，将距离边、时长边与顺序边作为图边连接对应的图顶点，构建合规知识图谱；

19、s24、为合规知识图谱中的每个节点与每条边随机生成一个初始向量，针对每一个目标节点，提取与目标节点直接相连的所有邻居节点的初始向量与所有相连边的初始向量，将提取的所有初始向量按维度顺序拼接成一个长向量，将长向量输入全连接层网络，将全连接层网络输出的向量与目标节点的初始向量按对应维度相加，得到更新后的节点特征向量；

20、s25、在合规知识图谱中筛选出只包含合规行为的节点路径作为正样本路径，将正样本路径中所有节点的更新后的节点特征向量按维度计算算术平均值，并组成为合规中心向量，计算违规行为节点的更新后的节点特征向量与合规中心向量之间的欧氏距离，提取所有违规行为节点计算得出的欧氏距离中的最大数值，并记为边界半径；

21、s26、以合规中心向量在高维空间中的坐标点作为球心，以边界半径作为球的半径，在高维空间中画出所有到球心距离等于边界半径的点，将所有点连接形成闭合的多维几何曲面，并作为合规边界超平面。

22、可选的，所述s3具体包括：

23、s31、将行为特征拓扑序列按时间步拆分为连续的单帧骨骼拓扑特征，将多模态流数据中的状态流、轨迹流及声纹流按相同时间步对齐，提取每个时间步的状态编码、人员标识与声纹特征向量，将状态编码、人员标识与声纹特征向量与单帧骨骼拓扑特征进行拼接，得到每个时间步的时序上下文约束特征；

24、s32、提取合规知识图谱中的动作节点，将动作节点中属于合规条令规定动作的节点设定为正常行为状态节点，将动作节点中属于违规行为的节点设定为违规意图状态节点，将正常行为状态节点与违规意图状态节点组合为马尔可夫链的状态节点集合；

25、s33、将当前时间步的时序上下文约束特征输入全连接层后通过softmax激活函数计算当前时序上下文约束特征转移到状态节点集合中每一个状态节点的概率值，将计算出的所有概率值排列生成转移概率矩阵；

26、s34、根据转移概率矩阵，提取当前时间步处于正常行为状态节点且下一时间步转移到违规意图状态节点的概率值，将对应概率值记录为一步转移概率，将连续多个时间步的一步转移概率按时间步顺序进行连乘计算，得到当前行为序列向各类违规意图演化的转移概率马尔可夫链；

27、s35、将转移概率马尔可夫链中转移至任意一类违规意图状态节点的累积概率值与预设的意图预警阈值进行比较，当累积概率值大于预设的意图预警阈值时，生成前置预警信号并输出。

28、可选的，所述s4具体包括：

29、s41、从多模态流数据中提取状态流与轨迹流，对轨迹流中提取的门禁刷卡的时间节点进行计数得到进入人数，从状态流中提取执法记录仪的录制状态编码解析出对应的任务性质，将进入人数与任务性质组合为当前场景的上下文标签；

30、s42、当上下文标签中的进入人数与任务性质满足预设的第一场景条件时，划分当前场景状态为常态提审，当进入人数与任务性质满足预设的第二场景条件时，划分当前场景状态为紧急入所，当进入人数与任务性质满足预设的第三场景条件时，划分当前场景状态为强制约束，当上下文标签中的时间节点满足预设的第四场景条件时，划分当前场景状态为夜间值守；

31、s43、将常态提审、紧急入所、强制约束与夜间值守设定为四个离散的状态节点，按照警务合规条令规定的场景切换顺序绘制从一个状态节点指向另一个状态节点的有向连线，构建动态上下文状态机；

32、s44、为常态提审、紧急入所、强制约束和夜间值守分别分配预设的第一半径缩放因子、第二半径缩放因子、第三半径缩放因子和第四半径缩放因子，将当前场景状态对应的半径缩放因子与边界半径相乘，得到当前场景的动态半径；

33、s45、以合规中心向量在高维空间中的坐标点作为球心，以当前场景的动态半径作为球的半径，重新在高维空间中画出所有到球心距离等于当前场景的动态半径的点，将所有点连接形成闭合曲面，执行合规边界超平面的自适应漂移；

34、s46、计算合规中心向量对应的空间坐标点到自适应漂移后的闭合曲面之间的垂直距离，将垂直距离的数值作为动态调整后的判定阈值输出。

35、可选的，所述s5具体包括：

36、s51、接收到前置预警信号后，提取对应使用的当前时间步的时序上下文约束特征作为当前行为特征点，计算当前行为特征点到自适应漂移后的闭合曲面之间的垂直距离，并与动态调整后的判定阈值进行比较，当垂直距离的数值小于动态调整后的判定阈值时，确认当前行为处于闭合曲面之外，判定为确认异常；

37、s52、当确认异常时，引入改进的grad-cam，计算当前行为特征点在高维空间中的坐标点到合规边界超平面的垂直距离数值，并作为改进的grad-cam的梯度回传目标标量；

38、s53、获取生成前置预警信号时所使用的前向传播网络，从前向传播网络的最后一层卷积层中提取前向传播特征图；

39、s54、以梯度回传目标标量为起点执行反向传播，计算梯度回传目标标量相对于前向传播特征图中每一个通道在每一个空间位置上的偏导数，将偏导数的数值记录为目标梯度；

40、s55、对前向传播特征图中的每一个通道，提取通道在所有空间位置上的目标梯度，对通道所有空间位置的目标梯度执行全局平均池化操作计算算术平均值，将算术平均值记录为通道的权重系数；

41、s56、将前向传播特征图中每一个空间位置上的特征向量与其对应通道的权重系数进行相乘，对所有通道乘以权重系数后的结果在通道维度上进行求和，并经过relu激活函数过滤掉负值，筛选出对当前行为特征点到合规边界超平面的距离缩小具有正向推动作用的正向贡献区域，生成类别激活映射图；

42、s57、对类别激活映射图进行处理得到执法记录仪状态异常、轨迹异常、声纹异常和动作异常，将映射出的异常类型与top-k关键特征维度组合为文本，输出违规溯因陈述。

43、可选的，所述s57具体包括：

44、s571、对类别激活映射图中所有空间位置的数值进行由大到小的排序，依次遍历排序后的数值，当累计求和的数值占类别激活映射图所有空间位置数值总和的比例达到预设的贡献度覆盖率时，停止遍历，提取停止前遍历过的正向贡献区域所对应的前向传播特征图中的通道编号，将提取的通道编号按照遍历顺序排列，得到导致异常判定的top-k关键特征维度；

45、s572、读取top-k关键特征维度中每一个关键特征维度在对应的时序上下文约束特征的来源，将来源为状态编码的关键特征维度映射为执法记录仪状态异常，将来源为人员标识的关键特征维度映射为轨迹异常，将来源为声纹特征向量的关键特征维度映射为声纹异常，将来源为单帧骨骼拓扑特征的关键特征维度映射为动作异常，将映射出的异常类型与top-k关键特征维度组合为文本，输出违规溯因陈述。

46、可选的，所述s6具体包括：

47、s61、在触发异常预警的瞬间，记录当前触发异常预警的系统时间戳，并从违规溯因陈述中读取映射出的异常类型；

48、s62、以当前系统时间戳为终点，向前回溯预设的截取时长，提取预设的截取时长内监控视频的视觉流的视频帧，对视频帧按照相等的时间间隔进行抽取，将抽取出的视频帧记录为监控关键帧；

49、s63、以当前系统时间戳为终点，向前回溯相同的截取时长，从多模态流数据的状态流中提取对应时间段的执法记录仪的录制状态编码，将提取的录制状态编码与该时间段内视觉流的视频帧组合，生成执法记录仪画面；

50、s64、以当前系统时间戳为终点，向前回溯相同的截取时长，从多模态流数据的轨迹流中提取对应时间段的门禁刷卡的时间节点与人员标识，将提取的时间节点与人员标识按时间先后顺序排列，生成门禁记录；

51、s65、将监控关键帧、执法记录仪画面、门禁记录与违规溯因陈述进行对齐拼接，将违规溯因陈述中映射出的异常类型作为索引标签，将监控关键帧、执法记录仪画面与门禁记录作为附加证据绑定至索引标签，生成违规溯源证据包；

52、s66、将违规溯源证据包通过预设的网络端口发送，输出至警务督察平台进行存储与显示。

53、本发明的有益效果是：

54、本发明通过统一时钟源同步与抗遮挡骨骼拓扑重构，针对警务场景下多源数据时间戳错位与视觉遮挡导致行为特征缺失的问题，采用时空图卷积网络融合多帧信息补全骨骼拓扑，结合多模态数据格式化封装，输出对齐的行为特征拓扑序列与多模态流数据；通过合规知识图谱向量化与动态上下文状态机驱动，针对合规判定标准固化与场景容忍度差异大的问题，采用场景标签划分与半径缩放因子计算执行合规边界超平面的自适应漂移，输出动态调整后的判定阈值；在意图预警阶段，将时序上下文约束特征输入马尔可夫链计算转移概率，结合动态调整后的判定阈值校验前置预警信号，确认异常后引入改进的grad-cam，构建以当前行为特征点到合规边界超平面的距离为梯度回传目标标量，计算梯度获得权重系数并筛选正向贡献区域，提取top-k关键特征维度映射异常类型，输出违规溯因陈述；进一步通过回溯截取预警前多模态数据与违规溯因陈述进行索引绑定，生成具有逻辑排他性的违规溯源证据包输出至督察平台。最终实现对警务督察场景下异常行为的全面感知、前置预警与违规精准溯源的闭环智能督察，有效提升多模态特征融合的完整性、合规判定的场景自适应性、违规归因的解释性与取证证据的逻辑严密性。