人员违规行为识别方法及装置与流程

摘要: 本发明涉及计算机视觉,尤其涉及一种人员违规行为识别方法及装置。背景技术:1、现有工业生产场景中,人员违规行为是引发安全事故的重要原因,基于计算机视觉的自动化识别...
人员违规行为识别方法及装置与流程

本发明涉及计算机视觉,尤其涉及一种人员违规行为识别方法及装置。

背景技术:

1、现有工业生产场景中,人员违规行为是引发安全事故的重要原因,基于计算机视觉的自动化识别技术已成为安全监测的重要发展方向。当前主流方案多采用单一深度学习模型对监控视频进行端到端检测,然而单一模型的参数容量有限,轻量级模型虽能满足多路视频并行推理的算力要求,但对细微违规行为的识别准确率较低;大模型精度较高但算力开销过大,难以支撑大规模并行部署。

2、为缓解算力压力,现有技术引入了模型级联调度架构,以轻量级模型作为初筛,仅在置信度低于固定阈值时触发大模型复核。但此类方案的触发条件依赖单一置信度阈值,忽略了场景危险等级、行为异常程度和时序连续性等多维决策因素,容易在高风险场景下漏触发大模型,或在低风险场景下频繁无效触发。同时,现有方案对全量视频帧采用均等算力分配策略,无论人员处于高危区域还是普通通道,均以相同灵敏度处理,导致高风险场景算力保障不足、低风险场景资源浪费。由此可见,现有技术难以在算力效率与识别准确性之间取得良好平衡。

3、因此,亟需一种人员违规行为识别方法,能够在提升算力效率的同时提升违规识别准确性。

技术实现思路

1、本发明的主要目的在于提供了一种人员违规行为识别方法及装置,旨在解决现有人员违规识别中难以兼顾算力效率和违规识别准确性的技术问题。

2、为实现上述目的,本发明提供了一种人员违规行为识别方法,所述方法包括以下步骤:

3、利用第一视觉模型对监控区域的视频流数据进行检测,获得检测结果,所述检测结果包括违规行为类别和对应的检测置信度;

4、根据所述监控区域的固有危险属性、所述检测结果和异常行为时序累积信息进行多维度风险评估,获得综合风险得分;

5、基于所述检测置信度、所述综合风险得分和时序连续性信息确定是否调用第二视觉模型,所述第二视觉模型的计算复杂度高于所述第一视觉模型;

6、在确定调用时,利用所述第二视觉模型对所述检测结果对应的区域进行语义推理,获得语义得分;

7、对所述检测置信度、所述语义得分和所述综合风险得分进行融合,获得融合决策值,并根据所述融合决策值输出违规行为识别结果。

8、可选地,所述对所述检测置信度、所述语义得分和所述综合风险得分进行融合,获得融合决策值,并根据所述融合决策值输出违规行为识别结果的步骤,包括:

9、根据所述检测置信度与所述语义得分之间的差异,确定模型冲突指数;

10、以所述检测置信度、所述语义得分和所述综合风险得分作为正向融合项,并以所述模型冲突指数作为抑制项,按照预设权重进行加权融合,获得融合决策值;

11、将所述融合决策值与违规判定阈值进行比较,根据比较结果输出对应的违规行为识别结果。

12、可选地,所述根据所述融合决策值输出违规行为识别结果的步骤之后,还包括:

13、在所述模型冲突指数大于冲突阈值时,将所述视频流数据中对应的样本和所述样本对应的上下文样本标记为困难样本,并将所述困难样本加入困难样本候选集;

14、根据所述困难样本对应的所述模型冲突指数和所述综合风险得分,确定样本价值得分;

15、按照所述样本价值得分对所述困难样本候选集中的困难样本进行排序,根据排序结果从所述困难样本候选集中筛选出满足预设价值条件的增量训练样本;

16、利用所述第二视觉模型对所述增量训练样本进行伪标签生成,获得伪标签和对应的标签置信度;

17、将所述标签置信度满足置信度条件且所述模型冲突指数满足冲突条件的伪标签作为高质量伪标签;

18、基于所述增量训练样本和所述高质量伪标签对所述第一视觉模型进行增量训练,获得训练后的第一视觉模型。

19、可选地,所述基于所述增量训练样本和所述高质量伪标签对所述第一视觉模型进行增量训练,获得训练后的第一视觉模型的步骤,包括:

20、采用交叉熵损失和知识蒸馏损失构建总损失函数,所述知识蒸馏损失以增量训练前的第一视觉模型的输出作为软标签;

21、基于所述增量训练样本和所述高质量伪标签,利用所述总损失函数对所述第一视觉模型进行增量训练;

22、在增量训练过程中监测所述总损失函数的损失变化量,当所述损失变化量小于预设收敛阈值时停止训练,获得训练后的第一视觉模型。

23、可选地,所述基于所述增量训练样本和所述高质量伪标签对所述第一视觉模型进行增量训练,获得训练后的第一视觉模型的步骤之后,还包括:

24、将所述训练后的第一视觉模型以影子模式与增量训练前的第一视觉模型并行运行,记录相同输入下的违规检测结果;

25、根据所述违规检测结果,对所述训练后的第一视觉模型与所述增量训练前的第一视觉模型进行指标对比评估;

26、当所述指标对比评估满足预设准入条件时,将所述训练后的第一视觉模型按照区域分批进行灰度上线;

27、在灰度上线后持续监控所述训练后的第一视觉模型的性能指标;

28、当所述性能指标相对于所述增量训练前的第一视觉模型的基线下降超过预设阈值时,将线上运行的第一视觉模型由所述训练后的第一视觉模型回滚至增量训练前的第一视觉模型。

29、可选地,所述利用第一视觉模型对监控区域的视频流数据进行检测,获得检测结果的步骤,包括:

30、获取监控区域的视频流数据,并对所述视频流数据进行视频帧采样,获得待检测视频帧;

31、根据所述监控区域的场景静态信息,在所述待检测视频帧中标定感兴趣区域;

32、利用所述第一视觉模型对所述感兴趣区域进行检测,获得检测结果。

33、可选地,所述根据所述监控区域的固有危险属性、所述检测结果和异常行为时序累积信息进行多维度风险评估,获得综合风险得分的步骤,包括:

34、根据所述监控区域的区域类型、历史事故频率和安全防护要求等级中的至少一项,确定场景静态风险得分;

35、将所述违规行为类别映射为行为风险权重,并根据所述行为风险权重和所述检测置信度确定行为动态风险得分;

36、根据异常行为在预设时间窗口内的持续时间和出现频次,确定时序累积风险得分;

37、对所述场景静态风险得分、所述行为动态风险得分和所述时序累积风险得分进行加权融合,获得综合风险得分。

38、可选地,所述基于所述检测置信度、所述综合风险得分和时序连续性信息确定是否调用第二视觉模型的步骤,包括:

39、基于所述检测置信度、所述综合风险得分和时序连续性信息,按照预设触发概率计算公式,确定触发概率;

40、在所述触发概率大于预设触发阈值时,确定调用第二视觉模型;

41、在所述触发概率不大于所述预设触发阈值时,确定不调用所述第二视觉模型。

42、可选地,所述在确定调用时,利用所述第二视觉模型对所述检测结果对应的区域进行语义推理,获得语义得分的步骤,包括:

43、根据所述检测结果确定候选违规区域,并对所述候选违规区域进行上下文扩展,获得语义推理输入区域;

44、在确定调用所述第二视觉模型时,将所述语义推理输入区域加入异步推理队列,并根据所述综合风险得分确定所述语义推理输入区域在所述异步推理队列中的优先级;

45、由所述第二视觉模型按照所述优先级对所述语义推理输入区域进行语义推理,输出语义得分。

46、此外,为实现上述目的,本发明还提出一种人员违规行为识别装置,所述装置包括:

47、数据检测模块,用于利用第一视觉模型对监控区域的视频流数据进行检测,获得检测结果,所述检测结果包括违规行为类别和对应的检测置信度;

48、风险评估模块,用于根据所述监控区域的固有危险属性、所述检测结果和异常行为时序累积信息进行多维度风险评估,获得综合风险得分;

49、触发判断模块,用于基于所述检测置信度、所述综合风险得分和时序连续性信息确定是否调用第二视觉模型,所述第二视觉模型的计算复杂度高于所述第一视觉模型;

50、语义推理模块,用于在确定调用时,利用所述第二视觉模型对所述检测结果对应的区域进行语义推理,获得语义得分;

51、融合决策模块,用于对所述检测置信度、所述语义得分和所述综合风险得分进行融合,获得融合决策值,并根据所述融合决策值输出违规行为识别结果。

52、此外,为实现上述目的,本发明还提出一种人员违规行为识别设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人员违规行为识别程序,所述人员违规行为识别程序配置为实现如上文所述的人员违规行为识别方法的步骤。

53、此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有人员违规行为识别程序,所述人员违规行为识别程序被处理器执行时实现如上文所述的人员违规行为识别方法的步骤。

54、本发明公开了利用第一视觉模型对监控区域的视频流数据进行检测,获得检测结果,所述检测结果包括违规行为类别和对应的检测置信度;根据所述监控区域的固有危险属性、所述检测结果和异常行为时序累积信息进行多维度风险评估,获得综合风险得分;基于所述检测置信度、所述综合风险得分和时序连续性信息确定是否调用第二视觉模型,所述第二视觉模型的计算复杂度高于所述第一视觉模型;在确定调用时,利用所述第二视觉模型对所述检测结果对应的区域进行语义推理,获得语义得分;对所述检测置信度、所述语义得分和所述综合风险得分进行融合,获得融合决策值,并根据所述融合决策值输出违规行为识别结果。由于本发明通过多维度风险评估,并依据检测置信度、综合风险得分和时序连续性信息按需调用高复杂度的第二视觉模型,再融合检测置信度、语义得分和综合风险得分确定违规行为识别结果,相比于现有技术,本发明提升了违规识别准确性与算力效率。