一种基于多级级联流水线的视频监控行为检测方法及系统与流程

摘要: 本发明属于人工智能,涉及一种视频监控行为检测方法及系统,尤其是一种基于多级级联流水线的视频监控行为检测方法及系统。背景技术:1、随着城市智能化建设推进,视频监控...
一种基于多级级联流水线的视频监控行为检测方法及系统与流程

本发明属于人工智能,涉及一种视频监控行为检测方法及系统,尤其是一种基于多级级联流水线的视频监控行为检测方法及系统。

背景技术:

1、随着城市智能化建设推进,视频监控系统已广泛部署于小区、停车场、电动车棚、商业区、园区和公共区域等场景。监控系统能够持续记录现场情况,但监控视频数据量巨大,人工复查成本高。以某小区电动车棚场景为例,约200小时监控视频需要约8人天人工审查才能完成,效率低下且容易遗漏关键片段。

2、盗窃等行为在视频中通常具有一定时空特征,例如目标人员长时间停留在车辆侧面、蹲伏或弯腰操作、手部存在拉扯或撬动动作、从车身取出块状物体、离开时携带疑似电瓶等。但这些特征在远距离监控画面中并不总是清晰可见,且与正常修车、整理物品、系鞋带等动作存在外观相似性,因此需要一种分阶段、可解释、可控成本的检测方案。

3、现有方案一般包括以下几类:

4、1.人工逐段审查:由人员查看完整监控录像并记录疑似事件。该方案准确性依赖人员经验,审查效率低,长时间工作容易疲劳漏检。

5、2.基于运动检测的筛查方案:通过帧间差分、背景建模等方法找到画面变化区域,过滤静止片段。该方案速度较快,但只能判断是否有运动,无法判断是否存在盗窃语义。

6、3.基于目标检测的人员识别方案:通过目标检测模型识别画面中的人、车等对象。该方案能够定位目标,但对具体行为缺少持续时序分析。

7、4.基于行为规则的方案:通过停留时间、区域进入、轨迹长度等规则筛选异常行为。该方案可解释性较好,但单独使用容易产生大量误报。

8、5.基于深度学习或视觉大语言模型的语义研判方案:将视频或关键帧输入视觉大语言模型,由模型判断是否发生盗窃。该方案语义理解能力强,但直接处理长时段全量视频成本高,且如果缺少前级筛选和证据定位,整体效率不足。

9、因此,基于上述分析,亟需一种新型的视频监控行为检测方法及系统。

技术实现思路

1、针对现有技术所存在的问题,本发明提出一种基于多级级联流水线的视频监控行为检测方法及系统,其不是单独使用某一种模型,而是提出一种多级级联流水线:先用低成本方法快速排除无效视频,再用目标检测和追踪形成轨迹证据,然后通过时空规则筛选可疑目标,再进行动态裁剪和视觉-语言语义初筛,最后仅将少量高风险事件视频交给视觉大语言模型研判。

2、为了实现上述目的,本发明提供如下技术方案:

3、一种基于多级级联流水线的视频监控行为检测方法,其特征在于,包括以下步骤:

4、s1:对监控视频进行运动扫描,以剔除无运动目标的静止画面帧,从而得到运动扫描后的视频片段;

5、s2:对所述运动扫描后的视频片段进行目标人员检测与多目标追踪,以得到目标轨迹数据;

6、s3:基于预设时空行为规则对所述目标轨迹数据进行筛选,以识别可疑目标轨迹并提取可疑目标时空坐标;

7、s4:基于所述可疑目标时空坐标对监控视频进行局部裁剪,以得到裁剪后的关键帧;

8、s5:基于所述关键帧采用视觉-语言预训练模型进行语义匹配,以得到可疑事件视频;

9、s6:基于所述可疑事件视频,采用视觉大语言模型进行研判,以得到行为判定结果及研判理由。

10、优选地,所述步骤s1具体为:采用运动检测算法对监控视频进行快速扫描,并通过帧间差分法检测监控视频的画面的运动区域,以剔除无运动目标的静止画面帧,从而得到运动扫描后的视频片段。

11、优选地,所述步骤s2具体包括:

12、s21:将所述运动扫描后的视频片段以原始分辨率输入目标检测模型以检测目标人员;

13、s22:基于检测到的目标人员,采用多目标追踪算法生成目标人员的目标轨迹数据。

14、优选地,所述步骤s3具体包括:

15、s31:基于所述目标轨迹数据中的起始时间和结束时间计算目标轨迹持续时间;

16、s32:基于所述目标轨迹数据中的每帧目标人员边界框数据计算每帧目标人员边界框的高宽比,并基于所述目标轨迹数据中各帧目标人员边界框的高宽比计算轨迹蹲伏比例:

17、

18、其中,表示轨迹蹲伏比例;表示所述目标轨迹数据中的总帧数;为指示函数,当时取1,否则取0;表示所述目标轨迹数据中的第帧目标人员边界框的高宽比;表示预设比例阈值;

19、s33:在所述目标轨迹持续时间大于预设时长阈值且所述轨迹蹲伏比例大于预设比例阈值时,判定所述目标轨迹数据对应的是可疑目标轨迹;

20、s34:对于所述可疑目标轨迹,提取其对应的可疑目标时空坐标:

21、

22、

23、其中,表示可疑目标的横坐标;表示可疑目标的纵坐标;表示第t帧目标人员边界框的中心点的横坐标;表示第t帧目标人员边界框的中心点的纵坐标。

24、优选地,所述步骤s4具体包括:

25、s41:确定裁剪后的关键帧的时间范围:

26、

27、

28、

29、其中,表示裁剪后的关键帧的起始时间;表示裁剪后的关键帧的结束时间;表示可疑目标轨迹的起始时间;表示前置缓冲时间;表示可疑目标轨迹的结束时间;表示后置缓冲时间;

30、s42:确定裁剪后的关键帧的空间裁剪坐标:

31、

32、

33、式中,表示裁剪后的关键帧的裁剪起始横坐标;表示裁剪后的关键帧的裁剪起始纵坐标;表示可疑目标的横坐标;表示可疑目标的纵坐标;表示裁剪后的关键帧的画面的宽度;表示裁剪后的关键帧的画面的高度;表示监控视频的画面的宽度;表示监控视频的画面的高度;

34、s43:基于裁剪后的关键帧的时间范围以及裁剪起始横坐标和裁剪起始纵坐标对监控视频进行裁剪,以得到裁剪后的关键帧。

35、优选地,所述步骤s5具体包括:

36、s51:为所述关键帧构建正例文本提示词和反例文本提示词;

37、s52:基于视觉-语言预训练模型,将所述关键帧、正例文本提示词和反例文本提示词映射到同一语义向量空间,以得到图像特征、正例文本特征和反例文本特征,并计算所述图像特征与所述正例文本特征的语义相似度以及所述图像特征与所述反例文本特征的语义相似度;

38、s53:基于和计算语义匹配综合置信分;

39、s54:基于所述语义匹配综合置信分,判定所述关键帧是否为可疑事件视频。

40、优选地,所述步骤6具体为:将所述可疑事件视频、可疑事件视频对应的监控视频片段和文本判定指令输入视觉大语言模型中,由视觉大语言模型生成行为判定结果及研判理由。

41、此外,本发明还提供一种基于多级级联流水线的视频监控行为检测系统,其特征在于,包括:

42、运动扫描模块,其用于对监控视频进行运动扫描,以剔除无运动目标的静止画面帧,从而得到运动扫描后的视频片段;

43、目标检测与追踪模块,其用于对所述运动扫描后的视频片段进行目标人员检测与多目标追踪,以得到目标轨迹数据;

44、轨迹规则过滤模块,其用于基于预设时空行为规则对所述目标轨迹数据进行筛选,以识别可疑目标轨迹并提取可疑目标时空坐标;

45、动态裁剪模块,其用于基于所述可疑目标时空坐标对监控视频进行局部裁剪,以得到裁剪后的关键帧;

46、语义初筛模块,其用于基于所述关键帧采用视觉-语言预训练模型进行语义匹配,以得到可疑事件视频;

47、最终研判模块,其用于基于所述可疑事件视频,采用视觉大语言模型进行研判,以得到行为判定结果及研判理由。

48、而且,本发明还提供一种基于多级级联流水线的视频监控行为检测设备,其特征在于,包括:

49、一个或多个处理器;

50、存储器,用于存储一个或多个程序;

51、当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上所述的基于多级级联流水线的视频监控行为检测方法。

52、最后,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如上所述的基于多级级联流水线的视频监控行为检测方法的步骤。

53、与现有技术相比,本发明的基于多级级联流水线的视频监控行为检测方法及系统具有如下有益技术效果中的一者或多者:

54、(1)处理效率高。

55、本发明通过运动扫描-目标检测与追踪-轨迹规则过滤-语义初筛-最终研判的多级级联结构,逐级减少待处理数据量,可将200小时视频的人工审查时间从约8人天降低至约2人天或更低,效率提升75%以上,处理效率更高。

56、(2)远距离识别能力强。

57、本发明通过围绕可疑轨迹锚点进行800×800动态裁剪,将原始全景画面中的远距离目标放大为局部特写,相当于对可疑人员动作进行4至8倍细节增强,远距离识别能力更强。

58、(3)误报率更低。

59、本发明先使用时长、姿态、空间锚定等规则筛选,再使用clip类视觉-语言模型过滤正常行为,最后由视觉大语言模型综合判断,可逐级排除系鞋带、修车、短暂停留等干扰行为,误报率更低。

60、(4)可解释性强。

61、本发明中每一级处理均产生中间证据,包括运动片段、人员轨迹、轨迹持续时间、蹲伏比例、裁剪坐标、语义匹配分数和最终研判理由,可解释性更强,便于人工复核。

62、(5)算力成本可控。

63、在本发明中,高算力的视觉大语言模型只处理前级筛选后的少量疑似事件,避免直接对全量监控视频进行昂贵推理,算力成本更低。

64、(6)部署灵活。

65、本发明的系统可部署在本地服务器,也可根据实际场景替换目标检测模型、追踪算法、语义模型或最终研判模型,部署更灵活。