基于DeepSeek的智能监控箱异常行为识别方法与流程

本发明涉及物联网边缘智能设备运维、大模型行业应用交叉，尤其涉及一种基于deepseek的智能监控箱异常行为识别方法。

背景技术：

1、随着安防场景的精细化管理需求升级，智能监控箱广泛应用于公安安防、道路交通、轨道交通、国家边海防、工地特种行业等场景，承担现场监控与异常事件预警职能，地区触及海外。现有智能监控箱的异常行为识别方案主要分为两类：

2、一类是基于传统计算机视觉的方案，通过目标检测算法提取人员、物体目标，结合轨迹跟踪与人工规则判定异常。此类方案依赖人工设计特征与固定规则，对光照变化、遮挡场景、非常规异常行为的泛化能力弱，无法理解语义级行为逻辑，漏报与误报率高，难以满足复杂场景的识别需求。

3、另一类是云端大模型识别方案，将监控视频上传至云端调用大模型分析。此类方案高度依赖稳定网络，传输延迟高，无法满足实时告警要求；同时原始视频持续上传存在数据隐私泄露风险，且带宽成本高昂，难以大规模部署。

4、近年来部分端侧ai监控方案逐步落地，但现有方案存在明显缺陷：一是模型多为轻量化单帧检测模型，缺乏对连续行为的时序建模能力，难以准确识别翻越、破坏等连续性异常；二是未针对监控场景对大模型进行深度轻量化优化，推理算力占用高，无法适配智能监控箱有限的边缘算力；三是缺乏闭环迭代机制与误报过滤机制，模型上线后性能无法持续优化，误报率居高不下，大幅增加运维成本。

技术实现思路

1、本发明的目的是提供一种基于deepseek的智能监控箱异常行为识别方法，解决上述技术问题。

2、为实现上述目的，本发明提供了一种基于deepseek的智能监控箱异常行为识别方法，包括以下步骤：

3、s1、通过智能监控箱集成的视频采集模块获取监控区域的实时视频流数据；

4、s2、对实时视频流数据进行预处理，得到适配deepseek大模型输入格式的待识别帧序列；

5、s3、将待识别帧序列输入部署于智能监控箱本地的轻量化deepseek大模型，提取待识别帧序列对应的视觉语义特征与行为时序特征并完成特征融合；

6、s4、通过轻量化deepseek大模型的分类头对融合后的特征进行异常行为推理，输出各预设异常行为类别的置信度；

7、s5、当任意异常行为类别的置信度大于预设判定阈值时，判定为存在对应异常行为，由智能监控箱生成本地告警并执行数据上报。

8、优选的，s2中预处理具体包括：

9、对实时视频流进行等间隔帧采样得到候选帧集合，对候选帧进行图像去噪、尺寸归一化与像素值标准化处理；

10、再通过帧间差分法筛选关键帧，帧间差分计算公式为：

11、；

12、其中，为帧的序号，为图像中的像素坐标，、分别为第帧和第帧图像中坐标为的像素点的灰度值，为第帧和第帧之间的差分图像；

13、设定灰度差阈值，将差分图中灰度差大于的像素判定为运动像素，统计运动像素占整帧像素的比例，当≥占比阈值时，将该帧纳入关键帧，连续关键帧组成待识别帧序列。

14、优选的，轻量化deepseek大模型通过以下步骤构建：

15、对原生deepseek大模型进行结构化通道剪枝，剪枝率控制在30%-40%；再进行int8对称权重量化，量化计算公式为：

16、；

17、其中，为原始fp32权重值，为量化缩放因子，且，、分别为量化后的最小值和最大值；

18、再利用标注后的监控场景异常行为数据集，以交叉熵损失函数进行监督微调，得到适配智能监控箱边缘算力的轻量化模型。

19、优选的，s3中提取视觉语义特征与行为时序特征并完成特征融合具体为：

20、通过轻量化deepseek大模型的视觉编码分支提取单帧关键帧的视觉语义特征，输出维度为的视觉特征矩阵，其中为待识别帧序列长度，为单帧视觉特征维度；

21、通过时序注意力分支提取帧间行为时序特征，时序注意力采用多头自注意力机制，多头注意力由多个并行单头注意力组成，单头注意力计算公式为：

22、；

23、其中，、、分别为查询矩阵、键矩阵、值矩阵，为查询矩阵的特征维度；输出维度为的时序特征矩阵，为时序特征维度，为转置符号；

24、将视觉特征矩阵与时序特征矩阵沿特征维度拼接融合，得到全局行为表征特征矩阵；再经全局平均池化得到维度为的全局特征向量。

25、优选的，s4中异常行为推理采用多标签分类方式，针对每类预设异常行为计算对应置信度，置信度计算公式为：

26、；

27、其中，为sigmoid激活函数，、分别为第类异常行为对应的全连接权重向量与偏置项，为融合后的全局特征向量；为置信度，取值范围为[0,1]；

28、当≥预设判定阈值时，判定存在第类异常行为。

29、优选的，s5生成本地告警并执行数据上报具体为：

30、根据异常行为类别匹配对应风险等级，触发对应强度的现场声光告警；本地存储异常行为发生前后预设时长的视频片段、异常帧截图与告警日志；通过智能监控箱的光通信模块或5g通信模块将告警信息、异常帧截图上传至云端管理平台或局域网管理平台。

31、优选的，云端管理平台或局域网管理平台汇聚各智能监控箱上报的识别难例样本与人工标注数据，构建增量数据集；采用lora低秩适配方法对轻量化deepseek大模型进行增量微调，微调过程以奖励函数最大化为优化目标，奖励函数计算公式为：

32、；

33、其中，为单轮迭代的奖励值，为验证集识别准确率，为误报率，为漏报率，、、分别为奖励函数的权重系数；

34、将更新后的模型参数下发至智能监控箱，完成本地模型迭代。

35、优选的，帧采样采用动态帧率调整策略：当连续n帧候选帧均未检测到运动目标时，将帧采样间隔放大为基础间隔的n倍；当检测到运动目标时，恢复基础采样间隔。

36、优选的，s3中智能监控箱调用内置npu算力单元执行模型推理；当接入多路视频流时，通过优先级评分函数对各路推理任务排序并分配算力，优先级评分计算公式为：

37、；

38、其中，为第路视频的推理优先级得分，为对应监控区域的预设风险等级量化值，为第路视频输出的异常行为平均置信度，为事件紧急度系数；、、分别为优先级评分的权重系数，且满足++=1；

39、按照优先级得分从高到低分配npu算力资源，且得分与分配的算力成正比。

40、优选的，s5中判定存在异常行为后、执行数据上报之前，还包括误报过滤步骤：将识别结果与预设场景规则库进行匹配校验，若符合预设误报规则，则剔除该告警，若不符合则保留告警并执行后续上报操作；预设误报规则包括目标尺寸规则、合法时段规则、环境干扰规则。

41、因此，本发明采用上述基于deepseek的智能监控箱异常行为识别方法，具有的有益效果为：

42、1、通过结构化剪枝与int8量化对deepseek大模型进行深度轻量化，在精度损失可控的前提下大幅压缩模型体积与算力需求，使其可直接部署于智能监控箱边缘端，无需上传原始视频即可完成本地实时推理，既保障数据隐私安全，又消除网络依赖，告警响应延迟降低80%以上。

43、2、采用视觉语义特征与时序注意力特征融合架构，既提取单帧画面的目标类别、场景属性等静态语义信息，又捕捉连续帧间的动作轨迹、状态变化等动态时序信息，充分发挥大模型的语义理解优势，复杂场景下异常行为识别准确率可达95%以上，显著优于传统端侧方案。

44、3、通过帧间差分法筛选关键帧，结合动态帧率调整策略，过滤无运动目标的无效帧，减少冗余推理；搭配算力优先级调度机制，合理分配多路视频推理资源，在保证识别精度的前提下将端侧算力开销降低40%以上，适配智能监控箱低功耗、弱算力的硬件条件。

45、4、一方面通过场景规则库对识别结果进行误报过滤，排除环境干扰、小型移动物体等误报因素；另一方面建立边云协同增量更新机制，利用现场难例样本持续迭代模型，可将系统整体误报率降低60%以上。

46、5、支持多类异常行为同时识别，搭配分级告警、本地存储、云端上报完整链路，适配不同场景的监控需求；模型采用模块化设计，可快速扩展新增异常行为类别，灵活适配多样化业务场景。

47、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。