一种基于云边协同语义稀疏编码的视频异常检测方法与流程

本发明涉及视觉异常检测领域，尤其涉及一种基于云边协同语义稀疏编码的视频异常检测方法。

背景技术：

1、视频异常检测是工业视觉领域中重要的基础问题，要求系统在连续视频流中自动识别设备缺陷、环境隐患、人员闯入等偏离正常运行状态的事件，在保障生产安全、降低人工巡检成本方面具有重要应用价值。与传统的图像分类、目标检测等静态任务相比，视频异常检测需要同时考虑时间维度上的动态变化和空间维度上的复杂结构，异常事件往往呈现出不确定性、稀有性和强场景依赖等特点，导致建模难度较高。

2、在铁路线路、输电线路、石化管廊等户外基础设施巡检场景中，固定机位摄像机或无人机已被广泛应用于线路状态的视频化采集，用以监测设备完好性、周边环境变化以及作业安全行为。但在山区、荒野等偏远区域，前端设备常依赖太阳能或蓄电池供电，计算与存储资源有限；视频数据通常通过物联网卡等方式上传，链路带宽和通信费用都较为敏感。同时，现场可供安装的机柜或边缘计算盒体积受限，使得在监控点部署大规模gpu或整套大模型推理系统在工程上难以实现。

3、现有工程化方案主要分为两类：

4、一类方法将原始视频或高码率压缩视频直接回传至中心服务器或云端进行统一分析，通过传统卷积网络或时序卷积网络完成异常检测。该类方法在算力充足的环境下效果较好，但在大量前端节点同时工作时，会造成链路拥塞和云端算力压力，难以适应大规模部署的成本与能耗约束；

5、另一类方法则在边缘端部署轻量化检测模型，仅上传检测出的重点帧或裁剪区域，用于发现落石、人员、车辆等预定义目标。由于户外工业场景中异常类别具有高度不确定性，且缺乏大规模、覆盖全面的标注样本，这类基于固定类别轻量化模型方案对少见异常、组合场景和新型隐患的识别能力明显不足，往往需要频繁重新标注和重新训练。

6、近年来，基于大规模数据预训练的视觉模型与多模态大模型在开放世界识别、视频理解、文本描述等任务上取得了显著进展，能够对复杂场景中的语义关系进行细致刻画，在理论上非常适合用于工业视频异常检测。然而此类大模型参数规模庞大，对算力、显存和功耗要求远高于传统模型，通常只能部署在集中式云端或数据中心。但是，如果将海量前端视频帧逐帧或高频率上传至云端进行全量推理，不仅会在弱网条件下造成严重的带宽占用和传输延迟，还会显著提高整体推理成本，不利于在大范围线路和众多监控点上的落地应用。

7、同时，户外巡检视频中大量画面处于稳定正常状态，例如铁路线路周边的山体、植被随光照和天气产生缓慢变化，但其语义类别长期保持稳定，而真正的异常事件（例如，边坡塌陷、排水沟堵塞积水、施工工地侵入线路安全范围、彩钢瓦房等易燃建筑靠近线路、人员或大型机械侵限等）的出现频率极低。如果缺乏语义层面的筛选，仅依赖像素级变化或阈值触发来决定是否将画面上传，容易导致误报率高、有效数据比例低，进一步增加云端分析负担。

8、因此，现有技术难以在以下方面同时满足工程需求：既要利用云端大模型在复杂场景理解和开放类别异常识别方面的强表达能力，又要必须严格控制边缘端的计算资源消耗和云端的数据传输负担，避免将大量语义上正常的视频画面无差别上传。

技术实现思路

1、为解决现有技术存在的问题，本发明提供一种基于云边协同语义稀疏编码的视频异常检测方法，能够在保持多模态大模型开放场景适应性和检测精度的前提下，显著降低数据传输和计算成本。

2、为此，本发明采用以下技术方案：

3、一种基于云边协同语义稀疏编码的视频异常检测方法，包括以下步骤：

4、s1，在云端部署多模态大模型，在所需巡检的目标区域的边缘侧存储语义原型矩阵，部署训练好的轻量化语义编码模型；所述多模态大模型包括语义编码模块、适配网络和语义解码模块；

5、s2，在边缘侧，由视频采集设备获取目标区域的监测场景视频，并得到抽帧的图像序列，将所述图像序列输入边缘侧部署的所述轻量化语义编码模型，得到语义稀疏特征序列；所述语义稀疏特征序列包含与各时间窗口一一对应的语义稀疏特征向量；

6、s3，在边缘侧，基于相邻所述时间窗口的语义稀疏特征向量计算语义变化度量，当所述语义变化度量低于预设语义变化阈值时，不触发数据上传；当所述语义变化度量高于或等于所述语义变化阈值时，将对应时间窗口的语义稀疏特征向量及其时间与位置信息打包为稀疏特征数据包，通过受限带宽的通信链路上传至云端；

7、s4，在云端侧，接收边缘侧上传的稀疏特征数据包，通过所述适配网络和语义解码模块对所述稀疏特征数据包进行处理，得到包含异常类别和发生位置的异常检测结果，并基于所述异常检测结果输出异常信息或告警。

8、上述步骤s1中：

9、所述多模态大模型为具有视觉编码、语言文本编码、分类解码能力的多模态大模型；

10、所述轻量化语义编码模型通过对所述云端多模态大模型的语义编码模块进行特征蒸馏训练获得，具体如下：

11、将用于训练的代表性视频样本分别输入所述语义编码模块和待训练的轻量化语义编码模型，得到云端语义编码特征和边缘语义编码特征；基于所述云端语义编码特征与所述边缘语义编码特征之间的差异构建特征蒸馏损失函数，对所述轻量化语义编码模型的参数进行优化，以使所述轻量化语义编码模型在给定计算资源约束下逼近所述云端多模态大模型的语义编码效果，完成训练；

12、在特征蒸馏训练阶段，采用的训练数据集为在类似目标场景采集的代表性视频数据，包括大量正常运行状态的视频片段以及收集到的隐患样本，对于样本稀缺的隐患类别，通过场景模拟、历史事件还原进行数据补充。

13、上述步骤s1中：

14、构建与个关键安全隐患概念相对应的语义原型矩阵：

15、，，

16、其中，每个语义原型向量与一个关键安全隐患概念对应。

17、上述步骤s1中：

18、通过将描述特定关键隐患概念的文本提示，通过多模态大模型的文本编码功能映射得到与视觉语义空间对齐的向量，再结合少量对应图像样本通过聚类或微调得到所述语义原型向量。

19、上述步骤s2中：

20、以预设时间间隔从所述图像序列中获取铁路线路及周边环境的图像帧，将连续帧图像组成一个时间窗口，记为第个时间窗口，；

21、记边缘侧的所述轻量化语义编码模型为，对第个时间窗口内的每一帧图像进行编码，得到帧级的基础语义向量：

22、，

23、其中，表示第个时间窗口内第帧图像的基础语义向量，维度为输出维度；

24、对同一时间窗口内的帧级的语义基础向量进行时间聚合，得到窗口级的基础语义表示：

25、，

26、其中，为时间聚合算子，为简单平均、加权平均或注意力聚合中的任一种；

27、基于所述基础语义表示和语义原型矩阵，计算时间窗口中各关键安全隐患概念的语义强化向量：

28、，

29、其中，为单调非线性函数；

30、将所述基础语义表示与语义强化向量进行拼接，得到语义稀疏特征向量：

31、，

32、其中，表示在特征维度上的拼接操作；

33、对整个所述图像序列按上述过程进行处理，得到语义稀疏特征向量按时间排序的语义稀疏特征序列，其中，为语义稀疏特征向量的总数。

34、所述视频采集设备包括固定摄像机、云台/球机或无人机。

35、上述步骤s3中：所述语义变化度量为余弦相似度、欧氏距离或其加权组合中的一种；所述语义变化阈值根据历史巡检数据统计或经验值确定。

36、上述步骤s3中：

37、对于相邻的时间窗口和，其对应的语义稀疏特征向量分别为和，采用欧氏距离计算语义变化度量的公式为：

38、，

39、其中，和为非负权重系数。

40、上述步骤s4中：

41、通过适配网络将所述语义稀疏特征向量映射到语义编码模块能接收的特征空间，得到对齐后的语义表示：

42、，

43、所述适配网络包括若干全连接层、归一化层或轻量化transformer层；

44、将所述对齐后的语义表示输入语义解码模块得到异常识别输出向量：

45、，

46、其中，包括对各类异常的概率分布、整体风险评分以及与线路位置相关的参数。

47、上述步骤s4中：云端平台基于生成结构化的异常检测记录，并根据需要生成自然语言形式的告警信息，推送给铁路线路维护人员或监控平台。

48、与现有技术相比，本发明具有以下有益效果：

49、1. 本发明通过对云端多模态大模型进行编码与解码功能拆分，并对视觉编码部分进行特征蒸馏，在边缘侧部署轻量化多模态语义编码器，仅在边缘侧执行语义编码过程，在云端侧执行语义对齐和解码过程，在保证复杂场景语义表征能力的前提下降低了边缘设备的算力与存储需求。

50、2. 本发明在边缘侧以语义稀疏特征代替完整视频数据进行云边传输，并通过构造语义变化度量，实现仅在场景语义出现显著变化且可能影响安全时才触发上传，过滤掉大量语义上稳定的正常巡检画面，显著降低了上行带宽占用和云端推理负载。

51、3. 本发明依托云端多模态大模型对开放场景和少见隐患的强语义理解能力，在无需获取全量视频像素的情况下即可对线路周边环境结构、施工场地、临时构筑物以及路基与排水设施状态进行综合分析，实现对环境和设备设施异常的统一检测，提高了无人机铁路巡检的智能化程度和风险识别能力。

52、4. 本发明通过语义原型构建与特征蒸馏机制，实现了面向不同工业户外巡检场景的良好可扩展性，当业务中出现新的隐患类型或新的基础设施环境时，可在不更换边缘硬件的前提下，通过云端模型与蒸馏过程的更新，完成云边协同异常检测能力的迭代升级。