一种多任务驱动的广域视频异常事件检测方法、系统、设备及介质

本技术涉及视频监控，特别是一种多任务驱动的广域视频异常事件检测方法、系统、设备及介质。

背景技术：

1、随着视频监控技术的快速发展，基于高点位摄像头（如铁塔、通信塔等）的实时视频分析在公共安全、环境保护、交通管理等领域发挥着越来越重要的作用。尤其在中高点位实时视频应用场景中，需要在广阔视野内同时监测多种异常事件，如秸秆焚烧、非法垂钓、山体滑坡等。这些事件具有突发性、多样性、复杂背景干扰等特点，给异常事件检测带来了极大的技术挑战。

2、当前主流的异常事件检测方法大多针对单一任务设计，即一个模型只负责检测某一类异常事件。然而，在实际应用中，异常事件种类繁多，单一模型无法同时检测所有事件类型，难以满足多任务并发检测的需求。此外，若为每一类异常事件单独设计并部署一个模型，不仅会带来巨大的存储开销，还会在推理过程中产生重复计算，严重影响监控系统的实时性和资源利用效率。

3、另一方面，铁塔视频监控场景对处理速度有极高要求。由于摄像头通常架设在高点位，视野广、覆盖范围大，视频流数据量庞大，且需要实时响应突发事件。若采用传统的多模型串行推理架构，难以满足帧级实时性要求。

4、因此，亟需一种新的多任务驱动的广域视频异常事件检测方法。

技术实现思路

1、鉴于上述问题，本技术实施例提供了一种多任务驱动的广域视频异常事件检测方法、系统、设备及介质，以便克服上述问题或者至少部分地解决上述问题。

2、本技术实施例第一方面，提供了一种多任务驱动的广域视频异常事件检测方法，所述方法包括：

3、接收摄像头针对目标场景采集的第n视频帧，n为大于1的整数；

4、通过视频异常事件检测模型的空间特征提取模块对所述第n视频帧进行空间特征提取，得到所述第n视频帧的空间特征并存入缓存中；

5、从缓存中提取与所述第n视频帧相邻的连续m-1个视频帧的空间特征，并按照时间先后顺序与所述第n视频帧的空间特征进行组合，得到第n视频片段的空间特征序列，第n视频片段包括m个连续视频帧并且以所述第n视频帧为最后一个视频帧，m为大于1的整数；

6、通过所述视频异常事件检测模型的时间特征提取模块，对所述第n视频片段的空间特征序列进行时间卷积运算，得到所述第n视频片段的时空特征；

7、利用所述第n视频片段的时空特征，通过视频异常事件检测模型的多个异常事件检测模块并行执行异常事件检测，得到所述第n视频片段的异常事件检测结果，所述第n视频片段的异常事件检测结果至少包括：所述第n视频片段中是否存在异常事件，以及，在所述第n视频片段中存在异常事件的情况下，所述第n视频片段的异常事件类型。

8、可选地，多个异常事件检测模块的总数是t；利用所述第n视频片段的时空特征，通过视频异常事件检测模型的多个异常事件检测模块并行执行异常事件检测，得到所述第n视频片段的异常事件检测结果，包括：

9、依次取t从1至t，按照以下步骤得到t个异常事件检测模块各自针对第n视频片段的任务特征：将所述第n视频片段的时空特征输入第t异常事件检测模块的门控网络，得到第t特征选择权重；利用第t特征选择权重对所述第n视频片段的时空特征进行加权，得到第t任务特征，以作为第t个异常事件检测模块针对第n视频片段的任务特征；

10、t异常事件检测模块利用各自针对第n视频片段的任务特征并行执行异常事件检测，得到所述第n视频片段的异常事件检测结果。

11、可选地，多个异常事件检测模块包括：秸秆焚烧事件检测模块、非法垂钓事件检测模块以及山体滑坡事件检测模块；所述方法还包括：

12、通过待训练空间特征提取模块和待训练时间特征提取模块，对秸秆焚烧事件样本视频片段进行处理，得到秸秆焚烧事件样本视频片段的时空特征；

13、将秸秆焚烧事件样本视频片段的时空特征输入t个待训练异常事件检测模块；

14、通过待训练第一检测模块、待训练第二检测模块以及待训练第三检测模块并行执行异常事件检测，得到第一检测结果、第二检测结果以及第三检测结果；

15、根据所述第一检测结果和所述秸秆焚烧事件样本视频片段携带的标签，确定第一损失函数值；

16、根据所述第二检测结果和所述秸秆焚烧事件样本视频片段携带的标签，确定第二损失函数值；

17、根据所述第三检测结果和所述秸秆焚烧事件样本视频片段携带的标签，确定第三损失函数值；

18、根据所述第一损失函数值、所述第二损失函数值以及所述第三损失函数值，确定总损失函数值；

19、基于总损失函数值，对待训练空间特征提取模块和待训练时间特征提取模块、待训练第一检测模块、待训练第二检测模块以及待训练第三检测模块进行模型参数更新；

20、利用非法垂钓事件样本视频片段以及山体滑坡事件样本视频片段，重复上述步骤直至训练完毕，得到所述视频异常事件检测模型。

21、可选地，所述方法还包括：

22、接收摄像头针对目标场景采集的第n+1视频帧；

23、通过视频异常事件检测模型的空间特征提取模块对所述第n+1视频帧进行空间特征提取，得到所述第n+1视频帧的空间特征；

24、从缓存中删除缓存时间最早的视频帧的空间特征，并将所述第n+1视频帧的空间特征存入缓存中；

25、从缓存中提取与所述第n+1视频帧相邻的连续m-1个视频帧的空间特征，并按照时间先后顺序与所述第n+1视频帧的空间特征进行组合，得到第n+1视频片段的空间特征序列，第n+1视频片段包括m个连续视频帧并且以所述第n+1视频帧为最后一个视频帧；

26、通过所述视频异常事件检测模型的时间特征提取模块，对所述第n+1视频片段的空间特征序列进行时间卷积运算，得到所述第n+1视频片段的时空特征；

27、利用所述第n+1视频片段的时空特征，通过视频异常事件检测模型的多个异常事件检测模块并行执行异常事件检测，得到所述第n+1视频片段的异常事件检测结果，所述第n+1视频片段的异常事件检测结果至少包括：所述第n+1视频片段中是否存在异常事件，以及，在所述第n+1视频片段中存在异常事件的情况下，所述第n+1视频片段的异常事件类型。

28、可选地，利用所述第n+1视频片段的时空特征，通过视频异常事件检测模型的多个异常事件检测模块并行执行异常事件检测，得到所述第n+1视频片段的异常事件检测结果，包括：

29、依次取t从1至t，按照以下步骤得到t个异常事件检测模块各自针对第n+1视频片段的任务特征：将所述第n+1视频片段的时空特征输入第t异常事件检测模块的门控网络，以对第t特征选择权重进行更新；利用更新后的第t特征选择权重对所述第n+1视频片段的时空特征进行加权，得到更新后的第t任务特征，以作为第t个异常事件检测模块针对第n+1视频片段的任务特征；

30、t异常事件检测模块利用各自针对第n+1视频片段的任务特征并行执行异常事件检测，得到所述第n+1视频片段的异常事件检测结果。

31、本技术实施例第二方面，提供了一种多任务驱动的广域视频异常事件检测系统，所述系统包括：

32、视频帧接收模块，用于接收摄像头针对目标场景采集的第n视频帧，n为大于1的整数；

33、第一确定模块，用于通过视频异常事件检测模型的空间特征提取模块对所述第n视频帧进行空间特征提取，得到所述第n视频帧的空间特征并存入缓存中；

34、特征组合模块，用于从缓存中提取与所述第n视频帧相邻的连续m-1个视频帧的空间特征，并按照时间先后顺序与所述第n视频帧的空间特征进行组合，得到第n视频片段的空间特征序列，第n视频片段包括m个连续视频帧并且以所述第n视频帧为最后一个视频帧，m为大于1的整数；

35、第二确定模块，用于通过所述视频异常事件检测模型的时间特征提取模块，对所述第n视频片段的空间特征序列进行时间卷积运算，得到所述第n视频片段的时空特征；

36、第三确定模块，用于利用所述第n视频片段的时空特征，通过视频异常事件检测模型的多个异常事件检测模块并行执行异常事件检测，得到所述第n视频片段的异常事件检测结果，所述第n视频片段的异常事件检测结果至少包括：所述第n视频片段中是否存在异常事件，以及，在所述第n视频片段中存在异常事件的情况下，所述第n视频片段的异常事件类型。

37、可选地，多个异常事件检测模块的总数是t；利用所述第n视频片段的时空特征，通过视频异常事件检测模型的多个异常事件检测模块并行执行异常事件检测，得到所述第n视频片段的异常事件检测结果，所述第三确定模块，包括：

38、第一输入子模块，用于将所述第n视频片段的时空特征输入第t异常事件检测模块的门控网络，得到第t特征选择权重；

39、加权子模块，用于利用第t特征选择权重对所述第n视频片段的时空特征进行加权，得到第t任务特征，以作为第t个异常事件检测模块针对第n视频片段的任务特征；

40、第一确定子模块，用于利用t异常事件检测模块各自针对第n视频片段的任务特征并行执行异常事件检测，得到所述第n视频片段的异常事件检测结果。

41、可选地，多个异常事件检测模块包括：秸秆焚烧事件检测模块、非法垂钓事件检测模块以及山体滑坡事件检测模块；所述系统还包括：

42、视频片段处理子模块，用于通过待训练空间特征提取模块和待训练时间特征提取模块，对秸秆焚烧事件样本视频片段进行处理，得到秸秆焚烧事件样本视频片段的时空特征；

43、第二输入子模块，用于将秸秆焚烧事件样本视频片段的时空特征输入t个待训练异常事件检测模块；

44、第二确定子模块，用于通过待训练第一检测模块、待训练第二检测模块以及待训练第三检测模块并行执行异常事件检测，得到第一检测结果、第二检测结果以及第三检测结果；

45、第一损失函数确定子模块，用于根据所述第一检测结果和所述秸秆焚烧事件样本视频片段携带的标签，确定第一损失函数值；

46、第二损失函数确定子模块，用于根据所述第二检测结果和所述秸秆焚烧事件样本视频片段携带的标签，确定第二损失函数值；

47、第三损失函数确定子模块，用于根据所述第三检测结果和所述秸秆焚烧事件样本视频片段携带的标签，确定第三损失函数值；

48、第三确定子模块，用于根据所述第一损失函数值、所述第二损失函数值以及所述第三损失函数值，确定总损失函数值；

49、参数更新子模块，用于基于总损失函数值，对待训练空间特征提取模块和待训练时间特征提取模块、待训练第一检测模块、待训练第二检测模块以及待训练第三检测模块进行模型参数更新；

50、第四确定子模块，用于利用非法垂钓事件样本视频片段以及山体滑坡事件样本视频片段，重复上述步骤直至训练完毕，得到所述视频异常事件检测模型。

51、本技术实施例第三方面，提供了一种电子设备，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如本技术第一方面所述的多任务驱动的广域视频异常事件检测方法的步骤。

52、本技术实施例第四方面，提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如本技术第一方面所述的多任务驱动的广域视频异常事件检测方法的步骤。

53、本技术的有益效果：

54、本技术提供了一种多任务驱动的广域视频异常事件检测方法，所述方法包括：接收摄像头针对目标场景采集的第n视频帧，n为大于1的整数；通过视频异常事件检测模型的空间特征提取模块对所述第n视频帧进行空间特征提取，得到所述第n视频帧的空间特征并存入缓存中；从缓存中提取与所述第n视频帧相邻的连续m-1个视频帧的空间特征，并按照时间先后顺序与所述第n视频帧的空间特征进行组合，得到第n视频片段的空间特征序列，第n视频片段包括m个连续视频帧并且以所述第n视频帧为最后一个视频帧，m为大于1的整数；通过所述视频异常事件检测模型的时间特征提取模块，对所述第n视频片段的空间特征序列进行时间卷积运算，得到所述第n视频片段的时空特征；利用所述第n视频片段的时空特征，通过视频异常事件检测模型的多个异常事件检测模块并行执行异常事件检测，得到所述第n视频片段的异常事件检测结果，所述第n视频片段的异常事件检测结果至少包括：所述第n视频片段中是否存在异常事件，以及，在所述第n视频片段中存在异常事件的情况下，所述第n视频片段的异常事件类型。

55、本技术通过视频异常事件检测模型的空间特征提取模块对当前第n视频帧进行空间特征提取，并将得到的空间特征存入缓存中；再从缓存中提取相邻连续m-1个视频帧的空间特征，并按照时间先后顺序与当前视频帧的空间特征进行组合，得到第n视频片段的空间特征序列；然后，通过时间特征提取模块对该空间特征序列进行时间卷积运算，提取连续视频帧之间的时间变化信息和运动特征，得到第n视频片段的时空特征；最后，利用该时空特征，通过多个异常事件检测模块并行执行异常事件检测，得到异常事件检测结果。本技术通过复用历史视频帧的空间特征，减少视频帧的重复特征提取，降低计算成本；同时，能够通过时间卷积表征异常事件的动态变化的过程，并通过多个异常事件检测模块并行检测，提高多类型异常事件检测的检测效率和精度。