面向多目标视频监控的边缘计算系统及其工作方法

1.本发明属于多目标视频分析和边缘计算领域，具体指代一种面向多目标视频监控的边缘计算系统及其工作方法。


背景技术：

2.随着现代科学技术的发展，面对大量的监控目标，比如交通车辆的监控，人流流量的管控以及课堂教学评估，我们往往需要对高分辨率高帧率的视频流进行处理，达到高精度实时响应的需求。传统的解决方案是将视频数据传输到云端服务器进行处理；首先，如果将海量的视频数据全部传输到云服务器进行处理，云服务器难以承受；其次，数据从边缘端传输到云端容易受到带宽的影响，难以满足许多应用实时性的要求，并且隐私性得不到保护。随着边缘设备计算能力的提高，考虑将视频数据放到边缘端进行处理，实现对多个目标的分析。然而在实际部署中，往往采用静态配置进行处理，边缘设备无法根据情景感知动态配置优化，导致边缘设备计算资源的浪费，从而无法达到高精度和低时延的要求。
3.因此，基于上述考虑，有必要提出一种面向多目标视频分析的边缘计算系统及其工作方法。不仅可以保护用户隐私，同时能够通过自适应的情境感知来进行配置优化，充分利用边缘设备的计算资源，满足高精度低时延的用户需求。


技术实现要素：

4.针对于上述现有技术的不足，本发明的目的在于提供一种面向多目标视频监控的边缘计算系统及其工作方法，以解决现有技术不能高精度、低时延地在边缘设备上同时对多目标进行分析的问题。
5.为达到上述目的，本发明采用的技术方案如下：
6.本发明的一种面向多目标视频监控的边缘计算系统，包括：视频预处理模块、视频分析模块及自适应配置优化模块；其中，
7.视频预处理模块，用于接收摄像头实时传输的视频流，根据自适应配置优化模块发送的最优配置参数对视频流中的视频帧进行处理，并将处理后的视频帧传输给视频分析模块；
8.视频分析模块，通过目标检测和目标跟踪算法对处理后的视频帧进行分析，得到目标的位置信息，将所述位置信息传输到前端设备进行显示；
9.自适应配置优化模块，实时获取运行时状态信息和系统状态信息，并根据自适应优化配置算法得到最优配置参数。
10.进一步地，所述最优配置参数包括：跳帧数f、视频分辨率r以及卷积神经网络相关配置m，其中卷积神经网络相关配置包括：网络模型、目标置信度以及iou阈值。
11.进一步地，所述视频预处理模块对视频流中的视频帧进行处理具体包括：根据自适应优化配置模块发送的最优配置参数，将输入的视频帧的分辨率调整为最优配置参数中的分辨率。
12.进一步地，所述视频分析模块对处理后的视频帧进行分析具体包括：
13.每隔固定帧(跳帧数)对视频帧进行目标检测，处理得到目标跟踪集合，并将此帧作为后续目标跟踪的参照帧；目标跟踪算法基于其余帧对目标跟踪集合进行跟踪，其中具体参数配置由自适应配置优化模块提供；目标检测算法基于卷积神经网络实现，对于输入的视频帧，经过卷积神经网络的前向传播计算，得到一系列候选框及相应的置信度；而后经过nms算法处理，得到预测框，包括目标的位置及其类别信息；目标跟踪算法利用基于相关滤波器实现的目标跟踪算法，基于其他帧对目标跟踪集中的每个目标位置进行更新(处理时延较短，由于误差累积，因此需要每隔固定帧进行目标检测重新定位目标)；基于相关滤波器实现的目标跟踪算法首先根据参照帧中得到的目标区域经过特征提取来训练相关滤波器，然后基于当前帧进行裁剪，提取特征并进行快速傅里叶变换，并将与相关滤波器相乘的结果进行快速傅里叶变换，对应最大值的点即为目标区域；根据目标数目和移动速度动态调整跳帧数f、视频分辨率r以及卷积神经网络相关配置m。
14.进一步地，所述运行时状态信息包括：目标数目n、目标移动速度v；所述系统状态包括：内存和cpu。
15.进一步地，所述自适应优化配置算法具体为：
16.(1)针对不同配置参数的目标检测算法和目标跟踪算法，在数据集上测试其精度和运行时延，形成知识库；从知识库中获取跟踪数目n、视频分辨率r和标跟踪时延的统计数据，分析目标跟踪数目n、视频分辨率r与目标追踪时延的关系，并拟合成对应的函数t(n，r)；
17.(2)从知识库中获取跳帧数f、移动速度v和精度a的统计数据，分析跳帧数和移动速度对精度的影响，并拟合成对应的函数g(f，v，a)；
18.(3)从知识库中获取cpu、内存、时延和精度的统计数据，分析当前系统所占cpu和内存分别对时延和精度的影响,并将影响因子分别记为i
cpu
，i
memory
；
19.(4)从知识库中分析不同配置的卷积神经网络cm与时延l和精度a的关系，将统计数据形成配置文件；
20.(5)根据初始化目标检测结果得到目标数目和移动速度，自适应搜索不同配置卷积神经网络的配置文件，分析跳帧数f、目标数目n和移动速度v对时延和精度的影响，得到当前运行时状态下的最优配置参数c
(m，r，f)
。
21.进一步地，所述步骤(5)中自适应搜索配置包括以下步骤：
22.(51)初始化：对于配置文件中的各项配置m对应的精度a和时延l，根据qaa q
l
l进行排序，将排序最高的配置m作为初始配置，其中，qa和q
l
分别为精度和时延对应的权重；根据所述初始配置进行一轮目标检测，得到当前状态，包括目标数目n、目标移动速度v、cpu和内存；
23.(52)临近搜索：结合当前状态对时延和精度的影响，得到临近配置预估的时延l(t(n，r)，l，i
cpu
，i
memory
)和精度a(g(f，v，a)，i
cpu
，i
memory
)，并得到综合指数qaa q
l
l，其中qa和q
l
分别为精度和时延对应的权重；具体为：根据当前卷积神经网络相关配置m搜索临近配置m
′
得到对应时延l和精度a，结合从知识库中拟合的函数t(n，r)、g(f，v，a)和当前系统状态(即cpu和内存)，根据i
cpu
，i
memory
得到分析不同的跳帧数f下每帧的平均处理时延l(t(n，r)，l，i
cpu
，i
memory
)和精度a(g(f，v，a)，i
cpu
，i
memory
)，将qaa q
l
l最大的配置c
(m，r，f)
作为当前配置；
24.(53)条件配置：根据当前配置预估的综合指数qaa q
l
l判断是否满足用户需求，若满足则返回当前配置c
(m，r，f)
，否则将最接近用户需求的配置作为当前配置，返回步骤(52)。
25.本发明的一种面向多目标视频监控的边缘计算系统的工作方法，基于上述系统，包括以下步骤：
26.1)获取部署在场景附近的摄像头实时采集的视频帧；
27.2)通过最优配置参数对获取到的视频帧进行预处理，得到处理后的视频帧；
28.3)根据最优配置参数，选择目标检测算法或目标跟踪算法对所述处理后的视频帧进行处理，得到多目标信息，包括目标数目和目标位置，并将结果传输给前端设备进行显示；
29.4)判断视频帧是否为最后一帧，若否，则将获取的当前系统状态发送给自适应配置优化模块，搜索临近最优配置参数，获得预估时延和精度；若是，则结束；
30.5)实时接收用户需求，将其转换为相应的时延限制和精度限制，若最优配置参数预估的时延和精度对应的综合指标qaa q
l
l满足用户需求则更新最优配置参数，返回步骤2)。
31.进一步地，所述步骤5)中的用户需求对应的时延限制和精度限制，具体为：
32.1)精度优先模式，其针对高精度任务，对应综合指数qaa q
l
l，其中q
l
＝0，qa＝11；
33.2)时延优先模式，其针对实时任务，对应综合指数qaa q
l
l，其中q
l
＝-1，qa＝0；
34.3)综合模式，其针对对时延和精度都存在限制的任务-,对应综合指数qaa q
l
l，其中q
l
＜0，qa＞0，根据用户需求设置相应权重。
35.本发明的有益效果：
36.1、充分利用计算资源：本发明通过自适应配置优化，弥补了静态配置导致计算资源无法得到充分利用的不足；
37.2、实时性高：通过使用目标跟踪的方法构建间隔帧与目标运动速度和精度之间的模型关系，可以有效分摊目标检测的时延，确保实时性；
38.3、隐私保护：不需要将视频传输到云服务器，视频本地处理，保护用户隐私。
附图说明
39.图1为本发明系统架构图；
40.图2为本发明方法流程图。
具体实施方式
41.为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。
42.参照图1所示，本发明的一种面向多目标视频监控的边缘计算系统，包括：视频预处理模块、视频分析模块及自适应配置优化模块；其中，
43.视频预处理模块，用于接收摄像头实时传输的视频流，根据自适应配置优化模块发送的最优配置参数对视频流中的视频帧进行处理，并将处理后的视频帧传输给视频分析模块；所述最优配置参数包括：跳帧数f、视频分辨率r以及卷积神经网络相关配置m，其中卷积神经网络相关配置包括：网络模型、目标置信度以及iou阈值；
44.其中，对视频流中的视频帧进行处理具体包括：根据自适应优化配置模块发送的最优配置参数，将输入的视频帧的分辨率调整为最优配置参数中的分辨率。
45.视频分析模块，通过目标检测和目标跟踪算法对处理后的视频帧进行分析，得到目标的位置信息，将所述位置信息传输到前端设备进行显示；
46.其中，所述视频分析模块对处理后的视频帧进行分析具体包括：
47.每隔固定帧(跳帧数)对视频帧进行目标检测，处理得到目标跟踪集合，并将此帧作为后续目标跟踪的参照帧；目标跟踪算法基于其余帧对目标跟踪集合进行跟踪，其中具体参数配置由自适应配置优化模块提供；目标检测算法基于卷积神经网络实现，对于输入的视频帧，经过卷积神经网络的前向传播计算，得到一系列候选框及相应的置信度；而后经过nms算法处理，得到预测框，包括目标的位置及其类别信息；目标跟踪算法利用基于相关滤波器实现的目标跟踪算法，基于其他帧对目标跟踪集中的每个目标位置进行更新(处理时延较短，由于误差累积，因此需要每隔固定帧进行目标检测重新定位目标)；基于相关滤波器实现的目标跟踪算法首先根据参照帧中得到的目标区域经过特征提取来训练相关滤波器，然后基于当前帧进行裁剪，提取特征并进行快速傅里叶变换，并将与相关滤波器相乘的结果进行快速傅里叶变换，对应最大值的点即为目标区域；根据目标数目和移动速度动态调整跳帧数f、视频分辨率r以及卷积神经网络相关配置m。
48.自适应配置优化模块，实时获取运行时状态信息和系统状态信息，并根据自适应优化配置算法得到最优配置参数；
49.其中，所述运行时状态信息包括：目标数目n、目标移动速度v；所述系统状态包括：内存和cpu。
50.所述自适应优化配置算法具体为：
51.(1)针对不同配置参数的目标检测算法和目标跟踪算法，在数据集上测试其精度和运行时延，形成知识库；从知识库中获取跟踪数目n、视频分辨率r和标跟踪时延的统计数据，分析目标跟踪数目n、视频分辨率r与目标追踪时延的关系，并拟合成对应的函数t(n，r)；
52.(2)从知识库中获取跳帧数f、移动速度v和精度a的统计数据，分析跳帧数和移动速度对精度的影响，并拟合成对应的函数g(f，v，a)；
53.(3)从知识库中获取cpu、内存、时延和精度的统计数据，分析当前系统所占cpu和内存分别对时延和精度的影响,并将影响因子分别记为i
cpu
，i
memory
；
54.(4)从知识库中分析不同配置的卷积神经网络cm与时延l和精度a的关系，将统计数据形成配置文件；
55.(5)根据初始化目标检测结果得到目标数目和移动速度，自适应搜索不同配置卷积神经网络的配置文件，分析跳帧数f、目标数目n和移动速度v对时延和精度的影响，得到当前运行时状态下的最优配置参数c
(m，r，f)
。
56.具体地，所述自适应搜索配置包括以下步骤：
57.(51)初始化：对于配置文件中的各项配置m对应的精度a和时延l，根据qaa q
l
l进行排序，将排序最高的配置m作为初始配置，其中，qa和q
l
分别为精度和时延对应的权重；根据所述初始配置进行一轮目标检测，得到当前状态，包括目标数目n、目标移动速度v、cpu和内存；
58.(52)临近搜索：结合当前状态对时延和精度的影响，得到临近配置预估的时延l(t(n，r)，l，i
cpu
，i
memory
)和精度a(g(f，v，a)，i
cpu
，i
memory
)，并得到综合指数qaa q
l
l，其中qa和q
l
分别为精度和时延对应的权重；具体为：根据当前卷积神经网络相关配置m搜索临近配置m
′
得到对应时延l和精度a，结合从知识库中拟合的函数t(n，r)、g(f，v，a)和当前系统状态(即cpu和内存)，根据i
cpu
，i
memory
得到分析不同的跳帧数f下每帧的平均处理时延l(t(n，r)，l，i
cpu
，i
memory
)和精度a(g(f，v，a)，l
cpu
，i
memory
)，将qaa q
l
l最大的配置c
(m，r，f)
作为当前配置；
59.(53)条件配置：根据当前配置预估的综合指数qaa q
l
l判断是否满足用户需求，若满足则返回当前配置c
(m，r，f)
，否则将最接近用户需求的配置作为当前配置，返回步骤(52)。
60.参照图2所示，本发明的一种面向多目标视频监控的边缘计算系统的工作方法，基于上述系统，包括以下步骤：
61.1)获取部署在场景附近的摄像头实时采集的视频帧；
62.2)通过最优配置参数对获取到的视频帧进行预处理，得到处理后的视频帧；
63.3)根据最优配置参数，选择目标检测算法或目标跟踪算法对所述处理后的视频帧进行处理，得到多目标信息，包括目标数目和目标位置，并将结果传输给前端设备进行显示；
64.4)判断视频帧是否为最后一帧，若否，则将获取的当前系统状态发送给自适应配置优化模块，搜索临近最优配置参数，获得预估时延和精度；若是，则结束；
65.5)实时接收用户需求，将其转换为相应的时延限制和精度限制，若最优配置参数预估的时延和精度对应的综合指标qaa q
l
l满足用户需求则更新最优配置参数，返回步骤2)。
66.具体地，所述步骤5)中的用户需求对应的时延限制和精度限制，具体为：
67.1)精度优先模式，其针对高精度任务，对应综合指数qaa q
l
l，其中q
l
＝0，qa＝1；
68.2)时延优先模式，其针对实时任务，对应综合指数qaa q
l
l，其中q
l
＝-1，qa＝0；
69.3)综合模式，其针对对时延和精度都存在限制的任务-,对应综合指数qaa q
l
l，其中q
l
＜0，qa＞0，根据用户需求设置相应权重。
70.本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。