基于边缘计算的人群异动智能安全检测系统的制作方法

1.本发明涉及图像处理，人工智能、边缘计算等技术领域，具体涉及一种基于边缘计算的施工作业区的智能安全检测系统。


背景技术：

2.随着经济的快速发展，旅游行业，体育赛事，演唱会的发展也是蒸蒸日上，如何保证在这些人群大量聚集的活动中不发生拥挤踩踏事件是目前急需解决的问题。针对这一问题，目前主要两种检测方式：一是依靠人工监察，但无法实时获取人数以及判断异常行为，增加了拥挤踩踏事故发生的可能性；二是采用智能视频检测系统，但其识别准确率低，并且需要将视频传入云端进行计算，导致传输有延时，实时性差。
3.为了解决上述问题，边缘计算应运而生。边缘计算属于一种分布式计算，在网络边缘侧的智能网关上，就近处理采集到的数据，而不需要将大量数据上传到远端的核心管理平台。和云端计算相比，边缘计算以利用云服务器上已有的数据和计算能力，得到识别结果的响应时间大大缩短，而且当识别结果返回的同时，将会把图像的特征信息发送给云服务器作为新的训练集。


技术实现要素：

4.本技术实施例通过提出一种基于边缘计算的人群异动智能安全检测系统，系统主要包括监控设备，边缘计算端和云端平台。目的为搭建视频监控报警平台，部署摄像头，添加边缘计算的规则，实现人数监测，人群异常行为报警功能，降低报警时延。
5.为实现上述目的，本技术采用以下技术方案予以实现：
6.步骤1：一种基于边缘计算的人群异动智能安全检测系统，其特征在于：由摄像头、边缘端、智能预警系统以及云端服务器组成，所述摄像头用于实时获取景区游客动向信息；所述智能预警系统以边缘端设备为载体，用于实现人数监测，人群异动的预警，将结果展示在边缘端服务器上；所述云端服务器用于智能预警系统模型的训练以及参数的更新。整体结构如图(1)所示。
7.步骤2：基于边缘端设备的智能预警系统，其特征在于：所述设备中包含人数监测，人群异动检测，暴力行为识别三种深度学习模型，对通过摄像头传入的视频数据进行分析判断。边缘端的构成如图(2)所示。
8.步骤3：基于边缘端设备的智能预警系统检测过程如图(3)所示，其特征在于包括以下步骤：
9.a、用于实现人数监测的步骤：
10.摄像头将获取到人群的视频数据传到边缘端设备jetson tx2中，通过csr
‑
net模型进行人数统计；该模型包括数据预处理部分，模型训练部分和人数统计部分；数据预处理部分将监控设备获取到当前人群图像通过高斯核函数对图像进行卷积操作，转化为二值化的真实密度图作为训练的标签，在转化过程中，高斯核函数的关键值σ在人群稀疏的情况下
可以采用固定值，在人群密集的情况下可以采用自适应的值；模型训练部分通过输入原图像与真实密度图，输出预测密度图进行训练，该过程模型不断更新参数，使得预测密度图与真实密度图之间的误差尽可能小，训练固定轮数之后将误差最小的模型参数保存下来，并传输给人数统计部分；人数统计部分使用该参数进行人数统计，将监控设备获取到当前人群彩色图像转化为二值化的人群的密度图，最后对密度图中的像素值进行相加从而得到人数。
11.b、用于实现人群异动检测的步骤：
12.摄像头将获取到人群的视频数据在经过人群计数模型后会传输给人群异常行为识别模型，其特征在于：由于帧差图得到的是人群变化的剧烈程度，理论上只有人的变化。光流得到的是所有物体的变化程度，有背景的噪音。所以将帧差图与光流图结合在一起进行人群异动的判断，有助于减少背景噪音带来的误差，提升判断的准确率；
13.使用视频数据的光流图和csr
‑
net生成的密度视频的帧差图作为输入，然后分别经过2个conv block1的卷积模块，conv block1卷积模块由16个1*3*3的3d卷积核，16个3*1*1的3d卷积核，1*2*2的3d最大池化层组成，输出为两组特征图；再分别经过2个conv block2的卷积模块，conv block2卷积模块由32个1*3*3的3d卷积核，32个3*1*1的3d卷积核，1*2*2的3d最大池化层组成，输出为两组特征图，帧差图对应特征图a，光流图对应特征图b；然后对这两组特征图分别使用1*1*32的全连接层，再用relu激活函数输出，此时输出为两个数，帧差图对应a1，光流图对应b1；然后对a和b使用激活函数为sigmoid，具有1个64节点的隐藏层与2节点的输出层的bp神经网络，最终得到帧差图的权重系数w1和光流图的权重系数w2；
14.接着，使用w1*a w2*b作为新的输入，经过2个merging block卷积模块，merging block卷积模块由64个1*3*3的3d卷积核，64个3*1*1的3d卷积核，2*2*2的3d最大池化层组成，输出为两组特征图；然后将这两组特征图输入到全连接层中，再利用softmax函数判断其是否为人群异动情况；若输出置信度大于设定阈值(本系统中阈值设定为90％)，则在边缘服务器端判定为暴力行为；若小于设定阈值，则将相应视频片段传入云端服务器再做判断。
15.步骤4：用于实现智能预警系统模型的训练以及参数的更新，其特征在于边缘端服务器将边缘端设备汇总的包含人数检测结果的视频与发出报警信息的视频上传到云端服务器，服务器使用相关视频对所对应的模型进行进一步训练，更新模型的参数，提高模型的精度。
16.步骤5：用于汇总信息并更新模型的云端服务器，其特征在于：云端服务器包括软件模块，管理模块，硬件模块和接入模块；软件模块为云端服务器中的各个应用模块提供软件支撑，例如视频数据存储模块接口，人群计数模块接口，人群异动判断模块接口，能够使工作人员在云端的客户端上更加便捷对功能模块进行操作；管理模块进行资源管理和任务管理，资源管理实现系统数据的存储与定期删除，任务管理实现对边缘端传输来的报警视频进行识别并再次训练，从而使模型的参数得到更新；硬件层提供硬件资源，对存储资源、计算资源和网络资源使用不同的硬件资源进行管理；接入层为其它模块的数据提供网络接入服务，既能够使监控视频数据传输至云端服务器中，也能够使云端服务器将更新的模型参数下发至边缘端。
附图说明
17.图1为边云架构图；
18.图2为边缘端算法图；
19.图3为检测流程图；
20.图4为人群异动判断网络模型图；
具体实施方式
21.本技术实施例通过提供一种基于边缘计算的人群异动智能安全检测系统，以解决现有技术中检测准确率低，传输延迟高的技术问题。
22.为了更好地理解上述技术方案，下面将结合说明书附图以及具体的实施方式，对上述技术方案进行详细的说明。
23.实施例
24.步骤1：摄像头将获取到人群的视频数据传到边缘端设备jetson tx2中，通过csr
‑
net模型进行人数统计；该模型包括数据预处理部分，模型训练部分和人数统计部分；数据预处理部分将监控设备获取到当前人群图像通过高斯核函数对图像进行卷积操作，转化为二值化的真实密度图作为训练的标签，在转化过程中，选用的高斯核函数的关键值σ为15；模型训练部分通过输入原图像与真实密度图，输出预测密度图进行训练，该过程模型不断更新参数，使得预测密度图与真实密度图之间的误差尽可能小，每训练100轮数之后将误差最小的模型参数保存下来，并传输给人数统计部分；人数统计部分使用该参数进行人数统计，将监控设备获取到当前人群彩色图像转化为二值化的人群的密度图，最后对密度图中的像素值进行相加从而得到人数。
25.步骤2：摄像头将获取到人群的视频数据在经过人群计数模型后会传输给人群异常行为识别模型，其特征在于：由于帧差图得到的是人群变化的剧烈程度，理论上只有人的变化。光流得到的是所有物体的变化程度，有背景的噪音。所以将帧差图与光流图结合在一起进行人群异动的判断，有助于减少背景噪音带来的误差，提升判断的准确率；
26.使用视频数据的光流图和csr
‑
net生成的密度视频的帧差图作为输入，输入时的视频尺寸均为224*224*1*64，然后分别经过2个conv block1的卷积模块，conv block1卷积模块由16个1*3*3的3d卷积核，16个3*1*1的3d卷积核，1*2*2的3d最大池化层组成，输出为两组56*56*16*64的特征图；再分别经过2个conv block2的卷积模块，conv block2卷积模块由32个1*3*3的3d卷积核，32个3*1*1的3d卷积核，1*2*2的3d最大池化层组成，输出为两组14*14*32*64的特征图，帧差图对应特征图a，光流图对应特征图b；然后对这两组特征图分别使用1*1*32的全连接层，再用relu激活函数输出，此时输出为两个数，帧差图对应a1，光流图对应b1；然后对a和b使用激活函数为sigmoid，具有1个64节点的隐藏层与2节点的输出层的bp神经网络，最终得到帧差图的权重系数w1和光流图的权重系数w2；
27.接着，我们使用w1*a w2*b作为新的输入，经过2个merging block卷积模块，merging block卷积模块由64个1*3*3的3d卷积核，64个3*1*1的3d卷积核，2*2*2的3d最大池化层组成，输出为3*3*64*64的两组特征图；然后将这两组特征图输入到1*1*64的全连接层中，再利用softmax函数判断其是否为人群异动情况；若输出置信度大于设定阈值(本系统中阈值设定为90％)，则在边缘服务器端判定为人群异动；若小于设定阈值，则将相应视
频片段传入云端服务器再做判断。
28.步骤3：边缘端服务器将边缘端设备汇总的包含人数检测结果的视频与发出报警信息的视频上传到云端服务器，服务器使用相关视频对所对应的模型进行进一步训练，更新模型的参数，提高模型的精度。
29.步骤4：云端服务器包括软件模块，管理模块，硬件模块和接入模块；软件模块为云端服务器中的各个应用模块提供软件支撑，例如视频数据存储模块接口，人群计数模块接口，人群异动判断模块接口，能够使工作人员在云端的客户端上更加便捷对功能模块进行操作；管理模块进行资源管理和任务管理，资源管理实现系统数据的存储与定期删除，任务管理实现对边缘端传输来的报警视频进行识别并再次训练，从而使模型的参数得到更新；硬件层提供硬件资源，对存储资源、计算资源和网络资源使用不同的硬件资源进行管理；接入层为其它模块的数据提供网络接入服务，既能够使监控视频数据传输至云端服务器中，也能够使云端服务器将更新的模型参数下发至边缘端。