应用于公共室外场景的人体动作检测系统的制作方法

1.本发明是目标检测网络的应用技术领域，具体是一种应用于公共室外场景的人体动作检测系统。
技术背景
2.随着室外视频监控系统的广泛应用，人们不仅需要有效的管理，还需要实时的提取运动目标信息。室外场景下行为检测的难点在于室外场景变化多端，光线变化较大，行人的运动毫无规律可言，需要检测的领域较为广泛。


技术实现要素：

3.本发明提出一种行为检测系统，由采集设备和中心处理器构成，可依据场景的变化调整角度和方向，并且中心处理器嵌入了行为检测算法，可以解决场景变化带来的干扰。
4.为了解决上述技术中存在的问题，本发明提出一种应用于室外公共场景的人体动作检测系统，包括图像采集设备和中心处理器；图像采集设备采集得到的图像经中心处理器识别后输出；中心处理器发送角度调整信号给各个图形采集设备；图像采集设备部署在人流密集的广场区域或是易发生事故的人流交汇处；图像采集设备定时采集相应场所的图像，并将图像上传到中心处理器，中心处理器采用智能算法对其进行检测，获取行为类别；
5.智能算法采用卷积网络模型，该卷积网络模型是在经典的yolov3卷积网络模型中，在分类网络中引入改进后分层双线性池化(hierarchical bilinear pooling)模型；并在二维卷积网络中引入注意力机制构成。
6.中心处理器中，图像采集设备得到的图像先转换成灰度图，再等比例缩放，把后的图片中的像素值贴到灰度图中；缩放后图片中的像素值需归一化；
7.在yolov3卷积网络模型中，特征提取网络的各个特征提取层提取特征经过conv2d操作得到特征图；对于后三个特征提取层，分别采用改进后的分层双线性(hierarchical bilinear)网络对提取的相应特征进行预测，然后与原预测结果融合后输出。
附图说明
8.图1是本实施例的应用于公共室外场景的人体动作检测系统。
具体实施方式
9.下面结合附图与具体实施方式对本发明进行说明：
10.参考图1，一种应用于室外公共场景的人体动作检测系统，它包括图像采集设备和中心处理器；图像采集设备采集得到的图像经中心处理器识别后输出；
11.图像采集设备在室外场景中主要部署在较为密集的广场区域或是易发生事故的人流交汇处，图像采集设备主要包含海康摄像头等采集设备，定时采集该场所下的图像，并将图像上传到中心处理器，中心处理器利用特定的算法对其进行检测，获取行为类别，由于
室外光线变换带来的影响使得室外检测效果较差，而本系统采用的算法解决了上述难点。
12.本系统中，图像采集设备采集到的视频帧数据由中心处理器处理，得到带有人体动作识别框的图片；在中心处理器中，采用改进的yolov3卷积网络模型进行视频帧处理。
13.对于改进的yolov3卷积网络模型，其处理步骤为：
14.步骤1：搭建网络的数据处理模块，
15.待检测图片、视频帧首先通过数据预处理生成一个416
×
416(r，g，b＝128，128，128)的灰度图，按照原图的长宽比进行缩放，将缩放后图片的像素值粘贴到灰度图中，没有粘贴到的部分保留灰度值不变，缩放后的图片中的像素值除以255进行归一化处理。
16.步骤2：特征提取，将处理好的图像数据送入darknet53网络，提取特征，darknet-53网络对输入图片进行5次下采样，每个尺度上的特征图通道数是上一尺度特征图的两倍，这5个尺度上的残差连接个数分别为1、2、8、8、4，并采用最后三个尺度上的特征图作为分类连接层，通过前两个尺度的特征图中的空间注意力模型扩大特征图的感受视野，充分提取浅层空间信息，通过后三个尺度的通道注意力模型，进一步增强通道中的有用信息，并抑制无用信息。最后生成13x13、26x26、52x52的特征图。
17.步骤3：特征交互，将生成的的三个特征图相互作元素积(hadamard product[65])进行层间信息互补，然后采用sum pooling降维，减少参数计算量，并通过非线性变换、l2正则化提升网络表征能力，最后将变换得到的特征图进行维度拼接，采用全连接层进行分类。
[0018]
(1)分层双线性池化hierarchical bilinear网络将选取到的三个大小为w
×h×
c的特征图相互作元素积进行层间信息互补得到三个w
×h×
c的特征图，w、h、c分别为特征图的宽、高、通道数目。经过非线性变换，其表达式见式：其中x为输入特征向量，b为浮点数常量。
[0019]
y＝sign(x)x b
[0020]
(2)特征图经过非线性变换后进行维度拼接，采用1
×
1卷积分类，计算公式见下式：其中z
hb
为检测结果矩阵，p
t
是分类矩阵，x、y、z为输入特征图矩阵，t
x
、ty、tw、th为目标位置信息，p0置信度值，p1，..pn为n个分类结果值。
[0021]zhb
=p
tconcat
(x，y，z)=(t
x
ty tw th) p0 (p1 p2 ... pn)
[0022]
(3)改进后的网络的输出由原网络和改进后的hierarchical bilinear网络组成，将两个网络在三个不同的尺度上进行预测，将二者的输出结果进行融合，融合过程见下式：其中y
yolo
为原网络输出，y
hb
指细粒度分类结果，α为调节参数
[0023]
y=αy
yolo
(1-α)y
hb
。


技术特征：
1.一种应用于室外公共场景的人体动作检测系统，包括图像采集设备和中心处理器；图像采集设备采集得到的图像经中心处理器识别后输出；中心处理器发送角度调整信号给各个图形采集设备，其特征是图像采集设备部署在人流密集的广场区域或是易发生事故的人流交汇处；图像采集设备定时采集相应场所的图像，并将图像上传到中心处理器，中心处理器采用智能算法对其进行检测，获取行为类别；智能算法采用卷积网络模型，该卷积网络模型是在经典的yolov3卷积网络模型中，在分类网络中引入改进后的分层双线性池化模型；并在二维卷积网络中引入注意力机制构成。2.根据权利要求1所述的应用于室外公共场景的人体动作检测系统，其特征是在中心处理器中：图像采集设备得到的图像先转换成灰度图，再等比例缩放，把后的图片中的像素值贴到灰度图中；缩放后图片中的像素值归一化；处理后的图片由卷积网络模型处理；在yolov3卷积网络模型中：特征提取网络的各个特征提取层提取特征经过conv2d操作得到特征图；对于后三个特征提取层，分别采用改进后的分层双线性网络对提取的相应特征进行预测，然后与原预测结果融合后输出。3.根据权利要求1所述的应用于室外公共场景的人体动作检测系统，其特征是改进后分层双线性池化模型是是将三个通道生成的三个特征图相互作元素积进行层间信息互补，然后采用sum pooling降维，并通过非线性变换、l2正则化，最后将变换得到的特征图进行维度拼接，采用全连接层进行分类输出。4.根据权利要求3所述的应用于室外公共场景的人体动作检测系统，其特征是首先，分层双线性网络将选取到的三个大小为w
×
h
×
c的特征图相互作元素积进行层间信息互补得到三个w
×
h
×
c的特征图，经过非线性变换，表达式如下所示，其中x为输入特征向量，b为浮点数常量，y＝sign(x)x b然后，特征图经过非线性变换后进行维度拼接，采用1
×
1卷积分类，计算公式如下，其中z
hb
为检测结果矩阵，p
t
是分类矩阵，x、y、z为输入特征图矩阵，t
x
、t
y
、t
w
、t
h
为目标位置信息，p0置信度值，p1，..p
n
为n个分类结果值；z
hb
=p
t
concat(x，y，z)=(t
x
t
y
t
w
t
h
) p0 (p1 p2 ... p
n
)最后，网络的输出由原网络和改进后的分层双线性网络组成，将两个网络在三个不同的尺度上进行预测，将二者的输出结果进行融合，融合过程见下式，其中y为改进后的yolov3输出结果，y
yolo
为原网络输出，y
hb
指细粒度分类结果，α为调节参数y=αy
yolo
(1-α)y
hb
。

技术总结
一种应用于室外公共场景的人体动作检测系统，包括图像采集设备和中心处理器；图像采集设备采集得到的图像经中心处理器识别后输出；中心处理器发送角度调整信号给各个图形采集设备。图像采集设备部署在人流密集的广场区域或是易发生事故的人流交汇处；图像采集设备定时采集相应场所的图像，并将图像上传到中心处理器，中心处理器采用智能算法对其进行检测，获取行为类别；智能算法采用卷积网络模型，该卷积网络模型是在经典的Yolov3卷积网络模型中的分类网络中引入改进后的分层双线性池化模型；并在二维卷积网络中引入注意力机制构成。本发明可依据场景的变化调整角度和方向，在中心处理器嵌入了行为检测算法，可以解决场景变化带来的干扰。景变化带来的干扰。景变化带来的干扰。


技术研发人员：张修文
受保护的技术使用者：苏州玖合智能科技有限公司
技术研发日：2022.02.15
技术公布日：2022/7/1