多特征信息融合的人群密度估计方法、设备及存储介质与流程

技术特征：
1.一种多特征信息融合的人群密度估计方法，其特征在于，具体步骤如下：s1构建训练数据集，对训练数据集进行预处理；s2构建并训练多特征信息融合卷积神经网络，得到多特征信息融合的人群密度估计模型；所述多特征信息融合卷积神经网络分为上下两层，上层包括vgg16前10层，下层包括vgg16前10层后衔接的空间注意力透视网络、多尺度信息聚合网络、语义嵌入融合网络以及后端空洞卷积网络；s3使用多特征信息融合的人群密度估计模型对待检测数据集中的人群密度进行检测，输出最终的人群密度图。2.根据权利要求1所述的一种多特征信息融合的人群密度估计方法，其特征在于，步骤s2中，1)构建多特征信息融合的人群密度估计网络，将基础骨架vgg16中的第二、三、十层的结果分别输出，生成一组不同分辨率的初始特征图；2)将第十层的初始特征图输入多尺度信息聚合网络，多尺度信息聚合网络通过多尺度非对称卷积捕捉第十层的特征图的多尺度特征，通过不同膨胀率的空洞卷积扩大多尺度特征的群感受野，得到多尺度图像上下文信息f
m
；3)将第十层的特征图输入空间注意力透视网络，空间注意力透视网络对第十层的初始特征图进行四个方向的卷积得到四张特征图，对得到的特征图进行融合，得到空间全局上下文信息f
p
；4)将第二、三层的初始特征图与步骤2中的多尺度图像上下文信息f
m
在语义嵌入融合网络中进行语义嵌入上采样，语义上采样后再进行语义嵌入融合得到语义嵌入特征图f
se
；5)将步骤3)空间全局上下文信息f
p
和步骤2)中的多尺度图像上下文信息f
m
拼接后输入空洞卷积网络第一层，步骤4)得到的语义嵌入特征图f
se
输入空洞卷积网络第五层，通过后端空洞卷积网络输出得到预测密度图m；6)根据预测密度图m与对应真值图计算人群密度估计损失值，利用人群密度估计损失值对所述多特征信息融合的人群密度估计网络进行训练得到多特征信息融合的人群密度估计模型。3.根据权利要求2所述的一种多特征信息融合的人群密度估计方法，其特征在于，步骤2)中，所述多尺度非对称卷积采用1
×
1、3
×
3、5
×
5三种不同卷积核尺寸，所述多尺度非对称卷积包括训练和部署两个阶段，其中训练阶段为将现有网络每一个3
×
3卷积层替换成3
×
3、3
×
1、1
×
3三个卷积层，所述部署阶段为融合三个卷积核再对初始特征图进行卷积。4.根据权利要求2所述的一种多特征信息融合的人群密度估计方法，其特征在于，步骤2)中，所述不同空洞率的空洞卷积包括rate＝1、rate＝3和rate＝5的3
×
3扩张卷积。5.根据权利要求2所述的一种多特征信息融合的人群密度估计方法，其特征在于，步骤3)中，所述四个方向的卷积依次为从左到右，从右到左，从上到下，从下到上的卷积。6.根据权利要求2所述的一种多特征信息融合的人群密度估计方法，其特征在于，步骤4)中，所述语义嵌入融合算法如公式(3)所示：m
l
＝upsample(m
l
) f(m
l
‑1,m
l
)，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)f
se
＝m3，式中，l＝[1,2,3]，f(﹒)函数功能为矩阵逐元素相乘操作，uupsample(m
l
)为对第l层的特征进行上采样。
7.根据权利要求2所述的一种多特征信息融合的人群密度估计方法，其特征在于，步骤5)中，所述后端空洞卷积网络为六层。8.根据权利要求1所述的一种多特征信息融合的人群密度估计方法，其特征在于，步骤s1中，所述预处理为对训练数据集进行数据增强。9.一种计算机设备，其特征在于，所述计算机设备包括计算机、服务器或者其他具有计算功能的终端设备，所述设备包括通过总线连接的处理器、存储器，所述存储器中储存程序，并且该程序被配制成由处理器执行，程序包括用于执行权利要求1
‑
8中任一项中所述的多特征信息融合的人群密度估计方法。10.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机程序，所述程序被处理器执行，处理器执行所述计算机程序时，实现权利要求1
‑
8中任一项中所述的多特征信息融合的人群密度估计方法。

技术总结
本发明公开一种多特征信息融合的人群密度估计方法、设备及存储介质，具体步骤为，构建训练数据集，对训练数据集进行预处理；构建并训练多特征信息融合卷积神经网络，得到多特征信息融合的人群密度估计模型；所述多特征信息融合卷积神经网络分为上下两层，上层包括VGG16前10层，下层包括VGG16前10层后衔接的空间注意力透视网络、多尺度信息聚合网络、语义嵌入融合网络以及后端空洞卷积网络；使用多特征信息融合的人群密度估计模型对待检测数据集中的人群密度进行检测，输出最终的人群密度图；本发明提高了人群密度估计模型的准确度与鲁棒性，提升人群密度估计方法的性能，为人群密度估计算法在工业当中的实际部署落地做出有益尝试。有益尝试。有益尝试。


技术研发人员：孟月波 陈宣润 占华 刘光辉 徐胜军
受保护的技术使用者：西安建筑科技大学
技术研发日：2021.09.07
技术公布日：2021/12/2