一种结合尺度感知的实时人群计数方法

技术特征：
1.一种结合尺度感知的实时人群计数方法，其特征在于包括以下步骤：(1)图像的局部特征提取:在vgg16的基础上，设计专门用于轻量级网络的局部特征提取器(lfe)，主要是缩减网络层数与通道数以降低计算复杂度；(2)多尺度信息提取：多尺度特征提取器(sfem)由6个级联的混合空洞卷积模块(hdc)构成，每相邻两个hdc模块共享相同的权重，由此在控制模型参数同时可以获得更为丰富的尺度信息，hdc模块具体结构如下：首先将输入特征i∈r
n
×
h
×
w
×
c
送入1
×
1卷积层进行通道压缩得到输出特征i0∈r
n
×
h
×
w
×
(c/4)
，其中n、h、w和c分别表示批量大小、高度、宽度，和通道数，然后将i0送入3个级联且扩张率互质的空洞卷积层d＝{1,2,3}，若三个空洞卷积层的输出特征分别为i1∈r
n
×
h
×
w
×
(c/4)
、i2∈r
n
×
h
×
w
×
(c/4)
、i3∈r
n
×
h
×
w
×
(c/4)
，则hdc模块的最终输出为：f
hdc
＝c{i0,i1,i2,i3} i
ꢀꢀꢀꢀꢀꢀ
(1)其中c表示通道拼接操作，此外，在拼接的特征和hdc输入特征i之间还建立了一个残差连接以增强梯度反向传播；(3)多尺度特征信息融合：多尺度特征融合器(sffm)包含3个基于注意力机制的高效融合模块(eaf)，旨在有效融合多种具有不同尺度信息的特征图，本发明提出的多尺度融合器主要融合了来自4个不同模块的特征图，包括lfe的输出f
lef
∈r
n
×
h
×
w
×
c
，和每两个hdc模块的输出f
hdc2
∈r
n
×
h
×
w
×
c
、f
hdc4
∈r
n
×
h
×
w
×
c
、f
hdc6
∈r
n
×
h
×
w
×
c
，同时，为增强梯度反向传播，建立了一个长跳跃连接，多尺度特征融合器的最终输出如下：f
sffm
＝e(e(e(f
lef
,f
hdc2
),f
hdc4
),f
hdc6
) f
lef
ꢀꢀꢀꢀꢀ
(2)其中e表示eaf模块的操作，具体实现细节如下：若两种特征分别为χ1∈r
n
×
h
×
w
×
c
和χ2∈r
n
×
h
×
w
×
c
，对两种输入学习一个权重以便更加有效融合特征，权重学习过程如下：ω1＝g(χ1)
ꢀꢀꢀꢀꢀꢀꢀ
(3)ω2＝g(χ2)
ꢀꢀꢀꢀ
(4)ω'1＝r{σ[f1[c(r(ω1),r(ω2))；θ2]]}
ꢀꢀꢀꢀꢀ
(5)ω'2＝r{σ[f2[c(r(ω1),r(ω2))；θ2]]}
ꢀꢀꢀꢀꢀꢀ
(6)其中g表示全局平均池化，c表示拼接，f(；θ)是一维卷积运算，σ是sigmoid函数，r表示向量变型，之后我们将通道权重应用于两种输入特征χ1、χ2进行特征融合，过程如下：此外，我们采用归一化层对融合后的特征f’eaf
进行处理，然后将其送入1
×
1卷积，生成最终特征图f
eaf
∈r
n
×
h
×
w
×
c
；(4)密度图预测：密度图预测模块(dmr)主要利用sffm输出的特征图预测人群密度分布图，由一系列卷积层和反卷积层构成，其中3个反卷积层负责将特征图恢复到和原图像大小一致，最后在网络的输出添加relu函数以保证密度图中所有像素值非负；(5)本发明方法采用归一化欧几里得损失函数(nel)和多级交并比损失函数(miou)共同训练网络模型，nel用来度量每个像素处预测值与真值之间的误差，同时可缓解训练时样本不平衡问题，计算多级交并比损失时，首先，利用以下公式获得预测人群数量c
est
和真实人群数量c
gt
：
其中d
gt
为真实密度图，d
est
是预测的密度图，(i，j)表示密度图中的像素位置，由iou损失函数定义如下：其中∩表示交叉运算，∪表示并集运算，由于预测的位置和真实位置之间可能存在像素偏差，所以进行下采样操作以减小由像素偏差带来的衡量误差，最终miou计算公式如下：其中，l表示下采样为原图的1/(2^(l-1))大小，本发明公布的方法中将l设置为4以获得最佳性能，最终网络训练的目标损失函数lc定义如下：l
c
＝nl
e
miou
ꢀꢀꢀꢀꢀꢀ
(12)实验表明该损失函数能较大程度提升网络性能。2.如权利要求1所述的一种结合尺度感知的实时人群计数方法，其特征在于改进的局部特征提取器lfe。3.如权利要求1所述的一种结合尺度感知的实时人群计数方法，其特征在于采用设计的尺度特征提取器sfem提取多尺度信息。4.如权利要求1所述的一种结合尺度感知的实时人群计数方法，其特征在于融合提取到的多尺度信息时采用设计的多尺度信息融合模块sffm。5.如权利要求1所述的一种结合尺度感知的实时人群计数方法，其特征在于利用密度图回归模块预测输出密度图。6.如权利要求1所述的一种结合尺度感知的实时人群计数方法，其特征在于采用多级交并比损失函数指导网络学习准确的人群识别和密度值估计。7.一种用于执行要求1至6所述结合尺度感知的实时人群计数方法。

技术总结
本发明公布了一种结合尺度感知的实时人群计数方法，主要包括以下步骤：首先对图像提取局部特征，根据提取的结果采用尺度模块(SFEM)学习多尺度信息以适应场景中人群的尺度变化。然后利用尺度融合模块(SFFM)将具有不同尺度信息的特征图融合在一起，以增强网络的尺度表达能力，并将最终输出特征图送入回归模块(DMR)预测输出人群密度图。此外，本发明还提出多级交并比联合损失函数(MIoU),以进一步减小网络模型的背景误识率和预测误差。实验结果表明，本发明方法能够有效地减小网络模型的参数量和推理时间，满足边缘设备的实时性需求，在精度和复杂度上可以达到一个更好的平衡。在精度和复杂度上可以达到一个更好的平衡。


技术研发人员：严华 祝福顺
受保护的技术使用者：四川大学
技术研发日：2021.04.26
技术公布日：2022/11/10