一种雾天场景人群计数方法

1.本发明涉及图像处理领域，尤其是一种雾天场景人群计数方法。


背景技术：

2.随着经济的快速发展和居民生活水平的不断提高，人群密集现象越发频繁，人群过度拥挤随之带来的安全隐患也越发严重，例如节假日的旅游景点、新年回家和返工的火车站、大型体育比赛的场地、宗教活动以及明星的粉丝见面会和演唱会等。人群密集不仅会导致交通堵塞、给城市管理带来压力，更有可能导致踩踏事件。由于户外场景受天气因素的影响较大，雾天在全年的天气中占有很大比例，尤其在每年的春冬季(2月至4月、10月至12月)。因此在雾天场景下人们出行是不可能避免的。
3.人群计数作为人群分析等以人为研究对象的场景理解任务基本核心功能之一，历来受到学术界和工业界的广泛关注。已有人群计数方法主要分为三类：基于检测的方法、基于回归的方法以及基于密度图估计的方法。基于检测的方法和基于回归的方法易受到遮挡和复杂背景的影响，较适用于稀疏人群，也忽略了人群分布等空间分布信息。近年来的人群计数方法技术研究多采用基于密度图估计的方法。同时现有人群计数的相关方法及技术大多是针对晴朗天气场景下进行研究和设计的。雾天场景图像的能见度剧烈下降、颜色变化、人群轮廓模糊、外观辨识度显著降级导致在雾天场景的人群计数任务具有较大挑战性。已有技术对于雾天场景下人群计数的效果十分有限。


技术实现要素：

4.本发明需要解决的技术问题是提供一种雾天场景人群计数方法，以提升雾天场景的特征表达能力进而具备较高的人群计数准确性。
5.为解决上述技术问题，本发明所采用的技术方案是：一种雾天场景人群计数方法，包括如下步骤：
6.步骤101：将雾天场景图像输入主干网络进行初始特征提取，得到初始特征图；
7.步骤102：将初始特征图输入跨尺度多方向注意增强模块，得到尺度感知多方向注意增强特征图；
8.步骤103：将尺度感知多方向注意增强特征图与初始特征图进行融合，得到高级语义特征图；
9.步骤104：将高级语义特征图输入密度图回归模块进行密度图回归，得到人群密度图；
10.步骤105：将人群密度图的像素值求和，得到人群计数结果。
11.本发明技术方案的进一步改进在于：所述步骤101中所述主干网络包括十层卷积层和三层池化层，所述主干网络从输入依次为：两个卷积层、一个池化层、两个卷积层、一个池化层、三个卷积层、一个池化层和三个卷积层，每个卷积层的卷积核尺寸均为3
×
3，从输入到输出方向各卷积层依次生成64张特征图、64张特征图、128张特征图、128张特征图、256
张特征图、256张特征图、256张特征图、512张特征图、512张特征图和512张特征图，各池化层的类型为步长为2的最大池化层。
12.本发明技术方案的进一步改进在于：所述步骤102的具体步骤如下：
13.步骤1021：将步骤101中的初始特征图输入至第一扩张卷积层中，得到第一尺度特征图，所述第一扩张卷积层的卷积核尺寸为3
×
3，扩张率为1，输出通道数为512；
14.步骤1022：将第一尺度特征图输入二维方向感知增强模块，得到第一尺度二维方向感知增强特征图；将第一尺度特征图输入空间注意增强模块，得到第一尺度空间注意增强特征图，将第一尺度二维方向感知增强特征图和第一尺度空间注意增强特征图进行对应像素位置相加，得到第一尺度多方向注意特征增强特征图；
15.步骤1023：将初始特征图和第一尺度多方向注意特征增强特征图进行对应位置像素相加，相加结果输入至第二扩张卷积层中，得到第二尺度特征图，所述第二扩张卷积层的卷积核尺寸为3
×
3，扩张率为2，输出通道数为512；
16.步骤1024：将第二尺度特征图输入二维方向感知增强模块，得到第二尺度二维方向感知增强特征图；将第二尺度特征图输入空间注意增强模块，得到第二尺度空间注意增强特征图；将第二尺度二维方向感知增强特征图和第二尺度空间注意增强特征图进行对应像素位置相加，得到第二尺度多方向注意特征增强特征图；
17.步骤1025：将初始特征图和第二尺度多方向注意特征增强特征图进行应置像素相加，相加结果输入至第三扩张卷积层中，得到第三尺度特征图，所述第三扩张卷积层的卷积核尺寸为3
×
3，扩张率为3，输出通道数为512；
18.步骤1026：将第三尺度特征图输入二维方向感知增强模块，得到第三尺度二维方向感知增强特征图；将第三尺度特征图输入空间注意增强模块，得到第三尺度空间注意增强特征图；将第三尺度二维方向感知增强特征图和第三尺度空间注意增强特征图进行对应像素位置相加，得到第三尺度多方向注意特征增强特征图；
19.步骤1027：将初始特征图和第三尺度多方向注意特征增强特征图应置像素相加，相加结果输入至第四扩张卷积层中，得到第四尺度特征图，所述第四扩张卷积层的卷积核尺寸为3
×
3，扩张率为4，输出通道数为512；
20.步骤1028：将第四尺度特征图输入二维方向感知增强模块，得到第四尺度二维方向感知增强特征图；将第四尺度特征图输入空间注意增强模块，得到第四尺度空间注意增强特征图；将第四尺度二维方向感知增强特征图和第四尺度空间注意增强特征图进行对应像素位置相加，得到第四尺度多方向注意特征增强特征图；
21.步骤1029：将第一尺度多方向注意特征增强特征图、第二尺度多方向注意特征增强特征图、第三尺度多方向注意特征增强特征图和第四多方向注意特征增强特征图进行对应像素位置相加，得到尺度感知多方向注意增强特征图。
22.本发明技术方案的进一步改进在于：所述步骤1022中将第一尺度特征图输入二维方向感知增强模块，得到第一尺度二维方向感知增强特征图的具体过程为：
23.将所述第一尺度特征图沿着水平坐标方向和垂直坐标方向进行自适应平均池化，分别生成尺寸为(h,1,c)的第一尺度水平池化结果和尺寸为(1,w,c)的第一尺度垂直池化结果，所述第一尺度特征图的尺寸为(h,w,c)；将第一尺度水平池化结果进行宽和高方向的转置，得到第一尺度水平池化转置结果；将第一尺度水平池化转置结果和第一尺度垂直池
化结果进行通道链接，得到第一尺度通道链接结果；将第一尺度通道连接结果输入第一尺度卷积层，得到第一尺度卷积结果，所述第一尺度卷积层的卷积核尺寸为1
×
1；将第一尺度卷积结果进行切片，得到第一尺度水平切片结果和第一尺度垂直切片结果；将第一尺度水平切片结果进行转置，得到第一尺度水平切片转置结果；将第一尺度水平切片转置结果和第一尺度垂直切片结果分别输入sigmoid函数，分别生成第一尺度水平切片转置sigmoid变换结果和第一尺度垂直切片sigmoid变换结果，将这两者及第一尺度特征图进行对应像素位置相乘，相乘后的结果为第一尺度二维方向感知增强特征图。
24.本发明技术方案的进一步改进在于：所述步骤1024中的将第二尺度特征图输入二维方向感知增强模块得到第二尺度二维方向感知增强特征图的过程、步骤1026中的将第三尺度特征图输入二维方向感知增强模块得到第三尺度二维方向感知增强特征图的过程、步骤1028中的将第四尺度特征图输入二维方向感知增强模块得到第四尺度二维方向感知增强特征图的过程，与步骤1022中的将第一尺度特征图输入二维方向感知增强模块得到第一尺度二维方向感知增强特征图的具体过程相同。
25.本发明技术方案的进一步改进在于：二维方向感知增强模块的最终输出的二维方向感知增强特征图表示为：
[0026][0027]
式中，xc(i,j)为输入特征图，为水平方向变换结果，为垂直方向换结果。
[0028]
本发明技术方案的进一步改进在于：所述步骤1022中将第一尺度特征图输入空间注意增强模块，得到第一尺度空间注意增强特征图的具体过程为：将第一尺度特征图进行通道维度的最大池化，得到第一尺度通道最大池化结果；将第一尺度通道最大池化结果依次输入一个卷积层、一个sigmoid操作，得到第一尺度空间注意矩阵，所述卷积层的卷积核尺寸为7
×
7，输出特征图的通道数为1；将第一尺度空间注意矩阵和第一尺度特征图进行对应位置相乘，相乘的结果为第一尺度空间注意增强特征图。
[0029]
本发明技术方案的进一步改进在于：所述步骤1024中的将第二尺度特征图输入空间注意增强模块得到第二尺度空间注意增强特征图的过程、步骤1026中的将第三尺度特征图输入空间注意增强模块得到第三尺度空间注意增强特征图的过程、步骤1028中的将第四尺度特征图输入空间注意增强模块得到第四尺度空间注意增强特征图的过程，与步骤1022中的将第一尺度特征图输入空间注意增强模块得到第一尺度空间注意增强特征图的具体过程相同。
[0030]
本发明技术方案的进一步改进在于：所述步骤103中将尺度感知多方向注意增强特征图与初始特征图进行通道链接，通道链接结果即为高级语义特征图。
[0031]
本发明技术方案的进一步改进在于：所述步骤104中密度图回归模块依次包含六个扩张卷积层和一个卷积层，每个扩张卷积层的卷积核尺寸为3
×
3，扩张率均为2，各所述扩张卷积层生成的特征图通道数由输入至输出方向依次为512、512、512、256、128和64；所述卷积层的卷积核尺寸为1
×
1，输出通道数为1，输出特征图即为人群密度图。
[0032]
由于采用了上述技术方案，本发明取得的技术进步是：
[0033]
1、本发明利用多方向注意增强操作来降低雾对人群计数任务的负面影响，该模块
将场景图像在水平和垂直方向对特征进行编码，可以捕捉到沿空间方向的长期依赖关系，同时保存空间方向的精确位置信息，进而突出感兴趣的目标，从而降低场景中雾等模糊现象对人群计数性能的负面影响，提升了设计的人群计数方法的普适性。
[0034]
2、本发明在不增加参数的情况下，采用初始特征提供部分有益信息，有机地结合多列尺度感知特征图来使得提取的场景特征包含了具有对尺度变换更鲁棒的位置信息，进而实现雾天场景的有效特征建模，从而实现精准鲁棒的人群计数。
附图说明
[0035]
图1为本发明雾天场景人群计数流程图；
[0036]
图2是本发明雾天场景人群计数模型整体结构示意图；
[0037]
图3是采用本发明对雾天场景图像进行人群计数的示意图。
具体实施方式
[0038]
本发明的目的是提供一种雾天场景人群计数方法，通过多方向注意增强操作捕捉沿空间方向的长期依赖关系和空间位置信息，采用初始特征提供部分有益信息并有机地结合其他尺度感知特征图来使得提取的场景特征包含了具有对尺度变换更鲁棒的位置信息，共同实现雾天场景的有效特征建模，从而实现精准鲁棒的人群计数。
[0039]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0040]
图1为本发明雾天场景人群计数方法流程图。如图1所示，一种雾天场景人群计数方法包括:
[0041]
步骤101：将雾天场景图像输入到主干网络进行初始特征提取，得到初始特征图。
[0042]
所述的主干网络包括十层卷积层和三层池化层。所述的主干网络从输入依次为：两个卷积层、一个池化层、两个卷积层、一个池化层、三个卷积层、一个池化层和三个卷积层；各所述卷积层的卷积核尺寸均为3
×
3，从输入到输出方向各卷积层依次生成64张特征图、64张特征图、128张特征图、128张特征图、256张特征图、256张特征图、256张特征图、512张特征图、512张特征图和512张特征图；各所述池化层均为步长为2的最大池化层。
[0043]
步骤102：将初始特征图输入跨尺度多方向注意增强模块，得到尺度感知多方向注意增强特征图。
[0044]
步骤1021：将所述初始特征图输入至一个扩张卷积，得到输入至第一扩张卷积层中，得到第一尺度特征图，所述扩张第一卷积层的卷积核尺寸为3
×
3，扩张率为1，输出特征图的通道数为512。
[0045]
步骤1022：将第一尺度特征图输入二维方向感知增强模块，得到第一尺度二维方向感知增强特征图；将第一尺度特征图输入空间注意增强模块，得到第一尺度空间注意增强特征图；将第一尺度二维方向感知增强特征图和第一尺度空间注意增强特征图进行对应像素位置相加，得到第一尺度多方向注意特征增强特征图。
[0046]
所述第一尺度特征图输入二维方向感知增强模块，得到第一尺度二维方向感知增强特征图，具体过程为：将所述第一尺度特征图沿着水平坐标方向和垂直坐标方向进行自适应平均池化，分别生成尺寸为(h,1,c)的第一尺度水平池化结果和尺寸为(1,w,c)的第一
尺度垂直池化结果，所述第一尺度特征图的尺寸为(h,w,c)；将第一尺度水平池化结果进行宽和高方向的转置，得到第一尺度水平池化转置结果；将第一尺度水平池化转置结果和第一尺度垂直池化结果进行通道链接，得到第一尺度通道链接结果；将第一尺度通道连接结果输入第一尺度卷积层，得到第一尺度卷积结果，所述第一尺度卷积层的卷积核尺寸为1
×
1；将第一尺度卷积结果进行切片，得到第一尺度水平切片结果和第一尺度垂直切片结果；将第一尺度水平切片结果进行转置，得到第一尺度水平切片转置结果；将第一尺度水平切片转置结果和第一尺度垂直切片结果分别输入sigmoid函数，分别生成第一尺度水平切片转置sigmoid变换结果和第一尺度垂直切片sigmoid变换结果，将这两者及第一尺度特征图进行对应像素位置相乘(三者连乘)，相乘后的结果为第一尺度二维方向感知增强特征图。其中，二维方向感知增强模块的最终输出的二维方向感知增强特征图可以表示为
[0047][0048]
式中，xc(i,j)为输入特征图，为水平方向变换结果，为垂直方向换结果。
[0049]
所述将第一尺度特征图输入空间注意增强模块，得到第一尺度空间注意增强特征图，具体过程为：将第一尺度特征图进行通道维度的最大池化，得到第一尺度通道最大池化结果；将第一尺度通道最大池化结果依次输入一个卷积层、一个sigmoid操作，得到第一尺度空间注意矩阵，所述卷积层的卷积核尺寸为7
×
7，输出特征图的通道数为1；将第一尺度空间注意矩阵和第一尺度特征图进行对应像素位置相乘，相乘的结果为第一尺度空间注意增强特征图。
[0050]
步骤1023：将初始特征图和第一尺度多方向注意特征增强特征图进行对应位置像素相加，相加结果输入至第二扩张卷积层中，得到第二尺度特征图，所述第二扩张卷积层的卷积核尺寸为3
×
3，扩张率为2，输出特征图的通道数为512。
[0051]
步骤1024：将第二尺度特征图输入二维方向感知增强模块，得到第二尺度二维方向感知增强特征图；将第二尺度特征图输入空间注意增强模块，得到第二尺度空间注意增强特征图；将第二尺度二维方向感知增强特征图和第二尺度空间注意增强特征图进行对应像素位置相加，得到第二尺度多方向注意特征增强特征图。
[0052]
所述第二尺度特征图输入二维方向感知增强模块，得到第二尺度二维方向感知增强特征图，具体过程为：将所述第二尺度特征图沿着水平坐标方向和竖直坐标方向进行自适应平均池化，分别生成尺寸为(h,1,c)的第二尺度水平池化结果和尺寸为(1,w,c)的第二尺度垂直池化结果，所述第二尺度特征图的尺寸为(h,w,c)；将第二尺度水平池化结果进行宽和高方向的转置，得到第二尺度水平池化转置结果；将第二尺度水平池化转置结果和第二尺度垂直池化结果进行通道链接，得到第二尺度通道链接结果；将第二尺度通道连接结果输入第二尺度卷积层，得到第二尺度卷积结果，所述第二尺度卷积层的卷积核尺寸为1
×
1；将第二尺度卷积结果进行切片，得到第二尺度水平切片结果和第二尺度垂直切片结果；将第二尺度水平切片结果进行转置，得到第二尺度水平切片转置结果；将第二尺度水平切片转置结果和第二尺度垂直切片结果分别输入sigmoid函数，分别生成第二尺度水平切片转置sigmoid变换结果和第二尺度垂直切片sigmoid变换结果，将这两者及第二尺度特征图进行对应像素位置相乘(三者连乘)，相乘后的结果为第二尺度二维方向感知增强特征图。
[0053]
所述将第二尺度特征图输入空间注意增强模块，得到第二尺度空间注意增强特征图，具体过程为：将第二尺度特征图进行通道维度的最大池化，得到第二尺度通道最大池化结果；将第二尺度通道最大池化结果依次输入一个卷积层、一个sigmoid操作，得到第二尺度空间注意矩阵，所述卷积层的卷积核尺寸为7
×
7，输出特征图的通道数为1；将第二尺度空间注意矩阵和第二尺度特征图进行对应像素位置相乘，相乘的结果为第二尺度空间注意增强特征图。
[0054]
步骤1025：将所述初始特征图和第二尺度多方向注意特征增强特征图进行对应位置像素相加，相加结果输入至第三扩张卷积层中，得到第三尺度特征图，所述第三扩张卷积层的卷积核尺寸为3
×
3，扩张率为3，输出特征图的通道数为512。
[0055]
步骤1026：将第三尺度特征图输入二维方向感知增强模块，得到第三尺度二维方向感知增强特征图；将第三尺度特征图输入空间注意增强模块，得到第三尺度空间注意增强特征图；将第三尺度二维方向感知增强特征图和第三尺度空间注意增强特征图进行对应像素位置相加，得到第三尺度多方向注意特征增强特征图。
[0056]
所述第三尺度特征图输入二维方向感知增强模块，得到第三尺度二维方向感知增强特征图，具体过程为：将所述第三尺度特征图沿着水平坐标方向和垂直坐标方向进行自适应平均池化，分别生成尺寸为(h,1,c)的第三尺度水平池化结果和尺寸为(1,w,c)的第三尺度垂直池化结果，所述第三尺度特征图的尺寸为(h,w,c)；将第三尺度水平池化结果进行宽和高方向的转置，得到第三尺度水平池化转置结果；将第三尺度水平池化转置结果和第三尺度垂直池化结果进行通道链接，得到第三尺度通道链接结果；将第三尺度通道连接结果输入第三尺度卷积层，得到第三尺度卷积结果，所述第三尺度卷积层的卷积核尺寸为1
×
1；将第三尺度卷积结果进行切片，得到第三尺度水平切片结果和第三尺度垂直切片结果；将第三尺度水平切片结果进行转置，得到第三尺度水平切片转置结果；将第三尺度水平切片转置结果和第三尺度垂直切片结果分别输入sigmoid函数，分别生成第三尺度水平切片转置sigmoid变换结果和第三尺度垂直切片sigmoid变换结果，将这两者及第三尺度特征图进行对应像素位置相乘(三者连乘)，相乘后的结果为第三尺度二维方向感知增强特征图。
[0057]
所述将第三尺度特征图输入空间注意增强模块，得到第三尺度空间注意增强特征图，具体过程为：将第三尺度特征图进行通道维度的最大池化，得到第三尺度通道最大池化结果；将第三尺度通道最大池化结果依次输入一个卷积层、一个sigmoid操作，得到第三尺度空间注意矩阵，所述卷积层的卷积核尺寸为7
×
7，输出特征图的通道数为1；将第三尺度空间注意矩阵和第三尺度特征图进行对应像素位置相乘，相乘的结果为第三尺度空间注意增强特征图。
[0058]
步骤1027：将所述初始特征图和第三尺度多方向注意特征增强特征图进行对应位置像素相加，相加结果输入至第四扩张卷积层中，得到第四尺度特征图，所述第四扩张卷积层的卷积核尺寸为3
×
3，扩张率为4，输出特征图的通道数为512。
[0059]
步骤1028：将第四尺度特征图输入二维方向感知增强模块，得到第四尺度二维方向感知增强特征图；将第四尺度特征图输入空间注意增强模块，得到第四尺度空间注意增强特征图；将第四尺度二维方向感知增强特征图和第四尺度空间注意增强特征图进行对应像素位置相加，得到第四尺度多方向注意特征增强特征图。
[0060]
所述第四尺度特征图输入二维方向感知增强模块，得到第四尺度二维方向感知增
强特征图，具体过程为：将所述第四尺度特征图沿着水平坐标方向和垂直坐标方向进行自适应平均池化，分别生成尺寸为(h,1,c)的第四尺度水平池化结果和尺寸为(1,w,c)的第四尺度垂直池化结果，所述第四尺度特征图的尺寸为(h,w,c)；将第四尺度水平池化结果进行宽和高方向的转置，得到第四尺度水平池化转置结果；将第四尺度水平池化转置结果和第四尺度垂直池化结果进行通道链接，得到第四尺度通道链接结果；将第四尺度通道连接结果输入第四尺度卷积层，得到第四尺度卷积结果，所述第四尺度卷积层的卷积核尺寸为1
×
1；将第四尺度卷积结果进行切片，得到第四尺度水平切片结果和第四尺度垂直切片结果；将第四尺度水平切片结果进行转置，得到第四尺度水平切片转置结果；将第四尺度水平切片转置结果和第四尺度垂直切片结果分别输入sigmoid函数，分别生成第四尺度水平切片转置sigmoid变换结果和第四尺度垂直切片sigmoid变换结果，将这两者及第四尺度特征图进行对应像素位置相乘(三者连乘)，相乘后的结果为第四尺度二维方向感知增强特征图。
[0061]
所述将第四尺度特征图输入空间注意增强模块，得到第四尺度空间注意增强特征图，具体过程为：将第四尺度特征图进行通道维度的最大池化，得到第四尺度通道最大池化结果；将第四尺度通道最大池化结果依次输入一个卷积层、一个sigmoid操作，得到第四尺度空间注意矩阵，所述卷积层的卷积核尺寸为7
×
7，输出特征图的通道数为1；将第四尺度空间注意矩阵和第四尺度特征图进行对应像素位置相乘，相乘的结果为第四尺度空间注意增强特征图。
[0062]
步骤1029：将所述第一尺度多方向注意特征增强特征图、所述第二尺度多方向注意特征增强特征图、所述第三尺度多方向注意特征增强特征图、所述第四多方向注意特征增强特征图进行对应像素位置相加，得到尺度感知多方向注意增强特征图。
[0063]
步骤103：将所述尺度感知多方向注意增强特征图与初始特征图进行通道链接，通道链接结果即为高级语义特征图。
[0064]
步骤104：将所述高级语义特征图输入密度图回归模块进行密度图回归，得到人群密度图。
[0065]
所述密度图回归模块从输入到输出方向依次包含六个扩张卷积层和一个卷积层，每个扩张卷积层的卷积核尺寸为3
×
3，扩张率均为2，各所述扩张卷积层生成的特征图通道数由输入至输出方向依次为512、512、512、256、128和64；所述卷积层的卷积核尺寸为1
×
1，输出结果的通道数为1，输出特征图即为人群密度图。
[0066]
步骤105：将所述人群密度图的像素值求和，得到人群计数结果。
[0067]
下面结合本发明的具体实施例来进一步说明本发明的方案。
[0068]
步骤1：准备任意分辨率的雾天场景图像作为输入，由于本发明中模型不使用任何全连接层，所以可以接收任意尺寸的图像作为输入。
[0069]
步骤2：建立雾天场景人群计数模型，整体结构如图2所示，图2为本发明雾天场景人群计数模型整体结构示意图。建立雾天场景人群计数模型的过程如下：
[0070]
2.1)建立主干网络部分，将雾天场景图像输入到主干网络后，获得初始特征图。这一阶段从输入到输出依次包括2个卷积层、1个池化层、2个卷积层、1个池化层、3个卷积层、1个池化层和3个卷积层；各卷积层的卷积核尺寸均为3
×
3，从输入到输出方向生成的特征图通道数依次为：64、64、128、128、256、256、256、512、512和512；各池化层均为步长是2的最大池化层。
[0071]
2.2)建立跨尺度多方向注意增强模块，如图2所示，跨尺度多方向注意增强模块共包含4列结构，每一列包含1个扩张卷积层、1个二维方向感知增强模块、1个空间注意增强模块；第1列、第2列、第3列和第4列扩张卷积层的卷积核尺寸均为3
×
3，扩张率依次为1、2、3和4；第1列、第2列、第3列和第4列的二维方向感知增强模块结构相同，包含：2个自适应平均池化层、1个卷积层、1个切片操作和2个sigmoid变换，2个自适应平均池化层的窗口尺寸分别为：(窗口宽和输入特征图的宽相同，高为1)/(窗口宽为1，高和输入特征图的高相同)，卷积层的卷积核尺寸为1
×
1；第1列、第2列、第3列和第4列的空间注意增强模块结构相同，包含：1个通道维度的最大池化层和1个卷积层，卷积层的卷积核尺寸为7
×
7。
[0072]
2.2.1)建立跨尺度多方向注意增强模块的第1列结构，接收2.1)中初始特征图作为输入，经过扩张卷积层，生成第一尺度特征图；将第一尺度特征图输入二维方向感知增强模块，生成第一尺度二维方向感知增强特征图；将第一尺度特征图输入空间注意增强模块，生成第一尺度空间注意增强特征图；将第一尺度二维空间增强特征图和第一尺度空间增强特征图进行对应像素位置相加，得到第一尺度多方向注意特征增强特征图。
[0073]
将第一尺度特征图输入二维方向感知增强模块，生成第一尺度二维方向感知增强特征图，具体包括：将第一尺度特征图分别输入2个自适应平均池化层，随后将池化结果进行通道链接；将通道链接结果输入卷积层并进行水平和垂直方向的切片，得到两个切片结果并分别进行sigmoid变换，将两个变换结果分别进行维度扩展，使其具备和第一尺度特征图相同的维度，将两个维度扩展后的结果与第一尺度特征图进行对应像素位置相乘，相乘结果即为第一尺度二维方向感知增强特征图。
[0074]
将第一尺度特征图输入空间注意增强模块，生成第一尺度空间注意增强特征图，具体包括：将第一尺度特征图依次输入最大池化层和卷积层，随后与第一尺度特征图进行对应像素位置相乘，相乘后的结果为第一尺度空间注意增强特征图。
[0075]
2.2.2)建立跨尺度多方向注意增强模块的第2列结构，接收2.1)中初始特征图和2.2.1)中的第一尺度多方向注意特征增强特征图作为输入，将两者进行对应像素位置相加，将相加后的结果经过扩张卷积层，生成第二尺度特征图；将第二尺度特征图输入二维方向感知增强模块，生成第二尺度二维方向感知增强特征图；将第二尺度特征图输入空间注意增强模块，生成第二尺度空间注意增强特征图；将第二尺度二维空间增强特征图和第二尺度空间增强特征图进行对应像素位置相加，得到第二尺度多方向注意特征增强特征图。
[0076]
将第二尺度特征图输入二维方向感知增强模块，生成第二尺度二维方向感知增强特征图，具体包括：将第二尺度特征图分别输入2个自适应平均池化层，随后将池化结果进行通道链接；将通道链接结果输入卷积层并进行水平和垂直方向的切片，得到两个切片结果并分别进行sigmoid变换，将两个变换结果分别进行维度扩展，使其具备和第二尺度特征图相同的维度，将两个维度扩展后的结果与第二尺度特征图进行对应像素位置相乘，相乘结果即为第二尺度二维方向感知增强特征图。
[0077]
将第二尺度特征图输入空间注意增强模块，生成第二尺度空间注意增强特征图，具体包括：将第二尺度特征图依次输入最大池化层和卷积层，随后与第二尺度特征图进行对应像素位置相乘，相乘后的结果为第二尺度空间注意增强特征图。
[0078]
2.2.3)建立跨尺度多方向注意增强模块的第3列结构，接收2.1)中初始特征图和2.2.2)中的第二尺度多方向注意特征增强特征图作为输入，将两者进行对应像素位置相
加，将相加后的结果经过扩张卷积层，生成第三尺度特征图；将第三尺度特征图输入二维方向感知增强模块，生成第三尺度二维方向感知增强特征图；将第三尺度特征图输入空间注意增强模块，生成第三尺度空间注意增强特征图；将第三尺度二维空间增强特征图和第三尺度空间增强特征图进行对应像素位置相加，得到第三尺度多方向注意特征增强特征图。
[0079]
将第三尺度特征图输入二维方向感知增强模块，生成第三尺度二维方向感知增强特征图，具体包括：将第三尺度特征图分别输入2个自适应平均池化层，随后将池化结果进行通道链接；将通道链接结果输入卷积层并进行水平和垂直方向的切片，得到两个切片结果并分别进行sigmoid变换，将两个变换结果分别进行维度扩展，使其具备和第三尺度特征图相同的维度，将两个维度扩展后的结果与第三尺度特征图进行对应像素位置相乘，相乘结果即为第三尺度二维方向感知增强特征图。
[0080]
将第三尺度特征图输入空间注意增强模块，生成第三尺度空间注意增强特征图，具体包括：将第三尺度特征图依次输入最大池化层和卷积层，随后与第三尺度特征图进行对应像素位置相乘，相乘后的结果为第三尺度空间注意增强特征图。
[0081]
2.2.4)建立跨尺度多方向注意增强模块的第4列结构，接收2.1)中初始特征图和2.2.3)中的第三尺度多方向注意特征增强特征图作为输入，将两者进行对应像素位置相加，将相加后的结果经过扩张卷积层，生成第四尺度特征图；将第四尺度特征图输入二维方向感知增强模块，生成第四尺度二维方向感知增强特征图；将第四尺度特征图输入空间注意增强模块，生成第四尺度空间注意增强特征图；将第四尺度二维空间增强特征图和第四尺度空间增强特征图进行对应像素位置相加，得到第四尺度多方向注意特征增强特征图。
[0082]
将第四尺度特征图输入二维方向感知增强模块，生成第四尺度二维方向感知增强特征图，具体包括：将第四尺度特征图分别输入2个自适应平均池化层，随后将池化结果进行通道链接；将通道链接结果输入卷积层并进行水平和垂直方向的切片，得到两个切片结果并分别进行sigmoid变换，将两个变换结果分别进行维度扩展，使其具备和第四尺度特征图相同的维度，将两个维度扩展后的结果与第四尺度特征图进行对应像素位置相乘，相乘结果即为第四尺度二维方向感知增强特征图。
[0083]
将第四尺度特征图输入空间注意增强模块，生成第四尺度空间注意增强特征图，具体包括：将第四尺度特征图依次输入最大池化层和卷积层，随后与第四尺度特征图进行对应像素位置相乘，相乘后的结果为第四尺度空间注意增强特征图。
[0084]
2.2.5)将2.2.1)中第一尺度多方向注意特征增强特征图、2.2.2)中第二尺度多方向注意特征增强特征图、2.2.3)中第三尺度多方向注意特征增强特征图和2.2.4)中第四尺度多方向注意特征增强特征图进行对应像素位置相加，得到尺度感知多方向注意增强特征图。
[0085]
2.3)将2.1)中初始特征图和2.2.5)中尺度感知多方向注意增强特征图进行通道链接，得到高级语义特征图。
[0086]
2.4)建立密度图回归模块，接收2.3)中高级语义特征图作为输入，输入至建立的密度图回归模块，得到人群密度图。密度图回归模块从输入到输出方向依次包含6个扩张卷积层和1个卷积层，扩张卷积层的卷积核尺寸均为3
×
3，扩张率均为2，各所述扩张卷积层生成的特征图通道数由输入至输出方向依次为512、512、512、256、128和64，卷积层的卷积核尺寸为1
×
1，输出结果的通道数为1，输出特征图即为人群密度图。
[0087]
2.5)对2.4)中的人群密度图的像素值求和，得到预测的人群计数结果。
[0088]
2.6)在建立的雾天场景人群计数模型使用前，需利用若干张雾天场景图像和真实人群密度图对建立的模型进行训练，训练过程中使用欧氏距离作为真实人群密度图和生成的人群密度图的损失函数，使其损失最小，训练步骤如下：
[0089]
为建立的雾天场景人群计数模型的参数随机设定一个初始值，在每次使用模型得到图像样本的生成人群密度图之后，根据欧氏距离损失函数对比真实人群密度图和生成人群密度图确定模型的每一次迭代误差，将模型每一次的误差反向传播，调整所述人群计数模型的参数，对所述雾天场景人群计数模型进行优化。采用随机梯度下降优化算法在每一次优化迭代中更新参数，直到损失函数收敛到一个较小的值，保存参数及训练后的模型。
[0090]
使用训练后的雾天场景人群计数模型对任意输入的雾天场景图像进行人群计数，将任意单张图像直接输入到人群计数模型中，即可得到人群计数结果，图3为采用本发明人群计数方法对雾天场景图像进行人群计数的示意图。