基于双路协同的人群密度分析方法及系统与流程

1.本发明属于人群密度技术领域，具体涉及基于双路协同的人群密度分析方法及系统。


背景技术：

2.人群密度的估计在安防、城市治理、人流疏导等方面，有着重要的指导意义。据相关的文献，技术上有两个主流方向，即基于统计学的视觉分析方法和基于深度神经网络的方法。
3.基于统计学的视觉分析方法，通常是构造检测器检出行人，通过对检出的框体进行计数来实现人群密度的估计。具体来说，就是构造统计特征，如hog，sift等，对图像进行统计分析，将特定统计模式的区域认定为有效目标所在区域，以此来完成行人的检测；此外还有直接通过统计特征对图像人数进行回归的相关方法。但是这些方法有着明显的限制：首先，基于统计学的视觉分析方法受像素值的分布影响较大，而真实世界中光照、遮挡、雨雾等会显著影响图像的像素值分布，进而影响检测效果；其次，对于极端稠密的人群，由于统计描述在该场景下的表达具有相似性，该方法并不适用稠密的人群；最后，通过特征映射对图像中人数进行回归，无法考虑空间信息和密度信息。
4.基于深度神经网络的方法，是使用卷积神经网络、全连接神经网络等堆叠结构，通过特定的学习策略，使用大量的带有匹配的样本，使用误差反向传播的原理，拟合出样本和目标结果的函数，是一种端到端的模型，模型内部无需过多的人工构造和接入。该类方法在技术上可以分为三个方向：第一，使用基础的卷积神经网络与全卷积网络组合的回归方法，直接对图像中的人数进行回归，这种方法无法获得密度的分布，同时三维的图像矩阵向一维的数值回归，同样会破坏图像原有的空间信息；第二，上下文感知方法，使用神经网络学习图像的上下文信息，根据上下文信息将图像按照人数多少分成若干级，每一级对应的人数范围是由在数据集上的统计得出的，这种方法虽然可以使用上下文信息对图像进行抽象，但由于分级边界的确定是基于样本统计获得，在实际生产中，分级边界较难确定；第三，尺度感知方法，该方法使用不同大小的卷积核来实现对图像中的尺度感知，此外使用不同的切片也可实现上下文感知方法类似的效果，由于采用了尺度感知的方法，这导致了模型的开销较大，计算时间长，计算资源(内存使用，cpu使用)占用多。


技术实现要素：

5.针对现有技术存在问题中的一个或多个，本发明提供一种基于双路协同的人群密度分析方法，包括：
6.构建分析模型，所述分析模型包括第一生成模型，所述第一生成模型输入图像，输出为所述图像的人群密度图；
7.训练分析模型；
8.将原始图像输入训练后的分析模型获得原始图像的人群密度图；
9.其中，所述训练分析模型的步骤包括：
10.构建训练集；
11.通过第一生成模型和第一判别模型构建第一生成式对抗网络，将训练集的训练图像输入第一生成式对抗网络；
12.通过第二生成模型和第二判别模型构建第二生成式对抗网络，将训练图像进行随机切分形成多个子训练图像，输入第二生成式对抗网络；
13.通过第一生成式对抗网络和第二生成式对抗网络的损失函数优化第一生成模型。
14.可选地，所述通过第一生成模型和第一判别模型构建第一生成式对抗网络，将训练集的训练图像输入第一生成式对抗网络的步骤包括：
15.将训练图像输入第一生成模型输入，输出第一人群密度估计图；
16.获得训练图像的真实人群密度图，优选地，包括：在训练图像上进行人头标注；采用设定尺寸的均值为1的二维高斯分布替代人头标注；
17.将第一人群密度估计图和真实人群密度图输入第一判别模型，输出第一判别误差；
18.将第一人群密度估计图和真实人群密度图的l2损失作为第一l2损失误差；
19.优选地，还包括：
20.将第一人群密度估计图和真实人群密度图输入第一感知网络，输出第一感知误差；进一步优选地，通过下式获得第一感知误差：
[0021][0022]
其中，l
p
(g)为感知误差；g为生成模型，t为感知特征个数，t为感知特征索引，f
generated
(t)为人群密度估计图第t个感知特征，f
groundtruth
(t)为真实人群密度图第t个感知特征；
[0023]
优选地，所述将第一人群密度估计图和真实人群密度图输入第一判别模型，输出第一判别误差的步骤包括：
[0024]
将第一人群密度估计图和真实人群密度图输入第一判别模型，通过下式获得第一判别误差：
[0025]
la(g，d)＝e
x，y～pdata(x，y)
[logd(x，y)] e
x～pdata(x)
[log(1-d(x，g(x)))]
[0026]
其中，la(g，d)为判别误差；g为生成模型，d为判别模型，x为训练图像，y为人群密度估计图，pdata(x，y)为训练图像和人群密度估计图的数据的真实分布；e
x，y～pdata(x，y)
为分布函数的期望值；d(x，y)为判别模型对于x，y的判别输出；g(x)为生成模型的输出；d(x，g(x))为判别模型对于x，g(x)的判别输出；
[0027]
优选地，所述将第一人群密度估计图和真实人群密度图的l2损失作为第一l2损失误差的步骤包括：
[0028]
通过下式获得第一l2损失误差：
[0029]
[0030]
其中，le(g)为l2损失；g为生成模型，c为像素个数，c为像素索引，s
generated
(c)为人群密度估计图第c个像素的像素值，s
groundtruth
(c)为真实人群密度图第c个像素的像素值。
[0031]
可选地，所述通过第二生成模型和第二判别模型构建第二生成式对抗网络，将训练图像进行随机切分形成多个子训练图像，输入第二生成式对抗网络的步骤包括：
[0032]
将训练图像进行随机切分形成多个子训练图像；
[0033]
将多个子训练图像批次送入第二生成模型，生成多个第二人群密度估计图；
[0034]
将真实人群密度图按照训练图像的切分，切分成多个子真实人群密度图；
[0035]
将第二人群密度估计图和对应的子真实人群密度图输入第二判别模型，获得第二判别误差；
[0036]
将第二人群密度估计图和对应的子真实人群密度图的l2损失作为第二l2损失误差；
[0037]
将多个第二人群密度估计图积分获得第三人群密度估计图；
[0038]
获得第三人群密度估计图和第一人群密度估计图的残差；
[0039]
优选地，还包括：
[0040]
将第二人群密度估计图和对应的子真实群密度像输入第二感知网络，输出第二感知误差；
[0041]
优选地，所述获得第三人群密度估计图和第一人群密度估计图的残差的步骤包括：
[0042]
通过下式获得残差：
[0043][0044]
其中，lc为残差，s
large
(c)为第一人群密度估计图第c个像素的像素值，s
small
(c)为第三人群密度图第c个像素的像素值。
[0045]
可选地，所述通过第一生成式对抗网络和第二生成式对抗网络的损失函数优化第一生成模型的步骤包括：
[0046]
将第一l2损失误差、第二l2损失误差、第一判别误差、第二判别误差、第一感知误差、第二感知误差和残差中的多个加权组合构建损失约束模型，优选地，通过下式构建损失约束模型：
[0047][0048]
其中，l
generator
为总损失，ωe、ω
p
和ωc分别表示了l2损失、感知误差、残差的权重；
[0049]
通过损失约束模型优化第一生成模型，优选地，包括：
[0050]
将训练集输入损失约束模型，获得总损失；
[0051]
将总损失最小对应的第一生成模型作为最优第一生成模型。
[0052]
可选地，所述通过第二生成模型和第二判别模型构建第二生成式对抗网络，将训练图像进行随机切分形成多个子训练图像，输入第二生成式对抗网络步骤中，将训练图像切分成四张子训练图像。
[0053]
可选地，所述第一感知网络和第二感知网络为vgg-16网络。
[0054]
根据本发明的另一个方面，提供一种基于双路协同的人群密度分析系统，包括：
[0055]
分析模型构建模块，构建分析模型，所述分析模型包括第一生成模型，所述第一生成模型输入图像，输出为所述图像的人群密度图；
[0056]
训练模块，训练分析模型构建模块构建的分析模型；
[0057]
图像采集模块，采集原始图像；
[0058]
输出模块，将图像采集模块采集的原始图像输入训练模块训练后的分析模型，输出原始图像的人群密度图；
[0059]
其中，训练模块包括：
[0060]
训练集构建单元，采集训练图像构建训练集；
[0061]
第一网络构建单元，通过第一生成模型和第一判别模型构建第一生成式对抗网络；
[0062]
第二网络构建单元，通过第二生成模型和第二判别模型构建第二生成式对抗网络；
[0063]
优化单元，将训练集的训练图像输入第一生成式对抗网络，将训练图像进行随机切分形成多个子训练图像，输入第二生成式对抗网络，通过第一生成式对抗网络和第二生成式对抗网络的损失函数优化第一生成模型。
[0064]
可选地，所述第一生成式对抗网络包括第一生成模型和第一判别模型，所述第一生成模型的输入为训练图像，输出为第一人群密度估计图；所述第一判别模型的输入为真实人群密度图和第一人群密度估计图，输出为第一判别误差；优选地，第一网络构建单元还包括第一l2损失误差获得单元，将第一人群密度估计图和真实人群密度图的l2损失作为第一l2损失误差；优选地，第一网络构建单元还包括第一感知网络，所述第一感知网络的输入为第一人群密度估计图和真实人群密度图，输出为第一人群密度估计图和真实人群密度图的感知特征的第一感知误差。
[0065]
可选地，所述优化单元包括第一切分单元和第二切分单元，所述第二生成式对抗网络包括第二生成模型和第二判别模型，所述第一切分单元将训练图像进行随机切分成多个子训练图像；所述第二生成模型输入为所述子训练图像，输出为子训练图像对应的第二人群密度估计图；所述第二切分单元将真实人群密度图按照第一切分单元相同的切分，切分成多个子真实人群密度图；第二判别模型输入为第二生成模型生成的第二人群密度估计图和对应的第二切分单元的子真实人群密度图，输出为第二判别误差；优选地，第二网络构建单元还包括第二l2损失误差获得单元，将第二人群密度估计图和子真实人群密度图的l2损失作为第二l2损失误差；优选地，第二网络构建单元还包括第二感知网络，所述第二感知网络的输入为第二人群密度估计图和子真实人群密度图，输出为第二人群密度估计图和子真实人群密度图的感知特征的第二感知误差；优选地，第二网络构建单元还包括积分单元，优化单元还包括残差获得单元，所述积分单元将多个第二人群密度估计图积分获得第三人群密度估计图；所述残差获得单元获得第三人群密度估计图和第一人群密度估计图的残差。
[0066]
可选地，所述优化单元还包括误差采集单元和组合单元，所述误差采集单元采集第一l2损失误差、第二l2损失误差、第一判别误差、第二判别误差、第一感知误差、第二感知误差和残差中的多个；所述组合单元将误差采集单元采集的多个误差进行加权组合。
[0067]
本发明通过随机切分引入了多尺度下的特征表达，通过第一生成式对抗网络和第二生成式对抗网络的损失进行一致性约束，实现了多尺度和人群密度一致性优化，进而提高了人群密度估计的准确性，通过第一生成式对抗网络和第二生成式对抗网络优化分析模型的第一生成模型，在应用过程中，仅使用第一生成模型，计算时间短，计算资源占用少，分析速度快。
附图说明
[0068]
图1是本发明所述基于双路协同的人群密度分析系统的示意图；
[0069]
图2是本发明所述基于双路协同的人群密度分析系统的构成框图的示意图；
[0070]
图3是本发明所述基于双路协同的人群密度分析方法的流程图的示意图。
具体实施方式
[0071]
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
[0072]
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
[0073]
图1是本发明所述基于双路协同的人群密度分析系统的示意图，图2是本发明所述基于双路协同的人群密度分析系统的构成框图的示意图，如图1和2所示，所述基于双路协同的人群密度分析系统包括。
[0074]
分析模型构建模块1，构建分析模型，所述分析模型包括第一生成模型g1，所述第一生成模型输入图像，输出为所述图像的人群密度图；
[0075]
训练模块2，训练分析模型构建模块构建的分析模型；
[0076]
图像采集模块3，采集原始图像；
[0077]
输出模块4，将图像采集模块采集的原始图像输入训练模块训练后的分析模型，输出原始图像的人群密度图。
[0078]
在一个实施例中，训练模块包括：
[0079]
训练集构建单元21，采集训练图像构建训练集；
[0080]
第一网络构建单元22，通过第一生成模型和第一判别模型构建第一生成式对抗网络；
[0081]
第二网络构建单元23，通过第二生成模型和第二判别模型构建第二生成式对抗网络；
[0082]
优化单元24，将训练集的训练图像输入第一生成式对抗网络，将训练图像进行随机切分形成多个子训练图像，输入第二生成式对抗网络，通过第一生成式对抗网络和第二生成式对抗网络的损失函数优化第一生成模型。
[0083]
在一个实施例中，所述第一生成式对抗网络包括第一生成模型g1和第一判别模型d1，所述第一生成模型的输入为训练图像，输出为第一人群密度估计图e1；所述第一判别模型的输入为真实人群密度图gt1和第一人群密度估计图e1，输出为第一判别误差。
[0084]
优选地，所述第一网络构建单元还包括第一l2损失误差获得单元221，将第一人群
密度估计图和真实人群密度图的l2损失作为第一l2损失误差。
[0085]
优选地，第一网络构建单元还包括第一感知网络v1，所述第一感知网络的输入为第一人群密度估计图和真实人群密度图，输出为第一人群密度估计图和真实人群密度图的感知特征的第一感知误差。
[0086]
在一个实施例中，所述优化单元包括第一切分单元241和第二切分单元242，所述第二生成式对抗网络包括第二生成模型g2和第二判别模型d2，所述第一切分单元将训练图像进行随机切分成多个子训练图像；所述第二生成模型输入为所述子训练图像，输出为子训练图像对应的第二人群密度估计图e2；所述第二切分单元将真实人群密度图按照第一切分单元相同的切分，切分成多个子真实人群密度图gt2；第二判别模型输入为第二生成模型生成的第二人群密度估计图和对应的第二切分单元的子真实人群密度图，输出为第二判别误差。
[0087]
优选地，所述第二网络构建单元还包括第二l2损失误差获得单元231，将第二人群密度估计图和子真实人群密度图的l2损失作为第二l2损失误差。
[0088]
优选地，第二网络构建单元还包括第二感知网络v2，所述第二感知网络的输入为第二人群密度估计图和子真实人群密度图，输出为第二人群密度估计图和子真实人群密度图的感知特征的第二感知误差。
[0089]
优选地，第二网络构建单元还包括积分单元232,优化单元还包括残差获得单元243，所述积分单元将多个第二人群密度估计图积分获得第三人群密度估计图e3；所述残差获得单元获得第三人群密度估计图和第一人群密度估计图的残差lc。
[0090]
在一个实施例中，所述优化单元还包括误差采集单元244和组合单元245，所述误差采集单元采集第一l2损失误差、第二l2损失误差、第一判别误差、第二判别误差、第一感知误差、第二感知误差和残差中的多个；所述组合单元将误差采集单元采集的多个误差进行加权组合。
[0091]
在一个优选实施例中，训练模块包括第一分支b1、第二分支b2和优化单元，所述第一分支由第一生成式对抗网络和第一感知网络v1构成，第一生成式对抗网络由第一生成模型g1和第一判别模型d1构成，所述第二分支由第二生成式对抗网络和第二感知网络v2构成，第二生成式对抗网络由第e二生成模型g2、第二判别模型d2和积分单元构成，其中，第一分支的输入为训练图像，输出为对应训练图像的第一人群密度估计图e1；第二分支模的输入与第一分支模型的输入图一致，但经过随机切分成四份，输出为对应四份子训练图像的第三人群密度估计图e3；优化单元输入第一分支输出的第一人群密度估计图e1和第二分支的四份第二人群密度估计e2图拼接后的第三人群密度估计图e3，输出第一人群密度估计图和第三人群密度估计图的差值(第二范数)作为残差lc，通过加权多项式的方式组合第一分支的损失，第二分支的损失和残差，共同协同优化第一分支和第二分支。
[0092]
图3是本发明所述基于双路协同的人群密度分析方法的流程图的示意图，如图3所示，所述基于双路协同的人群密度分析方法，包括：
[0093]
步骤s1，构建分析模型，所述分析模型包括第一生成模型，所述第一生成模型输入图像，输出为所述图像的人群密度图；
[0094]
步骤s2，训练分析模型；
[0095]
步骤s3，将原始图像输入训练后的分析模型获得原始图像的人群密度图。
[0096]
在一个实施例中，所述步骤s2包括：
[0097]
构建训练集；
[0098]
通过第一生成模型和第一判别模型构建第一生成式对抗网络，将训练集的训练图像输入第一生成式对抗网络；
[0099]
通过第二生成模型和第二判别模型构建第二生成式对抗网络，将训练图像进行随机切分形成多个子训练图像，输入第二生成式对抗网络；
[0100]
通过第一生成式对抗网络和第二生成式对抗网络的损失函数优化第一生成模型。
[0101]
在一个实施例中，所述通过第一生成模型和第一判别模型构建第一生成式对抗网络，将训练集的训练图像输入第一生成式对抗网络的步骤包括：
[0102]
将训练图像输入第一生成模型输入，输出第一人群密度估计图；
[0103]
获得训练图像的真实人群密度图，优选地，包括：在训练图像上进行人头标注；采用设定尺寸的均值为1的二维高斯分布替代人头标注；
[0104]
将第一人群密度估计图和真实人群密度图输入第一判别模型，输出第一判别误差；
[0105]
将第一人群密度估计图和真实人群密度图的l2损失作为第一l2损失误差。
[0106]
优选地，还包括：
[0107]
将第一人群密度估计图和真实人群密度图输入第一感知网络，输出第一感知误差；进一步优选地，通过下式获得第一感知误差：
[0108][0109]
其中，l
p
(g)为感知误差；g为生成模型，t为感知特征个数，t为感知特征索引，f
generated
(t)为人群密度估计图第t个感知特征，f
groundtruth
(t)为真实人群密度图第t个感知特征。
[0110]
在一个实施例中，所述将第一人群密度估计图和真实人群密度图输入第一判别模型，输出第一判别误差的步骤包括：
[0111]
将第一人群密度估计图和真实人群密度图输入第一判别模型，通过下式获得第一判别误差：
[0112]
la(g，d)＝e
x，y～pdata(x，y)
[logd(x，y)] e
x～pdata(x)
[log(1-d(x，g(x)))]
[0113]
其中，la(g，d)为判别误差；g为生成模型，d为判别模型，x为训练图像，y为人群密度估计图，pdata(x，y)为训练图像和人群密度估计图的数据的真实分布；e
x，y～pdata(x，y)
为分布函数的期望值；d(x，y)为判别模型对于x，y的判别输出；g(x)为生成模型的输出；d(x，g(x))为判别模型对于x，g(x)的判别输出。
[0114]
在一个实施例中，所述将第一人群密度估计图和真实人群密度图的l2损失作为第一l2损失误差的步骤包括：
[0115]
通过下式获得第一l2损失误差：
[0116]
[0117]
其中，le(g)为l2损失；g为生成模型，c为像素个数，c为像素索引，s
generated
(c)为人群密度估计图第c个像素的像素值，s
groundtruth
(c)为真实人群密度图第c个像素的像素值。
[0118]
在一个实施例中，所述通过第二生成模型和第二判别模型构建第二生成式对抗网络，将训练图像进行随机切分形成多个子训练图像，输入第二生成式对抗网络的步骤包括：
[0119]
将训练图像进行随机切分形成多个子训练图像；
[0120]
将多个子训练图像批次送入第二生成模型，生成多个第二人群密度估计图；
[0121]
将真实人群密度图按照训练图像的切分，切分成多个子真实人群密度图；
[0122]
将第二人群密度估计图和对应的子真实人群密度图输入第二判别模型，获得第二判别误差；
[0123]
将第二人群密度估计图和对应的子真实人群密度图的l2损失作为第二l2损失误差；
[0124]
将多个第二人群密度估计图积分获得第三人群密度估计图；
[0125]
获得第三人群密度估计图和第一人群密度估计图的残差。
[0126]
优选地，还包括：
[0127]
将第二人群密度估计图和对应的子真实群密度像输入第二感知网络，输出第二感知误差。
[0128]
在一个实施例中，所述获得第三人群密度估计图和第一人群密度估计图的残差的步骤包括：
[0129]
通过下式获得残差：
[0130][0131]
其中，lc为残差，s
large
(c)为第一人群密度估计图第c个像素的像素值，s
small
(c)为第三人群密度图第c个像素的像素值。
[0132]
在一个实施例中，所述通过第一生成式对抗网络和第二生成式对抗网络的损失函数优化第一生成模型的步骤包括：
[0133]
将第一l2损失误差、第二l2损失误差、第一判别误差、第二判别误差、第一感知误差、第二感知误差和残差中的多个加权组合构建损失约束模型，优选地，通过下式构建损失约束模型：
[0134][0135]
其中，l
generator
为总损失，ωe、ω
p
和ωc分别表示了l2损失、感知误差、残差的权重；
[0136]
通过损失约束模型优化第一生成模型，优选地，包括：
[0137]
将训练集输入损失约束模型，获得总损失；
[0138]
将总损失最小对应的第一生成模型作为最优第一生成模型。
[0139]
在一个实施例中，所述通过第二生成模型和第二判别模型构建第二生成式对抗网络，将训练图像进行随机切分形成多个子训练图像，输入第二生成式对抗网络步骤中，将训练图像切分成四张子训练图像。
[0140]
在上述各实施例中，所述第一感知网络和第二感知网络为vgg-16网络。
[0141]
在上述各实施例中，人群密度图是通过特定的映射方式，将原图像中的人映射到密度图中，使得对密度图的积分可以表示原图像中的人数；密度图的强度分布，表示原图像中的人群分布，例如使用均值为1方差为0的二维高斯分布替换原图中人所在的位置，生成的热力图象，通过热力图的形式表示图像中人群的分布，对图像进行积分则可表示对应的图像中的人数。通过这种方式计算出来的人数即为人群密度的估计值，即人群密度估计。
[0142]
在一个优选实施例中，本发明所述基于双路协同的人群密度分析方法通过第一分支b1和第二分支b2实现，b1的输入是一张完整的通道顺序为rgb的训练图像，首先经过第一生成模型g1，生成器解结构是由一组尺度由大到小编码网络和一组尺度由小到大的解码网络构成(u-net)，第一生成器生成第一人群密度估计图e1，形成第一l2损失；然后e1和真实人群密度图gt1进入到第一判别模型d1，经由第一判别模型形成第一判别误差；此外，e1和真实人群密度图gt1同时进入vgg-16网络得到感知特征，通过计算感知特征的mse作为第一感知误差。上述三个误差项：第一l2损失、第一判别误差和第一感知误差，共同构成了b1的损失项。
[0143]
第二分支b2与b1相似，b2输入的并非完整的训练图像而是随机切分后的子训练图像。b2使用的第二生成模型g2和第二判别模型d2与b1使用的第一生成模型g1和第一判别模型d1是独立模型，模型参数不相同。随机切分后的图像将图像大小变换到原图的1/4，以一个大小为4(4份图像的大小可以相同也可以不同)的批次送入经过第二生成模型g2，生成第二人群密度估计图e2，形成第二l2损失；然后e2和子真实人群密度图gt2进入到第二判别模型d2，形成第二判别误差；此外，e2和子真实人群密度图gt2同时进入vgg-16网络得到感知特征，通过计算感知特征的mse作为第二感知误差。上述三个误差项：第二l2损失、第二判别误差和第二感知误差，共同构成了b2的损失项。
[0144]
将四张第二人群密度估计图e2积分获得第三人群密度估计图e3，e1和e3做差得到残差，因为e1和e3均是由训练图像得到的对训练图像的人群密度估计，因此两者的做差后得到的残差应该是一个全为0的同大小的人群密度图，本技术直接以残差表示e1和e3的l2范数，作为一致性约束误差项。
[0145]
本发明有7个误差项，分别为b1的第一判别误差l
a1
、第一感知误差l
p1
、第一l2损失误差l
e1
；b2的第二判别误差l
a2
、第二感知误差l
p2
、第二l2损失误差l
e2
；两个分支的一致性损失项(残差)lc。
[0146]
在训练阶段，b1和b2是协同的进行训练，首先b1中包含了对抗生成损失(误差损失)，l2损失和感知损失。b2也是如此。b1和b2的生成模型生成的两个密度图间的残差，作为一致性约束加入到整体的损失函数中。上述所有的损失项共同构成了在训练阶段的整体损失函数，b1和b2的协同优化可以采用反向传播方式。在测试阶段和实际应用阶段则只有b1分支的第一生成模型工作。
[0147]
本发明随机切分的份数没有限制，但是切分的份数过多则会导致计算量的增加，也会导致人数过少，人数过少则与检测效果相同，切分后的图像大小不一样，形成多尺度，切分的份数过少，降低尺度感知的准确性。
[0148]
为了说明本发明的有益效果采用了mse和mae指标，在shanghaitech数据集和ucf_cc_50数据集上通过多种现有技术的方法和本技术的方法进行了比较，其中：
[0149][0150][0151]
其中，count表示真实标签值，count(^)表示预测值，n表示人群密度图的像素个数，具体地：
[0152]
在shanghaitech数据集上的结果比较如下表1：
[0153]
表1
[0154][0155]
在ucf_cc_50数据集上的结果比较如下表2：
[0156]
表2
[0157]
方法maemse[1]467.0798.5[2]377.6509.1[3]318.1439.2[4]295.8320.9本发明270.3317.6
[0158]
在上述两个实施例中：
[0159]
方法[1]采用的是“cong zhang,hongsheng li,xiaogang wang,and xiaokang yang.cross-scene crowd counting via deep convolutional neural networks.in ieee conference on computer vision and pattern recognition,pages 833
–
841,2015”中的方法，提出了一个用于人群计数的深度卷积神经网络(cnn)，它交替训练有两个相关的学习目标，人群密度和人群计数。这种提出的可切换学习方法能够为两个目标获得更好的局部最优，没有将密度图与人群计数统一。
[0160]
方法[2]采用的是“yingying zhang,desen zhou,siqin chen,shenghua gao,and yi ma.single-image crowd counting via multi-column convolutional neural network.in computervision and pattern recognition,pages 589
–
597,2016”中的方法，提出了mcnn允许输入图像具有任意大小或分辨率。通过使用具有不同大小感受野的过滤器，每列cnn学习的特征可以适应由于透视效果或图像分辨率而导致的人/头部大小的变化，使用了多尺度,增加的模型的开销。
[0161]
方法[3]采用的是“deepak babu sam,shiv surya,and r.venkatesh babu.switching convolutional neural network for crowd counting.in proceedings ofthe ieee conference on computer vision and pattern recognition,pages 4031
–
4039,2017”中的方法，切换卷积神经网络，利用图像内人群密度的变化来提高预测人群数量的准确性和定位。基于训练期间建立的cnn的人群计数预测质量，来自人群场景中网格的块被分发到独立的cnn回归器。独立的cnn回归器被设计为具有不同的感受野，并且训练开关分类器以将人群场景块中继到最佳cnn回归器，在切换结构中引入了手工的密度评价指标,增加模型调参开销,分发结构的分支增加了模型的资源和计算开销,不能普适的应对实际场景。
[0162]
方法[4]采用的是“vishwanath a.sindagi and vishal m.patel.generating high-quality crowd density maps using contextual pyramid cnns.in international conference on computervision,pages 1879
–
1888,2017”中的方法，切换卷积神经网络，上下文金字塔cnn(cp-cnn)的方法，通过明确地结合人群图像的全局和局部上下文信息来生成高质量的人群密度和计数估计，相比[3]的手工的设置边界,这里使用了一个分类器来对人群的密度先进行分类,但仍无法普适的应对实际场景。
[0163]
本发明通过随机切分引入了多尺度下的特征表达，通过第一生成式对抗网络和第二生成式对抗网络的损失进行一致性约束，实现了多尺度和人群密度一致性优化，
[0164]
现有方法没有考虑到多尺度和人群密度的天然的内部一致性，本方法采用两支生成式对抗网络和一致性约束，通过一个分支的随机切分，引入了多尺度下的特征表达，实现了多尺度和人群密度一致性优化，提高了人群密度估计的准确性。
[0165]
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。