人数统计方法、装置及计算机可读存储介质

1.本发明涉及通信技术领域，尤其涉及一种人数统计方法、装置及计算机可读存储介质。


背景技术：

2.目前，随着科学技术的发展，人数统计在军事作战、应急搜救、公共安全等方面正发挥着重要作用。但是，可穿戴式的人数统计系统因需要一直佩戴，应用场景非常受限，且可穿戴式的人数统计系统不能穿过遮挡物实现人数的统计；可见光机器视觉的人数统计系统受遮挡、光线强弱变化、隐私保护等问题影响较大，也不能实现准确的人数统计。大多数基于无线电的方法，如无线传感器网络、红外线、超宽带等，但这些方法都需要安装部署专有设备并建立专用的基础结构，高昂的成本及较低的普适性阻碍了它们的广泛部署。


技术实现要素：

3.本发明的主要目的在于提出一种人数统计方法、装置及计算机可读存储介质，旨在实现准确的人数统计，减小环境以及建筑结构对人数统计的影响，减小光照强度对人数统计的影响，实现避开建筑物统计人数。
4.为实现上述目的，本发明提供一种人数统计方法，所述人数统计方法包括如下步骤：
5.基于无线接收器采集不同人数下的训练无线数据，并对所述训练无线数据进行图像化显示，生成训练数据图像；
6.利用所述训练数据图像构建并训练融合网络模型，其中，所述融合网络模型是将se-resnet网络模型中的采样模块进行卷积层调整以及将se-resnet网络模型中的分类模型替换为随机森林网络得到的；
7.基于所述无线接收器采集当前无线数据，并对所述当前无线数据图像化显示生成当前数据图像；
8.将所述当前数据图像输入融合网络模型，计算得到当前人数统计结果。
9.此外，为实现上述目的，本发明还提供一种人数统计装置，所述人数统计装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人数统计程序，所述人数统计程序被所述处理器执行时实现如上所述的人数统计方法的步骤。
10.此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有人数统计程序，所述人数统计程序被处理器执行时实现如上所述的人数统计方法的步骤。
11.通过上述方式，本发明能够实现准确的人数统计，减小环境以及建筑结构对人数统计的影响，减小光照强度对人数统计的影响，以及实现避开建筑物统计人数的功能。通过对se-resnet网络模型中的采样模块今夕卷积层改进，加强了无线数据不同特征通道之间的空间关系，从而确保无线数据的不同子载波之间的空间特征不被忽略。通过将se-resnet
网络模型中的分类模型替换为随机森林网络，实现了特征数据进行回归预测，进而实现了提高人数统计的精度。通过改进的se-resnet模型对数据进行特征提取之后，每条数据维度从55080变成了256，只保留了其中最主要的特征，大幅减少了计算量，节省了计算时间以及节约了计算资源。
附图说明
12.图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；
13.图2为本发明人数统计方法第一实施例的流程示意图；
14.图3为本发明se-resnet网络模型卷积层调整前后的结构示意图的对比；
15.图4为本发明resnet网络模型1*1卷积下采样的示意图；
16.图5为本发明resnet网络模型卷积核大小为3*3、步长设置为2卷积下采样的示意图；
17.图6为本发明resnet网络模型的平均池化层下采样的结构示意图；
18.图7为本发明se-resnet网络模型的结构示意图；
19.图8为本发明融合网络模型的结构示意图；
20.图9为本发明人数统计方法第二实施例的流程示意图；
21.图10为本发明训练无线数据图像化显示后训练数据图像；
22.图11为本发明人数统计方法第三实施例的流程示意图；
23.图12为本发明训练集上的混淆矩阵图；
24.图13为本发明训练集上的混淆矩阵图；
25.图14为本发明融合网络模型、se-resnet网络模型、googlenet网络模型、bi-lstm网络模型和随机森林模型的平均准确率结果对比图；
具体实施方式
26.如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
27.本发明实施例终端可以是pc，也可以是智能手机、平板电脑等具有显示功能的可移动式终端设备。
28.如图1所示，该终端可以包括：处理器1001，例如cpu，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
29.优选地，终端还可以包括摄像头、rf(radio frequency，射频)电路，传感器、音频电路、wifi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静
止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
30.本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
31.如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及人数统计程序。
32.在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的人数统计程序，并执行以下操作：
33.基于无线接收器采集不同人数下的训练无线数据，并对所述训练无线数据进行图像化显示，生成训练数据图像；
34.利用所述训练数据图像构建并训练融合网络模型，其中，所述融合网络模型是将se-resnet网络模型中的采样模块进行卷积层调整以及将se-resnet网络模型中的分类模型替换为随机森林网络得到的；
35.基于所述无线接收器采集当前无线数据，并对所述当前无线数据图像化显示生成当前数据图像；
36.将所述当前数据图像输入融合网络模型，计算得到当前人数统计结果。
37.基于上述硬件结构，提出本发明人数统计方法实施例。
38.本发明人数统计方法。
39.参照图2，图2为本发明人数统计方法第一实施例的流程示意图。
40.本发明实施例中，该人数统计方法应用于人数统计装置，所述基于se-resnet50网络模型的方法包括：
41.步骤s10，基于无线接收器采集不同人数下的训练无线数据，并对所述训练无线数据进行图像化显示，生成训练数据图像；
42.在本实施例中，为了准确的人数统计，减小环境以及建筑结构对人数统计的影响，减小光照强度对人数统计的影响，实现避开建筑物统计人数的功能，人数统计装置通过无线接收器采集不同人数下的训练无线数据，并对所述训练无线数据进行图像化显示，生成训练数据图像；其中，无线接收器可以采集0、1、2、3、4、5种不同人数下的训练无线数据。其中，训练无线数据为用于训练se-resnet50网络模型的无线数据。
43.步骤s10基于无线接收器采集不同人数下的训练无线数据，可以包括：
44.步骤a，基于无线接收器接收无线路由器发出不同人数下的训练无线数据。
45.在本实施例中，人数统计装置对不同人数下的训练无线数据进行解析之前，在人类活动区域设置一个无线路由器，无线路由器用于发出训练无线数据，训练无线数据穿过在空间内活动的人体之后，被无线接收器接收，人数统计装置根据无线接收器接收无线路由器发出训练无线数据。
46.在采集阶段只要依靠硬件设备来进行，在对采集的数据进行处理与分析阶段主要通过专业的数据包解析软件进行，过程中用到了信号发射器、接收器和处理器。本文使用的处理器为一台安装有ubuntu 12.04lts 64位系统的台式电脑实验在真实的室内场景中进
行，为保证无线数据采集的质量，对采集区域和实验设备的放置进行了统一。在整个采集过程中，无线路由器的三根网线与无线网卡的三根网线位于采集区域的两侧，且尽量保持高度一致，设置高度为距离地面1米。采集了六类信号，分别为零个人、一个人、两个人、三个人、四个人、五个人这六种情况，每组信号采集时间为半分钟，每一类采集了一百一十组一共六百六十组原始csi信号。
47.步骤s20，利用所述训练数据图像构建并训练融合网络模型，其中，所述融合网络模型是将se-resnet网络模型中的采样模块进行卷积层调整以及将se-resnet网络模型中的分类模型替换为随机森林网络得到的；
48.在本实施例中，人数统计装置在生成了训练数据图像之后，利用所述训练数据图像构建并训练融合网络模型，其中，所述融合网络模型是将se-resnet网络模型中的采样模块进行卷积层调整以及将se-resnet网络模型中的分类模型替换为随机森林网络得到的。
49.具体的，如图3所示为了更多的保存训练数据图像中人数相关的特征，所述将se-resnet网络模型中的采样模块进行卷积层调整的方式为将三层采样层之间的残差学习的三层卷积层从第一卷积层分别从核大小为1x1，输出通道为512，步长为2、第二卷积层分别从核大小为3x3，输出通道为512、第三卷积层分别从核大小为1x1，输出通道为2048，调整为第一卷积层分别从核大小为1x1、第二卷积层分别从核大小为3x3，步长为2、第三卷积层分别从核大小为1x1；将三层采样层之间的残差学习的短路连接从核大小为1x1，输出通道为2048，步长为2调整为核大小为1x1，步长为2。图3的左侧为resnet模型的下采样部分，在patha中，依次通过1*1，3*3，1*1三个卷积。其中第一个1*1卷积核完成通道的收缩，同时设置其步长为2实现下采样过程。然后利用3*3的卷积提取特征，最后再经过一个1*1的卷积扩张特征通道。可以发现，在以上过程中大小1*1、步长为2的卷积核只会保留1/4的信息，可能会遗漏很多与人数相关的重要特征，如图4所示，只有图中绿色的部分会传递到下一层。如图3左侧的下采样过程放在1*1的卷积层对于本文的人数统计需求来说并不合适。因此，本技术把下采样过程推迟到3*3卷积过程中，如图5所示。将3*3卷积的步长设置为2，当步长小于卷积核宽度时，卷积核在遍历输入特征图的时候就能够无遗漏，并且还能有部分重叠。
50.具体的，为了让残差学习的卷积通道(patha)能够正确的与短路通道(pathb)进行加权，如图6所示，在三层采样层之间的残差学习的短路连接卷积之前加上一个平均池化层。由于图3右侧的模型中patha进行了下采样，为了让pathb能够正确的和patha进行加权，所以pathb也需要进行下采样，原本的pathb模块也是直接在1*1卷积过程中实现的下采样，因此本技术在pathb的1*1卷积之前加上了一个平均池化层实现下采样。
51.步骤s20构建se-resnet网络模型，可以包括：
52.步骤b1，构造se网络模块，在se网络模块的两个全连接层之间新增relu激活函数层；
53.在本实施例中，人数统计装置在得到训练数据图像之后，构造se网络模块，并在se网络模块的两个全连接层之间新增relu激活函数层。
54.具体的，六层的se-resnet模块的结构依次为：卷积层
→
全局池化层
→
第一个全连接层
→
relu激活函数层
→
第二个全连接层
→
sigmoid层，将sigmoid层的输出结果与卷积层的输出结果相乘，获得新的特征图，将该特征图与卷积层的输入相连接。relu是一个激活函数，通过relu函数可以增加神经网络各层之间的非线性关系，relu会使一部分神经元的输
出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生。否则，如果没有激活函数，层与层之间是简单的线性关系，每层都相当于矩阵相乘，计算量过大而且会出现过拟合问题。
55.步骤b2，将所述se网络模块设置到resnet网络模型中，形成所述se-resnet网络模型，其中，所述se网络模块是通过squeeze操作、excitation操作以及reweight操作完成图像特征重定向的。
56.在本实施例中，人数统计装置在构造完成se网络模块之后，将所述se网络模块设置到resnet网络模型中，形成所述se-resnet网络模型，其中，所述se网络模块是通过squeeze操作、excitation操作以及reweight操作完成图像特征重定向的。
57.其中，resnet网络模型的每两层之间增加了短路机制，形成残差结构；
58.残差结构为x
l 1
＝x
l
f(x
l
,w
l
)；通过递归，任意深层单元l的通过残差结构可以表示为对于任意深的单元l的特征x
l
可以表达为浅层单元l的特征x
l
加上一个形如的残差函数，表明了任何单元l和l之间都具有残差特性。同样的，对于任意深的单元l，它的特征即为之前所有残差函数输出的总和再加上x0。
59.对于反向传播，假设损失函数为e，根据返乡传播的立案式法则，可以得到不通过权重层的传递通过权重层的传递不通过权重层的传递保证了信号能够直接传回到任意的浅层x
l
；同时公式也保证了不会出现梯度消失的现象，因为不可能为-1。
60.如图7所示，se-resnet网络模型是基于resnet网络，在其模型汇总加入se分支，这里我们使用global average pooling作为squeeze操作；紧接着两个fully connected层组成一个bottleneck结构去建模通道间的相关性，并输出和输入特征同样数目的权重；首先将特征维度降低到输入的1/16，然后经过relu激活后再通过一个fully connected层升回到原来的维度。在addition前对分支上residual的特征进行了特征重标定。
61.以上就是se-resnet基础模块的设计，将这些基础模块进行堆叠就可以形成se-resnet50模型。模型训练的过程就是学习参数的过程，将大量带标签的数据送入模型，模型可以自己调整所有参数，从而得到人数统计模型。
62.如图8所示，通过将se-resnet网络模型中的采样模块进行卷积层调整以及将se-resnet网络模型中的分类模型替换为随机森林网络，可以得到本技术的融合网络模型。
63.步骤s30，基于所述无线接收器采集当前无线数据，并对所述当前无线数据图像化
显示生成当前数据图像；
64.在本实施例中，人数统计装置在构建和训练完成了融合网络模型之后，基于无线接收器采集当前无线数据，并对所述当前无线数据图像化显示生成当前数据图像。其中当前数据图像为基于当前的无线数据生成的图像。
65.步骤s30基于所述无线接收器采集当前无线数据，可以包括：
66.步骤c，基于所述无线接收器接收无线路由器的当前无线数据。
67.在本实施例中，人数统计装置在构建和训练完成融合网络模型之后，无线路由器发出当前无线数据，当前无线数据穿过在空间内活动的人体之后，被无线接收器接收，人数统计装置根据无线接收器接收无线路由器发出当前无线数据。
68.步骤s40，将所述当前数据图像输入融合网络模型，计算得到当前人数统计结果。
69.在本实施例中，人数统计装置在生成了当前数据图像之后，将所述当前数据图像输入融合网络模型，计算得到当前人数统计结果。其中，当前人数统计结果可以为0、1、2、3、4、5个人。通过在改进的resnet50模块中嵌入se-block形成一个特征提取网络，并对网络层数适度减少以避免对原始特征造成过大的影响，最后将提取出来的特征送入随机森林中进行分类，从而得到人数统计结果。可以通过融合网络模型，实现平均准确率达到了97％，平均召回率达到97％。f1-score达到了97％。
70.本实施例通过上述方案，通过对se-resnet网络模型中的采样模块今夕卷积层改进，加强了无线数据不同特征通道之间的空间关系，从而确保无线数据的不同子载波之间的空间特征不被忽略。通过将se-resnet网络模型中的分类模型替换为随机森林网络，实现了特征数据进行回归预测，进而实现了提高人数统计的精度。通过改进的se-resnet模型对数据进行特征提取之后，每条数据维度从55080变成了256，只保留了其中最主要的特征，大幅减少了计算量，节省了计算时间以及节约了计算资源。
71.进一步地，参照图9，图9为本发明人数统计方法第二实施例的流程示意图。基于上述图2所示的实施例，步骤s10对所述训练无线数据进行图像化显示，生成训练数据图像可以包括：
72.步骤s11，对所述训练无线数据进行解析，得到第一数据幅值矩阵；
73.在本实施例中，人数统计装置在采集了训练无线数据之后，对所述训练无线数据进行解析，得到第一数据幅值矩阵；其中，第一数据幅值矩阵将无线数据的幅值提取出，构成的矩阵。步骤s11实现了去除无线数据中高于人类活动频率的高频噪声，消除了环境及设备噪声的影响。
74.步骤s11对训练无线数据进行解析，得到第一数据幅值矩阵，可以包括：
75.步骤s111，基于信道状态解析程序对所述训练无线数据进行解析，得到第一矩阵数据；
76.在本实施例中，人数统计装置在接收到训练无线数据之后，根据信道状态解析程序对训练无线数据进行解析，得到第一矩阵数据。以其中一条数据为例，采集到的原始信号是dat格式，经过信道状态解析程序之后，将训练无线数据转换为四维的矩阵数据。其中矩阵信号为3*3*30*n的四维矩阵，其中第一个“3”表示发射天线的数量，第二个“3”表示接收条线的数量，“30”表示每个信道上的30个子载波，n表示当前数据包有n条数据，其中每一条数据都是3*3*30维的矩阵。
77.步骤s112，基于巴特沃斯滤波程序对所述第一矩阵数据进行高频滤波，得到处理后的第一降噪矩阵数据；
78.在本实施例中，人数统计装置在得到了第一矩阵数据之后，基于巴特沃斯滤波程序对所述第一矩阵数据进行高频滤波，得到处理后的第一降噪矩阵数据。实际应用中由于环境及设备噪声的影响，这些噪声主要是一些高频信号，从而导致提取出的csi数据十分不平滑，难以提取有效特征，因此需要首先对csi数据进行去噪处理，通过分析得知人类活动对链路产生的影响大多由频谱中的低频信号组成。然而，原始的csi数据汇总包含有大量的高频噪声，为了避免人体这样一种微弱的低频信号被大量的高频噪声淹没，需要使用滤波器将这些高频噪声滤除，才能从csi数据中提取出人数相关的数据。
79.步骤s112基于巴特沃斯滤波程序对所述第一矩阵数据号进行高频滤波，得到处理后的第一降噪矩阵数据，包括：
80.步骤s1121，获取所述无线接收器的第一采样频率、第一人体波动频率以及第一滤波阶数；
81.在本实施例中，人数统计装置在获取了第一矩阵数据之后，获取所述无线接收器的第一采样频率、第一人体波动频率以及第一滤波阶数。
82.步骤s1122，根据所述第一采样频率和所述第一人体波动频率计算第一截止频率；
83.在本实施例中，人数统计装置在获取了无线接收器的第一采样频率、第一人体波动频率以及第一滤波阶数之后，根据所述第一采样频率和所述第一人体波动频率计算第一截止频率。其中，所述第一截止频率其中，fc为第一人体波动频率，fs为无线接收器的第一采样频率。考虑到人体活动对无线信号序列造成的频率波动(即人体波动频率)约为10hz，在训练无线数据的第一采样频率为50hz时，可根据求得巴特沃斯滤波器的第一截止频率wc为0.4πrad/s。
84.步骤s1123，基于所述第一截止频率和所述第一滤波阶数对所述第一矩阵数据中的第一信号幅值进行高频滤波，得到第一滤波幅值；
85.在本实施例中，人数统计装置在得到了第一截止频率和第一滤波阶数之后，基于所述第一截止频率和所述第一滤波阶数对所述第一矩阵数据中的第一信号幅值进行高频滤波，得到第一滤波幅值。其中，根据实际需要及计算复杂性，设置该滤波器的阶数为9，即n＝9。巴特沃斯滤波程序的低通滤波方法需要滤波器的阶数n和表示幅度在-3db处通带的截止频率wc两个参数，其第一滤波幅值平方函数可表示为
86.步骤s1124，将所述第一矩阵数据中的信号幅值替换成所述第一滤波幅值，得到第一降噪矩阵数据。
87.在本实施例中，人数统计装置在得到了第一滤波幅值之后，将所述第一矩阵数据中的信号幅值替换成所述第一滤波幅值，得到第一降噪矩阵数据。
88.步骤s113，基于主成分分析算法对所述第一降噪矩阵信数据进行降维运算，得到
第一降维矩阵数据；
89.在本实施例中，人数统计装置在得到了第一降噪矩阵数据之后，基于主成分分析算法对所述第一降噪矩阵信数据进行降维运算，得到第一降维矩阵数据。
90.步骤s113基于主成分分析算法对所述第一降噪矩阵信数据进行降维运算，得到第一降维矩阵数据，可以包括：
91.步骤s1131，将所述第一降噪矩阵数据作为第一样本集输入主成分分析算法中，对所述第一样本集中的每个第一空间样本点分别进行中心化处理；
92.在本实施例中，人数统计装置在得到了第一降噪矩阵数据之后，将所述第一降噪矩阵数据作为第一样本集输入主成分分析算法中，对所述第一样本集中的每个第一空间样本点分别进行中心化处理。其中，主成分分析算法(principal components analysis，pca)是一种分析、简化数据集的技术。所述第一样本集d＝{x1,x2,...,xn}，也即是第一降噪矩阵数据d＝{x1,x2,...,xn}；中心化处理后的第一空间样本点为xi为第一降噪矩阵数据中的一个第一空间样本点。
93.步骤s1132，计算所述第一空间样本点的第一协方差矩阵，并对所述第一协方差矩阵进行分解，求出每个所述第一空间样本点对应的第一特征值以及每个所述第一空间样本点对应的第一特征向量；
94.在本实施例中，人数统计装置在对第一空间样本点进行中心化处理之后，计算样本的第一协方差矩阵zz
t
，并针对此第一协方差矩阵进行分解，求出每个所述第一空间样本点对应的第一特征值λi及每个所述第一空间样本点对应的第一特征向量wi。其中，每个第一特征值与每个第一特征向量一一对应。
95.步骤s1133，根据第一预设重构阈值和所述第一特征值，确定最小第一降维维度；
96.在本实施例中，人数统计装置在确定了每个所述第一空间样本点对应的第一特征值以及每个所述第一空间样本点对应的第一特征向量之后，根据第一预设重构阈值t和所述第一特征值λi，来选取使成立的最小第一降维维度d为所述第一样本集的维数，也原第一样本集空间的维数。也即是，根据第一预设重构阈值t和所述第一特征值λi，来选取使成立的投影空间的维数。
97.步骤s1134，按从大到小将所述第一特征值进行降序排列，选择前所述最小第一降维维度数量个所述第一特征值对应的第一特征向量，组成第一降维矩阵数据。
98.在本实施例中，人数统计装置在确定了最小第一降维维度之后，按从大到小将所述第一特征值进行降序排列，选择前所述最小第一降维维度的数量个第一特征值所对应的第一特征向量，构成第一降维矩阵数据。降序排列第一特征值λi，选择前最小第一降维维度个第一特征值所对应的第一特征向量，构成投影矩阵(第一降维矩阵数据)
99.例如，假设原第一空间样本点为xi，其中i＝1,2,3...n。设第一空间样本点的均值为则中心化后的样本点有：假设投影得新坐标系{w1,w2,...,wd}，wi为标准正交基向量，||wi||2＝1，w
it
wj＝0(x≠y)。假定d表示原维度，表示降维后的维度，则pi＝(p
i1
,p
i2
,...,p
id
)表示样本点在低维坐标系中的投影，其中i代表样本点αi在低维空间中第j维的坐标。则w
t
αi表示样本点αi在低维空间中的投影，其中w＝{w1,w2,...,wd}。经计算得投影后样本点方差为则可以用公式s.t.w
t
w＝1、表示优化目标函数：经转化可得公式zz
t
w＝λw；将公式zz
t
w＝λw代回式可以发现，关键问题转换为求最大第一特征值，而投影空间w的每一维基向量为第一协方差矩阵zz
t
的第一特征向量。
100.步骤s114，将所述第一降维矩阵数据中的幅值提取出，构成第一数据幅值矩阵。
101.在本实施例中，人数统计装置在得到了第一降维矩阵数据之后，将所述第一降维矩阵数据中的幅值提取出，构成第一数据幅值矩阵。所述第一降维矩阵数据其中h
t
为在时间t处获取的训练无线数据矢量，c为训练无线数据中信道总数，t为转置操作，为在时间t处信道c的训练无线数据；
102.其中，其中，为在时间t的信道c的幅值，为在时间t的信道c的相位；j为第一降维矩阵数据中维数
103.所述第一数据幅值矩阵为a＝[a1,
…
,a
t
,
…at
]，其中，
[0104]
真实相位为被测相位，其中fc为信道c的频率，δt表示发射机和接收机之间的未知时滞，2πfcδt表示由于信号传播而引起的相移，β表示发送的数据包的未知初始相位，表示测量噪声；
[0105]
为确保相位测量值不随δt和β改变，定义校准参数
[0106]
定义校准参数
[0107]
校准后的相位
[0108]
经过校准和预处理，可获得预处理的相位测量矩阵φ＝[φ1,
…
,φ
t
,
…
,φ
t
]；其中，
[0109]
作为一种实施方式，可将第一数据幅值矩阵a＝[a1,
…
,a
t
,
…at
]，和相位测量矩阵φ＝[φ1,
…
,φ
t
,
…
,φ
t
]为无线电图像的矩阵形式，以第一数据幅值矩阵的时间为x轴，以第一数据幅值矩阵的通道c为y轴，从而将幅度测量值转换为无线电图像。
[0110]
步骤s12，对所述第一数据幅值矩阵进行数据转换，得到第一转换幅值矩阵；
[0111]
在本实施例中，人数统计装置在得到了第一数据幅值矩阵之后，对所述第一数据幅值矩阵进行数据转换，得到第一转换幅值矩阵，也即是将第一数据幅值矩阵中的幅值转换成像素值，得到第一转换幅值矩阵。
[0112]
步骤s12对所述第一数据幅值矩阵进行数据转换，得到第一转换幅值矩阵，可以包括：
[0113]
步骤s121，将所述第一数据幅值矩阵中的每个幅值进行像素转换，得到每个幅值对应的像素值；
[0114]
在本实施例中，人数统计装置在得到了第一数据幅值矩阵之后，将所述第一数据幅值矩阵中的每个幅值进行像素转换，得到每个幅值对应的像素值。
[0115]
人数统计装置在得到了第一数据幅值矩阵之后，选取第一数据幅值矩阵作为待转换数据，将第一数据幅值矩阵中的幅值归一化到[0,1]之间，随后再乘以255使其范围变为[0,255]，得到每个幅值对应的像素值；使矩阵中的幅值与颜色值对应。
[0116]
步骤s122，将每个所述幅值对应的像素值按照每个幅值在所述第一数据幅值矩阵中的位置进行组合，得到第一转换幅值矩阵。
[0117]
在本实施例中，人数统计装置在得到了每个幅值对应的像素值之后，将每个所述幅值对应的像素值按照每个幅值在所述第一数据幅值矩阵中的位置进行组合，得到第一转换幅值矩阵。
[0118]
步骤s13，对所述第一转换幅值矩阵进行图像化显示，得到训练数据图像。
[0119]
在本实施例中，人数统计装置在得到了第一转换幅值矩阵之后，对所述第一转换幅值矩阵进行图像化显示，得到训练数据图像。
[0120]
步骤s13对所述第一转换幅值矩阵进行图像化显示，得到训练数据图像，可以包括：
[0121]
步骤s131，将所述第一转换幅值矩阵中的每个所述像素值转换成一个像素点；
[0122]
在本实施例中，人数统计装置在得到了第一转换幅值矩阵之后，人数统计装置将第一转换幅值矩阵中每个像素值对应转换成一个像素点。
[0123]
步骤s132，以所述第一转换幅值矩阵中的时间为x轴，以所述第一转换幅值矩阵的通道为y轴对所述像素点依次进行排列显示，形成训练数据图像，其中，所述像素点与所述像素值一一对应。
[0124]
在本实施例中，人数统计装置第一转换幅值矩阵中每个像素值对应转换成一个像素点之后，以第一转换幅值矩阵中的时间为x轴，以第一转换幅值矩阵中的通道c为y轴对所述像素点依次进行排列显示，将第一转换幅值矩阵中的幅值转换为训练数据图像。通道为3*30的子载波通道。其中，所述像素点与所述像素值一一对应。也即是，人数统计装置在得到了第一转换幅值矩阵之后，将所述第一转换幅值矩阵中的每个所述像素值转换成一个像素点，将所述像素点按照与所述像素点对应的所述像素值在所述第一转换幅值矩阵中的位置进行图像化显示，形成训练数据图像。
[0125]
本实施例通过上述方案，提高了无线数据的可见性，提高了无线数据的直观表达能力。
[0126]
进一步地，参照图11，图11为本发明人数统计方法第三实施例的流程示意图。基于
上述图2、图9所示的实施例，步骤s30对所述当前无线数据图像化显示生成当前数据图像，可以包括：
[0127]
步骤s31，对所述当前无线数据进行解析，得到第二数据幅值矩阵；
[0128]
在本实施例中，人数统计装置在采集了当前无线数据之后，对所述当前无线数据进行解析，得到第二数据幅值矩阵；其中，第二数据幅值矩阵将无线数据的幅值提取出，构成的矩阵。
[0129]
步骤s31对当前无线数据进行解析，得到第二数据幅值矩阵，可以包括：
[0130]
步骤s311，基于信道状态解析程序对所述当前无线数据进行解析，得到第二矩阵数据；
[0131]
在本实施例中，人数统计装置在接收到当前无线数据之后，根据信道状态解析程序对当前无线数据进行解析，得到第二矩阵数据。以其中一条数据为例，采集到的原始信号是dat格式，经过信道状态解析程序之后，将训练无线数据转换为四维的矩阵数据。其中矩阵信号为3*3*30*n的四维矩阵，其中第一个“3”表示发射天线的数量，第二个“3”表示接收条线的数量，“30”表示每个信道上的30个子载波，n表示当前数据包有n条数据，其中每一条数据都是3*3*30维的矩阵。
[0132]
步骤s312，基于巴特沃斯滤波程序对所述第二矩阵数据进行高频滤波，得到处理后的第二降噪矩阵数据；
[0133]
在本实施例中，人数统计装置在得到了第二矩阵数据之后，基于巴特沃斯滤波程序对所述第二矩阵数据进行高频滤波，得到处理后的第二降噪矩阵数据。实际应用中由于环境及设备噪声的影响，这些噪声主要是一些高频信号，从而导致提取出的csi数据十分不平滑，难以提取有效特征，因此需要首先对csi数据进行去噪处理，通过分析得知人类活动对链路产生的影响大多由频谱中的低频信号组成。然而，原始的csi数据汇总包含有大量的高频噪声，为了避免人体这样一种微弱的低频信号被大量的高频噪声淹没，需要使用滤波器将这些高频噪声滤除，才能从csi数据中提取出人数相关的数据。
[0134]
步骤s312基于巴特沃斯滤波程序对所述第二矩阵数据号进行高频滤波，得到处理后的第二降噪矩阵数据，包括：
[0135]
步骤s3121，获取所述无线接收器的第二采样频率、第二人体波动频率以及第二滤波阶数；
[0136]
在本实施例中，人数统计装置在获取了第二矩阵数据之后，获取所述无线接收器的第二采样频率、第二人体波动频率以及第二滤波阶数。
[0137]
步骤s3122，根据所述第二采样频率和所述第二人体波动频率计算第二截止频率；
[0138]
在本实施例中，人数统计装置在获取了无线接收器的第二采样频率、第二人体波动频率以及第二滤波阶数之后，根据所述第二采样频率和所述第二人体波动频率计算第二截止频率。其中，所述第二截止频率其中，fc为第二人体波动频率，fs为无线接收器的第二采样频率。考虑到人体活动对无线信号序列造成的频率波动(即人体波动频率)约为10hz，在训练无线数据的第二采样频率为50hz时，可根据求得巴特沃斯滤
波器的第二截止频率wc为0.4πrad/s。
[0139]
步骤s3123，基于所述第二截止频率和所述第二滤波阶数对所述第二矩阵数据中的第二信号幅值进行高频滤波，得到第二滤波幅值；
[0140]
在本实施例中，人数统计装置在得到了第二截止频率和第二滤波阶数之后，基于所述第二截止频率和所述第二滤波阶数对所述第二矩阵数据中的第二信号幅值进行高频滤波，得到第二滤波幅值。其中，根据实际需要及计算复杂性，设置该滤波器的阶数为9，即n＝9。巴特沃斯滤波程序的低通滤波方法需要滤波器的阶数n和表示幅度在-3db处通带的截止频率wc两个参数，其第二滤波幅值平方函数可表示为
[0141]
步骤s3124，将所述第二矩阵数据中的信号幅值替换成所述第二滤波幅值，得到第二降噪矩阵数据。
[0142]
在本实施例中，人数统计装置在得到了第二滤波幅值之后，将所述第二矩阵数据中的信号幅值替换成所述第二滤波幅值，得到第二降噪矩阵数据。
[0143]
步骤s313，基于主成分分析算法对所述第二降噪矩阵信数据进行降维运算，得到第二降维矩阵数据；
[0144]
在本实施例中，人数统计装置在得到了第二降噪矩阵数据之后，基于主成分分析算法对所述第二降噪矩阵信数据进行降维运算，得到第二降维矩阵数据。
[0145]
步骤s313基于主成分分析算法对所述第二降噪矩阵信数据进行降维运算，得到第二降维矩阵数据，可以包括：
[0146]
步骤s3131，将所述第二降噪矩阵数据作为第二样本集输入主成分分析算法中，对所述第二样本集中的每个第二空间样本点分别进行中心化处理；
[0147]
在本实施例中，人数统计装置在得到了第二降噪矩阵数据之后，将所述第二降噪矩阵数据作为第二样本集输入主成分分析算法中，对所述第二样本集中的每个第二空间样本点分别进行中心化处理。其中，主成分分析算法(principal components analysis，pca)是一种分析、简化数据集的技术。所述第二样本集d＝{x1,x2,...,xn}，也即是第二降噪矩阵数据d＝{x1,x2,...,xn}；中心化处理后的第二空间样本点为xi为第二降噪矩阵数据中的一个第二空间样本点。
[0148]
步骤s3132，计算所述第二空间样本点的第二协方差矩阵，并对所述第二协方差矩阵进行分解，求出每个所述第二空间样本点对应的第二特征值以及每个所述第二空间样本点对应的第二特征向量；
[0149]
在本实施例中，人数统计装置在对第二空间样本点进行中心化处理之后，计算样本的第二协方差矩阵zz
t
，并针对此第二协方差矩阵进行分解，求出每个所述第二空间样本点对应的第二特征值λi及每个所述第二空间样本点对应的第二特征向量wi。其中，每个第二特征值与每个第二特征向量一一对应。
[0150]
步骤s3133，根据第二预设重构阈值和所述第二特征值，确定最小第二降维维度；
[0151]
在本实施例中，人数统计装置在确定了每个所述第二空间样本点对应的第二特征值以及每个所述第二空间样本点对应的第二特征向量之后，根据第二预设重构阈值t和所
述第二特征值λi，来选取使成立的最小第二降维维度d为所述第二样本集的维数，也原第二样本集空间的维数。也即是，根据第二预设重构阈值t和所述第二特征值λi，来选取使成立的投影空间的维数。
[0152]
步骤s3134，按从大到小将所述第二特征值进行降序排列，选择前所述最小第二降维维度个所述第二特征值对应的第二特征向量，组成第二降维矩阵数据。
[0153]
在本实施例中，人数统计装置在确定了最小第二降维维度之后，按从大到小将所述第二特征值进行降序排列，选择前所述最小第二降维维度的数量个第二特征值所对应的第二特征向量，构成第二降维矩阵数据。降序排列第二特征值λi，选择前最小第二降维维度个第二特征值所对应的第二特征向量，构成投影矩阵(第二降维矩阵数据)
[0154]
步骤s314，将所述第二降维矩阵数据中的幅值提取出，构成第二数据幅值矩阵。
[0155]
在本实施例中，人数统计装置在得到了第二降维矩阵数据之后，将所述第二降维矩阵数据中的幅值提取出，构成第二数据幅值矩阵。所述第二降维矩阵数据其中h
t
为在时间t处获取的训练无线数据矢量，c为训练无线数据中信道总数，t为转置操作，为在时间t处信道c的训练无线数据；
[0156]
其中，其中，为在时间t的信道c的幅值，为在时间t的信道c的相位；j为第二降维矩阵数据中维数
[0157]
所述第二数据幅值矩阵为a＝[a1,
…
,a
t
,
…at
]，其中，
[0158]
真实相位为被测相位，其中fc为信道c的频率，δt表示发射机和接收机之间的未知时滞，2πfcδt表示由于信号传播而引起的相移，β表示发送的数据包的未知初始相位，表示测量噪声；
[0159]
步骤s32，对所述第二数据幅值矩阵进行数据转换，得到第二转换幅值矩阵；
[0160]
在本实施例中，人数统计装置在得到了第二数据幅值矩阵之后，对所述第二数据幅值矩阵进行数据转换，得到第二转换幅值矩阵，也即是将第二数据幅值矩阵中的幅值转换成像素值，得到第二转换幅值矩阵。
[0161]
步骤s32对所述第二数据幅值矩阵进行数据转换，得到第二转换幅值矩阵，可以包括：
[0162]
步骤s321，将所述第二数据幅值矩阵中的每个幅值进行像素转换，得到每个幅值对应的像素值；
[0163]
在本实施例中，人数统计装置在得到了第二数据幅值矩阵之后，将所述第二数据
幅值矩阵中的每个幅值进行像素转换，得到每个幅值对应的像素值。
[0164]
人数统计装置在得到了第二数据幅值矩阵之后，选取第二数据幅值矩阵作为待转换数据，将第二数据幅值矩阵中的幅值归一化到[0,1]之间，随后再乘以255使其范围变为[0,255]，得到每个幅值对应的像素值；使矩阵中的幅值与颜色值对应。
[0165]
步骤s322，将每个所述幅值对应的像素值按照每个幅值在所述第二数据幅值矩阵中的位置进行组合，得到第二转换幅值矩阵。
[0166]
在本实施例中，人数统计装置在得到了每个幅值对应的像素值之后，将每个所述幅值对应的像素值按照每个幅值在所述第二数据幅值矩阵中的位置进行组合，得到第二转换幅值矩阵。
[0167]
步骤s33，对所述第二转换幅值矩阵进行图像化显示，得到当前数据图像。
[0168]
在本实施例中，人数统计装置在得到了第二转换幅值矩阵之后，对所述第二转换幅值矩阵进行图像化显示，得到当前数据图像。
[0169]
步骤s33对所述第二转换幅值矩阵进行图像化显示，得到当前数据图像，可以包括：
[0170]
步骤s331，将所述第二转换幅值矩阵中的每个所述像素值转换成一个像素点；
[0171]
在本实施例中，人数统计装置在得到了第二转换幅值矩阵之后，人数统计装置将第二转换幅值矩阵中每个像素值对应转换成一个像素点。
[0172]
步骤s332，以所述第二转换幅值矩阵中的时间为x轴，以所述第二转换幅值矩阵的通道为y轴对所述像素点依次进行排列显示，形成当前数据图像，其中，所述像素点与所述像素值一一对应。
[0173]
在本实施例中，人数统计装置第二转换幅值矩阵中每个像素值对应转换成一个像素点之后，以第二转换幅值矩阵中的时间为x轴，以第二转换幅值矩阵中的通道c为y轴对所述像素点依次进行排列显示，将第二转换幅值矩阵中的幅值转换为当前数据图像。通道为3*30的子载波通道。
[0174]
本实施例通过上述方案，提高了无线数据的可见性，提高了无线数据的直观表达能力。
[0175]
在对融合网络模型进行训练和测试中，一共分为六类，分别对应0,1,2,3,4,5个人的场景，每种类别有100条数据，合计600条训练数据，其中每个数据包中的数据都会处理成一个612*90的二维矩阵。在特征提取阶段会把所有的数据进行深度特征提取，然后在人数统计阶段，会把提取好的特征数据按照70％和30％的比例分为训练集和测试集。
[0176]
在之前的随机森林验证实验中，没有对数据进行特征提取，直接采用原始数据进行分类，其中每条数据都有55080个维度，计算量非常大。在本实验中用改进的se-resnet模型对数据进行特征提取之后，每条数据维度变成了256，只保留了其中最主要的特征，计算量大幅减少，节省了计算时间和计算资源。
[0177]
随后利用随机森林网络进行人数统计分类实验。先将数据输入格式进行整理，把每个样本的数据形成一列，则每列数据包括256个，然后将所有的600个数据包整理到一起形成一个600列的数据集，然后在每列数据的最后一行加上标签，这样就可以输入到随机森林中进行分类了。随机分出其中70％的数据作为训练集，30％作为训练集，在训练过程中共设置了300个决策树，最大特征数设置为40，最后计算出分类结果。在训练集上，人数统计的
准确率为100％，图12所示的是训练集上的混淆矩阵，表1表示的是结果数据。
[0178]
表1
[0179][0180]
随后用测试集数据对模型进行了测试，测试结果如图13和表2所示。
[0181]
表2
[0182][0183]
从上面的测试结果可以看出，融合网络模型的平均准确率达到了97％，平均召回率达到97％。f1-score达到了97％，基于se-rf-resnet融合网络模型的人数统计模型得到了比较理想的效果。
[0184]
如图14所示，融合网络模型、se-resnet网络模型、googlenet网络模型、bi-lstm网络模型和随机森林模型的平均准确率结果对比图。
[0185]
基于图像特征提取的方式进行无线电视觉人数统计的效果比直接使用时序信号分析更好。在基于图像特征提取方式上的个模型中，本文改进的模型se-rf-resnet能够取得更高的准确率。
[0186]
本发明还提供一种人数统计装置。
[0187]
本发明人数统计装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人数统计程序，所述人数统计程序被所述处理器执行时实现如上所述的人数统计方法的步骤。
[0188]
其中，在所述处理器上运行的人数统计程序被执行时所实现的方法可参照本发明人数统计方法各个实施例，此处不再赘述。
[0189]
本发明还提供一种计算机可读存储介质。
[0190]
本发明计算机可读存储介质上存储有人数统计程序，所述人数统计程序被处理器执行时实现如上所述的人数统计方法的步骤。
[0191]
其中，在所述处理器上运行的人数统计程序被执行时所实现的方法可参照本发明人数统计方法各个实施例，此处不再赘述。