一种基于无线射频信号的行为检测方法及系统

1.本发明属于物联网和人工智能技术领域，具体涉及一种基于无线射频信号的行为检测方法及系统。


背景技术：

2.现在一般采用基于摄像头的方案研究人的行为识别任务，比如摔倒检测、手势识别、键入识别等。主要有两个缺点：首先，摄像头应用于家庭场景时，容易引起使用者对人脸等重要隐私泄露的担忧。其次，摄像头不具有穿透性，当用户在障碍物或墙壁之后，基于摄像头的方案便不能能用于用户的动作识别。故摄像头方案有着较多的限制。
3.而现有的基于无线射频信号的行为识别任务的模式也存在不足，它表现为为时间粒度较粗的“n到1”模式，即输入一段长为n的无线射频信号序列，输出该序列所对应的动作类别，而无法检测用户在一段时间内的每一个采样时刻的动作类别。


技术实现要素：

4.本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于无线射频信号的行为检测方法及系统，能够检测用户在一段时间内的每一个采样时刻的动作类别。本发明不仅可以检测行为类别，还能检测行为的起止时间，可被用于对动作时间较敏感的下游任务中，例如连续动作分割、异常事件检测、持续时间统计等。
5.本发明采用以下技术方案：
6.一种基于无线射频信号的行为检测方法，包括以下步骤：
7.s1、采集待测对象得到wifi信息；
8.s2、对步骤s1得到的wifi信息进行处理得到可输入时序unet的检测数据；
9.s3、构建并训练时序unet，得到时序unet模型；
10.s4、将步骤s2得到的检测数据输入步骤s3得到的时序unet模型中，得到检测结果。
11.具体的，步骤s1采集待测对象前，先检测采集部件感知范围内是否有待测对象出现，当检测到待测对象时开始工作，接收待测对象返回的wifi信号。
12.具体的，步骤s2中，采用wifi信号物理层的信道状态信息作为可输入时序unet的检测数据，具体如下：将两个通用软件无线电外设usrp通过时钟连接，其中一个通用软件无线电外设usrp按照ieee 802.11n协议发射数据包，另一个通用软件无线电外设usrp接收数据包，并根据ieee 802.11n协议解析数据包，进行信道估计并得到信道状态信息。
13.具体的，步骤s3中，时序unet模型为u型结构，包括下采样块、上采样块和快捷连路，下采样块用于压缩输入数据的维度，上采样块用于恢复被下采样块压缩的数据的维度，快捷连路用于将输入数据和经上采样块恢复压缩后的数据沿通道维度进行拼接。
14.进一步的，下采样块包括两个连续卷积层和一个最大池化层，输出是上一个上采样块的输入。
15.更进一步的，连续卷积层的内核大小为2
×
1、步长为1、填充为1，最大池化层的内
核大小为2
×
1、步长为2、填充为0。
16.进一步的，上采样块包括反卷积层，反卷积层的内核大小为2
×
1，步幅为2，填充为0。
17.具体的，步骤s3中，时序unet模型的损失函数为交叉熵损失函数，使用交叉熵损失函数对时序unet模型进行训练，在训练时序unet模型前，先将数据归一化到[0,1]之间。
[0018]
本发明的另一技术方案是，一种基于无线射频信号的行为检测系统，包括：
[0019]
采集模块，采集待测对象得到wifi信息；
[0020]
数据模块，对采集模块得到的wifi信息进行处理得到可输入时序unet的检测数据；
[0021]
训练模块，构建并训练时序unet，得到时序unet模型；
[0022]
检测模块，将数据模块得到的检测数据输入训练模块训练后的时序unet模型中，得到检测结果。
[0023]
与现有技术相比，本发明至少具有以下有益效果：
[0024]
本发明一种基于无线射频信号的行为检测方法，采集待测对象得到wifi信息，将wifi信息输入时序unet模型中实现行为检测，既避免了隐私泄露，又能够穿透障碍物和墙体对用户进行检测，还可以检测用户在一段时间内的每一个采样时刻的动作类别，采用为深度学习网络框架——时序unet，可以处理wifi无线信号，可实现采样时刻级的用户动作检测，包括动作起止时间检测和动作分类。
[0025]
进一步的，在采集wifi信息前，先检测在采集部件感知范围内是否有待测对象出现，在无人则不工作，避免了资源的浪费。
[0026]
进一步的，采用wifi信号物理层的信道状态信息作为检测人体行为的媒介，信道状态信息很好地显示了wifi信息在用户做出行为时的改变过程，有利于对用户行为进行检测。
[0027]
进一步的，时序unet模型为u型结构，包括上采样块、下采样块和快捷链路，u型结构大大减少了参数量，使模型成为轻量级模型，训练更容易。快捷连路使上采样时的特征图中包含了更多的低层语义信息，使结果的精细程度更好。
[0028]
进一步的，设置包括两个连续卷积层和一个最大池化层的下采样块，输出是上一个上采样块的输入，用于获取高级语义信息。
[0029]
进一步的，下采样块的连续卷积层的内核大小为2
×
1、步长为1、填充为1，最大池化层的内核大小为2
×
1、步长为2、填充为0，能够提取到足够的语义信息。
[0030]
进一步的，设置上采样块进行分辨率恢复，上采样块的反卷积层的内核大小为2
×
1，步幅为2，填充为0，保证了分辨率恢复的完成。
[0031]
进一步的，在训练时序unet模型前，先将数据归一化到[0,1]之间，让数据便于操作，采用交叉熵损失函数作为时序unet模型的损失函数，可得到效果最好的参数。
[0032]
综上所述，本发明方法实现了一个更细粒度和具有挑战性的动作识别任务，即采样时刻级动作识别，不仅可以检测行为类别，还能检测行为的起止时间。
[0033]
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
[0034]
图1为系统任务图；
[0035]
图2为硬件连接图；
[0036]
图3为时序unet结构图；
[0037]
图4为动作识别和动作分类在测试集上的成功率示意图，其中，(a)为动作识别精度95.09％，(b)为动作分类类精度88.60％；
[0038]
图5为动作识别和动作分类在测试集上的平均准确率曲线图；
[0039]
图6为一个交叉手势的动作识别结果示意图。
具体实施方式
[0040]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0041]
在本发明的描述中，需要理解的是，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0042]
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0043]
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0044]
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
[0045]
请参阅图2，本发明一种基于无线射频信号的行为检测方法，包括数据收集模块和时序unet模块；
[0046]
数据收集模块采用wifi信号物理层的信道状态信息(channel state information：csi)作为采样时刻级动作识别的媒介。
[0047]
硬件连接方式如图1所示，两个通用软件无线电外设usrp经过时钟相连，其中一个usrp按照ieee 802.11n协议发射数据包，另一个usrp则接收数据包，并根据ieee 802.11n协议解析数据包，进行信道估计并得到csi。
[0048]
时序unet模块包括上采样块、下采样块和快捷连接。本质是unet加上了学习时间特征的能力，时序unet学习从csi样本序列到动作标注序列的映射函数。csi系列通过时序unet模块即可完成动作识别。
[0049]
本发明一种基于无线射频信号的行为检测方法，包括以下步骤：
[0050]
s1、通过采集装置采集待测对象得到wifi信息；
[0051]
在进行采集wifi信息的步骤之前，先要检测在采集部件感知范围内是否有待测对象出现，当检测到待测对象时开始工作，接收到返回的wifi信号。
[0052]
s2、对所得到的wifi信息进行处理得到可用的检测数据；
[0053]
采集到待检测对象wifi信息后，选取所得的wifi信息中需要的部分，将所选取的wifi信息转换为适合使用的特定格式并存储，得到可输入时序unet的检测数据。
[0054]
本发明采用wifi信号物理层的信道状态信息(channel state information：csi)作为检测人体行为的媒介，它由wifi发送器和wifi接收器之间的特定载波的信息组成。
[0055]
硬件连接方式如图2所示，两个通用软件无线电外设usrp经过时钟相连，其中一个usrp按照ieee 802.11n协议发射数据包，另一个usrp则接收数据包，并根据ieee 802.11n协议解析数据包，进行信道估计并得到csi。
[0056]
s3、构建并训练时序unet，得到一个可用的时序unet模型；
[0057]
请参阅图3，时序unet模型由多个上采样块、多个下采样块、多个快捷链路构成，是一个u型结构。
[0058]
下采样块由两个连续卷积层(内核大小＝2
×
1、步长＝1、填充＝1)和一个最大池化层(内核大小＝2
×
1、步长＝2、填充＝0)组成，输出是下一个下采样块的输入。
[0059]
在上采样块中，先由反卷积层(内核大小＝2
×
1、步幅＝2、填充＝0)上采样，同时，“快捷链路”将上采样特征图沿通道轴与底层连接，使通道增加一倍，然后将双特征图输入到两个卷积层进行输出，输出是下一个上采样块的输入。
[0060]
采用交叉熵损失函数作为时序unet模型的损失函数对时序unet模型进行训练。在训练时序unet之前，先将数据归一化到[0,1]之间；时序unet由pytorch、tensorflow或其他的深度学习框架书写和训练，优化器采用adam，初始参数belta1为0.9，belta2位0.999，一共训练了200个周期，每10周期降低0.5学习速率。
[0061]
构建和训练完成后，得到一个可用的时序unet模型。
[0062]
请参阅图4和图5，训练完成后，时序unet在测试集上很好地完成了行为事件的检测。根据图4混淆矩阵看到时序unet在区分“没有发生动作”和“发生了动作”之间的状态方面工作得很好。根据图5，随着成功率的不断增加，成功率ap将会降低，但即使我们以较为严格的0.9作为成功阈值，采样时刻级动作检测的效果仍然很高，这意味着时序unet在动作识别上表现良好。
[0063]
s4、将可用的检测数据输入时序unet模型得到检测结果。
[0064]
直接将处理后得到的csi序列输入训练后的时序unet模型，即可直接得到检测结果。
[0065]
本发明再一个实施例中，提供一种基于无线射频信号的行为检测系统，该系统能够用于实现上述基于无线射频信号的行为检测方法，具体的，该基于无线射频信号的行为检测系统包括采集模块、数据模块、训练模块以及检测模块。
[0066]
其中，采集模块，采集待测对象得到wifi信息；
[0067]
数据模块，对采集模块得到的wifi信息进行处理得到可输入时序unet的检测数据；
[0068]
训练模块，构建并训练时序unet，得到时序unet模型；
[0069]
检测模块，将数据模块得到的检测数据输入训练模块训练后的时序unet模型中，
得到检测结果。
[0070]
本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor、dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于基于无线射频信号的行为检测方法的操作，包括：
[0071]
采集待测对象得到wifi信息；对wifi信息进行处理得到可输入时序unet的检测数据；构建并训练时序unet，得到时序unet模型；将检测数据输入时序unet模型中，得到检测结果。
[0072]
本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速ram存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
[0073]
可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关基于无线射频信号的行为检测方法的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：
[0074]
采集待测对象得到wifi信息；对wifi信息进行处理得到可输入时序unet的检测数据；构建并训练时序unet，得到时序unet模型；将检测数据输入时序unet模型中，得到检测结果。
[0075]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0076]
请参阅图6，图6为一个“交叉”手势的动作识别结果，第一个子图csi表示了了3个ofdm载波(第8、第27和第40个载波)的时间序列csi失真，其中蓝色持续时间和红色持续时间分别被手动标记为“非行动”和“做行动”。中间子图detection中的蓝色和红色曲线分别代表了对“非动作”和“做动作”状态的样本级动作检测置信度。时序unet将一个样本分类为一个具有最高置信度的特定状态。
[0077]
基于此，推断这个人首先保持“非动作”状态到第70个左右(蓝色高于红色)，然后在大约100个样本的时间内做一个动作，在第170个样本左右完成动作，然后保持“非动作”状态到最后。
[0078]
此外，最后一个子图classfication说明了所有动作的动作分类的置信曲线。从中不仅可以推断动作开始和结束的时刻，而且还可以推断每个样本的具体动作。
[0079]
请参阅图4和图5，可以看到，将可用的检测数据输入时序unet模型后，时序unet模型很好地完成了行为事件的检测。根据图4混淆矩阵看到时序unet在区分“没有发生动作”和“发生了动作”之间的状态方面工作得很好。根据图5，，其中，横坐标a为成功阈值，即当一个信息序列的检测值超过a时判定为成功，纵坐标ap@a为成功阈值为a时所有系列的平均精度，随着成功率阈值的不断增加，成功率ap将会降低，但即使我们以较为严格的0.9作为成功阈值，采样时刻级动作检测的效果仍然很高，同时，ap@0.5,ap@0.6,ap@0.7,ap@0.8,ap@0.9的平均结果为0.98，这是一个相当高的值，这意味着时序unet在动作识别上表现良好。
[0080]
综上所述，本发明一种基于无线射频信号的行为检测方法，实现了“n到n”模式的行为事件检测的方法，即输入一段长为n的无线射频信号，输出为每一个采样时刻对应的动作类别；不仅可以检测行为类别，还能检测行为的起止时间，能够被用于对动作时间较敏感的下游任务中，例如连续动作分割、异常事件检测、持续时间统计等。
[0081]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0082]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0083]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0084]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0085]
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。