基于有监督域适应的人体行为识别方法、电子设备与流程

1.本公开涉及雷达图像处理领域，尤其涉及一种基于有监督域适应的人体行为识别方法、电子设备。


背景技术：

2.雷达图像人体行为识别是指使用模式识别、机器学习等方法，从雷达信号中自动地分析出人体行为。最简单的行为识别也称为行为分类，它将雷达信号中的人体行为正确地分类到预先定义的几种行为类别中(如跑步、行走、跳跃等)。雷达图像人体行为识别是近年发展起来的新技术，经人体运动调制后的雷达回波信号包含了人体各部位微动产生的多普勒频率，回波通过时频变换生成图像并将之应用于人体目标的运动辨识和参数估计中，使得人体行为的雷达时频图像识别成为可能。
3.现有的基于神经网络的雷达图像人体行为识别方法虽然能够获得较准确的识别结果，但是通常需要大量的训练样本对神经网络参数进行学习，在标记雷达图像样本时耗费大量的人力物力。此外训练样本数通常远小于所需样本数，会存在小样本问题，小样本极大地制约了神经网络模型的泛化性和鲁棒性。


技术实现要素：

4.有鉴于此，本公开的目的在于提出一种解决上述问题的基于有监督域适应的人体行为识别方法、电子设备。
5.基于上述目的，本公开提供了一种基于有监督域适应的人体行为识别方法，包括：
6.响应于获取目标域的第一雷达回波信号；
7.对所述第一雷达回波信号进行预处理，以得到待识别的目标域数据集；
8.利用预先训练得到的目标域人体行为识别模型对所述待识别的目标域数据集进行处理，得到所述待识别的目标域数据集的人体行为识别结果，其中，所述目标域人体行为识别模型是基于预先训练得到的源域特征提取器经过生成对抗式训练得到的。
9.进一步地，所述目标域人体行为识别模型包括：目标域特征提取器和多分类域间判别器；
10.所述利用预先训练得到的目标域人体行为识别模型对所述待识别的目标域数据集进行处理，得到所述待识别的目标域数据集的人体行为识别结果包括：
11.利用所述目标域特征提取器提取所述待识别的目标域数据集中的人体行为信息；
12.利用所述多分类域间判别器对所述人体行为识别信息进行人体行为识别以及对所述人体行为信息所属的域进行判断，并输出所述待识别的目标域数据集的人体行为识别结果，其中，所属的域包括源域和目标域。
13.进一步地，所述人体行为识别模型的训练过程包括：
14.根据带有标签的源域数据集以及带有标签的目标域数据集，构建训练集，其中，所述源域数据集的数量大于所述目标域数据集的数量；
15.基于所述训练集，采用生成对抗式训练的方式对预先训练得到的源域特征提取器、所述目标域特征提取器和所述多分类域间判别器进行联合训练，以得到所述目标域人体行为识别模型。
16.进一步地，利用所述带有标签的源域数据集对所述源域特征提取器进行训练，以得到训练好的源域特征提取器。
17.进一步地，所述源域特征提取器和所述目标域特征提取器是利用以下第一损失函数进行训练的：
[0018][0019][0020]
其中，x
s
表示源域数据，x
t
表示目标域数据，d表示多分类域间判别器模型，f表示目标域特征提取器，d'(
·
)＝q
d
表示多分类域间判别器的最后一个全连接层中最后一维的输出，f(
·
)表示目标域特征提取器，d∈{s,t}表示d＝s或d＝t，则x
d
～x
d
表示源域数据集或目标域数据集中的数据，e[
·
]表示期望，表示源域特征提取器模型的第i层，表示目标域特征提取器模型的第i层，n表示模型层数。
[0021]
进一步地，所述多分类域间判别器是利用以下第二损失函数进行训练的：
[0022][0023][0024][0025]
其中，y
s
表示源域数据的标签，y
t
表示目标域数据的标签，l
cls
表示用于行为识别的损失函数，l
dis
表示用于域间判别的损失函数，q
s
表示当输入源域数据时，多分类域间判别器的最后一个全连接层的最后一维的输出结果，q
t
表示当输入为目标域数据时，多分类域间判别器的最后一个全连接层的最后一维的输出结果，p'表示输入数据的one
‑
hot标签，p表示多分类域间判别器最后一个全连接层的前n维的输出结果。
[0026]
进一步地，所述对所述第一雷达回波信号进行预处理，以得到待识别的目标域数据集包括：
[0027]
基于动目标显示算法，去除所述第一雷达回波信号中的背景噪声，以得到第二雷达回波信号；
[0028]
通过高通滤波器对所述第二雷达回波信号进行去噪处理，以得到第三雷达回波信号；
[0029]
基于短时傅里叶变换，对所述第三雷达回波信号进行时时频变换，以得到128*128的所述目标域数据集。
[0030]
进一步地，所述源域特征提取器与目标域特征提取器的结构一致，均包含四个卷积层和四个池化层；
[0031]
所述目标域特征提取网络的网络参数与训练好的所述源域特征提取器的网络参数相同，并且在训练时所述源域特征提取器提取器与目标域特征提取器之间参数共享。
[0032]
进一步地，所述多分类域间判别器包括：两个全连接层、一个sigmoid层和一个softmax层；其中
[0033]
所述多分类域间判别器的最后一个全连接层的维度为n 1，前n个维度用于对人体行为进行识别，最后一个维度用于判别待识别数据集样本所属的域。
[0034]
基于同一发明构思，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的方法。
[0035]
从上面所述可以看出，本公开提供的基于有监督域适应的人体行为识别方法、电子设备，将源域特征提取器从源域中充分学习的人体行为信息迁移到目标域中，经过生成对抗式训练后使目标域特征提取器在数据样本较少的情况下仍能够对目标域中的人体行为进行识别，最终训练出一个用于目标域的人体行为识别模型。进而通过目标域的人体行为识别模型对预处理后目标域的雷达回波信号进行人体行为识别，得到对应的人体行为识别结果，因此，本公开的方法能够在目标域数据样本较少的情况下得到较准确的人体行为识别结果，提高了模型的泛化性和鲁棒性。
附图说明
[0036]
为了更清楚地说明本公开或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0037]
图1为本公开实施例的基于有监督域适应的人体行为识别方法流程图；
[0038]
图2为本公开实施例的雷达采集人体行为数据的场景示意图；
[0039]
图3为本公开实施例的人体行为识别模型的训练过程流程图；
[0040]
图4为本公开实施例的对第一雷达回波信号进行预处理流程图；
[0041]
图5为本公开实施例的基于有监督域适应的人体行为识别装置结构示意图；
[0042]
图6为本公开实施例的电子设备结构示意图。
具体实施方式
[0043]
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
[0044]
需要说明的是，除非另外定义，本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
[0045]
如背景技术部分所述，相关技术中通过神经网络进行雷达图像人体行为识别的技术方案，一般是通过获取雷达收集大量人体目标反射的雷达信号，并将其标注后对神经网络模型进行训练，以得到能够进行人体行为识别的神经网络模型。
[0046]
然而，相关技术中的雷达图像人体行为识别的技术方案，需要经过大量的目标域的数据样本对神经网络模型进行训练，才能获得较准确地识别结果；但实际应用时，目标域的数据样本通常远小于所需的样本数量，存在小样本问题，因此在实际应用中小样本极大地制约了神经网络模型的泛化性和鲁棒性。此外，标记大量雷达图像样本同样会耗费大量的人力物力。
[0047]
有鉴于此，本公开的实施例提出一种基于有监督域适应的人体行为识别方法，采集人体的雷达回波信号后，进行数据预处理，以构建目标域数据集，将目标域数据集输入至预先训练好的人体行为识别模型，得到人体行为识别结果，所述人体行为识别模型是基于大量已有的源域数据集训练的源域特征提取器和少量的目标域数据集进行生成对抗式训练得到的。
[0048]
以下，通过具体的实施例来详细说明本公开的技术方案。
[0049]
参考图1，本公开一个实施例的基于有监督域适应的人体行为识别方法，包括以下步骤：
[0050]
步骤s101：响应于获取目标域的第一雷达回波信号。
[0051]
在本步骤中，雷达采集人体行为数据的场景图如图2所示，其中，雷达为带宽77ghz的毫米波雷达，该毫米波雷达放置在距离地面1.0m高的位置，被采集行为数据的人体目标在雷达的视距范围内活动。在预设的时间内，一共采集到10名受试者执行的7种人体行为，分别为：走路，跑步，跳跃，拳击，摔倒，起立，坐下。
[0052]
步骤s102：对所述第一雷达回波信号进行预处理，以得到待识别的目标域数据集。
[0053]
在本步骤中，通过对毫米波雷达采集的雷达回波信号中的背景噪声和高频噪声进行去噪处理，能够得到干净的数据样本，避免噪声影响人体行为识别结果的准确性，进一步将去噪后的数据样本转化为雷达时频图像，作为网络模型的输入，以便于网络模型进行数据处理。
[0054]
步骤s103：利用预先训练得到的目标域人体行为识别模型对所述待识别的目标域数据集进行处理，得到所述待识别的目标域数据集的人体行为识别结果，其中，所述目标域人体行为识别模型是基于预先训练得到的源域特征提取器经过生成对抗式训练得到的。
[0055]
在本步骤中，目标域人体行为识别模型包括：目标域特征提取器和多分类域间判别器。目标域特征提取器与源域特征提取器的网络结构相同，均包含四个卷积层和四个池化层，每个卷积层之后均连接一个池化层，经过卷积层提取特征后的输出结果输入至池化层，池化层对输入的特征图进行压缩，一方面使特征图变小，简化网络计算复杂度，另外一方面进行特征压缩，提取主要特征。
[0056]
多分类域间判别器包含两个全连接层、一个sigmoid层和一个softmax层；其中，所述多分类域间判别器第一个全连接层的维度为256，第二个全连接层的维度为n 1，例如n＝7，前n个维度用于对人体行为进行识别，最后一个维度用于判别待识别数据集样本所属的域，第一和第二个全连接层通过全连接方式连接。全连接层将目标域特征提取器或源域特征提取器输出的所有特征向量进行连接并输出，第二个全连接层前n个维度输出的特征向
量输入至softmax层，softmax层对特征向量所属的人体行为进行判别并划分相应的行为标签，第二个全连接层最后1个维度输出的特征向量输入至sigmoid层，sigmoid层对特征向量所属的域进行判别并划分相应的域标签。
[0057]
将待识别的目标域数据集输入到训练好的人体行为识别模型中，人体行为模型根据各数据样本在不同类别上的响应值，输出待识别的目标域数据集的人体行为识别结果。
[0058]
由此可见，本公开的方法能够在目标域数据样本较少的情况下得到较准确的人体行为识别结果，提高了模型的泛化性和鲁棒性。
[0059]
需要说明的是，步骤s103包括：
[0060]
步骤s1031，利用所述目标域特征提取器提取所述待识别的目标域数据集中的人体行为信息。
[0061]
步骤s1032，利用所述多分类域间判别器对所述人体行为识别信息进行人体行为识别以及对所述人体行为信息所属的域进行判断，并输出所述待识别的目标域数据集的人体行为识别结果，其中，所属的域包括源域和目标域。
[0062]
可见，将预处理后的雷达回波信号用作训练的目标域有标签的小规模训练集，并对构建的有监督域适应的深度神经网络进行生成对抗式训练，本方法能够学习源域中大量的雷达回波信号的人体行为信息，从而将学到的人体行为信息迁移到目标域中，使目标域在有标签样本数目较少的情况下，仍能够训练出用于精准识别目标域的人体行为的模型，提高了模型的泛化性和鲁棒性，同时将域间判别任务和行为识别任务进行融合，降低了模型训练过程的复杂度，增加了模型的实用性。
[0063]
在一些实施例中，参考图3，所述人体行为识别模型的训练过程包括以下步骤：
[0064]
步骤s301，根据带有标签的源域数据集以及带有标签的目标域数据集，构建训练集，其中，所述源域数据集的数量大于所述目标域数据集的数量。
[0065]
在本步骤中，源域数据集的数量为目标域数据集的n倍，n可以为10、100、500、1000，可根据实际情况进行确定n的值，在此不做具体限定。
[0066]
步骤s302，基于所述训练集，采用生成对抗式训练的方式对预先训练得到的源域特征提取器、所述目标域特征提取器和所述多分类域间判别器进行联合训练，以得到所述目标域人体行为识别模型。
[0067]
在本步骤中，生成式对抗式训练模式基于博弈论思想，对源域特征提取器/目标域特征提取器和多分类域间判别器进行交替训练，并且在训练的过程中，源域特征提取器和目标域特征提取器之间始终保持参数共享；此时，能够将源域特征提取器和目标域特征提取器视为同一模型，即为特征提取器模型。
[0068]
具体的，所述源域特征提取器和所述目标域特征提取器是利用以下第一损失函数进行训练的：
[0069]
[0070][0071]
其中，x
s
表示源域数据，x
t
表示目标域数据，d表示多分类域间判别器模型，f表示目标域特征提取器，d'(
·
)＝q
d
表示多分类域间判别器的最后一个全连接层中最后一维的输出，f(
·
)表示目标域特征提取器，d∈{s,t}表示d＝s或d＝t，则x
d
～x
d
表示源域数据集或目标域数据集中的数据，e[
·
]表示期望，表示源域特征提取器模型的第i层，表示目标域特征提取器模型的第i层，n表示模型层数。
[0072]
相应的，所述多分类域间判别器是利用以下第二损失函数进行训练的：
[0073][0074][0075][0076]
其中，y
s
表示源域数据的标签，y
t
表示目标域数据的标签，l
cls
表示用于行为识别的损失函数，l
dis
表示用于域间判别的损失函数，q
s
表示当输入源域数据时，多分类域间判别器的最后一个全连接层的最后一维的输出结果，q
t
表示当输入为目标域数据时，多分类域间判别器的最后一个全连接层的最后一维的输出结果，p'表示输入数据的one
‑
hot标签，p表示多分类域间判别器最后一个全连接层的前n维的输出结果。
[0077]
容易理解的是，由于多分类域间判别器不仅用于人体行为识别，还用于判别待识别数据集样本属于源域或目标域，因而训练多分类域间判别器的损失函数为用于人体行为识别的损失函数与用于域间判别的损失函数的和。
[0078]
在一些实施例中，参考图4，步骤s102包括：
[0079]
步骤s1021，基于动目标显示(mti)算法，去除所述第一雷达回波信号中的背景噪声，以得到第二雷达回波信号。
[0080]
在本步骤中，动目标显示基于运动目标和杂波在频谱结构上的差异，从频率上将二者进行区分，以达到抑制杂波而显示运动目标回波的目的。
[0081]
步骤s1022，通过高通滤波器对所述第二雷达回波信号进行去噪处理，以得到第三雷达回波信号。
[0082]
在本步骤中，高通滤波器可选择巴特沃斯(butterworth)滤波器，也可根据实际情况选择相应的高通滤波器，在此不做具体限定。
[0083]
步骤s1023，基于短时傅里叶变换，对所述第三雷达回波信号进行时时频变换，以得到128*128的所述目标域数据集。
[0084]
需要说明的是，本公开实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
[0085]
需要说明的是，上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述
实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0086]
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种基于有监督域适应的人体行为识别装置。
[0087]
参考图5，所述基于有监督域适应的人体行为识别装置，包括：
[0088]
数据采集模块501：被配置为响应于获取目标域的第一雷达回波信号。
[0089]
数据处理模块502：被配置为对所述第一雷达回波信号进行预处理，以得到待识别的目标域数据集。
[0090]
人体行为识别模块503：被配置为利用预先训练得到的目标域人体行为识别模型对所述待识别的目标域数据集进行处理，得到所述待识别的目标域数据集的人体行为识别结果，其中，所述目标域人体行为识别模型是基于预先训练得到的源域特征提取器经过生成对抗式训练得到的。
[0091]
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本公开时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
[0092]
上述实施例的装置用于实现前述任一实施例中相应的基于有监督域适应的人体行为识别方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
[0093]
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的基于有监督域适应的人体行为识别方法。
[0094]
图6示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
[0095]
处理器1010可以采用通用的cpu(central processing unit，中央处理器)、微处理器、应用专用集成电路(application specific integrated circuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
[0096]
存储器1020可以采用rom(read only memory，只读存储器)、ram(random access memory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
[0097]
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
[0098]
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信。
[0099]
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
[0100]
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
[0101]
上述实施例的电子设备用于实现前述任一实施例中相应的基于有监督域适应的人体行为识别方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
[0102]
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的基于有监督域适应的人体行为识别方法。
[0103]
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd
‑
rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
[0104]
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的基于有监督域适应的人体行为识别方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
[0105]
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本公开实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
[0106]
另外，为简化说明和讨论，并且为了不会使本公开实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(ic)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本公开实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本公开实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开实施例。因此，这些描述应被认为是说明性的而不是限制性的。
[0107]
尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态ram(dram))可以使用所讨论的实施例。
[0108]
本公开实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本公开实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。