基于微多普勒特征的单通道超宽带雷达人体姿态估计方法

1.本发明涉及超宽带雷达信号处理技术领域，更具体地说，特别涉及一种基于微多普勒特征的单通道超宽带雷达人体姿态估计方法。


背景技术：

2.近年来，随着物联网和智慧城市的快速发展，人们在构建智能无线传感系统方面投人了大量的研究工作，利用无处不在的无线传感信号感知和理解人类活动，通过分析人体反射信号来跟踪待检测人体的姿态并识别其活动。
3.目前基于相机的人体姿态估计系统已经取得了很大的成功。然而基于相机的人体姿态估计解决方案受到诸如服装的多样性、背景差异、光线的亮暗和人体目标的遮挡以及隐私等问题的限制。过去基于相机的人体姿态估计研究在人体目标可见部位的基础上对遮挡的身体部位进行估计，然而，由于人体目标是可行变的，这种估计会造成较大的估计误差。
4.通过克服传统相机的人类感知解决方案所面临的技术挑战，基于超宽带雷达的人类感知技术展示了新一代应用的潜力，能够支持人类与物理环境之间更复杂的交互，推动了基于雷达的人体姿态估计技术的出现，适用于各种场景下低成本的精确感知，通过保护人类的隐私。智能无线系统利用超宽带雷达信号感知人体的姿态、体型及墙后和黑暗环境中的活动，同时兼具探测感知范围广泛，既不需要目标装备任何设备，也不涉及隐私问题，已经成为国内外人类感知的研究热点。


技术实现要素：

5.本发明的目的在于提供一种基于微多普勒特征的单通道超宽带雷达人体姿态估计方法，以克服现有技术所存在的缺陷。
6.为了达到上述目的，本发明采用的技术方案如下：
7.基于微多普勒特征的单通道超宽带雷达人体姿态估计方法，包括以下步骤：
8.s1、对单通道超宽带雷达采集到的人体姿态回波数据进行去除干扰和噪声的预处理；
9.s2、对预处理后的人体姿态回波数据进行下变频处理，并做自适应滤波处理；
10.s3、根据自适应滤波处理后的信号生成对应人体姿态的微多普勒谱图；
11.s4、将生成的微多普勒谱图数据输入到预先训练模型的backbone网络中提取微多普勒中包含的人体身体各部位特征；
12.s5、采用keypoint head网络将提取的微多普勒谱图特征矩阵映射成人体各个骨骼各个关节点的概率分布pk；
13.s6、采用softmax函数求解人体各个骨骼关节点的坐标位置。
14.进一步地，所述步骤s1中的预处理具体为：对人体姿态回波数据矩阵进行插值处理实现去除干扰和噪声；式中，为实数域，k为单通道超宽带雷达信号的频点数，n
为采集的回波帧数。
15.进一步地，所述步骤s2具体为：预处理后的雷达回波数据进行下变频处理得到并进行自适应滤波得到张量信号实现对回波信号中的直达波抑制。
16.进一步地，对自适应滤波处理后的张量信号a(x,t)按照以下公式进行短时傅里叶变换处理得到该信号对应的微多普勒特征：
[0017][0018]
式中，g(t)为短时傅里叶变换的窗函数。
[0019]
进一步地，所述步骤s4中的backbone网络采用的是resnet50网络。
[0020]
进一步地，所述步骤s5中的概率分布满足服从高斯分布假设条件，其中，k为第k个骨骼关节点，p表示人体姿态的各个骨骼关节点的概率分布，是指人体各个骨骼关节点通过微多普勒谱图在物理空间中的不同位置的概率。
[0021]
进一步地，所述步骤s6具体为：采用softmax函数从人体姿态中的各个骨骼关节点的概率分布pk中寻找最大的位置索引，以得到该关节点在物理空间中的坐标位置s
skeleton
(x,y)；再将人体姿态中的所有关节点按照一定的顺序进行连接，生成可视化的二维人体姿态骨骼图。
[0022]
与现有技术相比，本发明的优点在于：本发明提供的一种基于微多普勒特征的单通道超宽带雷达人体姿态估计方法，
[0023]
针对超宽带雷达基于成像的方式进行人体姿态估计中成像的分辨率较低且成像质量随着成像距离的增大而急剧下降，普适性较差的问题，采用微多普勒特征进行超宽带雷达人体姿态估计。对场景中的人体姿态回波数据生成微多普勒谱图，并利用该谱图中人体各个关节部位的信息，使用resnet50网络提取该谱图中的特征，并使用keypoin head网络将提取的谱图特征转换成人体目标各个骨骼关节点的概率分布，最后使用softmax函数得到人体各个骨骼关节点的坐标位置，按照一定的顺序连接起来得到人体姿态估计结果。本方法借助深度神经网络工具从人体微多普勒谱图中估计人体姿态，提高了超宽带雷达人体姿态估计的普适性，能够适用于各种人体姿态估计场景。
附图说明
[0024]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0025]
图1是本发明基于微多普勒特征的单通道超宽带雷达人体姿态估计方法的流程图。
[0026]
图2为本发明采用的基于微多普勒特征的人体姿态估计深度神经网络结构图。
[0027]
图3为对回波进行差值处理滤除背景噪声后的图像。
[0028]
图4为下变频和自适应滤波处理后的图像。
[0029]
图5为某一人体姿态对应的微多普勒谱图。
[0030]
图6为深度神经网络结构图中的backbone网络可视化图。
[0031]
图7为深度神经网络结构图中的keypoint head网络可视化图。
[0032]
图8为基于微多普勒特征的人体姿态估计结果图。
具体实施方式
[0033]
下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
[0034]
本实施例中的单通道超宽带雷达是一个单发单收的超宽带雷达，发射的信号为脉冲信号，中心频率为7.29ghz，带宽为2.3ghz，脉冲重复频率为100mhz，超宽带雷达的帧率为f
ps
＝30hz，即每帧采样时间间隔为0.033秒。
[0035]
参阅图1和图2所示，本实施例公开了一种基于微多普勒特征的单通道超宽带雷达人体姿态估计方法，包括以下步骤：
[0036]
步骤s1、对单通道超宽带雷达采集的人体姿态回波数据进行预处理，去除干扰和噪声。
[0037]
本实施例中，超宽带雷达的回波信号可以表示为:
[0038][0039]
式中，n表示人体目标的第n个散射点。实施例中共采集10组不同人体目标的不同姿态，每组数据中包含4000帧回波数据，对每一组回波数据进行差值处理，滤除背景噪声，如图3所示。
[0040]
步骤s2、对预处理后的人体姿态回波数据进行下变频处理，并做自适应滤波处理。
[0041]
本实施例中，针对差值处理后的雷达回波数据进行下变频处理得到并进行自适应滤波处理得到实现对回波信号中的直达波抑制作用，其中自适应滤波处理的系数α＝0.05，如图4所示。
[0042]
步骤s3、根据自适应滤波处理后的信号生成对应人体姿态的微多普勒谱图。
[0043]
本实施例中，对张量信号a(x,t)进行短时傅里叶变换处理得到该信号对应的微多普勒特征，如图5所示。行走人体目标的一个周期大约2秒左右，该超宽带雷达的帧率为30mhz，因此该实施例中短时傅里叶变换采用60帧的连续数据进行采集，且采用gabor窗函数。
[0044][0045]
其中，g(t)为短时傅里叶变换的窗函数，本实施例优选采用gabor函数。
[0046]
步骤s4、将生成的微多普勒谱图数据输入到预先训练模型的backbone网络中提取微多普勒中包含的人体身体各部位特征。
[0047]
本实施例中，对人体姿态对应的微多普勒谱图数据作为已训练模型的backbone网络中提取包含人体身体各部位的特征。其中backbone网络采用的是resnet50网络，用于提取微多普勒谱图中的特征，生成特征矩阵。为了更好地表征人体姿态中的微多普勒特征，采用连续60帧的雷达回波数据联合生成微多普勒谱图，谱图的大小为256
×
56作为backbone网络的输入数据，输入数据的大小为(32,1,256,56)，其中32为训练的batch size.基于微
多普勒特征的人体姿态估计深度神经网络结构图和backbone网络可视化图如附图2和3所示，该网络的权值是该模型训练得到的，backbone网络输出的数据大小为(32,512,4,4)，如图6所示。
[0048]
步骤s5、使用keypoint head网络将提取的微多普勒谱图特征矩阵映射成人体各个骨骼关节点的概率分布。
[0049]
本实施例中，keypoint head网络是由三个反卷积层和一个全连接层组成，其中，反卷积层包括反卷积操作、批归一化操作和relu操作。该网络可以将提取的为多普勒谱图特征矩阵映射成各个骨骼关节点的概率分布pk。该概率满足服从高斯分布假设条件，其中k为第k个骨骼关节点，本实施例中采用k＝14，p表示人体姿态的各个骨骼关节点的概率分布，是指人体各个骨骼关节点通过微多普勒谱图在物理空间中的不同位置的概率。k＝14表示14个人体骨骼关节点的总数，对应14个人体身体部位，分别是头、脖子、左肩、左肘、左手、右肩、右肘、右手、左臀、右臀、左膝盖、右膝盖、左脚和右脚，如图7所示。
[0050]
步骤s6、采用softmax函数求解人体各个骨骼关节点的坐标位置。
[0051]
本实施例中，使用softmax函数从人体姿态中的各个骨骼关节点的概率分布pk中寻找最大的位置索引，从而得到该关节点在物理空间中坐标位置s
skeleton
(x,y)。将人体姿态中的14个关节点坐标按照一定的顺序连接，生成可可视化的二维人体姿态骨骼图。
[0052]
本实施例中，keypoint head网络输出的数据大小为(32,14,64,64)，通过softmax函数估计出人体姿态中14个骨骼关节点的物理空间坐标位置s
skeleton
(x,y)，其大小为(32,16,2)。按照(头-脖子，脖子-左肩-左肘-左手，脖子-右键-右肘-右手，左肩-左臀，右肩-右臀，左臀-左膝盖-左脚，右臀-右膝盖-右脚)的顺序对人体姿态中的关键点进行连接，具体的结果如图8所示。
[0053]
本实施例中，为了更好地衡量和评价基于微多普勒的单通道超宽带雷达人体姿态估计方法的有效性和普适性，对比了不同方法下的人体姿态估计网络的性能，如表1所示。
[0054]
表1
[0055][0056]
本发明对场景中的人体姿态回波数据生成微多普勒谱图，并利用该谱图中人体各个关节部位的信息，使用resnet50网络提取该谱图中的特征，并使用keypoin head网络将提取的谱图特征转换成人体目标各个骨骼关节点的概率分布，最后使用softmax函数得到人体各个骨骼关节点的坐标位置，按照一定的顺序连接起来得到人体姿态估计结果。本方法借助深度神经网络工具从人体微多普勒谱图中估计人体姿态，提高了超宽带雷达人体姿态估计的普适性，能够适用于各种人体姿态估计场景。
[0057]
虽然结合附图描述了本发明的实施方式，但是专利所有者可以在所附权利要求的范围之内做出各种变形或修改，只要不超过本发明的权利要求所描述的保护范围，都应当
在本发明的保护范围之内。