基于神经网络的毫米波雷达人体动作实时检测方法与流程

1.本发明属于毫米波雷达检测技术领域，具体涉及一种基于神经网络的毫米波雷达人体动作实时检测方法。


背景技术：

2.随着物联网技术的快速发展，毫米波雷达在物体探测识别任务中得到广泛应用。发展远程健康监护系统可以有效地缓解人口老龄化的压力。在智能家居、医疗等领域，毫米波雷达对老年人或者残疾人的生命体态准确监测，有着重要的应用价值。这其中的技术要求毫米波雷达能够精准的识别出人处在何种状态之下。传统的监测方法依赖于摄像头等传感器，然而摄像头涉及隐私并不适用于很多居家场景下的监测。毫米波雷达作为无线感知的设备与其他设备相比，具有无接触、不泄露隐私、不受光线影响、远距离、精度和分辨率更高的特点，因此毫米波雷达传感器有着更为广泛的应用价值。
3.现有的毫米波雷达对人体动作识别的算法是基于微多普勒(micro-doppler)特征进行识别。具体流程为用雷达采集到物体的速度信息，然后作短时间傅里叶变换(stft)提取其微多普勒特征，最后设置阈值进行二分类判断。现有方法的缺点为：
4.1、难以实现多分类识别，比如人体3种及以上的动作。
5.2、算法的误报率非常高、准确度低。
6.3、缺乏时效性，由于对采集的数据提取微多普勒特征需要做一定时间窗口的傅里叶变换，此过程将耗损一部分时间，从而降低实时监测的时效性。
7.因此，针对上述问题，予以进一步改进。


技术实现要素：

8.本发明的主要目的在于提供基于神经网络的毫米波雷达人体动作实时检测方法，通过残差神经网络架构对雷达的距离速度和点云信息进行直接分类识别，能有效的解决背景技术中的问题。
9.为达到以上目的，本发明提供一种基于神经网络的毫米波雷达人体动作实时检测方法，用于检测人体目标的实时动作，包括以下步骤：
10.步骤s1：通过毫米波雷达信号获得目标的包括速度、角度和距离的数据信息，并且将获得的速度和距离的数据信息做傅里叶变换，以生成距离和速度频谱图，从而作为第一目标特征；
11.步骤s2：根据距离和速度频谱，提取毫米波雷达信号获得的空间坐标点云信息，以作为第二目标特征；
12.步骤s3：将第一目标特征和第二目标特征进行融合并且输入到残差卷积神经网络模型，以进行人体动作的识别分类判断。
13.作为上述技术方案的进一步优选的技术方案，步骤s1具体实施为以下步骤：
14.步骤s1.1：通过毫米波雷达的频率调制连续波信号，并且距离与速度的关系通过
以下公式体现：
[0015][0016]
其中，c为电磁波在空气中的传播速度，r是物体(人体)与毫米波雷达之间的距离，v是相对速度，τ是传播时间，并且r和v为：
[0017][0018]
步骤s1.2：通过以下公式将获得的速度和距离的数据信息做傅里叶变换：
[0019][0020]
其中，b[n,m,k]指第k根天线上接受到的第m个chirp的第n个采样点，t
fast
为在一个扫频周期内对信号采样的采样间隔，通过2发4收的毫米波雷达天线，每个扫频周期n取值为256，m取值为128，k为4，帧率是20fps；
[0021]
对一个扫频周期内的n个采样点做二维离散傅里叶变换得到对应的距离为：
[0022]
对经过二维傅里叶变换后的数据在天线维度做傅里叶变换，用以下公式：以获得速度和角度频谱图。
[0023]
作为上述技术方案的进一步优选的技术方案，步骤s2具体实施为以下步骤：
[0024]
步骤s2.1：根据距离和速度频谱通过以下公式提取出值为非零的距离频率分量和速度频率分量，公式为：
[0025]
x＝rsinθ,y＝rcosθ；
[0026]
从而获得毫米波雷达空间的点云信息，以获得点云图像，进而通过毫米波雷达信号提取的点云图像对应人体在距离毫米波雷达预设距离处的空间点云。
[0027]
作为上述技术方案的进一步优选的技术方案，步骤s3具体实施为以下步骤：
[0028]
步骤s3.1：将第一目标特征作为残差卷积神经网络模型的初始输入图像x1并且将第二目标特征作为残差卷积神经网络模型的初始输入图像x2；
[0029]
步骤s3.2：初始输入图像x1依次经过五个基本模块，并且每一个基本模块包括两个卷积层、一个标准化层、一个池化层和一个激活层，将整个基本模块计算函数f，那么对应的输出为f(x)，下一层的输入y为上一个基本模块的结果f(x)加上之前对应的x输入等量映射，以获得第一输出，公式为：
[0030]
y＝f(x) x；
[0031]
步骤s3.3：初始输入图像x1依次经过一个卷积层和四个基本模块，并且每一个基本模块包括两个卷积层、一个标准化层、一个池化层和一个激活层，将整个基本模块计算函数f，那么对应的输出为f(x)，下一层的输入y为上一个基本模块的结果f(x)加上之前对应的x输入等量映射，以获得第二输出，公式为：
[0032]
y＝f(x) x；
[0033]
步骤s3.4：将第一输出和第二输出输入融合层进行融合，并且融合层的输出依次通过两个全连接层后输入分类层，以进行人体动作的识别分类判断。
[0034]
作为上述技术方案的进一步优选的技术方案，在基本模块中：
[0035]
标准化层：x为输入层的图像数据，∈,γ,β为0和1之间的标准化参数；
[0036]
卷积层：
[0037]
激活层(relu函数)：relu(x)＝(x)

＝max(0,x)；
[0038]
池化层：
[0039]
out(n,c,h,w)＝max
m＝0,
…
,kh-1
max
n＝0,
…
,kw-1
input(n,c,stride[0]
×
h m,stride[1]
×
w n)。
[0040]
作为上述技术方案的进一步优选的技术方案，分类层为：作为上述技术方案的进一步优选的技术方案，分类层为：分类层的输出结果为0和1之间的概率值，用于对图像类别的判定。
[0041]
为达到以上目的，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述一种基于神经网络的毫米波雷达人体动作实时检测方法的步骤。
[0042]
为达到以上目的，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述一种基于神经网络的毫米波雷达人体动作实时检测方法的步骤。
[0043]
本发明的有益效果在于：
[0044]
1、通过深度学习模型，实现了残差神经网络的毫米波雷达信号特征提取，该特征比传统的傅里叶特征阈值设定更加丰富，有效的增加了识别的准确度。
[0045]
2、有效的实现了毫米波雷达对人体多种动作的识别，而传统算法无法实现这一功能。
附图说明
[0046]
图1是本发明的基于神经网络的毫米波雷达人体动作实时检测方法的特征融合神经网络示意图。
[0047]
图2是本发明的基于神经网络的毫米波雷达人体动作实时检测方法的流程示意图。
[0048]
图3是本发明的基于神经网络的毫米波雷达人体动作实时检测方法的模型训练图。
[0049]
图4是本发明的基于神经网络的毫米波雷达人体动作实时检测方法的模型训练图。
具体实施方式
[0050]
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
[0051]
在本发明的优选实施例中，本领域技术人员应注意，本发明所涉及的人体、物体和毫米波雷达等可被视为现有技术。
[0052]
优选实施例。
[0053]
本发明公开了一种基于神经网络的毫米波雷达人体动作实时检测方法，用于检测人体目标的实时动作，其特征在于，包括以下步骤：
[0054]
步骤s1：通过毫米波雷达信号获得目标的包括速度、角度和距离的数据信息，并且将获得的速度和距离的数据信息做傅里叶变换，以生成距离和速度频谱图，从而作为第一目标特征；
[0055]
步骤s2：根据距离和速度频谱，提取毫米波雷达信号获得的空间坐标点云信息，以作为第二目标特征；
[0056]
步骤s3：将第一目标特征和第二目标特征进行融合并且输入到残差卷积神经网络模型，以进行人体动作的识别分类判断。
[0057]
具体的是，步骤s1具体实施为以下步骤：
[0058]
步骤s1.1：通过毫米波雷达的频率调制连续波信号，并且距离与速度的关系通过以下公式体现：
[0059][0060]
其中，c为电磁波在空气中的传播速度，r是物体(人体)与毫米波雷达之间的距离，v是相对速度，τ是传播时间，并且r和v为：
[0061][0062]
步骤s1.2：通过以下公式将获得的速度和距离的数据信息做傅里叶变换：
[0063][0064]
其中，b[n,m,k]指第k根天线上接受到的第m个chirp的第n个采样点，t
fast
为在一个扫频周期内对信号采样的采样间隔，通过2发4收的毫米波雷达天线，每个扫频周期n取值为256，m取值为128，k为4，帧率是20fps；
[0065]
对一个扫频周期内的n个采样点做二维离散傅里叶变换得到对应的距离为：
[0066]
对经过二维傅里叶变换后的数据在天线维度做傅里叶变换，用以下公式：以获得速度和角度
频谱图。
[0067]
更具体的是，步骤s2具体实施为以下步骤：
[0068]
步骤s2.1：根据距离和速度频谱通过以下公式提取出值为非零的距离频率分量和速度频率分量，公式为：
[0069]
x＝rsinθ,y＝rcosθ；
[0070]
从而获得毫米波雷达空间的点云信息，以获得点云图像，进而通过毫米波雷达信号提取的点云图像对应人体在距离毫米波雷达预设距离处的空间点云。
[0071]
进一步的是，步骤s3具体实施为以下步骤：
[0072]
步骤s3.1：将第一目标特征作为残差卷积神经网络模型的初始输入图像x1并且将第二目标特征作为残差卷积神经网络模型的初始输入图像x2；
[0073]
步骤s3.2：初始输入图像x1依次经过五个基本模块，并且每一个基本模块包括两个卷积层、一个标准化层、一个池化层和一个激活层，将整个基本模块计算函数f，那么对应的输出为f(x)，下一层的输入y为上一个基本模块的结果f(x)加上之前对应的x输入等量映射，以获得第一输出，公式为：
[0074]
y＝f(x) x；
[0075]
步骤s3.3：初始输入图像x1依次经过一个卷积层和四个基本模块，并且每一个基本模块包括两个卷积层、一个标准化层、一个池化层和一个激活层，将整个基本模块计算函数f，那么对应的输出为f(x)，下一层的输入y为上一个基本模块的结果f(x)加上之前对应的x输入等量映射，以获得第二输出，公式为：
[0076]
y＝f(x) x；
[0077]
步骤s3.4：将第一输出和第二输出输入融合层进行融合，并且融合层的输出依次通过两个全连接层后输入分类层，以进行人体动作的识别分类判断。
[0078]
更进一步的是，在基本模块中：
[0079]
标准化层：x为输入层的图像数据，∈,γ,β为0和1之间的标准化参数；
[0080]
卷积层：
[0081]
激活层(relu函数)：relu(x)＝(x)

＝max(0,x)；
[0082]
池化层：
[0083]
out(n,c,h,w)＝max
m＝0,
…
,kh-1
max
n＝0,
…
,kw-1
input(n,c,stride[0]
×
h m,stride[1]
×
w n)。
[0084]
优选地，分类层为：分类层的输出结果为0和1之间的概率值，用于对图像类别的判定。
[0085]
本发明还公开了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述一种基于神经网络的毫米波雷达人体动作实时检测方法的步骤。
[0086]
本发明还公开了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述一种基于神经网络的毫米波雷达人体动作实时检测方
法的步骤。
[0087]
本发明的原理为：
[0088]
本发明针对毫米波雷达人体实时检测的难题，提供了一种新的算法。该算法能有效提升毫米波雷达作为智能传感器的检测能力，回避了光学摄像头对个人隐私的问题，大大的提升毫米波雷达传感器的广泛应用范围。
[0089]
该实时检测算法具体流程分为：
[0090]
1.通过毫米波雷达信号，得到速度、角度、距离等信息。
[0091]
我们采用雷达频率调制连续波(fmcw)信号，其距离、速度的关系公式为：
[0092][0093]
其中c为电磁波在空气中的传播速度，r是物体与雷达之间的距离，v是相对速度，τ是传播时间。
[0094][0095]
2.将得到的速度、距离做傅里叶变换，生成距离-速度频谱图，作为第一目标特征，
[0096][0097]
b[n,m,k]指第k根天线上接受到的第m个chirp的第n个采样点，t
fast
为在一个扫频周期内对信号采样的采样间隔。采用的2发4收的雷达天线，每个扫频周期n取值为256，m取值为128，k为4，帧率是20fps.对一个周期内的n个采样点做二维离散傅里叶变换得到对应的距离为公式：
[0098][0099]
对经过二维傅里叶变换后的数据在天线维度做傅里叶变换，用以下公式
[0100]
在我们的神经网络模型算法中，将采用距离-速度频谱图作为目标特征。3.提取雷达信号得到的空间坐标点云信息，作为第二目标特征。
[0101]
从中提取出值为非零的距离频率分量和速度频率分量，根据公式可以计算得出，
[0102]
x＝rsinθ,y＝rcosθ；
[0103]
即为雷达空间点云信息(x,y,z坐标)。
[0104]
通过雷达信号提取的点云图像，对应场景为人在距离雷达5.2m处的空间点云。
[0105]
4.将第一目标特征和第二特征进行融合，输入到残差卷积神经网络模型，进行人体动作识别分类判断。
[0106]
卷积神经网络在深度学习领域内常用于提取图像的特征信息，一个卷积神经网络模块，简称convnet block，包含输入层(input layer)、标准范化层(batchnorm layer)、卷积层(conv layer)、激活层(activation layer)，池化层(pooling layer)、全连接层(fully connected layer)，和最终的基于概率函数的图像分类层(softmax layer).其对应的数学公式分别为：
[0107]
输入层：令x为输入图像，其维度为(n,c,h,w)，n为训练数据集的大小batch size,c表示图像的通道数量，通常的rgb彩色图像为3通道，h，w分别为图像的像素单位长宽，在实验中我们的图像像素固定为224x224。
[0108]
标准范化层：x为输入层的图像数据，∈,γ,β为0和1之间的标准化参数。
[0109]
卷积层：
[0110]
激活层(relu函数)：relu(x)＝(x)

＝max(0,x)
[0111]
池化层：
[0112]
out(n,c,h,w)
[0113]
＝max
m＝0,
…
,kh-1
max
n＝0,
…
,kw-1
input(n,c,stride[0]
×h[0114]
m,stride[1]
×
w n)
[0115]
分类层(softmax)：分类层的输出结果为0和1之间的概率值，用于对图像类别的判定。
[0116]
为了提高训练效率和准确度，降低深度神经网络中梯度消失的影响，采用残差神经网络基本模块(resnet block),它的整个结构为：x为输入图像数据，经过2个卷积层，一个标准化层，一个池化层，一个激活层(relu),将整个模块结构计算函数f，那么对应的输出为f(x).下一层的输入(y)为上一个残差网络模块的结果(f(x))加上之前对应的x输入等量映射，数学公式为：
[0117]
y＝f(x) x；
[0118]
本发明的最大特点是将前面步骤中提取的第一和第二目标特征融合到残差神经网络结构，以提高模型精确度。用第一目标特征(距离-频谱图像)作为初始的输入图像x1,将第二目标特征(雷达点云图像)记为x2,分别输入各自的残差网络结构，然后再对学习到的特征进行融合，经过2个全连接层(fully connected layer)，最后进行分类层识别。
[0119]
本发明第一大特点是创造性的提出了用距离-速度频谱特征和雷达空间点云特征进行特征融合，来识别人体动作(神经网络特征融合见图1，整个流程示意见图2)。
[0120]
本发明第二大特点是残差卷积神经网络结构，不同于简单的神经网络结构。在模型里面，进行了结构优化，构造了迭代时残差神经网络结构。能有效的解决特征融合输入的梯度消失问题，使模型的训练准确度得到大幅度提高(见图3和图4，图3为模型训练的精确度，图4为模型训练的损失函数)。
[0121]
本发明第三大特点是将以上算法进行实时检测模块，通过线下采集数据，预训练模型，再通过节点进行实时检测，能有效的提升应用场景。
[0122]
值得一提的是，本发明专利申请涉及的人体、物体和毫米波雷达等技术特征应被
视为现有技术，这些技术特征的具体结构、工作原理以及可能涉及到的控制方式、空间布置方式采用本领域的常规选择即可，不应被视为本发明专利的发明点所在，本发明专利不做进一步具体展开详述。
[0123]
对于本领域的技术人员而言，依然可以对前述各实施例所记载的技术方案进行修改，或对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围。