一种基于毫米波雷达的跌倒检测方法及系统与流程

1.本发明属于目标识别技术领域，具体涉及一种基于毫米波雷达的跌倒检测方法及系统。


背景技术：

[0002]“跌倒”是指一个人因意外原因倒伏于地面或处于低位的动作，也是人类最常见的异常动作之一。根据世界卫生组织的统计，跌倒是全球第二大意外伤害和死亡原因。跌倒带来的健康风险随着年龄呈现出指数增长的趋势，对于老年人来说，跌倒可能会造成割伤、擦伤或者骨折等严重后果，跌倒所造成的心理伤害也不可忽视，很多老年人对跌倒产生了恐惧心理，并影响到了老年人的生活质量。然而跌倒的时间不确定性以及难以预防性给老年人跌倒后的施救工作带来实际困难。因此，及时发现老年人跌倒引起了很多研究人员的关注。此外，跌倒后的求救响应缓慢也是老年人预期寿命减少的重要原因。
[0003]
人口的老龄化推动着医疗保健提出更新型的服务，从传统的患者自行去医院进行治疗发展到家庭型护理服务，即病人通过新兴技术的支持，可以在家中进行一部分治疗。这种以家庭为中心的长期护理方法不仅提高了患者的生活质量，也间接节约了患者自身以及社会的医疗护理成本。无论是因为居家医疗护理，还是因为其他原因而独居生活，独居老人容易发生跌倒行为。为了保证老年人独立生活的安全，有必要及时发现跌倒事件，以便在紧急情况下通知医护人员或家属。
[0004]
在孙济舟等的基于毫米波雷达的跌倒方法实施检测方法研究中提到了一种基于毫米波雷达的跌倒检测方法，通过对毫米波雷达获取目标的位置信息，并对位置坐标序列进行均值滤波，然后通过分段线性拟合得到被监测对象的近似运动规律，综合考虑人体跌倒时在高度方向和水平方向的位置变化规律及两者之间的对应关系，基于多个阈值在检测到跌倒行为后对跌倒方式进行识别，若发现跌倒，则立即发出警报。但是文中所述方法是在空旷区域实现的，未涉及与环境中其他物体发生碰撞的情况，且未考虑多人情况下的跌倒检测。
[0005]
在公开号为cn112782664a，公开日为2021.05.11的中国发明专利中公开了一种基于毫米波雷达的卫生间跌倒检测方法，具体为利用布设的毫米波雷达采集用户数据；对用户数据进行坐标转换、确定其在实际场景中的三维点云数据；去掉静态物体，得到动态物体的点云图，并去除干扰噪声；最后根据用户的宽高比大于一定阈值、最高点小于一定阈值、下降速度大于一定阈值等三者的综合判断来进行跌倒检测。但是并不是所有的跌倒动作都是速率较快的运动，并且一些非跌倒动作的速率也较高。具体是因为在很多情况下，人们在跌倒时会抓住一件家具或者靠在墙上，这就会减缓跌倒的速度从而导致速率下降。并且老年人从座椅上或轮椅上摔下来也是很常见的，在这种场景下跌倒动作降低了本身的速度和高频能量值。同时也无法区分多人的情况下有人发生跌倒的情形。
[0006]
因此，如何将通过毫米波雷达收集到的各种数据信息完成合理地特征提取并进行准确的跌倒检测是值得研究的领域。因此亟需一种精度高的检测方法，可以实时监控人的
动态，进行跌倒报警、快速救援、减少伤害，同时如何在多人时进行跌倒检测也是现在尚未解决的方面。


技术实现要素：

[0007]
为克服背景技术中的问题，本专利提供了一种基于毫米波雷达的跌倒检测的设计方案，能够实现在多目标时，快速检测出发生跌倒的人；以及当跌倒速度不够快时，也能准确的检测到跌倒事件。
[0008]
本发明提出了一种基于毫米波雷达的跌倒检测方法，所述检测方法包括：
[0009]
s1，获取毫米波雷达检测到的三维点云数据；
[0010]
s2，将所述三维点云数据转化为每个目标的位置、速度数据，并带入到卡尔曼循环预测实现对下一时刻的预测，根据当前时刻目标的位置和上一时刻目标的预测位置进行匹配，得到当前时刻每个目标的id；
[0011]
s3，根据所述目标的id、位置和速度信息进行跌倒检测判断。
[0012]
进一步的，s2具体为：
[0013]
s21，首先计算初始的观测值，设定x1、y1、z1为当前目标第1时刻在x、y、z方向的坐标，vx1、vy1、vz1为当前目标第1时刻在x、y、z方向的速度，xk，yk，zk为当前目标第k时刻在x、y、z方向的坐标，vxk、vyk、vzk为当前目标第k时刻在x、y、z方向的速度，其中，k为变量，k＝2，3，...，n，n表示目标观察的总时刻；
[0014]
为第k-1时刻的观测值，则表示为：其中，vx
k-1
、vy
k-1
、vz
k-1
通过目标在第k-1时刻的位置x
k-1
，y
k-1
，z
k-1
和第k-2时刻的位置x
k-2
，y
k-2
，z
k-2
计算得到的；
[0015][0016][0017][0018]
s22，设定各观测值的估计差值，即e
k-1
为6*1矩阵
[0019]
s23，根据e
k-1
计算k-1时刻的先验估计协方差矩阵p
k-1
＝e
k-1ek-1t
，p
k-1
为6*6矩阵；
[0020]
s24，将计算的观测向量及p
k-1
带入卡尔曼循环预测实现对下一时刻的预测。
[0021]
进一步的，所述卡尔曼循环预测具体为：
[0022]
1)设定初始的p
k-1
以及为对k时刻观测值的先验预测，a为状态转移矩阵，bμ
k-1
为状态控制量，通常为零，为后验估计协方差矩阵，p
k-1
为先验估计协方差矩阵，q为过程激励噪声协方差矩阵；
[0023]
2)向前推算状态变量
[0024]
3)向前推算误差协方差
[0025]
4)计算卡尔曼增益
[0026]
5)由观测变量zk更新估计得到k时刻的预测值；
[0027]
6)更新k时刻的先验估计协方差矩阵
[0028]
7)当新获取到第k时刻的点云数据时，将第k时刻检测到的目标位置与k时刻预测到的目标位置的欧式距离小于阈值th0时，表示为同一个目标，否则为新出现的目标，将目标的索引值加1，用i表示目标的索引值，第i个目标第k时刻的x、y、z坐标用xk[i]，yk[i]，zk[i]表示，速度用vxk[i]，vyk[i]，vzk[i]表示；
[0029]
其中，th0为k时刻检测到的目标位置与预测位置之间的距离阈值；
[0030]
循环步骤2)-7)，完成后面各个时刻的预测和匹配。
[0031]
进一步的，s3具体为：s31，根据步骤s2中的方法获取第k时刻第i个目标的x、y、z坐标xk[i]，yk[i]，zk[i]，和速度vxk[i]，vyk[i]，vzk[i]；
[0032]
s32，计算第k时刻xy方向的速度
[0033]
s33，当第i个目标的高度，即z坐标，低于设定第一高度阈值th1时，则说明高度发生了下降，进入步骤s34；
[0034]
s34，高度下降次数fall_count[i]累计值加1；
[0035]
s35，用fall[i]表示第i个目标的高度下降状态，fall[i]均初始化为0，当高度下降状态fall[i]＝0，且高度下降次数fall_count[i]累计值加1时，将高度下降状态fall[i]置1，此刻为发生高度下降的时刻m，记录下，m-1刻的x，y坐标，称为高度下降前的水平位置，记为x
m-1
[i]，y
m-1
[i]，否则直接进入s36；
[0036]
s36，计算后面每个时刻该目标的x，y坐标位置和高度下降前的水平位置的差异最大值dxyk[i]；
[0037][0038]
s37，当fall[i]＝1时，当第k时刻的z方向下降速度足够大且xy方向的速度变化足够大时，即vzk[i]＜th2&&vxyk[i]＞th3时，表示发生了快速跌倒，则fall[i]＝2，其中，th2为第二高度阈值，th3为第三高度阈值；否则当第k时刻的z方向下降速度一般大且xy方向的速度变化一般大时，即vzk[i]＜th4&&vxyk[i]＞th5时，表示发生了缓慢跌倒，fall[i]＝3，否则，i＝i 1，返回步骤1，继续对第i 1个目标进行判断，其中，th4为第四高度阈值，th5为第五高度阈值；
[0039]
s38，当跌倒的帧数大于th6时，进s310，th6为摔倒帧数的阈值，否则i＝i 1，返回s31；
[0040]
s39，当fall[i]＝2时，判断为跌倒，否则，进入s310；
[0041]
s310，当fall[i]＝3且dxyk[i]＞th7时，判断为跌倒，否则，i＝i 1，返回s31；其中，th7为快速坐下阈值。
[0042]
进一步的，摔倒帧数的阈值th6＝5。
[0043]
进一步的，s33中，th1为高度阈值，表示发生跌倒后高度值，th1的取值范围为0.3m＜th1＜1m。
[0044]
进一步的，s35中所述的设定时长为3帧。
[0045]
本技术还提供一种基于毫米波雷达的跌倒检测系统，所述检测系统包括：
[0046]
数据获取模块，所述数据获取模块用于获取毫米波雷达检测到的三维点云数据；
[0047]
卡尔曼滤波器模块，所述卡尔曼滤波器模块将所述三维点云数据转化为每个目标的位置、速度数据，并带入到卡尔曼循环预测实现对下一时刻的预测，根据当前时刻目标的位置和上一时刻目标的预测位置进行匹配，得到当前时刻每个目标的id；
[0048]
跌倒检测模块，所述跌倒检测模块根据所述目标的id、位置和速度信息进行跌倒检测判断。
[0049]
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
[0050]
本技术提供的基于毫米波雷达的跌倒检测方案，只需要使用毫米波雷达这一非接触式监测技术，就可以在发生跌倒时，及时检测到跌倒行为，该监测方法过程中不涉及任何声音、图像和视频信息，避免了用户的隐私可能出现泄露的问题，为注重隐私保护的用户提供了绝佳的选择。同时有效解决无人监管的老年人的安全问题，增强社会的和谐稳定，有较大的经济效益和社会效益。
[0051]
本技术通过卡尔曼滤波器来预测某一时刻的目标的状态；
[0052]
通过设定目标的三维方向上的速度阈值来进一步确认低速摔倒的真实动作。
附图说明
[0053]
图1为本发明基于毫米波雷达的跌倒检测方法的流程图；
[0054]
图2为本发明基于毫米波雷达的跌倒检测方法的流程架构框图。
具体实施方式
[0055]
下面结合附图对本发明的技术方案做进一步的详细说明：
[0056]
实施例1
[0057]
本发明提出了本发明提出了一种基于毫米波雷达的跌倒检测方法，所述检测方法包括：
[0058]
s1，获取毫米波雷达检测到的三维点云数据；
[0059]
1)毫米波雷达返回的是极坐标系中的坐标，每个点云在极坐标系中的坐标为其中，n表示第n个点云。
[0060]
2)转换为世界坐标系中，每个点云在世界坐标系中的坐标为(xn，yn，zn)
[0061]zn
＝rn*sin(θn)
[0062][0063]
[0064]
s2，将所述三维点云数据转化为每个目标的位置、速度数据，并带入到卡尔曼循环预测实现对下一时刻的预测，根据当前时刻目标的位置和上一时刻目标的预测位置进行匹配，得到当前时刻每个目标的id；
[0065]
s3，根据所述目标的id、位置和速度信息进行跌倒检测判断。
[0066]
当发生跌倒行为时，触发报警，提醒子女注意；当发生跌倒后，当所有目标id的z坐标都大于某设定值时，表示发生了站起。
[0067]
进一步的，s2具体为：
[0068]
s21，首先计算初始的观测值，设定x1、y1、z1为当前目标第1时刻在x、y、z方向的坐标，vx1、vy1、vz1为当前目标第1时刻在x、y、z方向的速度，xk，yk，zk为当前目标第k时刻在x、y、z方向的坐标，vxk、vyk、vzk为当前目标第k时刻在x、y、z方向的速度，其中，k为变量，k＝2，3，...，n，n表示目标观察的总时刻；
[0069]
为第k-1时刻的观测值，则表示为：其中，vx
k-1
、vy
k-1
、vz
k-1
通过目标在第k-1时刻的位置x
k-1
，y
k-1
，z
k-1
和第k-2时刻的位置x
k-2
，y
k-2
，z
k-2
计算得到的；
[0070][0071][0072][0073]
s22，设定各观测值的估计差值，即e
k-1
为6*1矩阵；
[0074]
s23，根据e
k-1
计算k-1时刻的先验估计协方差矩阵p
k-1
＝e
k-1ek-1
，p
k-1
为6*6矩阵；
[0075]
s24，将计算的观测向量及p
k-1
带入卡尔曼循环预测实现对下一时刻的预测。
[0076]
卡尔曼滤波的一个典型实例是从一组有限的，包含噪声的，对物体位置的观察序列(可能有偏差)预测出物体的位置的坐标及速度。它可以以任意一点作为起始点开始观测，采用递归滤波的方法计算。它的特点是不要求保存过去的测量数据，当新的数据测得之后，根据新的数据和前一时刻的诸量估计值，借助系统本身的状态转移方程(即动态方程)，按照一套递推公式，即可算出新的诸量估计值。它简单易行，且计算量小，可实时计算。
[0077]
卡尔曼滤波器用反馈控制的方法估计过程状态：滤波器估计过程某一时刻的状态，然后以(含噪声的)测量变量的方式获得反馈。因此卡尔曼滤波器可分为两个部分：时间更新方程和测量更新方程。时间更新方程负责及时向前推算当前状态变量和误差协方差估
计的值，以便为下一个时间状态构造先验估计。测量更新方程负责反馈，也就是说，它将先验估计和新的测量变量结合以构造改进的后验估计。时间更新方程也可视为预估方程，测量更新方程可视为校正方程。
[0078]
卡尔曼滤波器的时间更新方程组为：
[0079][0080][0081]
其中，表示k-1时刻的观察值，为对k时刻观测值的先验预测，a为状态转移矩阵，bμ
k-1
为状态控制量，通常为零，为后验估计协方差矩阵，p
k-1
为先验估计协方差矩阵，q为过程激励噪声协方差矩阵。
[0082]
卡尔曼滤波器的测量更新方程组为：
[0083][0084][0085][0086]
其中，mk为卡尔曼增益，h为观测矩阵，r为观测噪声协方差矩阵，对k时刻观测值的后验预测，i为单位矩阵。
[0087]
在本发明中，为六维观测向量，其中，x，y，z为当前目标的坐标，v
x
，vy，vz为目标在x方向、y方向的速度和z方向的速度。
[0088]
设定运动目标在单位时间内为匀速直线运动，则状态转移矩阵
[0089]
其中，由于处理每帧图像的时间间隔为100ms，所以δt＝100ms。
[0090]
由于只能观测到x，y，z，所以观测矩阵为
[0091][0092]
假设w和v都是各方向零均值且独立的噪声向量，因此设二者的协方差矩阵为
[0093][0094]
进一步的，所述卡尔曼循环预测具体为：
[0095]
1)设定初始的p
k-1
以及为对k时刻观测值的先验预测，a为状态转移矩阵，bμ
k-1
为状态控制量，通常为零，为后验估计协方差矩阵，p
k-1
为先验估计协方差矩阵，q为过程激励噪声协方差矩阵；
[0096]
2)向前推算状态变量
[0097]
3)向前推算误差协方差
[0098]
4)计算卡尔曼增益
[0099]
5)由观测变量zk更新估计得到k时刻的预测值；
[0100]
6)更新k时刻的先验估计协方差矩阵
[0101]
7)当新获取到第k时刻的点云数据时，将第k时刻检测到的目标位置与k时刻预测到的目标位置的欧式距离小于阈值th0时，表示为同一个目标，否则为新出现的目标，将目标的索引值加1，用i表示目标的索引值，第i个目标第k时刻的x、y、z坐标用xk[i]，yk[i]，zk[i]表示，速度用vxk[i]，vyk[i]，vzk[i]表示；
[0102]
其中，th0为k时刻检测到的目标位置与预测位置之间的距离阈值；根据k-1时刻进行卡尔曼预测后预测到的k时刻位置之间的距离阈值，当小于阈值th0表示为同一目标，否则为新出现的目标；
[0103]
循环步骤2)-7)，完成后面各个时刻的预测和匹配。
[0104]
进一步的，s3具体为：s31，根据步骤s2中的方法获取第k时刻第i个目标的x、y、z坐标xk[i]，yk[i]，zk[i]，和速度vxk[i]，vyk[i]，vzk[i]；
[0105]
s32，计算第k时刻xy方向的速度
[0106]
s33，当第i个目标的高度，即z坐标，低于设定第一高度阈值th1时，则说明高度发生了下降，进入步骤s34；本实施例中，th1的设定值是0.7。
[0107]
s34，高度下降次数fall_count[i]累计值加1；
[0108]
s35，用fall[i]表示第i个目标的高度下降状态，fall[i]均初始化为0，当高度下降状态fall[i]＝0，且高度下降次数fall_count[i]累计值加1时，将高度下降状态fall[i]置1，此刻为发生高度下降的时刻m，记录下m-1刻的x，y坐标，称为高度下降前的水平位置，记为x
m-1
[i]，y
m-1
[i]，否则直接进入s36；本实施例中，设定时长为3帧。
[0109]
s36，计算后面每个时刻该目标的x，y坐标位置和高度下降前的水平位置的差异最大值dxyk[i]；
[0110]
[0111]
s37，当fall[i]＝1时，当第k时刻的z方向下降速度足够大且xy方向的速度变化足够大时，即vzk[i]＜th2&&vxyk[i]＞th3时，表示发生了快速跌倒，则fall[i]＝2，其中，th2为第二高度阈值，th3为第三高度阈值，本实施例中，th2的设定值是-1.0，th3的设定值是1.0；否则当第k时刻的z方向下降速度一般大且xy方向的速度变化一般大时，即vzk[i]＜th4&&vxyk[i]＞th5时，表示发生了缓慢跌倒，fall[i]＝3，否则，i＝i 1，返回步骤1，继续对第i 1个目标进行判断，其中，th4为第四高度阈值，th5为第五高度阈值，th4的设定值是-0.5，th5的设定值是0.5。
[0112]
其中，th2为快速跌倒时z方向的速度阈值，该阈值的设定是为了检测z方向的速度下降，所以th2＜0的，th3为快速跌倒时xy方向的速度阈值，从vxyk[i]的计算公式可以看出，th3为大于0的值，所以th3＞0；th4为缓慢倒下时z方向的速度阈值，该阈值的设定是为了检测z方向的速度下降，所以th4是小于0的，0＞th4＞th2，th5为缓慢倒下时xy方向的速度阈值，故取值范围为：0＜th5＜th3；
[0113]
s38，当跌倒的帧数大于th6时，进s310，th6为摔倒帧数的阈值，这个参数和采样率有很大关系，在本发明中，采样率为10帧/s(即：100ms采集一次)，故，th6＝5，表示需要满足跌倒过程持续了半秒。当跌倒的帧数不大于th6时，i＝i 1，返回s31；
[0114]
s39，当fall[i]＝2时，判断为跌倒，否则，进入s310；
[0115]
s310，当fall[i]＝3且dxyk[i]＞th7时，判断为跌倒，否则，i＝i 1，返回s31；其中，th7为快速坐下阈值。th7的设置是为了过滤快速坐下而非跌倒的情况，th7的设定值是0.3。
[0116]
进一步的，s33中，th1为高度阈值，表示发生跌倒后高度值，th1的取值范围为0.3m＜th1＜1m。
[0117]
本技术的核心发明点：1、通过卡尔曼滤波器来预测某一时刻的目标的状态；2、通过设定目标的三维方向上的速度阈值来进一步确认低速摔倒的真实动作。
[0118]
实施例2
[0119]
本技术还提供一种基于毫米波雷达的跌倒检测系统，所述检测系统包括：
[0120]
数据获取模块，所述数据获取模块用于获取毫米波雷达检测到的三维点云数据；
[0121]
卡尔曼滤波器模块，所述卡尔曼滤波器模块将所述三维点云数据转化为每个目标的位置、速度数据，并带入到卡尔曼循环预测实现对下一时刻的预测，根据当前时刻目标的位置和上一时刻目标的预测位置进行匹配，得到当前时刻每个目标的id；
[0122]
跌倒检测模块，所述跌倒检测模块根据所述目标的id、位置和速度信息进行跌倒检测判断。
[0123]
本技术提供一种基于毫米波雷达的跌倒检测系统和方法的整体方案，只需要使用毫米波雷达这一非接触式监测技术，就可以在发生跌倒时，及时检测到跌倒行为，该监测方法过程中不涉及任何声音、图像和视频信息，避免了用户的隐私可能出现泄露的问题，为注重隐私保护的用户提供了绝佳的选择。同时有效解决无人监管的老年人的安全问题，增强社会的和谐稳定，有较大的经济效益和社会效益。
[0124]
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明
的保护范围之内。