人体感知的数据处理方法、装置、电子设备及存储介质与流程

本发明涉及物联网，特别是涉及一种人体感知的数据处理方法、一种人体感知的数据处理装置、一种电子设备以及一种计算机可读存储介质。

背景技术：

1、随着智能家居产品的快速发展，非接触式人体感知与状态监护技术在智慧养老、居家安全等应用场景中展现出了日益迫切的需求。其中，在典型的智能监护应用场景中，用户期望部署于室内的感知设备，在不影响被监护对象正常生活且无需其主动配合的前提下，实现对区域内人员存在性检测、行为活动识别以及异常事件（如跌倒）的实时监测与报警，从而在保障用户安全的同时兼顾隐私保护需求。在人体感知与状态监护的过程中，相关技术如基于光学视觉的方案采用摄像头等光学传感器结合图像识别算法实现人体检测与行为分析；基于可穿戴设备的方案通过手环、手表等设备内置的运动传感器检测人体姿态变化；基于wi-fi信道状态信息的方案利用商用wi-fi设备提取信道状态信息，通过分析信号传播过程中的幅度与相位变化反推人体活动等。

2、然而，在上述人体感知与状态监护的过程中，一方面基于单一类型特征或固定阈值判定的方案难以在真实家庭环境中准确区分跌倒与下蹲、躺下等相似动作，误报频发，导致人体姿态感知准确性不足；另一方面，无论是采用何种方式，均存在原始感知数据被截获、滥用或二次利用的风险，无法保障数据的安全性。

技术实现思路

1、本发明实施例是提供一种人体感知的数据处理方法、装置、电子设备以及计算机可读存储介质，以解决或部分解决在人体感知过程中原始感知数据的安全性无法保障，以及人体姿态感知准确性不足的技术问题。

2、本发明实施例公开了一种人体感知的数据处理方法，包括：

3、获取原始感知数据；

4、在本地设备侧对所述原始感知数据进行特征提取，获得对应的结构化特征，所述结构化特征包括用于反映被感知对象的微动特征的第一类特征、以及用于反映所述被感知对象在空间中形态分布的第二类特征；

5、根据连续多帧的所述第一类特征和所述第二类特征进行多模态特征融合处理，输出对应的人体姿态感知结果。

6、在一些可行的实现方式中，所述根据连续多帧的所述第一类特征和所述第二类特征进行多模态特征融合处理，输出对应的人体姿态感知结果，包括：

7、将连续多帧的所述第一类特征和所述第二类特征输入时序神经网络模型中进行多模态特征融合，输出各个行为类别对应的概率分布，所述行为类别包括跌倒类别；

8、若所述跌倒类别的概率大于或等于第一预设阈值，则以当前帧的原始感知数据为起始帧，统计后续预设数量帧的原始感知数据内所述时序神经网络模型输出的行为类别分布，并获取后续预设数量帧中每一帧对应的目标质心高度；

9、根据所述行为类别分布和所述目标质心高度进行置信度验证处理，输出对应的人体姿态感知结果。

10、在一些可行的实现方式中，所述结构化特征还包括目标运动轨迹特征，所述将连续多帧的所述第一类特征和所述第二类特征输入时序神经网络模型中进行多模态特征融合，输出各个行为类别对应的概率分布，包括：

11、将连续多帧的所述第一类特征、所述第二类特征以及所述目标运动轨迹特征，按照时间顺序进行拼接，获得对应的二维张量；

12、将所述二维张量输入所述时序神经网络模型，由所述时序神经网络模型通过卷积层或循环层提取时序依赖关系，并经由全连接层和softmax层输出所述时序依赖关系对应的各个行为类别的概率分布。

13、在一些可行的实现方式中，所述根据所述行为类别分布和所述目标质心高度进行置信度验证处理，输出对应的人体姿态感知结果，包括：

14、若所述后续预设数量帧内所述行为类别分布中判定为所述跌倒类别的帧数占比大于或等于第二预设阈值、且所述目标质心高度在所述后续预设数量帧中的变化满足预设的跌倒判定条件，则确定所述被感知对象处于跌倒姿态。

15、在一些可行的实现方式中，所述确定所述被感知对象处于跌倒姿态之后，所述方法还包括：

16、生成针对所述被感知对象的报警信息；

17、通过通信模组向预设的终端设备推送所述报警信息；

18、其中，所述报警信息包括事件时间戳、事件类型以及位置标识中的至少一种。

19、在一些可行的实现方式中，所述原始感知数据为感知模组采集的，所述确定所述被感知对象处于跌倒姿态之后，所述方法还包括：

20、控制所述感知模组以目标采集频率对所述被感知对象进行持续感知。

21、在一些可行的实现方式中，所述获取原始感知数据，包括：

22、获取感知模组采集的回波信号；

23、对所述回波信号进行变换，获得对应的距离-多普勒谱；

24、从所述距离-多普勒谱中提取有效点，生成对应的原始点云数据；

25、对所述原始点云数据进行聚类，将归属于同一个物理目标的点云归并为单个被感知对象，并对所述被感知对象进行跟踪滤波，输出对应的原始感知数据。

26、在一些可行的实现方式中，所述对所述原始感知数据进行特征提取，获得对应的结构化特征，包括：

27、将所述原始感知数据中的原始点云数据由极坐标转换为笛卡尔空间坐标，获得对应的目标点云数据；

28、从坐标转换后的目标点云数据中提取多维度特征；

29、按照预设的滑动窗口将连续多帧的所述多维度特征构建为对应的时序特征序列；

30、对所述时序特征序列进行归一化处理，获得维度固定的结构化特征。

31、在一些可行的实现方式中，所述多维度特征还包括目标运动轨迹特征，所述从坐标转换后的目标点云数据中提取多维度特征，包括：

32、从坐标转换后的目标点云数据中提取目标质心的三维空间位置；

33、获取所述目标质心的时序位置序列；

34、采用所述时序位置序列进行差分运算，获得所述目标质心的位移速度、加速度、所述位移速度的第一统计量、以及所述加速度的第二统计量；

35、将所述三维空间位置、所述位移速度、所述加速度、所述第一统计量、以及所述第二统计量作为目标运动轨迹特征。

36、在一些可行的实现方式中，所述从坐标转换后的目标点云数据中提取多维度特征，包括：

37、对坐标转换后的目标点云数据进行静态背景滤除；

38、从滤除背景后的目标点云数据中提取目标回波的微多普勒谱；

39、计算所述微多普勒谱的峰值频率、谱宽度、谱熵和能量集中度中的至少一种；

40、将所述峰值频率、所述谱宽度、所述谱熵和所述能量集中度中的至少一种作为所述第一类特征。

41、在一些可行的实现方式中，所述从坐标转换后的目标点云数据中提取多维度特征，包括：

42、从坐标转换后的目标点云数据中提取目标点云的垂直方向伸展量；

43、从坐标转换后的目标点云数据中提取目标点云的水平投影面积；

44、对坐标转换后的目标点云数据进行主成分分析，获得所述目标点云在三个正交方向上的方差分布，将所述方差分布作为所述目标点云的形状主成分；

45、将所述垂直方向伸展量、所述水平投影面积以及所述形状主成分中的至少一者作为第二类特征。

46、在一些可行的实现方式中，所述获取原始感知数据，包括：

47、响应于上电初始化，控制感知模组以第一采集频率采集原始感知数据；

48、若根据所述原始感知数据监测到所述感知模组所属的目标区域中存在活动目标、且持续时长达到第一预设时长，则控制所述感知模组由第一采集频率切换至第二采集频率，以所述第二采集频率采集原始感知数据；

49、其中，所述第二采集频率大于所述第一采集频率。

50、在一些可行的实现方式中，所述以所述第二采集频率采集原始感知数据之后，所述方法还包括：

51、若根据所述原始感知数据监测到所述感知模组所属的目标区域中不存在活动目标、且持续时长达到第二预设时长，则控制所述感知模组切换至所述第一采集频率，以所述第一采集频率采集原始感知数据。

52、在一些可行的实现方式中，所述方法还包括：

53、向通信模组传输所述人体姿态感知结果、和/或、所述结构化特征，作为所述通信模组对外传输的数据。

54、在一些可行的实现方式中，所述原始感知数据为感知模组采集的，所述方法还包括：

55、获取所述通信模组的信道状态参数；

56、若所述信道状态参数超出预设范围，则控制所述感知模组执行调整发射信号的波形参数、降低发射功率以及调整接收机增益中的至少一种操作。

57、在一些可行的实现方式中，所述方法还包括：

58、若所述信道状态参数恢复至所述预设范围之内，则控制所述感知模组恢复至执行调整操作之前的工作参数配置。

59、本发明实施例还公开了一种人体感知的数据处理装置，包括：

60、获取模块，用于获取原始感知数据；

61、特征提取模块，用于在本地设备侧对所述原始感知数据进行特征提取，获得对应的结构化特征，所述结构化特征包括用于反映被感知对象的微动特征的第一类特征、以及用于反映所述被感知对象在空间中形态分布的第二类特征；

62、感知处理模块，用于根据连续多帧的所述第一类特征和所述第二类特征进行多模态特征融合处理，输出对应的人体姿态感知结果。

63、在一些可行的实现方式中，所述感知处理模块具体用于：

64、将连续多帧的所述第一类特征和所述第二类特征输入时序神经网络模型中进行多模态特征融合，输出各个行为类别对应的概率分布，所述行为类别包括跌倒类别；

65、若所述跌倒类别的概率大于或等于第一预设阈值，则以当前帧的原始感知数据为起始帧，统计后续预设数量帧的原始感知数据内所述时序神经网络模型输出的行为类别分布，并获取后续预设数量帧中每一帧对应的目标质心高度；

66、根据所述行为类别分布和所述目标质心高度进行置信度验证处理，输出对应的人体姿态感知结果。

67、在一些可行的实现方式中，所述结构化特征还包括目标运动轨迹特征，所述感知处理模块具体用于：

68、将连续多帧的所述第一类特征、所述第二类特征以及所述目标运动轨迹特征，按照时间顺序进行拼接，获得对应的二维张量；

69、将所述二维张量输入所述时序神经网络模型，由所述时序神经网络模型通过卷积层或循环层提取时序依赖关系，并经由全连接层和softmax层输出所述时序依赖关系对应的各个行为类别的概率分布。

70、在一些可行的实现方式中，所述感知处理模块具体用于：

71、若所述后续预设数量帧内所述行为类别分布中判定为所述跌倒类别的帧数占比大于或等于第二预设阈值、且所述目标质心高度在所述后续预设数量帧中的变化满足预设的跌倒判定条件，则确定所述被感知对象处于跌倒姿态。

72、在一些可行的实现方式中，所述装置还包括：

73、报警模块，用于在所述感知处理模块确定所述被感知对象处于跌倒姿态之后，生成针对所述被感知对象的报警信息；

74、通信模块，用于向预设的终端设备推送所述报警信息；

75、其中，所述报警信息包括事件时间戳、事件类型以及位置标识中的至少一种。

76、在一些可行的实现方式中，所述原始感知数据为感知模组采集的，所述装置还包括：

77、感知控制模块，用于在所述感知处理模块确定所述被感知对象处于跌倒姿态之后，控制所述感知模组以目标采集频率对所述被感知对象进行持续感知。

78、在一些可行的实现方式中，所述获取模块具体用于：

79、获取感知模组采集的回波信号；

80、对所述回波信号进行变换，获得对应的距离-多普勒谱；

81、从所述距离-多普勒谱中提取有效点，生成对应的原始点云数据；

82、对所述原始点云数据进行聚类，将归属于同一个物理目标的点云归并为单个被感知对象，并对所述被感知对象进行跟踪滤波，输出对应的原始感知数据。

83、在一些可行的实现方式中，所述特征提取模块具体用于：

84、将所述原始感知数据中的原始点云数据由极坐标转换为笛卡尔空间坐标，获得对应的目标点云数据；

85、从坐标转换后的目标点云数据中提取多维度特征；

86、按照预设的滑动窗口将连续多帧的所述多维度特征构建为对应的时序特征序列；

87、对所述时序特征序列进行归一化处理，获得维度固定的结构化特征。

88、在一些可行的实现方式中，所述多维度特征还包括目标运动轨迹特征，所述特征提取模块具体用于：

89、从坐标转换后的目标点云数据中提取目标质心的三维空间位置；

90、获取所述目标质心的时序位置序列；

91、采用所述时序位置序列进行差分运算，获得所述目标质心的位移速度、加速度、所述位移速度的第一统计量、以及所述加速度的第二统计量；

92、将所述三维空间位置、所述位移速度、所述加速度、所述第一统计量、以及所述第二统计量作为目标运动轨迹特征。

93、在一些可行的实现方式中，所述特征提取模块具体用于：

94、对坐标转换后的目标点云数据进行静态背景滤除；

95、从滤除背景后的目标点云数据中提取目标回波的微多普勒谱；

96、计算所述微多普勒谱的峰值频率、谱宽度、谱熵和能量集中度中的至少一种；

97、将所述峰值频率、所述谱宽度、所述谱熵和所述能量集中度中的至少一种作为所述第一类特征。

98、在一些可行的实现方式中，所述特征提取模块具体用于：

99、从坐标转换后的目标点云数据中提取目标点云的垂直方向伸展量；

100、从坐标转换后的目标点云数据中提取目标点云的水平投影面积；

101、对坐标转换后的目标点云数据进行主成分分析，获得所述目标点云在三个正交方向上的方差分布，将所述方差分布作为所述目标点云的形状主成分；

102、将所述垂直方向伸展量、所述水平投影面积以及所述形状主成分中的至少一者作为第二类特征。

103、在一些可行的实现方式中，所述获取模块具体用于：

104、响应于上电初始化，控制感知模组以第一采集频率采集原始感知数据；

105、若根据所述原始感知数据监测到所述感知模组所属的目标区域中存在活动目标、且持续时长达到第一预设时长，则控制所述感知模组由第一采集频率切换至第二采集频率，以所述第二采集频率采集原始感知数据；

106、其中，所述第二采集频率大于所述第一采集频率。

107、在一些可行的实现方式中，所述获取模块还用于：

108、在以所述第二采集频率采集原始感知数据之后，若根据所述原始感知数据监测到所述感知模组所属的目标区域中不存在活动目标、且持续时长达到第二预设时长，则控制所述感知模组切换至所述第一采集频率，以所述第一采集频率采集原始感知数据。

109、在一些可行的实现方式中，所述装置还包括：

110、传输模块，用于向通信模组传输所述人体姿态感知结果、和/或、所述结构化特征，作为所述通信模组对外传输的数据。

111、在一些可行的实现方式中，所述原始感知数据为感知模组采集的，所述装置还包括：

112、信道监测模块，用于获取所述通信模组的信道状态参数；

113、抗干扰控制模块，用于若所述信道状态参数超出预设范围，则控制所述感知模组执行调整发射信号的波形参数、降低发射功率以及调整接收机增益中的至少一种操作。

114、在一些可行的实现方式中，所述抗干扰控制模块还用于：

115、若所述信道状态参数恢复至所述预设范围之内，则控制所述感知模组恢复至执行调整操作之前的工作参数配置。

116、本发明实施例还公开了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信；

117、所述存储器，用于存放计算机程序；

118、所述处理器，用于执行存储器上所存放的程序时，实现如本发明实施例所述的方法。

119、本发明实施例还公开了一种计算机可读存储介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如本发明实施例所述的方法。

120、本发明实施例包括以下优点：

121、在本发明实施例中，通过获取原始感知数据，接着在本地设备侧对原始感知数据进行特征提取以获得包含用于反映被感知对象的微动特征和空间形态分布的结构化特征，然后根据连续多帧的第一类特征和第二类特征进行多模态特征融合处理以输出对应的人体姿态感知结果，从而通过在本地设备侧完成特征提取而使原始感知数据无需离开本地设备，实现了对原始感知数据的隐私保护，不仅使得被感知对象的原始感知数据在物理层面即被隔离于对外传输链路之外，而且通过提取包含微动特征和空间形态分布特征的结构化特征并结合多模态特征融合处理，使得人体姿态感知能够同时基于被感知对象的局部微动信息和整体空间形态信息进行综合判定，增强了对跌倒等异常姿态的感知准确性和鲁棒性，同时由于仅将结构化特征而非原始感知数据作为后续处理的数据基础，大幅减少了数据传输和处理的负担，提高了系统的数据处理效率和响应速度。