一种人体多模态生理状态信号校正方法、系统、设备及存储介质与流程

本发明涉及人体生理信号处理方法领域，具体是一种人体多模态生理状态信号校正方法、系统、设备及存储介质。

背景技术：

1、电力变电站、发电厂和户外检修等场景可能存在高温、低温、强噪声、高湿及持续运动。上述因素一方面改变人体真实生理信号，例如高温导致心率和呼吸频率升高、低温导致末梢脉搏波幅度下降；另一方面改变人体生理信号的采集质量，例如运动形成脉搏与呼吸伪影、噪声降低语音信噪比。因而，同一观测特征可能同时包含人体状态、环境直接作用和传感器误差。

2、现有多模态状态识别方案通常对采集特征直接拼接或输入分类器，或仅把环境参数作为普通输入变量，难以分别量化环境直接效应和信号失真。当模型在常温、低运动数据上训练后用于极端环境，容易出现特征分布漂移和模态质量不均衡。因此，需要一种位于状态识别之前的环境校正技术，能够以个体为单位估计环境直接作用，识别每种模态的当前可用性，并输出可追溯的校正特征和可信度。

技术实现思路

1、本发明提供了一种人体多模态生理状态信号校正方法、系统、设备及存储介质，以解决现有技术存在的环境直接效应与目标人体状态效应相互混淆、运动和噪声导致多模态信号质量不一致，以及模型在训练环境以外使用时缺少可信度指示的问题。

2、为了达到上述目的，本发明所采用的技术方案为：

3、一种人体多模态生理状态信号校正方法，过程如下：

4、获取目标作业人员的多个时间窗的多模态生理信号当前时序片段，以及相应的多个时间窗的加速度模值当前时序片段；并获取相应的多个时间窗的环境信号当前时序片段，所述环境信号包括温度信号、湿度信号、噪声信号；

5、提取每个时间窗中每类模态生理信号当前时序片段的多特征维度的相应类模态生理信号当前时序片段特征向量；并提取每个时间窗中环境信号当前时序片段的多特征维度的环境信号当前时序片段特征向量；

6、构建每类模态生理信号个体基线特征向量、个体稳健尺度向量，并构建环境信号基线特征向量；并计算每个时间窗的环境信号当前时序片段特征向量与环境信号基线特征向量之间的当前环境偏差向量；

7、通过每类模态生理信号的训练好的环境响应模型基于每个时间窗的当前环境偏差向量，预测得到相应时间窗的相应类模态生理信号当前时序片段特征向量相对于相应类模态生理信号个体基线特征向量之间的当前生理信号特征偏移向量，作为相应时间窗的相应类模态生理信号的当前直接环境效应；

8、然后，基于每类模态生理信号的个体稳健尺度向量，从每个时间窗的相应类模态生理信号当前时序片段特征向量中，去除相应时间窗的相应类模态生理信号的个体基线特征向量、相应时间窗的相应类模态生理信号的当前直接环境效应，得到相应时间窗的相应类模态生理信号的残差特征向量，并确定每个时间窗中每类模态生理信号的残差特征向量的可信度；

9、最后，通过每个时间窗中每类模态生理信号的残差特征向量的可信度，对相应时间窗的相应类模态生理信号的残差特征向量进行校正，得到相应时间窗的相应类模态生理信号校正后的残差特征向量。

10、进一步的，所述多模态生理信号包括脉搏信号、心电信号、呼吸信号、语音信号中的至少两类模态生理信号。

11、进一步的，每类模态生理信号个体基线特征向量、个体稳健尺度向量的构建过程如下：

12、获取目标作业人员的多个时间窗的多模态生理信号参考时序片段，时间窗数量与多模态生理信号当前时序片段的时间窗数量相同；并计算每个时间窗的每类模态生理信号参考时序片段的多特征维度的相应类模态生理信号参考时序片段特征向量；

13、然后，确定全部时间窗中每类模态信号参考时序片段特征向量的每个维度特征的稳健位置统计量，以及确定全部时间窗中每类模态信号参考时序片段特征向量的每个维度特征的稳健尺度统计量；

14、由每类模态信号所有维度特征的稳健位置统计量，组成相应类模态生理信号的多特征维度的个体基线特征向量；并由每类模态生理信号所有维度特征的稳健尺度统计量，组成相应类模态生理信号的多特征维度的个体稳健尺度向量。

15、进一步的，计算每个时间窗口中每类模态信号参考时序片段的信号质量分数，取信号质量分数大于或等于预设的相应质量分数阈值的若干个时间窗中的相应类模态信号参考时序片段，分别作为相应类模态生理信号稳态时序片段；

16、并且，计算每个时间窗中每类模态生理信号稳态时序片段的相应类模态信号参考时序片段特征向量；

17、然后，确定每类模态生理信号稳态时序片段的全部时间窗中各个相应类模态信号参考时序片段特征向量的每个维度特征的稳健位置统计量；并确定每类模态生理信号稳态时序片段的全部时间窗中各个相应类模态信号参考时序片段特征向量的每个维度特征的稳健尺度统计量。

18、进一步的，环境信号基线特征向量构建过程如下：

19、获取目标作业人员的多个时间窗的环境信号参考时序片段，时间窗数量与多模态生理信号当前时序片段的时间窗数量相同；并计算每个时间窗的环境信号参考时序片段的多特征维度的环向信号参考时序片段特征向量；每个时间窗中的环境信号参考时序片段特征向量，包括温度维度特征、湿度维度特征、噪声维度特征；

20、然后，确定全部时间窗中环境信号参考时序片段特征向量的温度维度特征的稳健位置统计量、湿度维度特征的稳健位置统计量、噪声维度特征的稳健位置统计量，由温度维度特征的稳健位置统计量、湿度维度特征的稳健位置统计量、噪声维度特征的稳健位置统计量，组成多特征维度的环境信号基线特征向量。

21、进一步的，所述稳健位置统计量为中位数，所述稳健尺度统计量为四分位距。

22、进一步的，每类模态生理信号的环境响应模型的训练过程如下：

23、获取多个时间窗的每类模态生理信号历史时序片段的相应类模态生理信号历史时序片段特征向量、多个时间窗的环境信号历史时序片段的环境信号历史时序片段特征向量，时间窗数量与多模态生理信号当前时序片段的时间窗数量相同；

24、计算每个时间窗的环境信号历史时序片段特征向量与所述环境信号基线特征向量之间差值，得到相应时间窗的历史环境偏差向量；

25、并且，计算每个时间窗的每类模态生理信号历史时序片段特征向量与相应类模态生理信号的个体基线特征向量之间的差值，得到相应时间窗的历史相应类模态生理信号特征偏移向量，作为相应时间窗的相应类模态生理信号的历史直接环境效应；

26、每类模态生理信号的环境响应模型训练时，以每个时间窗的历史环境偏差向量分别作为训练样本，以相应时间窗的相应类模态生理信号的历史直接环境效应分别作为相应训练样本的训练标签；

27、将每类模态生理信号的环境响应模型的每个训练样本，输入至该类模态生理信号的环境响应模型，由该类模态生理信号的环境响应模型预测得到每个时间窗的该类模态生理信号的历史直接环境效应；基于训练样本的训练标签、预测得到的历史直接环境效应，计算损失函数，基于损失函数计算结果更新该类模态生理信号的环境响应模型的可调参数，由此得到每类模态生理信号的训练好的环境响应模型。

28、进一步的，所述损失函数采用均方误差损失，训练时基于损失函数计算结果通过梯度下降方式更新每类模态生理信号的环境响应模型的可调参数，当损失函数计算结果收敛时，训练结束，得到每类模态生理信号的训练好的环境响应模型。

29、进一步的，每类模态生理信号的环境响应模型，为分段线性模型、广义加性模型、树模型、神经网络中的一种。

30、进一步的，每类模态生理信号的环境响应模型训练时的可调参数组合，针对各个训练样本所在的不同温度区间、不同湿度区间、不同噪声区间，采用分区间参数化结构。

31、进一步的，从每个时间窗的每类模态生理信号当前时序片段特征向量中，去除相应时间窗的相应类模态生理信号的个体基线特征向量、相应时间窗的相应类模态生理信号的当前直接环境效应后，再进行基于相应类模态生理信号的个体稳健尺度向量的归一化运算，得到相应时间窗的相应类模态生理信号的残差特征向量。

32、进一步的，基于每个时间窗的每类模态生理信号当前时序片段，确定该时间窗的该类模态生理信号的信号质量；基于每个时间窗的加速度模值当前时序片段，确定该时间窗该类模态生理信号的运动伪影程度；并且，确定每个时间窗中每类模态生理信号的训练好的环境响应模型的外推程度；然后，基于每个时间窗每类模态生理信号的信号质量、运动伪影程度，结合相应时间窗相应类模态生理信号的训练好的环境响应模型的外推程度，确定相应时间窗的相应类模态生理信号的残差特征向量的可信度。

33、进一步的，每个时间窗的每类模态生理信号的信号质量，依据相应时间窗的相应类模态生理信号当前时序片段的缺失比例、信噪比、波形生理合理性、传感器接触状态、采样饱和率中的至少两项确定.

34、进一步的，每个时间窗的每类模态生理信号的运动伪影程度，根据相应时间窗的加速度模值当前时序片段与相应模态生理信号当前时序片段在预设运动频带内的相关性或相干性确定。

35、进一步的，每个时间窗中每类模态生理信号的训练好的环境响应模型的外推程度，根据该类模态生理信号的环境响应模型训练时所用的相应时间窗的训练样本与该类模态生理信号的训练样本分布之间的距离确定。

36、进一步的，还包括：预设可信阈值，将每个时间窗的每类模态生理信号的残差特征向量的可信度，分别与可信阈值进行比较；当任意一个时间窗任意一类模态生理信号的残差特征向量的可信度大于或等于可信阈值时，则相应时间窗的相应类模态生理信号校正后的残差特征向量为有效残差特征向量。

37、一种人体多模态生理状态信号校正系统，包括数据获取模块、同步与时间窗特征提取模块、个体与环境基线模块、环境响应估计模块、残差特征向量计算模型、可信度评价模块、校正模块，各模块被配置为执行上述的人体多模态生理状态信号校正方法。

38、一种电子设备，包括处理器和存储器，存储器中设置有程序指令，所述程序指令被处理器读取和运行时，执行上述的人体多模态生理状态信号校正方法。

39、一种计算机可读存储介质，所述计算机可读存储介质的程序指令被读取和运行时，执行上述的人体多模态生理状态信号校正方法。

40、与现有技术相比，本发明的有益效果在于：（1）在参考环境状态、低运动状态下以稳健位置统计量和稳健尺度统计量构建每类模态生理信号的个体基线特征向量和个体稳健尺度向量，以个体为单位表征目标作业人员不受环境直接作用时的稳定生理水平；（2）通过每类模态生理信号的训练好的环境响应模型由当前环境偏差向量预测当前直接环境效应，并从当前时序片段特征向量中去除个体基线特征向量和当前直接环境效应，实现环境直接效应与人体状态效应的分离；（3）基于信号质量、运动伪影程度和环境响应模型的外推程度逐窗、逐模态确定残差特征向量的可信度并据此校正残差特征向量，使质量下降的模态的残差特征被相应压缩，并在环境响应模型于训练环境以外使用时给出可信度指示；（4）由此能够区分环境引起的生理偏移与传感器质量下降，减少高温、低温、强噪声及运动条件下的特征失真，为特殊作业人员状态评估提供稳定、可追溯的多模态输入。