一种多模态健康监护数据处理方法、系统及电子设备

本发明涉及数据处理，具体涉及一种多模态健康监护数据处理方法、系统及电子设备。

背景技术：

1、随着居家健康监护、可穿戴设备、智能家居传感设备及家庭网络技术的发展，面向家庭场景的连续健康数据采集与分析需求不断增加。在居家健康监护过程中，通常需要同时获取用户的心率、血氧、呼吸、体动、皮肤温度等生理数据，以及室内温度、湿度、pm2.5、co2、光照、噪声等环境数据，并结合设备在线状态、通信状态和事件状态对用户健康状况进行综合评估。由于生理数据和环境数据通常分别来自不同类型的传感节点或终端设备，不同节点之间在采样频率、采样时刻、设备时钟、通信链路以及数据上报机制等方面存在明显差异。特别是在家庭场景下，可穿戴设备常采用低功耗工作模式，环境节点多通过无线链路接入，本地网络还可能存在抖动、拥塞、断连重传等情况，从而导致不同数据流之间容易出现时序偏移、数据乱序、时间回拨、局部缺失及跨模态对应关系不稳定等问题。

2、现有的数据处理方法多侧重于单一设备的数据校时、固定频率下的数据插值，或者面向一般物联网场景的时间同步处理，通常缺乏针对居家健康监护场景的综合考虑。尤其是在夜间睡眠监护、异常事件触发、用户活动频繁变化以及部分节点失联等情况下，现有技术难以同时兼顾时间对齐精度、融合连续性、异常场景适应性和输出可靠性，容易造成生理数据与环境数据之间的对应关系失真，进而影响后续健康评估、风险识别及预警结果的准确性。

3、因此，如何在居家健康监护场景下，对多源异构生理数据与环境数据进行统一时间参考下的处理与融合，从而提高多模态监护数据的时序一致性、融合可靠性和场景适应能力，成为本领域技术人员亟待解决的技术问题。

技术实现思路

1、有鉴于此，有必要提供一种多模态健康监护数据处理方法、系统及电子设备，用以解决现有技术中如何在居家健康监护场景下，对多源异构生理数据与环境数据进行统一时间参考下的处理与融合，从而提高多模态监护数据的时序一致性、融合可靠性和场景适应能力的技术问题。

2、为了解决上述技术问题，第一方面，本发明提供了一种多模态健康监护数据处理方法，包括：

3、获取包括生理数据、环境数据和事件状态数据的原始健康监护数据，基于所述原始健康监护数据以及用户上下文状态标识与异常事件检测函数，生成带本地时间戳的结构化观测样本；

4、以本地计算节点为主时钟节点，递推估计各采集节点的时钟偏移与漂移参数，并根据所述用户上下文状态标识与异常事件检测函数的检测结果动态调整节点同步周期；

5、基于所述时钟偏移与漂移参数以及同步周期，将各结构化观测样本的本地采样时间映射为全局参考时间，并结合活动扰动因子与网络波动因子生成各结构化观测样本的时间不确定度，得到全局时序样本；

6、对所述全局时序样本执行乱序重排与时间回拨校正，根据所述异常事件检测函数的检测结果标记异常事件采样窗口，得到时序规整的观测流；

7、构建统一时间网格，采用差异化策略将所述观测流中的生理数据、环境数据和事件状态数据映射至所述统一时间网格，得到多模态特征序列；

8、对所述多模态特征序列执行时序与跨模态相关性一致性校验，根据缺失持续时长分级执行缺失补偿，并识别各时间窗口的关键模态可用性状态，得到校验补全后的多模态特征序列、时序与跨模态相关性一致性校验结果及关键模态可用性；

9、计算各时间窗口的综合质量评分，对校验补全后的多模态特征序列加权融合生成同步融合矩阵；基于所述综合质量评分、时序与跨模态相关性一致性校验结果及关键模态可用性，将所述同步融合矩阵按正常输出模式、局部降级输出模式、保守输出模式输出。

10、在一种可能的实现方式中，所述递推估计各采集节点的时钟偏移与漂移参数，包括：

11、建立各采集节点的本地时钟与全局参考时间之间的关系，所述关系包含时钟漂移系数、时钟偏移量及随机时钟扰动项；

12、对各采集节点建立包含当前偏移量和当前漂移系数的时钟状态向量，并构建状态转移方程和观测方程；

13、采用递推状态估计方法更新各采集节点的时钟状态，得到当前时刻的偏移估计值、漂移估计值及估计协方差。

14、在一种可能的实现方式中，所述根据所述用户上下文状态标识与异常事件检测函数的检测结果动态调整节点同步周期，包括：

15、预设基础同步周期，根据用户上下文状态标识及异常事件检测函数的检测结果确定场景调节系数，以所述基础同步周期与所述场景调节系数的乘积作为实际同步周期；

16、当用户处于睡眠监护、静息观察或异常事件触发状态时，所述场景调节系数小于预设值，缩短实际同步周期；

17、当用户处于普通日间活动状态且未发生异常事件时，所述场景调节系数大于或等于预设值，延长或维持实际同步周期。

18、在一种可能的实现方式中，采用差异化策略将所述观测流中的生理数据、环境数据和事件状态数据映射至所述统一时间网格，包括：

19、对于落入统一时间网格各窗口内的生理数据，以样本的时间邻近度和质量分值作为联合加权依据，提取各窗口的生理特征向量；

20、对于环境数据，采用带平滑正则项的三次样条对环境观测点进行连续趋势重构，在统一时间网格点上获得环境特征向量，并基于各环境变量对应的负荷映射函数及权重系数构建环境暴露负荷因子；

21、对于事件状态数据，根据不同时间状态数据采用不同方式对时间网格点赋予状态值，引入事件状态可信度衰减因子计算事件状态特征向量。

22、在一种可能的实现方式中，所述计算各时间窗口的综合质量评分，包括：

23、根据各时间窗口的时间同步精度、样本覆盖率、原始信号质量、异常处理与补偿情况以及节点在线状态分别生成时间可信度子评分、样本覆盖率子评分、信号质量子评分、异常处理与补偿子评分和节点健康状态子评分；

24、对所述时间可信度子评分、样本覆盖率子评分、信号质量子评分、异常处理与补偿子评分和节点健康状态子评分进行加权求和得到综合质量评分。

25、在一种可能的实现方式中，对校验补全后的多模态特征序列加权融合生成同步融合矩阵，包括：

26、将所述生理特征向量、环境特征向量、环境暴露负荷因子、事件状态特征向量和综合质量评分进行拼接，形成同步融合向量；

27、根据所述综合质量评分，结合用户上下文状态及环境暴露负荷因子生成场景自适应融合权重，将所述场景自适应融合权重与预设基础模态融合权重进行归一化处理得到实际融合权重；

28、基于所述实际融合权重，对校验补全后的多模态特征序列中的各模态特征向量进行加权组合，形成同步融合矩阵。

29、在一种可能的实现方式中，当连续多个时间窗口的时间可信度子评分低于可信度阈值或异常处理与补偿子评分持续恶化时，触发反馈控制，所述反馈控制包括提升节点同步频率、执行节点重校时降低对应节点在融合结果中的权重及切换至降级运行模式中的至少一种。

30、在一种可能的实现方式中，所述同步融合矩阵的输出模式由输出门控函数进行判定，所述输出门控函数包括综合质量评分、时序与跨模态相关性一致性校验结果及关键模态可用性。

31、另一方面，本发明还提供了一种多模态健康监护数据处理系统，包括：

32、数据获取模块，用于获取包括生理数据、环境数据和事件状态数据的原始健康监护数据，基于所述原始健康监护数据以及用户上下文状态标识与异常事件检测函数，生成带本地时间戳的结构化观测样本；

33、数据处理模块，与所述数据获取模块连接，包括：

34、时钟同步模块，用于以本地计算节点为主时钟节点，递推估计各采集节点的时钟偏移与漂移参数，并根据所述用户上下文状态标识与异常事件检测函数的检测结果动态调整节点同步周期；

35、全局时序样本生成模块，用于基于所述时钟偏移与漂移参数以及同步周期，将各结构化观测样本的本地采样时间映射为全局参考时间，并结合活动扰动因子与网络波动因子生成各结构化观测样本的时间不确定度，得到全局时序样本；

36、观测流生成模块，用于对所述全局时序样本执行乱序重排与时间回拨校正，根据所述异常事件检测函数的检测结果标记异常事件采样窗口，得到时序规整的观测流；

37、差异化映射模块，用于构建统一时间网格，采用差异化策略将所述观测流中的生理数据、环境数据和事件状态数据映射至所述统一时间网格，得到多模态特征序列；

38、校验与补偿模块，用于对所述多模态特征序列执行时序与跨模态相关性一致性校验，根据缺失持续时长分级执行缺失补偿，并识别各时间窗口的关键模态可用性状态，得到校验补全后的多模态特征序列、时序与跨模态相关性一致性校验结果及关键模态可用性；

39、输出管理模块，与所述数据处理模块连接，用于计算各时间窗口的综合质量评分，对校验补全后的多模态特征序列加权融合生成同步融合矩阵；基于所述综合质量评分、时序与跨模态相关性一致性校验结果及关键模态可用性，将所述同步融合矩阵按正常输出模式、局部降级输出模式、保守输出模式输出。

40、第二方面，本发明还提供了一种电子设备，包括：

41、数据采集设备，用于采集包含生理数据、环境数据和事件状态数据的多源异构观测数据；

42、存储器，用于存储程序；

43、处理器，分别与所述数据采集设备和存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述任意实现方式中所述的多模态健康监护数据处理方法中的步骤。

44、本发明的有益效果是：本发明提供的多模态健康监护数据处理方法，通过以本地计算节点为主时钟递推估计各节点的时钟偏移与漂移参数，并结合用户上下文状态与异常事件动态调整节点同步周期，提高了居家弱网、低功耗和断连重连条件下高风险时段的跨模态时间对齐精度，保证了多源异构数据在统一时间参考下的时序一致性。接着通过将本地采样时间映射为全局参考时间，并结合活动扰动因子与网络波动因子生成样本级的时间不确定度，实现了时间对齐误差的可量化评估。进一步地，通过构建统一时间网格并采用差异化策略将生理、环境和事件三类数据分别映射至统一时间网格，兼顾了不同模态数据的采样频率与信号变化规律，避免了单一插值方式对高频生理信号细节的丢失、对低频环境信号的噪声放大，实现了多源异构数据在统一时间轴上的精准对齐，保障了生理与环境数据跨模态对应关系的准确性。另外，通过一致性校验和分级缺失补偿降低了局部缺失、活动伪影或场景冲突导致的误融合风险，通过计算综合质量评分对融合结果进行可信度控制，从而全面提高了融合结果的可靠性。