结合强化学习的健康管理数据分析方法、系统及智能芯片与流程

本发明涉及健康管理数据分析，具体涉及结合强化学习的健康管理数据分析方法、系统及智能芯片。

背景技术：

1、随着可穿戴设备、移动健康应用程序和智能医疗设备的普及，用户的健康干预执行数据和生理指标数据得到了前所未有的精细化采集。这些数据为个性化健康管理决策提供了丰富的原始素材，如何基于这些数据为不同用户精准推荐最优的健康干预方案组合，已成为健康管理数据分析领域的研究热点。

2、然而，现有方法难以有效处理多源干预数据在计量标准、时序对应关系和延迟效应等方面的问题，亦缺乏对不同个体基线差异的自适应能力，导致干预效果评估准确性不足，难以实现精准的个性化健康管理决策。

技术实现思路

1、本发明提供了结合强化学习的健康管理数据分析方法、系统及智能芯片。本发明解决了现有健康管理数据分析中因多源数据量纲不统一和干预效果存在时间延迟，导致强化学习即时奖励机制无法准确归因历史动作贡献的技术问题。

2、鉴于上述问题，本发明提供了结合强化学习的健康管理数据分析方法，所述方法包括：

3、获取用户在多种健康干预方案上的历史执行记录和健康指标时序数据；

4、计算各所述健康干预方案在各监测周期的周期干预执行量和各健康指标的周期健康指标变化量；

5、通过对各所述健康干预方案的周期干预执行量序列与各指标的周期健康指标变化量序列进行跨周期时滞相关性分析，确定各所述健康干预方案对各所述健康指标的方案效果时滞向量；

6、基于所述方案效果时滞向量，对各所述监测周期的周期健康指标变化量进行跨周期效果归因，得到多方案累积效果贡献度；

7、在强化学习模型的奖励分配中，根据所述方案效果时滞向量将当前周期的健康指标变化奖励沿时间轴反向分配到产生效果的历史周期干预动作上，更新决策策略。

8、本发明还提供了结合强化学习的健康管理数据分析系统，包括：

9、数据获取模块，用于获取用户在多种健康干预方案上的历史执行记录和健康指标时序数据；

10、周期量化模块，用于计算各所述健康干预方案在各监测周期的周期干预执行量和各健康指标的周期健康指标变化量；

11、时滞分析模块，用于通过对各所述健康干预方案的周期干预执行量序列与各指标的周期健康指标变化量序列进行跨周期时滞相关性分析，确定各所述健康干预方案对各所述健康指标的方案效果时滞向量；

12、跨周期归因模块，用于基于所述方案效果时滞向量，对各所述监测周期的周期健康指标变化量进行跨周期效果归因，得到多方案累积效果贡献度；

13、强化学习策略更新模块，用于在强化学习模型的奖励分配中，根据所述方案效果时滞向量将当前周期的健康指标变化奖励沿时间轴反向分配到产生效果的历史周期干预动作上，更新决策策略。

14、本发明还提供了一种智能芯片，包括：

15、存储器，用于存储计算机程序；

16、处理器，用于读取并执行所述计算机程序，进而实现结合强化学习的健康管理数据分析方法。

17、本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：

18、本发明通过对不同来源的执行记录与健康指标数据进行时间轴对齐及缺失补齐，消除了时序错位问题，通过将实际执行次数除以应执行次数获得周期干预执行量以消除多干预方案间的量纲障碍，通过上一周期检测值减去当前周期检测值获得周期健康指标变化量以剥离个体静态基线，显著降低了后续分析中因量纲不一致和基线漂移造成的伪相关概率。通过对各干预方案与各健康指标的配对组合执行全范围时移遍历并独立计算各时移下的皮尔逊相关系数，构建的方案效果时滞向量完整记录了全部延迟关联强度分布，从根本上解决了传统同期分析法忽略延迟效应造成的因果误判问题。通过将当前周期的健康指标变化奖励按归因系数归一化分配至各历史监测周期，保证了奖励信号在时间轴上的完整传递与守恒分配，使强化学习模型能够准确辨识真正产生效果的历史干预动作，解决了传统即时奖励机制忽视延迟效应导致的归因错误，同时通过基于累积效果贡献度动态计算自适应学习率并构建兼顾短期效果与长期贡献的奖励函数，有效提升了模型收敛速度和训练稳定性，最终输出的决策策略能够基于用户个体历史反馈实现精准的自适应闭环健康管理。

19、综上所述，本发明解决了现有健康管理数据分析中因多源数据量纲不统一和干预效果存在时间延迟，导致强化学习即时奖励机制无法准确归因历史动作贡献的技术问题。

1.结合强化学习的健康管理数据分析方法，其特征在于，包括：

2.根据权利要求1所述的结合强化学习的健康管理数据分析方法，其特征在于，所述获取用户在多种健康干预方案上的历史执行记录和健康指标时序数据，包括：

3.根据权利要求1所述的结合强化学习的健康管理数据分析方法，其特征在于，所述计算各所述健康干预方案在各监测周期的周期干预执行量和各健康指标的周期健康指标变化量，包括：

4.根据权利要求1所述的结合强化学习的健康管理数据分析方法，其特征在于，所述通过对各所述健康干预方案的周期干预执行量序列与各指标的周期健康指标变化量序列进行跨周期时滞相关性分析，确定各所述健康干预方案对各所述健康指标的方案效果时滞向量，包括：

5.根据权利要求1所述的结合强化学习的健康管理数据分析方法，其特征在于，所述基于所述方案效果时滞向量，对各所述监测周期的周期健康指标变化量进行跨周期效果归因，得到多方案累积效果贡献度，包括：

6.根据权利要求5所述的结合强化学习的健康管理数据分析方法，其特征在于，所述方案效果时滞向量为多维向量，向量的第k个元素为时移值为k个周期时的时滞相关系数。

7.根据权利要求1所述的结合强化学习的健康管理数据分析方法，其特征在于，所述在强化学习模型的奖励分配中，根据所述方案效果时滞向量将当前周期的健康指标变化奖励沿时间轴反向分配到产生效果的历史周期干预动作上，更新决策策略，包括：

8.根据权利要求7所述的结合强化学习的健康管理数据分析方法，其特征在于，所述强化学习模型的构建，包括：

9.结合强化学习的健康管理数据分析系统，其特征在于，用于执行权利要求1至8任一项所述的结合强化学习的健康管理数据分析方法，包括：

10.一种智能芯片，其特征在于，所述智能芯片包括：