运动时机推送方法、系统、电子设备及存储介质与流程

摘要: 本发明涉及行为策略与强化学习交叉,尤其涉及运动时机推送方法、系统、电子设备及存储介质。背景技术:1、随着移动终端、可穿戴设备及健康管理应用的发展,通过电子设备向...
运动时机推送方法、系统、电子设备及存储介质与流程

本发明涉及行为策略与强化学习交叉,尤其涉及运动时机推送方法、系统、电子设备及存储介质。

背景技术:

1、随着移动终端、可穿戴设备及健康管理应用的发展,通过电子设备向用户发送运动提醒已经成为运动健康管理中较为常见的干预方式。现有运动提醒系统通常按照预先设定的时间、周期或者根据用户的部分状态信息确定提醒时机,也有部分系统通过机器学习或强化学习方式,根据用户的历史行为及反馈结果逐步调整运动提醒策略。通过上述方式,可以在一定程度上实现运动提醒的自动化和个性化。

2、然而,用户在不同时间所处的位置、身体活动情况、移动终端使用情况以及近期接受运动提醒的频繁程度等均可能发生变化,适宜接受运动提醒的时机也会随之变化。现有运动提醒方式所采用的状态信息相对有限时,对用户当前所处实际情境的表征不够充分,容易造成所确定的运动提醒时机与用户当前状态不匹配,从而影响后续提醒策略的调整效果。

3、另一方面,运动提醒发出后,用户并不一定立即开始运动,实际运动行为与此前的提醒之间可能存在不同程度的时间延迟。在连续进行多次运动提醒决策的情况下,当随后检测到用户发生运动行为时,该运动行为与此前哪一次决策之间具有较强关联并不容易准确确定。若对用户反馈与此前决策之间的时间关系考虑不足,容易造成反馈信息与实际相关决策之间对应不准确,进而影响根据用户反馈更新后续运动提醒策略的准确性。

4、此外,在新用户开始使用运动提醒系统,或者用户进入此前较少出现的情境时,可供当前用户自身使用的历史交互数据较少,现有基于个人历史数据逐步优化的运动提醒方式在上述情况下缺乏充分的决策依据,往往需要经过较多次交互才能形成较为稳定的个体化提醒策略,从而影响系统在使用初期或者新情境下确定运动提醒时机的有效性。

5、因此,如何进一步提高对用户当前情境的表征能力,提高用户后续运动反馈与此前运动提醒决策之间对应关系的准确性,并改善历史交互数据不足情况下的运动提醒时机确定效果,是现有运动时机推送技术仍需解决的问题。

技术实现思路

1、基于背景技术存在的技术问题,本发明提出了运动时机推送方法、系统、电子设备及存储介质,能够提高运动干预时机决策的适应性和准确性。

2、本发明提出的一种运动时机推送方法,包括:

3、获取用户即时情境数据,根据用户即时情境数据构建当前状态向量;

4、根据当前状态向量,从干预动作集合中确定目标干预动作,干预动作集合包括推送动作和不推送动作,并记录当前状态向量、目标干预动作及对应的动作执行时刻,形成状态-动作记录,将状态-动作记录加入历史状态-动作序列;

5、根据目标干预动作执行运动干预信息的推送或不推送,并获取预设响应时间窗口内目标运动行为的检测结果;

6、根据目标运动行为的检测结果确定待更新状态-动作记录,其中,检测结果表征发生目标运动行为时,根据目标运动行为的发生时刻,从历史状态-动作序列中确定与目标运动行为关联的状态-动作记录作为待更新状态-动作记录;检测结果表征未发生目标运动行为时,将本次目标干预动作对应的状态-动作记录确定为待更新状态-动作记录;

7、根据待更新状态-动作记录对应的干预动作以及目标运动行为的检测结果确定待更新状态-动作记录对应的奖励值,并在检测结果表征发生目标运动行为时,根据待更新状态-动作记录的动作执行时刻与目标运动行为的发生时刻之间的时间间隔对奖励值进行修正;

8、根据奖励值更新待更新状态-动作记录对应的状态-动作价值,以用于后续干预动作的确定。

9、优选地,当前状态向量包括时间状态、位置状态、身体活动状态、设备使用状态、情绪状态以及干预疲劳度;

10、时间状态根据一天中的时间进行离散化编码;

11、位置状态根据移动终端的定位信息或预设环境信息确定;

12、身体活动状态根据移动终端或可穿戴设备采集的运动数据确定;

13、设备使用状态根据移动终端的交互状态确定;

14、情绪状态根据获取的用户情绪信息确定;

15、干预疲劳度根据预设历史时段内的推送频率、用户未响应比例以及连续推送次数加权确定。

16、优选地,从历史状态-动作序列中确定与目标运动行为关联的状态-动作记录,包括:

17、以目标运动行为的发生时刻为基准,按照动作执行时刻由近至远的顺序检索历史状态-动作序列;

18、将动作执行时刻位于目标运动行为的发生时刻之前、且与目标运动行为的发生时刻之间的时间间隔最小的状态-动作记录确定为待更新状态-动作记录。

19、优选地,检测结果表征发生目标运动行为时,确定正向基础奖励,且奖励值还包括基于时间间隔确定的时间修正量;

20、检测结果表征在目标干预动作执行后预设未响应时长内未发生目标运动行为时,不赋予基础奖励,并确定负向时间修正量。

21、优选地,根据奖励值更新待更新状态-动作记录对应的状态-动作价值,包括:

22、根据奖励值、奖励折扣因子、待更新状态-动作记录对应的当前状态-动作价值以及待更新状态-动作记录对应的下一决策时刻的状态下各干预动作对应的状态-动作价值中的最大值,确定时序差分误差;

23、根据时序差分误差对待更新状态-动作记录对应的状态-动作价值进行更新,其中,时序差分误差为正值时,增大待更新状态-动作记录对应的状态-动作价值;时序差分误差为负值时,减小待更新状态-动作记录对应的状态-动作价值。

24、优选地,根据当前状态向量在历史状态集合中的存在情况以及当前状态向量对应的累计历史交互次数,确定当前状态向量为已探索状态或未探索状态;

25、累计历史交互次数为当前状态向量下推送动作对应的历史交互次数与不推送动作对应的历史交互次数之和;

26、当前状态向量存在于历史状态集合,且累计历史交互次数达到预设值时,将当前状态向量确定为已探索状态,并根据当前状态向量对应的各干预动作的状态-动作价值,从各干预动作中确定状态-动作价值最大的干预动作作为目标干预动作;

27、当前状态向量不存在于历史状态集合,或者累计历史交互次数未达到预设值时,将当前状态向量确定为未探索状态,并将当前状态向量输入基于多用户历史交互数据训练的状态分类模型,以获得目标干预动作。

28、优选地,状态分类模型为随机森林分类模型;

29、获取多个用户对应的历史交互数据,历史交互数据包括状态向量、对应干预动作以及干预动作执行后的目标运动行为检测结果;

30、针对相同状态向量分别统计推送动作和不推送动作对应的成功次数,并根据推送动作和不推送动作对应的成功次数的大小关系确定对应状态向量的动作类别标签;

31、以状态向量作为输入特征、以动作类别标签作为输出标签训练随机森林分类模型;

32、当前状态向量被确定为未探索状态时,将当前状态向量输入随机森林分类模型,通过多个决策树输出预测动作,并根据多个决策树输出的预测动作确定目标干预动作。

33、本发明提出的一种运动时机推送系统,包括:

34、状态构建模块,用于获取用户即时情境数据,根据用户即时情境数据构建当前状态向量;

35、干预决策模块,用于根据当前状态向量,从干预动作集合中确定目标干预动作,干预动作集合包括推送动作和不推送动作,并记录当前状态向量、目标干预动作及对应的动作执行时刻,形成状态-动作记录,将状态-动作记录加入历史状态-动作序列;

36、输出及检测模块,用于根据目标干预动作执行运动干预信息的推送或不推送,并获取预设响应时间窗口内目标运动行为的检测结果;

37、动作归因模块,用于根据目标运动行为的检测结果确定待更新状态-动作记录,其中,检测结果表征发生目标运动行为时,根据目标运动行为的发生时刻,从历史状态-动作序列中确定与目标运动行为关联的状态-动作记录作为待更新状态-动作记录;检测结果表征未发生目标运动行为时,将本次目标干预动作对应的状态-动作记录确定为待更新状态-动作记录;

38、奖励确定模块,用于根据待更新状态-动作记录对应的干预动作以及目标运动行为的检测结果确定待更新状态-动作记录对应的奖励值,并在检测结果表征发生目标运动行为时,根据待更新状态-动作记录的动作执行时刻与目标运动行为的发生时刻之间的时间间隔对奖励值进行修正;

39、价值更新模块,用于根据奖励值更新待更新状态-动作记录对应的状态-动作价值,以用于后续干预动作的确定。

40、本发明提出的一种电子设备,包括:

41、处理器;以及

42、存储器,存储器中存储有计算机程序;

43、计算机程序被处理器执行时,使处理器执行上述的运动时机推送方法。

44、本发明提出的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时,使处理器执行上述的运动时机推送方法。

45、本发明的有益技术效果:

46、(1)本技术在每次确定推送动作或不推送动作时,将当前状态向量、干预动作及动作执行时刻形成状态-动作记录并加入历史状态-动作序列;在检测到后续目标运动行为后,再依据目标运动行为的发生时刻从历史状态-动作序列中确定与该运动行为关联的状态-动作记录,并根据二者之间的时间间隔对奖励值进行修正。由此,相较于检测到运动行为后直接对当前动作进行奖励更新的方式,能够利用运动行为发生的时间信息区分不同历史干预动作与运动行为之间的关联程度,减少延迟运动反馈被用于更新关联程度较低的状态-动作价值的情况,从而提高奖励反馈及状态-动作价值更新的针对性,为后续运动干预时机的确定提供更加有效的历史反馈信息。

47、(2)本技术利用时间状态、位置状态、身体活动状态、设备使用状态、情绪状态以及干预疲劳度构建当前状态向量,并分别建立不同状态与推送动作、不推送动作之间的状态-动作价值关系,使同一用户在不同时间、位置、活动及设备使用情境下能够对应不同的干预动作评价结果。特别是通过将近期推送频率、用户未响应比例及连续推送次数形成的干预疲劳度纳入状态向量,可以使近期干预历史参与到当前状态表征中,从而降低仅依据固定推送时刻或者单一状态信息进行运动提醒所造成的时机匹配不足,提高运动干预动作随用户即时情境变化进行调整的能力。

48、(3)对于当前用户尚未形成有效状态-动作价值信息的未探索状态,本技术利用多个用户的历史交互数据建立状态分类模型,并根据相同状态下推送动作和不推送动作对应的运动响应情况形成训练标签;在当前状态被确定为未探索状态时,由状态分类模型输出目标干预动作,而在已有足够历史反馈的状态下利用用户自身的状态-动作价值进行动作选择。由此,可以利用已有用户交互信息为新用户或未探索状态提供动作确定依据,减少完全依赖当前用户从初始状态进行动作探索所产生的无有效历史信息阶段,并有利于随着用户交互数据的积累形成面向当前用户的个体化干预策略。