一种基于强化学习的云手机数据同步调度方法与流程

本发明涉及资源调度与人工智能交叉领域，尤其涉及一种基于强化学习的云手机数据同步调度方法。

背景技术：

1、基于强化学习的智能调度方法因为在动态多变的环境中具备自我学习与决策优化能力，近年来被广泛应用于云手机数据同步、分布式存储调度、边缘计算资源分配等领域，成为智能化数据流转管理的重要发展方向。然而在实际应用中，云手机数据同步场景面临数据依赖拓扑复杂、物理运行环境多变、数据强一致性要求严苛等诸多挑战，智能调度方法的部署效果仍受多方面制约。

2、目前多数数据同步调度方法依赖静态的规则匹配或单一维度的启发式分配，难以充分结合数据分片间的依赖关系与网络带宽、时延、云端算力及端侧电量等多维动态状态，导致对同步现场时空状态的建模缺乏全面性；部分系统仅采用离散的任务调度策略，忽略了任务执行顺序与带宽切分比例、同步协议参数等连续资源分配的联合优化，限制了调度策略在复杂物理环境下的自适应调优能力。同时，调度逻辑过程缺乏执行前的安全校验与冲突预判机制，难以在数据版本冲突发生前进行有效拦截与降级容错，影响同步结果的绝对一致性与系统可靠性。

3、此外，现有智能调度方法在数据同步中的经验获取机制大多依赖真实环境的单一在线交互，未能在保障数据绝对一致性的前提下进行高效的前瞻性推演，导致试错成本过高且样本利用率低；其网络评估与反馈机制多采用单一价值流评估，未能根据任务选择的战略价值与资源分配的战术效能进行解耦评估与动态纠偏，难以适应云手机同步场景中多约束条件的不断变化，严重影响调度模型在真实场景中的实用价值与收敛稳定性。

4、因此，如何提供一种基于强化学习的云手机数据同步调度方法是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于强化学习的云手机数据同步调度方法，本发明充分融合时空状态特征提取、改进的pa-ddpg算法决策、隔离环境模拟预演与一致性校验等关键步骤，构建了具备数据依赖与物理环境多维表征、混合调度动作联合求解、执行前冲突拦截降级与经验回放池构建的智能调度与安全防护流程，实现了在复杂云手机同步场景下对数据流转的精准控制与绝对一致性保障。本发明通过引入基于参数化动作解耦的双流评论家网络，实现了任务选择战略价值与资源分配战术效能的独立评估与动态纠偏，同时构建经验回放池融合真实与虚拟推演数据，显著提升了样本利用率与策略收敛速度。本发明具备状态建模全面、动作空间解耦优化、试错风险可控与经验采样高效等优点，能够有效解决现有方法中离散与连续动作联合决策难、真实环境试错代价高及数据一致性易破坏等问题。

2、根据本发明实施例的一种基于强化学习的云手机数据同步调度方法，包括如下步骤：

3、s1、采集云手机实例中待同步数据分片的依赖关系、网络带宽、时延、云端容器算力及端侧电量状态，并预处理得出时空状态特征矩阵；

4、s2、将时空状态特征矩阵输入至改进的pa-ddpg算法中，引入基于参数化动作解耦的双流评论家网络，通过演员网络进行联合映射，输出离散的任务选择概率分布与连续的资源参数调节向量，取概率最大的离散任务作为同步时间片分配与任务执行排序策略，并提取对应的带宽切分比例与同步协议参数，求解得出混合调度动作指令；

5、s3、在云端隔离环境中复现当前同步现场状态，将混合调度动作指令在此隔离环境中进行加速模拟执行并追踪数据流转与版本变化，得出模拟数据流转状态与版本演进轨迹；

6、s4、基于模拟数据流转状态，比对模拟版本演进轨迹中各数据分片的逻辑时间戳，若无冲突则判定一致性校验通过并输出放行指令，反之则判定校验失败并输出拦截指令，降级为基于优先级锁的常规同步规则，得出最终调度执行方案；

7、s5、追踪最终调度执行方案在真实环境中的执行情况，统计同步耗时、流量消耗与端侧卡顿率，并评估是否触发了降级拦截，将各项业务指标与拦截事件加权计算，得出真实复合奖励值；

8、s6、以执行最终调度执行方案后的真实环境状态为起点，调用云端隔离环境沿着当前演员网络策略继续推演，收集每一步推演的虚拟状态、虚拟动作与虚拟奖励，生成虚拟经验数据，将真实经验数据与虚拟经验数存入经验回放池；

9、s7、从经验回放池中抽取混合经验数据，基于真实复合奖励值与虚拟奖励计算时序差分误差并反向传播，通过双流评论家网络中的第一流调度价值网络输入状态与离散动作评估任务选择的战略价值，第二流执行效能网络输入状态、离散动作与连续参数评估资源分配的战术效能，生成综合评估值并计算梯度，更新双流评论家网络和演员网络的参数，完成调度策略的迭代更新。

10、可选的，所述s1具体包括：

11、s11、实时读取云手机实例的同步日志与资源监控接口，提取待同步数据分片间的依赖关系列表，并获取当前的网络带宽数值、网络时延数值、云端容器算力占用率及端侧电量百分比；

12、s12、将待同步数据分片作为图的节点，将数据分片间的依赖关系作为图的边，构建数据依赖拓扑图并提取对应的邻接矩阵，将网络带宽数值、网络时延数值、云端容器算力占用率及端侧电量百分比按设定顺序拼接为一维物理状态向量；

13、s13、将数据依赖拓扑图的邻接矩阵与一维物理状态向量进行特征拼接，得出拼接特征矩阵，对拼接特征矩阵执行主成分分析降维处理，剔除方差贡献率低于预设阈值的特征维度，得出时空状态特征矩阵。

14、可选的，所述s2具体包括：

15、s21、将时空状态特征矩阵输入至改进的pa-ddpg算法的演员网络中，将时空状态特征矩阵与演员网络第一层全连接层进行线性变换并输入relu激活函数，将负数元素置为零保留正数元素，得出基础状态特征向量；

16、s22、将基础状态特征向量输入至演员网络的离散动作头，读取离散动作头初始化阶段随机生成的离散映射权重矩阵与离散映射偏置向量，将基础状态特征向量与离散映射权重矩阵执行矩阵乘法并叠加离散映射偏置向量得出离散线性输出；

17、s23、对离散线性输出中的每一个数值执行以自然常数e为底的指数运算得出各指数结果，将每一个指数结果除以所有指数结果的累加和，得出各个待同步数据分片的概率值，比对所有概率值并选取数值最大的概率值对应的数据分片作为同步时间片分配与任务执行排序策略；

18、s24、构建一个维度等于待同步数据分片总数的零向量，将同步时间片分配与任务执行排序策略所对应数据分片在零向量中的位置元素置为一，其余位置元素保持为零，将同步时间片分配与任务执行排序策略转换为离散独热编码向量，将基础状态特征向量与离散独热编码向量中对应位置的元素逐一相乘，得出条件约束特征向量；

19、s25、将条件约束特征向量输入至演员网络的连续动作头，读取连续动作头初始化阶段随机生成的连续映射权重矩阵与连续映射偏置向量，将条件约束特征向量与连续映射权重矩阵执行矩阵乘法并叠加连续映射偏置向量得出连续线性输出；

20、s26、将连续线性输出输入tanh激活函数，将连续线性输出中的每一个数值压缩至负一至一的开区间内，得出压缩连续数值，将压缩连续数值中的第一个数值乘以预设的带宽上限值，将压缩连续数值中的第二个数值乘以预设的协议参数上限值，将两个乘积结果按原顺序重新拼接，得出连续的资源参数调节向量；

21、s27、从连续的资源参数调节向量中提取第一个数值作为带宽切分比例，从连续的资源参数调节向量中提取第二个数值作为同步协议参数，将同步时间片分配与任务执行排序策略、带宽切分比例与同步协议参数按顺序拼接为一个一维动作向量，得出混合调度动作指令。

22、可选的，所述s3具体包括：

23、s31、在云端隔离环境中读取当前云手机实例的内存快照与数据分片存储状态，将内存快照与数据分片存储状态加载至隔离容器的运行内存中，覆写隔离容器内的初始状态，得出复现的当前同步现场状态；

24、s32、将混合调度动作指令传输至隔离容器的控制接口，启动预设的加速时钟，按照加速时钟的时间步长在隔离容器中依次执行同步时间片分配与任务执行排序策略、带宽切分比例与同步协议参数；

25、s33、在每一步执行过程中，监听隔离容器内数据分片的读取操作与写入操作，将发生读取操作的数据分片标识为源分片，将发生写入操作的数据分片标识为目标分片，记录源分片向目标分片传输的数据量与传输方向，得出单步数据流转记录；

26、s34、在监听读取与写入操作的同时，提取每次写入操作完成时的系统逻辑时钟数值，并与被写入的数据分片标识绑定，形成数据版本标签，按照操作执行的先后顺序将所有数据版本标签排列，得出单步版本演进记录；

27、s35、将加速时钟推进的每一步单步数据流转记录按时间先后顺序拼接，得出混合调度动作执行后的模拟数据流转状态，将每一步的单步版本演进记录按时间先后顺序拼接，得出混合调度动作执行后的版本演进轨迹。

28、可选的，所述s4具体包括：

29、s41、从混合调度动作执行后的模拟数据流转状态中，提取各个发生写入操作的数据分片标识，并从混合调度动作执行后的版本演进轨迹中，读取与各个数据分片标识绑定的带有时间属性的数据版本标签，解析每个数据版本标签中的系统逻辑时钟数值，得出各数据分片的逻辑时间戳；

30、s42、将具有相同数据分片标识的逻辑时间戳划分为同一比对组，在同一比对组内计算任意两个逻辑时间戳之间的差值绝对值，若差值绝对值等于零，则判定比对组内的逻辑时间戳无冲突，若差值绝对值大于零，则判定比对组内的逻辑时间戳存在冲突；

31、s43、遍历所有比对组的判定结果，若所有比对组均判定为逻辑时间戳无冲突，则判定一致性校验通过并生成放行指令，若存在任意一个比对组判定为逻辑时间戳存在冲突，则判定校验失败并生成拦截指令；

32、s44、当生成放行指令时，将混合调度动作指令直接作为保障数据绝对一致性的最终调度执行方案，当生成拦截指令时，放弃混合调度动作指令，提取所有待同步数据分片的预设优先级，将最高优先级的数据分片分配同步时间片并施加互斥锁，其余数据分片按预设优先级降序在互斥锁释放后依次执行同步；

33、s45、将施加互斥锁并按预设优先级排序执行的规则降级为基于优先级锁的常规同步规则，并作为保障数据绝对一致性的最终调度执行方案，输出最终调度执行方案。

34、可选的，所述s5具体包括：

35、s51、在真实环境中执行最终调度执行方案，记录开始执行的系统时间与完成所有数据分片同步的系统时间，计算完成系统时间与开始系统时间的差值，得出同步耗时；

36、s52、在真实环境执行最终调度执行方案的过程中，读取网络接口发送与接收的数据包字节数，计算执行完成后与执行开始前的数据包字节数差值，得出流量消耗；

37、s53、在真实环境执行最终调度执行方案的过程中，按固定时间间隔采集端侧渲染帧率，计算低于预设渲染帧率阈值的采集次数占总体采集次数的百分比，得出端侧卡顿率；

38、s54、读取最终调度执行方案的生成记录，若生成记录中包含基于优先级锁的常规同步规则，则判定触发了降级拦截并赋值为1，若生成记录中包含混合调度动作指令，则判定未触发降级拦截并赋值为0，得出拦截事件值；

39、s55、将同步耗时乘以预设的耗时权重系数，将流量消耗乘以预设的流量权重系数，将端侧卡顿率乘以预设的卡顿权重系数，将拦截事件值乘以预设的拦截惩罚权重系数，将四个乘积结果相加求和，得出真实复合奖励值。

40、可选的，所述s6具体包括：

41、s61、在执行最终调度执行方案后，读取真实环境中云手机实例的内存数据与硬盘数据，并发送至云端隔离环境，在云端隔离环境中覆写隔离容器的运行内存与存储空间，得出虚拟推演初始状态；

42、s62、对虚拟推演初始状态执行特征拼接与降维处理得出虚拟状态特征矩阵，将虚拟状态特征矩阵输入至当前演员网络，执行线性变换、矩阵乘法与加权拼接操作，输出虚拟的同步时间片分配与任务执行排序策略、虚拟的带宽切分比例与虚拟的同步协议参数，并拼接为一个一维向量，得出虚拟混合调度动作指令；

43、s63、在云端隔离环境中执行虚拟混合调度动作指令，记录执行开始至执行结束的虚拟耗时与虚拟数据传输量，读取执行结束后隔离容器的内存数据与硬盘数据得出虚拟下一状态，将虚拟耗时、虚拟数据传输量加权相加得出虚拟奖励，将虚拟状态特征矩阵、虚拟混合调度动作指令、虚拟奖励与虚拟下一状态按顺序拼接为一个四元组并记录为一条虚拟经验数据；

44、s64、将输入至演员网络的时空状态特征矩阵、演员网络输出的混合调度动作指令、真实复合奖励值与执行最终调度执行方案后的真实环境状态执行特征拼接与降维处理得出执行后状态特征矩阵，将时空状态特征矩阵、混合调度动作指令、真实复合奖励值与执行后状态特征矩阵按顺序拼接为一个四元组，并记录为一条真实经验数据；

45、s65、将虚拟经验数据赋予预设的虚拟采样权重，将真实经验数据赋予预设的真实采样权重，按照预设的虚拟采样权重与预设的真实采样权重从虚拟经验数据与真实经验数据中随机抽取数据，将抽取的数据合并后写入预先分配的内存空间中，得出经验回放池；

46、s66、重复执行步骤s62至步骤s65，每重复一次将虚拟推演步数加一，判断虚拟推演步数是否等于预设步数，若不等于预设步数则将虚拟下一状态作为新的虚拟推演初始状态继续重复，若等于预设步数则停止推演。

47、可选的，所述s7具体包括：

48、s71、从经验回放池中随机抽取预设数量的混合经验数据，从每条混合经验数据中分离出当前状态特征矩阵、混合调度动作指令、当前奖励值与下一状态特征矩阵，从混合调度动作指令中提取同步时间片分配与任务执行排序策略作为离散动作，提取带宽切分比例与同步协议参数作为连续动作；

49、s72、将下一状态特征矩阵输入至目标演员网络，执行矩阵乘法与激活函数操作，输出下一离散动作与下一连续动作，将下一状态特征矩阵、下一离散动作与下一连续动作按顺序拼接为目标联合输入向量，并输入至双流评论家网络的目标网络中，将目标联合输入向量与目标网络中的全连接层权重矩阵执行矩阵乘法并叠加偏置向量，经过relu激活函数计算后，输出得出目标评估值；

50、s73、判断当前抽取的混合经验数据为真实经验数据还是虚拟经验数据，若为真实经验数据则提取真实复合奖励值作为当前步奖励值，若为虚拟经验数据则提取虚拟奖励作为当前步奖励值，将当前步奖励值加上预设折扣因子乘以目标评估值得出目标时序差分目标值，将目标时序差分目标值减去双流评论家网络输出的当前评估值得出时序差分误差；

51、s74、将当前状态特征矩阵与离散动作输入至双流评论家网络的第一流调度价值网络，执行矩阵乘法与非线性激活操作将状态特征与离散动作映射为单一数值，得出任务选择的战略价值评估值；

52、s75、将当前状态特征矩阵、离散动作与连续动作拼接为联合输入向量，将联合输入向量输入至双流评论家网络的第二流执行效能网络，执行矩阵乘法与非线性激活操作将联合输入向量映射为单一数值，得出资源分配的战术效能评估值；

53、s76、将任务选择的战略价值评估值乘以预设的战略权重系数，将资源分配的战术效能评估值乘以预设的战术权重系数，将两个乘积结果相加得出综合评估值，计算综合评估值与时序差分误差的乘积得出梯度值，将梯度值反向传播回双流评论家网络，逐层更新双流评论家网络中每一层的权重矩阵与偏置向量；

54、s77、根据双流评论家网络更新后的权重矩阵与偏置向量计算策略梯度，将策略梯度反向传播回演员网络，逐层更新演员网络中离散映射权重矩阵、离散映射偏置向量、连续映射权重矩阵与连续映射偏置向量，完成调度策略的迭代更新。

55、本发明的有益效果是：

56、本发明通过提取数据依赖拓扑与物理运行环境特征构建时空状态特征矩阵，针对云手机同步场景状态多维且耦合的问题，采用改进的pa-ddpg算法与引入基于参数化动作解耦的双流评论家网络，执行离散任务选择与连续资源分配的联合映射，输出混合调度动作指令；通过在云端隔离环境中复现同步现场进行加速模拟执行，比对逻辑时间戳执行一致性校验，对存在冲突的调度指令进行拦截并降级为基于优先级锁的常规同步规则，生成保障绝对一致性的最终调度执行方案；在策略迭代阶段，统计真实环境执行指标得出真实复合奖励值，以真实环境状态为起点在隔离环境中沿策略继续推演生成虚拟经验数据，构建经验回放池，结合双流评论家网络分别评估任务选择的战略价值与资源分配的战术效能，加权计算综合评估值与时序差分误差进行参数更新。最终实现对云手机数据同步过程的混合动作精准决策、数据冲突预先拦截与虚实经验混合驱动的策略自进化，有效提升同步调度的资源匹配度、数据一致性的绝对保障能力与强化学习模型的收敛稳定性。