基于深度强化学习的通信芯片资源动态调度方法与流程

本发明涉及通信芯片资源调度，尤其涉及基于深度强化学习的通信芯片资源动态调度方法。

背景技术：

1、随着无线通信、边缘计算和智能终端业务的快速发展，通信芯片需要在多业务并发、突发链路负载和功耗受限条件下完成片上资源的高效分配，针对计算资源、链路传输资源、缓存资源和片上资源占用状态的动态调度技术受到广泛关注。现有通信芯片资源调度方法主要依赖固定优先级、轮询策略、静态阈值或经验规则进行资源分配，但是在实际应用中普遍存在以下问题：

2、通信链路负载、传输时延和缓存占用随业务流量变化频繁波动，传统静态调度策略难以及时识别负载突变对片上资源分配的影响，导致资源预算与实际链路状态不匹配；片上资源分配记录与链路监测数据之间存在明显的时序耦合关系，现有方法通常将资源占用、释放和调度动作作为独立记录处理，难以将短时片上资源调度结果有效反馈至长时资源预算过程；在多类资源竞争场景下，现有深度强化学习调度方法多依据状态价值和动作优势选择调度动作，未充分考虑预算档位在短窗片上资源调度中的可执行程度，容易出现预算价值较高但实际资源占用受限、缓存释放不足或链路阻滞加剧的问题，影响通信芯片资源动态调度的稳定性和实时性。

3、因此，如何提供基于深度强化学习的通信芯片资源动态调度方法是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出基于深度强化学习的通信芯片资源动态调度方法，本发明通过获取链路监测数据和片上资源分配记录，构建芯片状态集和资源调度记录集，基于动态窗口边界生成长窗状态数据和短窗状态数据，并生成资源预算状态和调度回注特征，将资源预算状态和调度回注特征输入引入调度可达分支的改进d3qn模型，得到可执行长窗资源预算，解决现有技术中通信芯片资源预算难以结合片上资源分配反馈、预算档位可执行程度不足的问题，实现通信芯片片上资源的动态调度。

2、根据本发明实施例的基于深度强化学习的通信芯片资源动态调度方法，包括如下步骤：

3、s1、获取通信芯片的链路监测数据和片上资源分配记录，构建对应的芯片状态集和资源调度记录集；

4、s2、根据芯片状态集中的负载突变拐点与资源调度记录集中的资源调度触发节点之间的时序关联关系确定动态窗口边界，对所述芯片状态集进行双尺度窗口划分，生成长窗状态数据和短窗状态数据；

5、s3、基于长窗状态数据进行统计特征提取，生成资源预算状态，并基于短窗状态数据和资源调度记录集进行时序拼接，生成调度回注特征；

6、s4、将所述资源预算状态和所述调度回注特征输入改进d3qn模型进行价值评估，得到可执行长窗资源预算；所述改进d3qn模型在d3qn模型的价值评估模块中引入调度可达分支；

7、s5、基于可执行长窗资源预算生成预算控制表，根据预算控制表和短窗状态数据执行短窗片上资源调度，生成周期级资源调度动作；

8、s6、按照所述周期级资源调度动作对通信芯片的片上资源进行占用控制，根据所述预算控制表与所述周期级资源调度动作的执行结果确定预算执行偏差；

9、s7、将所述预算执行偏差回写至所述资源调度记录集，输出通信芯片资源动态调度结果。

10、可选的，所述s1具体为：

11、获取通信芯片的链路监测数据；所述链路监测数据包括监测时标、链路负载、传输时延和缓存占用；

12、按照所述监测时标对所述链路监测数据进行时序排列，并根据链路负载、传输时延和缓存占用的变化标记负载突变拐点，生成芯片状态集；

13、获取通信芯片的片上资源分配记录；所述片上资源分配记录包括调度时标、资源占用状态、资源释放状态和调度动作标识；

14、按照调度时标对片上资源分配记录进行时序排列，并根据资源占用状态、资源释放状态和调度动作标识标记资源调度触发节点，生成资源调度记录集。

15、可选的，所述s2具体为：

16、提取所述芯片状态集中的负载突变拐点及对应的监测时标；提取所述资源调度记录集中的资源调度触发节点及对应的调度时标；

17、按照所述监测时标与所述调度时标的时间先后关系，对所述负载突变拐点和所述资源调度触发节点进行时序匹配，得到边界候选点；

18、将同时关联所述负载突变拐点和所述资源调度触发节点的边界候选点确定为动态窗口边界；

19、将相邻动态窗口边界之间的芯片状态集划分为长窗状态数据，并将每一动态窗口边界对应的链路状态序列划分为短窗状态数据。

20、可选的，所述s3具体为：

21、提取长窗状态数据中的链路负载、传输时延和缓存占用，并对链路负载、传输时延和缓存占用进行统计特征提取，得到长窗统计特征；

22、根据长窗统计特征和长窗状态数据中的负载突变拐点生成资源预算状态；

23、提取短窗状态数据中的链路负载、传输时延和缓存占用，并从所述资源调度记录集中提取与所述短窗状态数据具有时序对应关系的片上资源分配记录；

24、按照监测时标和调度时标对所述短窗状态数据和所述片上资源分配记录进行时序拼接，得到拼接时序数据；

25、根据所述拼接时序数据中的链路负载、传输时延、缓存占用、资源占用状态、资源释放状态和调度动作标识生成调度回注特征。

26、可选的，所述s4具体为：

27、将所述资源预算状态和所述调度回注特征输入改进d3qn模型；所述改进d3qn模型包括特征映射模块、价值评估模块、双网校正模块和预算输出模块；

28、所述特征映射模块对所述资源预算状态中的长窗统计特征和负载突变拐点进行向量映射，得到预算状态向量；对所述调度回注特征中的短窗状态数据和片上资源分配记录进行向量映射，得到调度可达向量；

29、所述改进d3qn模型的价值评估模块在d3qn模型的价值评估模块中引入调度可达分支，将d3qn模型中的状态价值分支和动作优势分支扩展为状态价值分支、预算优势分支和调度可达分支；根据所述预算状态向量和所述调度可达向量得到可执行预算动作价值；

30、所述双网校正模块根据在线价值网络和目标价值网络对所述可执行预算动作价值进行校正，得到校正预算动作价值；

31、所述预算输出模块根据所述校正预算动作价值确定目标预算档位，并根据所述目标预算档位得到可执行长窗资源预算。

32、可选的，所述在d3qn模型的价值评估模块中引入调度可达分支，具体为：

33、将所述预算状态向量输入状态价值分支，得到状态价值；

34、将所述预算状态向量输入预算优势分支，得到预算优势向量；

35、将所述调度回注特征输入调度可达分支，根据所述调度回注特征中的资源调度类型、片上资源状态变化和链路状态变化，对调度动作进行预算档位映射，得到档位调度特征；

36、按照预算档位对所述档位调度特征进行聚合，得到档位执行特征；

37、根据所述档位执行特征计算对应预算档位的预算可达值；对所述预算优势向量进行均值归一化，得到归一化预算优势值；

38、将所述状态价值、所述归一化预算优势值和所述预算可达值进行融合，得到可执行预算动作价值。

39、可选的，所述基于可执行长窗资源预算生成预算控制表，具体为：

40、对所述可执行长窗资源预算进行预算档位解析，得到预算档位标识和资源预算类型；

41、根据所述预算档位标识确定资源预算类型对应的预算额度；

42、将所述资源预算类型、所述预算额度和对应的调度动作标识进行表项绑定，形成预算控制表；所述预算控制表包括预算档位标识、资源预算类型、预算额度和调度动作标识。

43、可选的，所述根据预算控制表和短窗状态数据执行短窗片上资源调度，生成周期级资源调度动作，具体为：

44、根据所述短窗状态数据确定短窗片上资源状态；

45、将所述短窗片上资源状态与所述预算控制表中的资源预算类型进行匹配，得到匹配资源预算；

46、根据匹配资源预算中的预算额度和调度动作标识确定候选资源调度动作；

47、若所述候选资源调度动作对应的资源占用量未超过所述预算额度，则将所述候选资源调度动作确定为周期级资源调度动作；

48、若所述候选资源调度动作对应的资源占用量超过所述预算额度，则限制所述候选资源调度动作进入周期级资源调度动作。

49、可选的，所述s6具体为：

50、按照所述周期级资源调度动作中的调度动作标识，对通信芯片的片上资源执行占用控制；

51、记录片上资源在执行前后的资源占用状态和资源释放状态；

52、根据所述预算控制表中的预算额度和所述周期级资源调度动作对应的资源占用量，确定预算消耗量；

53、将所述预算消耗量与所述预算额度进行差值计算，得到预算剩余额度；

54、根据所述预算剩余额度、资源占用状态和资源释放状态确定预算执行偏差。

55、可选的，所述s7具体为：

56、将所述预算执行偏差与对应的调度时标、资源占用状态、资源释放状态和调度动作标识进行绑定，得到偏差调度记录；

57、将所述偏差调度记录写入所述资源调度记录集；根据写入后的资源调度记录集更新调度回注特征；

58、根据所述周期级资源调度动作、所述预算执行偏差和所述调度回注特征输出通信芯片资源动态调度结果。

59、本发明的有益效果是：

60、本发明通过负载突变拐点与资源调度触发节点之间的时序关联关系确定动态窗口边界，并对芯片状态集进行双尺度窗口划分，生成长窗状态数据和短窗状态数据，使资源预算过程能够反映链路负载突变和片上资源分配变化，提高长窗资源预算与短窗片上资源调度之间的匹配性；

61、将资源预算状态和调度回注特征输入改进d3qn模型，在d3qn模型的价值评估模块中引入调度可达分支，使可执行预算动作价值同时结合状态价值、预算优势和预算可达值，提高可执行长窗资源预算对片上资源实际调度能力的表征准确性；

62、根据预算控制表和短窗状态数据执行短窗片上资源调度，生成周期级资源调度动作，并根据周期级资源调度动作的执行结果确定预算执行偏差并回写至资源调度记录集，使通信芯片资源动态调度结果能够持续结合片上资源分配反馈，降低资源预算与实际资源占用之间的偏差。