一种基于存储系统的在线交易任务调度方法及系统与流程

本发明涉及分布式计算，尤其涉及一种基于存储系统的在线交易任务调度方法及系统。

背景技术：

1、现有技术中，在线交易任务调度通常依赖基于规则的调度策略或简单的队列调度机制，通过预设优先级、时间顺序或资源利用率等指标对任务进行分配与执行。在部分改进方案中，也存在利用分布式存储系统对任务进行持久化管理，结合多节点协同处理以提升系统吞吐能力的技术手段。随着机器学习技术的发展，部分系统尝试引入神经网络模型对调度策略进行优化，但多集中于单一维度特征建模，缺乏对任务、执行资源及存储资源之间复杂关系的统一建模能力。

2、现有技术仍存在明显不足。传统调度方法主要基于静态规则或局部状态进行决策，难以动态反映任务之间的依赖关系、资源竞争关系及数据访问关系，导致在高并发场景下容易出现资源分配不均、局部拥塞及处理效率下降的问题。已有基于机器学习的调度方法多将任务视为独立个体，缺乏对多类型节点之间交互关系的建模，无法有效刻画任务、执行节点及存储节点之间的复杂关联。

3、因此，如何提供一种基于存储系统的在线交易任务调度方法及系统是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于存储系统的在线交易任务调度方法及系统，本发明通过构建异构图并结合角色轮换传播与路径收敛机制，实现对任务、资源及存储关系的联合建模与动态优化，具备调度精度高、资源利用率高和系统稳定性强的优点。

2、根据本发明实施例的一种基于存储系统的在线交易任务调度方法及系统，包括如下步骤：

3、获取调度基础数据与调度状态数据，执行预处理，生成节点特征集合与关联特征集合；

4、构建异构图，依据节点特征集合与关联特征集合建立异构图，将参与调度的各类实体映射为不同类型节点，将实体间关联映射为对应连接关系；

5、进行角色编排设定，在mpnn传播过程中按照预设传播序列为当前轮计算指定主导节点类别与对应更新顺序，形成当前轮传播配置；

6、角色轮换传播，将异构图输入mpnn，依据当前轮传播配置控制当前轮消息传递过程中的传播控制规则，完成当前轮消息传递计算，生成当前轮节点表示；

7、状态差分提取，基于当前轮节点表示与上一轮节点表示生成节点状态变化结果，形成差分表征；

8、邻居贡献测算，针对目标节点关联邻居逐一执行消息屏蔽处理与局部重计算，基于局部重计算结果与差分表征生成各邻居对应贡献结果；

9、路径收敛调度，依据贡献结果确定有效传播路径并重构下一轮传播图，重复执行角色编排设定、角色轮换传播、状态差分提取与邻居贡献测算，直至满足预设终止条件，基于最终节点表示生成调度参数并写入任务记录，依据任务记录完成在线交易任务调度。

10、可选的，所述构建异构图具体包括：

11、对节点特征集合进行节点类型划分，将节点特征集合中的节点按照参与调度的实体类别划分为不同节点类型集合，为每一节点分配唯一节点标识；

12、对关联特征集合进行关系分类，将关联特征集合中的关联关系按照关联类型划分为不同关系集合，为每一关联关系分配对应的关系标识；

13、依据节点标识与关系标识建立节点间连接关系，将具有关联关系的节点对建立连接边，为连接边赋予对应的关联特征向量；

14、基于节点类型集合与连接边构建异构图结构，在异构图中保留节点类型信息、节点特征向量以及连接边的关联特征向量；

15、对异构图执行结构校验，删除无效节点与孤立连接边，得到标准化异构图。

16、可选的，所述进行角色编排设定具体包括：

17、基于异构图，对异构图中的节点按照节点类型信息划分为不同节点类别集合；

18、构建传播轮次序列，设定若干传播轮次，为每一传播轮次分配主导节点类别，主导节点类别在不同传播轮次之间按照预设顺序进行轮换；

19、针对每一传播轮次，定义传播方向规则，传播方向规则用于限定当前轮次中允许发起消息的节点类别以及允许接收消息的节点类别；

20、针对每一传播轮次，定义节点更新顺序规则，节点更新顺序规则用于限定各节点类别在当前轮次中的更新先后顺序；

21、基于传播方向规则与节点更新顺序规则，生成对应传播轮次的传播控制参数；

22、将各传播轮次的主导节点类别、传播方向规则、节点更新顺序规则以及传播控制参数进行组合，形成对应传播轮次的传播配置集合；

23、按照传播轮次序列对传播配置集合进行有序排列，生成轮换传播配置序列。

24、可选的，所述角色轮换传播具体包括：

25、将异构图输入mpnn，按照轮换传播配置序列逐轮执行消息传递计算；

26、在当前传播轮次中，根据对应传播配置确定主导节点类别与传播控制参数；

27、当主导节点类别为任务节点类别时，将任务节点设为主导节点集合，执行节点类别和存储节点类别设为辅助节点集合，控制仅由任务节点类别向外发起消息，由执行节点类别和存储节点类别生成响应消息，基于接收的响应消息对任务节点类别执行节点表示更新；

28、当主导节点类别为执行节点类别时，将执行节点设为主导节点集合，控制执行节点类别从关联任务节点类别和存储节点类别获取输入信息，对执行节点类别执行节点表示更新，将更新后的执行节点表示发送至关联任务节点类别；

29、当主导节点类别为存储节点类别时，将存储节点设为主导节点集合，控制存储节点类别基于关联任务节点类别和执行节点类别的输入信息执行节点表示更新，将更新后的存储节点表示发送至关联任务节点类别和执行节点类别；

30、按照轮换传播配置序列依次执行各传播轮次，生成当前轮节点表示。

31、可选的，所述状态差分提取具体包括：

32、在完成当前传播轮次的节点表示更新后，获取当前轮节点表示以及上一轮节点表示，并按照节点标识对两轮节点表示进行对齐处理，形成对应节点的状态对；

33、针对每一节点，基于当前轮节点表示与上一轮节点表示执行差分计算，得到节点状态变化向量；

34、对节点状态变化向量进行幅值计算，生成节点状态变化量，表征节点在当前传播轮次中的变化程度；

35、将节点状态变化向量与节点状态变化量进行组合，形成差分表征向量；

36、按照节点标识对各节点对应的差分表征向量进行汇总，生成差分表征。

37、可选的，所述邻居贡献测算具体包括：

38、针对差分表征集合中的每一目标节点，基于异构图中的连接关系获取目标节点的关联邻居集合；

39、对关联邻居集合中的每一邻居节点依次执行消息屏蔽处理，消息屏蔽处理包括将邻居节点在当前传播轮次中对目标节点产生的消息输入替换为预设基线向量；

40、在完成消息屏蔽处理后，针对目标节点执行局部重计算，局部重计算包括在保持其他邻居节点消息输入不变的情况下，基于mpnn的传播计算过程仅对目标节点重新计算节点表示，得到屏蔽条件下的节点表示；

41、基于屏蔽条件下的节点表示与未屏蔽条件下的当前轮节点表示进行差分计算，生成单邻居影响差分向量；

42、将单邻居影响差分向量与对应目标节点的差分表征进行组合计算，得到邻居节点对应的贡献结果；

43、对关联邻居集合中的所有邻居节点重复执行消息屏蔽处理与局部重计算，生成各邻居节点对应的贡献结果集合。

44、可选的，所述路径收敛调度具体包括：

45、基于各邻居节点对应的贡献结果集合，对目标节点的关联邻居进行筛选处理，将贡献结果满足预设条件的邻居节点确定为有效邻居节点；

46、依据有效邻居节点与目标节点之间的连接关系，构建有效连接边集合，删除未满足预设条件的连接边，生成更新后的连接关系集合；

47、基于更新后的连接关系集合对异构图执行重构处理，得到下一轮传播图；

48、将下一轮传播图输入mpnn，重复执行角色编排设定、角色轮换传播、状态差分提取与邻居贡献测算，生成新的节点表示与贡献结果集合；

49、在每一轮传播结束后，对当前轮与上一轮的有效连接边集合进行对比，当有效连接边集合变化量小于预设阈值时判定满足终止条件；

50、在满足终止条件后，基于最终节点表示生成调度参数，调度参数包括任务优先级和执行节点分配标识；

51、将调度参数写入任务记录，依据任务记录执行在线交易任务调度。

52、根据本发明实施例的一种基于存储系统的在线交易任务调度系统，包括：

53、存储模块，用于存储调度基础数据、调度状态数据、节点特征集合、关联特征集合以及任务记录；

54、数据处理模块，用于获取调度基础数据与调度状态数据，执行预处理，生成节点特征集合与关联特征集合；

55、异构图构建模块，用于基于节点特征集合与关联特征集合构建异构图，建立不同类型节点之间的连接关系；

56、角色编排模块，用于设定mpnn传播过程中的传播轮次序列，生成主导节点类别、传播方向规则与节点更新顺序规则对应的轮换传播配置序列；

57、mpnn计算模块，用于将异构图输入mpnn，依据轮换传播配置序列执行角色轮换传播，生成节点表示；

58、邻居贡献测算模块，用于基于节点表示执行状态差分提取以及消息屏蔽处理与局部重计算，生成邻居节点对应的贡献结果；

59、调度决策模块，用于基于贡献结果筛选有效传播路径，生成调度参数，写入任务记录，由存储模块提供的任务记录完成在线交易任务调度。

60、本发明的有益效果是：

61、（1）本发明通过构建包含多类型节点及其关联关系的异构图，引入基于mpnn的消息传递机制，实现对在线交易任务、执行资源及存储资源之间复杂关系的统一建模，相较于仅基于单一任务属性或局部状态进行调度的现有技术，能够更加全面地反映系统整体运行状态，提升调度决策的准确性与全局优化能力。

62、（2）本发明通过在mpnn传播过程中引入节点角色轮换机制，在不同传播轮次中分别以不同类型节点作为主导进行信息交互与表示更新，使得任务侧信息、计算资源侧信息以及存储侧信息能够从多视角参与调度建模，增强了模型对资源负载、数据访问及任务依赖等多维因素的表达能力，从而缓解资源分配不均及局部拥塞问题，提高系统运行稳定性。

63、（3）本发明通过邻居贡献测算与路径收敛调度机制，对消息传递路径进行动态筛选与重构，剔除低贡献连接关系，保留关键传播路径，在降低计算冗余的提升信息传播有效性，相较于固定拓扑结构的图神经网络传播方式，能够减少无效计算开销并提高调度结果的响应速度与执行效率。