用于对算子节点进行扩缩容调整的方法、装置及系统与流程

技术特征：
1.一种用于对算子节点进行扩缩容调整的方法，包括：响应于根据实时数据流所确定出的待调整并发算子节点，控制节点根据所述待调整并发算子节点的上下游算子节点构造针对所述待调整并发算子节点的算子节点拓扑图；所述控制节点向所述算子节点拓扑图中有调整的各个算子节点发送针对该算子节点的图状态更新信息，以使所述有调整的各个算子节点更新连接，其中，所述各个算子节点的图状态更新信息包括该算子节点的上下游算子节点调整信息以及针对该算子节点的连接调整信息；所述控制节点向所述算子节点拓扑图中的源算子节点发送调整标识信息；在所述各个算子节点处，根据该算子节点与上下游算子节点的连接来获取所述调整标识信息，以基于所述调整标识信息进行算子节点的状态调整；以及所述控制节点响应于从所述算子节点拓扑图中的尾算子节点接收所述调整标识信息，向所述各个算子节点发送调整完成信息，以通知所述各个算子节点经过所述扩缩容调整的算子节点拓扑图完成。2.如权利要求1所述的方法，其中，响应于根据实时数据流所确定出的待调整并发算子节点，控制节点根据所述待调整并发算子节点的上下游算子节点构造针对所述待调整并发算子节点的算子节点拓扑图包括：响应于根据实时数据流所确定出的待调整并发算子节点，所述控制节点确定所述待调整并发算子节点的上游算子节点和/或下游算子节点；所述控制节点根据所述待调整并发算子节点、所述上游算子节点和/或所述下游算子节点之间的连接关系确定第一起始算子节点和第一结束算子节点；所述控制节点根据所述第一起始算子节点、所述待调整并发算子节点以及所述上游算子节点，或者根据所述第一起始算子节点来确定源算子节点；所述控制节点根据所述第一结束算子节点、所述待调整并发算子节点以及所述下游算子节点，或者根据所述第一结束算子节点来确定尾算子节点；以及所述控制节点基于所述源算子节点、所述尾算子节点、所述待调整并发算子节点、所述上游算子节点和/或所述下游算子节点构造所述算子节点拓扑图。3.如权利要求2所述的方法，其中，所述控制节点根据所述第一起始算子节点、所述待调整并发算子节点以及所述上游算子节点，或者根据所述第一起始算子节点来确定源算子节点包括：所述控制节点将所述上游算子节点中除所述待调整并发算子节点以外的其他算子节点确定为第二起始算子节点；以及所述控制节点将所述第一起始算子节点和所述第二起始算子节点合并确定为所述源算子节点；或者，在所述待调整并发算子节点不存在上游算子节点时，所述控制节点将所述第一起始算子节点确定为所述源算子节点。4.如权利要求2所述的方法，其中，所述控制节点根据所述第一结束算子节点、所述待调整并发算子节点以及所述下游算子节点，或者根据所述第一结束算子节点来确定尾算子节点包括：所述控制节点将所述下游算子节点中除所述待调整并发算子节点以外的其他算子节点确定为第二结束算子节点；以及所述控制节点将所述第一结束算子节点和所述第二结束
算子节点合并为所述尾算子节点；或者，在所述待调整并发算子节点不存在下游算子节点时，所述控制节点将所述第一结束算子节点确定为所述尾算子节点。5.如权利要求1所述的方法，其中，所述连接调整信息包括：针对扩容调整，新增的算子节点和上下游算子节点中除待删除的算子节点以外的其他各个算子节点之间有新增连接；和/或，针对缩容调整，待删除的算子节点和上下游算子节点中除新增的算子节点以外的其他各个算子节点之间有待删除连接。6.如权利要求1所述的方法，其中，在所述各个算子节点处，根据该算子节点与上下游算子节点的连接来获取所述调整标识信息，以基于所述调整标识信息进行算子节点的状态调整包括：在待删除的算子节点处，从该算子节点连接的上游算子节点接收所述调整标识信息；以及，在所述待删除的算子节点处，断开与该上游算子节点的连接。7.如权利要求1所述的方法，其中，扩容调整的待调整并发算子节点包括有状态并发算子节点，所述有状态并发算子节点包括所述扩容调整前已存在的第一有状态算子节点和新增的第二有状态算子节点，所述方法还包括：所述控制节点确定待分配给各个第一有状态算子节点和各个第二有状态算子节点的第一状态键组；当从所述有状态并发算子节点连接的上游算子节点接收到所述调整标识信息时，在所述各个第一有状态算子节点处，将所述各个第一有状态算子节点的原始状态键组与所确定的各个第一状态键组进行匹配，并将匹配度最高的第一状态键组确定为第二状态键组；在各个第二状态键组对应的有状态算子节点处，获取与该第二状态键组对应匹配的原始状态键组的状态数据；以及针对除所述第二状态键组以外的其他各个第一状态键组对应的有状态算子节点，在该有状态算子节点接收到所述调整完成信息时，从所述有状态并发算子节点中的其他算子节点获取所需的状态键值对应的状态数据，以形成第一状态键组。8.如权利要求7所述的方法，其中，针对各个第二键组对应的有状态算子节点，所获取的原始状态键组包括该第二键组中的部分状态键值，所述方法还包括：在该有状态算子节点接收到所述调整完成信息时，在该有状态算子节点处，从所述有状态并发算子节点中的其他算子节点获取该原始状态键组中未包括的状态键值对应的状态数据，以构成该第二状态键组。9.如权利要求1所述的方法，其中，针对所述待调整并发算子节点的调整包括扩容调整和/或缩容调整。10.一种用于对算子节点进行扩缩容调整的方法，由控制节点来执行，所述方法包括：响应于根据实时数据流所确定出的待调整并发算子节点，根据所述待调整并发算子节点的上下游算子节点构造针对所述待调整并发算子节点的算子节点拓扑图；
向所述算子节点拓扑图中有调整的各个算子节点发送针对该算子节点的图状态更新信息，以使所述有调整的各个算子节点更新连接，其中，所述各个算子节点的图状态更新信息包括该算子节点的上下游算子节点调整信息以及针对该算子节点的连接调整信息；向所述算子节点拓扑图中的源算子节点发送调整标识信息，以使所述各个算子节点根据该算子节点与上下游算子节点的连接来获取所述调整标识信息，以基于所述调整标识信息进行算子节点的状态调整；以及响应于从所述算子节点拓扑图中的尾算子节点接收所述调整标识信息，向所述各个算子节点发送调整完成信息，以通知所述各个算子节点经过所述扩缩容调整的算子节点拓扑图完成。11.一种用于对算子节点进行扩缩容调整的装置，所述装置应用于控制节点，所述装置包括：至少一个处理器，与所述至少一个处理器耦合的存储器，以及存储在所述存储器上的计算机程序，所述至少一个处理器执行所述计算机程序来实现：响应于根据实时数据流所确定出的待调整并发算子节点，根据所述待调整并发算子节点的上下游算子节点构造针对所述待调整并发算子节点的算子节点拓扑图；向所述算子节点拓扑图中有调整的各个算子节点发送针对该算子节点的图状态更新信息，以使所述有调整的各个算子节点更新连接，其中，所述各个算子节点的图状态更新信息包括该算子节点的上下游算子节点调整信息以及针对该算子节点的连接调整信息；向所述算子节点拓扑图中的源算子节点发送调整标识信息，以使所述各个算子节点根据该算子节点与上下游算子节点的连接来获取所述调整标识信息，以基于所述调整标识信息进行算子节点的状态调整；以及响应于从所述算子节点拓扑图中的尾算子节点接收所述调整标识信息，向所述各个算子节点发送调整完成信息，以通知所述各个算子节点经过所述扩缩容调整的算子节点拓扑图完成。12.一种用于对算子节点进行扩缩容调整的系统，所述系统包括控制节点以及由所述控制节点构造出的算子节点拓扑图所包括的多个算子节点，所述控制节点，用于响应于根据实时数据流所确定出的待调整并发算子节点，根据所述待调整并发算子节点的上下游算子节点构造针对所述待调整并发算子节点的算子节点拓扑图；向所述算子节点拓扑图中有调整的各个算子节点发送针对该算子节点的图状态更新信息，，以使所述有调整的各个算子节点更新连接，其中，所述各个算子节点的图状态更新信息包括该算子节点的上下游算子节点调整信息以及针对该算子节点的连接调整信息；各个算子节点，用于根据该算子节点与上下游算子节点的连接来获取所述调整标识信息，以基于所述调整标识信息进行算子节点的状态调整；所述控制节点，还用于响应于从所述算子节点拓扑图中的尾算子节点接收所述调整标识信息，向所述各个算子节点发送调整完成信息，以通知所述各个算子节点经过所述扩缩容调整的算子节点拓扑图完成。13.一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时
实现如权利要求1
‑
10中任一所述的方法。14.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1
‑
10中任一所述的方法。

技术总结
本说明书实施例提供了一种用于对算子节点进行扩缩容调整的方法、装置及系统。在该方法中，响应于根据实时数据流所确定出的待调整并发算子节点，控制节点根据待调整并发算子节点的上下游算子节点构造算子节点拓扑图；控制节点向算子节点拓扑图中有调整的各个算子节点发送针对该算子节点的图状态更新信息，以使所述有调整的各个算子节点更新连接；控制节点向算子节点拓扑图中的源算子节点发送调整标识信息；在各个算子节点处，根据该算子节点与上下游算子节点的连接来获取调整标识信息，以基于调整标识信息进行算子节点的状态调整；以及控制节点响应于接收调整标识信息，向各个算子节点发送调整完成信息，以通知算子节点拓扑图完成。图完成。图完成。


技术研发人员：左凌轩 杨健章 梁义 王东旭 周家英 陈天熠 于中春 阮若夷
受保护的技术使用者：支付宝（杭州）信息技术有限公司
技术研发日：2021.08.10
技术公布日：2021/11/9