数据处理方法、装置、电子设备及存储介质与流程

技术特征：
1.一种数据处理方法，其特征在于，包括：基于数据处理节点的运行状态参数确定多个待确认节点；从所述多个待确认节点中确定出过载节点；根据所述过载节点的数量与当前数据处理集群中数据处理节点数量的比值，确定对所述过载节点上数据处理任务的处理方法。2.根据权利要求1所述的数据处理方法，其特征在于，所述运行状态数据包括输入端网络缓存使用率，以及输出端网络缓存使用率；所述基于数据处理节点的运行状态参数确定多个待确认节点包括：确定与当前遍历周期对应的数据处理集群；从所述与当前遍历周期对应的数据处理集群中确定出所述当前遍历周期内的所述待确认节点；其中所述待确认节点的所述输入端网络缓存使用率大于所述输出端网络缓存使用率。3.根据权利要求2所述的数据处理方法，其特征在于，所述从所述多个待确认节点中确定出过载节点包括：将在连续预设数量的遍历周期内被确定为待确认节点的数据处理节点确定为所述过载节点。4.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述过载节点的数量与当前数据处理集群中数据处理节点数量的比值，确定对所述过载节点上数据处理任务的处理方法包括：当所述过载节点的数量与当前数据处理集群中数据处理节点数量的比值小于等于预设值时，确定基于所述当前数据处理集群中的数据处理节点对所述数据处理任务进行处理。5.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述过载节点的数量与当前数据处理集群中数据处理节点数量的比值，确定对所述过载节点上数据处理任务的处理方法包括：当所述过载节点的数量与当前数据处理集群中数据处理节点数量的比值大于预设值时，确定基于预设硬件资源为所述当前数据处理集群创建新增节点，基于新增节点后的数据处理集群中的数据处理节点对所述数据处理任务进行处理。6.根据权利要求4所述的数据处理方法，其特征在于，所述基于所述当前数据处理集群中的数据处理节点对所述数据处理任务进行处理包括：遍历所述过载节点，基于每个所述过载节点执行以下操作：对当前过载节点处的数据处理任务进行任务拆分，得到多个子任务；基于所述当前过载节点和至少一个候选节点对所述多个子任务进行处理；所述至少一个候选节点为所述当前数据处理集群中除所述当前过载节点之外的数据处理节点。7.根据权利要求5所述的数据处理方法，其特征在于，所述基于预设硬件资源为所述当前数据处理集群创建新增节点，基于新增节点后的数据处理集群中的数据处理节点对所述数据处理任务进行处理包括：确定所述预设硬件资源中的空闲资源，在所述空闲资源中创建所述新增节点；将包含所述新增节点的数据处理集群确定为当前数据处理集群；
遍历所述过载节点，基于每个所述过载节点执行以下操作：对当前过载节点处的数据处理任务进行任务拆分，得到多个子任务；基于所述当前过载节点和至少一个候选节点对所述多个子任务进行处理；所述至少一个候选节点为所述当前数据处理集群中除所述当前过载节点之外的数据处理节点。8.一种数据处理装置，其特征在于，包括：待确认节点确定单元，被配置为执行基于数据处理节点的运行状态参数确定多个待确认节点；过载节点确定单元，被配置为执行从所述多个待确认节点中确定出过载节点；处理方法确定单元，被配置为执行根据所述过载节点的数量与当前数据处理集群中数据处理节点数量的比值，确定对所述过载节点上数据处理任务的处理方法。9.一种电子设备，其特征在于，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的数据处理方法。10.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至7中任一项所述的数据处理方法。

技术总结
本公开关于一种数据处理方法、装置、电子设备及存储介质，所述方法包括：基于数据处理节点的运行状态参数确定多个待确认节点；从所述多个待确认节点中确定出过载节点；根据所述过载节点的数量与当前数据处理集群中数据处理节点数量的比值，确定对所述过载节点上数据处理任务的处理方法。本公开能够解决通过硬件扩容来缓解算子计算压力，从而导致的硬件资源过度消耗的问题。过度消耗的问题。过度消耗的问题。


技术研发人员：金峙廷
受保护的技术使用者：北京达佳互联信息技术有限公司
技术研发日：2021.08.31
技术公布日：2021/12/14