计算资源调度方法和装置、存储介质和电子设备与流程

技术特征：
1.一种计算资源调度方法，其特征在于，所述方法包括：确定待计算的至少一个数据集；确定至少一个计算节点的剩余计算容量；针对每个所述数据集，根据所述数据集的数据量，将所述剩余计算容量与所述数据量匹配的所述计算节点作为与所述数据集匹配的计算节点；将每个所述数据集分配至与所述数据集匹配的计算节点，以使分配到数据集的所述计算节点对所述数据集进行计算。2.根据权利要求1所述的方法，其特征在于，所述针对每个所述数据集，根据所述数据集的数据量，将所述剩余计算容量与所述数据量匹配的所述计算节点作为与所述数据集匹配的计算节点，包括：将所述数据集按数据量大小进行排序，得到第一序列；将所述计算节点按所述剩余计算容量大小进行排序，得到第二序列，其中，所述第二序列与所述第一序列的大小排序方式相同；将所述第一序列中的数据集与所述第二序列中对应序列位置的计算节点匹配。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：在每个所述计算节点均匹配有数据集后，重新确定所述计算节点的剩余计算容量；将所述计算节点按重新确定的所述剩余计算容量大小进行排序，得到第三序列，所述第三序列与所述第一序列的大小排序方式相同；将所述第一序列中尚未匹配计算节点的数据集，与所述第三序列中对应序列位置的计算节点匹配。4.根据权利要求2或3任一项所述的方法，其特征在于，所述方法还包括：在与所述数据集匹配的所述计算节点的剩余计算容量小于所述数据集的所述数据量的情况下，跳过所述计算节点的序列位置，为所述数据集匹配下一序列位置的计算节点，并将剩余计算容量小于所述数据量的所述计算节点加入待扩容节点列表。5.根据权利要求4所述的方法，其特征在于，在所有序列位置的所述计算节点均加入待扩容节点列表时，对所述待扩容节点列表中的计算节点进行扩容；将扩容后的计算节点按剩余计算容量大小进行排序，得到第四序列，所述第四序列与所述第一序列的大小排序方式相同；将所述第一序列中尚未匹配计算节点的数据集，与所述第四序列中对应序列位置的计算节点匹配。6.根据权利要求1或2任一项所述的方法，其特征在于，在所述确定至少一个计算节点的剩余计算容量之前，所述方法还包括：获取上一次将所有数据集分配至匹配的计算节点后，各个计算节点的计算速度；所述计算节点的所述剩余计算容量与所述计算速度成正相关关系。7.根据权利要求1或2任一项所述的方法，其特征在于，所述在确定待计算的至少一个数据集之前，所述方法还包括：获取上一次将所有数据集分配至匹配的计算节点后，各个计算节点的计算速度和/或计算时间；将满足预设计算效率条件的计算节点确定为故障节点，并在本次分配中禁用所述故障
节点；所述计算效率条件包括：所述计算速度小于第一速度阈值，和/或所述计算时间大于第一时间阈值；所述确定至少一个计算节点的剩余计算容量，包括：确定非故障节点的至少一个计算节点的剩余计算容量。8.根据权利要求1或2任一项所述的方法，其特征在于，所述方法还包括：在数据集分配后，获取各个所述计算节点的计算速度和/或计算时间；根据各个所述计算节点的所述计算速度和/或所述计算时间，计算平均计算速度和/或者平均计算时间；在满足预设扩容条件下，对各个所述计算节点进行扩容；所述预设扩容条件包括以下任意一种情况或几种情况的组合：所述平均计算速度小于第二速度阈值；所述平均计算时间大于第二时间阈值；当前时刻处于业务洪峰时期；当前时刻处于压力测试时期。9.一种计算资源调度装置，其特征在于，所述装置包括：第一确定模块，用于确定待计算的至少一个数据集；第二确定模块，用于确定至少一个计算节点的剩余计算容量；匹配模块，用于针对每个所述数据集，根据所述数据集的数据量，将所述剩余计算容量与所述数据量匹配的所述计算节点作为与所述数据集匹配的计算节点；分配模块，用于将每个所述数据集分配至与所述数据集匹配的计算节点，以使分配到数据集的所述计算节点对所述数据集进行计算。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-8中任一项所述方法的步骤。11.一种电子设备，其特征在于，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-8中任一项所述方法的步骤。

技术总结
本公开涉及一种计算资源调度方法和装置、存储介质和电子设备，所述方法包括：确定待计算的至少一个数据集；确定至少一个计算节点的剩余计算容量；针对每个所述数据集，根据所述数据集的数据量，将所述剩余计算容量与所述数据量匹配的所述计算节点作为与所述数据集匹配的计算节点；将每个所述数据集分配至与所述数据集匹配的计算节点，以使分配到数据集的所述计算节点对所述数据集进行计算。本公开可以为计算网络中的各个计算节点分配适合该计算节点的计算工作，从总体上可以提高计算网络的计算效率。计算效率。计算效率。


技术研发人员：金圣哲
受保护的技术使用者：北京三快在线科技有限公司
技术研发日：2020.05.13
技术公布日：2021/11/19