一种神经网络的针对模型并行的动态负载均衡方法与流程

技术特征：
1.一种神经网络的针对模型并行的动态负载均衡方法，其特征在于：根据不同的模型和系统的相应参数给出切分策略，并在训练过程中进一步迭代更新；根据不同的模型和系统的相应参数，给出对模型网络的切分策略，具体包括以下步骤：s1、基于模型类型、参数量、网络集群拓扑带宽和节点数信息构建代价模型，用于评估每个算子的输入、输出和运行所需的计算时间，还用于评估相邻算子以及算子内部存在的通信时间；s2、根据s1中得到的代价模型，为所有节点分配应计算的算子，具体步骤如下：s21、代价模型对当前系统中的所有可用的计算节点进行状态模拟，然后依次遍历代价模型的整个计算图，针对每个算子获得至少一个用于完成当前算子的可用节点作为计算节点；s22、对于具有多个可用节点的算子，节点分配算法使用贪婪启发式算法来评估将其放置在每个可用节点上的预计完成时间，选取出预计最快完成当前算子的可用节点作为其映射的计算节点；s23、对于每个算子，重复s22，继续为其余算子分配计算节点，直至为计算图中的每个算子完成计算节点分配；在训练过程中进一步迭代更新，具体包括以下步骤：s3、训练前为每个计算节点分配一个权重参数，用来表示分配到的负载量，权重越大分配到的负载量越多，初始时各个节点的权重参数相等；s4、每轮训练时，首先根据上一步骤得到的当前节点的权重参数，通过代价模型找出所有计算节点的切分策略并开始训练，每个计算节点在计算完成后统计自身的等待时间；s5、一轮训练完后，根据s4中得到的各个计算节点的最大等待时间和平均等待时间，判断当前的负载均衡是否最优，如果是，则保持当前的切分策略继续训练，如果不是最优，将根据各个计算节点间的等待时间的比重，调整各自的权重，从而改变每个计算节点应当分配到的负载量，随后通过代价模型重新计算出切分策略并执行下一轮训练；s6、重复s4-s5直至在数次训练中不改变当前切分策略，即证明该切分策略在训练中动态达到最优。2.根据权利要求1所述的一种神经网络的针对模型并行的动态负载均衡方法，其特征在于：s21中，对于每个遍历到的算子，首先考虑其可用的节点列表，如果某个节点不提供当前算子的内核实现，那么当前设备对该算子就是不可用的。3.根据权利要求1所述的一种神经网络的针对模型并行的动态负载均衡方法，其特征在于：s22中，在评估过程中，贪婪启发式算法不仅考虑每个当前可用节点中等待执行的算子的预计完成时间，从而估算出当前算子的预计完成时间，还要考虑如果将算子放置在当前节点，那么将该算子的输入从其他节点传输过来的通信时间。

技术总结
本发明公开一种神经网络的针对模型并行的动态负载均衡方法，根据不同的模型和系统的相应参数给出切分策略，并在训练过程中进一步迭代更新；根据不同的模型和系统的相应参数，给出对模型网络的切分策略，在训练过程中进一步迭代更新。本发明能够根据不同的模型和系统的相应参数自动给出较好的切分策略，无需手动调整模型，保证计算节点的负载均衡，大大提高了优化效率。了优化效率。了优化效率。


技术研发人员：漆锋滨 刘鑫 高捷 陈德训 刘沙 彭超 黄则强 王宜鹏
受保护的技术使用者：无锡江南计算技术研究所
技术研发日：2021.04.26
技术公布日：2022/3/21