分布式计算流水线处理的制作方法

技术特征：
1.一种计算机实现的方法，包括：接收执行处理流水线的请求，所述处理流水线包括(i)将原始输入转换成经预处理的输入的第一操作和(ii)对所述经预处理的输入进行操作的第二操作；以及响应于接收到所述请求：将所述第一操作指派给多个计算设备中的两个或更多个计算设备，其中，所述多个计算设备中的每个计算设备都被配置成执行指派的操作并维护从重复执行所述第一操作而生成的经预处理的输入的队列，将所述第二操作指派给多个硬件加速器中的一个或多个硬件加速器，其中，每个硬件加速器都通过网络与所述多个计算设备互连，并且被配置成(i)从被指派所述第一操作的所述两个或更多个计算设备的相应队列接收经预处理的输入和(ii)对接收到的经预处理的输入执行所述第二操作，以及在所述两个或更多个计算设备和所述一个或多个硬件加速器上并行地执行所述处理流水线。2.根据权利要求1所述的计算机实现的方法，其中，所述第二操作包括在一个或多个神经网络计算期间执行的矩阵操作，并且其中，所述一个或多个硬件加速器分别包括一个或多个神经网络加速器。3.根据权利要求1或权利要求2所述的计算机实现的方法，其中，每个计算设备包括基于冯诺依曼架构的至少一个中央处理单元(cpu)。4.根据前述权利要求中的任一项所述的计算机实现的方法，其中，计算设备以被选择的相应比率被指派给硬件加速器，以限制或防止所述一个或多个硬件加速器中的每个硬件加速器的饥饿。5.根据权利要求4所述的计算机实现的方法，其中，每个比率取决于所述一个或多个硬件加速器的相应硬件加速器的处理速度和/或所述计算设备的处理速度。6.根据前述权利要求中的任一项所述的计算机实现的方法，其中，所述操作进一步包括：将被被指派所述第一操作的所述计算设备中的一个或多个计算设备指派给所述一个或多个硬件加速器中的每个硬件加速器；并且其中，在所述两个或更多个计算设备和所述一个或多个硬件加速器上并行地执行所述处理流水线使所述一个或多个硬件加速器中的每个硬件加速器从被指派给所述硬件加速器的相应计算设备接收经预处理的输入。7.根据前述权利要求中的任一项所述的计算机实现的方法，其中，所述多个硬件加速器是异构的，并且其中，指派被指派所述第一操作的所述两个或更多个计算设备包括：对于每个硬件加速器：确定所述硬件加速器的相应计算能力；以及基于所述硬件加速器的所述相应计算能力，将被指派所述第一操作的至少一个计算设备指派给所述硬件加速器。8.根据前述权利要求中的任一项所述的计算机实现的方法，其中，在所述两个或更多个计算设备和所述一个或多个硬件加速器上并行地执行所述处理流水线使每个硬件加速器从所述两个或更多个计算设备中的每个计算设备一致地接收预处理输入。
9.根据前述权利要求中的任一项所述的计算机实现的方法，其中，所述多个计算设备是多个第一计算设备，其中，所述网络另外将多个第二计算设备互连到所述多个硬件加速器，并且其中，所述操作进一步包括：从所述多个第二计算设备中的第二计算设备接收所述第二计算设备能够用于将所述原始输入转换成所述预处理输入的指示；以及响应于所述指示，向所述第二计算设备指派所述第一操作。10.根据前述权利要求中的任一项所述的计算机实现的方法，其中，被指派所述第二操作的所述硬件加速器中的第一硬件加速器包括第一中央处理单元(cpu)，并且其中，所述第一硬件加速器进一步被配置成：由主机cpu批量处理来自所述两个或更多个计算设备的所述相应队列的多个预处理输入，以及通过所述第一硬件加速器对该批预处理输入执行所述第二操作。11.根据前述权利要求中的任一项所述的计算机实现的方法，其中，被指派所述第二操作的所述硬件加速器中的第一硬件加速器包括第一中央处理单元(cpu)，其中，所述多个计算设备中的每个计算设备进一步被配置成使用压缩算法来压缩所述计算设备的相应队列中的每个预处理输入，以及其中，所述第一硬件加速器进一步被配置成由所述第一cpu使用解压缩算法对每个接收到的压缩的预处理输入进行解压缩。12.根据前述权利要求中的任一项所述的计算机实现的方法，其中，所述请求是第一请求，所述处理流水线是第一处理流水线，并且其中，所述操作进一步包括：接收执行包括第三操作和第二计算图的第二处理流水线的第二请求；以及响应于所述请求：将第三操作指派给多个计算设备中的未被指派所述第一操作的两个或更多个计算设备，所述第三操作将所述原始输入转换成所述第二处理流水线的经预处理的输入，将第二计算图指派给未被指派所述第一计算图的一个或多个硬件加速器，以及在执行所述第一处理流水线的同时执行所述第二处理流水线。13.根据前述权利要求中的任一项所述的计算机实现的方法，其中，所述第一操作包括机器学习预处理操作，并且其中，所述经预处理的输入适于输入到机器学习模型中。14.根据权利要求13所述的计算机实现的方法，其中，所述原始输入包括训练数据，并且其中，所述第一操作包括增广所述训练数据的数据增广操作。15.根据前述权利要求中的任一项所述的计算机实现的方法，其中，所述一个或多个硬件加速器分别包括一个或多个张量处理单元。16.根据前述权利要求中的任一项所述的计算机实现的方法，其中，所述一个或多个计算设备包括多个负载平衡的中央处理单元(cpu)。17.根据前述权利要求中的任一项所述的计算机实现的方法，其中，所述处理流水线是图像处理流水线，并且其中，所述原始输入包括图像像素数据。18.根据前述权利要求中的任一项所述的计算机实现的方法，其中，所述处理流水线是
图像分类流水线。19.一种系统，包括一个或多个计算机和一个或多个存储设备，在所述一个或多个存储设备上存储有指令，所述指令在由所述一个或多个计算机执行时能够操作用于使所述一个或多个计算机执行根据前述权利要求中的任一项所述的方法。20.一种编码有指令的一个或多个计算机存储介质，所述指令在由一个或多个计算机执行时使所述一个或多个计算机执行根据权利要求1至18中的任一项所述的方法。

技术总结
用于处理分布式计算设备上的计算图的方法、系统和装置，包括在计算机存储介质上编码的计算机程序。方法之一包括：接收执行处理流水线的请求，该处理流水线包括(i)将原始输入转换成经预处理的输入的第一操作和(ii)对经预处理的输入进行操作的第二操作；并且作为响应：将第一操作指派给多个计算设备中的两个或更多个计算设备，将第二操作指派给多个硬件加速器中的一个或多个硬件加速器，其中，每个硬件加速器都与多个计算设备互连，并且被配置成(i)从被指派第一操作的两个或更多个计算设备的相应队列接收输入和(ii)对接收到的经预处理的输入执行第二操作，以及在两个或更多个计算设备和一个或多个硬件加速器上并行地执行处理流水线。处理流水线。处理流水线。


技术研发人员：罗汉
受保护的技术使用者：谷歌有限责任公司
技术研发日：2020.03.06
技术公布日：2022/10/25