一种GPU集群容错系统的制作方法

本发明涉及gpu集群管理，特别是涉及一种gpu集群容错系统。

背景技术：

1、gpu集群具备强大的浮点运算能力和并行计算能力，能够快速处理大量复杂的数据和计算任务，在现有技术中被广泛应用于工程仿真、人工智能、云计算等多类场景下。

2、在使用gpu集群时，若在计算任务耗时较长、计算节点较多的场景下，会导致计算节点的故障率较高，例如因ecc错误、nccl错误、高速互联错误等而导致计算节点中的gpu芯片故障。

3、针对上述问题，现有技术通常在gpu集群的进程运行过程中保存中间结果到检查点文件中，中间结果可以包括程序计数器、寄存器内容、内存中的数据等，在芯片出现故障之后，重启所有进程，从检查点文件中恢复数据，进而可以继续运算。

4、然而，上述方法在应用时，保存中间结果会导致额外的耗时，降低gpu集群的处理效率，且在进程重启时，每个进程都需要从硬盘读取数据，读取速度较慢，也会降低gpu集群的处理效率，另外，由于中间结果保存的时间与芯片故障的时间之间的时间间隔可能较大，使得每个进程需要从之前的若干步重新开始计算，也进一步降低了gpu集群的处理效率。

5、因此，如何尽量降低芯片故障对gpu集群处理效率的负面影响，提高gpu集群的处理效率成为了亟待解决的问题。

技术实现思路

1、针对上述技术问题，本发明采用的技术方案为：

2、一种gpu集群容错系统，所述系统包括：m个计算节点、处理器和存储有计算机程序的存储器，其中，m为大于一的整数，所述计算节点包括cpu芯片和gpu芯片，所有gpu芯片用于执行n个进程，每个进程分别对应于使用的gpu芯片，n为大于或者等于m的整数，当所述计算机程序被处理器执行时，实现以下步骤：

3、s101，针对任一gpu芯片，在预设时间点获取该gpu芯片的目标信息，所述目标信息用于表征对应gpu芯片的运行状态。

4、s102，根据所述目标信息，预测得到该gpu芯片在所述预设时间点的第一故障概率值。

5、s103，若存在任一gpu芯片在所述预设时间点的第一故障概率值大于预设概率阈值，则向所有进程广播暂停消息，所述暂停信息用于指示对应进程进入等待同步状态。

6、s104，向所有进程广播回退消息，所述回退信息用于指示对应进程回退到当前步si的上一步si-1，i为大于一的整数。

7、s105，所有进程分别对使用的gpu芯片进行重置操作。

8、s106，所有进程均从所述cpu芯片的内存中重新加载si-1的数据。

9、s107，针对任一进程，从重新加载的si-1的数据继续执行计算。

10、本发明与现有技术相比具有明显的有益效果，借由上述技术方案，本发明提供的一种gpu集群容错系统可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有以下有益效果：

11、本发明提供了一种gpu集群容错系统，所述系统包括：m个计算节点、处理器和存储有计算机程序的存储器，其中，m为大于一的整数，所述计算节点包括cpu芯片和gpu芯片，所有gpu芯片用于执行n个进程，每个进程分别对应于使用的gpu芯片，n为大于或者等于m的整数，当所述计算机程序被处理器执行时，实现以下步骤：s101，针对任一gpu芯片，在预设时间点获取该gpu芯片的目标信息，所述目标信息用于表征对应gpu芯片的运行状态，s102，根据所述目标信息，预测得到该gpu芯片在所述预设时间点的第一故障概率值，s103，若存在任一gpu芯片在所述预设时间点的第一故障概率值大于预设概率阈值，则向所有进程广播暂停消息，所述暂停信息用于指示对应进程进入等待同步状态，s104，向所有进程广播回退消息，所述回退信息用于指示对应进程回退到当前步si的上一步si-1，i为大于一的整数，s105，所有进程分别对使用的gpu芯片进行重置操作，s106，所有进程均从所述cpu芯片的内存中重新加载si-1的数据，s107，针对任一进程，从重新加载的si-1的数据继续执行计算。

12、可知，通过在预设时间点获取gpu芯片的目标信息，根据目标信息进行对应gpu芯片的故障概率预测，使得在gpu芯片未真正出现故障时即可确定故障风险，进而对所有进程进行暂停和回退操作，使得进程的回退操作可以直接从cpu芯片的内存中加载数据，而无需从硬盘中读取，减少了数据读取的耗时，提高了gpu集群的处理效率，且无需进行中间结果的保存，避免了保存所需的额外耗时，也提高了gpu集群的处理效率，同时避免了回退操作引起的多步重新计算，进一步提高了gpu集群的处理效率。

1.一种gpu集群容错系统，其特征在于，所述系统包括：m个计算节点、处理器和存储有计算机程序的存储器，其中，m为大于一的整数，所述计算节点包括cpu芯片和gpu芯片，所有gpu芯片用于执行n个进程，每个进程分别对应于使用的gpu芯片，n为大于或者等于m的整数，当所述计算机程序被处理器执行时，实现以下步骤：

2.根据权利要求1所述的gpu集群容错系统，其特征在于，所述目标信息至少包括该gpu芯片的运行时间信息、温度信息、内核启动延时信息和内存状态信息。

3.根据权利要求1所述的gpu集群容错系统，其特征在于，所述根据所述目标信息，预测得到该gpu芯片在所述预设时间点的第一故障概率值，包括：

4.根据权利要求1所述的gpu集群容错系统，其特征在于，当任一进程接收到所述暂停信息时，该进程进入等待同步状态。

5.根据权利要求1所述的gpu集群容错系统，其特征在于，当任一进程接收到所述回退信息且该进程为等待同步状态时，该进程回退到当前步si的上一步si-1。

6.根据权利要求1所述的gpu集群容错系统，其特征在于，步骤s102还包括：

7.根据权利要求6所述的gpu集群容错系统，其特征在于，步骤s103还包括：

8.根据权利要求1所述的gpu集群容错系统，其特征在于，在步骤s106之后，步骤s107之前还包括：