集群健康检查方法、服务器集群、计算机存储介质及设备与流程

本公开实施例涉及但不限于人工智能，尤其涉及一种集群健康检查方法、服务器集群、计算机存储介质及设备。

背景技术：

1、大语言模型的出现引发了新一波的人工智能(artificial intelligence，ai)高潮，ai基础设施也随之逐步发展。如今的大模型预训练已成功在万卡图形处理器(graphicsprocessing unit，gpu)集群中实施，但是，由硬件或软件故障导致的训练中断或训练变慢，会给企业造成数千万美元的资金浪费。

技术实现思路

1、以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

2、本公开实施例提供了一种集群健康检查方法，包括：将第一任务容器调度至所述服务器集群中的一个或多个第一服务器节点，所述第一任务容器被配置为启动第二任务容器，所述第二任务容器被配置为对所述第一服务器节点的宿主机执行至少一项健康检查，所述至少一项健康检查包括对所述宿主机的gpu状态的检查。

3、本公开实施例还提供了一种服务器集群，包括：容器控制器和多个服务器节点组成的服务器集群，所述容器控制器包括存储器；和耦接至所述存储器的处理器，所述容器控制器被配置为基于存储在所述存储器中的指令，执行如本公开任一实施例所述的集群健康检查方法的步骤。

4、本公开实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开任一实施例所述的集群健康检查方法。

5、本公开实施例还提供了一种计算机设备，包括存储器；和耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如本公开任一实施例所述的集群健康检查方法的步骤。

6、在阅读理解了附图和详细描述后，可以明白其他方面。

1.一种集群健康检查方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述服务器集群包括多个服务器节点，至少一个服务器节点的宿主机包括一个或多个gpu硬件资源，所述第一服务器节点为包括一个或多个所述gpu硬件资源的服务器节点。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：将第三任务容器调度至所述服务器集群中的一个或多个第二服务器节点，所述第三任务容器被配置为执行预设的集群任务，所述第二服务器节点与所述第一服务器节点相同或不同。

4.根据权利要求3所述的方法，其特征在于，所述预设的集群任务包括：大语言模型的训练任务。

5.根据权利要求1所述的方法，其特征在于，所述第一任务容器具体被配置为：定时启动所述第二任务容器。

6.根据权利要求1所述的方法，其特征在于，在所述对所述第一服务器节点的宿主机执行至少一项健康检查之前，所述第二任务容器还被配置为：获取所述宿主机的gpu剩余显存和/或gpu利用率，当所述宿主机的gpu剩余显存大于或等于预设第一阈值和/或gpu利用率小于或等于预设第二阈值时，触发所述对所述第一服务器节点的宿主机执行至少一项健康检查的步骤。

7.根据权利要求1所述的方法，其特征在于，所述至少一项健康检查包括：所述宿主机的硬件状态检查、所述宿主机的通信功能检查、所述宿主机的gpu性能检查。

8.根据权利要求7所述的方法，其特征在于，所述硬件状态检查包括以下至少之一：gpu错误纠正代码检查、dmesg硬件及内核错误检查。

9.根据权利要求7所述的方法，其特征在于，所述通信功能检查包括以下至少之一：无限带宽ib通信功能检查、nccl通信库通信功能检查。

10.根据权利要求7所述的方法，其特征在于，所述gpu性能检查包括以下至少之一：gpu带宽性能检查、gpu矩阵乘性能检查、gpu内存分配性能检查。

11.根据权利要求10所述的方法，其特征在于，所述gpu内存分配性能检查，包括：

12.根据权利要求1所述的方法，其特征在于，所述第二任务容器还被配置为：将一个或多个所述第一服务器节点的健康检查结果写入预设的数据库服务器中。

13.根据权利要求12所述的方法，其特征在于，所述健康检查结果包括：检查失败、节点健康、节点不健康、节点繁忙。

14.根据权利要求1所述的方法，其特征在于，所述第二任务容器还被配置为：当健康检查结果中包含预设的错误类型时，获取与所述预设的错误类型对应的建议操作和/或修复命令，将所述建议操作写入预设的数据库服务器中和/或执行所述修复命令。

15.根据权利要求1所述的方法，其特征在于，至少两个所述第一服务器节点的健康检查项不同，和/或，至少两个所述第一服务器节点存在一个相同健康检查项，且所述相同健康检查项对应的用于判定节点健康与否的阈值不同。

16.一种服务器集群，其特征在于，包括：容器控制器和多个服务器节点组成的服务器集群，所述容器控制器包括存储器；和耦接至所述存储器的处理器，所述容器控制器被配置为基于存储在所述存储器中的指令，执行如权利要求1至15任一所述的集群健康检查方法的步骤。

17.根据权利要求16所述的服务器集群，其特征在于，所述容器控制器为k8s控制节点。

18.根据权利要求16所述的服务器集群，其特征在于，还包括：数据库服务器和应用服务器，其中：

19.一种计算机存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1至15任一所述的集群健康检查方法。

20.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至15中任一项所述的方法。