一种基于Kubernetes的计算芯片接入与管理方法、装置及数据中心与流程

本发明涉及计算机，具体涉及一种基于kubernetes的计算芯片接入与管理方法、装置及数据中心。

背景技术：

1、随着人工智能技术的发展，大语言模型的训练与推理规模不断扩大，数据中心通常配置多种类型的计算加速芯片，以满足不同计算任务对算力资源的需求。kubernetes作为一种开源的云原生容器编排与资源调度平台，可以对计算节点中的计算资源进行统一管理。

2、由于不同类型的计算加速芯片在设备管理接口和资源查询方式等方面存在差异，在现有技术中，不同类型的计算加速芯片通常对应各自独立的一套接入和管理组件，并按照各自的设备管理方式向kubernetes提供相应的资源信息。随着计算加速芯片类型的增加，需要维护的组件及适配逻辑也相应增加，导致异构计算芯片的接入和管理较为复杂。

技术实现思路

1、针对现有技术中存在的不足，本发明提供一种基于kubernetes的计算芯片接入与管理方法、装置及数据中心，旨在通过统一的能力描述方式实现不同类型计算芯片的接入和管理，降低异构计算芯片的接入及管理复杂度。

2、本发明公开了一种基于kubernetes的计算芯片接入与管理方法，包括：

3、确定计算节点中的异构计算芯片的统一能力描述符；统一能力描述符用于描述异构计算芯片的设备属性和计算资源能力；

4、基于统一能力描述符，将异构计算芯片对应的计算资源注册至kubernetes，以使kubernetes对异构计算芯片对应的计算资源进行统一管理和调度；

5、获取异构计算芯片的运行时状态信息，并基于运行时状态信息确定异构计算芯片的实际可用能力是否发生变化；

6、响应于确定实际可用能力发生变化，基于变化后的实际可用能力更新统一能力描述符以及kubernetes中与异构计算芯片对应的资源信息。

7、优选地，确定计算节点中的异构计算芯片的统一能力描述符，包括：

8、响应于计算节点接入kubernetes，在计算节点上部署用于执行设备探测和能力获取的通用执行容器；

9、通过通用执行容器获取计算节点中的异构计算芯片的设备信息和能力信息；

10、基于设备信息和能力信息，确定计算节点中的异构计算芯片的统一能力描述符。

11、优选地，通过通用执行容器获取计算节点中的异构计算芯片的设备信息和能力信息，包括：

12、通过至少一种标准通用接口获取异构计算芯片的设备信息；

13、基于设备信息，获取与异构计算芯片对应的特征信息；特征信息用于推断异构计算芯片的运行环境特征和硬件资源特征；

14、基于运行环境特征和硬件资源特征，确定异构计算芯片的能力信息以及能力信息对应的推断置信度；推断置信度用于表征能力信息的可靠程度。

15、优选地，还包括：

16、在推断置信度小于置信度阈值的情况下，确定异构计算芯片的厂商信息；

17、调用与厂商信息对应的厂商设备管理可执行文件获取异构计算芯片的增强信息；增强信息用于补充或校正异构计算芯片的能力信息；

18、基于增强信息对能力信息进行补充操作或校正操作，得到增强的能力信息。

19、优选地， 获取异构计算芯片的运行时状态信息，并基于运行时状态信息确定异构计算芯片的实际可用能力发生变化，包括：

20、在异构计算芯片完成资源注册后，按照预设时间周期获取异构计算芯片的运行时状态信息；

21、基于预设的能力变化检测规则对运行时状态信息进行分析，确定异构计算芯片的实际可用能力是否发生变化。

22、优选地，运行时状态信息包括异构计算芯片的芯片温度和实际运行频率；

23、基于预设的能力变化检测规则对运行时状态信息进行分析，确定异构计算芯片的实际可用能力是否发生变化，包括：

24、所述基于预设的能力变化检测规则对所述运行时状态信息进行分析，确定所述异构计算芯片的实际可用能力是否发生变化，包括：

25、确定所述实际运行频率信息与额定运行频率的第一差值以及芯片温度与预设温度的第二差值；

26、在所述第一差值小于预设差值和/或所述第二差值大于预设温差的情况下，确定所述异构计算芯片的实际可用能力发生变化；

27、在所述第一差值等于预设差值和/或所述第二差值小于等于所述预设温差的情况下，确定所述异构计算芯片的实际可用能力未发生变化。

28、优选地，响应于确定实际可用能力发生变化，基于变化后的实际可用能力更新统一能力描述符以及kubernetes中与异构计算芯片对应的资源信息，包括：

29、在确定异构计算芯片的实际可用能力发生变化的情况下，基于实际运行频率确定用于表征异构计算芯片的实际可用计算能力的性能系数；

30、基于性能系数确定变化后的实际可用计算能力，并基于变化后的实际可用计算能力更新统一能力描述符，以及kubernetes中与异构计算芯片对应的资源信息。

31、优选地，运行时状态信息还包括内存错误状态信息和/或驱动版本信息；

32、响应于确定实际可用能力发生变化，基于变化后的实际可用能力更新统一能力描述符以及kubernetes中与异构计算芯片对应的资源信息，包括：

33、在基于内存错误状态信息确定异构计算芯片的有效可用内存容量发生变化的情况下，更新异构计算芯片对应的内存资源信息；

34、和/或，

35、在基于驱动版本信息确定异构计算芯片的驱动版本发生变化的情况下，重新获取异构计算芯片的能力信息，并基于重新获得的能力信息更新统一能力描述符。

36、本发明公开了一种基于kubernetes的计算芯片接入与管理装置，包括：

37、通用执行容器，通用执行容器中的多层自适应探测子模块，用于确定计算节点中的异构计算芯片的统一能力描述符；统一能力描述符用于描述异构计算芯片的设备属性和计算资源能力；

38、统一资源注册核心模块，用于基于统一能力描述符，将异构计算芯片对应的计算资源注册至kubernetes，以使kubernetes对异构计算芯片对应的计算资源进行统一管理和调度；

39、监控集成模块，用于获取异构计算芯片的运行时状态信息；

40、通用执行容器中的动态能力感知子模块，用于基于运行时状态信息确定异构计算芯片的实际可用能力发生变化；

41、动态能力感知子模块，还用于响应于确定实际可用能力发生变化，基于变化后的实际可用能力更新统一能力描述符以及kubernetes中与异构计算芯片对应的资源信息。

42、本发明公开了一种基于kubernetes的数据中心，包括：

43、控制节点，用于对数据中心中的计算资源进行管理；

44、至少一个计算节点，与控制节点通信连接，计算节点包括至少一种异构计算芯片和通用执行容器；通用执行容器用于执行基于kubernetes的计算芯片接入与管理方法。

45、与现有技术相比，本发明的有益效果为：

46、本发明能够实现不同类型异构计算芯片的统一接入、资源动态管理，避免针对不同类型计算芯片进行独立适配的需求，从而降低异构计算芯片的接入和管理复杂度。

47、本发明通过确定异构计算芯片的统一能力描述符，并基于统一能力描述符将异构计算芯片对应的计算资源注册至kubernetes，使不同类型的异构计算芯片能够以统一的资源描述形式接入kubernetes，从而无需针对不同类型的异构计算芯片分别采用不同的资源描述方式，降低异构计算芯片的接入复杂度，并便于kubernetes对不同类型的计算资源进行统一管理和调度。进一步地，通过获取异构计算芯片的运行时状态信息，确定异构计算芯片的实际可用能力是否发生变化，并在实际可用能力发生变化时，基于变化后的实际可用能力更新统一能力描述符以及kubernetes中的资源信息，使kubernetes所管理的资源能力与异构计算芯片当前实际可提供的能力相匹配。例如，在异构计算芯片因运行状态变化导致实际可用计算能力低于额定计算能力的情况下，可以相应降低kubernetes中所声明的计算资源能力，避免kubernetes仍按照变化前的资源能力进行任务调度而导致实际计算能力不足，从而提高资源调度的准确性和可靠性。

48、在此基础上，本发明通过三层递进的探测架构，利用标准通用接口自动发现异构计算芯片，并基于运行环境特征和硬件资源特征推断异构计算芯片的能力信息，在能力推断结果的置信度不足时，进一步通过厂商设备管理可执行文件对设备信息和能力信息进行补充或校正。由此，无需预先获知芯片类型或预置厂商专属工具，即可完成对遵循标准规范的新型芯片的自动感知与接入；对于标准接口和能力推断无法获得完整或准确能力信息的新型芯片，仅需增加厂商设备管理可执行文件即可实现快速适配，无需重新编译通用执行容器或者重启kubernetes集群。与针对不同芯片人工预配置驱动或重新开发适配程序的方式相比，能够减少芯片接入过程中的人工配置和适配开发工作量，降低新型异构计算芯片的接入及适配成本，并提高芯片接入的灵活性。

49、进一步地，在标准通用接口完成设备发现的基础上，通过能力推断层结合驱动版本、内核模块以及运行环境等运行环境特征，并结合计算资源、存储资源和互联资源等硬件资源特征，对异构计算芯片的能力进行推断，从而在无需依赖厂商专属管理工具的情况下获得较为全面的能力信息，并为后续生成统一能力描述符提供能力依据，提高不同类型异构计算芯片能力描述的统一性。在能力推断结果的置信度不足的情况下，通过调用与芯片厂商对应的设备管理可执行文件获取增强信息，对前述设备信息和能力信息进行补充或校正，从而在保持标准通用接口自动探测和能力推断机制的基础上，进一步提高异构计算芯片设备信息和能力信息的准确性、完整性，增强对不同厂商异构计算芯片的适配能力。

50、额外地，本发明通过构建支持多种处理器架构的通用执行容器，并在同一镜像中提供不同处理器架构对应的镜像版本，使通用执行容器能够部署于不同处理器架构的计算节点，从而避免针对不同处理器架构分别维护独立镜像，降低容器镜像的维护成本，并提高异构计算节点的部署灵活性。

51、进一步地，本发明通过采用统一的指标命名方式对不同类型异构计算芯片的运行时状态进行采集，使不同芯片的运行状态能够以统一的指标形式进行表示，从而简化监控指标配置和告警规则的维护，并便于对不同类型异构计算芯片的运行状态进行横向对比分析，提高异构计算资源的运维管理效率。