GPU服务器集群的运维管理系统、方法、设备及介质与流程

本发明涉及云计算基础设施运维管理。尤其是涉及一种gpu服务器集群的运维管理系统、方法、设备及介质。

背景技术：

1、随着人工智能（artificial intelligence，ai）、深度学习和大模型技术的迅猛发展，图形处理器（graphics processing unit，gpu）服务器集群已成为提供大规模、高性能计算能力的核心基础设施。在云计算环境中，高效、可靠地管理、部署和运维日益庞大的gpu服务器集群，是保障ai算力资源交付效率、稳定性和可用性的关键。然而，随着gpu服务器集群规模的扩张和硬件型号的多样化，传统的基于脚本和工具拼接的运维管理模式在自动化程度、操作一致性和故障处理效率方面面临严峻挑战。

2、目前，gpu服务器集群的管理、部署、测试与监控通常由多套独立的工具链组合完成：服务器的批量安装和初始配置依赖于预启动执行环境（preboot executionenvironment，pxe）、kickstart、cloud-init等网络安装工具；系统与应用的批量配置管理则借助ansible、puppet等自动化工具；硬件与系统状态的监控由prometheus、grafana、zabbix等监控系统结合gpu数据中心管理器（data center gpu manager，dcgm）等gpu专用工具实现；而环境的健康检查与性能压力测试，则需运维人员手动或通过脚本调用gpuburn、fld、点对点（peer-to-peer，p2p）带宽测试等独立工具分别执行。这种组合式方案虽然能覆盖各个功能点，但本质上是多个独立工具、脚本和操作流程的简单拼接。

3、上述组合式方案存在以下问题：1）工具链分散，操作割裂：部署、配置、测试、监控等环节分散在不同系统和控制台中，运维人员需频繁切换入口，操作链条长，任务边界模糊，难以形成统一的管理视图；2）缺乏统一的任务模型与状态管理：现有方案多被视为命令集合或脚本集合，缺少一个能够描述整个gpu集群部署任务生命周期（包括任务目标、节点列表、硬件画像、执行阶段、结果状态、失败原因等）的统一数据模型和状态机，导致任务的可追踪性和可控性差；3）缺少硬件感知的差异化部署能力：gpu服务器在型号、驱动版本、网卡类型、启动模式等方面存在差异，现有通用部署工具难以根据这些硬件画像自动生成并应用差异化的安装与配置模板，常需人工干预，降低了批量部署的自动化水平和一致性；4）测试、监控与部署流程脱节：部署完成后，环境检查、压力测试和监控接入通常需要运维人员另行手动触发，无法实现“部署完成即自动验证，验证结果自动归档，异常自动告警”的流程闭环，增加了运维负担和响应延迟；5）缺少细粒度的批量控制与异常恢复机制：现有方案对单机执行控制较强，但缺乏对批次级、阶段级的任务状态统一推进、失败暂停、局部节点回滚以及基于失败原因码的差异化重试策略，在面对大规模集群部署中的部分节点故障时，处理不够灵活和智能。

技术实现思路

1、本发明所要解决的技术问题是提供一种gpu服务器集群的运维管理系统、方法、设备及介质。

2、本发明解决上述技术问题的技术方案如下：

3、第一方面，本发明提供一种gpu服务器集群的运维管理系统，采用如下技术方案：

4、一种gpu服务器集群的运维管理系统，包括：

5、用户交互模块，用于接收用户提交的针对目标gpu服务器集群的运维任务，并展示所述运维任务在全生命周期中的实时状态与闭环执行结果；

6、任务编排模块，用于为所述运维任务创建并维护一个运维任务对象，依据预定义的阶段状态机、所述运维任务对象中的当前阶段状态和反馈至所述运维任务对象中的节点回报事件驱动所述运维任务顺序推进，并在检测到节点执行状态异常时基于反馈至所述运维任务对象中的失败原因码执行差异化的重试、跳过、局部回滚或批次暂停；其中，所述运维任务对象用于定义和驱动所述运维任务的完整要素集合；

7、硬件画像模块，用于采集所述目标gpu服务器集群中各节点的硬件信息并进行预检，生成各所述节点的硬件画像，并将各所述节点的硬件画像反馈至所述运维任务对象；

8、配置生成模块，用于根据所述运维任务对象中各所述节点的硬件画像和部署模板，为各所述节点渲染生成差异化部署配置信息；

9、批量执行模块，用于将所述差异化部署配置信息分发至对应节点，触发各所述节点批量启动无人值守安装流程；

10、联动控制模块，用于依据所述运维任务对象中的测试策略对完成安装的节点执行环境校验与压力测试；并在测试通过后，依据所述运维任务对象中的监控策略对通过测试的节点执行监控接入。

11、本发明的有益效果是：通过构建统一的任务对象模型和阶段状态机，将部署、配置、测试、监控等分散环节整合至同一系统，形成自动化闭环流程，并实现了任务全生命周期的统一建模与状态管理；同时，借助硬件画像自动生成差异化部署配置，避免了人工干预，提升了批量部署的自动化水平与一致性；此外，系统支持基于失败原因码的细粒度异常控制，能够在批次级、节点级和阶段级执行重试、跳过、局部回滚或暂停操作，显著增强了对大规模集群部署中局部故障的灵活处理能力。因此，本发明可以实现gpu集群全生命周期运维的自动化、智能化与闭环化管理。

12、在上述技术方案的基础上，本发明还可以做如下改进。

13、进一步，所述运维任务对象包括：所述运维任务的任务标识、所述目标gpu服务器集群中各所述节点的节点标识和硬件画像、所述部署模板的标识、所述当前阶段状态、每个所述节点的子状态、所述测试策略、所述监控策略、所述失败原因码、重试次数与回滚标志以及结果归档位置。

14、采用上述进一步方案的有益效果是：通过在运维任务对象中定义任务标识、节点标识与硬件画像、部署模板标识、当前阶段状态及各节点子状态、测试与监控策略、失败原因码、重试次数与回滚标志以及结果归档位置等字段，为系统提供了一套完整、结构化的任务数据模型。该模型不仅能够精确描述每个节点的独立执行进度与状态，还为阶段状态机的自动流转、基于失败原因码的差异化异常处理以及任务全生命周期的可追溯性提供了统一的数据基础，从而支撑系统实现批次级、节点级和阶段级的细粒度控制。

15、进一步，所述任务编排模块具体用于：

16、在所述运维任务对象的所述当前阶段状态下，监听反馈至所述运维任务对象的所述节点回报事件；其中，所述节点回报事件中携带有当前阶段的任务执行结果；

17、当监听到所述节点回报事件时，将所述当前阶段状态与所述任务执行结果，与预设状态转移规则进行匹配；

18、若所述当前阶段状态与所述任务执行结果，满足所述预设状态转移规则中定义的任一转移条件，则根据所述预设状态转移规则确定下一目标状态；

19、将所述运维任务对象的所述当前阶段状态更新为所述下一目标状态；

20、根据更新后的当前阶段状态，调用对应模块执行与所述下一目标状态相关联的运维操作，以驱动所述运维任务顺序推进。

21、采用上述进一步方案的有益效果是：通过监听节点回报事件、将当前阶段状态与任务执行结果同预设状态转移规则进行匹配，并据此确定下一目标状态、更新当前状态并调用对应模块执行相关运维操作，形成了一套完整的事件驱动型状态机控制机制。该机制使任务流程的推进不再依赖人工干预或硬编码的脚本逻辑，而是由系统根据实时反馈自动决策和调度，从而实现了运维流程的标准化、自动化与智能化，显著提升了大规模集群部署任务的可控性和执行效率。

22、进一步，所述任务编排模块具体用于：

23、当所述当前阶段状态为待预检时，调用所述硬件画像模块对所述节点的硬件信息进行预检；响应于所述硬件画像模块反馈的表征所述节点通过预检的节点回报事件，将所述当前阶段状态更新为待生成配置，并调用所述配置生成模块为所述节点生成对应的部署配置信息；

24、响应于所述配置生成模块反馈的表征所述节点部署配置生成成功的节点回报事件，将所述当前阶段状态更新为待启动安装，并调用所述批量执行模块将所述部署配置信息分发至所述节点，以触发所述节点启动无人值守安装流程；

25、响应于所述批量执行模块反馈的表征所述节点成功进入所述无人值守安装流程的节点回报事件，将所述当前阶段状态更新为安装中；

26、响应于所述批量执行模块反馈的表征所述节点的操作系统和驱动安装完成的节点回报事件，将所述当前阶段状态更新为待环境校验，并调用所述联动控制模块对完成安装的所述节点执行环境校验；

27、响应于所述联动控制模块反馈的表征所述节点环境校验通过的节点回报事件，将所述当前阶段状态更新为待压力测试，并调用所述联动控制模块对环境校验通过的所述节点执行压力测试；

28、响应于所述联动控制模块反馈的表征所述节点压力测试通过的节点回报事件，将所述当前阶段状态更新为待监控接入，并调用所述联动控制模块对压力测试通过的所述节点执行监控接入；

29、响应于所述联动控制模块反馈的表征所述节点监控数据采集正常的节点回报事件，将所述当前阶段状态更新为已完成。

30、采用上述进一步方案的有益效果是：将gpu服务器的运维流程细化为从预检、配置生成、无人值守安装、环境校验、压力测试到监控接入的一系列有序阶段，并为每个阶段定义了明确的状态转移条件和对应的模块调用动作。通过这种分阶段、自动流转的设计，系统能够以标准化方式完成从裸机到可投产状态的完整交付链路，确保每个环节的输出质量经过验证后才进入下一阶段，有效避免了因前置步骤遗留问题而导致的后续故障，从而提升了大规模集群部署的整体成功率与交付质量。

31、进一步，所述任务编排模块具体用于：

32、监听反馈至所述运维任务对象中每个所述节点的子状态；

33、当监听到目标节点的子状态为执行状态异常时，获取反馈至所述运维任务对象中所述目标节点的目标失败原因码；

34、基于预设的失败原因码与异常处理策略的映射关系，确定所述目标失败原因码对应的异常处理策略；

35、若所述异常处理策略为重试，则为所述目标节点重新调度当前阶段的操作，并递增所述运维任务对象中所述目标节点的已重试次数；在所述已重试次数达到预设重试次数阈值时，将所述异常处理策略切换为局部回滚或批次暂停；

36、若所述异常处理策略为跳过，则将所述目标节点标记为异常跳过，并继续推进未标记节点的运维流程；

37、若所述异常处理策略为局部回滚，则将所述运维任务对象中所述目标节点的回滚标志设置为生效状态，并触发所述目标节点回滚至上一稳定状态，并重新执行自所述上一稳定状态起的运维流程；

38、若所述异常处理策略为批次暂停，则将所述运维任务标记为暂停状态，并生成告警通知。

39、采用上述进一步方案的有益效果是：通过监听各节点的子状态，在检测到异常时自动获取失败原因码，并依据预设的映射关系匹配对应的处理策略。对于可恢复的故障，系统自动执行重试并在超过重试次数后切换为更严格的回滚或暂停措施；对于不可恢复的故障，可选择跳过该节点或对整个批次执行暂停并触发告警。这种分级、自适应的异常处理机制，使得系统能够在无需人工介入的情况下，针对不同类型的故障灵活选择最优处置方式，既避免了对偶发故障的过度反应，也能及时阻断持续性故障的影响扩散，从而显著提升了大规模集群部署任务的鲁棒性和运维效率。

40、进一步，还包括：数据存储模块，用于持久化存储所述运维任务在全生命周期中产生的各类数据，并为各模块提供数据查询与追溯服务；其中，采用关系型数据库存储结构化数据，采用日志索引或时序数据库存储时序性日志数据。

41、采用上述进一步方案的有益效果是：通过设置数据存储模块，对运维任务全生命周期中产生的各类数据进行统一持久化存储，并为各模块提供数据查询与追溯服务。其中，结构化数据采用关系型数据库存储，时序性日志数据采用日志索引或时序数据库存储，这种分类存储策略兼顾了结构化数据的高效事务处理与非结构化时序数据的大规模写入与检索需求，为任务状态查询、失败原因定位、历史基线对比以及运维结果追溯提供了可靠的数据基础。

42、进一步，所述硬件画像包括：服务器唯一标识、ip地址与网络连通信息、gpu型号与数量、cpu、内存、磁盘、网卡和固件信息、启动模式信息、驱动与框架兼容性信息以及当前部署版本和历史执行记录中的多项。

43、采用上述进一步方案的有益效果是：通过将服务器唯一标识、网络信息、硬件规格、固件与启动模式、驱动兼容性以及历史部署记录等多维信息纳入硬件画像，系统能够全面掌握每个节点的差异化特征。这些信息为后续的配置生成、部署策略制定以及异常排查提供了精确的数据支撑，使得系统能够根据节点的实际硬件与软件状态自动匹配最合适的部署参数，从而提升了批量部署的适配性和成功率，也降低了因硬件差异导致的人工干预需求。

44、进一步，所述差异化部署配置信息包括：操作系统安装参数、固件启动参数、网络启动参数、云实例初始化参数、gpu驱动安装参数、计算环境依赖参数、网络配置参数、镜像地址、认证信息及后置配置脚本中的多项。

45、采用上述进一步方案的有益效果是：通过将操作系统安装参数、固件与网络启动参数、云实例初始化配置、gpu驱动及计算环境依赖、网络配置、镜像地址、认证信息以及后置配置脚本等多维配置项纳入差异化部署配置信息，系统能够根据每个节点的硬件画像生成完全适配其特性的安装与配置方案。这种方式避免了传统批量部署中“一刀切”导致的兼容性问题，也无需运维人员为不同硬件配置手动调整参数，从而在保证配置准确性的同时，显著提升了大规模异构集群的部署效率和标准化水平。

46、进一步，所述用户交互模块具体用于：以所述任务标识为索引，在同一可视化管理界面中关联展示所述运维任务对应的部署日志、测试报告、监控图表及异常告警信息，以呈现所述闭环执行结果。

47、采用上述进一步方案的有益效果是：通过以任务标识为索引，在同一界面中关联展示部署日志、测试报告、监控图表及异常告警信息，运维人员无需在多个系统或页面间切换即可完整掌握单个任务的执行全貌。这种集中化的信息呈现方式，使得从部署过程到验证结果再到运行状态的各个环节一目了然，便于快速定位问题根源并评估任务执行质量，从而提升了运维效率与决策响应速度。

48、第二方面，本发明提供一种gpu服务器集群的运维管理方法，采用如下技术方案：

49、一种gpu服务器集群的运维管理方法，包括：

50、接收用户提交的针对目标gpu服务器集群的运维任务，并为所述运维任务创建对应的运维任务对象；其中，所述运维任务对象用于定义和驱动所述运维任务的完整要素集合；

51、采集所述目标gpu服务器集群中各节点的硬件信息并进行预检，生成各所述节点的硬件画像，并将各所述节点的硬件画像反馈至所述运维任务对象；

52、根据所述运维任务对象中各所述节点的硬件画像和部署模板，为各所述节点渲染生成差异化部署配置信息；

53、将所述差异化部署配置信息分发至对应节点，触发各所述节点批量启动无人值守安装流程；

54、依据所述运维任务对象中的测试策略，对完成安装的节点执行环境校验与压力测试；

55、在测试通过后，依据所述运维任务对象中的监控策略，对通过测试的节点执行监控接入；

56、展示所述运维任务在全生命周期中的实时状态与闭环执行结果；

57、其中，依据预定义的阶段状态机、所述运维任务对象中的当前阶段状态和反馈至所述运维任务对象中的节点回报事件，驱动所述运维任务顺序推进；并在检测到节点执行状态异常时，基于反馈至所述运维任务对象中的失败原因码执行差异化的重试、跳过、局部回滚或批次暂停。

58、第三方面，本发明提供一种电子设备，采用如下技术方案：

59、一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第二方面所述的gpu服务器集群的运维管理方法。

60、第四方面，本发明提供一种计算机可读存储介质，采用如下技术方案：

61、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第二方面所述的gpu服务器集群的运维管理方法。

62、本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。