人工智能算力中心跨层测试证据链构建与故障定位方法与流程

摘要: 本发明涉及人工智能算力中心运维与故障诊断,特别涉及人工智能算力中心跨层测试证据链构建与故障定位方法。背景技术:1、随着大语言模型、生成式ai与高性能计算技术的高...
人工智能算力中心跨层测试证据链构建与故障定位方法与流程

本发明涉及人工智能算力中心运维与故障诊断,特别涉及人工智能算力中心跨层测试证据链构建与故障定位方法。

背景技术:

1、随着大语言模型、生成式 ai 与高性能计算技术的高速发展,人工智能算力中心已成为承载大规模模型训练、推理服务与科研计算的核心基础设施。典型 ai 算力中心的技术栈涵盖 gpu 硬件、cpu 与内存、pcie/nvlink 互连、高速网卡与交换网络、驱动固件、集合通信库、分布式训练框架与作业调度系统等多个层级,设备数量庞大、关联关系复杂、通信路径长,故障传播具有跨层级、多表象的显著特征;

2、当前 ai 算力中心配置了大量来自不同厂商的测试与诊断工具,包括 gpu 健康检测工具、pcie 链路状态检测工具、网络带宽时延测试工具、集合通信性能测试工具、端到端训练测试工具等。但现有测试与故障诊断体系存在以下核心缺陷;

3、测试数据割裂,对象标识不统一,不同工具采用各自的设备编号与数据格式,同一gpu 在硬件管理系统、驱动层、通信库与作业系统中可能对应多种标识,测试结果无法自动关联,故障排查需人工跨系统比对日志,效率极低且易出错;

4、资源拓扑未实质参与故障诊断,现有平台的资源拓扑仅用于可视化展示,无法基于异常现象反向追溯上游故障源,也无法正向推导故障影响范围,候选故障原因的生成依赖运维人员经验,易出现遗漏或冗余;

5、多源证据矛盾缺乏科学处理机制,不同测试工具可能给出相互矛盾的结论,例如网卡点对点测试正常但集合通信性能下降,现有方案多依赖人工经验判断或简单投票,无法量化证据权重、处理冲突证据与缺失证据,根因判断准确性不足;

6、验证测试选择盲目,业务影响大,故障验证通常按照固定顺序执行全套测试,未考虑不同测试对候选原因的区分能力,存在大量无效重复测试;

7、同时未将测试时长、资源占用与业务影响纳入选择依据,易中断正常训练任务,造成算力损失;;

8、修复闭环不完整,可追溯性差,故障修复后通常仅复测最初失败的单项测试,未验证关联影响与端到端业务恢复情况,易出现故障反复;

9、且修复操作、复测结果与故障事件未形成绑定的完整证据链,不利于审计、复盘与知识沉淀;

10、因此,亟需一种能够实现跨层测试数据关联、结构化证据推理、智能验证优化与全流程闭环管理的 ai 算力中心故障定位方法。

技术实现思路

1、本发明的目的在于至少解决现有技术中存在的技术问题之一,提供人工智能算力中心跨层测试证据链构建与故障定位方法,能够解决上述背景技术中的问题。

2、为实现上述目的,本发明提供如下技术方案:人工智能算力中心跨层测试证据链构建与故障定位方法,包括以下步骤:

3、s1,采集人工智能算力中心内的资源对象数据、资源连接关系、软件依赖关系、训练作业信息与多源测试任务信息;

4、s2,为所有资源对象、测试任务、测试运行实例、测试指标、日志事件及异常事件分配全局统一标识,并建立各测试工具内部标识与全局统一标识的映射关系;

5、s3,基于资源间的运行、调用、依赖、连接、绑定、经过、共享及映射关系,构建覆盖从硬件层到作业层的跨层资源依赖拓扑;

6、s4,接入多源测试工具的测试结果数据,提取测试指标、测试日志、运行状态与测试环境信息;

7、s5,通过阈值比对、基线偏离分析或日志事件识别,检测异常测试结果并生成异常事件;

8、s6,基于全局统一标识将异常事件关联至对应资源对象,将该资源对象确定为异常锚点;

9、s7,以异常锚点为起点,沿跨层资源依赖拓扑反向搜索上游依赖资源,结合预设故障模式库生成多个候选故障原因,同时正向搜索确定异常影响范围;

10、s8,针对每一候选故障原因,提取关联的测试结果、日志事件与设备状态数据作为证据,构建包含异常现象、资源路径、候选原因、证据集合、验证节点的跨层测试证据链;

11、s9,对证据进行方向分类与冲突检测,结合证据属性计算各候选故障原因的可信度;

12、s10,若候选故障原因满足预设根因判定条件,则直接确定目标故障原因;若不满足,则基于候选原因区分度与执行代价筛选验证测试集合,执行验证测试并迭代更新证据与可信度,直至满足根因判定条件;

13、s11,记录目标故障原因对应的修复操作信息,修复完成后执行多维度复测,当所有复测指标满足故障关闭条件时,关闭异常事件并输出完整故障证据链报告。

14、优选的,所述跨层资源依赖拓扑的资源节点包括训练作业节点、训练框架实例节点、集合通信实例节点、gpu节点、cpu与numa节点、pcie链路节点、pcie交换芯片节点、nvlink链路节点、高速网卡节点、网卡端口节点、交换机节点、交换机端口节点、网络路径节点以及驱动固件节点;

15、各资源节点间的关系包括运行于、调用、依赖、连接、绑定、经过、共享、映射至及属于关系,形成自顶向下的全层级依赖链路。

16、优选的,步骤s7中所述故障模式库预存gpu硬件异常、gpu显存异常、gpu功耗/温度限制、pcie链路降速、pcie链路重传异常、nvlink链路错误、网卡端口异常、交换机端口拥塞、网络路径丢包、rdma配置错误、集合通信拓扑/参数错误、驱动版本不兼容、训练框架同步异常中的至少一种故障模式;

17、所述异常影响范围包括共享同一故障资源的所有计算节点、通信实例、测试任务与训练作业,用于确定证据采集范围与复测范围。

18、优选的,步骤s9中所述证据方向分类包括支持证据、反对证据、间接证据与缺失证据四类;

19、证据冲突检测的判定规则为:当两条及以上证据指向同一资源对象、描述同一资源状态、采集时间窗口重叠且测试条件可比,但测试结论相互排斥时,判定为证据冲突;

20、冲突证据独立于证据方向分类进行标记与惩罚计算。

21、优选的,步骤s9中所述候选故障原因的可信度计算步骤包括:

22、s91:为每条证据计算证据权重,权重由证据类型基础权重、来源可靠度系数、时间有效系数、执行质量系数与拓扑相关系数加权得到;

23、其中拓扑相关系数与证据对象和候选故障对象间的拓扑跳数负相关,时间有效系数随证据产生时间与异常发生时间的间隔增大而衰减;

24、s92:基于证据方向累加支持证据权重、扣减反对证据权重,叠加间接证据的部分贡献,再扣除冲突证据惩罚值与缺失证据惩罚值,得到候选故障原因的原始评分;

25、s93:对所有候选故障原因的原始评分进行归一化处理,得到各候选故障原因的可信度数值。

26、优选的,步骤s10中所述验证测试集合的筛选步骤包括:

27、s101:计算每项候选验证测试对所有候选原因对的区分能力,区分度为该测试可区分的候选原因对数量占总候选原因对数量的比例;

28、s102:计算每项候选验证测试的综合执行代价,综合代价由测试执行时间、资源占用量、业务影响等级、执行风险与历史有效度加权计算得到;

29、s103:在覆盖全部待区分候选原因对的约束下,选择综合执行代价最低的测试子集作为验证测试集合;约束条件还包括测试总时长限制、可用资源数量限制与高优先级业务无中断限制。

30、优选的,所述验证测试按照业务无中断优先、执行时间短优先、单位代价区分度高优先的顺序依次执行;

31、每完成一项验证测试,立即将测试结果加入证据集合,重新计算所有候选故障原因的可信度;

32、当可信度最高的候选原因满足绝对可信度阈值、与次高可信度候选原因的差值满足差值阈值,且无未解决的高权重冲突证据与关键缺失证据时,立即停止剩余验证测试的执行。

33、优选的,所述该方法还包括异常指纹匹配步骤:

34、基于异常资源类型、异常指标组合、日志事件特征、拓扑位置、异常发生时序、影响范围与软硬件版本信息,构建结构化异常指纹;

35、将当前异常指纹与历史故障库中的指纹进行相似度匹配,获取历史故障的根因、有效验证测试与修复方案,用于辅助候选原因排序与验证测试优先级调整;

36、历史匹配结果仅作为参考,不替代当前证据计算与验证流程。

37、优选的,步骤s11中所述修复完成后的多维度复测包括根因专项验证测试、原始异常指标复测、关联影响范围测试与端到端训练性能测试;

38、所述故障关闭条件同时包括:根因专项测试通过、原始异常指标恢复至正常基线范围、关联测试无新增异常、端到端性能达标、无新增高权重冲突证据、稳定观察窗口内未复现同类异常。

39、一种人工智能算力中心跨层测试证据链构建与故障定位系统,包括:

40、资源信息采集模块,用于采集算力中心内的资源对象、连接关系、软件依赖与训练作业信息;

41、标识管理模块,用于分配全局统一资源标识,并维护多系统标识映射关系;

42、拓扑管理模块,用于构建与更新跨层资源依赖拓扑,支持反向故障搜索与正向影响分析;

43、多源测试接入模块,用于接入不同厂商、不同层级的测试工具数据并转换为统一格式;

44、异常识别模块,用于通过多维度规则检测测试异常并生成异常事件;

45、候选原因生成模块,用于基于异常锚点与资源拓扑生成候选故障原因并确定影响范围;

46、证据链构建模块,用于组织异常、资源、候选原因、证据、验证、修复与复测数据,形成结构化跨层证据链;

47、证据评估模块,用于执行证据方向分类、冲突检测与候选故障原因可信度计算;

48、验证测试优化模块,用于评估测试区分能力、计算执行代价并筛选最优验证测试集合;

49、修复闭环管理模块,用于记录修复操作、调度复测任务与判定故障关闭条件;

50、故障报告输出模块,用于生成包含完整证据链的故障诊断报告。

51、与现有技术相比,本发明的有益效果是:

52、1、该人工智能算力中心跨层测试证据链构建与故障定位方法,全流程闭环覆盖,覆盖从数据接入、异常发现、故障定位、验证测试到修复关闭的完整诊断链路,替代了现有分散的工具与人工流程,实现故障处理的全生命周期管理,跨层数据强关联,通过统一资源标识与依赖拓扑,打破不同层级、不同厂商测试工具的数据壁垒,自动关联跨层测试结果,大幅减少人工比对工作量。

53、2、该人工智能算力中心跨层测试证据链构建与故障定位方法,证据处理科学精准,建立支持/反对/间接/缺失四分类与冲突独立检测的证据体系,结合多因子权重量化计算可信度,避免单项测试误判与经验主义,显著提升根因判断准确性,验证测试高效低扰,基于区分能力筛选有效测试,结合执行代价生成最优测试集合,支持逐项迭代与提前停止,大幅减少无效测试,优先选择无业务中断测试,降低对正常算力业务的影响。

54、3、该人工智能算力中心跨层测试证据链构建与故障定位方法,闭环可靠可追溯,通过多维度复测与多条件关闭判定,确保故障彻底修复;完整证据链记录全流程信息,支持审计、复盘与知识沉淀,结合异常指纹实现历史经验复用,扩展性强,采用模块化设计,可灵活扩展新的资源类型、测试工具、故障模式与验证方法,适配国产算力、异构计算等不同算力中心场景。