一种液冷AI算力服务器整机运行状态实时检测方法及系统与流程
本发明涉及计算机运行监测与故障诊断,具体为一种液冷ai算力服务器整机运行状态实时检测方法及系统。
背景技术:
1、液冷ai算力服务器通常集成gpu、npu、cpu、高速互连组件、电源模块、液冷冷板、分液歧管、泵阀组件和冷媒供回管路。在执行大模型训练、推理集群调度及高并发算力任务过程中,液冷ai算力服务器运行过程中的芯片负载、板级功耗、冷媒流量、进出口温差、支路压差、频率降额、纠错日志和通信错误日志同步变化,形成覆盖算力侧、电气侧和液冷侧的多源异构运行数据。
2、现有服务器运行监测方式多按照芯片温度、功耗、电压、冷媒流量、进出口温差、错误日志等单项数据设置报警阈值,或者将多项监测数据输入健康评分模型后输出整机状态等级,其判定依据主要集中于单指标越限、整机平均状态或历史统计趋势,对以下情况缺少来源区分、故障归属和层级关联判定:算力负载变化引起的正常热响应、液冷回路局部换热衰减引起的异常热响应,以及上述响应与算力部件错误日志增长的耦合变化。
3、现有技术存在的局限至少包括如下问题:在液冷ai算力服务器运行过程中,算力负载升高会引起芯片温度、板级功耗和冷媒温差同步变化,冷板局部堵塞、支路流阻增大、冷板接触退化或供液能力下降也会形成相近的数据变化轨迹,若直接依据单项阈值、整机平均健康指数或未按负载工况归一化的历史多源异构运行数据分析结果判定整机运行状态,容易将算力负载引起的正常热响应和液冷链路引起的异常热响应混同处理,使元件级状态判定结果、子系统级故障归属结果和整机级状态等级结果之间出现层级传导偏差,造成误告警和故障来源定位偏移。
技术实现思路
1、针对现有技术的不足,本发明提供了一种液冷ai算力服务器整机运行状态实时检测方法及系统,用于解决液冷ai算力服务器运行状态检测中正常热响应与异常热响应混同,导致整机运行状态误判和故障层级传导偏差的问题。
2、为实现以上目的,本发明通过以下技术方案予以实现:一种液冷ai算力服务器整机运行状态实时检测方法,包括以下步骤:读取液冷ai算力服务器的设备拓扑标识数据,并采集液冷ai算力服务器连续检测周期内的算力运行数据、液冷响应数据和电气日志数据;对算力运行数据、液冷响应数据和电气日志数据进行时序校准,并按照设备拓扑标识数据进行节点归集,生成检测周期运行片段;从检测周期运行片段中提取负载工况指纹、热流响应指纹、支路流阻演化指纹和日志扰动指纹,依据负载工况指纹从预设的历史运行大数据分析库中确定同负载无故障基准响应域;由同负载无故障基准响应域生成基准响应包络,将热流响应指纹、支路流阻演化指纹和日志扰动指纹分别与基准响应包络进行基准偏离分析,生成响应偏离证据组和支路流阻演化门控证据;依据响应偏离证据组和支路流阻演化门控证据生成热因门控分流表,并对负载热响应路径、液冷异常响应路径和日志扰动响应路径进行分流标记;将响应偏离证据组和热因门控分流表写入层级传导约束图,生成元件级状态判定结果、子系统级故障归属结果、整机综合健康指数和整机运行状态等级。
3、进一步地,检测周期运行片段的生成步骤包括:读取设备拓扑标识数据,建立元件归属索引、冷媒支路归属关系和供电归属关系;按照元件归属索引归集算力运行数据,按照冷媒支路归属关系归集液冷响应数据,按照元件归属索引和供电归属关系归集电气日志数据;按照采样时间戳对归集后的算力运行数据、液冷响应数据和电气日志数据进行时序校准,并与元件归属索引、冷媒支路归属关系和供电归属关系封装为检测周期运行片段。
4、进一步地,负载工况指纹、热流响应指纹、支路流阻演化指纹和日志扰动指纹的提取步骤包括:从检测周期运行片段中提取芯片负载、板级功耗和频率降额,生成负载工况指纹;从检测周期运行片段中提取芯片温度、冷媒流量、进出口温差和支路压差,生成热流响应指纹;按照冷媒支路归属关系,对冷媒流量、支路压差和进出口温差进行支路归集,生成支路流阻演化指纹;从检测周期运行片段中提取纠错日志、通信错误日志和告警恢复记录,生成日志扰动指纹;将负载工况指纹、热流响应指纹、支路流阻演化指纹和日志扰动指纹按检测周期绑定。
5、进一步地,支路流阻演化指纹的生成步骤包括:按照冷媒支路归属关系,将冷媒流量、支路压差和进出口温差归集至对应冷媒支路;对同一冷媒支路在连续检测周期内的冷媒流量变化、支路压差变化和进出口温差变化进行支路流阻时序特征提取,生成支路流阻状态序列;从支路流阻状态序列中提取流阻升高趋势、流阻波动幅度和流阻持续异常周期;将流阻升高趋势、流阻波动幅度和流阻持续异常周期绑定至对应冷媒支路归属关系,生成支路流阻演化指纹。
6、进一步地,同负载无故障基准响应域和基准响应包络的生成步骤包括:从预设的历史运行大数据分析库中调用带有故障确认标记的历史运行片段,并筛选未被标记为故障的历史运行片段;从历史运行片段中提取历史负载工况指纹、历史热流响应指纹、历史支路流阻演化指纹和历史日志扰动指纹;按照历史负载工况指纹对历史运行片段进行工况分区,形成候选无故障基准响应域;将当前检测周期的负载工况指纹与候选无故障基准响应域进行工况距离匹配,确定同负载无故障基准响应域;根据同负载无故障基准响应域中的历史热流响应指纹、历史支路流阻演化指纹和历史日志扰动指纹生成基准响应包络。
7、进一步地,响应偏离证据组和支路流阻演化门控证据的生成步骤包括:将热流响应指纹与基准响应包络进行基准偏离分析,生成温升偏离证据、流量偏离证据、温差偏离证据和压差偏离证据;将支路流阻演化指纹与基准响应包络进行基准偏离分析,生成流阻趋势偏离证据、流阻波动偏离证据和流阻持续周期偏离证据;将日志扰动指纹与基准响应包络进行基准偏离分析,生成纠错日志偏离证据、通信错误日志偏离证据和恢复间隔偏离证据;将各偏离证据按照元件标识、子系统标识和持续周期封装为响应偏离证据组;将流阻趋势偏离证据、流阻波动偏离证据和流阻持续周期偏离证据组合为支路流阻演化门控证据。
8、进一步地,热因门控分流表的生成步骤包括:当温升偏离证据和温差偏离证据跟随负载工况指纹升高,且其余偏离证据未满足异常触发条件时,写入负载热响应路径标记;当温升偏离证据和温差偏离证据升高,且支路流阻演化门控证据达到液冷异常门控条件时,调用压差偏离证据、流量偏离证据和冷媒支路归属关系形成支路流动异常佐证,并写入液冷异常响应路径标记;当温升偏离证据升高,且纠错日志偏离证据、通信错误日志偏离证据和恢复间隔偏离证据满足异常触发条件时,写入日志扰动响应路径标记;将负载热响应路径标记、液冷异常响应路径标记和日志扰动响应路径标记写入热因门控分流表。
9、进一步地,层级传导约束图的状态传导步骤包括:按照设备拓扑标识数据搭建包含元件级节点、子系统级节点和整机级节点的层级传导约束图;将响应偏离证据组写入元件级节点,将热因门控分流表写入子系统级节点;根据负载热响应路径标记,阻断温升偏离证据向子系统级故障归属路径传导;根据液冷异常响应路径标记开放液冷子系统故障归属路径,根据日志扰动响应路径标记开放算力子系统和高速互连子系统故障归属路径;按照故障归属路径传导结果生成元件级状态判定结果、子系统级故障归属结果、整机综合健康指数和整机运行状态等级。
10、进一步地,预设的历史运行大数据分析库的更新步骤包括:接收整机运行状态等级、子系统级故障归属结果和故障确认记录;故障确认记录与子系统级故障归属结果匹配时,将对应检测周期运行片段写入故障样本区并更新热因门控分流表;故障确认记录未将对应检测周期运行片段标记为故障时,将对应检测周期运行片段写入基准候选区并更新同负载无故障基准响应域;故障样本区和基准候选区互斥写入;在同负载无故障基准响应域更新后,重新生成基准响应包络,并更新层级传导约束图中的传导参数。
11、一种液冷ai算力服务器整机运行状态实时检测系统,包括:数据片段生成模块,用于读取设备拓扑标识数据,采集算力运行数据、液冷响应数据和电气日志数据,并生成检测周期运行片段;指纹提取模块,用于从检测周期运行片段中提取负载工况指纹、热流响应指纹、支路流阻演化指纹和日志扰动指纹;基准响应构建模块,用于确定同负载无故障基准响应域,并生成基准响应包络;偏离门控模块,用于生成响应偏离证据组、支路流阻演化门控证据和热因门控分流表;层级传导模块,用于生成元件级状态判定结果、子系统级故障归属结果、整机综合健康指数和整机运行状态等级;回写更新模块,用于根据故障确认记录更新预设的历史运行大数据分析库。
12、本发明具有以下有益效果:
13、(1)、该液冷ai算力服务器整机运行状态实时检测方法,通过读取设备拓扑标识数据,并采集算力运行数据、液冷响应数据和电气日志数据,将芯片负载、板级功耗、冷媒流量、进出口温差、支路压差、纠错日志和通信错误日志整理为检测周期运行片段,使算力侧、液冷侧和电气侧的数据按照同一运行周期进入处理链路,并通过元件归属索引、冷媒支路归属关系和供电归属关系限定各指纹对应的元件、冷媒支路和供电链路,减少单项温度、单项流量或单条日志单独触发判断带来的偏差。
14、(2)、该液冷ai算力服务器整机运行状态实时检测方法,通过负载工况指纹从预设的历史运行大数据分析库中确定同负载无故障基准响应域,并由同负载无故障基准响应域生成基准响应包络,使当前检测周期的热流响应指纹、支路流阻演化指纹和日志扰动指纹参照相近负载工况下的无故障运行片段进行偏离分析,减少高算力任务下芯片温度、板级功耗和冷媒温差同步升高被固定阈值判断归入液冷故障的情况。
15、(3)、该液冷ai算力服务器整机运行状态实时检测方法,通过支路流阻演化指纹和支路流阻演化门控证据,将冷媒流量、支路压差、进出口温差和冷媒支路归属关系纳入同一判断链路,在温升偏离证据和温差偏离证据升高时结合支路流阻演化门控证据判断是否达到液冷异常门控条件,满足门控条件后写入液冷异常响应路径标记,温升跟随负载工况指纹升高且其他偏离证据未满足异常触发条件时写入负载热响应路径标记,纠错日志偏离证据、通信错误日志偏离证据和恢复间隔偏离证据满足异常触发条件时写入日志扰动响应路径标记。
16、(4)、该液冷ai算力服务器整机运行状态实时检测系统,通过数据片段生成模块、指纹提取模块、基准响应构建模块、偏离门控模块、层级传导模块和回写更新模块配合,将数据整理、指纹提取、基准响应构建、偏离证据生成、门控分流和层级传导串联处理,偏离门控模块将响应偏离证据组和热因门控分流表输入层级传导模块,并按照不同路径标记阻断或开放对应故障归属路径,使元件级状态判定结果、子系统级故障归属结果、整机综合健康指数和整机运行状态等级保持对应关系。
17、当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com