一种智算中心算力集群的故障智能定位与自愈系统的制作方法

本发明涉及智算中心网络通信，具体涉及一种智算中心算力集群的故障智能定位与自愈系统。

背景技术：

1、随着人工智能训练和高性能计算的发展，智算中心算力集群的规模持续扩大，为满足分布式计算对通信带宽的需求，智算中心集群普遍采用基于融合以太网的远程直接内存访问协议构建底层网络，计算节点之间通过网卡和交换机执行高频数据交互，节点底层硬件与通信链路的稳定运行是保障集群总体计算效率的基础。

2、在现有的智算中心运维架构中，网络状态监控与故障隔离通常依赖独立的带外管理网络与集中式控制平台，计算节点的硬件运行参数由端侧管理软件周期性采集，并通过独立的管理链路上传至集中式控制器，集中式控制器汇总全局状态数据后执行软件计算分析，当判定节点发生故障或网络拥塞时，集中式控制器再通过管理网络向下游交换机和计算节点下发流量隔离指令与路由切换配置，以恢复底层数据网络通信。

3、现有技术依赖独立带外管理网络和集中式控制平台处理故障，存在状态数据获取与处理延迟的缺陷，通过独立带外管理网络上报状态数据会产生物理通信延迟，且集中式控制器面对大规模节点并发上传的状态数据时存在软件推理瓶颈，导致从底层节点发生硬件异常到控制平台完成分析并下发指令之间存在时间差，这种基于带外网络的监控机制无法实现底层硬件状态的实时同步，在高速数据交互环境中，这种获取与处理延迟会使发往故障节点的数据产生积压，引发局部网络链路的拥塞，进而导致上层分布式计算框架因通信超时而中断，无法保障算力集群数据交互任务的连续性。

技术实现思路

1、为解决上述背景技术提出的问题，本发明提供一种智算中心算力集群的故障智能定位与自愈系统，部署于智算中心集群中，包括：多个计算节点以及边缘可编程交换机，所述多个计算节点通过光通信链路连接至所述边缘可编程交换机；

2、所述计算节点用于提供数据处理算力，所述计算节点内部设置有中央处理器、图形处理器以及智能网卡，所述智能网卡用于处理所述计算节点出入的网络数据报文，所述智能网卡内部设置有硬件微状态采集模块、带内特征编码模块以及上下文热覆写模块以及片内静态随机存取存储器；

3、所述边缘可编程交换机用于提供数据报文的线速转发并在网络数据面执行逻辑运算，所述边缘可编程交换机内部设置有状态特征矩阵维护模块、分布式共识定位模块、流控隔离模块以及定制信令生成模块；

4、所述硬件微状态采集模块用于旁路监听所述计算节点的内部总线事务延迟与出口队列深度，并基于预设的时间滑动窗口计算内部总线事务延迟与出口队列深度的变化率，生成硬件状态导数；

5、所述带内特征编码模块用于将硬件状态导数量化为状态特征数值，并将所述状态特征数值封装入流出所述智能网卡的业务数据报文的扩展头部；

6、所述状态特征矩阵维护模块用于解析所述业务数据报文的扩展头部，提取所述状态特征数值，并将所述状态特征数值写入所述边缘可编程交换机内部的片上静态随机存取存储器，更新多条数据流对应的状态特征矩阵；

7、所述分布式共识定位模块用于读取所述状态特征矩阵中记录的各节点状态特征数值并执行逻辑比对运算，当多条数据流的运算结果满足预设触发阈值时，判定产生异常状态特征数值的目的计算节点为故障节点；

8、所述流控隔离模块用于在所述边缘可编程交换机的数据面生成转发动作规则拦截目的地址为故障节点的后续业务数据报文，提取被拦截业务数据报文的包序列号，基于所述包序列号构造逆向确认报文并发送至发出被拦截业务数据报文的源端计算节点，以释放本地发送缓存空间；

9、所述定制信令生成模块用于查询所述边缘可编程交换机内部预配置的集群热备路由表获取对应的热备节点网络参数，构造定制化拥塞通知报文并将热备节点网络参数写入其中，发送至与故障节点存在通信连接的源端计算节点；

10、所述上下文热覆写模块用于接收所述定制化拥塞通知报文，通过直接内存访问机制读取所述智能网卡内部存储的队列对上下文，使用热备节点网络参数覆盖所述队列对上下文中的原故障节点网络参数，并保持所述队列对上下文中的包序列号状态机指针不变。

11、优选的，所述硬件微状态采集模块集成于所述智能网卡的硬件电路中，内部包括延迟采样单元、队列监听单元、滑动窗口寄存器组以及差分运算单元；

12、所述延迟采样单元用于连接至所述计算节点的内部pcie总线接口，提取总线事务的发送时间戳与接收时间戳，计算发送时间戳与接收时间戳的差值以获取当前总线事务延迟；

13、所述队列监听单元用于连接至所述智能网卡的数据链路层出方向通道，读取出口队列的读写指针差值获取当前出口队列深度；

14、所述滑动窗口寄存器组用于接收系统时钟脉冲信号，锁存当前采样周期的当前总线事务延迟与当前出口队列深度，并保留上一采样周期的历史总线事务延迟与历史出口队列深度；

15、所述差分运算单元用于利用硬件减法器执行离散差分运算获取出口队列深度差值以及总线事务延迟差值，通过内部硬件乘法器将所述出口队列深度差值以及所述总线事务延迟差值分别乘以预设的权重归一化系数获取累加和，利用移位寄存器对所述累加和执行向右移位位的逻辑运算输出所述硬件状态导数，执行的计算公式如下：

16、

17、其中，表示第个采样周期的硬件状态导数；表示第个采样周期的出口队列深度差值；表示第个采样周期的总线事务延迟差值；与为预设的权重归一化系数；表示滑动时间窗口的时钟周期数，为正整数。

18、优选的，所述带内特征编码模块内部包括非线性量化单元、报文头部解析单元以及特征字段重写单元；

19、所述非线性量化单元用于接收所述硬件状态导数，利用内部的硬件比较器阵列对所述硬件状态导数进行数据区间匹配，基于内置的分段量化函数将多字节高位宽的硬件状态导数映射为低比特位宽的特征数值；

20、所述报文头部解析单元用于读取进入数据发送流水线的业务数据报文，解析网络层与传输层首部以识别协议类型标志，当符合基于融合以太网的远程直接内存访问协议标准时，定位所述业务数据报文内部的基础传输头部；

21、所述特征字段重写单元用于通过硬件位掩码运算将所述特征数值直接覆写至所述基础传输头部的保留位中，在数据链路层重新计算业务数据报文的循环冗余校验码并替换原有校验位。

22、优选的，所述状态特征矩阵维护模块内部包括报文解析与特征提取单元、流表匹配与哈希映射单元、片上矩阵存储单元以及时间滑动更新单元；

23、所述报文解析与特征提取单元用于解析业务数据报文的基础传输头部，提取保留位中携带的状态特征数值，提取业务数据报文的源网际协议地址与目的网际协议地址；

24、所述流表匹配与哈希映射单元用于对所述源网际协议地址与目的网际协议地址执行哈希散列运算生成流标识符，将所述流标识符作为数据面内存的索引地址；

25、所述片上矩阵存储单元用于根据流标识符寻址硬件寄存器阵列行，将所述状态特征数值写入当前时间片所在的列，构建状态特征矩阵；

26、所述时间滑动更新单元用于根据时间戳脉冲触发所述硬件寄存器阵列的基于特征数据位宽的块状移位操作，清除超出预设时间窗口的历史状态特征数值，并在寄存器首位锁存最新的状态特征数值。

27、优选的，所述分布式共识定位模块内部包括多流特征读取单元、置信度计算单元以及阈值确诊单元；

28、所述多流特征读取单元用于通过硬件寻址指令读取所述状态特征矩阵，提取目的地址指向同一目的计算节点的多个业务数据流的状态特征数值，同时提取除目的计算节点之外的其他相邻计算节点的状态特征数值；

29、所述置信度计算单元用于利用硬件加法器树对多个业务数据流的状态特征数值执行累加运算获取拥塞特征总和，利用硬件加法器树对其他相邻计算节点的状态特征数值执行累加运算获取背景特征总和，读取预置的倒数乘法表将所述背景特征总和乘以对应相邻计算节点总数的倒数参数获取平均背景特征值，利用硬件减法器将所述拥塞特征总和减去所述平均背景特征值输出异常共识得分，执行运算的公式如下：

30、

31、其中，表示目的计算节点的异常共识得分；表示目的地址指向目的计算节点的活跃业务数据流总数；表示第条活跃业务数据流携带的状态特征数值；表示边缘可编程交换机直连的除目的计算节点之外的相邻计算节点总数；表示第个相邻计算节点携带的状态特征数值；表示对应相邻计算节点总数的预置倒数参数；

32、所述阈值确诊单元用于利用硬件比较器对比所述异常共识得分与触发阈值，当大于触发阈值时确诊目的计算节点为物理网络中的故障震中节点。

33、优选的，所述流控隔离模块内部包括动作规则生成单元以及流量拦截缓冲单元；

34、所述动作规则生成单元用于接收确诊信号获取故障节点的网络协议地址，在底层三态内容寻址存储器维护的匹配动作流表中写入拦截规则，所述拦截规则的匹配字段为故障节点的网络协议地址，执行动作字段为重定向至隔离队列；

35、所述流量拦截缓冲单元用于提取进入数据转发流水线的后续业务数据报文的目的网络协议地址，当与故障节点的网络协议地址一致时触发拦截规则，将拦截的业务数据报文转移至边缘可编程交换机内部由静态随机存取存储器划分的片上隔离缓存队列中。

36、优选的，所述流控隔离模块内部还包括报文参数提取单元以及确认报文伪造单元；

37、所述报文参数提取单元用于读取片上隔离缓存队列中截留的业务数据报文，解析传输层头部，提取包序列号、源网际协议地址、目的网际协议地址、源队列对编号以及目的队列对编号；

38、所述确认报文伪造单元用于调用底层报文生成流水线，将提取的源网际协议地址与目的网际协议地址执行源目字段互换写入新生成报文的网际协议头部中，将提取的源队列对编号与目的队列对编号执行互换写入新生成报文的基础传输头部中，将新生成报文基础传输头部的操作码字段设定为确认应答操作码，并将提取的包序列号同步写入新生成报文的基础传输头部包序列号字段中以生成逆向确认报文。

39、优选的，所述定制信令生成模块内部包括参数查询单元、信令封装单元以及信令分发单元；

40、所述参数查询单元用于接收故障节点的原网络协议地址，在预先烧录有集群热备映射表的静态随机存取存储器中利用原网络协议地址执行硬件检索运算，获取对应的热备节点目标媒介访问控制地址、目标网际协议地址、目标队列对编号以及目标远端内存访问键值；

41、所述信令封装单元用于生成标准拥塞通知报文的包头基础结构，在应答扩展传输头部之后追加预定义格式的厂商扩展头部，将所述热备节点目标媒介访问控制地址、目标网际协议地址、目标队列对编号以及目标远端内存访问键值按位序写入厂商扩展头部中，修改特定保留标识位生成定制化拥塞通知报文；

42、所述信令分发单元用于在活跃连接跟踪表中提取目的地址指向故障节点的所有源端计算节点的源网络协议地址，利用硬件报文复制引擎复制多份独立的单播信令报文，分别发送至对应的源端计算节点。

43、优选的，所述上下文热覆写模块内部包括信令解析单元、内存定位单元以及状态覆写单元；

44、所述信令解析单元用于解析接收到的定制化拥塞通知报文的基础传输头部以识别特定保留标识位，提取厂商扩展头部中携带的热备节点目标媒介访问控制地址、目标网际协议地址、目标队列对编号以及目标远端内存访问键值；

45、所述内存定位单元用于提取原始目的网际协议地址及原队列对编号生成联合索引，利用所述联合索引生成直接内存访问指令，寻址智能网卡片内静态随机存取存储器中的队列对上下文映射表，定位至当前通信连接对应的原队列对上下文存储区块；

46、所述状态覆写单元用于利用提取的参数在片内静态随机存取存储器中物理覆盖原队列对上下文存储区块内的原故障节点网络参数，并在覆盖过程中锁定原队列对上下文存储区块中的包序列号状态机指针以及期望接收序列号存储位。

47、优选的，所述状态覆写单元完成网络参数覆盖后，所述智能网卡的数据发送引擎用于读取更新后的队列对上下文向量封装后续业务数据报文，将所述热备节点目标媒介访问控制地址、目标网际协议地址、目标队列对编号以及目标远端内存访问键值写入后续业务数据报文对应的协议层首部，使后续业务数据报文沿物理网络链路寻址传输至热备节点。

48、本发明采用上述技术方案，能够带来如下有益效果：

49、1、本发明通过在智能网卡内部旁路监听计算节点的总线事务延迟与出口队列深度以生成硬件状态导数，并利用带内特征编码模块将其量化为特征数值后封装入业务数据报文扩展头部中进行捎带传输，实现了底层硬件运行状态在不占用独立网络带宽资源前提下的同步，消除了传统带外管理网络上报状态数据引发的获取延迟问题，为后续网络数据面故障定位提供了高时效特征数据支撑。

50、2、本发明通过在边缘可编程交换机的数据面流水线中提取多条业务流的特征数值并存入片上静态随机存取存储器以构建特征矩阵，同时利用分布式共识定位模块基于局部网络内的相邻节点数据执行硬件交叉比对运算与触发阈值判定，实现了故障节点确诊逻辑在网络底层硬件平面的闭环，避免了将监控信息上传至集中式控制器进行软件推理所产生的通信开销，缩短了网络层确诊隔离的响应时间。

51、3、本发明通过向源端计算节点下发携带热备节点网络参数与远端内存访问键值的定制化拥塞通知报文，并由源端智能网卡利用直接内存访问机制在物理存储中覆盖原队列对上下文内的故障节点参数，同时保持包序列号状态机指针连续，在底层硬件层面实现了通信端点的快速切换，显著降低了上层应用对局部硬件故障的感知程度，缩短了故障恢复时间，从而提升算力集群数据交互任务在节点故障场景下的连续性与可靠性。