异常处理方法、直接内存访问节点HDMA和DCU集群系统与流程

本申请涉及在网计算，特别是涉及一种异常处理方法、直接内存访问节点hdma和dcu集群系统。

背景技术：

1、随着高性能计算和人工智能分布式训练规模的持续扩展，集群内节点间的通信开销已成为制约系统线性加速比的关键瓶颈。在网计算技术应运而生，旨在利用网络设备（如网卡和交换机）在数据传输过程中同时进行数据的在线计算，从而降低通信延迟并提升整体计算效率。

2、相关技术中，在网计算任务的错误处理通常依赖深度计算器（deep computingunit，dcu）进行集中式管控，即在检测到在网计算任务出现异常时，对dcu系统进行整体复位操作。

3、然而，在大规模dcu集群系统中，这种整体复位的错误处理方式需要消耗大量计算资源，错误处理代价大。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种异常处理方法、直接内存访问节点hdma和dcu集群系统。

2、第一方面，本申请提供了一种异常处理方法，应用于直接内存访问节点hdma，包括：

3、根据在网计算任务对应的各执行阶段获取到的响应信息，对在网计算任务进行异常检测；

4、在检测到在网计算任务的目标执行阶段出现异常事件的情况下，确定异常事件对应的错误类型标识；目标执行阶段为各执行阶段中的任一阶段；

5、根据错误类型标识、直接内存访问节点hdma对应的节点标识和在网计算任务对应的任务标识，生成异常中断；

6、将异常中断上报至预定义的目标深度计算器dcu，以通过目标深度计算器dcu根据异常中断对异常事件进行处理。

7、在其中一个实施例中，目标执行阶段为任务拆分阶段；在检测到在网计算任务的目标执行阶段出现异常事件的情况下，方法还包括：

8、在获取到任务拆分阶段的所有子任务对应的响应信息的情况下，对在网计算任务的任务流进行排空处理。

9、在其中一个实施例中，根据错误类型标识、直接内存访问节点hdma对应的节点标识和在网计算任务对应的任务标识，生成异常中断，包括：

10、根据各子任务对应的错误类型标识的优先级，确定目标错误类型标识；

11、根据目标错误类型标识、节点标识和任务标识，生成异常中断。

12、在其中一个实施例中，根据各子任务对应的错误类型标识的优先级，确定目标错误类型标识，包括：

13、将最高优先级对应的错误类型标识，确定为目标错误类型标识。

14、在其中一个实施例中，异常事件包括读取异常事件；根据在网计算任务对应的各执行阶段获取到的响应信息，对在网计算任务进行异常检测，包括：

15、在环形缓冲区读取阶段获取到的响应信息为错误响应的情况下，确定环形缓冲区读取阶段出现读取异常事件。

16、在其中一个实施例中，异常事件包括响应异常事件；根据在网计算任务对应的各执行阶段获取到的响应信息，对在网计算任务进行异常检测，包括：

17、在依赖性检查阶段获取到的响应信息为错误响应的情况下，确定依赖性检查阶段出现响应异常事件。

18、在其中一个实施例中，异常事件包括比对失败事件；根据在网计算任务对应的各执行阶段获取到的响应信息，对在网计算任务进行异常检测，包括：

19、在依赖性检查阶段获取到的响应信息为正确响应且依赖性检查超时的情况下，确定依赖性检查阶段出现比对失败事件。

20、在其中一个实施例中，异常事件包括致命异常事件；根据在网计算任务对应的各执行阶段获取到的响应信息，对在网计算任务进行异常检测，包括：

21、在任务拆分阶段获取到的响应信息为致命错误响应的情况下，确定任务拆分阶段出现致命异常事件。

22、在其中一个实施例中，在直接内存访问节点hdma与目标深度计算器dcu之间存在多条链路的情况下，方法还包括：

23、在目标检测到在网计算任务的目标执行阶段出现异常事件时，通过直接内存访问节点hdma与目标深度计算器dcu之间的其他链路，重新执行目标执行阶段；其他链路为多条链路中除出现异常事件的链路之外的链路。

24、第二方面，本申请还提供了一种直接内存访问节点hdma，该直接内存访问节点hdma用于执行第一方面中任一方法的步骤。

25、第三方面，本申请还提供了一种dcu集群系统，包括第二方面中的直接内存访问节点hdma、目标深度计算器dcu、第一代理节点和第二代理节点。

26、上述异常处理方法、直接内存访问节点hdma和dcu集群系统，根据在网计算任务对应的各执行阶段获取到的响应信息，对在网计算任务进行异常检测；在检测到在网计算任务的目标执行阶段出现异常事件的情况下，确定异常事件对应的错误类型标识；目标执行阶段为各执行阶段中的任一阶段；根据错误类型标识、直接内存访问节点hdma对应的节点标识和在网计算任务对应的任务标识，生成异常中断；将异常中断上报至预定义的目标深度计算器dcu，以通过目标深度计算器dcu根据异常中断对异常事件进行处理，从而通过在hdma侧自主完成异常检测及错误类型识别，并以中断形式将错误信息上报至指定dcu，使得dcu无需参与错误发现与初步处理流程，避免了因整体复位带来的大规模计算资源浪费和业务中断。同时，由于hdma能够识别具体错误类型并携带节点与任务标识，dcu可基于精细化的异常信息进行定向修复或重配，无需重启整系统，从而显著降低错误处理代价。

1.一种异常处理方法，其特征在于，应用于直接内存访问节点hdma，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述目标执行阶段为任务拆分阶段；在检测到所述在网计算任务的目标执行阶段出现异常事件的情况下，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，所述根据所述错误类型标识、所述直接内存访问节点hdma对应的节点标识和所述在网计算任务对应的任务标识，生成异常中断，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据各所述子任务对应的错误类型标识的优先级，确定目标错误类型标识，包括：

5.根据权利要求1所述的方法，其特征在于，所述异常事件包括读取异常事件；所述根据在网计算任务对应的各执行阶段获取到的响应信息，对在所述网计算任务进行异常检测，包括：

6.根据权利要求1所述的方法，其特征在于，所述异常事件包括响应异常事件；所述根据在网计算任务对应的各执行阶段获取到的响应信息，对所述在网计算任务进行异常检测，包括：

7.根据权利要求1所述的方法，其特征在于，所述异常事件包括比对失败事件；所述根据在网计算任务对应的各执行阶段获取到的响应信息，对所述在网计算任务进行异常检测，包括：

8.根据权利要求1所述的方法，其特征在于，所述异常事件包括致命异常事件；所述根据在网计算任务对应的各执行阶段获取到的响应信息，对所述在网计算任务进行异常检测，包括：

9.根据权利要求1-8任一项所述的方法，其特征在于，在所述直接内存访问节点hdma与所述目标深度计算器dcu之间存在多条链路的情况下，所述方法还包括：

10.一种直接内存访问节点hdma，其特征在于，所述直接内存访问节点hdma用于执行权利要求1至9中任一项所述的方法的步骤。

11.一种dcu集群系统，其特征在于，所述dcu集群系统包括如权利要求10所述的直接内存访问节点hdma、目标深度计算器dcu、第一代理节点和第二代理节点。