日志落盘方法、装置、DPU、网卡、设备、介质、产品与流程

本技术涉及计算机网络通信，具体涉及一种日志落盘方法、装置、数据处理单元（dpu）、网卡、计算机设备、计算机可读存储介质、计算机程序产品。

背景技术：

1、随着异构计算技术的不断发展，包含多种不同类型处理单元的计算架构日益普及。例如，智能网卡（smartnic）及数据处理单元（dpu）内部通常集成了多核处理器、板载存储资源，并能够独立运行操作系统。又例如，gpu/npu异构加速系统中也包含多种类型的处理单元。在上述异构系统中，通常包含一个主控处理单元和多个异构计算节点（如系统控制处理器、集成管理单元、小核处理单元、可信固件执行环境等），主控处理单元运行完整的操作系统，具备文件系统访问能力和持久化存储管理能力，而各异构计算节点通常仅用于特定的实时控制或数据处理任务，其运行环境资源受限，往往不具备独立的文件系统或持久化存储能力。

2、在传统异构系统的日志落盘方案中，尽管主控处理单元已经具备运行操作系统及管理存储资源的能力，但日志落盘操作往往依赖外部主机或专用硬件完成，导致日志管理链路冗长、系统协同复杂，各异构计算节点本身不具备独立的文件系统和持久化能力，其运行过程中产生的大量关键日志只能暂存于内存中，缺乏统一的管理和持久化机制。而将日志暂存于内存中，在系统发生异常情况（例如非预期断电、异常重启或系统崩溃）时，内存中的日志数据往往尚未完成向持久化存储介质的写入过程，从而导致关键日志信息随系统状态丢失，无法为后续的故障定位、问题溯源及系统恢复提供可靠依据。此外，日志落盘触发方式单一，难以兼顾不同运行场景下对日志落盘实时性、可靠性和系统开销的差异化需求，例如，周期性触发方式在系统正常运行时可有效控制开销，但在系统下电等紧急场景下无法保证日志的及时保存；而仅在紧急事件触发时落盘又无法满足常规运行态下的日志持续保存需求。

技术实现思路

1、本技术提供一种日志落盘方法、装置、数据处理单元（data processing unit，dpu）、网卡、计算机设备、计算机可读存储介质、计算机程序产品，实现对异构系统日志的集中、可靠、灵活且稳定的持久化存储。

2、根据第一方面，本技术实施例提供一种日志落盘方法，应用于包含多个异构计算节点的异构系统，所述方法包括：

3、当满足多种预设触发条件中的任一种时，生成日志落盘请求；其中，所述多种预设触发条件包括基于时间周期的周期触发条件、基于系统停止或下电事件的优雅下电触发条件以及基于用户输入指令的手动触发条件；

4、将所述日志落盘请求加入日志落盘请求队列；

5、根据预设的调度策略从所述日志落盘请求队列中获取所述日志落盘请求，根据获取的所述日志落盘请求从目标日志内存区域中读取日志数据，并将所述日志数据写入持久化存储介质；其中，所述异构系统包括多个日志内存区域，每个日志内存区域按照预设的日志格式存放所述主控处理单元或对应异构计算节点产生的日志数据。

6、在一种具体实施方式中，所述根据获取的所述日志落盘请求从目标日志内存区域中读取日志数据，包括：

7、当所述日志落盘请求队列非空时，判断日志落盘功能是否处于启用状态；

8、若日志落盘功能已启用，则判断转储掩码是否为0；所述转储掩码用于指示当前需执行日志落盘的日志内存区域；

9、若所述转储掩码非0，则确定当前是否有日志落盘请求正在执行；

10、若当前没有日志落盘请求正在执行，则根据所述转储掩码从至少一个日志内存区域中读取日志数据。

11、在一种具体实施方式中，所述根据获取的所述日志落盘请求从目标日志内存区域中读取日志数据，包括：

12、在执行所述日志落盘请求过程中，监测所述日志落盘请求的执行时间，若所述执行时间超过预设超时阈值，则终止执行所述日志落盘请求，并根据所述日志落盘请求的当前执行结果更新所述转储掩码；

13、在正常执行所述日志落盘请求完成后，将所述转储掩码置0。

14、在一种具体实施方式中，所述根据获取的所述日志落盘请求从目标日志内存区域中读取日志数据，包括：

15、在从目标日志内存区域中读取日志数据时，获取内存日志统一抽象视图，根据所述内存日志统一抽象视图从目标日志内存区域中读取日志数据；其中，所述内存日志统一抽象视图包括各个日志内存区域的描述信息，所述描述信息包括日志内存区域的物理地址、区域大小、日志格式中的至少一种。

16、在一种具体实施方式中，所述方法包括：

17、设置周期性定时器，所述定时器按照预设时间间隔重复产生定时信号；其中，所述预设时间间隔根据用户输入指令动态配置；

18、每次产生所述定时信号时，若周期性日志落盘功能处于启用状态，则判定满足所述周期触发条件。

19、在一种具体实施方式中，所述方法包括：

20、获取预设的内存状态地址中的系统状态信息，若所述系统状态信息指示系统停止或下电，则判定满足所述优雅下电触发条件；其中，所述系统状态信息由所述主控处理单元或所述异构计算节点写入所述内存状态地址。

21、在一种具体实施方式中，所述方法包括：

22、当满足所述优雅下电触发条件时，在将所述日志数据写入持久化存储介质后，执行文件系统同步操作；并在所述文件系统同步操作完成后，触发系统停止或下电流程。

23、在一种具体实施方式中，所述方法包括：

24、接收用户输入指令，解析所述用户输入指令携带的触发参数，若所述触发参数为预设的有效触发值，则判定满足所述手动触发条件。

25、根据第二方面，本技术实施例提供一种日志落盘装置，所述日志落盘装置集成于异构系统的主控处理单元，用于执行如第一方面所述的日志落盘方法，所述日志落盘装置包括：

26、触发事件监测单元，用于当满足多种预设触发条件中的任一种时，生成日志落盘请求；所述多种预设触发条件包括基于时间周期的周期触发条件、基于系统停止或下电事件的优雅下电触发条件以及基于用户输入指令的手动触发条件；

27、日志落盘调度单元，用于将所述日志落盘请求加入日志落盘请求队列；

28、日志落盘执行单元，用于根据预设的调度策略从所述日志落盘请求队列中获取所述日志落盘请求，根据获取的所述日志落盘请求从目标日志内存区域中读取日志数据，并将所述日志数据写入持久化存储介质；

29、其中，所述异构系统包括多个日志内存区域，每个日志内存区域按照预设的日志格式存放所述主控处理单元或对应异构计算节点产生的日志数据。

30、根据第三方面，本技术实施例提供一种数据处理单元，包括如第二方面所述的日志落盘装置。

31、根据第四方面，本技术实施例提供一种网卡，包括如第三方面所述的数据处理单元。

32、根据第五方面，本技术实施例提供一种计算机设备，包括主机cpu和如第一方面所述网卡，所述主机cpu用于处理所述网卡调度过来的数据。

33、根据第五方面，本技术实施例提供一种计算机可读存储介质，存储有计算机程序，当所述计算机程序被处理器执行时，使得所述处理器执行如第一方面所述的日志落盘方法。

34、根据第六方面，本技术实施例提供一种计算机程序产品，包括计算机程序，当所述计算机程序被处理器执行时，使得所述处理器执行如第一方面所述的日志落盘方法。

35、本技术实施例的一种日志落盘方法、装置、数据处理单元、网卡、计算机设备、计算机可读存储介质及计算机程序产品，具有以下有益效果：

36、本技术实施例由异构系统的主控处理单元集中管理多个日志内存区域，各异构计算节点仅需将日志写入对应内存区域即可，无需具备独立的文件系统或持久化能力，降低了节点能力依赖，简化了系统设计。本技术实施例通过设置基于时间周期的周期触发条件、基于系统停止或下电事件的优雅下电触发条件以及基于用户输入指令的手动触发条件，系统能够在正常运行态下实现日志的持续保存，在系统停止前实现关键日志的紧急保护，在运维调试时实现日志的按需落盘，兼顾了不同运行场景下对日志落盘实时性、可靠性和资源开销的差异化需求。本技术实施例通过将日志落盘请求统一加入日志落盘请求队列并根据预设的调度策略调度执行，使多个并发请求得以有序处理，避免了多落盘操作对系统资源的竞争，降低了对系统正常业务运行的影响。