面向云边端协同的异构算力状态数据采集方法、系统及设备

本技术涉及计算机，尤其涉及一种面向云边端协同的异构算力状态数据采集方法、系统及设备。

背景技术：

1、随着物联网规模的不断扩大，云边端协同架构已成为支撑大规模设备接入与业务运行的主流技术形态。在该架构下，计算能力从集中式云端逐步向边缘节点和现场终端下沉，以满足电力业务对实时性、可靠性和系统弹性的要求。与此同时，系统中广泛部署了多种类型的异构算力，包括cpu、gpu等xpu，用于承担数据处理、边缘分析和智能决策等任务。

2、现有工业物联网系统中，针对算力运行状态的感知与管理，通常通过在云端或边缘侧部署监控组件，对计算节点的资源使用情况进行采集和上报。这类方法多以设备或节点为单位，周期性采集处理器利用率、负载、温度、功耗等运行指标，并结合云端平台进行集中展示或分析，从而实现对系统运行状态的基本监测。

3、然而，随着异构算力在云边端架构中的广泛应用，现有方法逐渐暴露出明显不足。一方面，不同类型算力在硬件结构、性能指标和运行特性上存在较大差异，现有采集方式往往针对具体设备或厂商实现，缺乏统一的数据模型对算力运行状态进行抽象描述，导致异构算力运行数据难以在系统层面进行统一监测和管理。另一方面，异构算力在复杂负载和运行环境下容易发生性能异常或故障，而故障诊断高度依赖于高质量的运行状态数据支撑，现有基于固定周期的数据采集方式在系统稳定运行阶段产生大量冗余数据，而在异常或故障发生阶段采集频率不足，导致形成低质量的数据集，无法准确判断并解决故障。

技术实现思路

1、鉴于此，本技术实施例提供了一种面向云边端协同的异构算力状态数据采集方法、系统及设备，以消除或改善现有技术中存在的一个或更多个缺陷。能够解决异构算力难以统一监测以及现有采集方式难以支撑故障判断的问题。

2、本技术的一个方面提供了一种面向云边端协同的异构算力状态数据采集方法，该方法在云边端协同架构系统中的终端设备或边缘节点中执行，该方法包括以下步骤：

3、获取目标异构算力设备的原始运行状态数据；

4、基于由所述云边端协同架构系统中的云端下发的xpu抽象数据模型，对所述原始运行状态数据进行标准化处理，得到标准化状态数据；其中，所述xpu抽象数据模型用于定义异构算力设备状态的统一字段体系；

5、自适应变频采集策略动态确定所述标准化状态数据对应的当前采样频率；所述自适应变频采集策略基于对所述异构算力设备的运行风险的实时评估结果调整采样频率；

6、根据所述当前采样频率，对所述目标异构算力设备进行状态数据采集，得到符合所述xpu抽象数据模型的目标状态数据。

7、在本技术的一些实施例中，所述自适应变频采集策略动态确定所述标准化状态数据对应的当前采样频率；所述自适应变频采集策略基于对所述异构算力设备的运行风险的实时评估结果调整采样频率，包括：

8、对所述标准化状态数据进行在线基线化与特征构造处理，得到标准化偏移数据和变化速度数据；

9、对所述标准化偏移数据和所述变化速度数据进行多维风险计算，得到多个风险分量数据；其中，所述风险分量数据包括异常程度、突变程度、压力程度以及漂移程度；

10、对多个所述风险分量数据进行风险融合，得到总体风险分数；

11、根据所述总体风险分数，通过频率映射函数自适应变频采集策略动态确定所述当前采样频率。

12、在本技术的一些实施例中，所述基于所述标准化状态数据进行在线基线化与特征构造处理，得到标准化偏移数据和变化速度数据，包括：

13、对于所述标准化状态数据中的各个所述动态指标，计算对应的动态均值和动态尺度；

14、根据所述动态均值和所述动态尺度，计算当前指标值相对于历史基线的标准化偏移量，得到所述标准化偏移数据；

15、计算连续两次采集的所述动态指标的变化量，并基于所述变化量计算所述动态指标的短期变化速度特征，得到所述变化速度数据。

16、在本技术的一些实施例中，所述对多个所述风险分量数据进行风险融合，得到总体风险分数，包括：

17、为所述异常程度、突变程度、压力程度和漂移程度分别分配预设的权重系数；

18、将各个所述风险分量数据与其对应的权重系数相乘后求和，得到所述总体风险分数。

19、在本技术的一些实施例中，所述根据所述总体风险分数，通过频率映射函数自适应变频采集策略动态确定所述当前采样频率，包括：

20、根据所述总体风险分数通过所述频率映射函数，得到介于预设最小采样频率和最大采样频率之间的初始采样频率；

21、对所述初始采样频率进行时间平滑处理，得到实际采样频率；

22、基于滞回状态机，根据所述总体风险分数与预设的高、低阈值以及最小驻留时间，对所述实际采样频率进行动态调整，确定最终生效的实际采样频率作为所述当前采样频率。

23、在本技术的一些实施例中，所述xpu抽象数据模型还用于：

24、基于属性维度和通用性维度对所述原始运行状态数据进行标准化处理，得到所述标准化状态数据；其中，所述属性维度包括静态信息和动态指标；所述静态信息用于描述所述目标异构算力设备的固有属性；所述动态指标用于描述所述目标异构算力设备的运行时序变化；所述通用性维度包括通用字段和特有字段；所述通用字段包括各个所述目标异构算力设备通用的通用字段；所述特有字段包括特定类型的所述目标异构算力设备定义的特有字段。

25、在本技术的一些实施例中，所述通用字段包括所有xpu通用字段和加速器通用字段；所述所有xpu通用字段包括设备唯一标识、设备类型、架构、厂商、型号、驱动版本、固件版本、计算单元数、计算核心利用率、实时功耗、当前主频、芯片温度、主板温度、限频标志、限频原因、最近错误码、最近错误时间戳、滑窗平均负载占比、采集时间戳以及采样周期；所述加速器通用字段包括专用存储总量、已用存储、存储利用率、pcie接收吞吐、pcie发送吞吐、性能状态、功率上限、可纠错错误速率、不可纠错错误速率、设备运行时长以及设备复位次数。

26、在本技术的一些实施例中，所述特有字段包括cpu特有字段和gpu特有字段；所述cpu特有字段包括活跃线程数、上下文切换速率、l3缓存容量以及i/o设备利用率；所述gpu特有字段包括风扇转速、能效比、nv限频原因字符串、ecc可纠错累计、ecc不可纠错累计、显存频率以及核心图形频率。

27、本技术的另一方面提供了一种面向云边端协同的异构算力状态数据采集系统，该系统包括：

28、数据获取模块，用于获取目标异构算力设备的原始运行状态数据；

29、标准化处理模块，用于将所述原始运行状态数据输入到预设的xpu抽象数据模型，以使得该模型对所述原始运行状态数据进行标准化处理，得到标准化状态数据；

30、自适应控制模块，用于自适应变频采集策略动态确定所述标准化状态数据对应的当前采样频率；所述自适应变频采集策略基于对所述异构算力设备的运行风险的实时评估结果调整采样频率；

31、状态数据采集模块，用于根据所述当前采样频率，对所述目标异构算力设备进行状态数据采集，得到符合所述xpu抽象数据模型的目标状态数据。

32、本技术的第三方面提供了一种电子设备，包括处理器和存储器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的面向云边端协同的异构算力状态数据采集方法。

33、本技术的第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的面向云边端协同的异构算力状态数据采集方法。

34、本技术的第五个方面提供了一种计算机程序产品，包含有计算机程序，该计算机程序被处理器执行时实现所述的面向云边端协同的异构算力状态数据采集方法。

35、本技术的面向云边端协同的异构算力状态数据采集方法，该方法包括以下步骤：获取目标异构算力设备的原始运行状态数据；基于由所述云边端协同架构系统中的云端下发的xpu抽象数据模型，对所述原始运行状态数据进行标准化处理，得到标准化状态数据；其中，所述xpu抽象数据模型用于定义异构算力设备状态的统一字段体系；自适应变频采集策略动态确定所述标准化状态数据对应的当前采样频率；所述自适应变频采集策略基于对所述异构算力设备的运行风险的实时评估结果调整采样频率；根据所述当前采样频率，对所述目标异构算力设备进行状态数据采集，得到符合所述xpu抽象数据模型的目标状态数据。能够实现异构算力的统一监测和管理；以及实现采样策略与故障演化过程的深度协同，提升关键数据可辨识度并显著减少无效数据采集，能够解决异构算力难以统一监测以及现有采集方式难以支撑故障判断的问题，为电力物联网中异构算力的可靠运行和智能运维提供基础技术支撑。

36、本技术的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本技术的实践而获知。本技术的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。

37、本领域技术人员将会理解的是，能够用本技术实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本技术能够实现的上述和其他目的。