一种计算资源感知的异构数据流分级特征识别方法及系统

本发明涉及数据处理，特别涉及一种计算资源感知的异构数据流分级特征识别方法及系统。

背景技术：

1、在云-边-端协同架构中，边缘计算节点负责对接入的端侧设备（如摄像头、传感器、用户终端）产生的异构数据流进行实时处理。常规流程为：端侧设备将采集的视频、音频、传感器读数等数据传输至边缘节点，经解码、对齐、融合等预处理后，按照预设策略提取特征向量，再经ai推理筛选高价值信息后上报云端。然而，此类系统普遍面临“算力有限”与“数据无限”的结构性矛盾。以视频监控安防场景为例，若对所有视频流均进行全帧全特征深度学习分析，将耗尽有限的计算资源；若简单降低分析频率或分辨率，则可能遗漏关键异常事件。

2、针对上述问题，现有技术主要沿两条路线展开。一是计算资源调度优化，通过建立资源消耗统计模型预测任务需求，据此进行任务排队或资源弹性伸缩。其不足在于：资源调度与特征提取相互独立，调度模块不关心数据内容，资源紧张时只能对所有任务无差别降级，无法保障高价值数据的分析精度；二是数据分级分类处理，预设高、中、低等级，不同等级数据采用不同处理策略。其不足在于：分级策略是静态预设的，无法根据实时资源状态动态调整各等级的边界和处理深度，资源充裕时浪费算力，资源紧张时仍按激进策略运行导致任务积压。更为关键的是，上述两条路线之间缺乏联动机制：资源调度系统不关心特征提取的质量，特征分级系统不关心资源是否充足，二者各自独立决策，当资源状态变化时，特征分级策略无法即时响应；当数据特征波动时，资源调度策略也无从感知，这种开环架构不具备状态反馈能力，无法根据环境变化自主调整系统行为。虽然部分系统支持基于固定阈值（如cpu利用率超过80%时丢弃部分任务）的粗粒度策略切换，但这些策略的触发是离散的、预设的，特征提取粒度只能在有限的几个等级之间跳变，且切换后不会根据资源恢复自动回切，本质上仍属开环控制模式。此外，现有方案多依赖图神经网络、深度强化学习等大模型ai方案，模型体积庞大，难以满足边缘设备对轻量化和实时性的要求。

3、综上所述，现有技术存在以下根本性局限：策略触发多为开环模式，资源监测与特征分级之间缺乏即时的因果驱动关系；策略粒度多为离散跳变模式，无法实现特征维度的连续光滑调节；降级策略多为无差别模式，无法在资源紧张时优先保障高价值数据的识别精度；现有方案多依赖大模型ai方案，难以满足边缘场景的轻量化部署要求。上述局限导致系统在资源波动环境下始终处于“要么算力浪费、要么精度不足”的两难境地。

技术实现思路

1、针对现有技术的不足，本发明的目的在于提供一种计算资源感知的异构数据流分级特征识别方法及系统，旨在解决现有技术中采用开环模式导致资源监测与特征分级之间缺乏即时因果驱动、采用离散跳变模式导致特征粒度无法连续光滑调节、采用无差别降级模式导致资源紧张时无法保障高价值数据精度、且多依赖大模型ai方案难以满足边缘轻量化部署要求，致使系统在资源波动环境下始终处于算力浪费与精度不足的两难境地的技术问题。

2、为了实现上述目的，第一方面，本技术实施例提供了一种计算资源感知的异构数据流分级特征识别方法，应用于边缘计算节点，边缘计算节点连接至少一个端侧设备，所述计算资源感知的异构数据流分级特征识别方法包括以下步骤：

3、基于固定采样周期获取监测参数集，基于监测参数集获取综合资源压力指数；

4、通过非线性映射函数及综合资源压力指数获取特征提取深度系数，基于特征提取深度系数获取初始特征提取维度数；

5、通过最小特征维度阈值将初始特征提取维度数转换为阶段特征提取维度数，获取与任务类型对应的保障维度数，通过保障维度数将阶段特征提取维度数转换为最终特征提取维度数；

6、获取与任务类型对应的特征优先级队列，所述特征优先级队列包括重要性从高到低依次排列的若干任务特征，自特征优先级队列中将与最终特征提取维度数对应的前若干任务特征选定为目标特征，以获取特征向量。

7、进一步，所述监测参数集包括若干监测参数，所述基于监测参数集获取综合资源压力指数的步骤包括：

8、对若干监测参数分别进行归一化处理，以获取若干资源指标值；

9、基于若干资源指标值获取综合资源压力指数。

10、更进一步，，所述综合资源压力指数的获取公式为：

11、，

12、其中，表示第时刻的综合资源压力指数，表示第个资源指标值的资源权重系数，表示第时刻的第个资源指标值，表示资源指标值的总数量。

13、更进一步，在所述基于固定采样周期获取监测参数集，基于监测参数集获取综合资源压力指数的步骤之后，还包括：

14、基于综合资源压力指数调节固定采样周期。

15、更进一步，所述特征提取深度系数的获取公式为：

16、，

17、其中，表示第时刻的特征提取深度系数，表示定义为，表示指数函数，表示预设陡峭系数，表示第时刻的综合资源压力指数，表示预设决策中值。

18、更进一步，所述初始特征提取维度数的获取公式为：

19、，

20、其中，表示第时刻的初始特征提取维度数，表示定义为，表示第时刻的特征提取深度系数，表示最大允许特征维度阈值，表示向下取整。

21、更进一步，所述通过最小特征维度阈值将初始特征提取维度数转换为阶段特征提取维度数的步骤包括：

22、将初始特征提取维度数与最小特征维度阈值进行比对；

23、若初始特征提取维度数小于或等于最小特征维度阈值，则将最小特征维度阈值选定为阶段特征提取维度数，若初始特征提取维度数大于最小特征维度阈值，则将初始特征提取维度数选定为阶段特征提取维度数。

24、更进一步，所述通过保障维度数将阶段特征提取维度数转换为最终特征提取维度数的步骤包括：

25、将阶段特征提取维度数与保障维度数进行比对；

26、若阶段特征提取维度数小于保障维度数，则将保障维度数选定为最终特征提取维度数，若阶段特征提取维度数大于或等于保障维度数，则将阶段特征提取维度数选定为最终特征提取维度数。

27、更进一步，在所述获取与任务类型对应的特征优先级队列，所述特征优先级队列包括重要性从高到低依次排列的若干任务特征，自特征优先级队列中将与最终特征提取维度数对应的前若干任务特征选定为目标特征，以获取特征向量的步骤之后，还包括：

28、获取相邻两综合资源压力指数之间的指数差值，将指数差值与变化容忍阈值进行比对，以进行闭环控制。

29、第二方面，本技术实施例提供了一种计算资源感知的异构数据流分级特征识别系统，应用于如上述第一方面所述的计算资源感知的异构数据流分级特征识别方法，所述系统包括：

30、获取模块，用于基于固定采样周期获取监测参数集，基于监测参数集获取综合资源压力指数；

31、关联模块，用于通过非线性映射函数及综合资源压力指数获取特征提取深度系数，基于特征提取深度系数获取初始特征提取维度数；

32、分析模块，用于通过最小特征维度阈值将初始特征提取维度数转换为阶段特征提取维度数，获取与任务类型对应的保障维度数，通过保障维度数将阶段特征提取维度数转换为最终特征提取维度数；

33、执行模块，用于获取与任务类型对应的特征优先级队列，所述特征优先级队列包括重要性从高到低依次排列的若干任务特征，自特征优先级队列中将与最终特征提取维度数对应的前若干任务特征选定为目标特征，以获取特征向量。

34、第三方面，本技术实施例提供了一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的计算资源感知的异构数据流分级特征识别方法。

35、第四方面，本技术实施例提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所述的计算资源感知的异构数据流分级特征识别方法。

36、与现有技术相比，本发明的有益效果在于：通过获取综合资源压力指数、进而通过非线性映射函数获取特征提取深度系数，以此获取初始特征提取维度数，将资源状态与特征提取建立直接的因果关系，使资源状态变化能够即时驱动策略调整，将两条独立的技术路线（资源调度与特征分级）耦合为一个统一的闭环系统，建立二者之间因果驱动的功能依赖关系；通过非线性函数映射获取特征提取深度系数，其连续的s型映射使特征提取深度系数可在数值区间取任意连续值，初始特征提取维度数可连续调节，实现了从换档到聚焦的控制范式转变，克服了离散跳变模式导致的资源浪费或精度不足的两难困境；通过最小特征维度阈值对初始特征提取维度数进行转换，并结合保障维度数将阶段特征提取维度数进一步转换，以最终特征提取维度数为特征向量的获取标准，在资源紧张时能够根据任务类型强制提升维度数，并优先提取高重要性特征，实现了对关键数据的差异化精度保障，克服了无差别降级导致高价值数据识别精度受损的缺陷；识别过程基于轻量化的计算逻辑实现，无需依赖ai大模型，显著降低了计算复杂度和存储需求，满足边缘计算节点对轻量化和实时性的部署要求。