一种边云协同的实时数据流处理方法与流程

本发明属于工业物联网分布式数据调度，涉及一种边云协同的实时数据流处理方法。

背景技术：

1、当前，分布式计算和边云协同架构已广泛用于处理分布在各处的物联网终端所产生的大量数据，并承担数据调度、任务分流和缓存管理等工作，随着工业互联网、智慧城市和智能网络系统的发展，边缘侧的数据量及运行状态变化越来越快，然而，现有技术在同时处理多维数据特征、有限的计算与通信资源以及毫秒级突发状态的快速闭环调整时，仍存在明显不足：

2、第一，基于静态权重的策略调度与自适应缓存技术，例如，中国发明专利申请cn119316426a公开了一种云边协同数据分发系统，该系统设置云端服务器与边缘设备，根据待处理数据量、当前负载和网络延迟，通过特定公式计算分发决策得分，以动态调整分发策略，并由自适应缓存管理模块确定边缘侧的缓存策略，该方案的决策过程仍受静态参数限制，分发调度所采用的权重系数主要依赖人工预先设定的经验值，难以准确反映异构边缘设备在较长运行周期内计算负载与链路突发抖动之间的复杂关系，容易造成调度决策滞后；同时，其缓存容量管理模型较为简单，对原始数据流中的语义信息和关联特征分析不足，导致边缘缓存命中率在复杂的多模态场景下容易突然下降。

3、第二，基于固定阈值的特征向量分流技术，例如，中国发明专利申请cn121037449a公开了一种基于边缘计算的实时数据分流与智能缓存方法及系统，该方法采集原始数据流并将其转换为结构化数据，计算数据的时效权重、关联权重和安全等级，并据此组成特征向量；随后将特征向量输入预训练的分流决策模型，由该模型输出分流信号，用于管理边缘缓存空间并同步全局缓存分布拓扑，该技术主要依赖特征级哈希匹配和分类预测，其决策过程受到第一时效阈值、第二时效阈值、关联度阈值和安全等级阈值等多个预设阈值的限制，在处理突发、非结构化的任务流时，固定阈值判断容易使分类结果在阈值附近反复变化，导致任务分流结果停留在次优状态，此外，在大规模分布式节点中频繁同步全部缓存分布拓扑，会占用较多通信带宽，在边缘网络带宽受限的情况下，这种同步方式还容易引起时钟漂移和网络拥堵，形成额外的信令开销，并进一步增加传输时延。

4、第三，基于云端数字孪生反馈和多任务模型的任务分流技术，例如，中国发明专利申请cn120687221a公开了一种边缘计算任务分流方法、装置、电子设备及存储介质，该方法利用包含共享特征编码层、独立分类分支和独立阈值回归分支的预训练多任务模型，对采集到的多维特征同时进行当前任务分类和分流阈值计算，并通过中心云端的数字孪生模型分析仿真模型与实际运行状态之间的差异，据此调整分流阈值参数和训练权重，此类方法通常需要从物理控制对象中提取多维时空数据矩阵，并多用于配电网并网等特定的重工业场景，较为依赖该场景下的稳态运行特征和暂态响应特征，其中采用的约束条件和派生特征难以直接适用于其他场景，同时，仿真模型与实际运行状态之间的差异分析以及全局优化模型均部署在中心云端服务器，从边缘执行、云端分析到参数返回的闭环链路较长，难以对边缘侧持续时间仅为微秒级或毫秒级的局部过载、链路硬件故障等瞬态异常工况及时作出本地调整和恢复。

5、因此，如何构建一种能够适应不同类型多维数据特征、降低多节点协同开销，并在边缘侧及时应对突发状态的边云协同分流与缓存框架，使数据流和任务分配在整个处理过程中不超出实际资源可承受的范围，成为本发明所要解决的技术问题。

技术实现思路

1、本发明的目的在于克服现有技术的缺点，解决现有技术中处理边缘环境高动态变化的多维特征耦合和资源边界约束时，由于参数滞后、阈值刚性拦截及超长空间尺度闭环链路导致的分流决策迟滞、网络拥堵及无法即时自愈的技术问题，提供一种边云协同的实时数据流处理方法。

2、为了实现上述发明目的，本发明提供的一种边云协同的实时数据流处理方法，包括以下步骤：

3、步骤s101，边缘节点建缓冲区并计算斜率产出特征方差：边缘节点在缓存时间窗口内建立包含固定数量数据包存储位的动态环形缓冲区，并在数据包到达网络接口时，读取本地高精度定时器的纳秒级系统时刻，计算数据包与前一个数据包的系统时刻的差值并记录为到达时间间隔，计算连续累积的到达时间间隔的一阶差分并记录为到达间隔斜率，同时提取数据包内多维监测指标的实时采样矩阵以动态产出特征方差；

4、步骤s102，边缘节点融合网络延迟与算力生成状态向量：边缘节点向云端节点发送带有第一时间戳标签的数据包，接收云端节点返回的携带有网络延迟参数的下行计算确认包，并将网络延迟参数与从状态寄存器读取的剩余算力数据相组合，生成节点状态向量；

5、步骤s103，边缘节点据决策值执行特征降维或本地计算：边缘节点根据到达间隔斜率、节点状态向量以及特征方差计算分流决策标量值；当分流决策标量值低于设定的下限阈值时，调用特征降维矩阵对缓存时间窗口内的数据包截断多维冗余特征分量并输出低维数据包；当分流决策标量值高于设定的上限阈值时，关闭网络接口并将数据包分发至本地计算核心完成本地流式计算。

6、本发明所述的步骤s102中生成节点状态向量包括：边缘节点向云端节点发送数据包时，在数据包的报头中写入第一时间戳标签；云端节点接收数据包时，读取系统接收时刻作为第二时间戳标签，并计算第二时间戳标签与第一时间戳标签的差值并确定为网络延迟参数；云端节点将网络延迟参数挂载于下行计算确认包中返回至边缘节点，与边缘节点从状态寄存器读取的剩余算力数据共同生成节点状态向量。

7、本发明所述的步骤s103包括：边缘节点根据节点状态向量和特征方差计算分流决策标量值；当分流决策标量值低于下限阈值0.4时，开启对缓存时间窗口内的数据包的特征矩阵降维，调用特征降维矩阵对数据包截断多维冗余特征分量，使特征矩阵维数从64维降低至8维；当分流决策标量值高于上限阈值0.8时，关闭网络接口并将数据包分发至本地计算核心完成本地流式计算。

8、本发明所述的步骤s103中开启对缓存时间窗口内的数据包的特征矩阵降维包括以下子步骤：步骤s1031，边缘节点构建缓存时间窗口内的数据包的原始高维特征矩阵，并通过特征降维矩阵将原始高维特征矩阵转换至低维特征空间并输出低维特征矩阵；步骤s1032，边缘节点在低维特征矩阵对应的降维后的数据包的报头中写入特征维数与空间稀疏度，并将降维后的数据包通过网络接口发送至目标处理节点。

9、本发明所述的目标处理节点接收到降维后的数据包后，读取报头中携带的特征维数与空间稀疏度，并比对空间稀疏度与设定的稀疏临界阈值；当空间稀疏度超过稀疏临界阈值时，目标处理节点调用逆投影变换矩阵对低维特征矩阵完成零元素填充与特征重构。

10、本发明所述的还包括以下步骤：步骤s104，边缘节点持续记录历史控制周期内分流决策标量值的时间序列，并计算时间序列的滑移方差；步骤s105，当滑移方差持续超过设定的平稳度阈值时，边缘节点按照设定的调节比例调低下限阈值，并同步提高缓存时间窗口的采样截断频率。

11、本发明所述的方法应用在大规模时序状态监控数据流的处理中，动态环形缓冲区的固定数量为64至512，网络接口采集纳秒级系统时刻的分辨率不低于1ns，且边缘节点与状态寄存器之间的数据读取总线带宽不低于10gbps。

12、本发明所述的步骤s101中动态产出特征方差包括以下子步骤：步骤s1011，边缘节点在缓存时间窗口内接收到数据包后，定时提取数据包中多维监测指标的实时采样矩阵，并计算实时采样矩阵中各个维度的采样均值；步骤s1012，边缘节点计算各个维度的采样实时值与采样均值之间的平方差，并在时间轴上累积滑动加权求和并输出特征方差。

13、本发明所述的还包括以下数据包重发步骤：步骤s106，在分流路径发生阻塞或信道传输质量低于设定的通信门限时，边缘节点将未及时发送的数据包暂存至本地存储器的重试队列中，并在检测到网络延迟参数恢复至设定的阈值范围内后，启用网络接口将重试队列中的数据包按照时间戳先后顺序发送。

14、本发明与现有技术相比，至少包括以下有益效果：

15、1、边缘节点根据相邻数据包的到达时间间隔及到达间隔斜率，能够在突发流量刚开始出现时提前结束当前缓存时间窗口，并将后续数据包转入下一缓存时间窗口，与等待窗口填满后再进行处理的固定方式相比，该处理能够及时中断数据包在当前计算队列中的持续累积，避免状态参数传递滞后造成分流结果与实际负载不匹配。

16、2、边缘节点利用正常发送的数据包及云端节点返回的下行计算确认包获取网络延迟参数，并将网络延迟参数与剩余算力数据组合为节点状态向量，无需另外发送主动探测包，由此可以减少网络状态测量对通信带宽的占用，避免额外的探测流量进一步加重网络负担，并减少控制信令与业务数据之间的带宽冲突。

17、3、边缘节点根据节点状态向量和特征方差计算分流决策标量值，并按照该数值所处的区间选择相应的数据处理方式，当需要降低网络传输负担时，通过特征降维矩阵截断多维冗余特征分量，减少数据包需要传输的特征数据量；当不适合继续向云端发送数据时，将数据包转由本地计算核心完成本地流式计算，避免持续调整分流路径造成额外的算力消耗，并有助于平衡边缘节点的计算队列负载。