一种云端-边缘协同智能数据实时处理系统及方法与流程

本发明涉及云端与边缘协同计算及人工智能推理，具体涉及一种云端 -边缘协同智能数据实时处理系统及方法。

背景技术：

1、在云端与边缘协同执行深度神经网络推理的系统中，数据源产生的连续流式数据需要及时处理以支持实时决策。常见的处理架构将神经网络模型划分为边缘部分和云端部分，由边缘设备执行浅层计算，再将中间特征传输至云端完成深层推理。该架构面临的一个核心问题是如何在网络状态波动和计算负载变化的情况下满足每个数据处理请求的硬实时截止时间。已知的模型分割方式大多基于离线性能测试或静态配置确定分割点，分割位置在系统运行后保持不变。当网络往返时延增大或边缘计算节点因多任务并发产生排队延迟时，静态分割点导致端到端推理延迟不可预测，大量数据的推理结果生成时已超出其时效窗口而变得无效。同时，由于分割点固定，边缘向云端传输的中间特征图尺寸亦为固定值，无法根据瞬时带宽调整传输数据量，在带宽受限时成为通信瓶颈，引发额外排队与超时。

2、在减少中间数据传输量方面，现有做法通常采用均匀量化或基于压缩感知的编码方法，对所有特征通道采用相同的量化位宽或采样率。然而，不同特征通道对最终推理结果的贡献程度存在显著差异，均匀压缩会无区别地衰减关键通道和次要通道的信息，在追求高压缩比时导致推理精度的急剧恶化。缺乏对通道重要性的区分化处理使得系统不得不在传输效率与推理准确性之间接受较差的折衷。

3、此外，在处理携带时效要求的流数据时，传统的边缘-云端流水线缺少全链路的失效管理。如果一个微批次在边缘端排队时已经超时，它仍会被送入边缘推理单元，产生无效的中间计算结果，并继续占用网络上传带宽和云端推理资源。云端在接收到该数据后，依然执行完整的剩余网络推理，产生已无价值的输出，同时新到达的有效数据被阻塞。这种对失效数据的无感知处理造成计算、存储和通信资源的系统性浪费，拉低了有效吞吐率。

4、模型更新方面，当云端利用累积数据重新训练获得更优的模型参数后，需要将参数下发至边缘节点。现有更新机制通常要求暂停边缘推理服务，进行完整的模型替换后再恢复数据接入，这种停服方式破坏了数据处理的连续性。若进行在线替换，新旧模型实例的切换时机未经精细化控制，容易导致同一数据流中的不同微批次被不同版本模型处理，产生结果一致性问题。上述缺陷限制了云端-边缘协同推理系统在动态环境中维持可靠实时服务的可行性。

技术实现思路

1、鉴于以上现有技术的缺点，本发明的目的在于提供一种云端 - 边缘协同智能数据实时处理系统及方法，用于解决一种云端 - 动态网络环境下协同推理任务实时性不足且中间数据传输量过大的问题。

2、本发明提供一种云端 - 边缘协同智能数据实时处理系统，包括：

3、生成模块，接收实时数据流，形成微批次信号，微批次信号包含微批次标识、数据生成时刻和绝对失效时刻；

4、控制模块，接收微批次信号、网络状态信号和云端耗时信号，形成分割层索引信号和丢弃通知信号，其中分割层索引信号指示预训练模型在边缘执行与云端执行之间的分割层位置；

5、压缩模块，接收微批次信号、分割层索引信号和通道重要性评分参数，形成压缩特征信号，该模块执行模型在分割层之前的部分推理并对输出特征图进行压缩；

6、推理模块，接收压缩特征信号和丢弃通知信号，形成推理结果信号和云端耗时信号，将云端耗时信号反馈至协同控制模块，并基于丢弃通知信号释放对应微批次云端资源；

7、更新模块，接收推理结果信号和真实标签信号，形成模型更新信号，模型更新信号携带更新后的模型权重、通道重要性评分和时延映射表数据，并传输至控制模块。

8、在本发明的一个实施例中，压缩模块包含通道重要性评分单元，该评分单元在模型训练阶段通过反向传播更新一组可学习权重参数，在推理阶段对于输入该压缩模块的输出特征图的每一个通道，将该通道的激活值与对应的可学习权重参数进行逐元素乘法运算后求和，得到该通道的原始评分，再将原始评分输入非线性激活函数，输出取值范围在零到一之间的通道重要性评分，非线性激活函数被配置为将任意实数映射至连续有界区间。

9、在本发明的一个实施例中，压缩模块包含特征图分组压缩单元，该分组压缩单元接收通道重要性评分单元输出的各个通道的重要性评分，将每个通道的重要性评分与预设的评分阈值进行比较，将评分大于等于该阈值的通道划入第一通道组，将评分小于该阈值的通道划入第二通道组，对第一通道组中的各通道激活值采用第一位宽整数量化方式生成第一量化数据，对第二通道组中的各通道激活值采用第二位宽整数量化方式生成第二量化数据，其中第一位宽大于第二位宽，并对第二量化数据中连续出现的零值子块生成游程编码掩码，压缩特征信号由第一量化数据、第二量化数据、游程编码掩码及微批次标识字段拼接组装而成。

10、在本发明的一个实施例中，压缩模块包含时延校验单元，该时延校验单元在生成压缩特征信号之前，读取当前微批次的绝对失效时刻并与本地时钟进行比对，若当前时刻已超过该绝对失效时刻，则阻止该微批次对应的压缩特征信号的生成与发送，并触发该压缩模块生成本地丢弃通知信号，将该本地丢弃通知信号传递至推理模块。

11、在本发明的一个实施例中，推理模块包含资源管理单元，该资源管理单元维护一个微批次标识与云端计算资源分配记录之间的映射表，在接收到丢弃通知信号后，提取该丢弃通知信号中携带的微批次标识，在映射表中查找与该微批次标识对应的云端计算资源分配记录，根据该记录释放已分配的图形处理器显存区间和计算队列槽位，并向控制模块返回资源已释放回执信号。

12、在本发明的一个实施例中，推理模块包含剩余生存时间判决单元，该剩余生存时间判决单元在检测到某一微批次对应的压缩特征信号在网络传输过程中发生数据包丢失时，计算该微批次的绝对失效时刻与当前时刻的差值作为剩余生存时长，将剩余生存时长与预设的重传预估时长进行数值比较，仅当剩余生存时长大于重传预估时长时，生成重传请求信号并发送至压缩模块，当剩余生存时长小于等于重传预估时长时，直接丢弃该微批次并生成丢弃完成确认信号。

13、在本发明的一个实施例中，推理模块包含特征解码恢复单元，该特征解码恢复单元从接收到的压缩特征信号中解析出第一量化数据、第二量化数据、游程编码掩码及微批次标识字段，根据游程编码掩码中记录的零值子块位置信息将第二量化数据恢复为完整的第二通道组数据，依据预设的第一位宽反量化参数对第一量化数据进行反量化得到第一恢复特征，依据预设的第二位宽反量化参数对恢复后的第二通道组数据进行反量化得到第二恢复特征，按原始通道排列顺序将第一恢复特征与第二恢复特征拼接重构为近似特征图，将近似特征图输入预训练模型中位于分割层索引之后的所有剩余网络层以生成推理结果信号。

14、在本发明的一个实施例中，控制模块包含时延映射表维护单元，该时延映射表维护单元存储模型各层边缘执行耗时表、各层输出张量尺寸表和云端剩余层执行耗时表，在接收到网络状态信号和云端耗时信号后，根据网络状态信号中的往返时延更新各层输出张量的预估传输耗时，根据云端耗时信号更新云端剩余层执行耗时表中各层的耗时数值，分割层索引信号由当前批次绝对失效时刻、当前时刻、边缘队列等待耗时以及更新后的各层边缘执行耗时、预估传输耗时和云端剩余层执行耗时共同计算确定。

15、在本发明的一个实施例中，控制模块包含多级丢弃判定单元，该多级丢弃判定单元在微批次进入边缘推理及压缩模块之前执行第一级超时判定，当判定当前时刻超过微批次绝对失效时刻时，生成丢弃通知信号并终止该微批次进入边缘推理及压缩模块；在完成边缘推理并等待网络发送之前执行第二级超时判定，当微批次在边缘推理期间变为超时状态时，生成丢弃通知信号并阻止压缩特征信号的上传，丢弃通知信号携带微批次标识和被丢弃时所在处理阶段的信息编码。

16、本发明还提供了一种云端 - 边缘协同智能数据实时处理方法，包括：

17、s1：接收实时数据流，形成微批次信号，微批次信号包含微批次标识、数据生成时刻和绝对失效时刻；

18、s2：接收微批次信号、网络状态信号和云端耗时信号，形成分割层索引信号和丢弃通知信号，其中分割层索引信号指示预训练模型在边缘执行与云端执行之间的分割层位置；

19、s3：接收微批次信号、分割层索引信号和通道重要性评分参数，执行预训练模型在分割层之前的部分推理，对输出的特征图进行通道重要性评分，根据评分结果将通道划分为第一通道组和第二通道组，对两组通道分别采用不同位宽的整数量化，并对低位宽量化数据中的零值子块生成游程编码掩码，组装形成压缩特征信号；

20、s4：接收压缩特征信号，解析重构近似特征图，输入预训练模型中位于分割层之后的所有剩余层以生成推理结果信号，形成云端耗时信号并反馈，以及接收丢弃通知信号，释放对应微批次的云端资源；

21、s5：接收推理结果信号和真实标签信号，生成模型更新信号，模型更新信号携带更新后的模型权重、通道重要性评分参数和时延映射表数据，并传输至步骤s2和步骤s3所使用的参数存储区。

22、与现有技术相比，本发明的有益效果为：

23、通过将实时数据流划分为携带绝对失效时刻的微批次，根据网络往返时延与云端耗时动态决定神经网络在边缘与云端之间的分割层位置，对边缘推理输出的特征图按通道重要性进行区分位宽量化压缩传输，云端解码恢复特征图并完成剩余推理后反馈耗时，对已超时微批次在全链路实施协同丢弃并释放资源，云端定期生成更新参数并以影子实例方式实现边缘模型的无中断切换。