轻量化边缘推理的云边协同算力优化方法与流程

本发明属于云边协同，具体的，涉及轻量化边缘推理的云边协同算力优化方法。

背景技术：

1、随着人工智能技术的快速发展和物联网设备的广泛部署，边缘计算已成为连接物理世界与数字智能的关键桥梁。

2、现有技术在面向云边协同推理时，普遍采用静态模型切分或固定阈值压缩策略，其首要弊端在于对边缘终端算力与网络带宽的动态波动缺乏自适应能力；通常仅在系统部署时进行一次性的模型划分，将部分计算任务固定分配给边缘端、剩余部分固定给云端，一旦边缘端因负载变化或信道质量恶化导致可用算力或上行带宽下降，预定的切分点与模型复杂度便无法实时调整，要么因算力不足而产生超时丢帧，要么因带宽受限而传输过大的中间特征张量，造成推理延迟急剧增大，无法满足最大容忍时延约束；其次，现有技术中的动态调整多依赖于当前时刻的瞬时状态快照，未考虑状态的时序演化规律，因而难以提前预判未来周期的资源紧缺，往往在资源恶化发生后才被动触发重切分或重压缩，期间已产生多次无效推理尝试，浪费边缘计算资源。

3、为了解决上述问题，本发明提出了轻量化边缘推理的云边协同算力优化方法。

技术实现思路

1、针对现有技术的不足，本发明提供了轻量化边缘推理的云边协同算力优化方法，解决了现有技术在云边协同推理中动态资源变化下时延与精度难以兼顾的问题。

2、本发明的目的可以通过以下技术方案实现：

3、轻量化边缘推理的云边协同算力优化方法，应用于云端服务器和边缘推理终端构成的系统，所述方法包括：

4、s1，于云端服务器内，对所构建的基准推理模型m0执行多级轻量化处理，生成轻量化模型集合{mi|i=1,2,...,j}；

5、为各轻量化模型mi生成与之绑定的记录mi中每一层在边缘推理终端上的计算延迟与输出张量尺寸的存储层粒度延迟映射表ti；

6、s2，按预设监测周期采集边缘推理终端的算力状态与网络状态，按时序构成算力状态序列与网络状态序列，输入预置的算力波动预测模型π，生成未来监测周期内的算力可用量预测区间ωcap和上行带宽预测区间ωbw；

7、s3，基于ωcap、ωbw及存储层粒度延迟映射表ti，利用鲁棒决策器，在满足最大容忍推理时延τmax约束下，以模型精度损失最小化为目标，从轻量化模型集合中确定待执行的目标轻量化模型mk;

8、从mk的计算图中选定算子输出节点作为弹性切分点u，对弹性切分点u产生的中间张量进行差分压缩，确定差分压缩阈值δ；

9、s4，边缘推理终端加载mk，从输入开始执行至弹性切分点u，生成原始中间张量fraw；

10、计算fraw与本地缓存的历史基准张量fref间的逐元素残差，将残差绝对值大于δ的元素索引及元素值编码为差分特征流φdiff，传输至云端服务器；

11、s5，云端服务器接收差分特征流φdiff，解码并与历史基准张量fref求和，重建中间张量frec；

12、以frec为输入，从弹性切分点u的下一算子继续执行mk的剩余部分，输出最终推理结果。

13、作为本发明的进一步方案，所述s1中，多级轻量化处理包括：

14、基于基准推理模型m0中权重的费雪信息矩阵进行结构化剪枝以及通过量化感知训练得到不同位宽表示的模型变体，每一模型变体均为一轻量化模型，按照模型变体生成的时间先后顺序排列，得轻量化模型集合{mi|i=1,2,...,j}，j表示多级轻量化处理后的轻量化模型总数；

15、所述存储层粒度延迟映射表ti由边缘推理终端对各轻量化模型执行逐层测速并记录所消耗的计算延迟与输出张量尺寸关联构建所得。

16、作为本发明的进一步方案，所述s2中，按时序构成算力状态序列与网络状态序列的具体方式为：

17、获取预设的监测周期t，其中，t表示一个监测周期的时长；

18、以当前时刻作为监测周期t的开始时间，向未来延伸t，确定结束时间，实时锁定开始时间至结束时间内边缘推理终端的cpu可用核数、gpu/npu利用率及内存带宽，并将同时刻的上述三类数据作为一组数据集，按照时间先后顺序排列所有数据集，得到算力状态序列；

19、所述网络状态序列的构建方式同算力状态序列，网络状态序列中的数据集包括边缘推理终端与云端服务器之间各时刻的平均往返时延、平均上行丢包率及平均上行有效带宽。

20、作为本发明的进一步方案，所述s2中，算力波动预测模型π为操作人员预先配置的在边缘端运行的轻量时序模型，接收算力状态序列与网络状态序列，预测未来一个监测周期t内的算力上界、算力下界及上行带宽上界、上行带宽下界，分别构成算力可用量预测区间ωcap与上行带宽预测区间ωbw。

21、作为本发明的进一步方案，所述s3中，从轻量化模型集合中确定待执行的目标轻量化模型mk的具体方式为：

22、提取操作人员预构建的鲁棒决策器；

23、提取算力可用量预测区间ωcap与上行带宽预测区间ωbw，同时，枚举任意轻量化模型mi及其轻量化模型mi中所有的弹性切分点{u1,u2,...,um}，其中，m为轻量化模型mi中的弹性切分点总数；

24、对于任意组合对(mi,un)，计算其在劣化环境下，端到端推理总延迟估计值τwt，其中，n为计数索引，1≤n≤m，劣化环境表示算力可用量取ωcap中最小值，上行带宽取ωbw中最小值；

25、同理，确定所有组合对的端到端推理总延迟估计值，并将超过最大容忍推理时延τmax的组合对剔除，在剩余组合对中，选取模型精度损失相对于基准推理模型m0最小的组合对作为目标组合对，将目标组合对中的轻量化模型标记为待执行的目标轻量化模型mk。

26、作为本发明的进一步方案，所述s3中，弹性切分点u表示目标轻量化模型mk中的任意一个弹性切分点；

27、利用目标轻量化模型mk对弹性切分点u产生的中间张量进行差分压缩，确定差分压缩后计算所得的冗余系数，其中，弹性切分点u为mk的计算图中任一算子后的张量节点，而非仅限于层边界；

28、同理，由标轻量化模型mk中所有的弹性切分点确定所有冗余系数，并利用最大冗余系数执行推算，确定对应的差分压缩阈值δ。

29、作为本发明的进一步方案，所述s4中，编码差分特征流φdiff的具体方式如下：

30、提取目标轻量化模型mk输出的原始中间张量fraw，计算fraw与本地缓存的历史基准张量fref间的逐元素残差，其中，历史基准张量fref的生成规则为：当连续r次推理的原始中间张量fraw之间的平均余弦相似度高于预设的相似阈值θ时，将最近一次的原始中间张量fraw替换为历史基准张量fref，云端服务器同步更新fref；

31、将所述残差中，绝对值大于差分压缩阈值δ的元素的元素索引及元素值编码为差分特征流φdiff，其中，差分特征流φdiff的编码方式为：对所述元素索引采用行程长度编码进行压缩，对所述元素值进行均匀量化，将压缩后的元素索引与均匀量化后的元素值共同构成差分特征流φdiff。

32、作为本发明的进一步方案，所述s5中，重建中间张量frec的具体方式为：

33、对差分特征流φdiff中经行程长度编码压缩的元素索引进行解码，得到残差绝对值大于差分压缩阈值δ的所有元素在原始中间张量fraw中的位置坐标；

34、对差分特征流φdiff中经均匀量化的元素值进行反量化，得到重建残差值；

35、创建与原始中间张量fraw同形状的零张量，基于解码所得的所有元素的位置坐标，将对应的重建残差值填入零张量的相应位置，得到重建残差张量rrec；

36、从云端同步存储的历史基准张量fref中，逐元素加上重建残差张量rrec，得到重建中间张量frec。

37、作为本发明的进一步方案，所述s5中，输出最终推理结果的具体方式为：

38、由云端服务器根据目标轻量化模型mk的标识，从本地加载目标轻量化模型mk，并定位至弹性切分点u对应的计算图中所有算子后的张量节点；

39、以弹性切分点u在计算图中的直接后继算子作为续推起点，将重建中间张量frec作为续推起点的输入张量，沿目标轻量化模型mk的计算图逐算子执行前向传播，直至目标轻量化模型mk的输出层，得到最终推理结果；

40、其中，云端服务器仅加载和执行目标轻量化模型mk中从续推起点至输出层的后端子网络，而不重复执行弹性切分点u及其之前的任何算子。

41、本发明的有益效果：

42、（1）本发明通过云端多级轻量化生成模型集合与层粒度延迟映射，结合边缘算力与带宽的预测区间，使鲁棒决策器能在时延约束下动态选择精度损失最小的模型，从而提升推理适应性和资源利用率；差分压缩仅传输残差超阈值的稀疏特征流，降低上行带宽占用，同时利用历史基准张量实现重建，保证云端后续计算的正确性，平衡边缘算力波动、网络抖动与推理精度之间的矛盾，减少冗余数据传输；

43、（2）本发明通过多级轻量化处理生成不同位宽和结构的模型变体，并结合存储层粒度延迟映射表，实现了模型精度与推理速度的权衡，提升了边缘终端的适配灵活性；同时，通过实时监测构建算力与网络状态序列，利用轻量时序模型进行区间预测，使得资源调度能够提前响应动态变化，避免因算力波动或网络拥塞导致的推理中断或延迟，增强边缘推理的鲁棒性和稳定性，在保障服务质量的前提下最大化利用有限的计算与通信资源；

44、（3）本发明通过鲁棒决策器与算力和带宽双预测区间的联合考量，在劣化环境下主动剔除可能超时的组合对，从而保障端到端推理的实时性；通过枚举所有弹性切分点并基于最大冗余系数确定差分压缩阈值，使得模型能够在精度损失最小的前提下自适应调整压缩力度避免因资源波动导致的推理中断，最大限度地保留了推理准确性，提升在动态网络和计算资源受限场景下的鲁棒性与实用性；

45、（4）本发明通过基于余弦相似度阈值动态更新历史基准张量，仅在特征显著变化时触发同步，降低了端云间的冗余数据传输量；采用行程长度编码压缩元素索引、均匀量化元素值，在保证重建精度的前提下实现高效压缩，节省带宽资源与存储开销，云端依据弹性切分点仅执行后端子网络，避免重复计算浅层特征，从而优化推理延迟和计算负载，兼顾模型精度、通信效率与推理速度。