一种基于任务切片与异构融合的边缘智能协同推理系统及推理方法

本发明涉及边缘智能与分布式计算，具体涉及一种基于任务切片、动态分发与异构融合技术的边缘智能协同推理系统及方法。本发明通过将ai推理任务动态切片并分发至异构边缘设备进行协同计算，融合多源推理结果实现低延迟、高可靠的智能决策，适用于智能家居、智能养老、智能安防等实时性要求极高的应用场景。

背景技术：

1、随着人工智能和物联网技术的深度融合，智能家居、智能安防、智能养老等应用场景对实时数据处理和智能决策的需求日益增长。然而，现有的智能系统普遍存在以下技术问题：

2、1.网络依赖性过强：现有系统的核心计算和决策逻辑部署在云端，网络中断时系统功能严重受限甚至完全失效，无法满足安防、健康监测等对连续性要求极高的场景需求。

3、2.隐私安全风险高：用户的家庭环境数据、行为习惯数据和音视频数据需持续上传至云端，存在数据泄露、滥用和非法访问的风险，违反数据最小化原则。

4、3.系统复杂性高：不同品牌、不同协议的设备之间互操作性差，用户需要安装多个app、进行复杂的配网和场景配置，使用门槛高。

5、4.响应延迟大：数据传输至云端处理后再返回的链路导致100-500ms的控制延迟，无法满足实时性要求高的场景（如安防报警、老人跌倒检测）。

6、5.个性化不足：大多数系统采用统一的控制策略，无法根据不同用户的生活习惯和偏好进行自适应调整。

7、6.能耗过高：云端通信的持续数据传输和云端计算导致系统整体能耗偏高，不适合电池供电的便携和可穿戴场景。

8、此外，现有技术中虽有边缘计算和分布式推理的尝试，但存在以下不足：（1）任务分配采用静态策略，无法根据设备实时负载和网络状况动态调整；（2）仅支持同构设备间的任务分发，无法充分利用异构设备（mcu、npu、gpu、cpu）的差异化计算能力；（3）任务粒度固定，无法根据任务复杂度和设备能力进行灵活切片；（4）结果融合采用简单平均或投票，缺乏针对异构设备特性的加权融合机制；（5）缺乏任务切片级别的容错机制，单个切片失败导致整个任务失败。

技术实现思路

1、为解决上述技术问题，本发明提供了一种基于任务切片与异构融合的边缘智能协同推理系统及推理方法。

2、一种基于任务切片与异构融合的边缘智能协同推理系统，包括：

3、任务切片模块，用于将ai推理任务分解为多个可独立执行的任务切片；

4、动态分发模块，用于基于强化学习策略，根据各边缘异构设备的实时状态信息，将所述任务切片分配至对应的设备执行推理；

5、异构融合模块，用于获取各设备执行推理后的结果，根据设备类型和历史表现计算各结果的异构置信度，并基于所述异构置信度对所述推理结果进行加权融合，输出最终推理结果。

6、进一步地，所述任务切片模块具体用于：

7、将所述ai推理任务抽象为有向无环图，其中，节点表示计算操作，边表示数据依赖关系；

8、支持按层切片、按数据切片和按算子切片三种模式；

9、根据任务复杂度和设备数量动态调整切片粒度，切片数量范围为2-20个。

10、进一步地，所述任务切片模块还用于：

11、评估每个任务切片的计算代价s_c、通信代价s_m和存储代价s_e；

12、基于总代价函数s_t =σ w1·s_c + σw2·s_m + w3·s_e确定最优切片方案，其中，w1、w2、w3为权重系数；

13、其中，所述计算代价模型为s_c = f/p，f为切片的浮点运算量，p为设备的计算性能；所述通信代价模型为s_m = d/b + l，d为切片间数据量，b为带宽，l为延迟。

14、进一步地，所述动态分发模块具体用于：

15、实时监测各设备的计算能力、存储能力、通信能力和能耗状态，构建设备能力向量v = [p, m, b, e]；

16、所述强化学习策略的状态空间s = {v1, v2, ..., vn, t, q}，动作空间a = {a1,a2, ..., am}，其中，ai表示将切片si分配到设备j，奖励函数r = -α·t β·e γ·f，其中，t为总延迟，e为总能耗，f为失败惩罚，α、β、γ为权重系数；

17、采用近端策略优化（proximal policy optimization，ppo）算法训练分发策略。

18、进一步地，所述异构融合模块具体用于：

19、根据公式η = f(w1α + w2β + w3γ) · δ计算各设备推理结果的置信度η；

20、其中，α为历史准确率，β为可靠性评分，γ为数据新鲜度，δ为设备类型基准置信度，w1、w2、w3为权重系数，f(·)为修正sigmoid归一化函数；

21、对于分类任务，采用加权投票公式r = argmax_c σjηj· i(pj= c)进行融合；对于回归任务，采用加权平均公式r = σjηj· pj/ σjηj进行融合。

22、进一步地，所述异构融合模块还用于：

23、设定冲突检测阈值t = μ + 2σ，其中，μ为历史推理结果差异的均值，σ为历史推理结果差异的标准差；

24、当多个设备的推理结果差异超过所述冲突检测阈值时，触发冲突解决策略；

25、所述冲突解决策略包括：置信度优先策略，选择置信度最高的结果；冗余验证策略，将冲突切片重新分发给其他设备验证；以及降级处理策略。

26、进一步地，所述动态分发模块还用于：

27、实时监测任务执行进度和设备状态变化，当设备负载突变或网络状况变化时，在小于10ms的时间内触发任务重分配；

28、所述任务重分配支持任务抢占和迁移。

29、进一步地，所述推理系统还包括反馈优化模块，用于将融合后的推理结果反馈至所述任务切片模块和所述动态分发模块，以优化后续的切片策略和分发策略。

30、一种基于任务切片与异构融合的边缘智能协同推理方法，包括：

31、任务切片步骤，将ai推理任务分解为多个可独立执行的任务切片；

32、动态分发步骤，基于强化学习策略，根据各边缘异构设备的实时状态信息，将所述任务切片分配至对应的设备执行推理；

33、异构融合步骤，获取各设备执行推理后的结果，根据设备类型和历史表现计算各结果的异构置信度，并基于所述异构置信度对所述推理结果进行加权融合，输出最终推理结果。

34、一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明的推理方法。

35、采用上述技术方案，本发明具有如下有益效果：

36、1.低延迟推理：通过任务切片和动态分发，将推理任务分配到最近或最快的设备执行，端到端推理延迟<50ms，相比单设备执行延迟降低60%以上，相比云端执行延迟降低90%以上。

37、2.高精度融合：通过异构感知的加权融合算法，充分利用npu、gpu、cpu、mcu等异构设备的差异化能力，融合后准确率相比单设备提升5-10%，鲁棒性显著提高。

38、3.高资源利用率：通过动态分发策略，系统整体资源利用率>85%，相比静态分配策略提升30%以上，避免部分设备过载而其他设备空闲的情况。

39、4.高可靠性：任务切片级别的容错机制，单个切片失败不影响整体任务，切片重执行时间<10ms，系统可用性>99.9%。

40、5.强适应性：强化学习分发策略能够适应设备动态加入/退出、网络状况变化、负载波动等环境变化，适应时间<100ms。

41、6.低能耗：通过将计算密集任务分发至高能效设备（如npu），系统整体能耗降低40%以上，电池设备续航延长50%以上。

42、7.低带宽占用：任务切片间仅传输必要的中间特征（而非原始数据），带宽占用率降低70%以上，丢包重传率降低80%以上。

43、8.可扩展性：支持2-100+异构设备的协同推理，设备数量增加时推理延迟亚线性增长，具备良好的水平扩展能力。