基于异构边缘设备大模型部署与输入序列优化方法及系统

本发明涉及边缘计算与深度学习推理调度领域，具体涉及一种基于异构边缘设备大模型部署与输入序列优化方法及系统。

背景技术：

1、在人工智能与边缘计算深度融合的时代，基于变换器（transformer）架构的大语言模型（large language model，简写为llm）已成为智能交互、内容生成等场景的核心基础设施。它不仅为终端用户提供了高智能、低延迟的交互服务，还为大量边缘ai应用提供了高效的推理与决策支持。传统的大模型推理部署方法依赖于云端集中式计算资源，通过单节点或同构集群完成推理任务，但在端到端延迟、数据隐私和成本方面存在不足。

2、随着边缘设备算力的提升与大模型轻量化技术的发展，将transformer大模型部署至异构边缘设备集群进行流水线并行推理，逐渐成为降低推理延迟、提升服务可用性的关键路径。然而，与云端同构集群不同，异构边缘设备在算力、内存、通信带宽上存在显著差异，且需在资源受限的环境下完成模型层划分与批次调度。现有技术中，基于贪心调度算法的方案未充分考虑设备算力异构性、通信瓶颈与负载均衡性，导致推理延迟较长、资源利用率低。

技术实现思路

1、本发明的目的在于提供一种基于异构边缘设备大模型部署与输入序列优化方法及系统，以解决现有技术中异构边缘设备流水线并行推理存在的负载不均衡、总推理延迟高、资源利用率低的问题。

2、为了实现上述目的，本发明提供一种基于异构边缘设备大模型部署与输入序列优化方法，该方法包括以下步骤：

3、s1：构建异构边缘设备大模型系统，并基于贪心策略生成初始解；

4、s2：构建计算-通信协同模型，判断所述初始解是否存在负载不均衡问题，若是，则执行步骤s3；若否，将所述初始解作为最优解，并执行步骤s5；

5、s3：构建流水线延迟模型；

6、s4：根据所述流水线延迟模型，采用模拟退火算法遍历解空间生成邻域解，并根据所述邻域解对所述初始解进行优化，得到最优解；

7、s5：根据所述最优解实现大模型部署与输入序列优化。

8、与现有技术相比，本发明提供的一种基于异构边缘设备大模型部署与输入序列优化方法具有如下有益效果：本发明以贪心策略为基础快速获取满足约束的初始解，以模拟退火算法为核心实现全局最优解的搜索，同时构建计算-通信协同模型精准刻画流水线推理全流程的时间特征，明确系统瓶颈与通信阈值并指导数据传输链路调度。与传统的贪心调度算法相比，本方法充分考虑异构边缘设备的算力差异与设备间的通信瓶颈，有效解决负载不均衡问题，通过模拟退火算法避免局部最优，实现全局负载均衡与总推理延迟最小化的双重目标，大幅提升异构边缘设备的资源利用率与大模型边缘推理的效率，为异构边缘设备协同推理大模型提供高效的部署与输入序列优化方案。

9、本发明还提供一种基于异构边缘设备的大模型部署与输入序列优化系统，该系统包括：

10、初始解生成模块，用于构建异构边缘设备大模型系统，并基于贪

11、心策略生成初始解；

12、负载均衡判断模块，用于构建计算-通信协同模型，判断所述初始

13、解是否存在负载不均衡问题，若是，则触发流水线延迟建模模块；若否，将所述初始解作为最优解，并触发部署执行模块；

14、流水线延迟建模模块，用于构建流水线延迟模型；

15、模拟退火优化模块，用于根据所述流水线延迟模型，采用模拟退火算法遍历解空间生成邻域解，并根据所述邻域解对所述初始解进行优化，得到最优解；

16、部署执行模块，用于根据所述最优解实现大模型部署与输入序列优化。

17、与现有技术相比，本发明提供的一种基于异构边缘设备的大模型部署与输入序列优化系统，其有益效果与上述技术方案提供的一种基于异构边缘设备的大模型部署与输入序列优化方法的有益效果相同，在此不做赘述。

18、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

1.一种基于异构边缘设备的大模型部署与输入序列优化方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于异构边缘设备的大模型部署与输入序列优化方法，其特征在于，

3.根据权利要求1所述的一种基于异构边缘设备的大模型部署与输入序列优化方法，其特征在于，

4.根据权利要求1所述的一种基于异构边缘设备的大模型部署与输入序列优化方法，其特征在于，

5.根据权利要求1所述的一种基于异构边缘设备的大模型部署与输入序列优化方法，其特征在于，

6.根据权利要求1所述的一种基于异构边缘设备的大模型部署与输入序列优化方法，其特征在于，步骤s4中，优化目标定义为：

7.根据权利要求1所述的一种基于异构边缘设备的大模型部署与输入序列优化方法，其特征在于，

8.根据权利要求1所述的一种基于异构边缘设备的大模型部署与输入序列优化方法，其特征在于，

9.根据权利要求1所述的一种基于异构边缘设备的大模型部署与输入序列优化方法，其特征在于，步骤s4中生成的邻域解包括：

10.一种基于异构边缘设备的大模型部署与输入序列优化系统，其特征在于，包括：