基于无人机集群的分布式大语言模型协同推理方法及系统与流程

本发明属于无人机通信，具体涉及一种基于无人机集群的分布式大语言模型协同推理方法及系统。

背景技术：

1、随着边缘计算平台算力的提升，无人机集群逐渐应用于复杂战术侦察、环境监测、自主巡检等任务。将大语言模型部署于无人机边缘网络中，可以使无人机集群在无网或弱网环境下减少对地面基站的依赖，并根据任务现场信息完成自主分析、协同决策和指令生成。

2、受限于单架无人机的显存、算力和能耗，大语言模型通常难以完整部署在单个无人机节点上。现有方案多采用流水线并行方式，将大语言模型按照网络层顺序切分为多个流水线阶段，并将不同流水线阶段分布到多架无人机上协同推理。在常规推理过程中，各无人机节点依次传递中间激活结果，从而完成预填充（prefill）阶段和自回归解码（decode）阶段的计算。

3、但是，无人机集群具有高速移动、链路波动明显、无人机节点状态变化频繁的特点。当无人机移动导致拓扑变化、无人机节点故障或链路断开时，现有方案通常需要丢弃已有状态并从历史输入重新计算，或者在空中无线网络中传输体量较大的动态键值缓存（kvcache）。前者造成较高的重算延迟和算力浪费，后者容易占用空中无线链路带宽。同时，若调度系统缺乏对上一时刻拓扑配置的感知，链路质量的短时波动还可能触发频繁迁移，导致流水线长期处于重构阻塞状态。

技术实现思路

1、为了解决现有技术中存在的上述问题，本发明提供了一种基于无人机集群的分布式大语言模型协同推理方法及系统。本发明要解决的技术问题通过以下技术方案实现：

2、第一方面，本发明提供了一种基于无人机集群的分布式大语言模型协同推理方法，包括：

3、实时获取无人机集群中各无人机节点的硬件状态信息及各无人机节点间的无线链路特征，基于所述硬件状态信息和所述无线链路特征构建实时集群拓扑图；

4、将大语言模型垂直划分为多个流水线阶段，基于所述实时集群拓扑图将各所述流水线阶段部署于各无人机节点；

5、通过执行各流水线阶段的无人机节点，将前向计算生成的边界中间激活张量序列化备份至本地环形缓冲区；

6、在无人机节点的剩余可用资源低于预设资源阈值，或相邻无人机节点间的链路质量低于预设连通阈值的情况下，冻结当前流水线的协同推理状态，基于所述硬件状态信息、所述无线链路特征及上一时刻执行的拓扑配置生成候选配置池；

7、基于所述实时集群拓扑图和所述上一时刻执行的拓扑配置，从所述候选配置池中确定目标拓扑配置；

8、基于所述目标拓扑配置识别发生迁移的流水线阶段和新无人机节点，保持未发生迁移的无人机节点上的历史键值缓存，通过所述发生迁移的流水线阶段的前序无人机节点，从其本地环形缓冲区中读取所述边界中间激活张量并传输至所述新无人机节点，使所述新无人机节点执行一次局部预填充计算并重建局部键值缓存，恢复协同解码计算。

9、第二方面，本发明提供了一种基于无人机集群的分布式大语言模型协同推理系统，包括：

10、数据获取模块，用于实时获取无人机集群中各无人机节点的硬件状态信息及各无人机节点间的无线链路特征，基于所述硬件状态信息和所述无线链路特征构建实时集群拓扑图；

11、分布式推理模块，用于将大语言模型垂直划分为多个流水线阶段，基于所述实时集群拓扑图将各所述流水线阶段部署于各无人机节点；

12、张量缓存模块，用于通过执行各流水线阶段的无人机节点，将前向计算生成的边界中间激活张量序列化备份至本地环形缓冲区；

13、重构触发模块，用于在无人机节点的剩余可用资源低于预设资源阈值，或相邻无人机节点间的链路质量低于预设连通阈值的情况下，冻结当前流水线的协同推理状态，基于所述硬件状态信息、所述无线链路特征及上一时刻执行的拓扑配置生成候选配置池；

14、目标决策确定模块，用于基于所述实时集群拓扑图和所述上一时刻执行的拓扑配置，从所述候选配置池中确定目标拓扑配置；

15、容错恢复模块，用于基于所述目标拓扑配置识别发生迁移的流水线阶段和新无人机节点，保持未发生迁移的无人机节点上的历史键值缓存，通过所述发生迁移的流水线阶段的前序无人机节点，从其本地环形缓冲区中读取所述边界中间激活张量并传输至所述新无人机节点，使所述新无人机节点执行一次局部预填充计算并重建局部键值缓存，恢复协同解码计算。

16、第三方面，本发明提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；

17、所述存储器，用于存放计算机程序；

18、所述处理器，用于执行所述存储器上所存放的计算机程序时，实现第一方面提供的基于无人机集群的分布式大语言模型协同推理方法的步骤。

19、与现有技术相比，本发明的有益效果：

20、本发明提供的基于无人机集群的分布式大语言模型协同推理方法，通过实时获取无人机集群中各无人机节点的硬件状态信息及无线链路特征并构建实时集群拓扑图，为大语言模型在无人机集群上的分布式流水线部署与动态重构提供状态感知基础；通过将前向计算生成的边界中间激活张量序列化备份至各无人机节点的本地环形缓冲区，使拓扑重构时能够通过发生迁移的流水线阶段的前序无人机节点传输该边界中间激活张量，驱动新接入的无人机节点执行局部预填充计算并重建局部键值缓存，从而避免全网无人机节点丢弃历史键值缓存后重新计算，也避免在无线网络中传输体量较大的动态键值缓存，降低重构延迟和通信开销；通过在无人机节点剩余可用资源低于阈值或相邻节点间链路质量低于阈值时冻结当前流水线的协同推理状态，并基于硬件状态信息、无线链路特征及上一时刻执行的拓扑配置生成候选配置池，将拓扑决策的搜索范围限定于满足节点资源与链路条件的候选配置中，降低板载调度计算负担；基于实时集群拓扑图和上一时刻执行的拓扑配置从候选配置池中确定目标拓扑配置，使拓扑决策能够参考历史执行状态，在链路质量短时波动时降低不必要迁移的发生概率，抑制拓扑重构中的乒乓效应；通过保持未发生迁移的无人机节点上的历史键值缓存并仅对迁移阶段执行局部预填充计算，保障协同解码计算的连续性。最终，本发明可以降低全局重算和动态键值缓存传输带来的重构开销，保障无人机集群分布式大模型协同推理的连续性。

21、以下将结合附图及实施例对本发明做进一步详细说明。

1.一种基于无人机集群的分布式大语言模型协同推理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述硬件状态信息包括各无人机节点的可用算力、剩余电量和空闲显存中的至少一种；

3.根据权利要求1所述的方法，其特征在于，所述将大语言模型垂直划分为多个流水线阶段，基于所述实时集群拓扑图将各所述流水线阶段部署于各无人机节点，包括：

4.根据权利要求1所述的方法，其特征在于，所述通过执行各流水线阶段的无人机节点，将前向计算生成的边界中间激活张量序列化备份至本地环形缓冲区，包括：

5.根据权利要求1所述的方法，其特征在于，所述基于所述硬件状态信息、所述无线链路特征及上一时刻执行的拓扑配置生成候选配置池，包括：

6.根据权利要求1所述的方法，其特征在于，所述基于所述实时集群拓扑图和所述上一时刻执行的拓扑配置，从所述候选配置池中确定目标拓扑配置，包括：

7.根据权利要求1所述的方法，其特征在于，所述基于所述目标拓扑配置识别发生迁移的流水线阶段和新无人机节点，包括：

8.根据权利要求1所述的方法，其特征在于，所述使所述新无人机节点执行一次局部预填充计算并重建局部键值缓存，恢复协同解码计算，包括：

9.一种基于无人机集群的分布式大语言模型协同推理系统，其特征在于，包括：

10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；