基于多智能体学习的无人机集群通信资源分配方法及系统与流程

本发明涉及无人机集群通信资源管理，尤其涉及一种基于多智能体学习的无人机集群通信资源分配方法及系统。

背景技术：

1、无人机集群通常由多架无人机组成，各无人机之间需要通过无线链路进行状态交互、任务协同和数据传输。在集群飞行、协同感知、应急通信、巡检监测和复杂环境任务执行过程中，无人机之间的相对位置、通信距离、信道条件、业务负载和干扰状态会随时间快速变化，使无人机集群通信网络呈现出拓扑动态性强、链路质量波动明显、可用频谱受限和业务服务质量要求差异较大的特点。

2、现有通信资源分配方法中，一类方法依赖中心控制节点收集全局状态后进行统一调度，但在无人机集群高速移动、链路易中断和任务区域分散的情况下，中心控制节点容易成为通信瓶颈或单点失效节点，难以及时获得完整准确的全局状态。另一类方法采用分布式方式由各无人机独立选择频谱或功率资源，但通常仅根据本机局部状态进行决策，缺乏对邻域资源竞争、邻域干扰变化和邻居链路可信程度的有效感知，容易造成同频冲突、功率竞争、带宽占用不均和业务时延越限。

3、此外，现有基于强化学习或多智能体学习的资源分配方法多侧重于单一资源或少量资源的优化，例如仅优化信道接入、频谱选择或发射功率，难以同时处理频谱子带、发射功率和占用带宽之间的耦合关系。部分方法虽然将约束条件写入奖励函数，但策略网络在探索过程中仍可能输出不满足频谱互斥、功率上限、带宽余量、干扰阈值或时延阈值的不可执行动作，导致训练效率降低并影响实际通信可靠性。对于无人机集群中常见的链路丢包、邻居状态缺失和拓扑切换问题，现有方法也缺少针对资源竞争信息可信度的衰减处理机制。

4、因此，亟需提供一种能够在无中心控制节点条件下运行，并能够结合邻域资源竞争状态、约束余量和链路可靠性，对频谱、功率和带宽进行联合分配的无人机集群通信资源分配方法及系统，以提高无人机集群通信资源分配的实时性、可执行性和抗拓扑变化能力。

技术实现思路

1、本发明的目的在于提供一种基于多智能体学习的无人机集群通信资源分配方法及系统，以解决现有无人机集群通信资源分配方法依赖中心控制节点、难以适应动态拓扑、难以联合分配频谱/功率/带宽资源以及强化学习输出动作可能不满足通信约束的问题。

2、本发明通过使各无人机基于本机局部通信状态生成资源竞争指纹和约束余量向量，并结合通信邻居的资源竞争指纹、约束余量向量和链路可靠性权重生成邻域可信摘要，再由分布式策略网络输出候选联合资源动作；在安全投影前，根据通信邻居上一资源分配周期的可执行联合资源动作、本周期安全投影前接收并冻结的通信邻居候选联合资源动作或最近一次有效接收的通信邻居资源意图，生成投影前参考资源意图，并基于所述投影前参考资源意图计算投影前预测邻域同频干扰；然后通过安全投影将候选联合资源动作转换为满足频谱互斥、功率上限、带宽余量、干扰阈值和时延阈值的可执行联合资源动作；通信执行后，再基于已确定的通信邻居可执行联合资源动作计算执行后反馈同频干扰，并利用执行后反馈同频干扰、吞吐量、时延、能耗和投影偏移生成分层约束奖励，从而在无中心控制节点的条件下实现无人机集群通信资源的分布式、协同化和可执行分配，并避免安全投影与邻居同周期可执行动作之间形成回环依赖。

3、为实现上述目的，本发明提供一种基于多智能体学习的无人机集群通信资源分配方法，包括：在每个资源分配周期，各无人机根据本机信道质量、业务队列、剩余能量、邻接位置、干扰测量和业务优先级生成局部通信状态；基于所述局部通信状态生成资源竞争指纹和约束余量向量，并将所述资源竞争指纹和约束余量向量与通信邻居交互；根据接收自通信邻居的资源竞争指纹、约束余量向量以及由指纹接收间隔、历史链路成功率和干扰波动确定的链路可靠性权重，生成邻域可信摘要；将所述局部通信状态、所述约束余量向量和所述邻域可信摘要输入本机分布式策略网络，得到包含频谱子带、发射功率和占用带宽的候选联合资源动作；在安全投影前，根据通信邻居上一资源分配周期的可执行联合资源动作、本周期安全投影前接收并冻结的通信邻居候选联合资源动作或最近一次有效接收的通信邻居资源意图，生成投影前参考资源意图；基于所述投影前参考资源意图计算投影前预测邻域同频干扰，并将所述候选联合资源动作投影到由频谱互斥、功率上限、带宽余量、干扰阈值和时延阈值限定的可行域内，得到可执行联合资源动作；按照所述可执行联合资源动作执行通信，执行后基于已确定的通信邻居可执行联合资源动作计算执行后反馈同频干扰，并根据吞吐量、时延、能耗、执行后反馈同频干扰和投影偏移生成分层约束奖励，利用所述分层约束奖励更新所述分布式策略网络；其中，所述投影前预测邻域同频干扰不以通信邻居在同一资源分配周期经安全投影后得到的可执行联合资源动作作为本周期安全投影的前置输入。

4、本发明还提供一种基于多智能体学习的无人机集群通信资源分配系统，包括分别部署于每架无人机的局部状态生成模块、指纹与余量生成模块、邻域可信摘要模块、分布式策略决策模块、投影参考意图冻结模块、安全投影执行模块、通信反馈模块和奖励更新模块；所述局部状态生成模块用于根据本机信道质量、业务队列、剩余能量、邻接位置、干扰测量和业务优先级生成局部通信状态；所述指纹与余量生成模块用于根据所述局部通信状态生成资源竞争指纹和约束余量向量并与通信邻居交互；所述邻域可信摘要模块用于根据通信邻居的资源竞争指纹、约束余量向量和链路可靠性权重生成邻域可信摘要；所述分布式策略决策模块用于根据所述局部通信状态、所述约束余量向量和所述邻域可信摘要输出包含频谱子带、发射功率和占用带宽的候选联合资源动作；所述投影参考意图冻结模块用于在安全投影前，根据通信邻居上一资源分配周期的可执行联合资源动作、本周期安全投影前接收并冻结的通信邻居候选联合资源动作或最近一次有效接收的通信邻居资源意图，生成投影前参考资源意图；所述安全投影执行模块用于基于所述投影前参考资源意图计算投影前预测邻域同频干扰，并将所述候选联合资源动作投影至由频谱互斥、功率上限、带宽余量、干扰阈值和时延阈值限定的可行域内，得到可执行联合资源动作；所述通信反馈模块用于在按照所述可执行联合资源动作执行通信后，基于已确定的通信邻居可执行联合资源动作生成执行后反馈同频干扰、吞吐量、时延和能耗；所述奖励更新模块用于根据执行后反馈同频干扰、吞吐量、时延、能耗和投影偏移生成分层约束奖励，并更新所述分布式策略决策模块；其中，所述安全投影执行模块不调用通信邻居在同一资源分配周期经安全投影后得到的可执行联合资源动作作为本周期安全投影的前置输入。

5、与现有技术相比，本发明至少具有以下有益效果：

6、1.本发明通过在每架无人机侧生成局部通信状态，并由各无人机独立执行分布式策略决策，无需依赖中心控制节点收集全局状态和下发统一调度结果，能够降低中心化调度带来的通信开销和单点失效风险，提高无人机集群在动态任务环境中的通信资源分配实时性。

7、2.本发明通过资源竞争指纹表征频谱占用倾向、队列竞争强度、功率竞争强度、带宽竞争强度和干扰敏感度，并通过约束余量向量表征功率、带宽、干扰和时延的剩余可用程度，使各无人机在不交换完整原始状态的情况下即可获得邻域资源竞争信息，有利于减少无人机之间的状态交互负载。

8、3.本发明根据通信邻居的指纹接收间隔、历史链路成功率和干扰波动确定链路可靠性权重，并基于链路可靠性权重生成邻域可信摘要，能够降低链路丢包、拓扑切换和干扰突变对邻域协同决策的影响，提高无人机集群通信资源分配在动态拓扑下的稳定性。

9、4.本发明将局部通信状态、约束余量向量和邻域可信摘要共同输入分布式策略网络，使每架无人机输出同时包含频谱子带、发射功率和占用带宽的候选联合资源动作，能够处理频谱、功率和带宽之间的耦合关系，避免现有单一资源分配方法难以协调多类通信资源的问题。

10、5.本发明在候选联合资源动作之后设置投影前参考资源意图冻结和安全投影处理，基于安全投影前已经获得并冻结的通信邻居参考资源意图计算投影前预测邻域同频干扰，并将候选联合资源动作投影到由频谱互斥、功率上限、带宽余量、干扰阈值和时延阈值限定的可行域内，能够使最终用于通信执行的动作满足通信约束，降低多智能体学习探索过程中产生不可执行动作的风险，并避免本周期安全投影等待通信邻居同周期安全投影结果。

11、6.本发明依据吞吐量、时延、能耗、干扰和投影偏移生成分层约束奖励，使分布式策略网络的更新同时考虑通信性能收益、资源消耗代价、约束越限惩罚和安全投影偏移惩罚，从而促使无人机在提高链路吞吐量的同时抑制干扰、降低能耗并满足业务服务质量要求。

12、7.本发明将邻域可信摘要、投影前参考资源意图冻结、安全投影执行、通信反馈和分层约束奖励形成闭环，使候选联合资源动作的生成、投影前参考资源意图冻结、约束修正、通信执行、执行后反馈和学习更新之间具有明确的数据传递关系，有利于提高无人机集群通信资源分配结果的可解释性、可执行性和持续优化能力。