一种无人机集群协同避碰方法及相关装置

本技术涉及无人机控制，尤其是涉及一种无人机集群协同避碰方法及相关装置。

背景技术：

1、城市低空空域环境呈现飞行空间受限、障碍物密集分布、航迹交叉频繁以及空域运行规则复杂等显著特征。在该环境下，多架无人机执行物流配送、巡检或应急救援任务时，需在有限通信范围与局部观测条件下同步实现目标点抵达与近距离冲突规避。由于无人机间存在动态相对运动关系，当前距离较远的两机可能在短时间内迅速接近，仅依赖当前距离进行避碰判断会导致冲突预警严重滞后，无法满足实时安全需求。现有避碰技术体系主要包含三类方法：几何规则方法如人工势场法或速度障碍法，虽具备计算高效与实现简易优势，但在三维复杂场景及多机高密度交互条件下，易受局部规则约束与瞬时状态信息局限，难以有效处理未来冲突趋势；传统路径规划方法如a*或rrt类算法的在线重规划，虽能利用环境结构进行路径搜索，但对动态多机交互响应、实时重规划能力及机载计算资源提出过高要求，难以适应城市低空快速变化的空域环境；普通多智能体强化学习方法如mappo或maddpg，虽可通过环境交互学习决策策略，但其安全机制通常仅依赖终端碰撞惩罚或当前距离惩罚，无法提前识别当前无碰撞但未来即将接近的潜在冲突风险，且缺乏对安全约束的显式表达与训练过程约束。值得注意的是，tcpa/dcpa等会遇几何指标已在海事与空中交通冲突探测中应用，但尚未与多无人机约束强化学习的安全约束训练机制实现深度结合，导致现有技术在预测性冲突感知、安全约束显式建模及分散式实时执行方面存在明显不足。因此，亟需发展一种能够融合未来冲突趋势预测、安全约束显式训练与分散执行部署的协同避碰机制，使无人机在城市低空复杂动态环境中具备提前感知冲突风险的能力，并输出符合实时控制周期要求的协同避碰动作。

2、针对上述问题，现有技术亟需改进。

技术实现思路

1、本技术提供一种无人机集群协同避碰方法及相关装置，具有预测性冲突感知能力、显式安全约束机制和分散式实时执行特性。

2、第一方面，本技术提供的一种无人机集群协同避碰方法采用如下的技术方案：

3、步骤一、将多无人机协同避碰问题建模为分散式部分可观测马尔可夫决策过程，定义系统状态空间、各架无人机的局部观测空间以及联合动作空间；

4、步骤二、对任意两架无人机，根据两机之间的相对位置与相对速度，计算两机的最近接近时间与最近接近距离；当所述最近接近时间不为负且小于预设的预警时间窗口阈值、且所述最近接近距离小于预设的安全间距阈值时，判定两机之间存在潜在冲突，触发预测性冲突惩罚项；将各架无人机对通信范围内邻机的预测性冲突惩罚项进行聚合，得到各架无人机的冲突代价信号，所述冲突代价信号独立于协同奖励函数，作为约束强化学习的代价通道输入；

5、步骤三、采用集中训练、分散执行方式训练参数共享的动作-评判策略网络，以最大化累积奖励期望、且累积冲突代价期望不超过预设约束阈值为约束优化目标，更新策略网络参数，并采用比例-积分-微分控制律自适应更新约束乘子；

6、步骤四、对训练完成的动作网络进行轻量化处理，并将轻量化处理后的动作网络部署至各架无人机的机载计算单元；执行阶段，各架无人机仅依据本机局部观测独立运行所述动作网络，实时输出避碰控制指令。

7、可选地，步骤一中，所述系统状态空间基于无人机质点动力学模型定义，单架无人机的状态包括三维位置、三维速度、航向角与剩余电量比例；所述局部观测空间基于机载定位传感器与机间通信链路定义；所述联合动作空间中，单架无人机的动作为三维连续加速度；各架无人机的局部观测向量由本机状态、本机相对目标点的位置向量以及通信范围内邻机的相对运动状态组成；当通信范围内邻机数量超过预设的邻机输入上限时，按照威胁等级对邻机进行降序排列后截取排序在前的邻机；当通信范围内邻机数量不足所述邻机输入上限时，以零向量补齐对应的观测分量；由此构造维度固定的局部观测向量，使策略网络的输入维度与集群规模无关；其中，所述威胁等级依据邻机与本机的相对距离、相对接近速度、最近接近时间与最近接近距离共同确定，最近接近时间越小、最近接近距离越小、相对距离越近且相对接近速度越大的邻机，被赋予的威胁等级越高，并被优先纳入本机的局部观测向量。

8、可选地，步骤二中，当所述最近接近时间的计算结果为负、即两架无人机正在相互远离时，将所述最近接近时间按零处理，此时所述最近接近距离退化为两机当前的相对距离；所述预测性冲突惩罚项在满足潜在冲突触发条件时取与预设惩罚权重正相关的值，在不满足潜在冲突触发条件时取零；所述聚合为本机对通信范围内各邻机的预测性冲突惩罚项求和，或取其中的最大值；所述预测性冲突惩罚项还采用随所述最近接近时间和所述最近接近距离的减小而增大的连续型或分段连续型惩罚函数实现，所述惩罚函数包括指数衰减形式的惩罚函数。

9、可选地，步骤二中，所述协同奖励函数由任务完成奖励与飞行效率惩罚项构成；所述飞行效率惩罚项包括能耗代价、机动平滑度代价与时间消耗代价，各代价分量均为非负值，所述任务完成奖励与所述飞行效率惩罚项分别乘以各自的权重系数后组合为所述协同奖励函数。

10、可选地，步骤三中，训练阶段，所述动作-评判策略网络中的评判网络利用包含多架无人机全局状态的信息估计联合状态价值；所述约束优化目标中的累积奖励期望为折扣累积奖励期望，累积冲突代价期望为折扣累积冲突代价期望；所述约束优化目标经拉格朗日松弛转化为含约束乘子的无约束优化目标。

11、可选地，步骤三中，冲突率约束违反量为实测的累积冲突代价期望与所述预设约束阈值之差；所述比例-积分-微分控制律中，比例项与当前的冲突率约束违反量成正比，积分项与冲突率约束违反量的历史累积量成正比，微分项与相邻两次冲突率约束违反量之差成正比；三项按各自的比例系数、积分系数和微分系数加权求和后，整体乘以预设的乘子更新步长，再累加更新至所述约束乘子，且更新后的约束乘子被约束为非负值。

12、可选地，步骤三中，训练过程采用由简至难的课程学习策略：训练场景由低交互密度场景向高密度多机冲突场景依次过渡；当前训练阶段满足预设的阶段切换条件后进入下一训练阶段，所述阶段切换条件为达到预设的训练轮次预算，或者当前阶段的成功率达到预设的阶段成功率阈值。

13、可选地，步骤四中，所述轻量化处理包括对动作网络的权重矩阵执行八位整数对称参数量化：量化缩放因子按权重矩阵中元素绝对值的最大值与八位整数表示范围之比确定，权重矩阵由浮点表示转换为八位整数表示存储，使策略网络的存储占用降低至浮点存储的四分之一左右；并通过预设的邻机输入上限固化动作网络的输入维度，使单步前向推理的计算量与集群规模无关；执行阶段的局部观测构造方式与训练阶段的局部观测构造方式保持一致；所述避碰控制指令为三维连续加速度控制指令，所述三维连续加速度控制指令经飞行控制接口转换为执行指令；执行阶段的每一个控制周期，各架无人机读取本机状态、获取通信范围内邻机信息、构造维度固定的局部观测向量，并由所述动作网络前向推理输出所述三维连续加速度控制指令。

14、可选地，所述预警时间窗口阈值取十秒量级，所述安全间距阈值取十五米量级，所述预设约束阈值依据预设的冲突率上限确定，所述冲突率上限取百分之五量级；所述累积奖励期望与累积冲突代价期望的折扣因子取零点九九量级。

15、第二方面，本技术还提供一种无人机集群协同避碰装置，包括：

16、空间模块，用于将多无人机协同避碰问题建模为分散式部分可观测马尔可夫决策过程，定义系统状态空间、各架无人机的局部观测空间以及联合动作空间；

17、计算模块，用于对任意两架无人机，根据两机之间的相对位置与相对速度，计算两机的最近接近时间与最近接近距离；当所述最近接近时间不为负且小于预设的预警时间窗口阈值、且所述最近接近距离小于预设的安全间距阈值时，判定两机之间存在潜在冲突，触发预测性冲突惩罚项；将各架无人机对通信范围内邻机的预测性冲突惩罚项进行聚合，得到各架无人机的冲突代价信号，所述冲突代价信号独立于协同奖励函数，作为约束强化学习的代价通道输入；

18、网络模块，用于采用集中训练、分散执行方式训练参数共享的动作-评判策略网络，以最大化累积奖励期望、且累积冲突代价期望不超过预设约束阈值为约束优化目标，更新策略网络参数，并采用比例-积分-微分控制律自适应更新约束乘子；

19、输出模块，用于对训练完成的动作网络进行轻量化处理，并将轻量化处理后的动作网络部署至各架无人机的机载计算单元；执行阶段，各架无人机仅依据本机局部观测独立运行所述动作网络，实时输出避碰控制指令。

20、综上描述，本技术通过计算最近接近时间与最近接近距离实现预测性冲突检测，并结合约束强化学习优化避碰策略，有效提前识别潜在冲突风险，同时确保分散式执行满足安全约束，具有预测性冲突感知能力、显式安全约束机制和分散式实时执行特性。