基于多智能体协同的城市运输无人机起降联调方法及系统与流程
本发明涉及无人机交通管理,尤其涉及基于多智能体协同的城市运输无人机起降联调方法及系统。
背景技术:
1、城市运输无人机起降调度中,现有方法多将空域通行与地面机位资源割裂建模,导致起降放行与机位释放时序难以联动;多机并发场景下集中式调度存在信用归因困难、人工干预频繁、复飞率高,造成空域资源浪费和运维成本上升。
技术实现思路
1、本发明的目的在于提供一种基于多智能体协同的城市运输无人机起降联调方法及系统,以解决现有技术中空域状态与地面资源割裂建模、多机协同奖励归因扩散以及真实部署试错成本较高而导致的联调失配、复飞增加和人工干预负担加重的问题。为实现上述目的,本发明提供一种基于多智能体协同的城市运输无人机起降联调方法及系统,包括:
2、步骤s1,建立包含起降点、备降点、充电位、空中走廊连接关系和地面滑行连接关系的站点网络有向图,基于历史轨迹、站点状态、气象扰动和联调日志构建数字孪生联调环境,并建立统一参数字典;
3、步骤s2,获取实时多机状态和实时站点资源状态,基于所述实时多机状态构建多机状态表,基于所述实时站点资源状态构建联调上下文资源表,依据无人机之间的相对时距、冲突风险评分和站点资源竞争强度生成邻机稀疏通信图,并基于所述多机状态表、联调上下文资源表和邻机稀疏通信图形成空地耦合状态编码;
4、步骤s3,基于所述空地耦合状态编码、统一参数字典、历史联调日志和数字孪生轨迹,构建并训练空地耦合分层协同策略网络,得到训练完成的空地耦合分层协同策略网络;
5、步骤s4,基于当前周期的所述空地耦合状态编码和训练完成的空地耦合分层协同策略网络,生成全局放行矩阵、机位排序结果和单机局部动作分布,并基于所述全局放行矩阵、机位排序结果和单机局部动作分布形成联合动作;
6、步骤s5,基于预测轨迹、站点容量状态、机位释放时刻、禁飞窗口和所述联合动作构建安全可行域,对所述联合动作执行安全投影,得到安全联合动作,并将所述安全联合动作映射为无人机飞控指令和起降站控制指令。
7、优选的,建立站点网络有向图包括:获取城市运输网络中的起降点、备降点和充电位,生成节点集合;获取空中走廊连接关系和地面滑行连接关系,生成边集合;向所述节点集合中的各节点写入容量、当前占用、预计释放时刻、地面保障状态和禁飞窗口,向所述边集合中的各边写入航程长度、推荐高度层、限速值和通行方向;基于所述节点集合和边集合,得到所述站点网络有向图。
8、优选的,依据无人机之间的相对时距、冲突风险评分和站点资源竞争强度生成邻机稀疏通信图包括:基于所述多机状态表确定各无人机的预计到达时刻和机位关联状态,并结合当前任务航路确定各无人机的目标站点,生成候选邻机对;基于所述候选邻机对在同一进近扇区、同一目标站点关联区域和同一备降竞争区域中的空间关联关系,筛选候选邻接边;基于所述候选邻接边对应的相对时距、冲突风险评分和站点资源竞争强度,计算候选邻接边权;根据预设连接阈值和预设邻机保留数量,依据所述候选邻接边权对候选邻接边进行筛选,得到所述邻机稀疏通信图。
9、优选的,基于所述候选邻接边对应的相对时距、冲突风险评分和站点资源竞争强度,计算候选邻接边权包括:基于所述候选邻接边对应的相对时距相对于预设冲突判断时间窗的接近程度,计算时间接近评分;基于所述候选邻接边对应的预测轨迹在预设预测窗口内的最小水平间隔裕度和最小垂直间隔裕度,计算冲突风险评分;基于所述候选邻接边对应的共享目标站点、共享机位候选集合、到达时窗与释放时窗的重叠度以及共享备降点竞争关系,计算站点资源竞争强度;对所述时间接近评分、冲突风险评分和站点资源竞争强度进行加权压缩,得到所述候选邻接边权。
10、优选的,形成空地耦合状态编码包括:基于所述实时多机状态提取无人机的位置、高度、速度、航向、剩余电量、预计到达时刻、任务优先级和机位关联状态,得到所述多机状态表;基于所述实时站点资源状态提取站点、跑道入口、机位、充电位和备降点的容量、占用率、预计释放时刻、风速、风向偏差、阵风等级、装卸可用标志、电池更换可用标志、引导可用标志和禁飞窗口状态,得到所述联调上下文资源表;将所述多机状态表、联调上下文资源表和邻机稀疏通信图分别输入嵌入层,得到单机局部表征、站点全局表征和邻机交互表征;基于所述单机局部表征、站点全局表征和邻机交互表征,形成所述空地耦合状态编码。
11、优选的,构建并训练空地耦合分层协同策略网络包括:基于所述站点全局表征和全体无人机汇总表征,构建用于输出全局放行矩阵和机位排序结果的上层协调器;基于所述单机局部表征、目标站点上下文和邻机交互表征,构建用于输出单机局部动作分布的参数共享策略网络;基于全局状态和联合动作回报,构建用于评估系统级累计收益的集中式价值评估器;基于所述历史联调日志和数字孪生轨迹,执行离线预训练与专家蒸馏,并执行在线强化微调与联合损失优化,得到训练完成的所述空地耦合分层协同策略网络。
12、优选的,执行在线强化微调与联合损失优化包括:在所述数字孪生联调环境和受控在线环境中获取状态转移片段,基于所述状态转移片段计算策略更新损失、价值回归损失、探索正则损失、安全约束损失和专家蒸馏损失;基于预设的各损失权重系数对所述策略更新损失、价值回归损失、探索正则损失、安全约束损失和专家蒸馏损失进行加权聚合,得到联合损失;基于所述联合损失更新所述上层协调器、参数共享策略网络和集中式价值评估器的参数;完成所述空地耦合分层协同策略网络的参数更新。
13、优选的,完成所述空地耦合分层协同策略网络的参数更新之后,还包括:固定当前无人机之外的其他无人机动作和全局动作,获取当前无人机在当前局部观测下的候选动作集合;基于所述集中式价值评估器分别计算当前无人机采用当前动作时的联合动作价值,以及按当前策略分布遍历所述候选动作集合时的期望联合动作价值;以所述当前动作对应的联合动作价值减去所述期望联合动作价值,得到单机动作对应的边际贡献;基于所述边际贡献修正当前无人机的优势估计,以降低多智能体训练中的奖励归因扩散。
14、优选的,对所述联合动作执行安全投影包括:基于所述预测轨迹、站点容量状态、机位释放时刻、禁飞窗口和剩余电量可达性,对所述联合动作中的离散联调动作进行硬约束筛选,得到离散可行动作集合;基于所述离散可行动作集合中各离散联调动作对应的速度上界、转向角速率上界、下滑率和悬停时长,对连续控制量执行约束收缩,得到连续控制可行集;基于离散动作差异代价、连续控制偏离代价以及延误代价、附加能耗代价、频繁切换代价和动作抖动代价,对所述离散可行动作集合和连续控制可行集进行联合优化,得到所述安全联合动作。
15、本发明还提供了一种基于多智能体协同的城市运输无人机起降联调系统,包括:拓扑环境构建模块,用于建立包含起降点、备降点、充电位、空中走廊连接关系和地面滑行连接关系的站点网络有向图,基于历史轨迹、站点状态、气象扰动和联调日志构建数字孪生联调环境,并建立统一参数字典;状态编码模块,用于获取实时多机状态和实时站点资源状态,基于所述实时多机状态构建多机状态表,基于所述实时站点资源状态构建联调上下文资源表,依据无人机之间的相对时距、冲突风险评分和站点资源竞争强度生成邻机稀疏通信图,并基于所述多机状态表、联调上下文资源表和邻机稀疏通信图形成空地耦合状态编码;策略训练模块,用于用于基于所述空地耦合状态编码、统一参数字典、历史联调日志和数字孪生轨迹,构建并训练空地耦合分层协同策略网络,得到训练完成的空地耦合分层协同策略网络;动作生成模块,用于基于当前周期的所述空地耦合状态编码和训练完成的空地耦合分层协同策略网络,生成全局放行矩阵、机位排序结果和单机局部动作分布,并基于所述全局放行矩阵、机位排序结果和单机局部动作分布形成联合动作;安全执行模块,用于基于预测轨迹、站点容量状态、机位释放时刻、禁飞窗口和所述联合动作构建安全可行域,对所述联合动作执行安全投影,得到安全联合动作,并将所述安全联合动作映射为无人机飞控指令和起降站控制指令;所述系统用于实现如权利要求1至9中任一项所述的基于多智能体协同的城市运输无人机起降联调方法及系统中的方法步骤。
16、本发明通过以下方面提升调度性能:其一,将起降点、备降点、充电位、空中走廊与地面滑行统一建模,并构建空地耦合状态编码,使空域放行与地面机位释放联动决策,减少机位空置与等待冲突;其二,采用上层协调器与参数共享策略网络的分层协同架构,并通过反事实优势分解修正单机边际贡献,缓解多智能体信用归因扩散,提升策略训练稳定性;其三,离线预训练与专家蒸馏缩短在线试错周期,结合数字孪生扰动增强,降低真实部署中的人工接管频次;其四,安全投影将预测轨迹、站点容量、机位释放时刻、禁飞窗口与联合动作约束统一求解,提高联调指令的可执行性与安全性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com