基于分层强化学习的多无人机协同巡检方法和系统及计算设备
本发明涉及无人机自主控制与电力系统智能化运维,具体涉及一种基于分层强化学习的多无人机协同巡检方法和系统及计算设备。
背景技术:
1、随着电网规模持续扩大以及输电线路运行环境日益复杂,电力设施的常态化、精细化巡检已成为保障电网安全稳定运行的重要环节。无人机巡检凭借机动性强、部署灵活、可抵达山地、河谷、跨越区等人员难以接近区域的特点,已逐渐成为输电线路巡检的重要技术手段。
2、现有无人机巡检方式通常依赖人工预设航线或基于静态地理信息进行全局路径规划,虽然能够完成常规巡检任务,但在面对飞鸟群、临时施工设施、局部强风、通信延迟以及多架无人机同时作业等复杂情况时,容易出现在线重规划能力不足、局部避障响应滞后和机间冲突风险增大的问题。
3、对于多无人机协同巡检场景,传统的分区巡检或固定编队方式难以根据无人机剩余电量、任务完成进度、目标空间分布和动态风险状态进行自适应任务调度;若采用单一强化学习智能体直接处理全部无人机与全部巡检目标,又会面临状态空间维度高、训练收敛困难和实时决策负担较重的问题。
4、因此,需要一种技术方案,能够在复杂动态环境下实现安全协同的多无人机巡检方法及系统。
技术实现思路
1、本发明旨在提供一种基于分层强化学习的多无人机协同巡检方法和系统及计算设备,在仿真训练阶段进行参数化采样,构建可训练、可复现的动态交互环境。利用分层强化学习方法对所述分层决策模型进行训练,使任务分配层与飞行控制层之间形成面向动态采样环境的协同闭环,实现多无人机巡检任务的动态分配。
2、根据本发明的一方面,提供一种基于分层强化学习的多无人机协同巡检方法,所述方法包括:
3、根据巡检目标区域构建仿真训练环境,基于所述仿真训练环境构建分层决策模型,所述分层决策模型包含用于全局多机任务指令分配的顶层策略子模型和用于单机安全航线规划的底层策略子模型,并定义与各模型相对应的状态空间、动作空间及奖励函数;
4、在仿真训练环境中,利用分层强化学习方法对所述分层决策模型进行训练,所述顶层策略子模型被训练以学习为多无人机协同分配任务指令,所述底层策略子模型被训练以学习基于单个无人机的观测和任务指令进行安全航线规划;
5、将训练完成的所述分层决策模型部署至实际系统,所述顶层策略子模型在中央计算单元运行,为无人机群分派任务指令,所述底层策略子模型被实例化到每架无人机的机载计算单元上运行,根据接收到的任务指令与自身局部感知信息规划本机航线;
6、建立事件驱动的无人机群协同机制,响应于任一无人机由任务执行状态转变为空闲状态,所述机载计算单元向中央计算单元发送状态反馈信息,所述状态反馈信息至少包括无人机标识、当前位置、剩余电量和上一任务的执行结果;
7、通过所述顶层策略子模型生成候选任务集合和动作可行性掩码,并根据候选任务对应的预估参考路径之间是否存在交会区域以及到达所述交会区域的时间差,确定各候选任务对应的冲突风险标志;
8、所述顶层策略子模型从经所述动作可行性掩码处理后的候选任务集合中,结合各候选任务对应的冲突风险标志,为处于空闲状态的无人机分配任务指令,所述底层策略子模型根据所述任务指令和无人机的局部感知信息生成飞行控制指令;
9、在所述任务指令执行完成或执行失败后,利用任务执行结果计算所述顶层策略子模型的任务级延迟奖励,并利用所述状态反馈信息触发下一次任务分配。
10、根据一些实施例,所述根据巡检目标区域构建仿真训练环境包括根据巡检目标区域的地理空间数据、输电线路三维点云及建筑数字化模型构建仿真训练环境,所述仿真训练环境包含静态要素与动态要素:
11、所述静态要素包括输电塔、导线、绝缘子、树林、建筑物以及地形起伏区域;
12、所述动态要素包括模拟飞鸟群、可变风速场和临时障碍物,
13、所述模拟飞鸟群通过飞鸟数量、初始位置、飞行方向、飞行速度、群体半径、运动持续时间和出现区域进行参数化采样;
14、所述可变风速场通过风向、平均风速、阵风幅值、变化周期、作用高度和影响区域进行参数化采样;
15、所述临时障碍物通过障碍物类型、空间位置、尺寸范围和出现时刻进行采样。
16、根据一些实施例,所述顶层策略子模型的状态空间、动作空间及奖励函数包括:
17、所述顶层策略子模型的状态空间为全局状态信息,包括所有无人机的全局位置、剩余电量和当前工作状态,所有巡检目标的地理位置、完成状态和占用状态,以及充电站的可用状态;
18、所述顶层策略子模型的动作空间为向处于空闲状态的无人机分配任务指令,所述任务指令包括巡检指令、充电指令和返航指令;
19、在所述顶层策略子模型输出各候选任务对应的任务分配概率之前,根据巡检目标的完成状态和占用状态、无人机的剩余电量、无人机当前位置至候选任务目标的预估航程以及充电站的可用状态,生成与各候选任务一一对应的动作可行性掩码;利用所述动作可行性掩码将不满足任务执行条件的候选任务对应的任务分配概率设置为零,并对其余候选任务的任务分配概率进行归一化;
20、所述顶层策略子模型的奖励函数用于在所分配的任务指令执行完成或执行失败后,根据所述任务指令的执行结果计算任务级延迟奖励。
21、根据一些实施例,所述顶层策略子模型的奖励函数包括任务完成奖励、时间惩罚、电量惩罚和冲突惩罚,奖励函数的数学计算式为:
22、
23、其中,为各奖励分项的权重系数,为任务完成奖励,为时间惩罚,为电量惩罚,为冲突惩罚;
24、所述冲突惩罚的获取方法为:根据任务分配时刻各无人机的已知状态、目标点及预设平均巡航速度,构建预估参考路径;若两条及以上预估参考路径存在交会区域,且对应预计到达时间的差值小于预设的安全时间阈值,则引入冲突惩罚。
25、根据一些实施例, 所述底层策略子模型的状态空间、动作空间及奖励函数,包括:
26、所述底层策略子模型的状态空间包含单机局部感知信息、邻近无人机相对状态、自身运动状态及任务目标相对位置;
27、所述底层策略子模型的动作空间包含无人机的飞行姿态或速度控制指令;
28、所述底层策略子模型的奖励函数包括导航奖励、安全奖励、控制奖励和机间避碰奖励。
29、根据一些实施例,所述底层策略子模型的奖励函数的计算公式为:
30、
31、其中,为各奖励分项的权重系数,为导航奖励、为安全奖励、为控制奖励,为机间避碰奖励;
32、所述导航奖励根据无人机当前位置与目标点位置之间的距离确定,所述安全奖励根据无人机与障碍物之间的距离及安全阈值确定,所述控制奖励根据无人机当前速度矢量的模长与最优巡航速度之间的偏差确定,所述机间避碰奖励根据当前无人机与通信范围内任一邻近无人机之间的最小距离及预设机间安全距离确定。
33、根据一些实施例,所述利用分层强化学习方法对所述分层决策模型进行训练,包括预训练阶段和分层联合训练阶段;
34、在预训练阶段,为仿真环境中的无人机随机生成单一任务指令,仅利用底层策略子模型的奖励函数进行策略梯度更新,使底层策略子模型学会基础的飞行与避障技能;
35、在分层联合训练阶段,引入顶层策略子模型,当仿真环境中某架无人机完成任务转变为空闲状态时,触发顶层策略子模型分配新任务指令,无人机由底层策略子模型控制执行;
36、当对应任务被标记为完成或失败后,根据该任务指令的最终执行结果计算顶层策略子模型的延迟奖励,并利用所述延迟奖励更新顶层策略子模型,同时底层策略子模型继续接收其自身的奖励进行微调。
37、根据一些实施例,所述无人机判定任务完成或失败的判断条件包括:
38、当任务指令为巡检指令时,无人机到达巡检目标的预设空间范围内,并在预设悬停时间内完成数据采集后,判定任务完成;
39、当任务指令为充电指令时,无人机到达充电站并完成降落、对接或进入可充电状态后,判定任务完成;
40、当任务指令为返航指令时,无人机到达基站完成降落或进入待机状态后,判定任务完成;
41、若无人机在预设时间内未到达目标点、电量低于安全阈值、通信中断超过预设时长或与障碍物距离低于安全阈值,则判定任务失败。
42、根据本发明的另一方面,提供一种基于分层强化学习的多无人机协同巡检系统,所述系统包括:
43、仿真训练模块,用于根据巡检目标区域构建包含静态要素和动态要素的仿真训练环境,并在所述仿真训练环境中训练包含顶层策略子模型和底层策略子模型的分层决策模型;
44、状态管理模块,用于记录各无人机的位置、剩余电量、工作状态和任务执行结果,并记录各巡检目标的完成状态和占用状态;
45、第一层决策模块,部署于中央计算单元,用于响应无人机发送的空闲状态反馈,根据所述状态管理模块记录的信息生成候选任务集合,对所述候选任务集合执行动作可行性掩码处理和冲突风险筛查,并利用经训练的顶层策略子模型为处于空闲状态的无人机分配任务指令;
46、第二层控制模块,分别部署于各无人机的机载计算单元,用于接收所述任务指令,将所述任务指令与无人机的局部环境感知信息、邻近无人机相对状态和自身运动状态进行融合,并利用经训练的底层策略子模型生成飞行控制指令;
47、协同通信模块,用于在所述中央计算单元与各无人机的机载计算单元之间传输任务指令、无人机状态和任务执行结果;
48、其中,所述任务执行结果用于计算所述顶层策略子模型的任务级延迟奖励,并用于触发所述第一层决策模块执行下一次任务分配。
49、根据本发明的另一方面,提供一种计算设备,包括:
50、处理器;以及
51、存储器,存储有计算机程序,当所述计算机程序被所述处理器执行时,实现如上任一项所述的方法。
52、本发明实施例提供的技术方案包括以下有益效果:
53、本发明通过设置包含顶层策略子模型(全局任务分配)和底层策略子模型(单机航线规划)的分层决策模型,降低了强化学习的复杂度,提升了训练收敛速度与策略稳定性。通过定义状态空间、动作空间及奖励函数,为强化学习算法提供了标准化的输入输出接口,保证了策略优化的稳定性和可解释性。
54、建立基于无人机空闲状态的事件驱动协同机制,改变了传统周期性轮询或固定时序的调度方式,使得提高系统资源利用率:只有当无人机完成当前任务时,才触发顶层策略进行下一轮决策,避免了无效计算和通信开销。
55、同时,结合机载计算单元的实时反馈,系统能够对动态变化的环境(如突发障碍、电量变化)做出响应,既保障了多机协作效率,又增强了系统在通信受限或局部故障下的鲁棒性。实现了多无人机群在复杂巡检任务中的自适应闭环协同,提高了巡检效率和任务完成的成功率,适用于复杂动态环境下的大规模无人机集群协同作业。
56、上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com