基于Q学习的单步生成策略的无人机自主决策控制方法
本申请涉及无人机,特别是涉及一种基于q学习的单步生成策略的无人机自主决策控制方法。
背景技术:
1、在无人机作业场景中,高效、智能的决策与控制是实现复杂任务的关键。离线强化学习为无人机利用历史飞行数据训练决策模型提供了可能,无需在线环境交互,契合无人机在安防巡检、物流配送等安全关键、探索成本高场景的需求 。
2、然而,现有方法在无人机策略学习中存在显著局限:传统单步高斯策略因单模态特性,难以适配无人机复杂多模态动作需求。比如在城市复杂空域避障飞行时,需灵活规划多路径、多姿态调整动作,高斯策略无法有效捕捉这类丰富行为模式,限制无人机应对动态多变环境的能力。基于流和扩散的生成模型虽能建模多模态分布,但多依赖多步生成计算耗时且不稳定。无人机任务对实时性要求高,如应急救援场景快速决策,多步生成导致的延迟与资源消耗,会降低作业效率甚至影响任务执行。直接适配 meanflow 等框架到无人机离线强化学习时,需分离速度估计与噪声-动作转换,易引发策略输出与实际动作不匹配。无人机训练早期,生成动作常超出有效范围,破坏行为克隆与贝尔曼目标一致性,导致训练不稳定,影响策略收敛与性能,难以可靠支撑巡检、配送等任务。
3、综上,无人机领域迫切需要一种单步生成、高效稳定且适配 q 学习的策略,解决多模态动作建模、实时推断及训练匹配难题,提升无人机在复杂场景下的自主决策与控制水平,这成为推动无人机技术深化应用的关键技术需求。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种提升无人机在复杂场景下的自主决策与控制水平的基于q学习的单步生成策略的无人机自主决策控制方法。
2、一种基于q学习的单步生成策略的无人机自主决策控制方法,所述方法包括:
3、获取无人机历史飞行数据;设置残差映射;残差映射用于将飞行数据中的速度场和噪声映射到无人机的动作;
4、计算残差映射的时间导数;基于残差映射的时间导数设置损失函数;根据无人机历史飞行数据和损失函数对残差映射进行训练,得到训练好的残差映射;利用训练好的残差映射对输入的飞行数据进行映射,得到候选动作;
5、根据自适应行为克隆系数对行为策略采样函数过程中的动作学习目标进行训练,基于训练好的行为策略采样函数对候选动作进行采样,将最高q值的动作用于贝尔曼迭代进行动作选择,得到最终的动作,即无人机决策;无人机决策包括避障、绕行、配送和停靠。
6、上述基于q学习的单步生成策略的无人机自主决策控制方法,首先无需迭代推断的高效单步噪声到动作生成机制,通过残差映射直接将飞行数据中的速度场和噪声转化为动作,省去了传统方法的多步积分或迭代过程。这使得无人机在处理避障、绕行等动态任务时,决策延迟大幅降低,能快速响应城市复杂空域中的突发情况,满足应急救援等场景对实时性的严苛要求。其次,通过单阶段训练用 q 学习对复杂多模态动作分布进行表达性建模,体现在残差映射的设计与训练中。利用历史飞行数据涵盖的多样化动作模式(如配送时的垂直降落与斜向停靠),残差映射可学习多模态分布,生成丰富的候选动作;再结合 q 学习对候选动作的价值评估,最终选择最高 q 值动作用于贝尔曼迭代,完美适配了无人机在复杂场景下对多路径规划、多姿态调整的需求,突破了传统单步高斯策略的单模态局限。最后,高效且稳定的策略学习得益于损失函数与自适应机制的协同。基于残差映射时间导数构建的损失函数,确保了动作生成符合无人机运动学规律;自适应行为克隆系数则动态平衡数据拟合与价值优化,在训练初期强化行为克隆以保证动作有效性,后期通过 q 学习优化提升效率,避免了训练震荡,使策略能稳定收敛,可靠支撑巡检、配送等复杂任务,最终实现无人机在动态环境中自主决策与控制水平的全面提升。
1.一种基于q学习的单步生成策略的无人机自主决策控制方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,设置残差映射为:
3.根据权利要求1所述的方法,其特征在于,计算所述残差映射的时间导数,包括:
4. 根据权利要求3所述的方法,其特征在于,将meanflow 恒等式代入残差映射中,得到替换后的残差映射,包括:
5. 根据权利要求4所述的方法,其特征在于,根据应用链式法则计算所述替换后的残差映射的总时间导数,包括:
6. 根据权利要求5所述的方法,其特征在于,将所述时间总导数代入替换后的残差映射中,得到残差映射的时间导数,包括:
7. 根据权利要求1所述的方法,其特征在于,基于所述残差映射的时间导数设置损失函数,包括:
8. 根据权利要求1所述的方法,其特征在于,根据自适应行为克隆系数对行为策略采样函数过程中的动作学习目标进行训练,包括:
9.根据权利要求1所述的方法,其特征在于,基于训练好的行为策略采样函数对所述候选动作进行采样,包括:
10. 根据权利要求1所述的方法,其特征在于,将最高q值的动作用于贝尔曼迭代,包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com