一种基于连续时序参考的无人机多速率控制方法及系统
本发明涉及无人机自主导航与控制,尤其涉及一种基于连续时序参考的无人机多速率控制方法和一种基于连续时序参考的无人机多速率控制系统。
背景技术:
1、相关技术中,无人机自主飞行系统通常包含任务决策、参考生成、位置控制、姿态控制和执行等多个层级。任务层需要处理目标、障碍物和环境约束,其合理更新周期通常不同于姿态稳定和执行控制所需的高频反馈周期。
2、若所有层级采用同一高频率同步计算,会增加任务决策模块的重复调用和计算负担;若低频任务层仅给出离散瞬时命令,而缺少可在高频控制周期中连续恢复的参考描述,则容易造成参考更新不连续或上下层时间语义不一致。特别是在滚动更新任务命令时,新旧参考描述在切换边界处容易出现跳变。若每次均以飞行器瞬时实际状态无条件初始化新参考,计划参考状态不能跨周期继承,会使下层控制目标产生不必要的不连续变化。
3、此外,对于采用学习型策略的任务决策模块,参考生成器内部保存的计划参考位置和计划参考速度会影响后续系统演化。如果学习策略只能观察到无人机实际状态,而看不到该内部参考状态或相应偏差,则从策略角度可能出现隐藏内部状态,增加训练难度。另一方面,一个上层动作通常会在多个下层闭环周期内持续生效,若经验回放仍按单一瞬时下层周期构造下一状态、回报和终止信息,学习转移与真实执行语义不匹配。
4、直接将强化学习策略部署到电机级高频控制层,需要同时处理任务导航、姿态稳定、电机分配及快速动力学变化,训练和验证成本较高。
技术实现思路
1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本发明的第一个目的在于提出一种基于连续时序参考的无人机多速率控制方法,以解决低频任务决策与高频飞行反馈控制之间时间尺度不匹配、参考切换不连续、学习型策略内部状态不可观测以及训练转移语义不一致的技术问题。
2、本发明的第二个目的在于提出一种基于连续时序参考的无人机多速率控制系统。
3、为达到上述目的,本发明第一方面实施例提出了一种基于连续时序参考的无人机多速率控制方法,包括:
4、第一更新过程,以第一更新周期运行,产生任务级运动命令;
5、连续时序参考生成过程,维护跨第一更新周期保留的计划参考状态,并基于任务级运动命令生成与多个未来执行时刻相关联的时序参考描述;其中,在新生成的时序参考描述生效时,以旧有时序参考描述在实际切换时刻对应的计划参考状态作为新生成的时序参考描述的初始边界,使得至少位置和一阶运动量连续;
6、第二更新过程,以短于第一更新周期的第二更新周期运行,在多个第二更新周期中,依据当前执行时刻从时序参考描述中确定参考值,并与无人机实时状态共同形成闭环飞行执行量。
7、另外,根据本发明上述实施例的基于连续时序参考的无人机多速率控制方法,还可以具有如下的附加技术特征:
8、根据本发明的一个实施例,以旧有时序参考描述在实际切换时刻对应的计划参考状态作为初始边界,包括:
9、以旧有时序参考描述在实际切换时刻的计划参考位置作为新生成的时序参考描述起点的计划参考位置,以及以旧有时序参考描述在实际切换时刻的计划参考速度作为新生成的时序参考描述起点的计划参考速度。
10、根据本发明的一个实施例,第一更新过程采用学习型策略;
11、学习型策略的观测信息至少包括计划参考状态与无人机实时状态之间的偏差和/或计划参考速度。
12、根据本发明的一个实施例,还包括训练阶段的多时间尺度经验转移构造过程:
13、按照任务级运动命令在真实执行过程中所持续的多个第二更新周期,构造下一状态、聚合回报和终止信息,以形成与真实执行过程持续时间相匹配的学习转移。
14、根据本发明的一个实施例,时序参考描述包括离散采样点、函数系数、样条参数、状态空间生成器输出或在线积分器输出中的一种或多种,使得能够依据当前执行时刻恢复对应的参考值。
15、根据本发明的一个实施例,连续时序参考生成过程还包括:
16、对参考速度的分轴变化量施加加速度约束限幅,并在速度边界约束下,采用梯形积分更新计划参考位置,以生成带相对时间标签的位置-速度节点序列。
17、根据本发明的一个实施例,任务级运动命令包括速度命令、加速度命令、航向命令、曲率命令、航路点增量命令、局部目标命令和轨迹参数命令中的至少一种。
18、根据本发明的一个实施例,第二更新过程包括:
19、依据当前执行时刻从时序参考描述中确定目标位置和目标速度,由位置环根据无人机实时位置、实时线速度、目标位置和目标速度计算目标推力方向和目标姿态,再由姿态环根据当前姿态与目标姿态形成姿态控制量,并经混控关系生成电机控制信号。
20、根据本发明的一个实施例,在训练阶段,学习型策略的actor网络和critic网络根据经验回放提供的训练样本进行梯度更新,目标网络按照预设更新规则进行更新,经验回放用于存储和提供训练样本,探索噪声用于动作探索;所述第二更新过程持续运行,且其控制参数不参与所述学习型策略的梯度更新;
21、在部署阶段,保留actor网络、连续时序参考生成过程、时序参考数据管理过程、第二更新过程以及飞行执行接口,移除critic网络、目标网络、经验回放和探索噪声。
22、根据本发明的一个实施例,时序参考描述还关联有时间管理信息,时间管理信息包括生成时间、开始时间、接收时间、有效期、版本号、坐标系标识及序号中的至少一种;
23、方法还包括时序参考数据管理过程:依据时间管理信息,对时序参考描述进行乱序拒绝、过期判定或有效性校验;
24、当时序参考描述超过有效期、接收超时、乱序到达或发生通信异常时,执行超期降级策略,超期降级策略包括在旧有时序参考描述仍处于有效期或安全允许范围内继续执行旧有时序参考描述,或切换至悬停模式、返航模式或安全接管模式中的至少一种。
25、根据本发明的一个实施例,飞行执行接口包括非对称rpm编解码接口,非对称rpm编解码接口被配置为:
26、以悬停转速作为归一化动作零点;
27、将最低有效转速至悬停转速的物理区间映射为第一归一化动作区间;
28、将悬停转速至最大允许转速的物理区间映射为第二归一化动作区间;
29、其中,第一归一化动作区间与第二归一化动作区间分别对应悬停转速两侧的物理转速区间,并采用不同的映射斜率。
30、为达到上述目的,本发明第二方面实施例提出了一种基于连续时序参考的无人机多速率控制系统,包括:
31、任务级信息获取模块,用于获取任务级信息;
32、低频任务决策模块,以第一更新周期运行,用于基于任务级信息产生任务级运动命令;
33、连续时序参考生成模块,用于维护跨第一更新周期保留的计划参考状态,并基于任务级运动命令生成与多个未来执行时刻相关联的时序参考描述;其中,连续时序参考生成模块被配置为:在新生成的时序参考描述生效时,以旧有时序参考描述在实际切换时刻对应的计划参考状态作为新生成的时序参考描述的初始边界,使得至少位置和一阶运动量连续;
34、时序参考数据管理模块,用于存储和管理时序参考描述,并依据执行时刻提供对应的参考值;
35、高频闭环执行模块,以短于第一更新周期的第二更新周期运行,用于在多个第二更新周期中,依据当前执行时刻从时序参考描述中确定参考值,并与无人机实时状态共同形成闭环飞行执行量;
36、飞行执行接口,用于将闭环飞行执行量输出至无人机执行机构。
37、与现有技术相比,本技术具有以下有益效果:
38、第一,建立低频任务决策与高频反馈控制之间的连续时序接口。任务级运动命令经参考生成过程转换为可按执行时刻恢复的时序参考,使高频执行过程无需等待高层每周期更新即可获得连续目标值,避免了要求高层在每个高频周期重复计算造成的任务决策模块重复调用和训练复杂度增加。
39、第二,保持滚动参考的切换连续性。新时序参考以旧参考在切换时刻的计划参考位置和计划参考速度为初始边界,可避免每次更新无条件从飞行器瞬时状态重新初始化造成的计划参考跳变,使新旧参考描述在切换边界处至少位置和一阶运动量连续。
40、第三,显式暴露参考生成内部状态。将计划参考误差和/或计划参考速度加入学习型上层观测,使策略能够感知会影响后续演化的参考内部状态,减少内部状态不可观测造成的训练困难。
41、第四,使训练转移与动作实际持续时间相匹配。一个任务级动作对应多个下层闭环周期,下一状态、聚合回报和终止条件依据该实际执行区间构造,使经验回放中的学习转移与真实执行语义一致。
42、第五,实现任务决策与飞行稳定控制的功能分工。低频学习策略负责目标和障碍相关决策,高频确定性闭环控制器负责参考跟踪、姿态稳定和执行分配,降低学习策略直接承担电机级稳定控制的任务复杂度,减少训练和验证成本。
43、本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com