八推进器水下机器人的物理神经网络控制方法和系统

摘要: 本发明涉及自主水下机器人智能控制、强化学习,具体地,涉及一种八推进器水下机器人的物理神经网络控制方法和系统。背景技术:1、自主水下机器人在管道巡检、多点采样、定...
八推进器水下机器人的物理神经网络控制方法和系统

本发明涉及自主水下机器人智能控制、强化学习,具体地,涉及一种八推进器水下机器人的物理神经网络控制方法和系统。

背景技术:

1、自主水下机器人在管道巡检、多点采样、定点观测和水下对接等任务中,需要在水流扰动、浮力偏差、附加质量、非线性阻力和推进器动态同时存在的条件下保持位置与姿态稳定。与地面或空中机器人相比,水下机器人所受外部扰动难以直接测量,且同一控制器需要兼顾横滚、俯仰、偏航、升沉、纵向和侧向六个自由度。采用四个垂直推进器和四个水平推进器的八推进器结构虽然可以实现全向控制,但也增加了推进器之间的推力耦合和六维到八维控制分配难度。

2、为了实现水下机器人的控制与仿真测试,现有技术(如公开号为 cn109062079a的中国专利公开的基于 ros 的水下机器人多自由度运动控制的仿真方法)通过建立运动模型、数字 pid 控制算法和三维模型仿真,构建了模块化可重用的分布式仿真平台,具备较好的可扩展性、稳定性与通用性。然而,此类基于传统数字 pid 等经典控制算法的方法,在应对剧烈且复杂的非线性水流干扰时,参数调节困难且自适应抗流能力有限。

3、相比之下,强化学习可以通过大量交互数据学习非线性控制策略,但直接利用真实水下机器人训练成本高、风险大,通常需要先在仿真环境中完成训练。仿真环境能够直接给出水流速度等真实部署时难以获得的信息。若策略在训练与部署阶段均依赖上述特权信息,则无法直接安装到只配有惯性测量单元、深度计和状态估计器的真实机器人上;若在训练阶段完全弃用特权信息,又会损失仿真环境能够提供的监督价值。

4、现有教师—学生蒸馏方法通常先训练使用特权信息的教师神经网络,再让仅使用可部署观测的学生神经网络模仿教师动作。然而,单纯的行为克隆只约束学生在训练样本处复现教师输出,并未约束学生动作导致的下一状态是否符合水下动力学。在涡流、湍流、空间剪切流或训练数据稀疏区域中,学生可能输出与教师动作接近但动力学后果不合理的控制指令。

5、另一类方法使用纯神经网络拟合动力学残差。如果残差网络输出不受限制,残差网络可能在训练中逐渐替代物理模型,使所谓物理模型只保留名义形式而失去实际约束作用。同时,若在真实部署阶段继续运行完整的动力学网络和多个辅助预测头,会增加计算时延和软件复杂度,不利于在嵌入式计算平台上以六十赫兹控制频率实时执行。

6、基于上述不足,本发明提出一种八推进器水下机器人的物理引导蒸馏控制方法。该方法使用特权观测训练任务专属教师神经网络,将教师行为蒸馏至可部署观测的 lstm学生神经网络当中,并以物理引导动力学模型、有界残差动力学网络和物理状态估计头对学生进行训练期物理监督;训练完成后移除全部特权输入和物理辅助模块,仅部署学生策略,以兼顾复杂水流下的控制鲁棒性和在线实时性。

技术实现思路

1、针对现有技术中的缺陷,本发明的目的是提供一种八推进器水下机器人的物理神经网络控制方法和系统。

2、根据本发明提供的一方面,一种八推进器水下机器人的物理神经网络控制方法,包括:

3、步骤s1:建立具有四个垂直推进器和四个水平推进器的六自由度水下机器人并行仿真环境;

4、步骤s2:将子目标位置误差、子目标距离、当前深度、姿态四元数、机体系线速度和机体系角速度组成可部署观测,并在可部署观测基础上附加仿真环境直接给出的机体系水流速度,形成特权观测;

5、步骤s3:通过特权观测,训练子目标跟踪、定点悬停和对接任务的专属的特权教师策略;

6、步骤s4:以可部署观测信息作为输入,利用长短期记忆网络汇总观测的时序历史特征;以特权教师策略的动作输出作为监督目标,构建行为克隆损失函数;

7、步骤s5:引入物理引导动力学模型与有界残差动力学网络协同预测机器人的运动加速度,构建满足物理定律的动力学一致性损失;从学生长短期记忆网络隐藏状态分支构建物理状态估计头,显式回归隐式水流速度以形成物理状态估计损失;将行为克隆损失、动力学一致性损失及物理状态估计损失通过不确定性自适应加权与物理损失渐入机制对学生策略进行多路联合优化;

8、步骤s6:在学生策略训练完成后,剥离仿真特权输入及辅助监督网络,仅冻结并保留学生长短期记忆网络与动作网络;在线运行时,通过学生策略接收可部署观测,推理生成六维归一化运动指令;经s-surface整形和确定性推力分配映射为八个推进器的目标推力。

9、优选地,所述步骤s1包括:

10、步骤s1.1:建立包含四垂直与四水平推进器配置的六自由度水下机器人模型;基于机器人相对于水流的相对速度,将刚体惯性、附加质量、科氏与向心效应、线性与二次水阻力以及重浮力恢复力统一构建于六自由度动力学方程中;并采用一阶动态描述目标推力到实际推力的响应迟滞过程;

11、步骤s1.2:将环境水流建模为由层流分量、rankine涡流分量与ornstein-uhlenbeck湍流分量矢量叠加而成的复合流场;其中,所述层流分量包括静水、均匀层流、时变层流和空间剪切流;

12、步骤s1.3:创建多个并行仿真子环境,并基于由静水、均匀层流、时变层流、空间剪切流到rankine涡流叠加ornstein-uhlenbeck湍流的五阶段水流课程,使各并行环境根据自身回合成功率独立晋级或降级。

13、优选地,步骤s2中,所述可部署观测和特权观测通过如下方式构建:

14、步骤s2.1:通过下式将世界坐标系下的子目标位置误差转换至机体系,并计算子目标距离,使子目标跟踪、定点悬停和对接任务采用统一的相对目标表征;其中:

15、

16、式中,和分别为世界坐标系下的任务目标位置和机器人位置,为姿态四元数对应的旋转矩阵,和分别为机体系目标位置误差和目标距离;

17、步骤s2.2:将子目标位置误差、子目标距离、当前深度、姿态四元数、机体系线速度和机体系角速度组成可部署观测,其中,可部署观测为:

18、

19、式中,为可部署观测;为当前深度或竖直位置状态量,和分别为机体系线速度和角速度;上标d和p分别表示可部署观测与特权观测;上标t为转置矩阵;

20、步骤s2.3:在可部署观测的基础上,附加由仿真环境直接给出的机体系水流速度真值,构建特权观测,其中,特权观测为:

21、

22、

23、式中,为特权观测;为水流速度真值。

24、优选地,步骤s3具体包括:

25、针对子目标跟踪、定点悬停和对接任务,分别初始化专属的特权教师策略网络,训练过程中,将特权观测输入策略网络,采用近端策略优化算法更新策略参数,其中,对于任务m,教师策略通过最大化ppo目标函数进行迭代训练:

26、

27、式中,为新旧策略概率比,为优势估计,为剪切系数。

28、优选地,步骤s4包括:

29、步骤s4.1:在特权教师策略与仿真环境进行控制交互的过程中,实时采集并记录当前状态、教师动作、下一时刻状态以及回合终止标志位;

30、步骤s4.2:利用长短期记忆网络对可部署观测的时间历史进行编码与隐状态累积,生成目标时刻的隐藏状态向量;通过学生动作网络将隐藏状态向量映射为学生动作,其中,状态更新与学生动作输出函数表达为:

31、

32、

33、式中,为学生lstm在时刻的隐藏状态,和分别为lstm与学生动作网络参数,为学生动作;

34、步骤s4.3:以特权教师动作作为标准监督标签,计算学生输出动作与教师动作之间的均方误差,构建行为克隆损失函数:

35、

36、式中,为行为克隆损失;为教师动作。

37、优选地,步骤s5包括:

38、步骤s5.1:利用交互数据预训练物理引导动力学模型pidm与有界残差动力学网络rdn,其中,通过pidm实现先验物理预测:

39、

40、式中,为pidm输出的六维加速度,为对应速度增量;

41、通过rdn进行有界残差修正:

42、

43、式中,为rdn给出的有界残差;为逐分量残差上界;为总加速度预测;

44、步骤s5.2:提取交互数据中相邻时刻的真实机体系速度,计算真实速度增量

45、;将真实速度增量与总预测加速度引发的预测速度增量进行误差比对,构建动力学一致性损失函数,其中,动力学一致性损失函数为:

46、

47、式中,为动力学一致性损失;为时刻t的真实机体系速度;为时间增量;

48、步骤s5.3:从学生lstm网络的隐藏状态向量处延伸构建物理状态估计头 pse,将高维历史特征映射回归为估计的机体系水流速度;以特权教师保存的机体系水流速度真指作为监督标签,构建物理状态估计损失函数,其中:

49、

50、

51、式中,为物理状态估计头,为估计的机体系水流速度,为物理状态估计损失;

52、步骤s5.4:将行为克隆损失、动力学一致性损失以及物理状态估计损失组合为联合蒸馏总损失函数:

53、

54、式中,、和为行为克隆、动力学一致性和物理状态估计三项损失的自适应权重,

β(k)为随联合蒸馏迭代次数k逐步增大的物理损失渐入系数。

55、根据本发明提供的另一方面,一种八推进器水下机器人的物理神经网络控制系统,包括:

56、模块m1:建立具有四个垂直推进器和四个水平推进器的六自由度水下机器人并行仿真环境;

57、模块m2:将子目标位置误差、子目标距离、当前深度、姿态四元数、机体系线速度和机体系角速度组成可部署观测,并在可部署观测基础上附加仿真环境直接给出的机体系水流速度,形成特权观测;

58、模块m3:通过特权观测,训练子目标跟踪、定点悬停和对接任务的专属的特权教师策略;

59、模块m4:以可部署观测信息作为输入,利用长短期记忆网络汇总观测的时序历史特征;以特权教师策略的动作输出作为监督目标,构建行为克隆损失函数;

60、模块m5:引入物理引导动力学模型与有界残差动力学网络协同预测机器人的运动加速度,构建满足物理定律的动力学一致性损失;从学生长短期记忆网络隐藏状态分支构建物理状态估计头,显式回归隐式水流速度以形成物理状态估计损失;将行为克隆损失、动力学一致性损失及物理状态估计损失通过不确定性自适应加权与物理损失渐入机制对学生策略进行多路联合优化;

61、模块m6:在学生策略训练完成后,剥离仿真特权输入及辅助监督网络,仅冻结并保留学生长短期记忆网络与动作网络;在线运行时,通过学生策略接收可部署观测,推理生成六维归一化运动指令;经s-surface整形和确定性推力分配映射为八个推进器的目标推力。

62、优选地,所述模块m1包括:

63、模块m1.1:建立包含四垂直与四水平推进器配置的六自由度水下机器人模型;基于机器人相对于水流的相对速度,将刚体惯性、附加质量、科氏与向心效应、线性与二次水阻力以及重浮力恢复力统一构建于六自由度动力学方程中;并采用一阶动态描述目标推力到实际推力的响应迟滞过程;

64、模块m1.2:将环境水流建模为由层流分量、rankine涡流分量与ornstein-uhlenbeck湍流分量矢量叠加而成的复合流场;其中,所述层流分量包括静水、均匀层流、时变层流和空间剪切流;

65、模块m1.3:创建多个并行仿真子环境,并基于由静水、均匀层流、时变层流、空间剪切流到rankine涡流叠加ornstein-uhlenbeck湍流的五阶段水流课程,使各并行环境根据自身回合成功率独立晋级或降级。

66、优选地,模块m2中,所述可部署观测和特权观测通过如下方式构建:

67、模块m2.1:通过下式将世界坐标系下的子目标位置误差转换至机体系,并计算子目标距离,使子目标跟踪、定点悬停和对接任务采用统一的相对目标表征;其中:

68、

69、式中,和分别为世界坐标系下的任务目标位置和机器人位置,为姿态四元数对应的旋转矩阵,和分别为机体系目标位置误差和目标距离;

70、模块m2.2:将子目标位置误差、子目标距离、当前深度、姿态四元数、机体系线速度和机体系角速度组成可部署观测,其中,可部署观测为:

71、

72、式中,为可部署观测;为当前深度或竖直位置状态量,和分别为机体系线速度和角速度;上标d和p分别表示可部署观测与特权观测;上标t为转置矩阵;

73、模块m2.3:在可部署观测的基础上,附加由仿真环境直接给出的机体系水流速度真值,构建特权观测,其中,特权观测为:

74、

75、

76、式中,为特权观测;为水流速度真值。

77、优选地,模块m3具体包括:

78、针对子目标跟踪、定点悬停和对接任务,分别初始化专属的特权教师策略网络,训练过程中,将特权观测输入策略网络,采用近端策略优化算法更新策略参数,其中,对于任务m,教师策略通过最大化ppo目标函数进行迭代训练:

79、

80、式中,为新旧策略概率比,为优势估计,为剪切系数。

81、与现有技术相比,本发明具有如下的有益效果:

82、通过构建特权教师神经网络、循环学生神经网络和训练期物理动力学辅助模块,在仿真环境中完成物理引导策略蒸馏,并将训练后的循环学生神经网络部署于水下机器人实机,从而提高水下机器人在复杂水流条件下的控制精度、鲁棒性和实时性。