融合残差强化学习的球形机器人PID滚动控制方法及系统与流程

本发明涉及球形机器人的控制，尤其涉及融合残差强化学习的球形机器人pid滚动控制方法及系统。

背景技术：

1、球形机器人因其结构特性与移动优势而日益受到移动机器人领域的关注。与传统的轮式或足式机器人相比，球形机器人将机械和电子元件封装于一个保护壳内，从而提升了其鲁棒性，并使其能够在恶劣环境中运行。

2、现有的球形机器人主要依赖内部驱动机构来产生滚动运动。一种常见方法是通过摆动机构、反作用轮或可移动质量系统来改变内部质心位置，从而产生滚动扭矩。其他设计则利用角动量守恒原理（例如反作用轮或控制力矩陀螺仪）来调节滚动动力学并提升机动性。尽管这些机制具有较高的能效，但由于执行器的扭矩限制及质心偏移受限，往往难以提供足够的推进能力，从而在动态环境中制约了其灵活性与速度。

3、为了克服这些局限性，开始通过在内部采用螺旋桨来驱动球形机器人。螺旋桨驱动的球形机器人往往会使壳体滚动与推进方向产生耦合。在大多数设计中，推进模块均刚性地安装于内部主体上，并随壳体一同旋转。因此，在滚动过程中，推力在世界坐标系中的方向会持续变化，这不仅增加了控制难度，还要求采用时变推力分配策略。这种耦合效应在实际应用中可能会降低推进效率并加剧执行器的磨损。

技术实现思路

1、本发明实施例提供了融合残差强化学习的球形机器人pid滚动控制方法及系统，旨在解决现有技术中螺旋桨来驱动球形机器人往往会使壳体滚动与推进方向产生耦合，壳体在滚动过程中，螺旋桨推力在世界坐标系中的方向会持续变化，这不仅增加了控制难度，还降低推进效率的问题。

2、第一方面，本发明实施例提供了一种融合残差强化学习的球形机器人pid滚动控制方法，应用于球形机器人，所述球形机器人包括从内到外依次设置的内部推进模块、三自由度万向节机构和被动式外球壳；所述被动式外球壳为不具有主动驱动部件且仅作为滚动执行部件的外球壳；所述内部推进模块包括内部骨架、主控板、电池模组六旋翼结构；方法包括：

3、主控板响应于滚动控制指令，若检测到已上电，则进行当前初始化校准并得到初始化校准参数集；

4、主控板获取所述滚动控制指令对应的当前滚动任务，按预设控制周期及预设融合残差强化学习的pid控制策略对应控制内部推进模块的六旋翼结构执行所述当前滚动任务，并带动与所述内部推进模块之间通过三自由度万向节机构将运动解耦的被动式外球壳在所述当前滚动任务相应的位置处滚动，直至完成所述当前滚动任务时停止运动控制；其中，所述预设融合残差强化学习的pid控制策略用于根据当前系统时间对应的状态参数、目标运动方向、目标推进强度及目标姿态参数分别确定基础推进量及姿态调整量，并对应确定所述内部推进模块中六旋翼结构的每一旋翼结构分别对应的电机控制参数。

5、第二方面，本发明实施例还提供了一种融合残差强化学习的球形机器人pid滚动控制系统，其包括控制终端和与所述控制终端无线通讯联机的球形机器人；所述球形机器人包括从内到外依次设置的内部推进模块、三自由度万向节机构和被动式外球壳；所述被动式外球壳为不具有主动驱动部件且仅作为滚动执行部件的外球壳；所述内部推进模块包括内部骨架、主控板、电池模组六旋翼结构；

6、所述主控板，用于响应于滚动控制指令，若检测到已上电，则进行当前初始化校准并得到初始化校准参数集；

7、所述主控板，还用于获取所述滚动控制指令对应的当前滚动任务，按预设控制周期及预设融合残差强化学习的pid控制策略对应控制内部推进模块的六旋翼结构执行所述当前滚动任务，并带动与所述内部推进模块之间通过三自由度万向节机构将运动解耦的被动式外球壳在所述当前滚动任务相应的位置处滚动，直至完成所述当前滚动任务时停止运动控制；其中，所述预设融合残差强化学习的pid控制策略用于根据当前系统时间对应的状态参数、目标运动方向、目标推进强度及目标姿态参数分别确定基础推进量及姿态调整量，并对应确定所述内部推进模块中六旋翼结构的每一旋翼结构分别对应的电机控制参数。

8、本发明实施例提供了融合残差强化学习的球形机器人pid滚动控制方法及系统，应用于球形机器人，球形机器人包括从内到外依次设置的内部推进模块、三自由度万向节机构和被动式外球壳；被动式外球壳为不具有主动驱动部件且仅作为滚动执行部件的外球壳；内部推进模块包括内部骨架、主控板、电池模组六旋翼结构；方法包括：主控板响应于滚动控制指令，若检测到已上电，则进行当前初始化校准并得到初始化校准参数集，或者获取已上电并初始化完成对应的初始化校准参数集；主控板获取滚动控制指令对应的当前滚动任务，按预设控制周期及预设融合残差强化学习的pid控制策略对应控制内部推进模块的六旋翼结构执行当前滚动任务，并带动与内部推进模块之间通过三自由度万向节机构将运动解耦的被动式外球壳在当前滚动任务相应的位置处滚动，直至完成当前滚动任务时停止运动控制。本发明实施例能结合预设融合残差强化学习的pid控制策略具体控制六旋翼结构执行当前滚动任务时在被动式外球壳滚动时，六旋翼结构保持内部推进模块的内机体水平并稳定其朝向，避免被被动式外球壳带动频繁转向从而降低控制难度且提升推进效率。

1.一种融合残差强化学习的球形机器人pid滚动控制方法，应用于球形机器人，其特征在于，所述球形机器人包括从内到外依次设置的内部推进模块、三自由度万向节机构和被动式外球壳；所述被动式外球壳为不具有主动驱动部件且仅作为滚动执行部件的外球壳；所述内部推进模块包括内部骨架、主控板、电池模组六旋翼结构；方法包括：

2.根据权利要求1所述的方法，其特征在于，所述按预设控制周期及预设融合残差强化学习的pid控制策略对应控制内部推进模块的六旋翼结构执行所述当前滚动任务，包括：

3.根据权利要求2所述的方法，其特征在于，所述获取与所述当前系统时间对应的当前机器人目标运动方向和当前机器人目标推进强度，根据所述当前机器人状态参数中所述当前运动方向与所述当前机器人目标运动方向之间的差异，以及所述当前推进强度与所述当前机器人目标推进强度之间的差异，确定当前基础推进量，包括：

4.根据权利要求2所述的方法，其特征在于，所述根据所述当前机器人状态参数中所述当前横滚角、所述当前俯仰角、所述当前偏航角、所述当前三轴角速度与所述当前目标姿态参数之间对应参数的差异及所述预设融合残差强化学习的pid控制策略，确定当前姿态调整量，包括：

5.根据权利要求2所述的方法，其特征在于，所述根据所述当前基础推进量及所述当前姿态调整量，确定与所述内部推进模块中六旋翼结构的每一旋翼结构分别对应的电机控制参数，包括：

6.根据权利要求2所述的方法，其特征在于，所述根据所述当前任务执行状态确定是返回执行若所述确定当前系统时间与上一运动控制指令产生时间之差等于所述预设控制周期，则获取当前机器人状态参数的步骤或结束当前滚动任务，包括：

7.根据权利要求1所述的方法，其特征在于，所述获取所述滚动控制指令对应的当前滚动任务，包括：

8.一种融合残差强化学习的球形机器人pid滚动控制系统，其特征在于，包括控制终端和与所述控制终端无线通讯联机的球形机器人；所述球形机器人包括从内到外依次设置的内部推进模块、三自由度万向节机构和被动式外球壳；所述被动式外球壳为不具有主动驱动部件且仅作为滚动执行部件的外球壳；所述内部推进模块包括内部骨架、主控板、电池模组六旋翼结构；

9.根据权利要求8所述的融合残差强化学习的球形机器人pid滚动控制系统，其特征在于，所述按预设控制周期及预设融合残差强化学习的pid控制策略对应控制内部推进模块的六旋翼结构执行所述当前滚动任务，包括：

10.根据权利要求9所述的融合残差强化学习的球形机器人pid滚动控制系统，其特征在于，所述获取与所述当前系统时间对应的当前机器人目标运动方向和当前机器人目标推进强度，根据所述当前机器人状态参数中所述当前运动方向与所述当前机器人目标运动方向之间的差异，以及所述当前推进强度与所述当前机器人目标推进强度之间的差异，确定当前基础推进量，包括：