一种基于强化学习的四足机器人运动控制方法及系统与流程

技术特征：
1.一种基于强化学习的四足机器人运动控制方法，其特征在于，所述方法包括以下步骤：获取预设巡视路线以及巡视配速，并生成初始关节控制指令；基于初始关节控制指令，控制四足机器人的关节，以使得所述四足机器人以所述巡视配速按照所述预设巡视路线行动；实时获取四足机器人的机器人状态以及关节状态，结合所述预设巡视路线以及所述巡视配速，基于预设的强化学习训练模型，获得实时变化的实时关节控制指令；基于所述实时关节控制指令，实时控制四足机器人的关节，以使得所述四足机器人以所述巡视配速按照所述预设巡视路线行动；其中，所述机器人状态包括机器人姿态、机器人移动速度以及机器人移动方向；所述关节状态包括关节姿态以及关节扭矩值。2.如权利要求1所述的基于强化学习的四足机器人运动控制方法，其特征在于，所述方法还包括以下步骤：监测所述四足机器人的行进路线；当所述行进路线上存在障碍物时，判断所述障碍物是否为移动物；若所述障碍物为移动物，则控制所述四足机器人停止；待障碍物离开所述行进路线时，重启所述四足机器人。3.如权利要求1所述的基于强化学习的四足机器人运动控制方法，其特征在于，所述方法还包括以下步骤：监测所述四足机器人的行进路线；当所述行进路线上存在障碍物时，判断所述障碍物是否为固定物；若所述障碍物为固定物，则获取所述障碍物的障碍物方位以及障碍物轮廓；实时获取所述机器人状态以及关节状态，结合所述预设巡视路线、所述巡视配速、所述障碍物方位以及所述障碍物轮廓，基于预设的强化学习训练模型，获得所述实时关节控制指令；基于所述实时关节控制指令，实时控制四足机器人的关节，以使得所述四足机器人以所述巡视配速绕开所述障碍物并按照所述预设巡视路线行动。4.如权利要求1所述的基于强化学习的四足机器人运动控制方法，其特征在于，所述方法还包括强化学习训练模型建立流程，所述强化学习训练模型建立流程包括以下步骤：获取机器人物理参数；构建致动器网络；基于所述机器人物理参数以及所述致动器网络，训练获得所述强化学习训练模型。5.如权利要求1所述的基于强化学习的四足机器人运动控制方法，其特征在于，实时获取四足机器人的机器人状态以及关节状态，结合所述预设巡视路线以及所述巡视配速，基于预设的强化学习训练模型，获得实时变化的实时关节控制指令，包括以下步骤：实时获取四足机器人的机器人状态以及关节状态；基于所述机器人状态、所述关节状态以及前一时刻实时关节控制指令，利用所述强化学习训练模型，获得对应的奖励控制指令；基于所述奖励控制指令以及前一时刻实时关节控制指令，获得实时关节控制指令；其
中，所述前一时刻实时关节控制指令为初始关节控制指令或前一时刻的实时关节控制指令。6.如权利要求1所述的基于强化学习的四足机器人运动控制方法，其特征在于，所述方法还包括以下步骤：利用第一传感器监测所述机器人姿态、所述机器人移动速度以及所述机器人移动方向；利用分别设置在所述关节上的第二传感器监测所述关节姿态以及所述关节扭矩值。7.如权利要求1所述的基于强化学习的四足机器人运动控制方法，其特征在于，所述方法还包括以下步骤：利用摄像头拍摄所述四足机器人的前方图像；基于所述前方图像，识别所述四足机器人的行进路线以及障碍物。8.一种基于强化学习的四足机器人运动控制方法，其特征在于，所述方法包括以下步骤：接收初始关节控制指令，并获取理想状态下四足机器人响应所述初始关节控制指令实现的理想移动路线以及理想移动速度；实时获取四足机器人的机器人状态以及关节状态，结合所述理想移动路线以及理想移动速度，基于预设的强化学习训练模型，获得实时变化的实时关节控制指令；基于所述实时关节控制指令，实时控制四足机器人的关节，以使得所述四足机器人以所述理想移动速度按照所述理想移动路线行动；其中，所述机器人状态包括机器人姿态、机器人移动速度以及机器人移动方向；所述关节状态包括关节姿态以及关节扭矩值。9.一种基于强化学习的四足机器人运动控制系统，其特征在于，所述系统包括：初始指令生成单元，其用于获取预设巡视路线以及巡视配速，并生成初始关节控制指令；初始指令响应单元，其用于基于初始关节控制指令，控制四足机器人的关节，以使得所述四足机器人以所述巡视配速按照所述预设巡视路线行动；控制指令调节单元，其用于实时获取四足机器人的机器人状态以及关节状态，结合所述预设巡视路线以及所述巡视配速，基于预设的强化学习训练模型，获得实时变化的实时关节控制指令；控制调节响应单元，其用于基于所述实时关节控制指令，实时控制四足机器人的关节，以使得所述四足机器人以所述巡视配速按照所述预设巡视路线行动；其中，所述机器人状态包括机器人姿态、机器人移动速度以及机器人移动方向；所述关节状态包括关节姿态以及关节扭矩值。10.一种基于强化学习的四足机器人运动控制系统，其特征在于，所述系统包括：初始指令响应单元，其用于接收初始关节控制指令，并获取理想状态下四足机器人响应所述初始关节控制指令实现的理想移动路线以及理想移动速度；控制指令调节单元，其用于实时获取四足机器人的机器人状态以及关节状态，结合所述理想移动路线以及理想移动速度，基于预设的强化学习训练模型，获得实时变化的实时
关节控制指令；控制调节响应单元，其用于基于所述实时关节控制指令，实时控制四足机器人的关节，以使得所述四足机器人以所述理想移动速度按照所述理想移动路线行动；其中，所述机器人状态包括机器人姿态、机器人移动速度以及机器人移动方向；所述关节状态包括关节姿态以及关节扭矩值。

技术总结
本申请涉及一种基于强化学习的四足机器人运动控制方法及系统，涉及机器人控制技术领域，该方法包括以下步骤：获取预设巡视路线以及巡视配速，并生成初始关节控制指令；基于初始关节控制指令，控制四足机器人的关节，以使得四足机器人以巡视配速按照预设巡视路线行动；实时获取四足机器人的机器人状态以及关节状态，结合预设巡视路线以及巡视配速，基于预设的强化学习训练模型，获得实时变化的实时关节控制指令；基于实时关节控制指令，实时控制四足机器人的关节，以使得四足机器人以巡视配速按照预设巡视路线行动。本申请利用强化学习算法，在响应控制指令的同时，根据机器人状态以及关节状态进行动态调整，从而实现对机器人的智动控制。的智动控制。的智动控制。


技术研发人员：黄书益 白彬 宋传峰 马勇 夏季
受保护的技术使用者：国家能源集团乐东发电有限公司
技术研发日：2022.04.14
技术公布日：2022/7/12