一种基于强化学习的变电站内巡检机器人路径规划方案的制作方法

技术特征：
1.一种基于强化学习的变电站内巡检机器人路径规划方案，其特征在于，该方案针对变电站巡检场景，通过栅格法对实际变电站环境建模，并采用sarsa算法设计巡检机器人路径规划方案，在解决巡检机器人安全避障问题的同时合理规划巡检路径，适应实际变电站的复杂环境。2.根据权利要求1所述的一种基于强化学习的变电站内巡检机器人路径规划方案，其特征在于，该方案具体包括以下步骤：s1：获取实际变电站环境信息，建立变电站环境模型；s2：设计基于sarsa算法的变电站内巡检机器人路径规划方案；s3：简述具体方案流程，并将其在变电站环境模型中进行重复训练；s4：通过仿真实例验证本发明所提方案的有效性。3.根据权利要求2所述的变电站环境模型，其特征在于，利用栅格法对变电站环境进行建模，将其抽象为的栅格图，在变电站环境模型中，白色区域表示变电站内的可通行道路，乘号区域表示障碍物，巡检机器人、巡检点位及充电仓分别用五角星、加号和正五边形表示。4.根据权利要求2所述的基于sarsa算法的变电站内巡检机器人路径规划方案，其特征在于，设计基于sarsa算法的巡检机器人路径规划方案，主要包括智能体、环境、状态、动作以及奖赏的设计，其中，在奖赏的设计过程中，当巡检机器人再次经过已到达的巡检点位时，无法重复获得奖励值，从而引导巡检机器人减少到达同一个巡检点位的次数。5.根据权利要求2所述的基于sarsa算法的变电站内巡检机器人路径规划具体方案流程，其特征在于，具体方案流程包括初始化阶段、学习阶段和终止阶段，其中，在学习阶段，巡检机器人采用贪婪策略进行动作的选取，该策略使机器人得到的巡检路径更为保守，即巡检路径较短但不易与障碍物发生碰撞，由此大大延长巡检机器人的使用寿命。

技术总结
本发明涉及一种基于强化学习的变电站内巡检机器人路径规划方案，该方案针对变电站巡检场景，在获取实际变电站环境信息之后，通过栅格法建立变电站环境模型，并采用SARSA算法设计巡检机器人路径规划方案，以贪婪策略代替Q


技术研发人员：刘晨 陈亚鹏 周振宇
受保护的技术使用者：华北电力大学
技术研发日：2021.04.25
技术公布日：2021/10/19