一种基于强化学习的无人艇动态避碰路径规划方法

摘要: 本发明涉及水上无人载具自动控制,尤其涉及一种基于强化学习的无人艇动态避碰路径规划方法。背景技术:1、现有路径规划技术主要包括传统算法和基于人工智能的算法。传统算...
一种基于强化学习的无人艇动态避碰路径规划方法

本发明涉及水上无人载具自动控制,尤其涉及一种基于强化学习的无人艇动态避碰路径规划方法。

背景技术:

1、现有路径规划技术主要包括传统算法和基于人工智能的算法。传统算法如dijkstra、a算法等,在全局搜索和最短路径方面有效,但处理多目标优化和动态障碍物避碰的能力较弱。基于人工智能的算法,如深度确定性策略梯度、深度q网络,能够处理动态避碰和多目标优化问题,但需要长时间训练大量神经网络参数,计算成本高。

2、现有的基于q-learning的路径规划方法,其动作空间多限于四方向或八方向,路径平滑度不足,且奖励函数设计单一,多为基于距离的引导。同时,其避碰检测机制通常仅计算点对点的距离,难以确保整段路径都保持足够的安全距离。这些问题导致现有技术在复杂动态环境下规划路径的安全性、平滑性和效率不佳。

技术实现思路

1、本发明提供一种基于强化学习的无人艇动态避碰路径规划方法,以克服上述技术问题。

2、为了实现上述目的,本发明的技术方案是:

3、一种基于强化学习的无人艇动态避碰路径规划方法,包括:

4、s1:采集无人艇周围环境的感知数据,对所述感知数据进行处理,识别并确定起始点、目标点、静态障碍物和动态障碍物的位置信息,将识别结果映射至栅格地图,以所述栅格地图中的整数坐标表示所述起始点、所述目标点以及所述障碍物的位置;基于所述栅格地图的尺寸和障碍物的分布,并初始化q学习算法的q表和算法参数;

5、s2:构建改进的q学习模型,包括:

6、s21、在以无人艇当前所在栅格为中心的扩展邻域上构建复合动作空间,所述复合动作空间包括无人艇覆盖十六个方向的多个离散的定向移动动作、加速航行动作以及一个定点驻留动作;所述定向移动动作覆盖无人艇自当前栅格向周围邻域的十六个方向,每个方向的移动对应一个基础步长,用于控制无人艇的航向和航速;所述加速航行动作对应于所述十六个方向中四个基础方向上的扩展步长,用于模拟船舶加速;所述定点驻留动作对应于不改变当前位置的动作,用于实现原地等待;

7、s22、构建多维度奖励函数,所述多维度奖励函数包括目标导向奖励项、探索与效率惩罚项、路径平滑性惩罚项和终端奖励项;

8、s3:构建差异化碰撞检测策略,结合所述q学习模型对无人艇进行路径规划训练和差异化碰撞检测,直至达到训练终止条件,得到训练后的q表;

9、s4:基于训练后的q表,生成最优的平滑避碰路径,将所述最优的平滑避碰路径转换为控制指令,发送至无人艇的执行机构,控制无人艇按照所述最优的平滑避碰路径航行。

10、进一步的,采集无人艇周围环境的感知数据,对所述感知数据进行处理,识别并确定起始点、目标点、静态障碍物和动态障碍物的位置信息,将识别结果映射至栅格地图,以所述栅格地图中的整数坐标表示所述起始点、所述目标点以及所述障碍物的位置;基于所述栅格地图的尺寸和障碍物的分布,并初始化q学习算法的q表和算法参数,包括:

11、对所述感知数据进行融合处理,提取环境中的障碍物轮廓信息,区分静态障碍物与动态障碍物,确定起始点和目标点的位置;

12、将识别结果映射至栅格地图,以所述栅格地图中的整数坐标表示所述起始点、所述目标点以及各障碍物的位置;初始化q学习算法的q表、算法参数以及环境和障碍参数;所述算法参数包括学习率、折扣因子和探索因子;所述环境和障碍物参数包括障碍物初始坐标,无人艇半径、静态障碍物半径、动态障碍物半径和安全距离。

13、进一步的,构建多维度奖励函数,所述多维度奖励函数包括目标导向奖励项、探索与效率惩罚项、路径平滑性惩罚项和终端奖励项包括:

14、构建多维度奖励函数,其公式为:

15、

16、其中,为多维度奖励函数,为目标导向奖励项,为探索与效率惩罚项,为路径平滑性惩罚项;为终端奖励项;

17、目标导向奖励项的表达式如下:

18、

19、其中,为目标导向系数,,为无人艇基于当前步执行特定动作前、后,无人艇与目标点之间的距离;

20、探索与效率惩罚项的表达式如下:

21、

22、

23、

24、其中,为路径长度系数,为总路径长度,为固定步数惩罚系数,为步数效率系数,为总步数,当步数达到预设最大值时,,为失败惩罚系数;

25、路径平滑性惩罚项的表达式如下:

26、

27、其中,为航向角变化量,为大角度转弯惩罚系数,为中角度转弯惩罚系数;

28、终端奖励项的表达式如下:

29、

30、其中,为目标到达奖励系数。

31、进一步的,构建差异化碰撞检测策略,包括:

32、针对静态障碍物,计算候选动作产生的运动轨迹与静态障碍物中心之间的第一最小距离,当时,判定该候选动作为安全动作;所述候选动作为复合动作空间中的定向移动动作、加速航行动作和定点驻留动作,所述运动轨迹为无人艇在执行动作之前的位置与执行特定动作之后的位置的连线;

33、针对任意动态障碍物,计算在单步时间内,候选动作产生的运动轨迹与动态障碍物的运动轨迹之间的第二最小距离,具体步骤如下:

34、将两段轨迹转化为直线,并在两段轨迹转化的直线相交时,将所述候选动作产生的运动轨迹和动态障碍物的运动轨迹进行参数化,其公式为:

35、

36、

37、其中,为参数化后候选动作产生的运动轨迹,为无人艇执行候选动作前的起始位置向量,即无人艇当前所在的栅格坐标,为无人艇运动轨迹的参数变量,s=0对应起始点,s=1对应终点,为无人艇运动方向向量,为动态障碍物在当前时刻的起始位置向量,为动态障碍物运动轨迹的参数变量,t=0对应起始点,t=1对应终点,为动态障碍物运动方向向量;

38、定义距离函数,其公式为:

39、

40、求解距离函数在区间内的最小值,该最小值即为第二最小距离;

41、当候选动作满足相对于所有动态障碍物的时,判定该候选动作为安全动作。

42、进一步的,结合所述q学习模型对无人艇进行路径规划训练和差异化碰撞检测,直至达到训练终止条件,得到训练后的q表,包括:

43、步骤一、根据预设的运动规则,更新所有动态障碍物的位置;

44、步骤二、遍历所述复合动作空间中的所有动作,通过所述差异化碰撞检测策略筛选出有效动作集合,有效动作即安全动作;

45、步骤三、采用策略从所述有效动作集合中选择动作并执行,更新无人艇的位置状态;

46、步骤四、根据执行的当前动作和获得的下一状态,利用所述多维度奖励函数计算即时奖励,并按照q学习的更新公式更新q表;

47、步骤五、判断无人艇是否抵达所述目标点或当前步数是否达到最大步数,若未满足任一条件,则返回步骤一开始下一个时间步的循环;若满足任一条件,则结束当前训练回合,得到训练后的q表。

48、进一步的,基于训练后的q表,生成最优的平滑避碰路径,包括:

49、载入最终的环境状态和训练后的q表,无人艇从起点出发,每一步均选择当前状态下、在有效动作集合中具有最大q值的动作,并同步更新动态障碍物位置,直至到达所述目标点,从而生成最优的平滑避碰路径。

50、有益效果:本发明提供了一种基于强化学习的无人艇动态避碰路径规划方法,具有以下优点:

51、1、本发明显著提升了生成路径的安全性和环境适应性:本发明通过设计十六方向为主、包含加速和驻留动作的复合动作空间,并配合差异化的碰撞检测策略,使得无人艇能在不同速度的动态障碍物环境中,主动选择安全绕行或原地等待等策略,始终与所有障碍物保持一个安全距离裕度,从根本上保障了航行安全。

52、2、本发明在实现动态避碰和多目标优化的同时,保持了极低的计算成本和快速收敛性:本发明采用q学习作为基础框架,避免了训练大规模神经网络带来的高计算开销。同时,设计了包含目标导向、步数效率、终端激励等多维度的复合奖励函数,为智能体提供了实时且精确的学习引导,使得算法能在相对较少的训练回合内快速收敛到稳定策略,兼具高性能与高效率。

53、3、本发明生成的路径平滑度高,更符合欠驱动船舶的运动学约束:一方面,本发明通过引入离散的十六方向动作空间,减小了路径段间的最大航向角变化,提供了更精细的航向选择。另一方面,本发明在奖励函数中专门设计了路径平滑性惩罚项,当路径出现超过设定阈值的急转弯时给予惩罚,从而引导智能体学习并生成转向平缓的路径,提升了路径的实用性和可跟踪性。