一种基于深度强化学习的再生稻收获路径规划方法及系统

本发明涉及农业机械导航，具体而言，涉及一种基于深度强化学习的再生稻收获路径规划方法及系统。

背景技术：

1、再生稻种植是指在头季稻（即再生稻的头季）收割后，利用稻桩腋芽继续萌发生长而形成再生季产量的水稻种植模式。与普通水稻收获相比，再生稻收获不仅要求完成目标区域内稻穗的切割和收集，还要求尽量降低履带或行走机构对稻桩、再生稻根芽的碾压损伤。因此，再生稻收获机路径规划需要同时兼顾作业效率、割台覆盖完整性、田头转弯可行性和低碾压作业要求。在再生稻生产中，种植作业和收获作业存在明显关联。种植阶段确定的播栽方向、作物行距、作物行中心线、行间可通行区域和田头空间，决定了头季收获机后续行驶时是否容易压伤稻桩和再生芽。如果收获路径未充分利用种植行信息，收获机可能频繁跨行、斜穿或在未碾压区域转弯，导致再生稻留茬区域受损。

2、目前水稻或再生稻机械化收获中常见的传统路径主要包括回型路径、单侧碾压路径、牛耕地型路径和s型路径。现有传统收获路径通常按单一路径进行获取，难以在同一评价体系下系统比较并同时兼顾行驶路径、转弯次数、割台覆盖率、初次碾压率和重复碾压率。此外，现有路径规划往往只给出作业行顺序或中心线轨迹，对田头转弯方式考虑不足，没有将u型转弯、欧姆型转弯和鱼尾型转弯与收获机最小转弯半径等运动学约束进行统一组合。同时，现有方法对割台覆盖与履带碾压之间的关系考虑不足，容易出现割台覆盖率提高但重复碾压增加的问题。深度强化学习中的dqn方法能够通过智能体与环境交互学习路径决策策略，但如果直接采用dqn进行全局路径搜索，智能体缺少可行初始路径约束，训练前期容易产生越界、漏割、重复碾压过高或转弯不可行的路径，导致模型收敛慢、稳定性差。

技术实现思路

1、针对现有技术中再生稻收获路径规划难以同时兼顾作业效率、低碾压保护、运动学可行性，且直接使用深度强化学习存在训练效率低、收敛不稳定的技术问题，本发明提供一种基于深度强化学习的再生稻收获路径规划方法及系统。

2、第一方面，本发明公开了一种基于深度强化学习的再生稻收获路径规划方法，包括如下步骤：

3、获取待收获田块信息、目标再生稻区域和再生稻收获机作业参数，并建立局部作业坐标系；

4、根据所述待收获田块信息和所述目标再生稻区域中的作物行分布，生成回型路径、单侧碾压路径、牛耕地型路径和s型路径作为传统候选收获路径；

5、计算所述传统候选收获路径的收获评价指标，所述收获评价指标包括行驶总路径、转弯次数、割台覆盖率、初次碾压率和重复碾压率；

6、对所述收获评价指标进行统一归一化处理，并基于预设权重向量获得传统综合最优路径；

7、结合u型转弯、欧姆型转弯和鱼尾型转弯对所述传统综合最优路径进行运动学可行性修正，得到满足所述再生稻收获机作业参数中运动学约束的传统最优路径；

8、以所述传统最优路径作为先验路径构建用于路径局部优化的深度强化学习环境；

9、在所述深度强化学习环境中设置包含割台覆盖奖励、路径长度惩罚、转弯次数惩罚、初次碾压惩罚、重复碾压惩罚、越界惩罚、运动学不可行惩罚和参考路径偏差惩罚的奖励函数，并进行路径优化训练；

10、依据预设收敛条件结束所述路径优化训练，确定并输出最终收获路径。

11、作为本技术第一方面的一种可选实施方式，所述获取待收获田块信息、目标再生稻区域和再生稻收获机作业参数，并建立局部作业坐标系，包括：获取待收获田块边界、目标再生稻区域边界、作物行、作物行间距、每一行的起始点与终点；获取再生稻收获机的割台宽度、两条履带总宽度、单条履带宽度、履带中心距、机体宽度、最小转弯半径、允许倒车距离、转弯安全距离和作业速度；以田块角点或收获机起点为坐标原点建立所述局部作业坐标系，将地理坐标、行中心线坐标和田块边界坐标统一转换为平面坐标，并将田块划分为目标再生稻区、已收割区、未收割区和田头转弯区。

12、作为本技术第一方面的一种可选实施方式，所述计算所述传统候选收获路径的收获评价指标，包括：将收获机路径中心线中相邻路径点之间距离的累加值作为所述行驶总路径；将路径中航向角变化超过设定阈值或由当前作业行切换至另一作业行的次数作为所述转弯次数；将割台扫掠区域与目标再生稻区域的交集面积占目标再生稻区域面积的比例作为所述割台覆盖率；将履带第一次碾压过再生稻区域的面积占田块总面积的比例作为所述初次碾压率；将履带已被碾压后再次扫掠目标再生稻区域的面积占田块总面积的比例作为所述重复碾压率。

13、作为本技术第一方面的一种可选实施方式，所述对所述收获评价指标进行统一归一化处理，并基于预设权重向量获得传统综合最优路径，包括：对于所述割台覆盖率，采用当前值减去最小值再除以极差的方式进行正向归一化，所述极差为最大值与最小值之差；对于所述行驶总路径、所述转弯次数、所述初次碾压率和所述重复碾压率，采用最大值减去当前值再除以极差的方式进行反向归一化；将归一化后的各指标与所述预设权重向量进行加权求和，选取加权求和值最大的传统候选收获路径作为所述传统综合最优路径。

14、作为本技术第一方面的一种可选实施方式，所述结合u型转弯、欧姆型转弯和鱼尾型转弯对所述传统综合最优路径进行运动学可行性修正，得到满足所述再生稻收获机作业参数中运动学约束的传统最优路径，包括：在所述传统综合最优路径的相邻作业行衔接位置，分别生成u型转弯轨迹、欧姆型转弯轨迹和鱼尾型转弯轨迹；根据所述再生稻收获机作业参数中的最小转弯半径、机体宽度、允许倒车距离以及田头缓冲区宽度，对生成的转弯轨迹进行可行性判断；排除超出田块边界、进入禁止通行区或不满足最小转弯半径的候选转弯轨迹，计算剩余可行转弯轨迹对应的收获评价指标，选取剩余可行转弯轨迹中收获评价指标最小的转弯轨迹接入所述传统综合最优路径，形成所述传统最优路径。

15、作为本技术第一方面的一种可选实施方式，所述以所述传统最优路径作为先验路径构建用于路径局部优化的深度强化学习环境，包括：构建状态空间，所述状态空间包括收获机当前坐标、当前速度或步长、当前作业行编号、目标终点位置、剩余未收割区域比例、割台覆盖状态、履带碾压状态、距离田块边界的安全距离以及距离所述传统最优路径的偏差；构建动作空间，所述动作空间包括沿当前航向前进、向左微调预定角度、向右微调预定角度、保持当前行作业、切换至相邻行、执行u型转弯、执行欧姆型转弯、执行鱼尾型转弯、短距离倒车修正和停止输出路径。

16、作为本技术第一方面的一种可选实施方式，所述奖励函数的计算公式为：；其中，r为总奖励值，cnew为当前动作新增割台覆盖比例，lstep为当前动作新增路径长度，nturn为转弯动作标识，afirst为当前动作新增初次碾压面积，arepeat为当前动作新增重复碾压面积，b为越界或进入禁止通行区惩罚，k为运动学不可行惩罚，dref为相对传统最优路径的偏差；、、、、、、、分别为当前动作新增割台覆盖比例、当前动作新增路径长度、转弯动作标识、当前动作新增初次碾压面积、当前动作新增重复碾压面积、越界或进入禁止通行区惩罚、运动学不可行惩罚和相对传统最优路径的偏差对应的权重系数。

17、第二方面，本技术公开了一种基于深度强化学习的再生稻收获路径规划系统，包括：

18、参数获取模块，用于获取待收获田块信息、目标再生稻区域和再生稻收获机作业参数，并建立局部作业坐标系；

19、候选路径生成模块，用于根据所述待收获田块信息和所述目标再生稻区域中的作物行分布，生成回型路径、单侧碾压路径、牛耕地型路径和s型路径作为传统候选收获路径；

20、指标计算模块，用于计算所述传统候选收获路径的收获评价指标，所述收获评价指标包括行驶总路径、转弯次数、割台覆盖率、初次碾压率和重复碾压率；

21、综合评价模块，用于对所述收获评价指标进行统一归一化处理，并基于预设权重向量获得传统综合最优路径；

22、运动学修正模块，用于结合u型转弯、欧姆型转弯和鱼尾型转弯对所述传统综合最优路径进行运动学可行性修正，得到满足所述再生稻收获机作业参数中运动学约束的传统最优路径；

23、环境构建模块，用于以所述传统最优路径作为先验路径构建用于路径局部优化的深度强化学习环境；

24、模型训练模块，用于在所述深度强化学习环境中设置包含割台覆盖奖励、路径长度惩罚、转弯次数惩罚、初次碾压惩罚、重复碾压惩罚、越界惩罚、运动学不可行惩罚和参考路径偏差惩罚的奖励函数，并进行路径优化训练；

25、路径输出模块，用于依据预设收敛条件结束所述路径优化训练，确定并输出最终收获路径。

26、第三方面，本技术公开了一种电子设备，包括：

27、存储器，用于保存计算机程序；

28、处理器，用于执行所述计算机程序，以实现如第一方面所述的方法的步骤。

29、第四方面，本技术公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如第一方面所述的方法的步骤。

30、与现有技术相比，本发明具有以下有益效果：

31、（1）本发明通过计算行驶总路径、转弯次数、割台覆盖率、初次碾压率和重复碾压率对四种传统路径进行统一归一化评价，避免了仅凭经验选择单一路径导致的片面性，实现了作业效率与再生稻低碾压保护的协同优化。

32、（2）本发明在传统路径评价基础上引入u型、欧姆型和鱼尾型转弯方式进行运动学修正，使得生成的传统最优路径不仅在评价指标上表现优异，而且严格满足真实收获机的最小转弯半径和防碰撞约束，具备极高的工程可执行性。

33、（3）本发明以传统最优路径作为深度强化学习的先验参考路径，将智能体的探索范围约束在可行路径附近，有效避免了dqn从零开始全局随机探索导致的训练效率低下、早期路径不可行以及收敛不稳定等问题，大幅提升了模型的训练速度和路径的可解释性。

34、（4）本发明在dqn奖励函数中综合设置了割台覆盖奖励与碾压、越界、运动学惩罚项，使得智能体在局部优化过程中能够精准权衡收获完整性与稻桩保护，最终输出的路径能够显著降低履带对目标再生稻区域的新增碾压和重复碾压，为再生季产量形成提供作业基础。