一种基于策略迁移学习的Q-Learning路径规划方法

本发明涉及路径规划，具体涉及一种基于策略迁移学习的q-learning路径规划方法。

背景技术：

1、路径规划是移动机器人、自动驾驶车辆、无人机等智能体自主导航的核心技术，其目标是在给定的环境中为智能体规划出一条从起始位置到目标位置的安全、高效且满足特定约束条件的运动轨迹。

2、目前，源域到目标域的单向不可逆迁移策略无法实现源域知识的选择性复用与动态适配，当源任务与目标任务的障碍物分布、地图结构等路径规划要素存在差异时负迁移难以规避，导致策略网络在跨场景路径规划任务中的失效率上升。

3、固定加权系数的专家评分融合方式既无法根据训练进度动态调整置信度，也无法量化和利用模型评分与专家评分之间的分歧信息，更缺乏对专家评分主观性差异的甄别机制，使得路径质量评估结果偏离实际路径规划表现，跨场景路径规划能力受限。

4、参数调整缺乏因果依据而呈现试错式盲调特征，当策略网络在路径规划中表现不佳时无法区分是q值估计偏差、探索与利用失衡还是奖励函数设置不当所导致，评估阈值更新缺乏因果验证而无法区分真实策略改进与随机波动或虚假过拟合，错误触发的阈值更新会使路径规划策略在未真正收敛时被过早锁定或因随机低分而延迟阈值提升。

技术实现思路

1、本发明提出一种基于策略迁移学习的q-learning路径规划方法，以解决上述背景技术的问题。

2、为实现上述目的，本发明采用了以下技术方案：本发明的一种基于策略迁移学习的q-learning路径规划方法，包括以下步骤：

3、s1、采集移动机器人在未知栅格环境中的实时状态数据与动作执行数据；

4、s2、将实时状态数据与动作执行数据缩放到统一数值区间，生成标准化状态与动作序列数据流；

5、s3、基于栅格地图拓扑模型，采用自适应阈值的轨迹压缩算法提取标准化状态与动作序列数据流中的路径曲率极值点，确定关键路径节点，并构建动态拓扑特征向量；

6、s4、利用结合策略迁移机制的三支路深度q网络模型对动态拓扑特征向量进行多维度路径规划评估，输出原始路径质量评分；

7、s5、结合基于贝叶斯层次模型对原始路径质量评分进行动态加权校准，生成综合路径规划评分；

8、s6、基于综合路径规划评分，进行反事实推理以识别路径缺陷的因果类型，构建分级反馈报告；

9、s7、基于分级反馈报告，通过自适应学习引擎动态调整q-learning算法的学习率、探索因子和奖励函数权重，并根据策略网络的真实收敛状态更新评估阈值。

10、优选的，所述s1中采集实时状态数据与动作执行数据包括以下步骤：

11、s11、通过栅格环境模拟器按设定时间步长生成机器人当前所处栅格的二维平面坐标（x，y）和航向角，并利用虚拟激光雷达传感器采集机器人中心的360度局部障碍物距离数据；

12、s12、采用动作执行记录器按顺序采集机器人每一步执行的动作类型编号、动作执行时间戳以及环境反馈的即时奖励数值；

13、s13、将二维平面坐标、航向角、局部障碍物距离数据和动作执行记录按时间戳顺序同步整合为张量格式的实时状态与动作数据矩阵。

14、优选的，所述s2中生成标准化状态与动作序列数据流包括以下步骤：

15、s21、采用滑动窗口均值滤波算法对实时状态与动作数据矩阵中的激光雷达测距数据组进行离群点剔除和平滑处理；

16、s22、通过最小－最大值归一化方法将机器人坐标数据、障碍物距离数据和奖励值分别映射至[0，1]区间；

17、s23、利用固定时间窗口重叠采样技术对归一化后的数据流进行时序片段切分，生成以单步决策周期为单位的标准化状态与动作序列数据包，每个数据包包含当前状态、执行动作、即时奖励和下一状态四元组信息。

18、优选的，所述s3中动态拓扑特征向量的构建包括以下步骤：

19、s31、构建栅格地图拓扑模型，其中节点表示栅格单元，边表示相邻栅格之间的通行关系，并标注各栅格单元的属性标识，包括起点标识、终点标识、障碍物标识和自由空间标识；

20、s32、采用自适应阈值的道格拉斯-普克轨迹压缩算法，对机器人实际行走路径进行曲线形态简化，识别路径中曲率变化超过预设阈值的路径形态特征点，将该特征点确定为关键路径节点，包括路径起点、路径曲率极值点和目标节点；

21、s33、基于连续三个关键路径节点构成的路径段，提取局部路径几何特征作为路径规划评价特征参数，包括各段路径长度与首尾欧氏距离的比值即路径迂曲度、路径段与最近障碍物的方向性安全距离以及各关键节点处的转向角累积变化率，将特征编码为固定维度的动态拓扑特征向量。

22、优选的，所述s4中输出原始路径质量评分包括以下步骤：

23、s41、设计三支路深度q网络结构，包括共享特征提取支路、源域策略评估支路和目标域策略优化支路，其中源域策略评估支路保留源任务训练的参数并处于冻结状态用于输出源域先验q值，目标域策略优化支路的参数可训练用于输出目标域后验q值；

24、s42、将源任务预训练的共享特征提取层网络参数迁移至当前目标网络的对应层作为初始权重，并冻结源域策略评估支路的参数，仅微调目标域策略优化支路参数，将动态拓扑特征向量输入迁移后的三支路深度q网络模型，分别计算源域先验路径质量评分和目标域后验路径质量评分；

25、s43、将源域先验路径质量评分和目标域后验路径质量评分分别分解为路径最短性子评分、避障安全性子评分和路径平滑性子评分，通过加权融合层进行多任务合并，并采用sigmoid激活函数归一化为[0，1]区间内的原始路径质量评分。

26、优选的，所述s41中设计三支路深度q网络结构包括以下步骤：

27、s411、采用源任务预训练、目标任务微调的迁移学习策略，先在源迷宫环境中对三支路深度q网络进行预训练获得共享特征提取层参数和源域策略评估支路参数，再将共享特征提取层参数迁移至目标任务网络并冻结源域支路，在目标迷宫环境中仅对目标域策略优化支路进行全部参数微调训练；

28、s412、在共享特征提取支路中引入dropout正则化层防止网络过拟合，并在目标域策略优化支路中采用目标网络与当前网络双网络结构稳定q值估计过程；

29、s413、实施网络收敛状态监控，实时计算当前q网络与目标q网络输出之间的均方误差，当均方误差连续若干回合低于预设稳定阈值时判定策略网络已收敛并触发评估阈值更新操作。

30、优选的，所述s5中生成综合路径规划评分包括以下步骤：

31、s51、建立专家路径评分数据库，存储不同栅格地图场景下多条标准参考路径的评分记录，并关联路径复杂度系数和障碍物密度系数；

32、s52、检索当前目标环境的实时训练进度记录，提取近期连续回合的成功到达率和平均路径长度缩减率作为动态加权因子；

33、s53、构建贝叶斯层次化评分融合模型，将源域先验路径质量评分作为先验分布，以目标域后验路径质量评分作为似然函数，通过马尔可夫链蒙特卡洛采样计算后验分布的最大后验估计，作为综合路径规划评分。

34、优选的，所述s53中计算后验分布的最大后验估计包括以下步骤：

35、s531、构建基于训练回合数的时间衰减权重函数，使近期训练回合的评分对加权因子的影响高于早期训练回合，其中衰减系数基于机器学习进度曲线动态调整；

36、s532、采用置信区间法处理专家评分中的主观性差异，通过多次采样计算评分均值和标准差并剔除超出置信区间的异常评分样本；

37、s533、实施贝叶斯更新过程的可视化追溯，记录每次评分融合时的先验分布参数、似然函数参数和后验分布更新量，支持评估结果的可解释性复核。

38、优选的，所述s6中构建分级反馈报告包括以下步骤：

39、s61、基于综合路径规划评分，采用结构因果模型对路径规划失败案例进行反事实推理，通过干预和反事实计算识别导致路径质量下降的因果缺陷类型；

40、s62、根据因果缺陷类型生成三层级反馈内容：策略层反馈指出q值估计偏差的来源，参数层反馈指出具体参数调整方向，探索层反馈指出探索与利用失衡的具体表现；

41、s63、将三层级反馈内容编码为结构化因果图，标注各缺陷节点间的因果链关系，并添加路径对比热力图展示评分分布。

42、优选的，所述s7中更新评估阈值包括以下步骤：

43、s71、构建分层参数调节器，根据分级反馈报告中识别的因果缺陷类型定向调整对应的参数组合：当缺陷类型属于策略层时定向调整奖励函数权重，当缺陷类型属于参数层时定向调整学习率，当缺陷类型属于探索层时定向调整探索因子；

44、s72、设置因果驱动的多级评估阈值更新机制，当目标策略网络在连续验证回合中获得的综合路径规划评分均值超过当前阈值时，首先通过结构因果模型判断评分提升是否源于策略的真实改进以排除随机波动和环境偶然因素，确认后再提升阈值至下一等级并触发策略网络参数存档操作；

45、s73、将更新后的学习率、探索因子、奖励函数权重和评估阈值推送至机器人路径规划控制模块，基于更新后的参数组合执行下一轮路径规划训练。

46、由上述技术方案可知，本发明提供了一种基于策略迁移学习的q-learning路径规划方法。与现有技术相比本发明具有以下优势：

47、1.本发明采用栅格地图拓扑模型与自适应阈值的轨迹压缩算法，对机器人实际行走路径进行曲线形态简化并提取路径曲率极值点作为关键路径节点，在此基础上构建包含路径迂回度、方向性安全距离和转向角累积变化率的动态拓扑特征向量，使得原始轨迹数据中被固定粒度采样所淹没的路径几何形态特征得以有效保留和量化表征，解决了现有方法因固定时间步长采样在障碍物稀疏区域产生冗余数据、在密集区域丢失关键局部变化信息以及等间隔切片导致标准化数据流丧失对路径几何形态表征能力的问题，同时通过滑动窗口滤波与归一化处理消除了传感器随机噪声与量纲差异带来的数据偏差，提升了后续评估环节输入特征的质量与区分度。

48、2.本发明通过包含共享特征提取支路、源域策略评估支路和目标域策略优化支路的三支路深度q网络结构，将源域先验路径质量评分与目标域后验路径质量评分分别分解为路径最短性、避障安全性和路径平滑性三个子评分，并构建贝叶斯层次化评分融合模型以源域先验评分作为先验分布、目标域后验评分作为似然函数，通过马尔可夫链蒙特卡洛采样计算后验分布的最大后验估计作为综合路径规划评分，使得源域知识得以选择性保留并与目标域评估结果实现概率化融合，解决了现有单向不可逆迁移策略无法实现源域知识选择性复用与动态适配、负迁移难以规避的问题，同时通过贝叶斯推断量化了融合结果的不确定性并剔除了专家评分中的主观性异常样本，增强了跨场景评估的准确性与鲁棒性。

49、3.本发明通过在反馈优化环节采用结构因果模型对路径规划失败案例进行反事实推理，通过干预和反事实计算识别导致路径质量下降的因果缺陷类型并区分为策略层、参数层和探索层三类根源，并据此构建分层参数调整器定向调整对应的q-learning算法参数组合，同时设置因果驱动的多级评估阈值更新机制，在评分提升时首先通过结构因果模型判断是否源于策略的真实改进以排除随机波动与环境偶然因素，使得策略优化过程从传统的试错式盲调转变为具有明确因果依据的可解释闭环，解决了现有方法参数调整缺乏方向性、评估阈值更新无法区分真实改进与虚假波动、路径缺陷诊断停留在关联层面而无法追溯因果根源的问题，提升了优化效率与策略改进的可解释性。