一种基于强化学习的排焊焊枪位置策略优化方法与流程

本发明属于焊接控制，具体涉及一种基于强化学习的排焊焊枪位置策略优化方法。

背景技术：

1、排焊工艺广泛应用于压力容器封头、厚壁管道以及大型结构件的多道次密排堆焊场景，其质量核心指标之一为道次间的熔深一致性。焊枪相对工件的横向偏移量、离工件高度与行进倾角是决定熔池形态与熔深的关键控制变量，任一变量的微小漂移都会引起熔深、余高与熔合线的显著波动，直接影响焊缝的力学性能与致密度。

2、针对排焊焊枪位置的动态控制，业界普遍在传统pid路径规划的基础上引入强化学习方法。典型做法是将熔池图像特征、当前道次编号及上一道次熔深作为状态输入，将焊枪位置微调量作为动作输出，以熔深与标称基准的偏差构建即时奖励，采用ddpg或ppo类连续动作强化学习算法离线训练后部署到位置伺服环，借助持续的状态观测与动作反馈实现道次间的自适应位置修正。

3、然而，多道次排焊在持续热积累作用下会在某一临界道次附近由传导型熔池模式突变为对流型熔池模式，熔池主导传热方式由固体热传导切换为以marangoni对流为主的液态循环，熔深对焊枪高度与倾角的响应函数从近似线性关系跃变为具有强非线性放大特征的关系。此时原本在传导工况下收敛的强化学习策略网络，其状态转移动力学发生结构性漂移，q值估计与真实回报之间出现系统性失配，策略在临界道次之后每一次微调都会被放大为熔深的单调偏移，最终导致熔深偏离基准值并持续发散。

技术实现思路

1、本发明提供一种基于强化学习的排焊焊枪位置策略优化方法，以解决多道次排焊过程中因传导型向对流型焊接模式切换引起状态转移动力学漂移，进而导致强化学习策略q值失配与熔深发散的技术问题。

2、本发明提供了一种基于强化学习的排焊焊枪位置策略优化方法，包括以下步骤：

3、s1，获取焊枪相对工件的动作向量，并提取熔池视觉特征、历史熔深与道次序号构成基础状态向量，结合即时奖励构建焊枪位置基础决策模型；

4、s2，从熔池亮度时序信号中提取振幅与频率之比作为焊接模式指数，并结合基于熔深残差在线锁存的模式临界参考值，将焊接模式指数与模式临界参考值追加至基础状态向量中得到增广状态向量；

5、s3，构建传导型子评价网络与对流型子评价网络，基于焊接模式指数与模式临界参考值计算门控权重，对增广状态向量的动作价值估计进行融合，并计算模式漂移补偿项追加至贝尔曼更新公式中以修正策略估值；

6、s4，依据焊接模式指数与模式临界参考值的关系，对经验回放池进行分区管理以独立更新传导型子评价网络与对流型子评价网络，并基于预测熔深残差在线刷新模式临界参考值，输出焊枪位置增量指令。

7、其效果在于：通过在强化学习状态向量中引入基于熔池亮度振荡的模式指数，并配合物理拐点自适应确定的临界参考值，使策略能够有效识别传导型到对流型的模式切换；进而通过双评价子网门控融合与模式漂移补偿项对贝尔曼更新的改进，在临界道次前后同步预补偿q值估计的方向与强度，从机理上避免了状态转移动力学突变所引起的策略失配。

8、进一步地，获取焊枪相对工件的动作向量，并提取熔池视觉特征、历史熔深与道次序号构成基础状态向量，结合即时奖励构建焊枪位置基础决策模型，包括：获取焊枪相对工件的横向偏移量、离工件高度与行进倾角的微调增量构成动作向量；从熔池高速相机采集的熔池亮度时序信号中提取熔池长宽比，结合上一道次熔深与当前道次序号构成基础状态向量；以本道次实测熔深与标称基准熔深的偏差绝对值取负号得到即时奖励，基于基础状态向量、动作向量与即时奖励完成焊枪位置基础决策模型的预训练。

9、其效果在于：明确动作、状态、奖励向量的物理构建规则，以焊枪三维微调量为连续动作，融合熔池、熔深、道次信息构建状态，采用熔深偏差绝对值的负值作为即时奖励。利用传导工况历史数据离线预训练网络，仅依靠基础模型就能在传导工况下自适应控枪，熔深围绕基准收敛，既提供稳定初始策略支撑后续跨模式补偿，连续动作输出也可直接对接伺服系统，工程适配性好。

10、进一步地，从熔池亮度时序信号中提取振幅与频率之比作为焊接模式指数，包括：

11、在以当前道次持续时间为长度的滑动时间窗内，对熔池亮度时序信号进行去均值处理；

12、计算滑动时间窗内的亮度极差作为振荡幅度，并提取过零率折算频率作为主振荡频率；

13、计算振荡幅度与主振荡频率的比值，得到焊接模式指数。

14、其效果在于：通过从熔池亮度时序信号中提取振幅与频率之比作为焊接模式指数，使策略网络的状态空间首次包含了能够区分传导型与对流型工况边界的物理特征维度，为后续的双子网门控融合与补偿项构建提供了准确且自适应的模式判断依据。

15、进一步地，结合基于熔深残差在线锁存的模式临界参考值，包括：

16、在当前批次施焊过程中，持续监测熔深残差的一阶差分符号；

17、当一阶差分符号从正负交替切换为连续同号时，判定到达发散拐点；

18、将发散拐点所在道次的焊接模式指数锁存为本批次的模式临界参考值。

19、进一步地，基于焊接模式指数与模式临界参考值计算门控权重，对增广状态向量的动作价值估计进行融合，包括：

20、计算焊接模式指数与焊接模式指数及模式临界参考值之和的比值，作为对流型权重；

21、将1与对流型权重的差值作为传导型权重；

22、利用传导型权重与对流型权重，分别对传导型子评价网络与对流型子评价网络输出的动作价值估计进行加权求和，得到融合后的动作价值估计。

23、进一步地，计算模式漂移补偿项追加至贝尔曼更新公式中以修正策略估值，包括：

24、计算焊接模式指数与模式临界参考值的差值绝对值，并除以两者的和，得到模式补偿系数；

25、计算对流型子评价网络与传导型子评价网络的估值差，并乘以焊接模式指数与模式临界参考值的差值，得到基础补偿项；

26、将模式补偿系数与基础补偿项相乘得到模式漂移补偿项，并将模式漂移补偿项追加至贝尔曼更新公式中完成策略估值的修正。

27、其效果在于：通过双评价子网门控融合与模式漂移补偿项对贝尔曼方程的改进，在临界道次前后同步预补偿q值估计的方向与强度，从机理上消除了状态转移动力学突变所引起的策略失配，使熔深在跨模式切换后仍能维持在标称基准附近的受控范围内。

28、进一步地，依据焊接模式指数与模式临界参考值的关系，对经验回放池进行分区管理以独立更新传导型子评价网络与对流型子评价网络，包括：

29、将焊接模式指数小于模式临界参考值的第一预设比例的经验元组路由至传导池，将大于第二预设比例的经验元组路由至对流池，其余路由至过渡池；

30、在过渡池内部，将焊接模式指数小于模式临界参考值的样本划为传导侧，其余划为对流侧；

31、从传导池与过渡池的传导侧采样更新传导型子评价网络，从对流池与过渡池的对流侧采样更新对流型子评价网络。

32、进一步地，基于预测熔深残差在线刷新模式临界参考值，输出焊枪位置增量指令，包括：

33、每完成一道次焊接，读取本道次实测熔深与预测熔深的残差；

34、若检测到连续同号的残差再次出现，则以最新发散拐点的焊接模式指数刷新模式临界参考值，并同步重新划分过渡池样本；

35、基于更新后的策略网络输出焊枪位置增量指令至位置伺服控制器。

36、其效果在于：通过按模式分区管理经验回放池并结合临界值在线刷新方式，确保传导型与对流型两个评价子网始终在各自纯净的样本分布上更新，同时使临界参考值能够随批次内热积累的持续演化动态跟踪修正，保证了整套跨模式补偿方式的持续有效性。

37、进一步地，将发散拐点所在道次的焊接模式指数锁存为本批次的模式临界参考值之前，还包括：

38、在发散拐点触发之前，计算当前批次已完成道次中焊接模式指数的滚动均值；

39、将滚动均值作为模式临界参考值的临时初始值，直至发散拐点触发后以锁存值覆盖临时初始值。

40、进一步地，基于基础状态向量、动作向量与即时奖励完成焊枪位置基础决策模型的预训练，包括：

41、基于传导工况的历史道次数据构建离线训练集；

42、利用离线训练集对策略网络与评价网络进行迭代更新，直至熔深在标称基准值附近震荡收敛，形成初始可用策略。

43、有益效果是：本发明辅以按模式分区的经验回放与临界值在线刷新，保证上述方式在整个排焊批次中持续生效。三者共同作用下，熔深控制在跨模式切换后仍能维持在标称基准附近的受控范围内。且有效抑制了现有方法在临界道次之后的单调发散趋势，实现了多道次熔深一致性的稳定调控，提升了排焊工艺在复杂热积累工况下的自适应能力与最终焊缝质量。