基于深度强化学习的激光焊接熔深稳定性闭环控制方法

本技术涉及激光焊接智能制造，具体涉及一种基于深度强化学习的激光焊接熔深稳定性闭环控制方法。

背景技术：

1、激光焊接作为一种高能量密度、高加工效率的先进连接技术，已广泛应用于航空航天、轨道交通、汽车制造、能源装备等领域的关键金属构件加工。在激光焊接过程中，熔深（即焊缝熔透深度）是决定焊接接头力学性能及成型质量的核心指标。然而，由于激光焊接涉及复杂的多物理场耦合作用，包括蒸汽反冲压力波动、匙孔周期性振荡、熔池内金属流动、等离子体羽辉动态变化以及材料热物性非均匀性等因素，熔深演化呈现出显著的动态性、非线性及随机波动特征。在铝合金等轻质金属的焊接中，由于高热导率和低沸点，匙孔稳定性更差，易产生熔深突变、飞溅、气孔及咬边等缺陷，严重制约焊接质量的可靠性。

2、现有的熔深控制方法主要分为开环和闭环两类。开环控制依赖预先设定的焊接工艺参数（如激光功率、焊接速度、离焦量等），无法实时响应焊接过程中的扰动，难以保证大范围工况下的熔深一致性。闭环控制方法能够根据实时熔深监测结果动态调节工艺参数，提高焊接精度。传统闭环控制方法包括pid控制、模糊逻辑控制、滑模控制等，但这些方法通常基于线性化或经验模型，面对激光焊接的高度非线性和强耦合特性时，控制效果有限。近年来，基于深度学习的数据驱动控制方法被尝试应用于激光焊接过程，利用神经网络从大量数据中学习熔深与工艺参数之间的映射关系，但其仍依赖于离线训练或预设策略，缺乏在复杂动态环境下自主学习和自适应决策的能力。

3、强化学习（reinforcement learning, rl）通过智能体与环境的持续交互，以长期累积回报最大化为目标，实现控制策略的自适应优化，已在机器人控制、游戏博弈等领域取得成功。激光焊接过程具有典型的序贯决策特征：连续状态感知、动态参数调节、实时反馈更新，因此适合引入强化学习框架。近端策略优化（proximal policy optimization, ppo）作为强化学习中的代表性算法，因其训练稳定性和数据高效性而受到关注。然而，常规ppo方法通常关注平均控制性能或期望回报最大化，对不同调控动作可能带来的结果分布差异及潜在风险缺乏充分刻画。在激光焊接中，由于多物理场耦合下熔深演化的随机振荡特性，某些调控动作（例如在匙孔失稳时刻突然增大激光功率）可能与匙孔固有振荡频率发生共振，从而诱发甚至放大过程失稳，导致飞溅或熔穿。这意味着，仅追求平均回报的优化策略可能隐含显著的高风险动作，而常规rl无法对这些风险进行有效量化和规避。

4、综上所述，现有技术中存在以下缺陷：

5、（1）缺乏能够在强动态扰动下实时、高精度监测熔深演化的手段，尤其是针对等离子体光谱信号的多周期时序特征提取能力不足；

6、（2）传统强化学习方法未引入风险敏感机制，无法辨识和规避可能导致焊接失稳的高风险调控动作；

7、（3）未能将熔深闭环控制的瞬态稳定性、功率平滑性与熔深跟踪精度统一纳入奖励函数，导致控制策略在长期运行中可能出现功率剧烈抖动或熔深震荡。

技术实现思路

1、本技术的主要目的在于提供了一种基于深度强化学习的激光焊接熔深稳定性闭环控制方法，包括以下步骤：

2、步骤s1：实时采集焊接过程中产生的等离子体光谱信号，选取若干波长的所述等离子体光谱信号作为监测数据；

3、步骤s2：将最新数帧时间窗口内的监测数据输入预先训练的timesnet熔深监测模型，所述timesnet模型基于多周期尺度变换对光谱数据进行时序特征提取，输出当前最新时刻的熔深预测值作为实时熔深状态；

4、步骤s3：构建基于近端策略优化的深度强化学习控制器，所述控制器包括策略网络和价值网络，所述策略网络用于根据输入的实时熔深状态在线输出工艺参数调控动作，所述价值网络用于评估当前状态对应的价值回报；所述策略网络和价值网络均采用长短期记忆网络结构，以过去一段时间的状态序列作为输入；

5、步骤s4：在所述价值网络中引入分位分布价值头，用于刻画不同调控动作对应的潜在价值分布；并基于所述分位分布价值头结合熵风险度量对价值分布进行风险量化，获得风险评估后的动作价值，以优化所述控制器的策略；

6、步骤s5：设定深度强化学习控制器的奖励函数，所述奖励函数包括熔深跟踪误差项、熔深稳定性惩罚项和功率平滑性惩罚项；

7、步骤s6：采用回合式策略学习机制进行多道激光焊接，在每道焊接过程中由所述策略网络实时执行闭环控制，记录状态、动作及奖励数据；每道焊接结束后，利用所述价值网络对所述状态、动作及奖励数据进行分布式价值建模与风险评估，并更新所述策略网络参数；

8、步骤s7：重复步骤s6直至收敛，得到训练完成的策略网络，用于后续激光焊接熔深稳定性闭环控制。

9、在一实施例中，步骤s1中所述等离子体光谱信号包括：mg-i原子谱线、al-i原子谱线、alo分子谱线及cr-i原子谱线中的一种或多种，具体选自包括但不限于波长为382.90nm、394.35 nm、396.26 nm、403.07 nm、427.44 nm、484.25 nm、486.62 nm、517.27 nm、518.33 nm中的至少五个波长。

10、在一实施例中，所述将最新数帧时间窗口内的监测数据输入预先训练的timesnet熔深监测模型，所述timesnet模型基于多周期尺度变换对光谱数据进行时序特征提取，输出当前最新时刻的熔深预测值作为实时熔深状态的步骤，包括：

11、以基准焊接功率进行多次激光焊接实验，获取焊缝纵截面金相图像并提取实际熔深数据；将光谱监测数据与实际熔深数据配对构造训练数据集；

12、使用adam优化器，学习率设为0.0001，训练批次大小为64，迭代步数为200，训练得到多周期尺度时序建模的timesnet模型。

13、在一实施例中，所述构建基于近端策略优化的深度强化学习控制器，所述控制器包括策略网络和价值网络，所述策略网络用于根据输入的实时熔深状态在线输出工艺参数调控动作，所述价值网络用于评估当前状态对应的价值回报；所述策略网络和价值网络均采用长短期记忆网络结构，以过去一段时间的状态序列作为输入的步骤，包括：

14、将通过timesnet熔深监测模型实时获取的连续n帧熔深状态序列作为控制器输入状态量，将激光功率的连续调节量作为动作空间；

15、构建基于长短期记忆网络的策略网络，以所述连续n帧熔深状态序列为输入，通过长短期记忆网络层提取熔深演化的时序依赖特征，再经全连接层映射输出激光功率调控动作；

16、构建基于长短期记忆网络的价值网络，以与策略网络相同的连续n帧熔深状态序列为输入，通过长短期记忆网络层提取时序特征，再连接分位分布价值头输出状态价值的分位数分布，为熵风险度量提供分布数据基础。

17、在一实施例中，所述在所述价值网络中引入分位分布价值头，用于刻画不同调控动作对应的潜在价值分布；并基于所述分位分布价值头结合熵风险度量对价值分布进行风险量化，获得风险评估后的动作价值，以优化所述控制器的策略的步骤，包括：

18、在所述价值网络的末端构建分位分布价值头，所述分位分布价值头包含n个分位数输出，每个分位数对应一个独立的全连接分支，将所述长短期记忆网络提取的时序隐藏特征映射为n个分位点，形成状态价值的分位数分布，其中n为大于等于8且小于等于64的整数；

19、基于所述分位数分布，采用熵风险度量公式计算风险评估后的动作价值，所述熵风险度量公式为：

20、

21、其中，为所述分位分布价值头输出的第i个分位点对应的价值样本，β为风险敏感参数；

22、将所述风险评估后的动作价值作为价值网络的目标值，代入近端策略优化的优势函数计算中，并据此完成近端策略优化框架下的策略网络与价值网络参数迭代更新。

23、在一实施例中，所述设定深度强化学习控制器的奖励函数，所述奖励函数包括熔深跟踪误差项、熔深稳定性惩罚项和功率平滑性惩罚项的步骤，包括：

24、定义熔深跟踪误差项，用于惩罚实时熔深与目标熔深之间的偏差，计算公式为：

25、

26、其中，dt为第t时刻的实时熔深，dtarget为预设的目标熔深，k1为跟踪误差项的贡献度权重；

27、定义熔深稳定性惩罚项，用于抑制相邻时刻熔深的剧烈跳变，计算公式为：

28、

29、其中，dt-1为第t-1时刻的实时熔深，k2为稳定性惩罚项的贡献度权重；

30、定义功率平滑性惩罚项，用于抑制激光功率的剧烈调节，计算公式为：

31、rsmooth=

32、其中，pt-1为第t-1时刻的激光功率，pt为第t-1时刻的激光功率，k3为功率平滑性惩罚项的贡献度权重；

33、将上述三项相加，得到奖励函数。

34、在一实施例中，所述目标熔深dtarget通过以下方式确定：

35、以基准焊接功率进行多次焊接实验，测定实际熔深，将稳定焊接条件下的平均熔深作为目标熔深。

36、在一实施例中，所述采用回合式策略学习机制进行多道激光焊接，在每道焊接过程中由所述策略网络实时执行闭环控制，记录状态、动作及奖励数据；每道焊接结束后，利用所述价值网络对所述状态、动作及奖励数据进行分布式价值建模与风险评估，并更新所述策略网络参数的步骤，包括：

37、以基准焊接功率作为每道焊接的初始功率，在焊接过程中，每隔一个预设的控制周期，所述策略网络根据当前时刻的实时熔深状态输出激光功率调节量，控制激光器调整实际输出功率，同时在线记录每个时间步的状态、动作及奖励形成一条完整的回合轨迹数据；

38、单道焊接结束后，基于所述回合轨迹数据，利用所述价值网络的分位分布价值头对每个状态进行分布式建模，输出32个分位数构成的价值分布；然后结合熵风险度量公式计算风险评估后的状态价值，并利用广义优势估计方法计算优势函数；

39、基于所述优势函数和风险评估后的状态价值，计算近端策略优化的目标函数，通过剪切概率比限制策略更新幅度，采用随机梯度下降法更新所述策略网络和价值网络的参数；完成一轮更新后，开始下一道焊接过程，直至总奖励收敛。

40、在一实施例中，所述重复步骤s6直至收敛，得到训练完成的策略网络，用于后续激光焊接熔深稳定性闭环控制的步骤，包括：

41、在每道焊接结束后，记录所述奖励函数的总奖励值，并判断连续n道焊接的总奖励值是否满足收敛条件，所述收敛条件为：连续n道焊接的总奖励值波动幅度小于预设阈值，且总奖励值不再显著上升，其中n为大于等于5的整数；

42、当满足所述收敛条件时，停止训练，保存当前策略网络的权重参数，作为训练完成的策略网络；并采用基准焊接功率进行未施加调控的对比焊接实验，将所述对比焊接实验的焊缝熔深数据与训练完成的策略网络控制的焊缝熔深数据进行对比，验证熔深平均误差和标准差的改善程度；

43、将所述训练完成的策略网络固化至工业控制系统中，在后续的激光焊接任务中，直接利用所述训练完成的策略网络对实时熔深状态进行在线响应，输出激光功率调控动作，实现无需再训练的熔深稳定性闭环控制。

44、由此可见，本技术具有如下有益效果：

45、高精度实时熔深监测能力：本技术采用timesnet模型对等离子体光谱信号进行多周期尺度时序建模。与传统lstm或cnn相比，timesnet通过快速傅里叶变换提取多个主周期，将一维时序数据折叠为二维张量，同时捕捉周期内细节与周期间演变规律，显著提升了对激光焊接过程中复杂振荡特征的提取能力。实验证明，熔深预测平均误差仅0.15mm，平均误差精度达2.05%，为闭环控制提供了精确可靠的状态反馈。

46、风险敏感的稳健控制策略：本技术创新性地在深度强化学习框架中引入分位分布式价值头与熵风险度量。常规ppo仅关注期望回报最大化，无法识别高风险调控动作。本技术通过分位头刻画价值分布的不确定性，结合熵风险度量对价值分布进行风险量化，自动规避那些与匙孔振荡耦合、可能诱发失稳的高风险动作。经实验验证，训练后熔深标准差降低42.1%，显著提升了焊接过程的稳定性。

47、多目标综合优化的奖励机制：本技术设计了包含熔深跟踪误差、熔深稳定性及功率平滑性的三重奖励函数。该设计不仅追求熔深逼近目标值，还通过惩罚相邻时刻熔深跳变抑制匙孔失稳，通过惩罚功率剧烈调节保护激光器并减少热影响区波动，实现了焊接质量与设备寿命的协同优化。

48、自适应学习与工程泛化能力：本技术基于近端策略优化的强化学习框架，无需依赖精确的物理模型或预设策略，通过回合式交互即可自主优化控制策略。实验表明，该方法不仅适用于铝合金，对不锈钢等不同材料同样有效，具有良好的工艺适应性与工程部署前景。

49、显著的质量提升效果：对比验证实验显示，本技术控制后焊缝熔深平均误差由0.693mm降至0.310mm（降低55.3%），标准差由0.694mm降至0.402mm（降低42.1%），焊缝纵截面熔深均匀性显著改善，飞溅、气孔等缺陷大幅减少，焊接成品率显著提高。