一种基于深度强化学习的AZ91D镁合金压铸工艺参数在线自适应优化方法

摘要: 本发明属于镁合金压铸智能制造,具体涉及一种基于深度强化学习的az91d镁合金压铸工艺参数在线自适应优化方法,特别是一种通过多源传感数据融合、数字孪生、深度强化学...
一种基于深度强化学习的AZ91D镁合金压铸工艺参数在线自适应优化方法

本发明属于镁合金压铸智能制造,具体涉及一种基于深度强化学习的az91d镁合金压铸工艺参数在线自适应优化方法,特别是一种通过多源传感数据融合、数字孪生、深度强化学习与安全约束控制实现压铸工艺参数闭环在线自寻优的方法。

背景技术:

1、az91d镁合金凝固区间宽、熔体高温易氧化燃烧,成型对工艺窗口敏感度极高,浇注温度、模具温度、压射速度、保压压力等核心参数存在强非线性耦合关系。实际连续压铸生产过程中,模具长期作业产生热漂移、脱模剂涂层持续损耗、熔炉镁液液位波动、冷却水水温昼夜变化等动态扰动常态化,任意工况微小偏移都会同步引发铸件强度不足、延伸率下降、卷气缩松、冷裂纹等多重缺陷。传统工艺调试依赖人工经验搭配正交试验、响应面分析法,仅能输出固定静态工艺参数表,难以适配生产线实时变化的工况条件,批量生产质量稳定性难以保障。

2、现有公开专利方案均以离线建模优化为核心逻辑,无法实现产线实时闭环调控。如cn120861780b依托聚类算法仅基于历史能耗数据离线划分工艺区间,无现场传感器实时数据流接入通道;cn121031371a仅针对卷气缺陷单一指标构建静态拟合模型,无法兼顾力学性能、生产能耗多目标均衡;cn121011251a利用随机森林搭建镁合金性能预测模型,仅能完成工艺与质量的事后静态映射,不具备自主调整工艺参数的决策能力。上述方案均属于开环优化模式,生产工况发生波动后优化参数快速失效,不存在采集—调整—反馈—迭代的在线自适应链路。

3、当前行业离线优化手段还存在安全管控缺失、跨产线复用性差两大核心短板。常规机器学习寻优过程无工艺边界限制,极易输出超出az91d安全区间的极端参数,超温镁液存在燃烧风险,超速、超压压射会加速模具损毁;同时更换压铸吨位、模具、产品后,整套模型需要重新开展大批量试模试验完成建模,工艺知识无法复用,试模废品与人工调试成本居高不下。检索现有文献与专利可知,目前暂未出现适配az91d窄工艺窗口,融合数字孪生预训练、工艺硬约束深度强化学习、在线虚实闭环迭代、跨机型迁移学习一体化的压铸在线优化方案,相关技术领域存在明显空白。

技术实现思路

1、本发明的目的在于克服现有技术的不足,提供一种基于深度强化学习的az91d镁合金压铸工艺参数在线自适应优化方法,使压铸生产过程具备实时状态感知、智能工艺决策、安全动作执行、在线反馈学习及跨设备快速迁移的综合能力,实现从离线静态推荐到在线动态自适应优化的技术跨越。

2、为实现上述发明目的,本发明提出了一种基于深度强化学习的az91d镁合金压铸工艺参数在线自适应优化方法,总体流程如图1所示,包括多源数据采集、数字孪生预训练、强化学习决策、执行控制、反馈评估及迁移适配各环节,形成数据流和控制流的完整闭环,具体包括以下步骤:

3、(1)多源传感数据实时采集与多维状态构建

4、在az91d镁合金压铸设备上部署多源传感器网络及质量检测单元,实时采集压铸过程多维状态数据;所述状态数据至少包括:浇注温度、模具多点温度及温度梯度、压射速度、压射压力、保压时间、上一周期铸件的缺陷面积比、上一周期铸件的抗拉强度和延伸率;基于上述数据构建压铸过程时变状态向量,并对各维度进行标准化或归一化处理,形成强化学习智能体的状态输入;

5、(2)数字孪生环境构建与代理模型训练

6、利用模流仿真软件生成的多工况仿真数据与历史生产实测数据相融合,构建az91d镁合金压铸过程数字孪生体,并训练一个基于深度神经网络的工艺-质量代理模型;所述代理模型用于描述压铸工艺参数与铸件缺陷面积比、抗拉强度和延伸率之间的映射关系,作为强化学习智能体预训练的虚拟交互环境;

7、(3)建立基于安全约束的强化学习优化模型

8、将az91d压铸工艺参数在线优化问题建模为马尔可夫决策过程,定义状态空间s、动作空间a和奖励函数r;所述动作空间a为多个待调工艺参数的连续型调整量;所述奖励函数r由缺陷抑制程度、力学性能达标情况及工艺安全边界惩罚共同构成;在动作空间中嵌入az91d压铸工艺窗口安全约束,通过动作掩码过滤、边界钳位修正或惩罚项机制,确保智能体输出的工艺参数调整指令不超出安全工艺窗口;

9、(4)在数字孪生环境中进行策略预训练

10、采用深度强化学习算法,在步骤(2)构建的数字孪生环境中对策略网络和价值网络进行预训练,使策略网络学习在不同压铸工况下输出连续型工艺参数调整量;深度强化学习智能体在数字孪生环境中的训练流程如图2所示,包括状态输入、动作生成、环境交互、奖励计算、经验回放及网络更新的完整交互循环;

11、(5)在线部署与闭环自适应持续更新

12、将步骤(4)预训练完成的策略网络部署至压铸设备控制系统,每个压铸周期根据最新状态向量生成工艺参数调整指令,经安全约束校验后执行;质量检测单元获取的真实缺陷面积比和力学性能数据用于计算即时奖励信号,并反馈至强化学习模型,触发策略网络和价值网络的在线微调更新,形成感知—决策—执行—学习的闭环自适应优化;

13、(6)基于迁移学习的跨机型跨模具快速适配

14、针对不同吨位压铸机、不同模具结构或不同传感器配置的新应用场景,采用迁移学习方法复用已训练策略;通过构建特征映射网络实现不同维度状态空间的对齐,冻结策略网络中共享特征提取层的参数,仅对策略输出层和价值网络末层进行小样本微调,实现新设备的快速适配。

15、优选地,步骤(1)中所述状态向量为:

16、;

17、式中,

t

pour为浇注温度;

t

mold_

avg为模具多点温度平均值;δ

t

mold为模具多点温度最大差值;

v

inj为快压射阶段平均速度;

p

inj为峰值压射压力;

t

hold为保压时间;

d

rate(

t−1)为上一周期缺陷面积比;

σ

b(

t−1)为上一周期抗拉强度;

δ(

t−1)为上一周期延伸率。

18、优选地,步骤(3)中所述动作向量为:

19、;

20、式中,各分量取值范围为:;;;。

21、优选地,步骤(3)中所述安全工艺窗口约束为:动作执行后实际工艺参数须满足660℃ ≤

t

pour ≤ 720℃、2 m/s ≤

v

inj ≤ 8 m/s、80 mpa ≤

p

inj ≤160 mpa、

t

hold

≥ 2s。

22、优选地,步骤(3)中所述奖励函数基于综合质量评分构建:

23、;

24、式中,,,,,;若任一工艺参数触及安全边界,额外施加固定惩罚项

penalty = −10,最终奖励

r=

q−

penalty。

25、优选地,步骤(4)中所述深度强化学习算法为柔性演员-评论家算法sac,训练参数为:回合数5000、每回合50个压铸周期、经验回放池容量1×106、学习率3×10−4、折扣因子0.99、启用自动熵调节机制。

26、优选地,步骤(5)中所述在线微调更新的触发条件为:每累积8~10个真实压铸周期数据,执行一次策略网络和价值网络的梯度更新,同时利用新采集数据对代理模型进行增量修正。

27、优选地,步骤(5)中还包含质量异常触发与重规划机制:当连续多个周期缺陷面积比较前序周期均值上升超过预设阈值,或连续多个周期抗拉强度低于目标值的预设比例时,自动触发策略重规划,包括临时增大策略网络输出噪声标准差以加强探索、或临时调高奖励函数中缺陷抑制项的权重。

28、优选地,步骤(2)中所述工艺-质量代理模型采用深度神经网络,包含4个隐层,每层256个神经元,激活函数为relu,输出层分别对应下一周期的缺陷面积比、抗拉强度和延伸率。

29、优选地,步骤(1)中所述状态向量还可进一步扩展纳入:脱模剂喷涂量、合金液液面高度、环境温湿度、压射位移曲线特征量、型腔真空度、单周期节拍时间,以及上述参数在过去若干周期的滑动窗口统计特征量。

30、优选地,步骤(4)中所述深度强化学习算法可替换为td3、ddpg、ppo连续控制变体或带安全约束的强化学习算法。

31、优选地,步骤(6)中所述迁移学习方法还可采用元学习或域对抗网络实现不同设备状态分布的对齐。

32、本发明面向az91d镁合金压铸提出了深度强化学习在线自适应优化方法,将工艺参数优化从离线静态推荐提升为在线动态闭环自适应控制,通过构建数字孪生与强化学习双阶段优化机制,先在虚拟环境中大规模预训练再部署至真实设备在线微调,大幅降低试错成本与工艺开发风险;同时嵌入工艺窗口安全约束的动作掩码与边界钳位机制,确保智能体探索行为始终处于az91d安全工艺窗口内,有效杜绝超温镁液燃烧、超速超压损毁模具等安全风险,质量检测结果直接作为奖励信号源,赋予方法随生产进行不断自我进化的能力,并通过迁移学习机制实现优化策略在不同吨位压铸机和不同模具间的快速复用,有效解决传统方法更换设备后需重新大批量试模建模、工艺知识无法复用的问题,显著提升良品率与工况适应性,降低规模化部署成本。