基于DDPG-PID的聚丙烯腈反应器温度控制方法

摘要: 本发明属于聚丙烯腈反应器温度控制领域,具体涉及基于ddpg-pid的聚丙烯腈反应器温度控制方法。背景技术:1、聚丙烯腈是合成纤维(如腈纶)及高性能碳纤维的核心原...
基于DDPG-PID的聚丙烯腈反应器温度控制方法

本发明属于聚丙烯腈反应器温度控制领域,具体涉及基于ddpg-pid的聚丙烯腈反应器温度控制方法。

背景技术:

1、聚丙烯腈是合成纤维(如腈纶)及高性能碳纤维的核心原料,其聚合反应对温度控制的精准性要求极高。在工业生产中,聚丙烯腈聚合反应的放热反应热量若不能及时移除,将使反应器内的温度不断上升,以致放热失控触发安全联锁系统,引发设备故障或安全事故,造成巨额经济损失。因此,实现反应器温度的高精度、高稳定性控制,是工业生产过程中的关键控制目标。

2、然而,聚丙烯腈聚合反应为强放热自由基聚合,随着单体转化率提升,反应体系粘度急剧上升,导致釜内传热系数显著下降,被控对象呈现出大滞后、强非线性、参数时变的复杂特性。传统单自由度 pid 控制依赖离线整定的固定参数,难以适应工况动态变化,无法满足聚丙烯腈生产对跟踪无超调、快响应、高稳态精度、强鲁棒性的要求。为此,有研究者将模糊算法、遗传算法等智能优化方法与pid相结合,以提升控制系统的自适应性。但模糊控制依赖于专家知识构建规则库和隶属度函数,难以适配工况变化的情况;遗传算法虽然能获得全局最优解,但是计算量大、收敛速度慢,无法在线实时整定参数,难以满足工业场景的实时控制要求。

3、深度强化学习作为一种交互式学习方法,在智能控制中得到了广泛的应用。lillicrap 等人提出的深度确定性策略梯度(deep deterministic policy gradient,ddpg)算法,仅需设定初始状态和控制目标,智能体即可通过与被控环境的交互和最大化奖励函数,自主学习得到最优控制策略。现有文献将ddpg算法用于不同工业过程控制场景,均取得了优于传统pid的控制效果。但针对聚丙烯腈聚合反应器这类存在强放热、时变、大滞后特性的复杂化工过程,现有研究多直接将ddpg算法输出作为控制量作用于被控对象,控制逻辑缺乏工业场景可解释性,难以直接落地于现有工业pid控制框架;少数ddpg-pid融合控制研究,未将可测扰动直接纳入算法状态空间,无法在单回路结构下同时兼顾设定值跟踪性能与抗扰动性能,难以满足聚丙烯腈聚合反应全周期的温度控制需求。

技术实现思路

1、针对现有技术中的上述不足,本发明提供的基于ddpg-pid的聚丙烯腈反应器温度控制方法解决了现有ddpg 直接输出控制量缺乏工业可解释性的问题。

2、为了达到上述发明目的,本发明采用的技术方案为:基于ddpg-pid的聚丙烯腈反应器温度控制方法,包括以下步骤:

3、s1、构建ddpg-pid温度控制模型;

4、s2、对ddpg-pid温度控制模型进行训练,得到聚丙烯腈反应器温度控制器;

5、s3、根据聚丙烯腈反应器温度控制器完成自适应温度控制。

6、进一步地:s1中,ddpg-pid温度控制模型包括ddpg 层和pid层,s1具体为:

7、在ddpg 层中,通过ddpg强化学习将聚丙烯腈反应器温度控制过程建模为马尔可夫决策过程,设计状态空间、动作空间和奖励函数,通过ddpg强化学习与被控环境的实时交互学习,实时输出pid参数调整量;

8、在pid层中,根据pid参数调整量输出控制量,用于聚丙烯腈反应器温度自适应控制。

9、进一步地:在ddpg 层中,状态空间的表达式具体为:

10、

11、式中,为第时刻反应器内温设定值与实际值的偏差,表示温度误差积分,为温度误差的变换率,为第时刻夹套温度;

12、动作空间的表达式具体为:

13、

14、式中,为比例系数的调整量,为积分系数的调整量,为微分系数的调整量;

15、奖励函数的表达式具体为:

16、

17、式中,为第时刻的奖励,为误差惩罚系数,为超调惩罚系数,为超调量,为控制量变化率惩罚系数,为pid输出增量。

18、上述进一步方案的有益效果为:将可测扰动纳入状态空间,在单回路结构下隐含二自由度控制特性,为跟踪性能与抗扰性能的解耦优化提供了结构基础。

19、进一步地:ddpg 层包括actor网络和critic网络,通过actor网络和critic网络交互完成策略学习与价值评估。

20、进一步地:s2中,对ddpg-pid温度控制模型进行训练的方法具体为:

21、s21、初始化:初始化actor网络、critic网络和训练步数,将pid参数设置初始值;

22、s22、状态采集:采集当前时刻状态,输入至actor网络;

23、s23、动作输出:actor 网络根据输入的当前时刻状态输出当前时刻动作,作为pid参数调整量,叠加ou噪声后按pid控制器的参数实时更新规则更新 pid 参数;

24、s24、执行动作:根据更新后的pid控制器输出控制量,调节夹套冷/热水流量,作用于聚丙烯腈聚合反应器后采集下一时刻状态;

25、s25、奖励计算:计算当前时刻的奖励;

26、s26、经验存储:根据当前时刻状态、当前时刻动作、当前时刻状态和下一时刻状态生成交互样本,将交互样本存入经验回放池d;

27、s27、网络更新:当经验回放池样本量达到批次大小后,随机采样批量样本,更新critic网络和actor网络;

28、s28、目标网络更新:对 critic网络和actor网络的目标网络进行软更新;

29、s29、终止判定:判断训练步数达到训练总步数和目标网络达到收敛判定条件二者是否满足其一,若是,则停止训练,保存最优critic网络和actor网络的网络参数,若否,则令训练步数加一,返回s22。

30、进一步地:s23中,pid控制器的参数实时更新规则具体为:

31、

32、

33、

34、式中,为第时刻比例系数,为第时刻比例系数,为第时刻积分系数,为第时刻积分系数,为第时刻微分系数,为第时刻微分系数。

35、进一步地:s27中,更新critic网络的方法具体为:

36、critic网络通过最小化td误差更新参数,计算目标网络输出的动作价值,第时刻的td目标值的表达式具体为:

37、

38、式中,为目标critic网络输出的动作价值,为目标actor网络输出的确定性动作,为第时刻状态,为目标actor网络的参数,为目标critic网络的参数;

39、critic网络损失函数的表达式具体为:

40、

41、式中,为经验回放池d中采样样本的数学期望,为当前critic网络对“第时刻状态和第时刻动作”的价值评估,为critic网络的参数;

42、更新actor网络的方法具体为:

43、actor网络基于确定性策略梯度定理更新参数,actor网络的策略梯度的表达式具体为:

44、

45、式中,为动作价值对动作的偏导数,为actor网络输出对其参数的偏导数,为当前actor网络输出的pid参数调整量。

46、进一步地:s28中,对 critic网络和actor网络的目标网络进行软更新的方法具体为:

47、

48、

49、式中,为软更新系数,,为更新符号,为actor网络的参数,为目标actor网络的参数,为critic网络的参数,为目标critic网络的参数。

50、本发明的有益效果为:

51、(1)针对现有ddpg 直接输出控制量缺乏工业可解释性的缺陷,本发明提供了基于ddpg-pid的聚丙烯腈反应器温度控制方法,构建“ddpg决策+pid执行”的双模态控制架构,以ddpg在线优化pid控制器参数,而非直接输出控制量作用于被控对象,兼顾了传统pid 的工程实用性、可解释性与强化学习的自适应优化能力;针对现有ddpg-pid研究难以兼顾跟踪与抗扰性能的不足,将可测扰动(夹套温度)直接纳入算法状态空间,使控制器具备主动扰动感知与前馈补偿能力,在单回路控制结构下隐含二自由度控制特性,为跟踪性能与抗扰性能的解耦优化提供了结构基础。该方法既保留了pid控制器在工业现场的高可靠性、强可解释性,又充分发挥了ddpg算法在线自主学习的优势,满足聚丙烯腈聚合反应温度控制对精度、响应速度和鲁棒性的综合要求。

52、(2)仿真结果表明,所提ddpg-pid方法具有良好的跟踪性能、干扰抑制性能和鲁棒性,所构建的“ddpg决策+pid执行”双模态架构,无需改动工业现场现有pid控制框架,兼具算法的自适应能力与工程可解释性;在单回路结构下实现了设定值跟踪无超调、稳态误差≤±0.2℃的高精度控制,有效提升了系统的扰动抑制能力。为聚丙烯腈反应器温度控制提供了有效新方案。