一种基于强化学习的石墨烯水处理工艺参数自适应优化方法与流程

摘要: 本发明属于水处理智能控制,具体涉及一种基于强化学习的石墨烯水处理工艺参数自适应优化方法。背景技术:1、石墨烯水处理工艺参数呈现非线性、时滞性及对来水扰动敏感的特...
一种基于强化学习的石墨烯水处理工艺参数自适应优化方法与流程

本发明属于水处理智能控制,具体涉及一种基于强化学习的石墨烯水处理工艺参数自适应优化方法。

背景技术:

1、石墨烯水处理工艺参数呈现非线性、时滞性及对来水扰动敏感的特征。现有技术主要采用固定经验设定、局部反馈调节或静态阈值触发方式,且材料性能优化与运行参数调节彼此割裂、装置控制主要依赖静态阈值和离散模式切换,容易出现短时产水、长期污染、清洗频率和能耗之间难以协调的问题,导致出水超限、频繁反洗、人工校验成本增加、运维成本高。

技术实现思路

1、本发明提供一种基于强化学习的石墨烯水处理工艺参数自适应优化方法,包括:步骤s1,获取石墨烯水处理装置的运行信号和上一控制周期动作记录,并将所述运行信号和所述上一控制周期动作记录映射为包含污染累积信息、水质扰动信息和出水偏差信息的增强工艺状态表;步骤s2,将增强工艺状态表输入策略网络,生成原始动作集,将所述原始动作集映射为设备设定值,并依据设备物理边界和工艺约束对所述设备设定值执行动作屏蔽,得到可执行工艺动作;步骤s3,基于所述可执行工艺动作对应的下一控制周期反馈数据,按照同时约束产水效果、出水质量、运行能耗、反洗代价和动作稳定性的综合收益规则评估动作效果,并形成长期回报;步骤s4,将所述可执行工艺动作转换为石墨烯水处理装置的现场控制指令集并发送至执行设备,同时将执行后的动作值写入下一控制周期对应的动作字段。

2、优选的,将所述运行信号和所述上一控制周期动作记录映射为包含污染累积信息、水质扰动信息和出水偏差信息的增强工艺状态表包括:获取进水流量、产水流量、跨石墨烯处理层压差、出水目标污染物浓度、水温、进水电导率、电解池工作电流以及上一控制周期的进水泵频率设定值、循环泵频率设定值、药剂投加速率设定值、反洗执行状态和反洗持续时长;基于所述进水流量、所述产水流量、所述跨石墨烯处理层压差、所述出水目标污染物浓度、所述水温、所述进水电导率、所述电解池工作电流以及所述上一控制周期的进水泵频率设定值、所述循环泵频率设定值、所述药剂投加速率设定值、所述反洗执行状态和所述反洗持续时长,构建工艺状态表;基于所述工艺状态表生成所述污染累积信息和所述水质扰动信息,并生成出水质量偏差和产水流量偏差作为所述出水偏差信息,得到所述增强工艺状态表,其中,所述出水质量偏差为所述出水目标污染物浓度相对于预设出水浓度目标值的带符号差值,所述产水流量偏差为预设产水目标值减去所述产水流量的带符号差值。

3、优选的,生成所述污染累积信息包括:获取所述工艺状态表中的跨石墨烯处理层压差、产水流量和自最近一次反洗结束后的连续运行时长;分别计算所述跨石墨烯处理层压差相对于预设清洁基准压差的抬升程度、所述产水流量相对于预设清洁基准产水流量的衰减程度以及所述连续运行时长相对于预设清洁参考运行时长的累积程度;将所述抬升程度、衰减程度和累积程度分别与对应的预设污染权重系数进行加权聚合,得到反映堵塞、结垢和通量衰减共同作用的所述污染累积信息。

4、优选的,生成所述水质扰动信息包括:获取所述工艺状态表中的进水电导率、进水流量和水温,并获取所述进水电导率、进水流量和水温在预设前置时间窗口内的移动平均值;分别计算所述进水电导率、进水流量和水温相对于各自所述移动平均值的偏离程度;将所述偏离程度分别与对应的预设扰动权重系数进行加权聚合,得到反映来水条件短时波动强度的所述水质扰动信息。

5、优选的,得到所述增强工艺状态表包括:基于所述工艺状态表中的出水目标污染物浓度和药剂投加速率设定值,生成吸附位衰减表征量;基于所述工艺状态表中的电解池工作电流和循环泵频率设定值,生成导电界面反应强度表征量;按照过滤阻力相关组、吸附饱和相关组、电化学反应相关组和反洗恢复相关组对所述工艺状态表中的字段进行分组,并将所述吸附位衰减表征量和所述导电界面反应强度表征量作为工况标签参与策略网络输入前的工况特征组合,得到所述增强工艺状态表。

6、优选的,将所述原始动作集映射为设备设定值包括:将所述增强工艺状态表输入所述策略网络,得到分别对应进水泵、循环泵、药剂投加和反洗触发的所述原始动作集;按照对应执行器的预设动作步长,对所述原始动作集中对应进水泵、循环泵和药剂投加的调节量进行增量映射,得到各执行器的候选设定值;对所述候选设定值先执行相邻控制周期最大变化量约束,再执行设备上下限约束,得到进水泵频率设定值、循环泵频率设定值和药剂投加速率设定值;将所述原始动作集中对应反洗触发的调节量与所述污染累积信息和所述水质扰动信息进行耦合映射,得到反洗触发结果。

7、优选的,将所述原始动作集中对应反洗触发的调节量与所述污染累积信息和所述水质扰动信息进行耦合映射,得到所述反洗触发结果包括:基于所述反洗触发结果与预设触发概率阈值的比较关系,在当前未处于反洗锁定期时生成反洗开启指令;在反洗开启后保持反洗状态持续至预设最短反洗时长;在达到所述预设最短反洗时长后,基于跨石墨烯处理层压差与预设恢复压差阈值的比较结果以及产水流量与预设恢复产水阈值的比较结果,判定是否结束反洗;在达到预设最长反洗时长仍未满足结束条件时,强制结束反洗并生成维护告警。

8、优选的,依据设备物理边界和工艺约束对所述设备设定值执行动作屏蔽,得到所述可执行工艺动作包括:基于所述跨石墨烯处理层压差与预设高压差阈值的比较结果,生成对继续提高进水泵频率动作的屏蔽标记;基于所述出水目标污染物浓度与预设超限浓度阈值的比较结果,生成对降低循环泵频率动作和降低药剂投加动作的屏蔽标记;基于所述产水流量与预设低通量阈值的比较结果以及所述污染累积信息与预设高污染阈值的比较结果,生成对提高进水泵频率动作和关闭反洗动作的联动屏蔽标记;将所述屏蔽标记组织为分别对应进水泵、循环泵、药剂投加和反洗动作的屏蔽标记向量,并在多个屏蔽条件同时满足时按照预设优先级顺序确定最终屏蔽结果;依据所述最终屏蔽结果,对所述设备设定值执行保留、截断为上一控制周期执行值和替换为安全预置值的动作修正,得到所述可执行工艺动作。

9、优选的,按照同时约束产水效果、出水质量、运行能耗、反洗代价和动作稳定性的综合收益规则评估动作效果,并形成长期回报包括:基于所述下一控制周期反馈数据,计算以产水流量保持程度为正向收益、以污染累积信息增长、出水目标污染物浓度超出预设出水浓度目标值、系统总功率增加、反洗事件发生和相邻控制周期动作变化幅度增大为负向约束的单周期综合收益;基于所述下一控制周期反馈数据中的跨石墨烯处理层压差与预设压差安全阈值的比较结果,生成压差安全边界惩罚项,并基于反洗结束后的压差恢复和产水恢复过程生成恢复窗口代价项;将进水泵频率变化量、循环泵频率变化量、药剂投加变化量和反洗状态变化量分别按各自单周期允许变化范围折算后加权汇总,并与所述水质扰动信息耦合,生成抗干扰稳定约束项;基基于所述单周期综合收益、压差安全边界惩罚项、恢复窗口代价项和抗干扰稳定约束项,形成长期回报;基于历史运行日志、半实物试验数据和数字孪生仿真样本构建离线训练样本,并在离线训练阶段基于所述长期回报对策略网络和评价网络进行离线训练,其中,所述数字孪生仿真样本至少包括过滤阻力增长子模型、出水浓度响应子模型和反洗恢复子模型的状态转移结果。

10、本发明还提供了一种电子设备,包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。

11、本发明通过将增强工艺状态表输入策略网络生成原始动作集并映射为设备设定值并执行动作屏蔽得到可执行工艺动作;通过基于可执行工艺动作对应的下一控制周期反馈数据按综合收益规则评估动作效果并形成长期回报;通过将可执行工艺动作转换为现场控制指令集发送至执行设备,提升了石墨烯水处理过程的连续性、稳定性和自适应运行能力,提高了处理效率、降低了能耗、节约了药剂、降低了运维成本。