基于强化学习的生活污水处理多药剂投加优化方法及系统

本发明属于生活污水处理智能控制、环境工程自动化以及人工智能应用，尤其是涉及一种基于强化学习的生活污水处理多药剂投加优化方法及系统。

背景技术：

1、生活污水处理厂为保证化学除磷、混凝沉淀、污泥调理及生物脱氮效果，通常需要投加聚合氯化铝（pac）、阴离子聚丙烯酰胺（apam）、阳离子聚丙烯酰胺（cpam）和外加碳源。不同药剂作用环节不同但相互影响：pac和apam影响高效沉淀与除磷，cpam影响污泥絮凝和固液分离，外加碳源影响反硝化和总氮去除。若分别独立设定药量，容易造成局部最优或药剂间补偿，导致总药剂成本和处理风险不能同时受控。

2、行业中常见的加药方式包括人工经验设定、基于单一水质指标的比例控制、根据流量或污染物浓度建立经验公式、采用pid或前馈控制调节计量泵，以及使用回归模型、神经网络或优化算法预测单种药剂投加量。上述方法通常以进水水质、流量和历史药量作为主要输入，输出单种或少量药剂的设定值，其未充分利用水温、流量、溶解氧、污泥浓度、氧化还原电位和回流状态等过程变量，难以完整表征生化处理、混凝沉淀和回流过程的实际运行状态。

3、对于多药剂数据驱动控制，较为接近的实现方法一般包括以下步骤：采集历史进出水水质和药剂投加数据；训练水质预测模型；根据预测出水是否达标以及药剂成本构建优化目标；使用搜索算法或强化学习生成药剂量；将结果限制在物理上下界内。现有方法能够一定程度降低人工计算工作量，但仍存在以下不足：

4、（1）过程状态信息不足。仅依据进出水水质和药量，难以区分相同进水条件下因溶解氧（do）、混合液悬浮固体（mlss）、氧化还原电位（orp）、回流状态或温度差异导致的处理能力变化。故在样本数量有限且过程变量较多的情况下，直接预测下一周期出水绝对值容易受到高维输入、变量相关性和过程惯性的影响，模型可能仅拟合均值或产生不稳定外推，进而影响控制策略的可信度。

5、（2）动作安全约束粗粒度。仅使用统一物理边界，不能阻止策略在边界附近长期运行，也不能体现四种药剂不同的允许调整方向和幅度。

6、（3）碳源约束缺乏专门设计。外加碳源在脱氮和成本中占比较高，策略可能通过增投碳源换取更高达标裕度，从而抵消其他药剂的节省。不同药剂的作用、风险和可调范围存在显著差异，采用统一的上下调比例或统一惩罚项，不能反映絮凝剂、助凝剂和外加碳源的不同工艺属性，尤其容易出现通过增加外加碳源换取过大脱氮安全裕度的现象。

7、（4）环境模型易失真。日尺度污水数据样本有限，直接预测出水绝对值容易受到持久性、季节性和高维输入影响。

8、（5）策略模型筛选机制不完善。现有方法通常缺少对出水达标率、药剂成本降幅、正节省步比例、动作变化率、边界饱和程度以及固定评估窗口稳定性等指标的综合筛选，可能选中药剂成本较低但出水达标率、动作平滑性、边界饱和程度或固定窗口稳定性不符合工程要求的策略模型。

9、（6）策略动作缺乏历史可行域约束。现有方法通常仅将策略输出限制在设备物理上下界内，仍可能产生大幅偏离历史运行范围和人工投加方案的动作。数据驱动模型对此类分布外动作的预测误差较大，强化学习策略可能利用该误差输出贴近物理边界的动作，难以保证其出水达标性、运行稳定性和工程可执行性。

10、（7）应用边界不清晰。未明确哪些状态在决策时刻可获得，容易将当日完整统计量用于当日决策，造成未来信息泄漏。

11、（8）现有方法通常未明确日尺度计划优化与控制，还存在决策时刻数据可获得性、异常仪表回退和人工基线保留等工程实施问题。

12、因此，需要一种面向真实生活污水处理过程的完整技术方案，将过程增强数据、局部残差动态环境、四药剂联合连续控制、安全动作整形、碳源专项保护和多指标模型筛选结合起来，使输出动作既满足排放和设备约束，又保持在人工历史运行邻域内。

技术实现思路

1、本发明要解决的问题是提供一种利用过程增强运行数据、残差数据驱动动态环境和历史可行域安全强化学习，生成apam、pac、cpam及外加碳源协同推荐投加量的基于强化学习的生活污水处理多药剂投加优化方法及系统。

2、为解决上述技术问题，本发明采用的技术方案是：一种基于强化学习的生活污水处理多药剂投加优化方法，包括以下步骤：

3、s101、采集生活污水处理设施运行数据，对周期结束后才可获取的过程统计量采用前一周期对齐处理：

4、采集生活污水处理设施控制周期对应的运行数据，所述运行数据包括时间戳；进水水质和出水水质；apam（阴离子聚丙烯酰胺）、pac（聚合氯化铝）、cpam（阳离子聚丙烯酰胺）和外加碳源四种药剂投加量；水温；进水流量；还包括过程统计量，所述过程统计量包括do（溶解氧）统计量、mlss（活性污泥浓度）统计量、缺氧区orp（氧化还原电位）统计量、厌氧区orp（氧化还原电位）统计量、回流流量和回流不均衡指标。

5、其中，所述进水水质和出水水质的指标均包括cod（化学需氧量）、nh4-n（氨氮）、tn（总氮）、tp（总磷）及ph。

6、对于在一个完整控制周期结束后才能获得的过程统计量，采用前一周期对齐方式，即在第t个控制周期作出投加决策时，使用第t-1个控制周期的过程统计量。由此保证输入信息在决策时刻真实可获得，避免使用未来信息。

7、在按日进行决策的场景下，在每日启动运行之前或者预设固定决策时刻，调取前一日已经全部采集完成的整套工艺过程状态数据。针对当日的进水水质、进水流量以及水温，优先采用当日早些时间已经实测得到的数据，或是预测得到的估算数据。若无法获取当日工况的预测结果，则可以选用最近若干小时监测数据的滑动均值、前一天相同时段的历史运行数据，或是调度预设计划数值作为替代；选用替代数据时，需要在输出结果中标明数据来源，便于识别数据可信程度。

8、s102、对运行数据进行预处理，构建标准化的控制状态向量：

9、对步骤s101采集的运行数据进行预处理，所述预处理包括时间对齐、重复记录检查、缺失值检查、异常值标记、单位统一和变量标准化。完成运行数据的预处理后，根据进水流量与进水污染物浓度计算污染物负荷。

10、然后按照预定的特征排列顺序，将当前进水水质、当前进水流量、当前水温、污染物负荷、周期时间特征、前一控制周期的过程状态、前一控制周期的出水水质、前一控制周期实际执行的四种药剂投加量以及当前控制周期的人工基线动作依次拼接，形成完整的控制状态向量。其中人工基线动作是指在未采用强化学习策略调整的情况下，由运行人员、经验规则或现有控制方式，根据当前进水工况、历史运行经验、生产计划及设备能力，为当前控制周期预先确定的apam、pac、cpam和外加碳源四种药剂的计划投加量。四种药剂的计划投加量按照预定顺序构成人工基线动作，既作为策略网络输出药量调整增量的参照，也作为触发异常条件时的回退投加方案。其中，各药剂对应的计划投加量称为该药剂的人工基线投加量。

11、最后，将拼接得到的控制状态向量按照训练阶段确定的特征排列顺序，采用训练阶段保存的标准化器对其中各维连续变量分别进行标准化转换，并将转换后的控制状态向量输入策略网络。

12、步骤s102中，所述时间对齐具体包括以下步骤：首先将各个数据源的时间戳转换为统一的控制周期编号，并依照控制周期先后顺序对数据排序。其中过程统计量、出水水质、药剂实际投加量，均需要等一个完整控制周期运行完毕之后才能够得到，将该类数据在时间轴整体向后偏移一个控制周期。使第t个控制周期的控制状态中所采用的do、mlss、orp、回流状态、出水水质、四种药剂实际投加量，均取自前一日即第t-1个控制周期。对于在第t个控制周期做决策时就已经可以获取的进水水质、进水流量、水温、周期时间特征、人工基线动作，则保留为本周期自身数据，不进行时间偏移。随后按照控制周期编号把各类数据拼接整合；对于缺少前一周期数据、无法组装出完整控制状态的样本直接删除。经过时间对齐处理后，构成控制状态的全部变量均为决策时刻已经实际获取的信息，避免把需要等到本周期结束才能够采集到的数据，用于本周期的投加决策。

13、所述重复记录检查具体处理过程为：将全部数据记录的时间戳转换为统一的控制周期编号，将该控制周期编号作为日尺度数据记录的唯一检索键。当同一个控制周期下存在两条及以上的日统计记录：若多条记录全部字段数值完全相同时，判定为完全重复，仅保留一条记录；若同一控制周期多条记录数值不一致，则判定为冲突重复记录。依据数据质量标志、数据源优先级、校验状态以及更新时间筛选有效记录，优先保留质量标志正常、经过校验、更新时间更晚的记录。对于无法判定有效值的冲突重复记录，设置异常标识，该条数据不再参与模型训练。在线进行药剂投加决策计算时，如果遇到无法消除的关键数据冲突，则停止模型的推荐运算，直接回退采用历史人工基线投加方案。需要区分：同一个控制周期内仪表连续采集得到多条原始瞬时采样数据属于设备正常采集行为，不判定为重复记录，需要先按照预设统计规则聚合，生成一条日尺度统计记录。全部处理完成后，再次校验控制周期编号唯一性，确保每一个控制周期仅对应一条有效日尺度记录。

14、所述缺失值检查和异常值标记可采用相邻周期插值、历史中位数、经过校验的仪表替代值或回退基线方式处理；当关键变量缺失且无法可靠补齐时，不执行模型推荐，将当前周期人工基线动作作为最终投加方案输出。

15、所述单位统一具体包括：根据预先建立的变量名称、原始单位和目标单位之间的单位映射关系，对不同数据源的运行数据进行换算。单位换算完成后，对换算结果进行量程检查，并保存原始单位、换算系数和目标单位，以保证训练阶段和在线推理阶段采用相同的计量口径。

16、所述变量标准化具体包括：在完成时间对齐、重复记录检查、缺失值检查和异常值标记以及单位统一后，针对控制状态内各个连续数值变量，采用标准分数方法实施转换。对于控制状态中第j个连续变量，标准化值等于该变量当前值减去该变量在训练数据集的平均值，再除以该变量在训练数据集的标准差；j代表变量序号，取值从1到控制状态总变量数。各个变量的平均值与标准差仅依据训练数据集计算得到，计算完成后和变量名称、变量排列顺序、单位信息一并存储。在验证阶段以及在线推理阶段，不再重新计算标准化参数，直接读取训练阶段保存的同一组参数进行转换。

17、对于标准差为零的固定变量，可将其缩放系数设置为1，或者不将该变量送入模型；对于已经映射到-1至1区间的周期时间特征、取值仅为0或1的数据质量标志，不再重复执行标准化运算。通过该处理方式，使模型在训练、验证、在线推理全流程下，输入变量保持统一的数值尺度以及固定的特征排列顺序。

18、s103、建立残差数据驱动动态环境，基于控制状态与药剂投加动作预测出水水质相对变化量，输出预测不确定性并支持多步滚动风险预估；

19、残差动态环境接收步骤s102输出的第t个控制周期的控制状态以及pac、apam、cpam、外加碳源的可执行投加动作，用于预测执行四药剂投加动作后第t个控制周期的出水变化。所述出水变化是指第t个控制周期的cod、nh4-n、tn和tp出水浓度相对于最近一个已完成的第t-1个控制周期对应出水浓度的增减变化量。残差动态环境不直接预测出水水质的绝对浓度数值，而是预测各项出水指标的变化量，并将预测得到的变化量与第t-1个控制周期的出水水质相加，得到第t个控制周期的预测出水水质。

20、因此，下一周期的预测出水，等于当前周期的出水实测值加残差动态环境预测的出水变化量。

21、所述残差动态环境可由多个前馈神经网络子模型组成集成模型。各个前馈神经网络子模型可采用不同随机初始化、不同训练样本抽取或不同特征子集进行训练，预测时把多个前馈神经网络子模型输出结果进行整合，可采用均值、中位数或加权均值作为最终输出结果。集成模型除给出预测结果之外，还会计算并输出各个前馈神经网络子模型相互之间结果的离散度；该离散度用来代表本次预测的不确定程度和风险指标。

22、为缓解日尺度样本数量少、输入维度较高带来的模型过拟合问题，先从步骤s102得到的过程增强字段中筛选出和出水结果、药剂投加效果直接相关的核心特征，再将核心特征输入残差动态环境的集成模型。集成模型训练过程中，同步与均值基准模型、一步持久性基准模型这两个基准模型开展对比；并且执行历史实际动作回放校验，核对模型输出的平均出水响应以及药剂成本和历史实际结果是否保持一致，以此保证残差动态环境仿真输出结果真实可靠。

23、残差动态环境具备多步滚动预测能力。完成第一步预测后，将该步预测出水作为下一预测步控制状态中的历史出水信息，并将该步采用的四药剂可执行动作，作为下一预测步状态中的前一周期已执行动作。

24、对于后续各预测步，支持两种滚动预测情景：

25、其一为人工基线动作滚动预测情景，后续周期直接采用操作人员预先制定、历史留存或者按照预设规则生成的药剂基线投加量；

26、其二为优化动作滚动预测情景，将滚动更新后的控制状态输入td3策略网络，输出四药剂动作增量，与对应周期人工基线动作组合，再经过安全执行层处理得到可执行动作。

27、残差动态环境依据更新后的控制状态以及选定的可执行动作，逐次预测后续周期出水水质，以此评估未来若干个控制周期的出水超标风险、预测不确定性以及累计药剂成本。

28、s104、策略网络接收控制状态，输出四种药剂相对于人工基线动作的动作增量，将人工基线动作中各药剂的投加量与对应动作增量相加，生成药剂候选动作；其中人工基线动作是指在未采用强化学习策略调整的情况下，由运行人员、经验规则或现有控制方式为当前控制周期预先确定的apam、pac、cpam和外加碳源四种药剂的计划投加量。

29、连续动作强化学习策略网络接收经步骤s102处理完成的控制状态，输出四种药剂相对于人工基线动作的药量调整增量（动作增量）。

30、策略网络并不直接输出药剂的绝对投加量，而是分别输出apam、pac、cpam、外加碳源四种药剂，相对于本周期人工基线动作的投加调整增量。

31、将当前周期人工基线动作与策略网络输出的动作增量相加，得到候选药剂投加动作。对各药剂动作增量的取值范围加以限制，使策略网络以当前周期人工基线动作的药量为基准，在预先设定的有限动作区间内生成四药剂候选投加方案。

32、s105、对步骤s104得到的候选动作执行分药剂安全整形；其中分药剂安全整形是指针对各药剂分别设置的投加量调整范围和约束条件，对候选动作中各药剂的投加量进行约束调整，依次实施分药剂锚定、动作软压缩、变化率限制和物理边界限制，并对外加碳源实施碳源保护处理，得到可执行动作。其中，“分药剂”表示不同药剂分别采用对应的约束参数，“安全整形”表示对候选投加量进行范围限制和平滑调整。

33、设置该固定处理顺序的目的是，后一项约束在前一项约束已经处理完成的动作结果基础上执行，防止策略网络（策略层）和残差动态环境（环境层），对同一套药剂动作使用不一样的修正投影规则。

34、s1051、分药剂非对称历史可行域（分药剂锚定）：

35、对于第i种药剂，结合该药剂当前周期人工基线投加量（人工基线动作）、允许下调比例、允许上调比例，确定该药的锚定区间；其中，i为药剂种类索引，i∈{1,2,3,4}，分别对应apam、pac、cpam和外加碳源。

36、锚定区间下限等于人工基线投加量乘以（1减去允许下调比例）；锚定区间上限等于人工基线投加量乘以（1加上允许上调比例）。将该锚定区间与设备物理投药上下限取交集，最终得到的锚定区间不得超出设备硬件的实际工作能力。

37、s1052、动作软压缩（在锚定区间内部设置连续安全缓冲，使边界附近动作向区间内部收缩，而不是仅在越界后进行硬截断）：

38、在各药剂对应的锚定区间内部设置边缘缓冲带；当候选动作接近锚定区间上下边界时，将候选动作平滑压缩至锚定区间内部。动作软压缩不同于简单数值截断，其作用是减少策略长期选择锚定区间极值的倾向，同时保持动作在锚定区间内连续可调。

39、s1053、变化率限制与物理边界：

40、依据相邻控制周期的已执行动作设定药剂投加量最大增加量与最大减量；并结合计量泵流量范围、药液浓度、储罐容量以及工艺最低投加需求，确定投加量的物理上下限。安全执行层依次完成动作变化率约束与物理边界约束，避免推荐投加量出现剧烈突变，或是超出设备可实现范围。

41、s1054、碳源保护：

42、对外加碳源设置独立保护规则。

43、优选方案中，外加碳源的可执行动作不高于当日人工基线投加量；若工艺工况允许上调碳源，则单独设置碳源上调阈值，并新增碳源过量风险评价项。该规则避免策略依靠过量投加碳源换取过高的总氮安全余量，抵消其他药剂节约带来的收益。

44、s106、计算奖励、约束和风险：

45、根据步骤s103残差动态环境的预测结果以及可执行动作，计算奖励值与约束项。

46、所述奖励值至少包含相对于固定历史平均药剂成本的节药收益；所述约束项至少包含出水超标风险、动作平滑惩罚、锚定边界饱和惩罚、碳源过量惩罚以及多步预测风险。

47、进一步，依据当前可执行动作与前一周期实际投加动作的差值计算动作平滑惩罚；根据候选动作触碰锚定区间边界的情况计算锚定边界饱和惩罚；依据外加碳源可执行投加量超出工艺需求量的程度计算碳源过量惩罚；根据未来多个控制周期的滚动预测结果以及集成子模型的预测离散度，计算多步预测风险。通过上述奖惩设计，在获取节药收益的同时，对当前及未来出水安全、投药动作稳定性、药剂合理投加进行联合约束。

48、药剂总成本等于四种药剂投加量分别乘以对应单价后求和。节药收益采用训练数据集内固定的历史平均药剂成本归一化，避免使用每日基线成本作为分母，造成不同周期奖励量纲不一致。

49、排放约束依据适用标准设定。

50、s107、策略训练、经验回放与策略检查点筛选：

51、将控制状态、可执行动作、奖励、约束成本、下一状态构成经验样本存入经验回放池；训练过程按固定间隔保存策略检查点；在同一固定评估窗口开展评估，仅满足全部预设资格条件的策略检查点参与最优策略模型遴选，根据综合评分确定最优策略模型。其中，检查点可理解为训练过程中某一时刻保存的模型状态快照。

52、具体地，将控制状态、可执行加药方案、奖励值、各项约束成本以及下一个时刻的状态组成经验样本，存放到经验回放池里面。训练的时候，随机取出一批样本用来更新两个critic评价网络；actor策略网络采用延迟更新的方式；目标网络采用软更新的方式跟随在线网络。训练过程中，每隔固定间隔就保存一份模型快照（策略检查点），并在相同的固定评估窗口上比较。

53、策略检查点同时满足预设筛选条件时，可参与最优模型遴选。筛选条件可包括：即时水质达标率不能低于99.9%、平均药剂真实成本降幅大于0、逐步节省率不能低于设定下限、能够实现省钱的样本占比不少于30%、平均锚定边界饱和指标不高于0.50。在所有满足资格的策略检查点里面，综合多项指标评分：成本下降幅度、水质达标率、能省钱的样本占比、药量变化平滑程度、药量触碰锚定区间和物理边界的饱和程度，选出最佳策略模型。

54、为规避推理阶段出现模型加载不匹配的问题，本方法在对模型文件进行最终存储时，同步记录状态维度、动作维度、特征结构标识、评估窗口及全部训练参数。

55、s108、加载最优策略模型进行推理，输出药剂推荐投加量，当触发异常条件时回退至人工基线动作：

56、每日固定决策时刻构建控制状态向量，经策略推理、安全整形输出日尺度四药剂推荐投加量；当触发异常条件时停止模型推荐，回退输出人工基线动作作为最终投加方案。

57、在每天固定决策时刻，系统读取前一日过程状态和药剂的实际投加量，以及读取当日早期测量或预测的进水水质、进水流量和水温数据，并接收运行人员制定的四药剂人工基线动作的投药方案。系统整合所有数据生成完整的状态向量，经策略推理计算和安全执行层的各项约束校验后输出四种药剂的日总推荐投加量。

58、系统支持多种药量输出形式，推荐量可直接以kg/d输出，也可根据药液有效成分浓度、药液密度、计量泵标定曲线和每日运行时长换算为l/h、kg/h或泵频率。输出结果同时包含相对基线变化量、锚定区间、成本变化、预测出水、风险标志和建议回退人工状态。

59、当出现异常工况时，比如关键仪表数据缺失、实时输入数据超出历史可信区间、水质预测的不确定性超过阈值、模型推荐的药量无法通过安全执行层，或是现场设备运行状态异常，系统的回退模块会立即终止自动加药推荐和指令下发，并恢复人工基线动作或最近经确认的安全动作。

60、本发明还提供一种基于强化学习的生活污水处理多药剂投加优化系统，该系统可部署在工控机、服务器、边缘计算设备或云端计算平台中，并可通过预设的数据通信接口与污水处理厂现有的数据采集设备、在线监测设备、运行管理系统及控制执行设备连接，实现运行数据的获取和推荐投加结果的传输。系统模块包括：

61、数据采集模块，用于采集生活污水处理设施运行数据；

62、状态构建模块，用于完成时间对齐、重复记录检查、缺失值检查、异常值标记、单位统一和变量标准化；生成控制状态向量；

63、残差动态环境，用于接收控制状态与药剂动作，预测出水水质相对变化量，输出预测不确定性；

64、策略优化模块，用于根据控制状态，输出四种药剂相对于人工基线动作的动作增量；生成候选药剂动作；

65、安全执行模块，用于对候选药剂动作执行所述分药剂安全整形，分别对各药剂的候选投加量进行约束调整，输出可执行动作；

66、模型训练与筛选模块，用于经验回放、网络更新、固定窗口评估和最佳策略检查点筛选；

67、推荐输出模块，用于加载最优策略模型，输出药剂推荐投加量、预测风险信息；

68、执行与回退模块，用于实现人工确认、设备下发，异常工况下回退至人工基线动作。

69、所述数据采集模块将运行数据传递至所述状态构建模块；所述状态构建模块生成控制状态并分别提供给所述残差动态环境和策略优化模块；所述策略优化模块输出候选动作至安全执行模块；所述残差动态环境根据控制状态和安全执行动作预测出水响应；所述模型训练与筛选模块根据奖励、约束和固定评估窗口更新并选择策略；所述推荐输出模块生成推荐量和风险信息；所述执行与回退模块负责人工确认、设备下发和异常回退。

70、本发明还可由处理器和存储器实现，存储器中存储计算机程序，处理器执行所述程序时完成上述方法步骤；相应计算机程序也可存储于非暂态计算机可读存储介质中。

71、由于采用上述技术方案，本发明建立了能够同时表征进水负荷、生化过程、沉淀过程和回流状态的日尺度控制状态，使推荐投加量与生活污水处理设施实际过程状态相对应；本发明建立了预测下一周期出水变化量的残差数据驱动动态环境，在有限日尺度样本下提高局部工况建模的稳定性，并为离线闭环策略训练提供可重复的环境；本发明将四种真实药剂作为连续联合动作，在一级a排放约束下实现达标、节药、动作平滑和工程可执行性的协同优化；本发明通过分药剂非对称历史可行域、动作软压缩、变化率限制、物理边界和碳源保护，将策略搜索限制在历史人工运行邻域内，降低分布外动作和边界依赖；本发明通过固定评估窗口和多指标资格条件筛选最佳策略检查点，避免仅依据单一奖励或最终训练步选择模型；本发明形成可用于每日投加计划制定的推荐系统，在仪表异常、输入越界或模型风险过高时回退至人工基线，提高应用安全性。

72、本发明具有如下有益效果：

73、（1）本发明的状态表征更贴近实际工艺：通过引入水温、流量、do、mlss、orp和回流状态，并采用前一周期对齐，能够区分不同生化和沉淀运行状态，且避免决策时使用未来数据。

74、（2）本发明使小样本动态建模更稳定：采用核心特征和残差预测，使模型重点学习下一周期出水变化，而非重复拟合出水绝对均值；结合历史回放和简单基准模型可检验其局部适用性。

75、（3）本发明可实现四药剂真正协同：四种药剂在同一动作向量中联合优化，能够识别药剂之间的补偿关系，以总药剂成本和排放约束评价整体效果。

76、（4）本发明的动作具有明确工程边界：分药剂非对称锚定反映不同药剂的作用和风险；动作软压缩降低贴边依赖；变化率和物理边界限制保证推荐量符合设备能力。

77、（5）本发明的外加碳源得到专门保护：碳源上调限制和专项风险项可避免利用额外碳源换取过大tn安全裕度，防止碳源增耗抵消总体节药。

78、（6）本发明策略选择可靠：通过固定评估窗口及资格条件，将水质达标情况、药剂成本、成本有效节省样本、动作平滑性、边界饱和程度共同纳入模型遴选依据，避免仅依靠最终训练结果或单一奖励指标筛选模型，实现对候选策略多维度综合评价，保障选出的最优策略同时兼顾出水安全、节药收益与工程可执行性。

79、（7）本发明具备安全应用路径：系统明确采用日尺度推荐、人工基线动作、人工确认、设备换算、异常联锁及回退的安全应用路径，实现生活污水处理药剂投加的安全智能管控。