数据中心冷却系统的多智能体奖励函数构建方法及系统

本发明涉及人工智能与强化学习控制领域，特别涉及一种数据中心冷却系统的多智能体奖励函数构建方法及系统。

背景技术：

1、在数据中心冷却系统等多设备耦合（如机房末端空调、冷机、冷却塔及其水系统）的复杂工业场景中，多智能体强化学习（marl）是实现系统级能效优化与协同控制的重要手段。

2、目前，传统方法直接采用单一的系统级总体奖励进行反馈，其难以将数据中心冷却系统中的各个智能体整体性能的变化准确归因到具体设备的动作上，由此设计的奖励函数难以准确表达各个智能体在制冷过程中的动作好坏，导致智能体间无法形成高效的协作策略。

技术实现思路

1、本发明提供了一种数据中心冷却系统的多智能体奖励函数构建方法及系统，用以解决现有技术中存在的上述问题，即现有技术中如何设计能够准确表达复杂的工程偏好的奖励函数，进而提高智能体间高效协作的问题，本发明提供一种数据中心冷却系统的多智能体奖励函数构建方法，该方法包括：

2、获取数据中心冷却系统的多个智能体与数据中心冷却系统仿真环境交互产生的历史轨迹数据，提取历史轨迹数据中用于表征各个智能体不同运行状态的采样状态对；所述智能体为实现数据中心冷却系统的制冷过程的设备；

3、对采样状态对进行偏好比较，确定用于评价各个智能体的动作好坏的偏好标签；针对每个智能体，构建用于表征与该智能体控制决策相关的局部状态信息和全局关联状态信息的ego视角状态表征；

4、分别基于多层感知机构建每个智能体对应的状态评分神经网络；将成对的ego视角状态表征输入至状态评分神经网络，对各个智能体的当前运行状态进行评分，获取对应的评分结果；基于bradley-terry模型确定评分结果的差值，并将差值映射为用于量化运行优劣状态的状态优劣预测概率，基于状态优劣预测概率与偏好标签，确定对数似然损失，通过最小化对数似然损失对状态评分神经网络进行训练，确定训练后的状态评分神经网络；

5、将待测智能体的ego视角状态表征输入至训练后的状态评分神经网络，获取各个智能体的状态评分，基于状态评分，确定各个智能体的训练奖励；将训练奖励作为对应智能体策略优化的回报信号，更新各个智能体的策略参数，以获取对应的控制动作集合。

6、可选的，所述偏好标签的获取包括：将采样状态对输入至大语言模型llm模型中，所述大语言模型llm模型通过多因素准则对其进行偏好比较，确定对应的二类偏好标签；

7、所述多因素准则包括机房进风温度是否处于安全区间及越界幅度、系统总功率或关键设备功率、冷冻侧与冷却侧供需偏差；其中，表示优于，否则，表示优于。

8、可选的，对所述状态评分神经网络进行训练时，采用对数似然损失更新网络参数；其中，所述对数似然损失的获取，具体包括：

9、；

10、其中，为对数似然损失，为llm模型输出的二类偏好标签，为结合bradley-terry模型由网络评分差值经sigmoid函数映射得到的状态优劣预测概率。

11、可选的，所述智能体包括用于末端换热的末端智能体、用于冷源产生的冷机智能体、用于驱动冷源循环的水泵智能体和用于排热的冷却塔智能体；所述ego视角状态表征包括负荷端需求量、负荷端实际量、冷冻侧需求量、冷冻侧实际量、冷却侧需求量以及冷却侧能力量。

12、可选的，基于获取的代表末端风机与冷冻水泵的实时运行功率，确定等效余热，将等效余热与获取的机房空气侧基础散热负荷叠加，获取所述冷冻侧需求量。

13、可选的，将获取的冷冻侧实际有效供冷量、冷水机组实时输入功率和冷却水泵实时运行功率进行叠加，确定所述冷却侧需求量。

14、可选的，基于冷却塔模型在给定进塔水温、室外湿球温度、冷却水流量与风机变频的条件下输出排热能力，结合表示现场偏差补偿的标定系数，获取所述冷却侧能力量。

15、可选的，将获取的围护结构与室外环境的传热项、服务器散热项、配电与ups的损耗热进行求和，确定所述负荷端需求量；将空气侧可实现移热量与水侧可传递冷量中的最小值作为所述负荷端实际量。

16、可选的，所述空气侧可实现移热量与水侧可传递冷量的获取，具体包括：

17、将机房总产热负荷与末端空气侧最大换热容量中的最小值，作为空气侧可实现移热量，具体包括：

18、；

19、基于获取的冷冻侧总供冷量、以及加权后的末端风机功耗和冷冻水泵功耗，采用如下方式获取水侧可传递冷量：

20、；

21、其中，为空气侧可实现移热量，为机房总产热负荷，为末端空气侧最大换热容量，为冷冻侧总供冷量，、分别为末端风机功耗、冷冻水泵功耗，为电-热折算系数。

22、本发明提供了一种数据中心冷却系统的多智能体奖励函数构建系统，实现上述数据中心冷却系统的多智能体奖励函数构建方法。

23、相对于现有技术，本发明的有益效果如下：本发明提供了一种数据中心冷却系统的多智能体奖励函数构建方法，该方法通过为实现数据中心冷却系统的制冷过程的每个智能体设备构建状态评分网络，获取各个智能体的状态评分，基于状态评分，生成每个智能体对应的训练奖励，从而减少传统人工奖励权重设计带来的不稳定与偏差；然后，通过将训练奖励作为对应智能体策略优化的回报信号，使得每个智能体都能获得与其动作相关的反馈信号，进而实现数据中心冷却系统中各个智能体设备间的高效协作。

1.一种数据中心冷却系统的多智能体奖励函数构建方法，其特征在于，包括：

2.如权利要求1所述数据中心冷却系统的多智能体奖励函数构建方法，其特征在于，所述偏好标签的获取包括：将采样状态对输入至大语言模型llm模型中，所述大语言模型llm模型通过多因素准则对其进行偏好比较，确定对应的二类偏好标签；

3.如权利要求2所述数据中心冷却系统的多智能体奖励函数构建方法，其特征在于，对所述状态评分神经网络进行训练时，采用对数似然损失更新网络参数；其中，所述对数似然损失的获取，具体包括：

4.如权利要求1所述数据中心冷却系统的多智能体奖励函数构建方法，其特征在于，所述智能体包括用于末端换热的末端智能体、用于冷源产生的冷机智能体、用于驱动冷源循环的水泵智能体和用于排热的冷却塔智能体；所述ego视角状态表征包括负荷端需求量、负荷端实际量、冷冻侧需求量、冷冻侧实际量、冷却侧需求量以及冷却侧能力量。

5.如权利要求4所述数据中心冷却系统的多智能体奖励函数构建方法，其特征在于，基于获取的代表末端风机与冷冻水泵的实时运行功率，确定等效余热，将等效余热与获取的机房空气侧基础散热负荷叠加，获取所述冷冻侧需求量。

6.如权利要求4所述数据中心冷却系统的多智能体奖励函数构建方法，其特征在于，将获取的冷冻侧实际有效供冷量、冷水机组实时输入功率和冷却水泵实时运行功率进行叠加，确定所述冷却侧需求量。

7.如权利要求4所述数据中心冷却系统的多智能体奖励函数构建方法，其特征在于，基于冷却塔模型在给定进塔水温、室外湿球温度、冷却水流量与风机变频的条件下输出排热能力，结合表示现场偏差补偿的标定系数，获取所述冷却侧能力量。

8.如权利要求4所述数据中心冷却系统的多智能体奖励函数构建方法，其特征在于，将获取的围护结构与室外环境的传热项、服务器散热项、配电与ups的损耗热进行求和，确定所述负荷端需求量；将空气侧可实现移热量与水侧可传递冷量中的最小值作为所述负荷端实际量。

9.如权利要求8所述数据中心冷却系统的多智能体奖励函数构建方法，其特征在于，所述空气侧可实现移热量与水侧可传递冷量的获取，具体包括：

10.一种数据中心冷却系统的多智能体奖励函数构建系统，其特征在于，实现上述权利要求1-9任一项所述数据中心冷却系统的多智能体奖励函数构建方法。