冷却系统的控制方法、装置、设备、介质及程序产品与流程

摘要: 本技术涉及数据处理,尤其涉及一种冷却系统的控制方法、装置、设备、介质及程序产品。背景技术:1、在人工智能与高性能计算技术高速迭代的驱动下,数据中心算力设备的算力...
冷却系统的控制方法、装置、设备、介质及程序产品与流程

本技术涉及数据处理,尤其涉及一种冷却系统的控制方法、装置、设备、介质及程序产品。

背景技术:

1、在人工智能与高性能计算技术高速迭代的驱动下,数据中心算力设备的算力密度持续攀升,单机柜功率密度已突破传统风冷散热极限,全面迈入100kw~200kw超高密度散热新时代。传统制冷模式已难以满足高密度算力设备的稳定散热需求,行业内逐步采用多种新型制冷系统以适配该发展需求。

2、针对传统单一风冷散热模式存在散热容量不足、换热效率低、机房温湿度控制不均等短板,行业内推广应用冷板式液冷与精密空调相结合的风液同源混合冷却系统,该系统通过液冷分配单元(coolant distribution unit,cdu)与精密空调(precision airconditioner,pac)共享室外冷源及一次侧供水管网,从而融合了液冷高效散热与风冷灵活补冷的特性,有效突破了高密度数据中心的散热瓶颈。目前,业内针对风液同源混合冷却系统的控制调控,普遍沿用传统pid算法的分布式独立控制方案。该方案将风液混合冷却系统拆解为cdu液冷子系统与pac风冷子系统两个独立单元,为两个子系统分别配置专属pid控制器,采用单输入单输出(single input single output,siso)的局部反馈调节模式。

3、然而,在采用上述基于传统pid算法的分布式独立控制方案时,由于cdu和pac子系统共享同一室外冷源及一次侧供水管网,两个子系统之间存在天然的水力耦合与热力耦合,且耦合关系随热负荷、冷源温度等工况变化呈现显著的非线性特征。而传统pid控制器无法解耦前述耦合关系的非线性特征,导致各子系统的独立调节相互掣肘,造成数据中心整体电能利用率较低。

技术实现思路

1、本技术提供一种冷却系统的控制方法、装置、设备、介质及程序产品,用于实现风液同源冷却系统中多子系统的全局协同决策,消除子系统相互掣肘,实现冷量全局最优分配,提升数据中心电能利用率。

2、第一方面,本技术实施例提供了一种冷却系统的控制方法,该方法包括:

3、基于室外干球温度数据、风液同源冷却系统所在数据中心的设备功率信息以及风液同源混合冷却系统的运行数据,生成系统特征向量;上述运行数据包括上述风液同源混合冷却系统中各功能部件的相关数据;

4、基于上述系统特征向量,从候选控制动作集中,确定与上述系统特征向量相匹配的至少一个目标控制动作,以生成控制动作序列;上述候选控制动作集包括至少一个候选控制动作,上述候选控制动作集是基于针对上述风液同源冷却系统中的各功能部件的参数范围得到的;上述控制动作序列包括至少一个目标控制动作;

5、基于上述控制动作序列,依次生成每个目标控制动作对应的控制指令,上述控制指令用于指示上述风液同源冷却系统中的对应功能部件执行相应的控制动作。

6、本技术提供的技术方案至少带来以下有益效果:基于室外干球温度数据、数据中心设备功率信息以及风液同源混合冷却系统中各功能部件的相关运行数据生成系统特征向量,将随热负荷、冷源温度等工况变化的非线性特征及各功能部件的运行状态统一纳入特征表征;随后基于该系统特征向量,从基于各功能部件参数范围得到的候选控制动作集中确定相匹配的目标控制动作以生成控制动作序列,并依次生成控制指令指示风液同源冷却系统中的对应功能部件执行相应的控制动作,由于目标控制动作的确定直接依赖于反映全局工况的统一系统特征向量,且最终生成的控制指令统一作用于整个风液同源冷却系统的对应功能部件,从而打破了子系统间的独立调节,克服了因共享同一室外冷源及一次侧供水管网产生的水力耦合与热力耦合导致的相互掣肘问题,实现了对系统各功能部件的统一协同控制,最终实现电能利用率的提升。

7、一种可能的实现方式,上述基于室外干球温度数据、风液同源冷却系统所在数据中的设备功率信息以及风液同源混合冷却系统的运行状态数据,生成系统特征向量,包括:

8、基于室外环境干球温度数据和风液同源冷却系统所在数据中的设备功率信息,生成环境扰动变量;

9、基于上述风液同源冷却系统中的液冷子系统中冷量分配单元的二次侧供水温度数据,以及和上述风液同源冷却系统中的精密空调回风温度数据,生成热力状态变量;

10、基于上述风液同源冷却系统中一次侧供回水管网的水压差数据,构建水力状态变量;

11、基于上述风液同源冷却系统当前控制周期的上一控制周期的控制动作日志,构建历史动作状态变量;

12、将上述环境扰动变量、上述热力状态变量、上述水力状态变量以及上述历史动作状态变量进行拼接处理,生成上述系统特征向量。

13、另一种可能的实现方式,上述基于上述系统特征向量,从候选控制动作集中,确定与上述系统特征向量相匹配的至少一个目标控制动作,包括:

14、对上述系统特征向量执行归一化预处理,得到标准化特征向量;

15、将上述标准化特征向量输入深度强化学习模型;

16、在上述深度强化学习模型处于探索模式的情况下,则从上述候选控制动作集中随机选取至少一个候选控制动作作为目标控制动作;

17、在上述深度强化学习模型处于利用模式的情况下,对上述标准化特征进行解析,得到每个候选控制动作对应的状态动作价值,并基于上述状态动作价值,从至少一个候选控制动作中,选取目标控制动作。

18、又一种可能的实现方式,在上述基于上述控制动作序列,依次生成每个目标控制动作对应的控制指令之后,上述方法还包括:

19、采集上述风液同源冷却系统中的对应功能部件执行相应的控制动作的日志数据,并根据上述日志数据计算多维度综合奖励值;

20、基于上述多维度综合奖励值更新上述深度强化学习模型的网络参数。

21、又一种可能的实现方式,上述按照预设掩码概率,上述日志数据包括:冷量分配单元水泵的实时运行功率数据、精密空调的实时运行功率数据以及公共冷源侧的实时运行功率数据;上述根据上述日志数据计算多维度综合奖励值,包括:

22、根据上述日志数据计算上述冷却系统总功耗;

23、基于上述总功耗计算能耗奖励项;

24、基于上述数据中心的中央处理器温度数据或机房环境温度选取安全惩罚项;

25、根据当前控制周期与上一控制周期的各控制动作参数差值数据计算稳定性惩罚项,上述各控制动作参数的种类包括冷量分配单元水泵频率参数、冷量分配单元一次侧阀门开度参数、精密空调送风设定温度参数以及精密空调一次侧阀门开度参数;

26、将上述能耗奖励项、上述安全惩罚项以及上述稳定性惩罚项进行求和处理,以得到上述多维度综合奖励值。

27、又一种可能的实现方式,上述基于上述数据中心的中央处理器温度数据或机房环境温度选取安全惩罚项,包括:

28、当上述数据中心的中央处理器温度或机房环境温度超过预设安全阈值时,选取固定惩罚项;

29、当上述数据中心的中央处理器温度或机房环境温度介于预设温度阈值范围内时,基于上述中央处理器温度或上述机房环境温度与上述预设温度阈值范围的下限之间的温度偏差,选取动态惩罚项,上述动态惩罚项与上述偏差成正比。

30、又一种可能的实现方式,上述基于上述多维度综合奖励值更新上述深度强化学习模型的网络参数,包括:

31、将当前控制周期的系统特征向量、控制动作序列、多维度综合奖励值以及下一控制周期的系统特征向量组合为马尔可夫转移样本;

32、随机抽取预定数量的马尔可夫转移样本组成训练样本集;

33、基于贝尔曼方程计算训练样本集中每个训练样本对应的目标状态动作价值;

34、计算上述主价值网络输出的状态动作价值与上述目标状态动作价值之间的时序差分误差;

35、基于上述时序差分误差对上述主价值网络执行梯度下降,得到更新后主价值网络权重参数;

36、按照预设周期将上述更新后主价值网络权重参数更新至上述主价值网络。

37、又一种可能的实现方式,每个控制指令中携带至少一个功能部件参数调节信息;每个功能部件参数调节信息用于指示调节上述风液同源冷却系统中的一个功能部件的参数;上述依次生成每个目标控制动作对应的控制指令之后,上述方法还包括:

38、基于每个控制指令中携带的至少一个功能部件参数调节信息,调节对应功能部件的参数。

39、又一种可能的实现方式,上述功能部件调节参数信息包括以下至少一项:冷量分配单元水泵频率参数调节信息;冷量分配单元一次侧阀门开度参数调节信息;空调送风温度参数调节信息;空调一次侧进水阀门开度参数调节信息。

40、又一种可能的实现方式,上述基于室外干球温度数据、风液同源冷却系统所在数据中的设备功率信息以及风液同源混合冷却系统的运行数据,生成系统特征向量之前,上述方法还包括:

41、建立风液同源混合冷却系统的物理仿真环境,上述物理仿真环境包括冷量分配单元水力模型、冷量分配单元热力换热模型、精密空调三工况能耗模型、一次侧供回水网络模型以及风液负荷耦合模型;

42、在上述物理仿真环境中对初始深度强化学习模型进行预训练,得到上述深度强化学习模型。

43、又一种可能的实现方式,上述方法还包括:

44、通过将上述风液同源冷却系统中的各功能部件的每种参数的参数范围进行离散等级划分,得到至少一个离散等级,一个离散等级对应一个功能部件中的一种参数的一个参数范围;

45、为每个离散等级生成相应的候选控制动作。

46、第二方面,本技术实施例提供了本技术提供一种冷却系统的控制装置,包括:

47、第一生成模块,用于基于室外干球温度数据、风液同源冷却系统所在数据中心的设备功率信息以及风液同源混合冷却系统的运行数据,生成系统特征向量;上述运行数据包括上述风液同源混合冷却系统中各功能部件的相关数据;

48、确定模块,用于基于上述系统特征向量,从候选控制动作集中,确定与上述系统特征向量相匹配的至少一个目标控制动作,以生成控制动作序列;上述候选控制动作集包括至少一个候选控制动作,上述候选控制动作集是基于针对上述风液同源冷却系统中的各功能部件的参数范围得到的;上述控制动作序列包括至少一个目标控制动作;

49、第二生成模块,用于基于上述控制动作序列,依次生成每个目标控制动作对应的控制指令,上述控制指令用于指示上述风液同源冷却系统中的对应功能部件执行相应的控制动作。

50、另一种可能的实现方式,上述第一生成模块具体用于:

51、基于室外环境干球温度数据和风液同源冷却系统所在数据中的设备功率信息,生成环境扰动变量;

52、基于上述风液同源冷却系统中的液冷子系统中冷量分配单元的二次侧供水温度数据,以及和上述风液同源冷却系统中的精密空调回风温度数据,生成热力状态变量;

53、基于上述风液同源冷却系统中一次侧供回水管网的水压差数据,构建水力状态变量;

54、基于上述风液同源冷却系统当前控制周期的上一控制周期的控制动作日志,构建历史动作状态变量;

55、将上述环境扰动变量、上述热力状态变量、上述水力状态变量以及上述历史动作状态变量进行拼接处理,生成上述系统特征向量。

56、又一种可能的实现方式,上述确定模块具体用于:

57、对上述系统特征向量执行归一化预处理,得到标准化特征向量;

58、将上述标准化特征向量输入深度强化学习模型;

59、在上述深度强化学习模型处于探索模式的情况下,则从上述候选控制动作集中随机选取至少一个候选控制动作作为目标控制动作;

60、在上述深度强化学习模型处于利用模式的情况下,对上述标准化特征进行解析,得到每个候选控制动作对应的状态动作价值,并基于上述状态动作价值,从至少一个候选控制动作中,选取目标控制动作。

61、一种可能的实现方式,本技术提供的冷却系统的控制装置,还包括:

62、采集模块,用于采集上述风液同源冷却系统中的对应功能部件执行相应的控制动作的日志数据,并根据上述日志数据计算多维度综合奖励值;

63、更新模块,用于基于上述多维度综合奖励值更新上述深度强化学习模型的网络参数。

64、另一种可能的实现方式,上述日志数据包括:冷量分配单元水泵的实时运行功率数据、精密空调的实时运行功率数据以及公共冷源侧的实时运行功率数据;上述采集模块具体用于:

65、根据上述日志数据计算上述冷却系统总功耗;

66、基于上述总功耗计算能耗奖励项;

67、基于上述数据中心的中央处理器温度数据或机房环境温度选取安全惩罚项;

68、根据当前控制周期与上一控制周期的各控制动作参数差值数据计算稳定性惩罚项,上述各控制动作参数的种类包括冷量分配单元水泵频率参数、冷量分配单元一次侧阀门开度参数、精密空调送风设定温度参数以及精密空调一次侧阀门开度参数;

69、将上述能耗奖励项、上述安全惩罚项以及上述稳定性惩罚项进行求和处理,以得到上述多维度综合奖励值。

70、又一种可能的实现方式,上述采集模块具体用于:

71、当上述数据中心的中央处理器温度或机房环境温度超过预设安全阈值时,选取固定惩罚项;

72、当上述数据中心的中央处理器温度或机房环境温度介于预设温度阈值范围内时,基于上述中央处理器温度或上述机房环境温度与上述预设温度阈值范围的下限之间的温度偏差,选取动态惩罚项,上述动态惩罚项与上述偏差成正比。

73、又一种可能的实现方式,上述更新模块具体用于:

74、将当前控制周期的系统特征向量、控制动作序列、多维度综合奖励值以及下一控制周期的系统特征向量组合为马尔可夫转移样本;

75、随机抽取预定数量的马尔可夫转移样本组成训练样本集;

76、基于贝尔曼方程计算训练样本集中每个训练样本对应的目标状态动作价值;

77、计算上述主价值网络输出的状态动作价值与上述目标状态动作价值之间的时序差分误差;

78、基于上述时序差分误差对上述主价值网络执行梯度下降,得到更新后主价值网络权重参数;

79、按照预设周期将上述更新后主价值网络权重参数更新至上述主价值网络。

80、又一种可能的实现方式,每个控制指令中携带至少一个功能部件参数调节信息;每个功能部件参数调节信息用于指示调节上述风液同源冷却系统中的一个功能部件的参数;本技术实施例提供的冷却系统的控制装置还包括:

81、调节模块,用于基于每个控制指令中携带的至少一个功能部件参数调节信息,调节对应功能部件的参数。

82、又一种可能的实现方式,上述功能部件调节参数信息包括以下至少一项:冷量分配单元水泵频率参数调节信息;冷量分配单元一次侧阀门开度参数调节信息;空调送风温度参数调节信息;空调一次侧进水阀门开度参数调节信息。

83、又一种可能的实现方式,本技术实施例提供的冷却系统的控制装置还包括:

84、建立模块,用于建立风液同源混合冷却系统的物理仿真环境,上述物理仿真环境包括冷量分配单元水力模型、冷量分配单元热力换热模型、精密空调三工况能耗模型、一次侧供回水网络模型以及风液负荷耦合模型;

85、训练模块,用于在上述物理仿真环境中对初始深度强化学习模型进行预训练,得到上述深度强化学习模型。

86、又一种可能的实现方式,本技术实施例提供的冷却系统的控制装置还包括:

87、划分模块,用于通过将上述风液同源冷却系统中的各功能部件的每种参数的参数范围进行离散等级划分,得到至少一个离散等级,一个离散等级对应一个功能部件中的一种参数的一个参数范围;

88、第三生成模块,用于为每个离散等级生成相应的候选控制动作。

89、第三方面,本技术提供一种风液同源冷却系统,可使用第一方面记载的冷却系统的控制方法,包括液冷子系统、风冷子系统、公共冷源侧,风液同源冷却系统协同控制装置、上述风液同源冷却系统的控制装置分别与上述液冷子系统、上述风冷子系统及上述公共冷源侧通信连接。

90、第四方面,本技术提供一种电子设备,该电子设备包括:处理器和存储器;该存储器存储可在处理器上运行的程序或指令,上述程序或指令被该处理器执行时实现上述第一方面的方法。

91、第五方面,本技术提供一种可读存储介质,该可读存储介质上存储程序或指令,上述程序或指令被计算机执行时实现上述第一方面的方法。

92、第六方面,本技术提供一种计算机程序产品,该计算机程序产品被存储在存储介质中,当该计算机程序产品被计算机执行时以实现上述第一方面的方法。

93、第七方面,本技术实施例提供了一种芯片,该芯片包括处理器和通信接口,上述通信接口和上述处理器耦合,上述处理器用于运行程序或指令,实现如第一方面上述的方法。

94、上述第二方面至第七方面的有益效果参考第一方面的对应描述,不再赘述。