一种风扇转速控制方法、装置及设备与流程

1.本技术涉及通信技术领域，尤其涉及一种风扇转速控制方法、装置及设备。


背景技术：

2.网络设备（如路由器、交换机等）可以包括多个单板（如主控板、接口板、业务板等），在这些单板的工作过程中，不同单板的功耗差异较大，如单板的功耗可能只有100w，单板的功耗也可能超过600w，当多个单板均以较大功耗工作时，会导致网络设备的温度很高，从而导致网络设备容易出现故障。
3.为了对网络设备进行降温，通常会在网络设备部署多个风扇，若风扇转速越大，则网络设备的降温效果越好，若风扇转速越小，则网络设备的降温效果越差。在风扇转速越大时，风扇噪声越大，且风扇功耗越大，造成能源的浪费。在风扇转速越小时，风扇噪声越小，且风扇功耗越小，减少能源浪费。
4.综上可以看出，风扇转速越大时，网络设备的降温效果越好，但风扇噪声越大且风扇功耗越大，风扇转速越小时，网络设备的降温效果越差，但风扇噪声越小且风扇功耗越小，因此，需要控制风扇转速，在避免网络设备的温度过高的基础上，保证风扇噪声较小，且风扇功耗较小，达到节能降噪的目的。
5.但是，应该如何控制风扇转速，才能够避免网络设备的温度过高，且保证风扇噪声较小、风扇功耗较小，在相关技术中并没有有效的实现方式。


技术实现要素：

6.本技术提供一种风扇转速控制方法，网络设备包括k个风扇组，k为大于1的正整数，每个风扇组包括至少一个风扇分区，每个风扇分区包括至少一个风扇；其中，每个风扇组对应一个已训练的目标动作模型，不同风扇组对应的目标动作模型不同；针对每个风扇组，所述方法包括：获取所述风扇组内每个风扇分区对应的检测状态数据；针对每个风扇分区，将所述风扇分区对应的检测状态数据输入给所述风扇组对应的目标动作模型，得到所述风扇分区对应的目标占空比；基于所述目标占空比确定所述风扇分区内各风扇的转速。
7.本技术提供一种风扇转速控制装置，网络设备包括k个风扇组，k为大于1的正整数，每个风扇组包括至少一个风扇分区，每个风扇分区包括至少一个风扇；其中，每个风扇组对应一个已训练的目标动作模型，不同风扇组对应的目标动作模型不同；针对每个风扇组，所述装置包括：获取模块，用于获取所述风扇组内每个风扇分区对应的检测状态数据；处理模块，用于针对每个风扇分区，将所述风扇分区对应的检测状态数据输入给所述风扇组对应的目标动作模型，得到所述风扇分区对应的目标占空比；确定模块，用于基于所述目标占空比确定所述风扇分区内的各风扇的转速。
8.本技术提供一种网络设备，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现上述示例的风扇转速控制方法。
9.由以上技术方案可见，本技术实施例中，训练每个风扇组对应的目标动作模型，获取风扇组内每个风扇分区对应的检测状态数据，将检测状态数据输入给该风扇组对应的目标动作模型，得到该风扇分区对应的目标占空比，基于目标占空比确定该风扇分区内各风扇的转速，从而有效控制每个风扇的转速，降低风扇的功耗和噪音，在避免网络设备的温度过高的基础上，保证风扇噪声较小，风扇功耗较小，达到节能降噪的目的，满足网络设备的节能降噪需求，减少噪音污染，减少粉尘等空气中有害物质吸入，降低网络设备受到的腐蚀危害。
附图说明
10.为了更加清楚地说明本技术实施例或者现有技术中的技术方案，下面将对本技术实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本技术实施例的这些附图获得其他的附图。
11.图1是本技术一种实施方式中的风扇转速控制方法的流程示意图；图2是本技术一种实施方式中的风扇转速控制方法的流程示意图；图3是本技术一种实施方式中的目标动作模型的训练过程的示意图；图4是本技术一种实施方式中的风扇转速控制方法的流程示意图；图5是本技术一种实施方式中的风扇转速控制装置的结构示意图；图6是本技术一种实施方式中的网络设备的硬件结构图。
具体实施方式
12.在本技术实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本技术。本技术和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
13.应当理解，尽管在本技术实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本技术范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
14.本技术实施例中提出一种风扇转速控制方法，可以应用于网络设备（如路由器、交换机等），网络设备包括k个风扇组，k为大于1的正整数，每个风扇组包括至少一个风扇分区，每个风扇分区包括至少一个风扇；其中，每个风扇组对应一个已训练的目标动作模型，不同风扇组对应的目标动作模型不同；参见图1所示，为该方法的流程示意图，针对每个风扇组，该方法可以包括：步骤101、获取该风扇组内每个风扇分区对应的检测状态数据。
15.示例性的，针对每个风扇分区，该风扇分区对应的检测状态数据可以包括但不限于：该风扇分区对应的每个单板所对应的传感器数据、网络设备对应的系统数据、该风扇分区对应的初始占空比（即风扇分区当前运行过程中的占空比）。其中，每个单板对应的传感器数据可以包括但不限于以下至少一种：该单板内芯片对应的结温数据、该单板内各测温点对应的最大温度、该单板对应的功率；该系统数据可以包括但不限于以下至少一种：环境温度、电源功率、每个风扇分区对应的功率（即风扇分区内所有风扇对应的功率之和）。
16.步骤102、针对每个风扇分区，将该风扇分区对应的检测状态数据输入给该风扇组对应的目标动作模型，得到该风扇分区对应的目标占空比。
17.示例性的，可以将该风扇分区对应的检测状态数据输入给该风扇组对应的目标动作模型，得到m个候选占空比对应的状态动作值；其中，m可以为大于1的正整数，m个候选占空比可以是位于最小占空比与最大占空比之间，且间隔预设步长的占空比。基于m个候选占空比对应的状态动作值，可以将最优状态动作值对应的候选占空比确定为该风扇分区对应的目标占空比。
18.步骤103、基于目标占空比确定该风扇分区内各风扇的转速。比如说，该风扇分区内的每个风扇的占空比均为该目标占空比，因此，针对该风扇分区内的每个风扇，可以基于目标占空比确定该风扇的转速，实现风扇转速的控制。
19.在一种可能的实施方式中，可以基于网络设备的硬件架构将网络设备上所有风扇划分到多个风扇分区；其中，针对每个风扇分区，该风扇分区可以对应网络设备的至少一个槽位的单板，且该风扇分区内的所有风扇对应的占空比相同。在此基础上，基于各风扇分区对应单板的类型（如主控板、接口板、业务板等），可以将所有风扇分区划分到k个风扇组；或者，基于各风扇分区对应的位置，可以将所有风扇分区划分到k个风扇组；或者，基于各风扇分区对应单板的类型和各风扇分区对应的位置，可以将所有风扇分区划分到k个风扇组。
20.在一种可能的实施方式中，还可以训练每个风扇组对应的目标动作模型，不同风扇组对应的目标动作模型可以不同。参见图2所示，为训练风扇组对应的目标动作模型的示意图，风扇组对应的目标动作模型的训练过程，可以包括：步骤201、获取该风扇组内各风扇分区对应的样本状态数据。
21.步骤202、将该样本状态数据输入给该风扇组对应的初始动作模型，得到该风扇组对应的m个样本占空比对应的状态动作值。
22.步骤203、基于该样本状态数据确定该风扇组对应的奖惩参数值。
23.示例性的，可以基于该样本状态数据确定该风扇组对应的目标功率和占空比最大值；其中，该样本状态数据包括该风扇组内各风扇分区对应的初始占空比，该占空比最大值可以是初始占空比中最大值；该样本状态数据可以包括该风扇组内各风扇分区对应的每个单板的功率和该风扇组内各风扇分区内每个风扇的功率，基于每个单板的功率和每个风扇的功率确定目标功率。基于该占空比最大值确定目标噪声值。基于目标功率和目标功率对应的第一权重系数、目标噪声值和目标噪声值对应的第二权重系数，确定该奖惩参数值。
24.示例性的，第一权重系数与第二权重系数之和可以为固定数值（如1）；若节能重要性优于降噪重要性，则第一权重系数可以大于第二权重系数；若降噪重要性优于节能重要性，则第一权重系数可以小于第二权重系数。
25.步骤204、基于该奖惩参数值和m个样本占空比对应的状态动作值对初始动作模型
进行训练，得到已训练的目标动作模型。
26.示例性的，可以基于该奖惩参数值和m个样本占空比对应的状态动作值确定初始动作模型对应的目标误差值（即目标损失值），比如说，可以预先配置误差函数，该误差函数的输入是奖惩参数值和状态动作值，该误差函数的输出是目标误差值，对此误差函数不做限制，只要满足上述输入输出关系即可，因此，可以将奖惩参数值和状态动作值代入该误差函数，得到目标误差值。
27.在得到目标误差值之后，可以基于目标误差值对初始动作模型的网络参数进行调整，得到调整后动作模型。若调整后动作模型已收敛，则将调整后动作模型确定为目标动作模型。若调整后动作模型未收敛，则将调整后动作模型确定为初始动作模型，返回步骤202，也就是说，将样本状态数据输入给风扇组对应的初始动作模型，得到该风扇组对应的m个样本占空比对应的状态动作值。
28.在一种可能的实施方式中，在获取该风扇组内每个风扇分区对应的检测状态数据之后，还可以将该风扇组内每个风扇分区对应的检测状态数据存储到指定存储介质中。基于此，在满足该风扇组对应的目标动作模型的更新条件时，还可以重新训练目标动作模型。比如说，可以将指定存储介质中的该风扇组对应的检测状态数据更新为该风扇组对应的样本状态数据，并将该目标动作模型更新为初始动作模型。以及，将样本状态数据输入给初始动作模型，得到该风扇组对应的m个样本占空比对应的状态动作值；基于样本状态数据确定该风扇组对应的奖惩参数值；基于该惩参数值和m个样本占空比对应的状态动作值对初始动作模型进行训练，得到重新训练的目标动作模型。
29.由以上技术方案可见，本技术实施例中，训练每个风扇组对应的目标动作模型，获取风扇组内每个风扇分区对应的检测状态数据，将检测状态数据输入给该风扇组对应的目标动作模型，得到该风扇分区对应的目标占空比，基于目标占空比确定该风扇分区内各风扇的转速，从而有效控制每个风扇的转速，降低风扇的功耗和噪音，在避免网络设备的温度过高的基础上，保证风扇噪声较小，风扇功耗较小，达到节能降噪的目的，满足网络设备的节能降噪需求，减少噪音污染，减少粉尘等空气中有害物质吸入，降低网络设备受到的腐蚀危害。
30.以下结合具体应用场景，对本技术实施例的技术方案进行说明。
31.网络设备（如路由器、交换机等，交换机可以为框式交换机）可以包括多个单板（如主控板、接口板、业务板等）和多个风扇，在这些单板的工作过程中，会导致网络设备的温度升高，而风扇用于对网络设备进行降温，以避免网络设备的温度过高，从而避免网络设备出现故障。显然，若风扇转速越大，则网络设备的降温效果越好，若风扇转速越小，则网络设备的降温效果越差。但是，在风扇转速越大时，风扇噪声越大，且风扇功耗越大，造成能源的浪费。在风扇转速越小时，风扇噪声越小，且风扇功耗越小，减少能源浪费。
32.综上可以看出，风扇转速越大时，网络设备的降温效果越好，但风扇噪声越大且风扇功耗越大，风扇转速越小时，网络设备的降温效果越差，但风扇噪声越小且风扇功耗越小，因此，需要控制风扇转速，在避免网络设备的温度过高的基础上，保证风扇噪声较小，且风扇功耗较小，达到节能降噪的目的。
33.但是，应该如何控制风扇转速，才能够避免网络设备的温度过高，且保证风扇噪声较小、风扇功耗较小，在相关技术中并没有有效的实现方式。
34.比如说，可以尽量降低风扇转速，从而降低风扇噪声和风扇功耗，但风扇转速过低时会导致网络设备的温度升高，对于网络设备内部的大功率芯片来说，随着网络设备的温度升高，会导致大功率芯片的功率随温度升高而增大，即网络设备的整体功耗会更大，即风扇转速降低反而导致整体功耗更大。
35.又例如，可以设置经验温度，在网络设备的温度高于该经验温度时，增加风扇转速，在网络设备的温度低于该经验温度时，降低风扇转速。但是，经验温度很难准确设置，当经验温度不合适时，会导致风扇转速反复调整，网络设备的温度来回震荡。比如说，风扇转速增加时，会导致网络设备的温度低于该经验温度，并降低风扇转速，而降低风扇转速后，又会导致网络设备的温度高于该经验温度，并增加风扇转速，从而导致风扇转速产生调整震荡问题。
36.针对上述发现，为了满足网络设备的节能降噪需求，本技术实施例中提出一种风扇转速控制方法，可以基于深度学习技术实现风扇转速的控制，能够有效控制每个风扇的转速，降低风扇的功耗和噪音，避免网络设备的温度过高。
37.本实施例中，可以基于网络设备的硬件架构将网络设备上所有风扇划分到多个风扇分区。针对每个风扇分区，该风扇分区可以对应网络设备的至少一个槽位的单板，且该风扇分区内的所有风扇对应的占空比可以相同。
38.示例性的，网络设备可以包括若干个风扇框，每个风扇框可以包括若干个风扇，可以将风扇框上对应槽位位置的风扇作为一组，这组风扇的占空比相同，可以将这组风扇称为一个风扇分区。比如说，假设网络设备具有3个风扇框，每个风扇框有10个风扇，则可以将所有风扇划分为10个风扇分区，风扇分区1包括每个风扇框的第1个风扇，风扇分区2包括每个风扇框的第2个风扇，以此类推，风扇分区10包括每个风扇框的第10个风扇。又例如，假设网络设备具有3个风扇框，每个风扇框有5个风扇，则可以将所有风扇划分为5个风扇分区，风扇分区1包括每个风扇框的第1个风扇，风扇分区2包括每个风扇框的第2个风扇，以此类推，风扇分区5包括每个风扇框的第5个风扇。
39.其中，针对每个风扇分区，该风扇分区内所有风扇对应的占空比相同，如风扇分区1内所有风扇对应的占空比相同，风扇分区2内所有风扇对应的占空比相同，以此类推。针对每个风扇分区，该风扇分区可以对应网络设备的至少一个槽位的单板，且该风扇分区内的风扇用于对该单板的温度进行降温。比如说，由于风扇分区1包括每个风扇框的第1个风扇，因此，风扇分区1对应网络设备的第1个槽位位置的单板，由于风扇分区2包括每个风扇框的第2个风扇，因此，风扇分区2对应网络设备的第2个槽位位置的单板，以此类推。
40.综上所述，可以基于网络设备的硬件架构（如风扇框的槽位位置）将网络设备上所有风扇划分到多个风扇分区，如每个风扇框的第1个槽位位置的风扇作为风扇分区1，每个风扇框的第2个槽位位置的风扇作为风扇分区2，以此类推。当然，上述只是一个示例，对此不作限制，只要能够将所有风扇划分到多个风扇分区，且同一个风扇分区内的所有风扇对应的占空比相同即可。
41.本实施例中，在将所有风扇划分到多个风扇分区后，可以将多个风扇分区划分到k个风扇组，k为大于1的正整数，每个风扇组包括至少一个风扇分区。
42.比如说，基于各风扇分区对应单板的类型（如主控板、接口板、业务板等），可以将所有风扇分区划分到k个风扇组。例如，k个风扇组可以为3个风扇组，若风扇分区对应单板
的类型为主控板，则将该风扇分区划分到风扇组1，若风扇分区对应单板的类型为接口板，则将该风扇分区划分到风扇组2，若风扇分区对应单板的类型为业务板，则将该风扇分区划分到风扇组3。又例如，k个风扇组可以为2个风扇组，若风扇分区对应单板的类型为主控板，则将该风扇分区划分到风扇组1，若风扇分区对应单板的类型为接口板或者业务板，则将该风扇分区划分到风扇组2。当然，上述只是划分方式的示例，对此不作限制。
43.比如说，基于各风扇分区对应的位置，可以将所有风扇分区划分到k个风扇组。例如，k个风扇组为3个风扇组，若风扇分区对应的位置为前面p1个位置，将该风扇分区划分到风扇组1，p1根据经验配置，如1、2、3等。若风扇分区对应的位置为后面p2个位置，将该风扇分区划分到风扇组2，p2根据经验配置，如1、2、3等。若风扇分区对应的位置为前面p1个位置之后和后面p2个位置之前，将该风扇分区划分到风扇组3。又例如，k个风扇组为2个风扇组，若风扇分区对应的位置为前面p4个位置，将该风扇分区划分到风扇组1，p4根据经验配置，如1、2、3等。若风扇分区对应的位置为前面p4个位置之后，将该风扇分区划分到风扇组2。当然，上述只是划分方式的示例，对此不作限制。
44.比如说，基于各风扇分区对应单板的类型和各风扇分区对应的位置，可以将所有风扇分区划分到k个风扇组。例如，k个风扇组可以为6个风扇组，若风扇分区对应单板的类型为主控板，且风扇分区对应的位置为前面p4个位置，则将该风扇分区划分到风扇组1。若风扇分区对应单板的类型为接口板，且风扇分区对应的位置为前面p4个位置，则将该风扇分区划分到风扇组2。若风扇分区对应单板的类型为业务板，且风扇分区对应的位置为前面p4个位置，则将该风扇分区划分到风扇组3。若风扇分区对应单板的类型为主控板，且风扇分区对应的位置为前面p4个位置之后，则将该风扇分区划分到风扇组4。若风扇分区对应单板的类型为接口板，且风扇分区对应的位置为前面p4个位置之后，则将该风扇分区划分到风扇组5。若风扇分区对应单板的类型为业务板，且风扇分区对应的位置为前面p4个位置之后，则将该风扇分区划分到风扇组6。当然，上述只是划分方式的示例，对此不作限制。
45.示例性的，若将所有风扇划分为10个风扇分区，则可以将10个风扇分区划分到3个风扇组，风扇组1包括风扇分区1，风扇组2包括风扇分区10，风扇组3包括风扇分区2-风扇分区9。若将所有风扇划分为5个风扇分区，则可以将5个风扇分区划分到3个风扇组，风扇组1包括风扇分区1，风扇组2包括风扇分区2，风扇组3包括风扇分区2-风扇分区4。综上所述，风扇组1包括第一个风扇分区，风扇组2包括最后一个风扇分区，风扇组3包括中间各风扇分区。
46.其中，采用上述划分方式的原因是：针对网络设备的硬件结构，中间这些风扇分区对应的单板个数以及范围大小基本相同，共同对应一个网络模型时可以降低复杂度，有利于快速采集数据并加快网络模型的收敛。第一个风扇分区对应的单板为两个主控板，两个主控板共同对应一个网络模型时可以降低复杂度。最后一个风扇分区对应最下面单板，可以单独确定该单板对应的网络模型。
47.综上所述，本实施例中，网络设备可以包括k个风扇组，k为大于1的正整数，每个风扇组包括至少一个风扇分区，每个风扇分区包括至少一个风扇。
48.本技术实施例中，可以涉及目标动作模型的训练过程和基于目标动作模型的风扇转速控制过程。在目标动作模型的训练过程中，可以训练得到目标动作模型。在基于目标动作模型的风扇转速控制过程中，可以基于目标动作模型确定每个风扇分区对应的目标占空
比，基于目标占空比控制风扇转速。
49.示例性的，目标动作模型的训练过程和基于目标动作模型的风扇转速控制过程可以应用于同一设备，比如说，由网络设备执行目标动作模型的训练过程，由网络设备执行基于目标动作模型的风扇转速控制过程。目标动作模型的训练过程和基于目标动作模型的风扇转速控制过程也可以应用于不同设备，比如说，由服务器执行目标动作模型的训练过程，得到目标动作模型，将目标动作模型发送给网络设备，由网络设备执行基于目标动作模型的风扇转速控制过程。
50.第一，针对目标动作模型的训练过程。在目标动作模型的训练过程中，可以训练得到每个风扇组对应的目标动作模型，比如说，网络设备支持k个agent（代理），k个agent与k个风扇组一一对应，假设k个风扇组为3个风扇组，则由agent1训练得到风扇组1对应的目标动作模型a1，由agent2训练得到风扇组2对应的目标动作模型a2，由agent3训练得到风扇组3对应的目标动作模型a3。目标动作模型a1与目标动作模型a2可以不同，目标动作模型a1与目标动作模型a3可以不同，目标动作模型a2与目标动作模型a3可以不同。
51.综上所述，可以训练得到每个风扇组对应的目标动作模型，不同风扇组对应的目标动作模型可以不同，由于每个目标动作模型的训练过程相同，因此，以一个目标动作模型的训练过程为例进行说明。参见图3所示，为目标动作模型的训练过程的示意图，目标动作模型的训练过程可以包括以下步骤：步骤301、获取风扇组内各风扇分区对应的样本状态数据。
52.比如说，为了训练风扇组1对应的目标动作模型a1，则可以获取风扇组1内各风扇分区对应的样本状态数据，为了训练风扇组2对应的目标动作模型a2，则可以获取风扇组2内各风扇分区对应的样本状态数据，以此类推。
53.示例性的，针对风扇组内的每个风扇分区，该风扇分区对应的样本状态数据可以包括但不限于以下至少一种：该风扇分区对应的每个单板所对应的传感器数据、网络设备对应的系统数据、该风扇分区对应的初始占空比。
54.其中，每个单板对应的传感器数据可以包括但不限于以下至少一种：该单板内芯片对应的结温数据、该单板内各测温点对应的最大温度、该单板对应的功率；该系统数据可以包括但不限于以下至少一种：环境温度、电源功率、每个风扇分区对应的功率（即风扇分区内所有风扇对应的功率之和）。
55.比如说，在网络设备的运行过程（如网络设备在实验室网络环境下运行）中，采集风扇组内各风扇分区对应的测试数据，为了区分方便，将该测试数据称为样本状态数据。比如说，在第一个采集周期，可以获取风扇组内各风扇分区对应的样本状态数据s1，在第二个采集周期，可以获取风扇组内各风扇分区对应的样本状态数据s2，以此类推。其中，相邻两个采集周期之间的间隔可以根据实际需求任意配置，如间隔可以为3秒、5秒等，对此不做限制。
56.在网络设备的运行过程中，不断改变运行过程中的参数，从而采集不同参数下的样本状态数据。比如说，可以改变运行过程中的环境温度，采集不同环境温度下的样本状态数据。可以改变运行过程中的电源功率，采集不同电源功率下的样本状态数据。可以改变运行过程中的风扇功率，采集不同风扇功率下的样本状态数据。可以改变运行过程中的初始占空比，采集不同初始占空比下的样本状态数据。通过改变运行过程中单板对应的数据量
（如调整一个或多个单板对应的数据量），以改变单板对应的传感器数据（如结温数据、各测温点对应的最大温度、功率等），采集不同传感器数据下的样本状态数据。
57.当然，上述只是几个示例，对此不做限制，只要能够采集不同情况下的样本状态数据，从而保证样本状态数据的多样性即可。显然，通过保证样本状态数据的多样性，可以基于样本状态数据训练出准确可靠的目标动作模型。
58.在上述实施例中，针对每个单板来说，若该单板内包括如下芯片的至少一种：mac芯片、cpu（central processing unit，中央处理器）芯片、fpga（field programmable gate array，现场可编程逻辑门阵列）芯片、ai（artificial intelligent，人工智能）芯片、光模块芯片，则可以采集这些芯片的结温数据（即实际工作温度），将这些芯片的结温数据作为风扇分区对应的样本状态数据。
59.针对每个单板来说，若该单板内包括至少一个测温点，则可以采集该单板内每个测温点对应的温度值，并选取这些温度值中的最大值作为该单板内各测温点对应的最大温度，将该最大温度作为风扇分区对应的样本状态数据。
60.针对每个单板来说，可以采集该单板对应的功率，即该单板的当前使用功率，将该单板对应的功率作为风扇分区对应的样本状态数据。
61.针对网络设备来说，可以采集网络设备的环境温度和电源功率，并将网络设备的环境温度和电源功率作为风扇分区对应的样本状态数据。
62.针对每个风扇分区来说，可以采集风扇分区内每个风扇对应的功率，确定风扇分区内所有风扇对应的功率之和，所有风扇对应的功率之和就是该风扇分区对应的功率，将该风扇分区对应的功率作为风扇分区对应的样本状态数据。
63.针对每个风扇分区来说，可以采集该风扇分区对应的初始占空比，比如说，由于该风扇分区内每个风扇对应的占空比相同，因此，可以采集该风扇分区内任一个风扇对应的占空比，将该占空比作为该风扇分区对应的初始占空比，表示该风扇分区内每个风扇正在按照该初始占空比对应的转速进行转动，可以将该风扇分区对应的初始占空比作为该风扇分区对应的样本状态数据。
64.示例性的，初始占空比用于表示风扇转速，初始占空比可以是最小占空比与最大占空比之间的整数数值，比如说，以最小占空比是20，最大占空比是100为例，则初始占空比可以是20到100的整数数值，如20、25、50、100等。
65.假设风扇的最大转速为k（即风扇支持的最大转速能力），初始占空比为m，则风扇分区内各风扇的转速可以为m%*k，也就是说，风扇的转速为最大转速k的m%，如初始占空比为20时，则表示风扇的转速为最大转速k的20%。
66.步骤302、获取已配置的初始动作模型。
67.本实施例中，可以预先配置初始动作模型，初始动作模型的输入数据是风扇组内各风扇分区对应的样本状态数据，初始动作模型的输出数据是m个样本占空比对应的状态动作值，m为大于1的正整数，m个样本占空比是位于最小占空比与最大占空比之间，且间隔预设步长的占空比。比如说，假设最小占空比为20，最大占空比为100，预设步长为5，则m个样本占空比可以是20、25、30、35、40、45、50、55、60、65、70、75、80、85、90、95、100，因此，初始动作模型的输出数据可以是上述m个样本占空比对应的状态动作值。
68.初始动作模型的输出数据是状态动作值，该状态动作值用于反映状态（state）和
动作（action）的价值（value），这里的状态可以是样本状态数据，这里的动作可以是样本占空比，也就是说，样本占空比和样本状态数据对应一个状态动作值，该状态动作值用于反映该样本状态数据和该样本占空比的价值。
69.由于m个样本占空比对应m个状态动作值，因此，m个状态动作值可以反映该样本状态数据和m个样本占空比的价值。比如说，初始动作模型的输出数据包括样本占空比20对应的状态动作值1、样本占空比25对应的状态动作值2、以此类推，状态动作值1可以反映该样本状态数据和样本占空比20的价值，状态动作值2可以反映该样本状态数据和样本占空比25的价值，以此类推。
70.比如说，初始动作模型可以是深度学习模型，也可以是神经网络模型，对此初始动作模型的结构不做限制，只要初始动作模型能够将风扇组内各风扇分区对应的样本状态数据转换为m个样本占空比对应的状态动作值即可。
71.示例性的，初始动作模型可以是基于dqn（deep q-learning network，深度q学习网络）算法的网络模型，也可以是基于其它算法的网络模型，对此不做限制，为了方便描述，本实施例中，以基于dqn算法的初始动作模型为例。
72.比如说，初始动作模型为基于dqn算法的网络模型，风扇组内各风扇分区对应的样本状态数据为初始动作模型的输入数据，状态动作值为初始动作模型的输出数据，即初始动作模型会输出17个样本占空比（20、25、30、35、40、45、50、55、60、65、70、75、80、85、90、95、100）对应的状态动作值。
73.dqn算法是针对离散动作空间进行处理，离散动作空间是指离散的多个样本占空比，各样本占空比可以是最小占空比与最大占空比之间的离散整数数值，而不是最小占空比与最大占空比之间的连续整数数值，如样本占空比是20、25、30、35、
…
100的离散整数数值，而不是20、21、22、
…
100的连续整数数值。
74.示例性的，在风扇组包括多个风扇分区时，这些风扇分区对应的样本状态数据都保存在一起参与初始动作模型的训练，得到该风扇组对应的目标动作模型，由于这些风扇分区对应的样本状态数据都保存在一起，这样有利于更快地采集多样性更好的数据，能够加快模型收敛，使得模型有更好的适应能力。
75.步骤303、将该风扇组对应的样本状态数据输入给该风扇组对应的初始动作模型，得到该风扇组对应的m个样本占空比对应的状态动作值。
76.示例性的，可以将风扇组内各风扇分区对应的样本状态数据作为初始动作模型的输入数据，由初始动作模型对这些样本状态数据进行处理，对此处理过程不作限制，得到该风扇组对应的m个样本占空比对应的状态动作值，即输出m个样本占空比对应的状态动作值，每个状态动作值也可以称为q函数值。
77.步骤304、基于风扇组对应的样本状态数据确定该风扇组对应的奖惩参数值。
78.示例性的，可以基于该样本状态数据确定该风扇组对应的目标功率和占空比最大值。其中，该样本状态数据包括该风扇组内各风扇分区对应的初始占空比，该占空比最大值可以是这些初始占空比中最大值。该样本状态数据包括该风扇组内各风扇分区对应的每个单板的功率和该风扇组内各风扇分区内每个风扇的功率，可以基于每个单板的功率和每个风扇的功率确定目标功率，如将每个单板的功率与每个风扇的功率之和作为目标功率。然后，可以基于该占空比最大值确定目标噪声值。然后，可以基于目标功率和目标功率对应的
第一权重系数、目标噪声值和目标噪声值对应的第二权重系数，确定该奖惩参数值。
79.在一种可能的实施方式中，基于该样本状态数据，可以采用如下公式确定奖惩参数值，当然，如下公式只是一个示例，对此确定方式不作限制。
80.n(s)r表示奖惩参数值， 表示目标功率e对应的第一权重系数，e表示目标功率，将风扇组内各风扇分区对应的每个单板的功率与该风扇组内各风扇分区内每个风扇的功率之和作为目标功率e。 表示目标噪声值n(s)对应的第二权重系数，s表示占空比最大值，即该风扇组内各风扇分区对应的初始占空比中的最大值。n(s)表示目标噪声值，n表示已配置函数，对此已配置函数n不作限制，可以根据经验进行配置，已配置函数n表示占空比最大值与目标噪声值之间的函数关系，即已配置函数n的输入是占空比最大值，已配置函数n的输出是目标噪声值，因此，可以将占空比最大值代入该已配置函数n，得到目标噪声值。
81.从上述公式可以看出，可以基于目标功率和目标功率对应的第一权重系数、目标噪声值和目标噪声值对应的第二权重系数，确定奖惩参数值。
82.在一种可能的实施方式中，可以从客户对节能和降噪的需求出发，调整目标功率对应的第一权重系数 和目标噪声值对应的第二权重系数 ，第一权重系数 表示节能性能的权重大小，第二权重系数 表示降噪性能的权重大小。
83.示例性的，第一权重系数 与第二权重系数 之和可以为固定数值（如1），即 。从客户对节能和降噪的需求出发，调整第一权重系数 和第二权重系数 ，比如说，若节能重要性优于降噪重要性，则第一权重系数 可以大于第二权重系数 ，若降噪重要性优于节能重要性，则第一权重系数 可以小于大于第二权重系数 。关于第一权重系数 和第二权重系数 的取值，本实施例中不做限制，可以根据经验配置第一权重系数 和第二权重系数 。
84.步骤305、基于奖惩参数值和m个样本占空比对应的状态动作值确定初始动作模型对应的目标误差值（即目标损失值），基于该目标误差值对初始动作模型的网络参数（即网络权重）进行调整，得到调整后动作模型。
85.比如说，可以预先配置误差函数，该误差函数的输入是奖惩参数值和状态动作值，该误差函数的输出是目标误差值，对此误差函数不做限制，只要满足上述输入输出关系即可，因此，可以将奖惩参数值和状态动作值代入该误差函数，得到目标误差值。例如，可以基于m个样本占空比对应的状态动作值确定出目标状态动作值（如所有状态动作值中的最大值，或所有状态动作值中的最小值，或所有状态动作值的平均值，或所有状态动作值中的任一状态动作值），可以将奖惩参数值和目标状态动作值代入该误差函数，得到目标误差值。
86.在一种可能的实施方式中，针对该误差函数，目标误差值与奖惩参数值可以成正比，即奖惩参数值越大，则目标误差值越大，奖惩参数值越小，则目标误差值越小。目标误差值与目标状态动作值可以成反比，即目标状态动作值越大，则目标误差值越小，目标状态动作值越小，则目标误差值越大。
87.比如说，该误差函数的一个示例可以为：l(θ u
) = 1/2 ，当然，上述公式只是误差函数的一个示例，只要误差函数与奖惩参数值和目标状态动作值有关即可。在
上述公式中，l(θ u
)表示目标误差值，q表示目标状态动作值， 表示奖惩参数值。显然，通过将目标状态动作值q和奖惩参数值 代入上述公式，就可以得到目标误差值l(θ u
)。目标状态动作值q越大时，目标误差值l(θ u
)越小，目标状态动作值q越小时，目标误差值l(θ u
)越大。奖惩参数值 越大时，目标误差值l(θ u
)越大，奖惩参数值 越小时，目标误差值l(θ u
)越小。
88.示例性的，参见上述实施例，在第一个采集周期，可以获取风扇组内各风扇分区对应的样本状态数据s1，在第二个采集周期，可以获取风扇组内各风扇分区对应的样本状态数据s2，在第三个采集周期，可以获取风扇组内各风扇分区对应的样本状态数据s3，以此类推。在此基础上，样本状态数据s1（即当前状态）作为样本状态数据s输入初始动作模型时，样本状态数据s2（即下一个状态）作为样本状态数据，样本状态数据s2作为样本状态数据s输入初始动作模型时，样本状态数据s3作为样本状态数据，以此类推。进一步的，基于上述公式 n(s)，可以得到样本状态数据s对应的奖惩参数值，并得到样本状态数据对应的奖惩参数值，综上所述，在确定目标误差值时，奖惩参数值可以是当前状态的下一个状态对应的奖惩参数值。
89.示例性的，在得到目标误差值l(θ u
)之后，就可以基于目标误差值l(θ u
)对初始动作模型的网络参数进行调整，对此调整过程不作限制，调整目标是使目标误差值l(θ u
)越来越小，即找到目标误差值l(θ u
)的极小值，得到调整后动作模型，如采用梯度下降法等算法对初始动作模型的网络参数进行调整。
90.步骤306、判断调整后动作模型是否已收敛。若调整后动作模型已收敛，则执行步骤307。若调整后动作模型未收敛，则执行步骤308。
91.比如说，若目标误差值满足收敛条件，则可以确定调整后动作模型已收敛，若目标误差值不满足收敛条件，则可以确定调整后动作模型未收敛。其中，该收敛条件可以根据经验配置，对此不作限制，如目标误差值处于某预设数值区间时，目标误差值满足收敛条件，否则，目标误差值不满足收敛条件。
92.又例如，若初始动作模型的迭代次数达到次数阈值（可以根据经验进行配置，对此不作限制），则可以确定调整后动作模型已收敛，若初始动作模型的迭代次数未达到该次数阈值，则可以确定调整后动作模型未收敛。
93.又例如，若初始动作模型的迭代时长达到时长阈值（可以根据经验进行配置，对此不作限制），则可以确定调整后动作模型已收敛，若初始动作模型的迭代时长未达到该时长阈值，则可以确定调整后动作模型未收敛。
94.当然，上述只是判断调整后动作模型是否已收敛的几个示例，对此判断方式不做限制，可以根据实际需求任意设置判断方式，在此不再赘述。
95.步骤307、将调整后动作模型确定为目标动作模型。
96.至此，完成初始动作模型的训练过程，得到已训练的目标动作模型。
97.步骤308、将调整后动作模型确定为初始动作模型，返回执行步骤303。
98.综上所述，可以得到已训练的目标动作模型，即针对每个风扇组得到目标动作模型，并将每个风扇组对应的目标动作模型部署到网络设备，在网络设备上，可以基于目标动
作模型实现对风扇的智能调控，即对风扇进行转速控制。
99.第二，针对基于目标动作模型的风扇转速控制过程。在基于目标动作模型的风扇转速控制过程中，可以基于风扇组1对应的目标动作模型实现风扇组1内每个风扇分区的风扇转速控制，可以基于风扇组2对应的目标动作模型实现风扇组2内每个风扇分区的风扇转速控制，可以基于风扇组3对应的目标动作模型实现风扇组3内每个风扇分区的风扇转速控制。由于每个风扇组的风扇转速控制过程相同，因此，后续以一个风扇组的风扇转速控制过程为例。参见图4所示，为风扇转速控制方法的流程示意图，该方法可以包括以下步骤：步骤401、获取风扇组内每个风扇分区对应的检测状态数据。
100.示例性的，针对风扇组内的每个风扇分区，该风扇分区对应的检测状态数据可以包括但不限于以下至少一种：该风扇分区对应的每个单板所对应的传感器数据、网络设备对应的系统数据、该风扇分区对应的初始占空比（即当前运行过程中的占空比）。其中，每个单板对应的传感器数据可以包括但不限于以下至少一种：该单板内芯片对应的结温数据、该单板内各测温点对应的最大温度、该单板对应的功率。系统数据可以包括但不限于以下至少一种：环境温度、电源功率、每个风扇分区对应的功率（即风扇分区内所有风扇对应的功率之和）。
101.比如说，在网络设备的运行过程（即实际运行过程）中，采集风扇组内每个风扇分区对应的检测状态数据。比如说，在第一个采集周期，获取风扇组内每个风扇分区对应的检测状态数据b1，在第二个采集周期，获取风扇组内每个风扇分区对应的检测状态数据b2，以此类推。其中，相邻两个采集周期之间的间隔可以任意配置，如间隔可以为3秒、5秒等，对此不做限制。
102.在上述实施例中，针对每个单板来说，若该单板内包括如下芯片的至少一种：mac芯片、cpu芯片、fpga芯片、ai芯片、光模块芯片，则可以采集这些芯片的结温数据（即实际工作温度），将这些芯片的结温数据作为风扇分区对应的检测状态数据。针对每个单板来说，若该单板内包括至少一个测温点，则可以采集该单板内每个测温点对应的温度值，并选取这些温度值中的最大值作为该单板内各测温点对应的最大温度，将该最大温度作为风扇分区对应的检测状态数据。针对每个单板来说，可以采集该单板对应的功率，即该单板的当前使用功率，将该单板对应的功率作为风扇分区对应的检测状态数据。
103.针对网络设备来说，可以采集网络设备的环境温度和电源功率，并将网络设备的环境温度和电源功率作为风扇分区对应的检测状态数据。
104.针对每个风扇分区来说，可以采集风扇分区内每个风扇对应的功率，确定风扇分区内所有风扇对应的功率之和，所有风扇对应的功率之和就是该风扇分区对应的功率，将该风扇分区对应的功率作为风扇分区对应的检测状态数据。
105.针对每个风扇分区来说，可以采集该风扇分区对应的初始占空比，比如说，由于该风扇分区内每个风扇对应的占空比相同，因此，可以采集该风扇分区内任一个风扇对应的占空比，将该占空比作为该风扇分区对应的初始占空比，表示该风扇分区内每个风扇正在按照该初始占空比对应的转速进行转动，可以将该风扇分区对应的初始占空比作为该风扇分区对应的检测状态数据。
106.示例性的，初始占空比用于表示风扇转速，初始占空比可以是最小占空比与最大占空比之间的整数数值，假设风扇的最大转速为k，初始占空比为m，则风扇分区内各风扇的
转速可以为m%*k，即风扇的转速为最大转速k的m%。
107.步骤402、在获取该风扇组内每个风扇分区对应的检测状态数据之后，还可以将该风扇组内每个风扇分区对应的检测状态数据存储到指定存储介质中。
108.示例性的，指定存储介质可以如内存buffer等，对此不作限制。
109.步骤403、针对该风扇组内的每个风扇分区，将该风扇分区对应的检测状态数据输入给该风扇组对应的目标动作模型，得到该风扇分区对应的目标占空比。
110.参见上述步骤302和步骤303，初始动作模型的输入数据是风扇分区对应的样本状态数据，初始动作模型的输出数据是m个样本占空比对应的状态动作值，在训练得到目标动作模型之后，目标动作模型的输入数据是风扇分区对应的检测状态数据，目标动作模型的输出数据是m个候选占空比对应的状态动作值。
111.基于此，在步骤403中，针对该风扇组内的每个风扇分区，可以将该风扇分区对应的检测状态数据输入给该风扇组对应的目标动作模型，由目标动作模型对该风扇分区对应的检测状态数据进行处理，对此处理过程不作限制，得到m个候选占空比对应的状态动作值，m个候选占空比可以是位于最小占空比与最大占空比之间，且间隔预设步长的占空比，如m个候选占空比可以是20、25、30、35、40、45、50、55、60、65、70、75、80、85、90、95、100等，因此，目标动作模型的输出数据可以是上述m个候选占空比对应的状态动作值。
112.基于m个候选占空比对应的状态动作值，可以将最优状态动作值（如最大的状态动作值可以作为最优状态动作值）对应的候选占空比确定为该风扇分区对应的目标占空比。比如说，假设候选占空比80对应的状态动作值为最优状态动作值，则可以将候选占空比80确定为该风扇分区对应的目标占空比。
113.比如说，针对风扇组1内的风扇分区1，可以将风扇分区1对应的检测状态数据输入给风扇组1对应的目标动作模型，从而可以得到风扇分区1对应的目标占空比。针对风扇组2内的风扇分区2，可以将风扇分区2对应的检测状态数据输入给风扇组2对应的目标动作模型，从而可以得到风扇分区2对应的目标占空比。针对风扇组2内的风扇分区3，可以将风扇分区3对应的检测状态数据输入给风扇组2对应的目标动作模型，从而可以得到风扇分区3对应的目标占空比。以此类推，可以得到每个风扇分区对应的目标占空比。
114.步骤404、针对每个风扇分区，基于该风扇分区对应的目标占空比确定该风扇分区内各风扇的转速，即该风扇分区内每个风扇的占空比均为该目标占空比，针对该风扇分区内的每个风扇，可以基于目标占空比确定该风扇的转速。
115.比如说，可以基于风扇分区1对应的目标占空比确定风扇分区1内每个风扇的转速，这些风扇的转速可以相同。假设最大转速为k，风扇分区1对应的目标占空比为m，则风扇分区1内每个风扇的转速均可以为m%*k。
116.至此，完成风扇转速的控制过程，显然，在每次获取到风扇分区对应的检测状态数据时，就可以基于该检测状态数据确定该风扇分区对应的目标占空比，继而基于该风扇分区对应的目标占空比确定该风扇分区内每个风扇的转速。
117.步骤405、在满足风扇组对应的目标动作模型的更新条件时，还可以重新训练该风扇组对应的目标动作模型。在重新训练目标动作模型时，可以将指定存储介质中的该风扇组对应的检测状态数据更新为该风扇组对应的样本状态数据，并将该风扇组对应的目标动作模型更新为该风扇组对应的初始动作模型。在此基础上，采用步骤303-步骤308重新训练
目标动作模型。比如说，将样本状态数据输入给初始动作模型，得到该风扇组对应的m个样本占空比对应的状态动作值；基于样本状态数据确定该风扇组对应的奖惩参数值；基于该惩参数值和m个样本占空比对应的状态动作值对初始动作模型进行训练，得到重新训练的目标动作模型，上述训练过程可以参见步骤303-步骤308，在此不再赘述。
118.示例性的，满足目标动作模型的更新条件，可以包括但不限于：每次间隔预设时长（根据经验配置，如一天、一周等）后，确定满足目标动作模型的更新条件，即每次间隔一段时间后重新训练目标动作模型，通过刷新目标动作模型实现对环境的适应性学习。或者，在网络设备处于空闲状态（如cpu利用率小于阈值、内存利用率小于阈值）时，确定满足目标动作模型的更新条件，即在空闲状态时重新训练目标动作模型，避免对网络设备的正常业务造成影响。
119.由以上技术方案可见，本技术实施例中，训练每个风扇组对应的目标动作模型，获取风扇组内每个风扇分区对应的检测状态数据，将检测状态数据输入给该风扇组对应的目标动作模型，得到该风扇分区对应的目标占空比，基于目标占空比确定该风扇分区内各风扇的转速，从而有效控制每个风扇的转速，降低风扇的功耗和噪音，在避免网络设备的温度过高的基础上，保证风扇噪声较小，风扇功耗较小，达到节能降噪的目的，满足网络设备的节能降噪需求，减少噪音污染，减少粉尘等空气中有害物质吸入，降低网络设备受到的腐蚀危害。从客户对节能和降噪的需求出发，自主调整权重系数，设定合适的奖惩函数，得到奖惩参数值。可以从与网络设备的交互中自动学习，大大增强了对环境的自适应能力，实现智能风扇调速节能降噪的迫切需求。将网络设备按照风扇降温范围进行风扇分区，设置多个不同的agent分别管理各自风扇分区，并采用dqn算法对风扇分区内各风扇的转速进行控制，实现风扇调速节能降噪的需求。
120.基于与上述方法同样的申请构思，本技术实施例中提出一种风扇转速控制装置，网络设备包括k个风扇组，k为大于1的正整数，每个风扇组包括至少一个风扇分区，每个风扇分区包括至少一个风扇；其中，每个风扇组对应一个已训练的目标动作模型，不同风扇组对应的目标动作模型不同；参见图5所示，为所述装置的结构示意图，针对每个风扇组，所述装置可以包括：获取模块51，用于获取所述风扇组内每个风扇分区对应的检测状态数据；处理模块52，用于针对每个风扇分区，将风扇分区对应的检测状态数据输入给所述风扇组对应的目标动作模型，得到所述风扇分区对应的目标占空比；确定模块53，用于基于所述目标占空比确定所述风扇分区内各风扇的转速。
121.示例性的，所述处理模块52还用于：基于网络设备的硬件架构将网络设备上所有风扇划分到多个风扇分区；针对每个风扇分区，所述风扇分区对应所述网络设备的至少一个槽位的单板，且所述风扇分区内的所有风扇对应的占空比相同；基于各风扇分区对应单板的类型，将所有风扇分区划分到k个风扇组；或，基于各风扇分区对应的位置，将所有风扇分区划分到k个风扇组；或，基于各风扇分区对应单板的类型和各风扇分区对应的位置，将所有风扇分区划分到k个风扇组。
122.示例性的，每个风扇分区对应的检测状态数据包括：所述风扇分区对应的每个单板所对应的传感器数据、网络设备对应的系统数据、所述风扇分区对应的初始占空比；每个单板对应的传感器数据包括以下至少一种：该单板内芯片对应的结温数据、该单板内各测
温点对应的最大温度、该单板对应的功率；系统数据包括以下至少一种：环境温度、电源功率、每个风扇分区对应的功率。
123.示例性的，所述处理模块52将所述风扇分区对应的检测状态数据输入给所述风扇组对应的目标动作模型，得到所述风扇分区对应的目标占空比时具体用于：将所述风扇分区对应的检测状态数据输入给所述风扇组对应的目标动作模型，得到m个候选占空比对应的状态动作值；其中，所述m为大于1的正整数，所述m个候选占空比是位于最小占空比与最大占空比之间，且间隔预设步长的占空比；基于所述m个候选占空比对应的状态动作值，将最优状态动作值对应的候选占空比确定为所述风扇分区对应的目标占空比。
124.示例性的，所述风扇转速控制装置还包括：训练模块，用于训练得到所述风扇组对应的目标动作模型；所述训练模块训练得到所述风扇组对应的目标动作模型时具体用于：获取所述风扇组内各风扇分区对应的样本状态数据；将所述样本状态数据输入给所述风扇组对应的初始动作模型，得到所述风扇组对应的m个样本占空比对应的状态动作值；基于所述样本状态数据确定所述风扇组对应的奖惩参数值；基于所述奖惩参数值和所述m个样本占空比对应的状态动作值对所述初始动作模型进行训练，得到已训练的所述目标动作模型。
125.示例性的，所述训练模块基于所述样本状态数据确定所述风扇组对应的奖惩参数值时具体用于：基于所述样本状态数据确定所述风扇组对应的目标功率和占空比最大值；所述样本状态数据包括所述风扇组内各风扇分区对应的初始占空比，所述占空比最大值是初始占空比中最大值；所述样本状态数据包括所述风扇组内各风扇分区对应的每个单板的功率和所述风扇组内各风扇分区内每个风扇的功率，基于每个单板的功率和每个风扇的功率确定目标功率；基于所述占空比最大值确定目标噪声值；基于所述目标功率和目标功率对应的第一权重系数、所述目标噪声值和目标噪声值对应的第二权重系数，确定奖惩参数值。
126.示例性的，所述第一权重系数与所述第二权重系数之和为固定数值；若节能重要性优于降噪重要性，则所述第一权重系数大于所述第二权重系数；若降噪重要性优于节能重要性，则所述第一权重系数小于所述第二权重系数。
127.示例性的，所述获取模块51获取所述风扇组内每个风扇分区对应的检测状态数据之后还由于：将所述风扇组内每个风扇分区对应的检测状态数据存储到指定存储介质；所述训练模块还用于：在满足所述风扇组对应的目标动作模型的更新条件时，将所述指定存储介质中的所述风扇组对应的检测状态数据更新为所述风扇组对应的样本状态数据；将所述目标动作模型更新为所述风扇组对应的初始动作模型；将样本状态数据输入给初始动作模型，得到所述风扇组对应的m个样本占空比对应的状态动作值；基于样本状态数据确定所述风扇组对应的奖惩参数值；基于所述奖惩参数值和所述m个样本占空比对应的状态动作值对初始动作模型进行训练，得到重新训练的目标动作模型。
128.基于与上述方法同样的申请构思，本技术实施例中提出一种网络设备，参见图6所示，所述网络设备包括：处理器61和机器可读存储介质62，机器可读存储介质62存储有能够被处理器61执行的机器可执行指令；处理器61用于执行机器可执行指令，以实现本技术上述示例公开的风扇转速控制方法。
129.基于与上述方法同样的申请构思，本技术实施例还提供一种机器可读存储介质，
所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被处理器执行时，能够实现本技术上述示例公开的风扇转速控制方法。
130.其中，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：ram（radom access memory，随机存取存储器）、易失存储器、非易失性存储器、闪存、存储驱动器（如硬盘驱动器）、固态硬盘、任何类型的存储盘（如光盘、dvd等），或者类似的存储介质，或者它们的组合。
131.上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
132.为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本技术时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
133.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
134.本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
135.而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
136.这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
137.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。