一种深海发电系统及其控制方法

1.本发明属于深海发电技术领域，具体涉及一种深海发电系统及其控制方法。


背景技术：

2.海流能作为一种重要的海洋可再生能源，越来越受到国内外研究关注。上世纪70年代末，我国的科研学者们就已经开始对海流能进行开发利用，虽然到现在研究仅有四十多年，但海流能却是我国清洁能源中发展速度最快的一员。军事领域和民用领域的深海探测装备对于深海稳定发电站的需求十分迫切。一个稳定可靠的深海能源站不但会极大地减少维护船只的费用，而且会增加探测器的探测面积，缩短探测时间。目前，深海发电系统采用传统的最大功率追踪方法，由于水下流动环境复杂、数学模型不够精确，传统的深海发电系统的最大功率追踪方法容易陷入局部最优解的问题；以及海水的阻力、轮机和转子的惯性造成系统控制严重滞后，响应时间长，影响控制的实时性。随着人工智能技术的发展，近年来提出的深度强化学习控制方法因具有不断完善自身控制策略提高自身模型的适应性和超前控制的特性，可以很好的应用于本场景中。然而，深度强化学习控制方法也具有一定的弊端：深度强化学习控制方法自身功耗大，且深度强化学习算法所需要的训练周期较长，前期控制效果不稳定。


技术实现要素：

3.本发明的目的在于提供一种深海发电系统及其控制方法，以解决深度强化学习控制方法自身功耗大，且深度强化学习算法所需要的训练周期较长，前期控制效果不稳定的问题。
4.为实现上述目的，本发明采用以下技术方案：
5.一种深海发电系统，包括发电模块、充电模块、整流滤波电路、升降压电路、控制器和数据采集模块；发电模块输出端连接整流滤波电路，整流滤波电路连接升降压电路，升降压电路连接充电模块；发电模块、充电模块、升降压电路和数据采集模块均连接到控制器；
6.发电模块用于发电，并将电压电流参数发送到控制器；
7.充电模块用于存储电能，并将电压电流参数发送到控制器；
8.整流滤波电路用于将发电机产生的三相交流电变为二相电，发送给升降压电路；
9.升降压电路用于接收控制器的升降压倍率；
10.数据采集模块用于采集发电模块的转速数据和水底流场环境信息；
11.控制器用于接收发电模块以及充电模块的电压电流参数和据采集模块的信息，用于调整充电方式和调整升降压倍率。
12.进一步的，发电模块包括水轮机、变速器和发电机，水轮机、变速器和发电机依次相连，发电机的电能输出端连接整流滤波电路。
13.进一步的，数据采集模块包括水文传感器和转速传感器，转速传感器设置在水轮机上，用于采集水轮机转速，水文传感器用于采集所处流场环境信息。
14.进一步的，充电模块包括充电电路和蓄电池，充电电路一端连接升降压电路，另一端连接蓄电池，充电电路连接控制器，接收控制器的充电方式切换指令。
15.进一步的，控制器包括高性能处理器、低功耗处理器和外围电路，高性能处理器用于向低功耗处理器发送深度强化学习模型对最佳平衡转速的计算结果，低功耗处理器用于向高性能处理器发送休眠/唤醒指令、水文信息和系统工作状态。
16.进一步的，一种深海发电系统的控制方法，包括以下步骤：
17.系统下水之前，利用cfd数值计算，借助仿真环境对系统中的深度强化学习模型进行预先训练；
18.设定输出功率变化速率阈值，以及电机转速的采样时间间隔，判断水轮机的实际转速是否达到最佳转速；
19.系统在位工作阶段，模型进行自适应训练；若相邻两次输出功率采样变化速率在预设的变化速率阈值内，则不唤醒高性能控制芯片以降低功耗，低功耗控制芯片通过升降压电路调整水轮机转速至最佳转速处；若相邻两次输出功率采样变化速率不在预设的变化速率阈值内，则唤醒高性能控制芯片，高性能控制芯片运行深度强化学习模型更新最佳转速，低功耗控制芯片通过升降压电路控制水轮机芯片至最佳转速处；高性能控制芯片在运行过程中同时进行实际训练；
20.系统产生的电能经过整流滤波电路、升降压电路后，经过充电模式切换控制高效充入蓄电池中。
21.进一步的，系统下水之前预先训练具体包括：
22.1)高性能控制芯片的决策网络接收当前状态下流场流速、水轮机转速、系统发电功率信息；
23.2)当前状态下，根据决策网络给出决策，并预测最佳转速；
24.3)调用cfd软件的api接口，修改水轮机转速；
25.4)待系统稳态工况改变后，采集系统的工况参数后输入系统的奖励函数；
26.5)将初始的系统工况、根据决策网络给出的决策、奖励函数值、改变后系统稳态工况作为一条经验存放在经验池中；
27.6)重复上述过程，获得经验存放在经验池中；
28.7)随机抽取经验池中的经验输入梯度下降算法和决策网络和目标网络中，决策网络和目标网络向梯度下降算法提供梯度更新所需参数，利用梯度不断更新算法更新决策网络中的权重；
29.8)将决策网络中的权重定期更新到目标网络中。
30.进一步的，判断水轮机的实际转速是否达到最佳转速具体包括：
31.启动低功耗控制芯片，利用低功耗控制芯片采集流场流速、水轮机转速、系统输出功率p信息；
32.若输出功率的变化率满足条件其中λ为预设的输出功率变化速率阈值，δt为相邻两次输出功率采样的时间间隔,δp为功率差；满足此条件代表此段时间内，输出功率的变化值较小，外界流场的变化情况较小，无需更新水轮机的最佳平衡转速；
33.查看高性能控制芯片是否处于唤醒状态，若高性能控制芯片处于唤醒状态，则低
能耗芯片向高性能控制芯片发送休眠指令，使高性能控制芯片进入休眠状态；
34.利用低能耗芯片，将水轮机转速控制在最佳平衡转速ω
max
附近；
35.若水轮机实际转速ω满足条件其中δ为预设的水轮机转速控制精度，满足此条件则认为水轮机的实际转速已经被控制到最佳转速处；则选择是否关闭系统；若水轮机实际转速ω不满足条件则再次借助低功耗控制芯片，调整水轮机转速在最佳平衡转速ω
max
附近，重复步骤直至水轮机实际转速ω满足条件
36.若选择关闭系统，则结束控制器运行；若选择不关闭系统，则低功耗控制芯片继续采集流场流速、水轮机转速、系统输出功率p信息，重复全部步骤不断调整ω
max
，保持系统具有最大的输出功率；
37.若输出功率的变化率不满足条件查看高性能控制芯片是否处于唤醒状态，若高性能控制芯片还未处于唤醒状态，则借助低能耗芯片向高性能控制芯片发出唤醒命令，唤醒高性能控制芯片；
38.高性能控制芯片处于唤醒状态后，利用高性能控制芯片，接收低能耗芯片采集的外界流场流速、水轮机转速信息；
39.借助高性能控制芯片，运行深度强化学习模型，根据采集的数据修正模型，并预测当前情况下的最佳转速值ω
max
；
40.高性能控制芯片将更新后的最佳转速值ω
max
输入低功耗控制芯片，借助低功耗控制芯片将水轮机转速控制在新的最佳转速值ω
max
附近，并重复水轮机实际转速的判断。
41.进一步的，模型进行自适应训练具体包括：
42.1)预先训练结束后，复制网络与权重到决策网络中；决策网络接收当前状态下流场流速、水轮机转速、系统发电功率信息；
43.2)当前状态下，根据决策网络给出决策，预测最佳转速并输入低功耗控制芯片；
44.3)低功耗控制芯片根据预测的最佳转速调整升降压电路倍率，进而改变水轮机转速；
45.4)水轮机转速改变后，采集系统的工况参数后输入系统的奖励函数；
46.5)将初始的系统工况、体根据决策网络给出的决策、奖励函数值、改变后系统稳态工况作为一条经验存放在经验池中；
47.6)多次重复上述过程，获得大量经验存放在经验池中
48.7)随机抽取经验池中的经验输入梯度下降算法和决策网络和目标网络中，决策网络和目标网络向梯度下降算法提供梯度更新所需参数，利用梯度更新算法不断更新决策网络中的权重；
49.8)将决策网络中的权重定期更新到目标网络中；
50.9)循环上述步骤，实现系统在位工作阶段，模型的自适应训练。
51.进一步的，采取充电模式切换控制的方法，控制器根据电池与电路的状态来决定此刻的充电策略：
52.1)设定电压阈值u0，电流阈值i0，电池容量c053.2)采集充电电压u和充电电流i
54.3)计算当前电池容量c2＝c1 iδt
55.4)若当前电池容量不满足判断条件：θ为认为电池充满电时的电池容量占比，即认为电池已经充满电，则结束充电控制；
56.若当前电池容量满足判断条件：且当前充电电压不满足u《u0，则启动恒压充电模式进行充电，直至电池容量不满足判断条件：认为电池已经充满；
57.若当前电池容量满足判断条件：当前充电电压满足u《u0，当前充电电流不满足i《i0，则启动恒流充电模式进行充电，直至电池容量不满足判断条件：认为电池已经充满；
58.若当前电池容量满足判断条件：当前充电电压满足u《u0，当前充电电流满足i《i0，则启动最大功率充电模式进行充电，直至电池容量不满足判断条件：认为电池已经充满。
59.与现有技术相比，本发明有以下技术效果：
60.在本发明下水前，利用cfd数值计算，借助仿真环境对系统中的深度强化学习模型进行预先训练，使控制网络模型具备普适性的轮机转速控制模型，加快训练进程，提高系统下水初期工作的稳定性；系统在位工作阶段，通过水文传感器采集发电系统所处的流场信息，并将其存入控制器中；通过转速传感器采集水轮机的转速信息，并将其存入到控制器中。系统中的水轮机将机械能传递给发电机，发电机将其转化为电能，经过深度强化学习的发电最大功率控制和充电控制后，充入蓄电池中。其中，系统采取的控制器为深度强化学习控制器，并采取高功耗芯片与低功耗控制芯片搭配的方法实现低功耗高性能的效果。本发明优化了水轮机发电装置的最大功率控制方法，并降低了其能耗，缩短了其训练时间，提高了发电系统部署初期的工作稳定性，促进海流能发电技术的发展。
61.本发明采取了低功耗控制芯片与高性能控制芯片耦合的方法，实现了低功耗、高性能的效果。本发明采取了模型虚拟训练与实际训练相结合的方法，大大缩短了深度强化学习方法的训练时间，加快了训练进程。另外，本发明设计整合了多种充电模式，能够根据流场情况自动切换充电方式，在提高充电效率的同时，能够最大程度上延长蓄电池的工作寿命。
62.本发明针对现阶段深海水轮机发电装置的最大功率控制部分容易陷入局部最优解、控制滞后、实时性差、控制效果较差的问题，采用了深度强化学习的控制方法，优化了控制效果，提高了系统的适应性；
63.本发明针对深度强化学习控制器自身功耗大，设计了低功耗控制芯片与高性能控制芯片耦合工作的方法，实现了控制器低功耗高性能的运行效果，使本控制器更适用于本
套发电系统中；
64.本发明针对深度强化学习的模型训练周期长，发电系统水下部署初期工作效果不稳定的问题，设计了模型虚拟训练与实际训练相结合的方法，加快了系统的训练进程，提高了系统工作的稳定性；
65.本发明设计整合了多种充电模式，能够根据流场情况自动切换充电方式，在提高充电效率的同时，能够最大程度上延长蓄电池的工作寿命。
附图说明
66.图1：一种基于深度强化学习算法的低功耗的深海发电系统流程图
67.图2：基于深度强化学习的高性能低功耗芯片耦合工作协同控制流程图
68.图3：深度强化学习网络模型虚拟训练与实际训练流程图
69.图4：蓄电池充电控制流程图
具体实施方式
70.以下结合附图对本发明进一步说明：
71.本发明设计了一种深海发电系统，其最大功率追踪方法为深度强化学习控制算法。此外，本发明采取了低功耗控制芯片与高性能控制芯片耦合的方法，实现了低功耗、高性能的效果。本发明采取了模型虚拟训练与实际训练相结合的方法，大大缩短了深度强化学习方法的训练时间，加快了训练进程。另外，本发明设计整合了多种充电模式，能够根据流场情况自动切换充电方式，在提高充电效率的同时，能够最大程度上延长蓄电池的工作寿命。
72.本套深海发电系统的工作流程如下：在本套系统下水前，利用cfd数值计算，借助仿真环境对系统中的深度强化学习模型进行预先训练，使控制网络模型具备普适性的轮机转速控制模型，加快训练进程，提高系统下水初期工作的稳定性；系统在位工作阶段，通过水文传感器采集发电系统所处的流场信息，并将其存入控制器中；通过转速传感器采集水轮机的转速信息，并将其存入到控制器中。系统中的水轮机将机械能传递给发电机，发电机将其转化为电能，经过深度强化学习的发电最大功率控制和充电控制后，充入蓄电池中。其中，系统采取的控制器为深度强化学习控制器，并采取高功耗芯片与低功耗控制芯片搭配的方法实现低功耗高性能的效果。本发明优化了水轮机发电装置的最大功率控制方法，并降低了其能耗，缩短了其训练时间，提高了发电系统部署初期的工作稳定性，促进海流能发电技术的发展。
73.一种基于深度强化学习算法的低功耗的深海发电系统，其特征在于：机械部分包括水文传感器、转速传感器、控制器、水轮机、变速器、发电机、蓄电池等，其中，控制器由高性能处理器、低功耗处理器、外围辅助电路三部分组成；电路包括整流滤波电路、升降压电路与充电电路等。水文传感器与控制器相连，采集发电系统所处流场环境信息输入控制器中的低功耗处理器中，作为控制器中高功耗处理器进行深度强化学习进而控制水轮机运行的依据。水轮机与转速传感器相连，采集水轮机的转速信息输入控制器中。水轮机通过变速器与发电机相连，向发电机提供机械能。发电机将其转化为电能，发电机输出端与电压电流参数采集电路和整流滤波电路相连。一方面，采集到的电压和电流传入控制器，作为调控升
降压电路的升降压倍率的依据；另一方面，发电机产生的三相交流电经过整流滤波电路变为二相电，经过升降压电路后，输出电能并再次采集电压电流等参数到控制器中，作为充电模式切换控制的依据。升降压电路与充电电路相连，向充电电路输出电能，同时，充电电路与控制器相连，接受控制器的充电方式切换指令，以合适的充电方式对蓄电池进行充电。
74.作为本发明的进一步改进，所述控制器为基于深度强化学习的高性能低功耗控制芯片搭配的控制器，其特征在于包括以下步骤：
75.1)启动低功耗控制芯片，利用低功耗控制芯片采集流场流速、水轮机转速、系统输出功率p等信息。
76.2)若输出功率的变化率满足条件其中λ为预设的输出功率变化速率阈值，δt为相邻两次输出功率采样的时间间隔,δp为功率差。满足此条件代表此段时间内，输出功率的变化值较小，外界流场的变化情况较小，无需更新水轮机的最佳平衡转速。
77.3)查看高性能控制芯片是否处于唤醒状态，若高性能控制芯片处于唤醒状态，则低能耗芯片向高性能控制芯片发送休眠指令，使高性能控制芯片进入休眠状态。
78.4)利用低能耗芯片，将水轮机转速控制在最佳平衡转速ω
max
附近。
79.5)若水轮机实际转速ω满足条件其中δ为预设的水轮机转速控制精度，满足此条件则认为水轮机的实际转速已经被控制到最佳转速处。则选择是否关闭系统；若水轮机实际转速ω不满足条件则再次借助低功耗控制芯片，调整水轮机转速在最佳平衡转速ω
max
附近，重复步骤直至水轮机实际转速ω满足条件
80.6)若选择关闭系统，则结束控制器运行；若选择不关闭系统，则低功耗控制芯片继续采集流场流速、水轮机转速、系统输出功率p等信息，重复全部步骤不断调整ω
max
，保持系统具有最大的输出功率。
81.7)若输出功率的变化率不满足条件查看高性能控制芯片是否处于唤醒状态，若高性能控制芯片还未处于唤醒状态，则借助低能耗芯片向高性能控制芯片发出唤醒命令，唤醒高性能控制芯片。
82.8)高性能控制芯片处于唤醒状态后，利用高性能控制芯片，接收低能耗芯片采集的外界流场流速、水轮机转速等信息。
83.9)借助高性能控制芯片，运行深度强化学习模型，根据采集的数据修正模型，并预测当前情况下的最佳转速值ω
max
。
84.10)高性能控制芯片将更新后的最佳转速值ω
max
输入低功耗控制芯片，借助低功耗控制芯片将水轮机转速控制在新的最佳转速值ω
max
附近，并重复步骤5)、6)。
85.作为本发明的进一步改进，轮机的控制由低功耗控制芯片与高性能控制芯片协同完成，高性能控制芯片的启动取决于低功耗控制芯片的控制命令，低功耗控制芯片具备两个功能：其一是调控轮机的转速，并将其维持在由高性能控制芯片给定的ω
max
附近；其二是
监测水文信息(流速、方向等)，并决定是否唤醒高性能控制芯片。唤醒高性能控制芯片满足两个条件：轮机转速维持在ω
max
附近，且附近，且的设定避免了因短暂回流或流场波动对高性能控制芯片的不当唤醒。高性能控制芯片根据外界水文信息更新ω
max
并传输给低功耗控制芯片。此设计不仅可以通过深度学习算法来快速实现轮机功率最大化，同时避免了高性能控制芯片的持续工作，从而达到低功耗的目的。
86.作为本发明的进一步改进，设计了一种模拟训练与实际训练相结合的训练方法进行深度强化学习，大大缩短深度强化学习方法的训练时间，增加系统在起始阶段工作的稳定性，集成在高性能控制芯片中的深度强化学习的训练流程包含两个部分：系统下水前，模型借助仿真环境进行预先训练；系统在位工作阶段，模型的自适应训练。其特征在于包括以下步骤：
87.系统下水前，模型借助仿真环境进行预先训练包括以下步骤：
88.高性能控制芯片的决策网络接收当前状态下流场流速、水轮机转速、系统发电功率等信息
89.当前状态下，智能体根据决策网络给出决策，并预测最佳转速
90.调用cfd软件的api接口，修改水轮机转速
91.待系统稳态工况改变后，采集系统的工况参数后输入系统的奖励函数
92.将初始的系统工况、智能体根据决策网络给出的决策、奖励函数值、改变后系统稳态工况作为一条经验存放在经验池中
93.多次重复上述过程，获得大量经验存放在经验池中
94.随机抽取经验池中的一些经验输入梯度下降算法和决策网络和目标网络中，决策网络和目标网络向梯度下降算法提供梯度更新所需参数，利用梯度不断更新算法更新决策网络中的权重
95.将决策网络中的权重定期更新到目标网络中
96.按照上述步骤，经过多轮训练，可以在系统下水前，完成模型借助仿真环境进行预先训练。
97.系统在位工作阶段，模型的自适应训练包括以下步骤：
98.预先训练结束后，复制网络与权重到决策网络中。决策网络接收当前状态下流场流速、水轮机转速、系统发电功率等信息
99.当前状态下，智能体根据决策网络给出决策，预测最佳转速并输入低功耗控制芯片。
100.低功耗控制芯片根据预测的最佳转速调整升降压电路倍率，进而改变水轮机转速。
101.水轮机转速改变后，采集系统的工况参数后输入系统的奖励函数
102.将初始的系统工况、智能体根据决策网络给出的决策、奖励函数值、改变后系统稳态工况作为一条经验存放在经验池中
103.多次重复上述过程，获得大量经验存放在经验池中
104.随机抽取经验池中的一些经验输入梯度下降算法和决策网络和目标网络中，决策网络和目标网络向梯度下降算法提供梯度更新所需参数，利用梯度更新算法不断更新决策
网络中的权重
105.将决策网络中的权重定期更新到目标网络中。
106.循环上述步骤，可实现系统在位工作阶段，模型的自适应训练。
107.作为本发明的进一步改进，充电过程中采取充电模式切换控制的方法，控制器根据电池与电路的状态来决定此刻的充电策略，其特征在于包括以下步骤：
108.1)设定电压阈值u0，电流阈值i0，电池容量c0109.2)采集充电电压u和充电电流i
110.3)计算当前电池容量c2＝c1 iδt
111.4)若当前电池容量不满足判断条件：θ为认为电池充满电时的电池容量占比，即认为电池已经充满电，则结束充电控制
112.若当前电池容量满足判断条件：且当前充电电压不满足u《u0，则启动恒压充电模式进行充电，直至电池容量不满足判断条件：认为电池已经充满。
113.若当前电池容量满足判断条件：当前充电电压满足u《u0，当前充电电流不满足i《i0，则启动恒流充电模式进行充电，直至电池容量不满足判断条件：认为电池已经充满。
114.若当前电池容量满足判断条件：当前充电电压满足u《u0，当前充电电流满足i《i0，则启动最大功率充电模式进行充电，直至电池容量不满足判断条件：认为电池已经充满。
115.作为本发明的进一步改进，水轮机与变速器、变速器与发电机相连，发电机将电机提供的机械能转化为电能。
116.作为本发明的进一步改进，发电机与控制器的整流滤波电路与升降压电路相连，发电机产生的三相交流电整流滤波后，成为波形平稳的两相电对蓄电池进行充电。
117.为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
118.结合下列附图，通过实例对本发明进一步进行说明。
119.图1为一种基于深度强化学习算法的低功耗的深海发电系统流程图。可以看出各部分的联系。其中，水文传感器与控制器相连，向控制器的低功耗控制芯片提供系统所处的流场环境信息，低功耗控制芯片判断外界流场来决定是否唤醒高性能控制芯片。水轮机与转速传感器相连，转速传感器采集水轮机的转速信息输入控制器中。水轮机与变速器相连，
变速器与发电机相连，水轮机向发电机提供机械能，发电机将其转化为电能，以三相交流电的形式输入到整流滤波电路中。同时，在电能输入端采集电压、电流等参数信息，输入到低功耗控制芯片中。当水轮机转速维持在ω
max
附近，且外界水文发生稳定变化，低功耗处理器将唤醒高性能控制芯片，后者将通过深度强化学习算法计算得到新的目标平衡转速，并传递给低功耗控制芯片，进而控制器通过改变升降压电路的升降压倍率，将水轮机的转速调整至目标转速处，实现最大功率追踪控制。经过整流、滤波电路后，三相交流电变为平稳的二相电，输入到升降压电路中,进而电能输出到充电电路中，同时采集电能输出端的电压电流等参数，作为充电模式切换控制的依据。充电电路接受来自控制器的充电方式切换指令，选择合适的充电模式对蓄电池进行高效充电。
120.图2为基于深度强化学习的高性能低功耗芯片耦合工作协同控制流程图。本发明中基于深度强化学习的高性能低功耗控制芯片搭配的控制器由低功耗控制芯片a、高性能控制芯片b和外围辅助电路组成。在使用基于深度强化学习的高性能低功耗控制芯片搭配的控制器对水轮机转速进行控制时，首先，启动低功耗控制芯片并利用其采集流场流速v，水轮机转速ω，系统输出功率p等信息，根据上述信息判断相邻两次输出功率采样变化速率是否在预设阈值内。若相邻两次输出功率采样变化速率在预设的变化速率阈值内，则认为最佳转速无需调整，检查高性能控制芯片是否处于休眠状态，若未处于休眠状态，则向其发送休眠指令，并借助低能耗芯片将水轮机控制在最佳转速附近，使其满足水轮机转速控制精度；若相邻两次输出功率采样变化速率不在预设的变化速率阈值内，则认为最佳转速需要调整，检查高性能控制芯片是否处于唤醒状态，若未处于唤醒状态则利用低功耗控制芯片唤醒高性能控制芯片，使用高性能控制芯片接收低能耗控制芯片采集到的数据信息，并利用高性能控制芯片运行深度强化学习模型，根据上述信息预测更新最佳转速并传递给低功耗控制芯片，由低功耗控制芯片调整水轮机转速到最佳转速附近，使其满足预设的水轮机转速控制精度。若选择关闭系统，则系统结束运行，若不关闭系统，则系统重复上述步骤，根据外界流场变化不断调整水轮机转速至最佳转速处。
121.图3为深度强化学习网络模型虚拟训练与实际训练流程图。深度强化学习模型的训练流程分为系统下水之前，模型借助仿真环境进行预先训练和系统在位工作阶段，模型的自适应训练两个部分。在系统下水之前，模型借助仿真环境进行预先训练时，首先，高性能控制芯片的决策网络接收当前状态下流场流速、水轮机转速、系统发电功率等信息，智能体根据决策网络给出决策，预测最佳转速。获得最佳转速后，调用cfd软件的api接口，修改水轮机转速。待系统工况稳定后，采集系统的工况参数，并根据系统的奖励函数得到奖励函数值。将本次训练的初始的系统工况、智能体根据决策网络给出的决策、奖励函数值、改变后系统稳态工况作为一条经验存放在经验池中。改变不同的系统初始工况，多次训练，获得大量经验存放在经验池中。随机抽取经验池中的一些经验，结合决策网络和目标网络中的相关参数，利用梯度更新算法不断更新决策网络和目标网络中的权重。最终，由决策网络定期更新目标网络，实现系统下水之前，模型借助仿真环境进行预先训练。
122.在系统在位工作阶段，模型的自适应训练时，决策网络已经获得预先训练结束后的网络和权重，将根据实际情况做进一步的训练。首先，高性能控制芯片的决策网络接收来自低功耗控制芯片的当前状态下流场流速、水轮机转速、系统发电功率等信息，智能体根据决策网络给出决策，预测最佳转速并输入低功耗控制芯片。低功耗控制芯片通过升降压电
路调整水轮机转速，待系统稳定后，采集系统的工况信息并输入高性能控制芯片。高性能控制芯片的奖励函数根据接收到的系统当前工况信息计算奖励函数值，并将初始的系统工况、智能体根据决策网络给出的决策、奖励函数值、改变后系统稳态工况作为一条经验存放在经验池中。改变不同的系统初始工况，多次训练，获得大量经验存放在经验池中。随机抽取经验池中的一些经验，结合决策网络和目标网络中的相关参数，利用梯度更新算法不断更新决策网络和目标网络中的权重。最终，由决策网络定期更新目标网络，实现系统在位工作阶段，模型的自适应训练。
123.图4为蓄电池充电控制流程图。本发明中对不同的充电电压和电流情况，使用了不同的充电模式进行切换。首先，对本发明的充电过程设定电压阈值、电流阈值作为充电模式切换的判断标准，并设定认为电池已经充满时的电池容量占比。当采集充电电压和充电电流，计算当前电池容量大于既定的电池容量占比时，认为电池已经充满，停止充电。若当前电池容量小于既定的电池容量占比，充电电压大于电压阈值时，控制充电模式切换为恒压充电；充电电压小于电压阈值，充电电流大于电流阈值时，控制充电模式切换为恒流充电；充电电压和电流均小于其对应阈值时，控制充电模式切换为最大功率充电。通过以上方式保证本发明的充电效率。
124.具体实施方案
125.下面结合此基于深度强化学习算法的低功耗的深海发电系统的工作过程作进一步解释：
126.步骤1：系统下水之前，利用cfd数值计算，借助仿真环境对系统中的深度强化学习模型进行预先训练，使控制网络模型具备普适性的轮机转速控制模型。
127.步骤2：设定输出功率变化速率阈值为，将电机转速的采样时间间隔设置为两个周期，将水轮机转速达到最佳转速的判断阈值设定为5％，将认为电池充满电时的电池容量占比设定为90％。
128.步骤3：系统在位工作阶段，若相邻两次输出功率采样变化速率在预设的变化速率阈值内，则不唤醒高性能控制芯片以降低功耗，低功耗控制芯片通过升降压电路调整水轮机转速至最佳转速处。若相邻两次输出功率采样变化速率不在预设的变化速率阈值内，则唤醒高性能控制芯片，高性能控制芯片运行深度强化学习模型更新最佳转速，低功耗控制芯片通过升降压电路控制水轮机芯片至最佳转速处，保证系统的发电功率最大。高性能控制芯片在运行过程中同时进行实际训练，进一步优化控制方案，使计算出的控制方案更好的符合当地的流场情况，提高模型适应性。
129.步骤4：系统产生的电能经过整流滤波电路、升降压电路后，经过充电模式切换控制高效充入蓄电池中。