固液变推力发动机智能控制器设计方法和系统

1.本发明涉及火箭发动机智能控制技术领域，尤其是涉及一种固液变推力发动机智能控制器设计方法和系统。


背景技术：

2.一般的固液混合火箭发动机利用固体燃料与液体氧化剂通过化学反应产生推力。固体燃料以特定构型被浇筑在燃烧室中，液体氧化剂通过挤压式或泵压式增压，经液路输送系统送入燃烧室，与固体燃料产生化学反应，产生高温高压气体，经喷管加速，形成高速低温气体，向后方喷出，从而产生向前的反作用力。
3.而固液混合变推力火箭发动机作为其继承与发展，具有依据需求对发动机推力进行调控的功能，一般通过实时调节液路输送系统中的阀门开度或电动泵的功率大小，实现对氧化剂流量的调节，从而影响化学反应过程，控制反应释放的能量，最终实现控制发动机推力的功能。
4.电动泵需要携带驱动器配套使用，但是大功率驱动器死重大很难投入使用，存在低功率驱动器约束，因此，电动泵需携带功率电池，然而电池能量密度有限，电池能量消耗成为发动机控制的约束之一，进而导致了电动泵难控制的技术问题。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种固液变推力发动机智能控制器设计方法和系统，以缓解现有技术中存在的由于电动泵存在的低功率驱动及电池低能量密度约束导致的难控制的技术问题。
6.第一方面，本发明实施例提供了一种固液变推力发动机智能控制器设计方法，包括：以固液变推力发动机的实际推力、推力误差、电动泵的功率和可变文氏管的阀门开度作为观测输入，以所述电动泵和所述可变文氏管的控制指令为控制器输出，构建目标强化学习控制器；所述推力误差为所述实际推力与所述固液变推力发动机的期望推力之间的误差；所述电动泵为所述固液变推力发动机的氧化剂回路的增压电动泵；基于所述目标强化学习控制器，设计所述固液变推力发动机的智能控制器。
7.进一步地，所述方法还包括：利用强化学习算法对所述目标强化学习控制器进行训练。
8.进一步地，所述强化学习算法的奖励函数为：r＝β1re β2r
p
；其中，β1和β2为奖励权重系数，且β1 β2＝1；re为与推力误差的绝对值呈负相关趋势的误差奖励，r
p
为与电池功率相关的电动泵功率奖励。
9.进一步地，基于所述目标强化学习控制器，设计所述固液变推力发动机的智能控制器，包括：将所述智能控制器的输出端分别与所述电动泵的控制输入端和所述可变文氏管的控制输入端相连接，以使所述智能控制器基于响应于测量模块反馈的状态观测量输出的控制指令、同时控制所述电动泵和所述可变文氏管的输出液体氧化剂流量；所述测量模
块用于获取所述固液变推力发动机的状态观测量；所述状态观测量包括：所述固液变推力发动机的实际推力、所述电动泵的功率和所述可变文氏管的阀门开度。
10.进一步地，所述智能控制器响应于所述测量模块反馈的状态观测量输出的控制指令，包括：用于控制所述电动泵的第一控制指令和用于控制所述可变文氏管的第二控制指令；其中，所述电动泵基于所述第一控制指令输出的第一液体氧化剂流量，与所述可变文氏管基于所述第二控制指令输出的第二液体氧化剂流量之和，为所述固液变推力发动机的推力为所述期望推力时所需要的液体氧化剂流量。
11.第二方面，本发明实施例还提供了一种固液变推力发动机智能控制器设计系统，包括：构建模块和设计模块；其中，所述构建模块，用于以固液变推力发动机的实际推力、推力误差、电动泵的功率和可变文氏管的阀门开度作为观测输入，以所述电动泵和所述可变文氏管的控制指令为控制器输出，构建目标强化学习控制器；所述推力误差为所述实际推力与所述固液变推力发动机的期望推力之间的误差；所述电动泵为所述固液变推力发动机的氧化剂回路的增压电动泵；所述设计模块，用于基于所述目标强化学习控制器，设计所述固液变推力发动机的智能控制器。
12.进一步地，所述系统还包括：训练模块，用于利用强化学习算法对所述目标强化学习控制器进行训练；其中，所述强化学习算法的奖励函数为：r＝β1re β2r
p
；β1和β2为奖励权重系数，且β1 β2＝1；re为与推力误差的绝对值呈负相关趋势的误差奖励，r
p
为与电池功率相关的电动泵功率奖励。
13.进一步地，所述设计模块，还用于：将所述智能控制器的输出端分别与所述电动泵的控制输入端和所述可变文氏管的控制输入端相连接，以使所述智能控制器基于响应于测量模块反馈的状态观测量输出的控制指令、同时控制所述电动泵和所述可变文氏管的输出液体氧化剂流量；所述测量模块用于获取所述固液变推力发动机的状态观测量；所述状态观测量包括：所述固液变推力发动机的实际推力、所述电动泵的功率和所述可变文氏管的阀门开度。
14.第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法的步骤。
15.第四方面，本发明实施例还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述第一方面所述方法。
16.本发明提供了一种固液变推力发动机智能控制器设计方法和系统，通过基于强化学习的智能控制器对固液变推力发动机进行控制，可以使得固液变推力发动机在满足执行机构之一电动泵低功率约束的约束下完成推力控制任务，从而使得固液变推力发动机电动泵在不携带大功率电动泵的情况下提高了系统的稳定性，缓解了现有技术中存在的由于电动泵存在的低功率驱动及电池低能量密度约束导致的难控制的技术问题。
附图说明
17.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前
提下，还可以根据这些附图获得其他的附图。
18.图1为本发明实施例提供的一种固液变推力发动机智能控制器设计方法的流程图；
19.图2为本发明实施例提供的一种强化学习的智能体与环境的交互方式示意图；
20.图3为本发明实施例提供的一种固液变推力控制器结构示意图；
21.图4为本发明实施例提供的一种固液变推力发动机智能控制器设计系统的示意图；
22.图5为本发明实施例提供的另一种固液变推力发动机智能控制器设计系统的示意图。
具体实施方式
23.下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
24.实施例一：
25.图1是根据本发明实施例提供的一种固液变推力发动机智能控制器设计方法的流程图。如图1所示，该方法具体包括如下步骤：
26.步骤s102，以固液变推力发动机的实际推力、推力误差、电动泵的功率和可变文氏管的阀门开度作为观测输入，以电动泵和可变文氏管的控制指令为控制器输出，构建目标强化学习控制器；推力误差为实际推力与固液变推力发动机的期望推力之间的误差；电动泵为固液变推力发动机的氧化剂回路的增压电动泵；电动泵为低功率电池驱动的电动泵。
27.步骤s104，基于目标强化学习控制器，设计固液变推力发动机的智能控制器。
28.本发明提供了一种固液变推力发动机智能控制器设计方法，通过基于强化学习的智能控制器对固液变推力发动机进行控制，可以使得固液变推力发动机在满足执行机构之一电动泵低功率约束的约束下完成推力控制任务，从而使得固液变推力发动机电动泵在不携带大功率电动泵的情况下提高了系统的稳定性，缓解了现有技术中存在的由于电动泵存在的低功率驱动及电池低能量密度约束导致的难控制的技术问题。
29.本发明实施例提供的方法中，智能控制器部分采用强化学习算法进行训练，强化学习通过不断与环境进行交互，能够自主学习最优策略，被认为是最有可能实现通用人工智能计算的重要途径之一。强化学习讨论的问题是一个智能体如何在复杂不确定的环境中极大化它获得的奖励。在强化学习中，智能体与环境的交互方式如图2所示。
30.如图2所示，这个过程可以通过马尔科夫决策过程表示。马尔科夫决策过程可以使用元组(s,a,t,r,γ)表示。其中，s是有限的状态空间集合；a是有限的行为空间集合；t是状态转移模型：
31.t(s
t 1
＝s
′
|s
t
＝s,a
t
＝a)
ꢀꢀꢀ
(1)
32.r是奖励函数：
33.r(s
t
＝s,a
t
＝a)＝e[r
t
|s
t
＝s,a
t
＝a]
ꢀꢀꢀ
(2)
[0034]
γ是衰减因子，γ∈[0,1]。
[0035]
给定马尔科夫决策过程的策略π：
[0036]
π(a|s)＝p(a
t
＝a|s
t
＝s)
ꢀꢀꢀ
(3)
[0037]
定义回报函数g
t
：
[0038]gt
＝r
t 1
γr
t 2

…
γ
t-t-1rt
ꢀꢀꢀ
(4)
[0039]
回报函数是把奖励进行折扣后获得的收益。这里引入q函数，也就是动作价值函数q
π
(s,a)，代表在某一状态执行策略π采取某一动作而得到的期望：
[0040]qπ
(s,a)＝e[g
t
|s
t
＝s,a
t
＝a]
ꢀꢀꢀ
(5)
[0041]
对动作价值函数进行求和后得到价值函数v
π
(s)：
[0042][0043]
对值函数网络更新的原则是最小化损失函数，损失函数的数学表示如下：
[0044][0045]
其中yi＝ri γq
′
(s
i 1
,μ
′
(s
i 1
∣θ
μ
′
)∣θq′
)，可以看到yi也是一个只与θq参数有关的函数。
[0046]
假设训练的目标函数为：
[0047][0048]
其中，γ为衰减因子，即距离当前动作越远的回报值对网络的影响越小。根据目标函数的梯度对策略网络进行更新，其数学表示如下：
[0049][0050]
训练最后更新目标网络：
[0051]
θq′
←
τθq (1-τ)θq′
[0052]
θ
μ
′
←
τθ
μ
(1-τ)θ
μ
′
ꢀꢀꢀ
(10)
[0053]
可选地，本发明实施例提供的方法还包括：利用强化学习算法对目标强化学习控制器进行训练。
[0054]
本发明实施例设计的基于强化学习的智能控制器，观测输入为期望推力tr、推力误差e、阀门开度δ及电动泵的功率p；智能控制器的输出为电动泵和可变文氏管的控制指令。奖励函数设计为多个奖励的增量合成，分别与推力误差、电动泵功率即阀门开度有关。
[0055]
具体的，强化学习算法的奖励函数为：r＝β1re β2r
p
；β1和β2为奖励权重系数，且β1 β2＝1；re为与推力误差的绝对值呈负相关趋势的误差奖励，即推力误差越小，奖励越大；r
p
为与电池功率相关的电动泵功率奖励，可选地，在本发明实施例中，当电动泵功率在最大功率的0.3倍-0.7倍时，获得正奖励，其余情况获得负奖励，在正奖励范围内，电池功率越小，奖励越大。同时还利用推力误差对电动泵功率奖励进行幅值限制，当推力误差较小时，奖励较大，使其在优先满足误差较小的情况下，解决电动泵功率约束问题。优选地，在本发明实施例中，r
p
＜re。
[0056]
图3是根据本发明实施例提供的一种固液变推力控制器结构示意图。如图3所示，具体的，步骤s104还包括如下步骤：将智能控制器的输出端分别与电动泵的控制输入端和
可变文氏管的控制输入端相连接，以使智能控制器基于响应于测量模块反馈的状态观测量输出的控制指令、同时控制电动泵和可变文氏管的输出液体氧化剂流量。
[0057]
其中，测量模块用于获取固液变推力发动机的状态观测量；状态观测量包括：固液变推力发动机的实际推力、电动泵的功率和可变文氏管的阀门开度。可选地，状态观测量还包括：管路压力、电动泵转速等。
[0058]
可选地，如图3所示，智能控制器响应于测量模块反馈的状态观测量输出的控制指令，包括：用于控制电动泵的第一控制指令u1和用于控制可变文氏管的第二控制指令u2；其中，电动泵基于第一控制指令u1输出的第一液体氧化剂流量w1，与可变文氏管基于第二控制指令u2输出的第二液体氧化剂流量w2之和，为固液变推力发动机的推力为期望推力时所需要的液体氧化剂流量。
[0059]
在本发明实施例中，固液变推力发动机需要对电动泵及可变文氏管同时进行控制，根据智能控制器给出的控制指令分别得到电动泵及可变文氏管输出的液体氧化剂流量w1和w2。
[0060]
根据本发明实施例提供的方法所设计的智能控制器，在低功率约束下，发动机电动泵输出能力降低，需要对可变文氏管及电动泵进行协调调度来满足发动机输出要求，采用强化学习智能控制器综合考虑二者的控制指令大小，可以实现低功率约束下的固液变推力发动机的智能控制。
[0061]
在满足实际推力对期望推力的跟踪的基础上，进一步采用智能控制器对电动泵的电池能量进行管理。这一功能由rp部分实现。在误差较小且电池输出功率较小的共同条件下，智能控制器会得到一个较大的奖励，以此实现对电池功率，即电池能量的管理，最后能实现电池能量最优的固液变推力发动机的控制方法。
[0062]
由以上描述可知，本发明实施例提供的一种固液变推力发动机智能控制器设计方法，通过采用强化学习智能控制器对固液混合变推力发动机进行控制，使其在满足执行机构之一电动泵低功率约束的情况下完成推力控制任务，从而使得固液变推力发动机的电动泵无需携带大功率电动泵，降低发动机死重，提高了系统的稳定性。并且采用智能控制进行电动泵电池能量管理，达到电池能量消耗最优的控制策略，延长发动机的使用时间及使用寿命。
[0063]
实施例二：
[0064]
图4是根据本发明实施例提供的一种固液变推力发动机智能控制器设计系统的示意图。如图4所示，该系统包括：构建模块10和设计模块20。
[0065]
具体的，构建模块10，用于以固液变推力发动机的实际推力、推力误差、电动泵的功率和可变文氏管的阀门开度作为观测输入，以电动泵和可变文氏管的控制指令为控制器输出，构建目标强化学习控制器；推力误差为实际推力与固液变推力发动机的期望推力之间的误差；电动泵为固液变推力发动机的氧化剂回路的增压电动泵；电动泵为低功率电池驱动的电动泵。
[0066]
设计模块20，用于基于目标强化学习控制器，设计固液变推力发动机的智能控制器。
[0067]
本发明提供了一种固液变推力发动机智能控制器设计系统，通过基于强化学习的智能控制器对固液变推力发动机进行控制，可以使得固液变推力发动机在满足执行机构之
一电动泵低功率约束的约束下完成推力控制任务，从而使得固液变推力发动机电动泵在不携带大功率电动泵的情况下提高了系统的稳定性，缓解了现有技术中存在的由于电动泵存在的低功率驱动及电池低能量密度约束导致的难控制的技术问题。
[0068]
可选地，图5是根据本发明实施例提供的另一种固液变推力发动机智能控制器设计系统的示意图。如图5所示，系统还包括：训练模块30，用于利用强化学习算法对目标强化学习控制器进行训练；其中，强化学习算法的奖励函数为：r＝β1re β2r
p
；β1和β2为奖励权重系数，且β1 β2＝1；re为与推力误差的绝对值呈负相关趋势的误差奖励，r
p
为与电池功率相关的电动泵功率奖励。
[0069]
可选地，设计模块20，还用于：
[0070]
将智能控制器的输出端分别与电动泵的控制输入端和可变文氏管的控制输入端相连接，以使智能控制器基于响应于测量模块反馈的状态观测量输出的控制指令、同时控制电动泵和可变文氏管的输出液体氧化剂流量；其中，测量模块用于获取固液变推力发动机的状态观测量；状态观测量包括：固液变推力发动机的实际推力、电动泵的功率和可变文氏管的阀门开度。
[0071]
本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例一中的方法的步骤。
[0072]
本发明实施例还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，程序代码使处理器执行上述实施例一中的方法。
[0073]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。