一种基于分布式强化学习的无人机连续机动控制方法与流程

1.本技术涉及机器学习技术领域，具体涉及一种基于分布式强化学习的无人机连续机动控制方法。


背景技术：

2.无人机连续机动控制属于无人机智能飞行控制领域，传统的机动控制器采用分段pid控制方法，利用外环控制逻辑算法进行切换，该方法属于控制器的组合使用，具有切换边界不稳定，控制指令存在跳变的缺陷，同时需要对非线性问题需要进行线性假设，建模过程十分复杂。


技术实现要素：

3.为了解决上述问题，本发明提出一种基于分布式强化学习的无人机连续机动控制方法，解决无人机的连续机动控制指令序贯决策问题，该方法属于一种无模型智能控制方法。与传统机动控制器相比较不需要控制建模，能够生成连续的机动控制指令，不存在控制器切换而产生的指令跳变等问题。与基本的连续控制强化学习算法，即深度确定性策略梯度算法相比，具备分布式采样功能，增加了样本的多样性，有效缩短强化学习整个训练过程的时间。
4.本技术基于分布式强化学习的无人机连续机动控制方法，主要包括：
5.步骤s1、基于无人机动力学参数构建仿真训练环境；
6.步骤s2、将所述仿真训练环境与强化学习训练系统进行交互，其中，所述强化学习训练系统用于对无人机连续机动控制策略神经网络进行迭代更新，包括接收数据经验池的信息，并通过训练算法生成控制策略，依照所述控制策略控制无人机动作，所述数据经验池存储了所述仿真训练环境产生的环境信息及无人机状态信息；
7.步骤s3、对所述无人机连续机动控制策略神经网络进行不同随机参数的样本数据采样，获得新的采样样本数据，并加入到所述数据经验池。
8.优选的是，步骤s1中，所述仿真训练环境包括：
9.根据舵面偏角及前一时刻的无人机仿真数据进行气动力及气动力矩的计算；
10.基于油门位置进行发动机推力解算；
11.依据气动力、气动力矩及发动机推力进行动力学方程解算及运动学方程解算，获得无人机位置、速度及姿态；
12.基于运动学方程解算结果与大气数据模型交互，获得当前时刻的无人机仿真数据。
13.优选的是，步骤s2中，所述无人机连续机动控制策略神经网络包括critic网络、actor网络和相应的critic
‑
target网络、actor
‑
target网络，使用深度确定性策略梯度算法对critic网络和actor网络进行训练。
14.优选的是，所述无人机连续机动控制策略神经网络的训练过程包括：
15.步骤s21、初始化actor网络、actor
‑
target网络的神经网络参数，初始化critic网络、critic
‑
target网络的神经网络参数；
16.步骤s22、根据actor网络选择无人机控制指令，并与环境交互，进行多个采样，形成采样样本，并加入数据经验池；
17.步骤s23、从数据经验池中随机抽取批数据进行训练，共进行多次神经网络训练更新；
18.步骤s24、计算神经网络的loss，并更新更新critic网络；
19.步骤s25、计算actor网络的策略梯度，并更新actor网络；
20.步骤s26、采用软更新方式更新actor
‑
target网络和critic
‑
target网络。
21.优选的是，还包括：步骤s4、接收最新生成的无人机连续机动控制策略神经网络，针对于当前的机动动作需求，测试智能体是否能够完成既定目标，用于判断训练是否结束，并同时输出训练终止信号。
22.优选的是，步骤s2中，所述强化学习训练系统主要包括：
23.构建状态观测量：以无人机三轴位置，速度，姿态，攻角，侧滑角，航迹倾角，航迹偏角和过载作为状态观测量；
24.目标函数：以期望的无人机机动动作或期望达到的飞行状态为最终目标，达到期望条件则得到相应的奖励；
25.训练截止条件：当无人机达到期望的终端状态即完成相应的机动动作或者达到最大训练时长，则训练终止；
26.无人机控制指令：无人机的舵偏指令以及油门台位置控制指令，神经网络控制指令输出范围取决于无人机本体特性。
27.优选的是，步骤s3中，采用多个采样进程进行样本数据采样。
28.本技术另一方面提供了一种电子设备，所述电子设备包括存储器、处理器以及存储在存储器中并能够在处理器上运行的计算机程序，处理器执行计算机程序时实现如上的基于分布式强化学习的无人机连续机动控制方法。
29.本技术另一方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时能够实现如上的基于分布式强化学习的无人机连续机动控制方法。
30.本技术能够生成连续的机动控制指令，不存在控制器切换而产生的指令跳变等问题，具备分布式采样功能，增加了样本的多样性，有效缩短强化学习整个训练过程的时间。
附图说明
31.图1是本技术基于分布式强化学习的无人机连续机动控制方法的无人机本体模型组成示意图。
32.图2是本技术环境与强化学习训练交互示意图。
33.图3是本技术整体训练架构示意图。
34.图4是本技术的电子设备的优选实施例示意图。
具体实施方式
35.为使本技术实施的目的、技术方案和优点更加清楚，下面将结合本技术实施方式中的附图，对本技术实施方式中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施方式是本技术一部分实施方式，而不是全部的实施方式。下面通过参考附图描述的实施方式是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。基于本技术中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本技术保护的范围。下面结合附图对本技术的实施方式进行详细说明。
36.本技术第一方面提供了一种基于分布式强化学习的无人机连续机动控制方法，主要包括：
37.步骤s1、基于无人机动力学参数构建仿真训练环境；
38.步骤s2、将所述仿真训练环境与强化学习训练系统进行交互，其中，所述强化学习训练系统用于对无人机连续机动控制策略神经网络进行迭代更新，包括接收数据经验池的信息，并通过训练算法生成控制策略，依照所述控制策略控制无人机动作，所述数据经验池存储了所述仿真训练环境产生的环境信息及无人机状态信息；
39.步骤s3、对所述无人机连续机动控制策略神经网络进行不同随机参数的样本数据采样，获得新的采样样本数据，并加入到所述数据经验池。
40.本发明提供了一种基于分布式强化学习的无人机连续机动控制方法，依据无人机真实动力学模型构建强化学习训练环境，状态观测量，目标函数，训练截止条件，无人机控制指令。以无人机三轴位置，速度，姿态，攻角，侧滑角，航迹倾角，航迹偏角和过载等作为状态观测量；依据期望的无人机机动动作构建目标函数，当无人机准确完成期望机动动作或达到期望的飞行状态时，智能体获得终端奖励。在分布式强化学习训练过程中，构建多个并行采样进程，根据采样进程设置不同的随机参数，对于深度确定性策略梯度算法而言，就是选取不同的ou过程噪声进行探索，保证样本的多样性，同时也可以加速神经网络训练。在训练完成后，直接将actor神经网络输出作为无人机机动控制指令。如果无人机准确完成期望机动动作并满足终端状态要求或者训练时间达到预设上限，则满足截止条件本轮训练终止。
41.本发明将深度强化学习方法应用于无人机连续机动控制，通过离线仿真训练，达到机动动作需求后移植到真实环境中，能够实现无人机的连续机动控制。
42.在步骤s1中，首先依据无人机动力学参数构建仿真训练环境，仿真训练环境尽可能与真实系统一致，无人机本体仿真模型组成如图1所示，主要包括：
43.根据舵面偏角及前一时刻的无人机仿真数据进行气动力及气动力矩的计算；
44.基于油门位置进行发动机推力解算；
45.依据气动力、气动力矩及发动机推力进行动力学方程解算及运动学方程解算，获得无人机位置、速度及姿态；
46.基于运动学方程解算结果与大气数据模型交互，获得当前时刻的无人机仿真数据。
47.在步骤s2中，建立的无人机机动控制仿真训练环境与强化学习训练交互如图2，并且，基于分布式强化学习的无人机连续机动控制方法整体训练架构如图3所示，分别创建训
练主进程，采样子进程，训练测试系统以及数据经验池。参考图3，各进程描述如下。
48.训练主进程：利用采样子进程中传递的智能体与神经网络交互得到的采样样本，对无人机连续机动控制策略神经网络进行迭代更新，直至收敛，其中训练神经网络的算法采用深度确定性策略梯度算法；
49.采样子进程：接收训练主进程提供的最新神经网络模型，然后根据不同子进程各自不同的随机参数进行探索，不断与环境交互，得到新的采样样本；
50.训练测试系统：接收训练主进程提供的最新神经网络模型，针对于当前的机动动作需求，测试智能体是否能够完成既定目标，用于判断训练是否结束，并同时输出训练终止信号；
51.数据经验池：作为采样子进程与训练主进程之间的样本存储系统，存储采样子进程采集的大量训练样本，以满足训练主进程对训练样本的使用需求。
52.根据当前机动动作需求，构建深度强化学习主要组成要素：
53.构建状态观测量：以无人机三轴位置，速度，姿态，攻角，侧滑角，航迹倾角，航迹偏角和过载等作为状态观测量；
54.目标函数：以期望的无人机机动动作或期望达到的飞行状态为最终目标，达到期望条件则得到相应的奖励；
55.训练截止条件：当无人机达到期望的终端状态即完成相应的机动动作或者达到最大训练时长，则训练终止；
56.无人机控制指令：无人机的舵偏指令以及油门台位置控制指令，神经网络控制指令输出范围取决于无人机本体特性。
57.本发明提出基于分布式深度确定性策略梯度方法，其神经网络结构包括critic网络、actor网络和相应的critic
‑
target网络、actor
‑
target网络，使用深度确定性策略梯度算法对critic网络和actor网络进行训练。
58.初始化actor网络、actor
‑
target网络的神经网络参数θ
q
，初始化critic网络、critic
‑
target网络的神经网络参数θ
μ
；
59.首先根据actor网络选择无人机控制指令，并与环境交互，ou
t
表示噪声生成的随机过程，控制指令a
t
＝μ(s
t
|θ
μ
) ou
t
；共进行m轮采样，将采样样本(s
t
,a
t
,r
t
,s
t 1
)存入数据经验池；
60.开始进行训练，从数据经验池中随机抽取批数据进行训练，共进行p次神经网络训练更新；
61.计算神经网络的loss，并更新更新critic网络；
[0062][0063]
y
i
＝r
i
γq'(s
i 1
,μ'(s
i 1
,|θ
μ'
)|θ
q'
)
[0064]
然后计算actor网络的策略梯度，并更新actor网络；
[0065][0066]
采用软更新方式更新actor
‑
target网络和critic
‑
target网络；
[0067][0068]
第一轮训练结束，此时数据经验池中已存在大量数据，所以之后的训练过程中每采集一批样本即可开展神经网络训练，直至满足截至条件后，训练完毕保存神经网络。
[0069]
本技术还提供了一种电子设备，包括存储器、处理器以及存储在存储器中并能够在处理器上运行的计算机程序，处理器执行计算机程序时实现如上的基于分布式强化学习的无人机连续机动控制方法。
[0070]
本技术还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时能够实现如上的基于分布式强化学习的无人机连续机动控制方法。
[0071]
图4是能够实现根据本技术一个实施例提供的电子设备示例性结构图。如图4所示，电子设备包括输入设备501、输入接口502、中央处理器503、存储器504、输出接口505以及输出设备506。其中，输入接口502、中央处理器503、存储器504以及输出接口505通过总线507相互连接，输入设备501和输出设备506分别通过输入接口502和输出接口505与总线507连接，进而与电子设备的其他组件连接。具体地，输入设备504接收来自外部的输入信息，并通过输入接口502将输入信息传送到中央处理器503；中央处理器503基于存储器504中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器504中，然后通过输出接口505将输出信息传送到输出设备506；输出设备506将输出信息输出到电子设备的外部供用户使用。
[0072]
也就是说，图4所示的电子设备也可以被实现为包括：存储有计算机可执行指令的存储器；以及一个或多个处理器，该一个或多个处理器在执行计算机可执行指令时可以实现结合图1描述的无人机自主寻径模型训练方法。
[0073]
在一个实施例中，图4所示的电子设备可以被实现为包括：存储器504，被配置为存储可执行程序代码；一个或多个处理器503，被配置为运行存储器504中存储的可执行程序代码，以执行上述实施例中的基于分布式强化学习的无人机连续机动控制方法。
[0074]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0075]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0076]
计算机可读介质包括永久性和非永久性、可移动和非可移动，媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd
‑
rom)、数据多功能光盘(dvd)或其他光学存储、磁盒式磁带、磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
[0077]
本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的
形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0078]
此外，显然“包括”一词不排除其他单元或步骤。装置权利要求中陈述的多个单元、模块或装置也可以由一个单元或总装置通过软件或硬件来实现。第一、第二等词语用来标识名称，而不标识任何特定的顺序。
[0079]
附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，模块、程序段、或代码的一部分包括一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地标识的方框实际上可以基本并行地执行，他们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或总流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0080]
在本实施例中所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0081]
存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现装置/终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0082]
在本实施例中，装置/终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。
[0083]
需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实
践的要求进行适当的增减。本技术虽然以较佳实施例公开如上，但其实并不是用来限定本技术，任何本领域技术人员在不脱离本技术的精神和范围内，都可以做出可能的变动和修改，因此，本技术的保护范围应当以本技术权利要求所界定的范围为准。
[0084]
虽然，上文中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。