用于无人机博弈的可解释强化学习方法

本发明涉及无人机博弈对抗，尤其涉及一种用于无人机博弈的可解释强化学习方法。

背景技术：

1、无人机博弈对抗规划目前已广泛应用于各类空中侦察、目标监视等领域的设计与测试环节。而深度强化学习作为机器学习一大分支，其深度神经网络强大表达能力带来的在复杂环境中强大的自主决策能力使其成为目前无人机博弈规划领域的主流方法之一。与此同时，深度神经网络复杂的主干结构以及庞大的参数量也使得模型输出的决策缺乏可解释性，这种可解释性的缺失直接导致了相关用户对模型决策信任的缺失，也直接导致了模型仅能应用于模拟仿真而无法在现实应用中推广。

2、针对以往的深度强化学习模型决策输出可解释性差的缺点，研究人员开展了大量的与可解释强化学习模型相关的研究。目前主要思路有两种，一种致力于提升模型的内在解释性，如使用差分决策树的方法对深度强化学习模型的决策机制进行近似建模。决策树模型与深度神经网络相比拥有更直观的结构以及与人更为类似的决策机制，因此拥有更强的可解释性，但同时更简单直观的结构也带来了表达能力不足的缺点，在无人机博弈等复杂任务环境中，用简单的决策树对所有状态情况下的决策进行建模并不现实，强行构建的决策树还将面临决策近似带来的决策误差，这对操作精细度要求极高的无人机博弈环境是不可接受的。还有的研究采用决策路径图的方式同样对深度强化学习模型的决策机制进行近似，因此面临与使用差分决策树的方法同样的问题。另一种思路致力于生成模型的事后解释。比如在无人驾驶的任务环境下使用了通过扰动输入进行解释的显著图算法，显著图算法可以直观分析图像状态中不同状态特征对决策输出的影响程度，然而在无人机博弈规划的任务背景中，状态往往是非图像信息，在对状态设置掩码进行扰动时，掩码的设置无法做到像图像状态那样简单置零，状态掩码的选取成为研究的难点。还有的研究采用了lime(local interpretable model-agnostic explanations)的方法，其本质仍然是对状态进行扰动，除了面临与通过扰动输入进行解释的显著图算法类似的问题之外，这类方法仅仅输出模型决策的状态依据，没有现成的量化指标对输出的解释信息的保真度进行衡量。

技术实现思路

1、本发明提供了一种用于无人机博弈的可解释强化学习方法，以解决深度强化学习模型可解性较差，无法大面积推广到无人机模拟对抗领域的问题。该方法结合状态特征重要性计算、解释保真度量化实现模型的可解释性，其一方面可以根据无人机历史数据计算状态特征重要性，另一方面也可以对解释的结果的保真度进行量化，从而客观评价解释结果的好坏。

2、本发明采用的技术方案为：用于无人机博弈的可解释强化学习方法，该方法包括下列步骤：

3、步骤1，基于配置的若干个奖励指标，分别为每个奖励指标设置一个对应的子奖励函数，基于所有子奖励函数的加权和得到博弈对抗奖励函数；

4、构建价值网络深度强化学习模型，其包括一个博弈决策网络和一个任务价值网络构成的任务价值网络群；其中，博弈决策网络的输入为当前决策步的无人机状态，输出为当前决策步的无人机动作；任务价值网络的输入为当前决策步的无人机状态与无人机动作，输出为当前决策步的价值；

5、其中，无人机状态包括若干个用于表征红方无人机和蓝方无人机的状态特征，如红方无人机的位置坐标，蓝方无人机的位置坐标，红方无人机高度、红方无人机速度、红方无人机朝向与红蓝双方无人机质心连线偏差角、蓝方无人机朝向与红蓝双方战机质心连线偏差角、红方无人机角度系数、蓝方无人机角度系数等；

6、步骤2，构建经验回放池，并基于经验回放池的博弈经验对价值网络深度强化学习模型的网络参数进行训练更新，直到网络收敛；

7、其中，每一条博弈经验表征一个决策步带来的状态改变，包括决策步的无人机原状态、无人机动作、各子奖励及下一决策步的无人机状态(新状态)；

8、步骤3，使用步骤2训练好的价值网络深度强化学习模型与环境交互，获取多条博弈对局轨迹，并计算每一条博弈对局轨迹中的每个决策步的无人机状态的每一个状态特征的均值；

9、基于设置的状态特征重要性值度量规则，计算每个状态特征对价值网络深度强化学习模型决策的重要性值fi，其中，下标i为无人机状态的状态特征索引；

10、步骤4，基于最大重要性值fi所对应的状态特征得到单一决策步的关键状态特征，即对决策影响最大的状态特征；

11、步骤5，基于单一决策步的关键状态特征的保真度形成价值网络深度强化学习模型的解释信息并输出；其中，保真度用于表征关键状态特征对决策的影响能力。

12、进一步的，步骤4中还包括：

13、基于设置的观测决策步区间，累计观测决策步区间内的各状态特征的重要性值fi，得到该观测决策步区间的状态特征重要性值其中，n表征观测决策步区间的起点；

14、基于所有中的最大值所对应的状态特征得到决策区间的关键状态特征；

15、步骤5中，在解释信息中增加关于决策区间的关键状态特征的保真度。

16、进一步的，步骤3中，状态特征重要性值度量规则具体为：

17、fi＝∑s∈n(|φ|-1)！(n-|φ|)！[q(φ,a)-q(φ\{i},a)]

18、其中，s表示状态空间，n为状态特征集，φ为包含状态特征i且属于n的任意非空子集并上博弈对局轨迹的所有无人机状态的平均状态向量smean中对应缺少的状态特征形成的集合，φ\{i}为不包含状态特征i且属于n的任意非空子集并上smean中对应缺少的状态特征形成的集合，n表示状态特征总数，a表示动作。

19、进一步的，单一决策步的关键状态特征的保真度设置为：

20、

21、其中，φ(i)表示单一决策步的关键状态特征i的保真度，v()表示强化学习的状态价值函数，s(i)表示关键状态特征i的状态值。

22、进一步的，决策区间的关键状态特征的保真度设置为：

23、

24、其中，t表示决策步编号，t表示决策区间所包括的决策步数，即[n,n+t]为对应的决策区间，v(t)(s(i))表示关键状态特征i的状态值s(i)在决策步t时的状态价值函数值。

25、进一步的，奖励指标包括：角度、高度、距离、能量、事件。

26、进一步的，无人机动作包括：无人机的副翼输出、升降舵输出、方向舵输出、油门输出。

27、进一步的，价值网络深度强化学习模型的博弈决策网络与任务价值网络分别设置为：

28、博弈决策网络包括多对一的循环神经网络、全连接层和激活映射层，将当前决策步的无人机状态及前k-1个时刻的无人机状态输入到多对一的循环神经网络中，k表示多对一循环神经网络的长度；多对一循环神经网络汇聚输入的无人机状态，并将汇聚结果输入到尺寸为ns×na的全连接层中，全连接层基于设置的激活函数将其输入映射到(-1，1)的范围内，再通过乘上缩放系数的方式将最终输出映射到动作空间的值域上，输出当前决策步的无人机动作；其中，ns、na分别表示无人机状态与无人机动作的向量维度；

29、任务价值网络包括拼接层和全连接层，其中拼接层用于将输入的无人机状态与无人机动作拼接成状态-动作对，再将成状态-动作对输入到尺寸为(ns+na)×1的全连接层，输出当前决策步的价值。

30、进一步的，步骤2中，网络收敛具体为：博弈策略网络的损失lω和任务价值网络的损失lθ收敛；

31、其中，lθ＝δtqθ(s,a)；lω＝qθ(s,a)logπω(s|a)；

32、其中，θ、ω分别表示任务价值网络、博弈策略网络的网络参数，δt为第t决策步的td-target，且δt＝rt+γqθ(st+1,at+1)-qθ(st,at)，γ为超参数折扣因子，rt为第t决策步的博弈对抗奖励函数，s表示无人机状态，a表示无人机状态；πω(s|a)表示博弈策略网络基于当前决策步的无人机状态s所输出的当前决策步需要做出的动作a；qθ(s,a)表示任务价值网络的输出。

33、本发明提供的技术方案至少带来如下有益效果：

34、针对以往基于状态显著性解释模型的方法存在的对非图像状态环境适配性较差的问题，本发明方法利用状态均值作为状态特征掩码，通过状态特征掩码与真实状态特征相互组合形成新状态，利用新状态与真实状态的任务价值输出差值衡量特征对决策的贡献度；

35、针对以往可解释深度强化学习方法停留在单一决策步的局限性，本发明方法将单一决策步的状态重要性分析推广到一段时间内的状态特征重要性分析，输出一段时间内对决策影响最大的状态，以宏观角度解释模型决策的状态依据。

36、针对以往可解释深度强化学习方法缺乏对解释性能量化指标的问题，本发明方法的决策解释具有固定的量化标准来衡量其解释的保真度，通过规定状态价值函数，改变重要特征值对输入进行扰动，将扰动输出的上下限之差定义为解释的保真度，以此比较验证解释的合理性。