一种基于强化学习的无人机与云台干扰源联合搜索方法与流程

1.本发明涉及无线电监测技术领域，具体而言涉及一种基于强化学习的无人机与云台干扰源联合搜索方法。


背景技术：

2.。此外，随着现代战争的发展，突破敌方恶意干扰、夺得制电磁权俨然成为决定战况的最关键因素之一。因此，对干扰源搜索定位的需求日益迫切。然而传统的地面搜索面临多径效应和阴影衰落和复杂地面环境的影响。而基于无人机的空中搜索可有效减少多径效应和复杂地面环境的影响。然而针对诸如十分常见且危害极大的非法电台等短波乃至甚高频频段的干扰源，其相应较大尺寸的阵列测向天线难以安装到无人机上，而使用无人机搭载可旋转方向性天线进行搜索的方法可以解决此问题。然而现有的无人机搭载方向性天线进行干扰源搜索的方法是将方向性天线固定在无人机上，通过无人机悬停时机身旋转进行无线电信号的测量，此方法没有考虑无人机与干扰源之间垂直角度变化的影响，因此误差较大。
3.近年兴起的强化学习技术提供了一种通用方法来解决复杂的不确定性决策问题。q学习算法是一种无模型的强化学习算法，被广泛地应用于无线点信号搜索定位中。然而引入云台后，面临无人机和云台两个智能体同时决策、并且互相耦合的问题，因此需要对互相耦合的智能体决策过程进行建模求解。。


技术实现要素：

4.本发明针对现有技术中的不足，提供一种基于强化学习的无人机与云台干扰源联合搜索方法，通过无人机进行空中搜索大大减小多径效应、阴影衰落和复杂地面环境的影响；通过云台控制方向性天线进行扫描测量信号避免了复杂阵列天线的使用；通过互相耦合的q学习的算法实现无人机云台协同规划，实现对干扰源的快速准确搜索。
5.为实现上述目的，本发明采用以下技术方案：
6.一种基于强化学习的无人机与云台干扰源联合搜索方法，所述联合搜索方法控制装有云台的无人机处于固定的高度，并控制云台控制旋转和扫描以使方向性天线对无线电信号进行接收，再利用强化学习的算法对方向性天线接收的无线电信号进行处理，计算无人机的飞行方向，对干扰源进行搜索定位；
7.所述联合搜索方法包括以下步骤：
8.s1，将搜索任务的时间平均划分为多个长度相同的时隙，将每个时隙t划分为两个阶段：云台阶段和无人机阶段；
9.s2，在时隙t的云台阶段，通过云台控制方向性天线，根据ε贪心策略执行动作，选择n 个等间距量化的垂直角度集合中的某个垂直角度并水平旋转一圈，测得m个等间隔的水平角度上的接收信号强度值，存入接收信号强度向量中；
10.s3，在t时隙的无人机阶段中，根据接收信号强度向量计算得到当前时隙无人机的
状态、下一时隙云台的状态、上一时隙无人机的立即回报以及当前时隙云台的立即回报，并分别计算上一时隙无人机和当前时隙云台的状态-动作值函数，作为q值；其中，当前时隙无人机的状态为由接收信号强度向量估算出的干扰源方向；下一时隙云台的状态为估算出的方向上的接收信号强度值的量化；上一时隙无人机的立即回报为m个水平角度上接收信号强度的最大值；当前时隙云台的立即回报为m个水平角度上接收信号强度的和；
11.s4，无人机根据ε贪心策略执行动作，决策出其中一个水平角度作为飞行方向θ
t
，向该飞行方向飞行一个固定的步长到达新的位置；同时决策出下一时隙云台的垂直角度；
12.s5，在下一时隙重复上述步骤s2至步骤s4，直至无人机飞行到干扰源上方。
13.进一步地，步骤s2中，通过云台控制方向性天线，选择n个等间距量化的垂直角度集合中的某个垂直角度并水平旋转一圈，测得m个等间隔的水平角度上的接收信号强度值，存入接收信号强度向量中的过程包括以下步骤：
14.s21，以无人机初始位置对应地面的点为原点，构建直角坐标系；
15.s22，设天线允许在水平方向θ∈[0,2π]、垂直方向构成的半球形上旋转；将水平角度等间距量化为m个角度{θ1,θ2,...,θm}，将垂直角度等间距量化为n个角度 {φ1,φ2,...,φn}；
[0016]
s23，选择旋转到n个等间距量化的垂直角度集合{φ1,φ2,...,φn}中的某个垂直角度，并水平旋转一圈，测得m个等间隔的水平角度{θ1,θ2,...,θm}上的接收信号强度值。
[0017]
进一步地，步骤s23中，通过云台转向测得t时刻的接收信号强度向量，即rss向量vr
t
，其满足下述计算公式：
[0018]
vr
t
＝mr
t
(k
t
,:)
[0019]
其中k
t
为t时刻云台旋转到的垂直角度的索引，mr
t
为方向性天线在所有角度上可以采集到的接收信号强度值组成的接收信号强度矩阵，即rss矩阵，其满足下述计算公式：
[0020][0021]
其中，p
ij
＝pr(θ
t-θj,φ
t-φi)；i＝1,2,...,n；j＝1,2,...,m；(θ
t
,φ
t
)为t时刻干扰源相对于无人机的角度；
[0022][0023]
式中，p
t
为干扰源发射功率，n为噪声的幅度，其为服从均值为0方差为σ2的高斯分布的随机变量；l为自由空间路径损耗；gr(θ
t-θj,φ
t-φi)为接收天线增益值：
[0024][0025]
式中，f(θ
t-θj,φ
t-φi)为天线方向性函数值，η为天线效率。
[0026]
进一步地，步骤s3中，计算得到当前时隙无人机的状态的过程包括以下步骤：
[0027]
根据已知的天线方向图函数计算m个水平角度{θ1,θ2,...,θm}分别对应的基准向量；将与接收信号强度向量的差的2范数值最小的基准向量对应的方向作为估算出的干扰源方向。
[0028]
进一步地，步骤s4中，无人机根据ε贪心策略执行动作，决策出其中一个水平角度作为飞行方向θ
t
，向该飞行方向飞行一个固定的步长到达新的位置，同时决策出下一时隙云台的垂直角度的过程包括以下步骤：
[0029]
s41，将无人机的飞行方向的决策建模为一个马尔可夫决策过程，即无人机mdp：
[0030]
设t时刻使得最小的已知，即t时刻的rss向量为
[0031]
t时隙无人机的状态s
u,t
满足下述计算公式：
[0032][0033][0034]
其中vij＝[f(θ1,0),f(θ2,0),
…
,f(θm,0)]j，j＝1,2,
…
,m为m个基准向量，[
·
]j运算表示对向量进行j位的圆周移位；t时隙无人机的动作a
u,t
定义为选择一个水平的角度θ
t
∈{θ1,θ2,...,θm}，并飞行一个固定的步长；回报函数为无人机mdp 的目标函数满足下述计算公式：其中策略πu为无人机状态空间到动作空间的映射，γ1为折扣因子；
[0035]
s42，将云台垂直方向旋转的决策建模为一个马尔可夫决策过程，即云台mdp：
[0036]
t时隙云台的动作a
p，t
定义为选择一个垂直的角度并测得rss向量vr
t
， t时隙云台的状态s
p,t
定义满足下述计算公式：
[0037][0038]
其中，表示t-1时刻的rss向量vr
t-1
中以为索引的rss值；[
·
]运算表示取最接近的整数；t时隙云台的动作a
p,t
定义为选择一个垂直的角度并测得rss向量vr
t
；云台的回报函数满足下述计算公式：云台mdp的目标函数满足下述计算公式：其中策略π
p
为云台的状态空间到动作空间的映射，γ2为折扣因子；
[0039]
s43，修正无人机mdp，使云台mdp和无人机mdp构成一组互相耦合的马尔可夫决策过程：
[0040]
将t时隙无人机的状态s
u,t
的计算公式改写为满足下述计算公式：
[0041]
[0042][0043]
无人机mdp回报函数改写为r
u,t
＝max vr
t 1
(:)。
[0044]
进一步地，步骤s3中，无人机根据ε贪心策略执行动作的过程包括以下步骤：
[0045]
在任一时隙，无人机以概率ε根据q表选取当前无人机状态下，q值最大的动作作为本时隙无人机飞行的方向；在任一时隙，无人机以概率1-ε选择接收信号强度最值对应的角度为本时隙无人机飞行的方向。
[0046]
本发明的有益效果是：
[0047]
本发明提供了一种基于强化学习的无人机与云台干扰源联合搜索方法，包括装有云台的无人机在固定的高度上飞行，固定在云台上并由其控制扫描的方向天线进行无线电信号的接收；通过所述互相耦合的q学习算法同时进行云台垂直旋转角度和无人机水平飞行角度的决策，从而实现无人机与云台联合搜索干扰源。通过该方法，实现无人机与云台对干扰源的协同定位，解决现有的无人机配置固定方向性天线进行搜索面临的精度不足、搜索效率较低的问题，同时可以实现更远距离、更低初始信噪比的干扰源搜索，更具实用价值。
附图说明
[0048]
图1是本发明实施例的基于强化学习的无人机与云台干扰源联合搜索方法流程图。
[0049]
图2是本发明实施例的以无人机初始位置为原点建立的三维直角坐标系示意图。
[0050]
图3是本发明实施例的水平方向和垂直方向上等间距量化的角度示意图。
[0051]
图4是本发明实施例的任务的时隙和阶段的划分示意图。
具体实施方式
[0052]
现在结合附图对本发明作进一步详细的说明。
[0053]
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
[0054]
实施例1：
[0055]
图1是本发明实施例的基于强化学习的无人机与云台干扰源联合搜索方法流程图。参见图1，该联合搜索方法控制装有云台的无人机处于固定的高度，并控制云台控制旋转和扫描以使方向性天线对无线电信号进行接收，再利用强化学习的算法对方向性天线接收的无线电信号进行处理，计算无人机的飞行方向，对干扰源进行搜索定位。
[0056]
该联合搜索方法包括以下步骤：
[0057]
s1，将搜索任务的时间平均划分为多个长度相同的时隙，将每个时隙t划分为两个阶段：云台阶段和无人机阶段。
[0058]
s2，在时隙t的云台阶段，通过云台控制方向性天线，根据ε贪心策略执行动作，选择n 个等间距量化的垂直角度集合中的某个垂直角度并水平旋转一圈，测得m个等间隔的水平角度上的接收信号强度值，存入接收信号强度向量中。
[0059]
s3，在t时隙的无人机阶段中，根据接收信号强度向量计算得到当前时隙无人机的状态、下一时隙云台的状态、上一时隙无人机的立即回报以及当前时隙云台的立即回报，并分别计算上一时隙无人机和当前时隙云台的状态-动作值函数，作为q值；其中，当前时隙无人机的状态为由接收信号强度向量估算出的干扰源方向；下一时隙云台的状态为估算出的方向上的接收信号强度值的量化；上一时隙无人机的立即回报为m个水平角度上接收信号强度的最大值；当前时隙云台的立即回报为m个水平角度上接收信号强度的和。
[0060]
s4，无人机根据ε贪心策略执行动作，决策出其中一个水平角度作为飞行方向θ
t
，向该飞行方向飞行一个固定的步长到达新的位置；同时决策出下一时隙云台的垂直角度。
[0061]
s5，在下一时隙重复上述步骤s2至步骤s4，直至无人机飞行到干扰源上方。
[0062]
具体地，本发明将通过以下实施例来进行阐述，实施例的系统背景建模如下：建立如图 2所示的坐标系，其中无人机初始位置对应地面的点为原点。无人机搭载有固定在云台上的方向性天线云台可以将天线在水平方向θ∈[0,2π]、垂直方向构成的半球形上旋转。将水平角度等间距量化为m个角度{θ1,θ2,...,θm}，将垂直角度等间距量化为n个角度{φ1,φ2,...,φn}。如图3所示。
[0063]
瞬时接收信号强度为其中，p
t
为干扰源发射功率，n为噪声的幅度，其为服从均值为0方差为σ2的高斯分布的随机变量。l为自由空间路径损耗。 gr(θ,φ)为接收天线增益，其计算方式为：
[0064][0065]
其中，f(θ,φ)为天线方向性函数，η为天线效率。
[0066]
将搜索任务的时间平均划分为多个长度相同的时隙，每个时隙分为两个阶段。即第t个时隙可以分为云台阶段和无人机阶段，如图4所示。在t时隙的云台阶段中，云台进行扫描和信号测量。具体地，通过云台转向测得t时刻的接收信号强度矩阵，即rss矩阵，其满足下述计算公式：
[0067][0068]
其中p
ij
＝pr(θ
t-θj,φ
t-φi)；i＝1,2,...,n；j＝1,2,...,m；(θ
t
,φ
t
)为t时刻干扰源相对于无人机的角度。在t时隙的无人机阶段中，无人机根据云台阶段中测量的rss矩阵mr
t
决策出飞行方向θ
t
(θ
t
∈{θ1,θ2,...,θm})，并向该方向飞行一个步长的距离到达新的位置，进入t 1 时隙。t时隙无人机的坐标为(x
t
,y
t
,z
t
)，由于无人机在固定的高度z飞行，则对于无人机路径规划的问题可以只考虑x、y两个坐标，则t 1时隙无人机新的位置的x、y坐标满足下述计算公式：
[0069]
x
t 1
＝x
t
wsinθ
t
，y
t 1
＝y
t
wcosθ
t
。
[0070]
其中w为飞行步长。经过多个时隙的重复上述过程直到无人机到达干扰源上空。
[0071]
由于每个时隙测量得到rss矩阵所需要的时间较长。这里对上述问题进行简化，云台每个时隙只测量rss矩阵某一行的值，即t时刻云台旋转到垂直角度处(对应{φ1,φ2,...,φn} 中下标为k
t
的角度)，水平方向上旋转到等角度处测量得到接收信号强度向量，即rss向量，其满足下述计算公式：
[0072][0073]
假设t时刻使得最小的已知，即此时t时刻的rss 向量为了获得最短航迹，我们建立无人机的飞行方向的决策建模为一个马尔可夫决策过程，即无人机mdp。t时隙无人机的状态s
u,t
满足下述计算公式：
[0074][0075][0076]
其中vij＝[f(θ1,0),f(θ2,0),
…
,f(θm,0)]j，j＝1,2,
…
,m为m个基准向量([
·
]j运算表示对向量进行j位的圆周移位)。t时隙无人机的动作a
u,t
定义为选择一个水平的角度θ
t
∈{θ1,θ2,...,θm}，并飞行一个固定的步长。回报函数为则无人机mdp 的目标函数满足下述计算公式：
[0077][0078]
其中策略πu为无人机状态空间到动作空间的映射，γ1为折扣因子。
[0079]
实际上由于t时刻未知，因此我们将云台垂直方向旋转的决策也建模为一个马尔可夫决策过程，即云台mdp。t时隙云台的动作a
p,t
定义为选择一个垂直的角度并测得rss向量vr
t
。则t时隙云台的状态s
p,t
定义满足下述计算公式：
[0080][0081]
其中，表示t-1时刻的rss向量vr
t-1
中以为索引的rss值；[
·
]运算表示取最接近的整数(即对该rss值进行量化)。t时隙云台的动作a
p,t
定义为选择一个垂直的角度并测得rss向量vr
t
。云台的回报函数满足下述计算公式：
[0082][0083]
则云台mdp的目标函数满足下述计算公式：
[0084][0085]
其中策略π
p
为云台的状态空间到动作空间的映射，γ2为折扣因子。
[0086]
则此时t时隙无人机的状态s
u,t
的计算公式改写为满足下述计算公式：
[0087][0088][0089]
无人机mdp回报函数改写为为r
u,t
＝max vr
t 1
(:)。
[0090]
因此云台mdp和无人机mdp构成了一组互相耦合的马尔可夫决策过程。
[0091]
实施例2：
[0092]
结合图1，本发明提供了一种基于强化学习的无人机与云台联合搜索干扰源的算法，该算法使用互相耦合的q学习求解，包括下述步骤：
[0093]
步骤1：云台控制方向性天线，根据ε贪心策略执行动作，即旋转到n个等间距量化的垂直角度集合{φ1,φ2,...,φn}中的某个垂直角度，并水平旋转一圈，测得m个等间隔的水平角度{θ1,θ2,...,θm}上的接收信号强度值，存入接收信号强度向量中。
[0094]
步骤2：根据接收信号强度向量计算得到当前时隙无人机的状态、下一时隙云台的状态、上一时隙无人机的立即回报以及当前时隙云台的立即回报，并分别计算上一时隙无人机和当前时隙云台的状态-动作值函数，即q值。
[0095]
步骤3：无人机根据ε贪心策略执行动作，即选择向某个水平角度飞行一个固定的步长到达新的位置。
[0096]
步骤4：在下一时隙重复上述步骤1-步骤3直至无人机飞行到干扰源上方。
[0097]
首先执行步骤1。
[0098]
在任一时隙，云台以概率ε根据q表选取当前云台状态下，q值最大的动作作为本时隙动作。
[0099]
在任一时隙，云台以概率1-ε选随机选取动作。
[0100]
即t时隙，云台的动作a
p,t
的计算满足下述计算公式：
[0101][0102]
至此，云台完成动作执行，得到该时隙的接收信号强度向量vr
t
后，执行步骤2。当前时隙无人机的状态定义为由接收信号强度向量估算出的干扰源方向，包含：
[0103]
根据已知的天线方向图函数计算m个水平角度{θ1,θ2,...,θm}分别对应的基准向量。
[0104]
进一步，与接收信号强度向量的差的2范数值最小的基准向量对应的方向即为估算出的干扰源方向。
[0105]
即当前时隙无人机的状态s
u,t
的计算满足下述计算公式：
[0106][0107][0108]
其中vij＝[f(θ1,0),f(θ2,0),
…
,f(θm,0)]j，j＝1,2,
…
,m为m个基准向量([
·
]j运算表示对向量进行j位的圆周移位)。
[0109]
下一时隙云台的状态定义为方向上的接收信号强度值的量化。具体地，下一时隙云台的状态s
p,t 1
的计算满足下述计算公式：
[0110][0111]
上一时隙无人机的立即回报定义为m个水平角度上接收信号强度的最大值，当前时隙云台的立即回报定义为m个水平角度上接收信号强度的和。即上一时隙无人机的立即回报和当前时隙云台的立即回报分别满足下述计算公式：
[0112]ru,t-1
＝max vr
t
(:)
[0113][0114]
上一时隙无人机的状态-动作值函数更新满足下述计算公式：
[0115]qu
(s
u,t-1
,a
u,t-1
)
←qu
(s
u,t-1
,a
u,t-1
) α1[r
u,t-1
γ1max(qu(s
u,t
,:))-qu(s
u,t-1
,a
u,t-1
)]
[0116]
其中α1为学习率，γ1为折扣因子。
[0117]
当前时隙无人机的状态-动作值函数更新满足下述计算公式：
[0118]qp
(s
p,t
,a
p,t
)
←qp
(s
p,t
,a
p,t
) α2[r
p,t
γ2max(q
p
(s
p,t 1
,:))-q
p
(s
p,t
,a
p,t
)]
[0119]
其中α2为学习率，γ2为折扣因子。
[0120]
至此，得到当前时隙无人机的状态、下一时隙云台的状态、上一时隙无人机的立即回报以及当前时隙云台的立即回报，并分别计算完上一时隙无人机和当前时隙云台的状态-动作值函数之后，执行步骤3。
[0121]
在任一时隙，无人机以概率ε根据q表选取当前无人机状态下，q值最大的动作作为本时隙无人机飞行的方向。
[0122]
在任一时隙，无人机以概率1-ε选择接收信号强度最值对应的角度为本时隙无人机飞行的方向。
[0123]
即t时隙，无人机的动作a
u,t
的计算满足下述计算公式：
[0124][0125]
至此，无人机执行动作a
u,t
后到达新的位置。
[0126]
本实施例中，无人机及云台不断重复上述流程，以实现对干扰源的快速准确搜索。
[0127]
本发明所提出的种基于强化学习的无人机与云台联合搜索干扰源的技术与算法，与现有技术与算法相比，本发明实现无人机与云台对干扰源的协同定位，解决现有的无人机配置固定方向性天线进行搜索面临的精度不足、搜索效率较低的问题，同时可以实现更远距离、更低初始信噪比的干扰源搜索。
[0128]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。