基于感知-锁定-发现的多无人机博弈协同搜索方法与流程

1.本发明涉及无人机协同搜索的技术领域，尤其涉及基于感知-锁定-发现的多无人机博弈协同搜索方法。


背景技术：

2.无人驾驶飞行器(uav)的快速发展促进了它们被结合到许多领域。无人机由于具有成本低、机动性强、避免人员伤亡等优势，被用来执行危险环境中的复杂任务。但由于单无人机执行任务的效率低、鲁棒性差，使用多无人机协同执行任务在军事和民用方面受到越来越多的关注，协同搜索是配备有侦察载荷(如摄像机、雷达和声纳)多无人机的一个主要应用方面。
3.许多搜索和监视任务涉及测量和探索未知区域，例如目标搜索，环境监测和地图构建等，它们通过多无人机之间的信息交互，采用协同决策的方式，可以获得更高的效率并显著降低风险成本。协同搜索涉及分布式算法的设计，即通过局部信息来实现整个系统的全局优化目标。在多无人机协同搜索问题中，有以下几个主要技术问题需要考虑：(1)环境表示和更新，如何表示目标在环境中的存在性和不确定性；(2)任务载荷的性能，如何寻求探测半径与探测概率之间的均衡，以便无人机能够更有效地搜索任务区域内的目标；(3)搜索路径规划，如何设计协同控制方法，使无人机能够以最大化发现目标的可能性或最小化环境不确定性的方式移动。协同搜索的目的是控制多个无人机寻找分散在任务区域的未知地面目标，同时最大限度地降低环境的不确定性，最小化搜索时间。
4.博弈论是解决多智能体决策问题的有力工具，主要解决交互通信、协同合作、冲突消除等方面问题，已经广泛应用于分布式计算领域，成为多无人机协同搜索的研究热点。


技术实现要素：

5.本发明目的是提供一种协同搜索方法，使得无人机在执行搜索任务时能够根据感知-锁定-发现阶段的转换，更有效地进行搜索并减少环境的不确定性，通过较大值概率图融合和势能博弈等方法，使多无人机协同搜索达到整体效能的最优。
6.基于感知-锁定-发现的多无人机博弈协同搜索方法，包括如下步骤：
7.步骤1：多无人机协同搜索环境与飞行状态建模；
8.步骤2：无人机搜索任务载荷建模；
9.步骤3：建立单无人机目标概率图更新机制；
10.步骤4：多无人机协同搜索目标概率图融合；
11.步骤5：势能博弈求解纳什均衡，纳什均衡点对应当前状态多无人机路径决策的全局或局部最优解。
12.优选的是，本发明步骤1的多无人机协同搜索环境与飞行状态建模，具体包括如下步骤：
13.搜索未知环境将环境等分为l
x
×
ly大小相同的单元，每个单元g用(x，y)
标识；
14.任务无人机标记为第n架无人机位置用(xn，yn，hn)标识，其中hn∈[h
min
，h
max
]；h
min
，h
max
分别为无人机最小和最大飞行高度；
[0015]
需要搜索的目标标记为第t个目标位置用(x
t
，y
t
)标识，第t个目标位于高度为0的地面上，只要目标位置落于单元中，就代表该单元存在目标；目标客观存在用ω表示，1代表目标在单元中，0 代表目标不在单元中；无人机探测结果用ξ表示，1代表在单元中发现目标，0代表在单元中没有发现目标；
[0016]
威胁区域标记为第m个威胁区域用(xm，ym，rm)标识，威胁范围为半球形，其球心位于高度为0的地面上，威胁半径为rm；
[0017]
以上各点位置均满足xn，x
t
，xm∈{1，2，
…
，l
x
}和yn，y
t
，ym∈{1，2，
…
，ly}。
[0018]
{θn(t)，ηn(t)}表示第n架无人机在t时刻的飞行状态，分别表示航向转角和高度变化，受无人机飞行性能约束，在t 1时刻无人机的航向在t时刻航向的基础上左转45度、直行或右转45度，需要满足的机动性约束条件如下：
[0019][0020]
|ηn(t 1)-ηn(t)|≤η
max
[0021]
其中，η
max
表示无人机飞行高度最大变化值；
[0022]
无人机的飞行状况还要满足以下约束：
[0023]dij
(t)≥d
safe
(i，j＝1，2，
…
，n，i≠j)
[0024]dim
(t)≥rm(i＝1，2，
…
，n；m＝1，2，
…
，m)
[0025]
其中，d
ij
表示第i架无人机与第j架无人机之间的距离；d
safe
表示无人机之间的最小安全距离；d
im
表示第i架无人机与第m个威胁物之间的距离。
[0026]
优选的是，本发明步骤2的无人机搜索任务载荷建模，具体包括如下步骤：
[0027]
光电载荷探测模型描述了无人机对搜索目标的探测与发现关系；
[0028]
一般探测概率用pd表示，pd＝p(ξ＝1|ω＝1)；虚警概率用pf表示， pf＝p(ξ＝1|ω＝0)；竖直向下固定安装的光电载荷，由光学成像原理可知，目标在机载光电载荷成像面上的成像大小δ为：
[0029][0030]
式中，hs为无人机探测高度，f为光电载荷焦距，dc为目标的特征尺寸；探测高度hs和探测半径r5之间的关系为：
[0031][0032]
式中，β5为光电载荷视场角；计算出目标在光电载荷成像靶面上覆盖目标临界尺
寸的线对数n为：
[0033][0034]
式中，b为光电载荷的靶面成像尺寸，n5为光电载荷的行扫描线数；对于特定目标的识别，已建立了所需目标分辨率的经验规则，利用johnson准则，给出了特定目标在图像中被发现、定向、识别和确认所需的经验数据，根据数据表可以反向推导出目标传递概率函数的计算公式：
[0035][0036]
优选的是，本发明步骤3的单无人机目标概率图更新机制，具体包括如下步骤：
[0037]
多无人机协同搜索是通过无人机对未知环境的感知和无人机之间的信息交互、协同决策执行任务；在整个任务期间，无人机根据任务载荷和相邻无人机的信息做出自己的决策，从而协同执行搜索任务以实现最佳配置；协同搜索包括以下三个部分：任务载荷观测、信息融合和协同运动；在开始搜索之前，每架无人机都将预先了解的环境信息与概率图联系起来，然后无人机根据算法向环境不确定性高的位置移动，确保目标搜索的概率；任务载荷观测减少了相应区域的不确定性，为了进一步提高搜索效率，无人机通过与邻居的通信进行信息融合，从而指导无人机随后的协同运动；然后整个过程循环进行，直到搜索到全部目标或整个任务空间上的概率分布达到阈值。
[0038]
优选的是，本发明步骤4的多无人机协同搜索目标概率图融合，具体包括如下步骤：
[0039]
无人机通过信息交互来更新自己的目标概率图，结合自己的信息和获取的信息来融合目标概率图；目标概率图表示为基于网格的概率单元，其中每个单元对应具有相关目标存在概率的离散搜索区域；每个单元都存储一些有用的信息，包括目标存在的概率、环境的不确定程度和情况；结合所有单元，得到用于搜索的认知信息图；
[0040]ftarget
表示无人机是否处于锁定状态，当f
target
＝0时表示无人机未分配锁定目标，无人机按照所提算法进行飞行；当f
target
＝1时表示无人机已分配锁定目标，无人机开始向目标移动，同时降低飞行高度来提高载荷的探索概率，确保目标搜索的识别率；p
locked
和p
target
分别表示锁定概率阈值和目标概率阈值，当单元目标存在概率高于p
locked
时，该单元被列入目标锁定序列来分配相应无人机进行更精确的搜索；当单元目标存在概率高于p
target
时，认定该单元存在目标点；
[0041]hthreshold
表示感知和发现阶段的切换阈值，当飞行高度高于h
threshold
的时候处于感知阶段；当飞行高度低于h
threshold
的时候处于发现阶段；由于感知阶段无人机大多处于飞行较高的情况下，此时载荷的pd和pf发生较大变化，通过感知平滑法进行概率图更新：
[0042][0043]
其中，ρ表示感知系数，一般取ρ＝1-pd；
[0044]
发现阶段通过贝叶斯一致性估计更新。
[0045][0046]
降低信息熵作为优化目标，即减小单元内信息的不确定性；
[0047]
s(t)＝-p(t)log2p(t)-(1-p(t)log21-p(t))。
[0048]
优选的是，本发明步骤5的势能博弈求解纳什均衡，纳什均衡点对应当前状态多无人机路径决策的全局或局部最优解，具体包括如下步骤：
[0049]
将多无人机博弈模型记为其中为博弈参与者的集合，即任务无人机的集合；为第n架无人机的动作集合；un为第n架无人机的效用函数；
[0050]
如果动作策略集其中和使得效用函数满足：
[0051][0052]
则a
*
属于博弈模型的纯策略纳什均衡点，其中a-n
表示除了n之外所有参与者的动作策略；
[0053]
如果存在精确势能函数φ使得满足：
[0054]
u(an′
，a-n
)-u(an，a-n
)＝φ(an′
，a-n
)-φ(an，a-n
)
[0055]
则该博弈被称为精确势能博弈。
[0056]
本发明提出一种基于感知-锁定-发现的多无人机博弈协同搜索方法。该发明通过对目标的搜索更新环境概率图，从而降低整体环境的不确定性；提出感知-锁定-发现的搜索机制，相较于传统的搜索方法增大了目标的发现概率；提出较大值概率图融合方法，在克服自身信息的局限性同时，提高信息融合的有效性和准确性；通过势能博弈方法，有利于多无人机自主决策控制，保证整体的搜索效能。此外，本发明实现起来十分简单，尤其是在无人机任务载荷性能较低的情况下提升效果显著，具有很好的应用前景。
附图说明
[0057]
图1多无人机协同搜索步骤流程图。
[0058]
图2多无人机协同搜索场景图。
[0059]
图3任务载荷视场范围与探测概率关系图。
[0060]
图4锁定阶段对平均目标存在概率的影响。
[0061]
图5感知-发现阶段对平均目标存在概率的影响。
[0062]
图6不同融合方法对平均目标存在概率的影响。
[0063]
图7不同算法对平均搜索目标数的影响。
具体实施方式
[0064]
本发明为了实现更有效地进行搜索并减少环境的不确定性，通过较大值概率图融合和势能博弈等方法，使多无人机协同搜索达到整体效能的最优，采用如下技术方案：
[0065]
基于感知-锁定-发现的多无人机博弈协同搜索方法：
[0066]
(1)多无人机协同搜索环境与飞行状态建模
[0067]
搜索未知环境将环境等分为l
x
×
ly大小相同的单元，每个单元g用(x，y)标识。
[0068]
任务无人机标记为第n架无人机位置用(xn，yn，hn)标识，其中hn∈[h
min
，h
max
]；h
min
，h
max
分别为无人机最小和最大飞行高度。
[0069]
需要搜索的目标标记为第t个目标位置用(x
t
，y
t
)标识，其位于高度为0的地面上，只要目标位置落于单元中，就代表该单元存在目标。目标客观存在用ω表示，1代表目标在单元中，0代表目标不在单元中。无人机探测结果用ξ表示，1代表在单元中发现目标， 0代表在单元中没有发现目标。
[0070]
威胁区域标记为第m个威胁区域用(xm，ym，rm)标识，威胁范围为半球形，其球心位于高度为0的地面上，威胁半径为rm。
[0071]
以上各点位置均满足xn，x
t
，xm∈{1，2，
…
，l
x
}和yn，y
t
，ym∈{1，2，
…
，ly}。
[0072]
{θn(t)，ηn(t)}表示第n架无人机在t时刻的飞行状态，它们分别表示航向转角和高度变化，受无人机飞行性能约束，在t 1时刻无人机的航向在t时刻航向的基础上左转45度、直行或右转45度，需要满足的机动性约束条件如下：
[0073][0074]
|ηn(t 1)-ηn(t)|≤η
max
[0075]
其中，η
max
表示无人机飞行高度最大变化值。对于多无人机协同搜索问题，我们不仅考虑无人机之间可能会发生碰撞，还要考虑无人机与威胁物也要保持安全距离，因此其飞行状况还要满足以下约束：
[0076]dij
(t)≥d
safe
(i，j＝1，2，
…
，n；i≠j)
[0077]dim
(t)≥rm(i＝1，2，
…
，n；m＝1，2，
…
，m)
[0078]
其中，d
ij
表示第i架无人机与第j架无人机之间的距离；d
saf
e表示无人机之间的最小安全距离；d
im
表示第i架无人机与第m个威胁物之间的距离。
[0079]
(2)无人机搜索任务载荷建模
[0080]
光电载荷探测模型描述了无人机对搜索目标的探测与发现关系。一般探测概率用pd表示，pd＝p(ξ＝1|ω＝1)；虚警概率用pf表示， pf＝p(ξ＝1|ω＝0)。这里考虑竖直向下固定安装的光电载荷，由光学成像原理可知，目标在机载光电载荷成像面上的成像大小δ为：
[0081][0082]
式中，hs为无人机探测高度，f为光电载荷焦距，dc为目标的特征尺寸。探测高度hs和探测半径rs之间的关系为：
[0083][0084]
式中，βs为光电载荷视场角。由此，可计算出目标在光电载荷成像靶面上覆盖目标临界尺寸的线对数n为：
[0085][0086]
式中，b为光电载荷的靶面成像尺寸，ns为光电载荷的行扫描线数。对于特定目标的识别，目前已建立了所需目标分辨率的经验规则，最常用的是johnson准则，它给出了特定目标在图像中被发现、定向、识别和确认所需的经验数据，根据数据表可以反向推导出目标传递概率函数的计算公式。
[0087][0088]
(3)单无人机目标概率图更新机制
[0089]
多无人机协同搜索的关键是通过无人机对未知环境的感知和无人机之间的信息交互、协同决策执行任务。在整个任务期间，无人机可以根据任务载荷和相邻无人机的信息做出自己的决策，从而协同执行搜索任务以实现最佳配置。协同搜索问题涉及以下三个部分：任务载荷观测、信息融合和协同运动。在开始搜索之前，每架无人机都将预先了解的环境信息与概率图联系起来，然后无人机根据算法向环境不确定性高的位置移动，确保目标搜索的概率。任务载荷观测减少了相应区域的不确定性，为了进一步提高搜索效率，无人机通过与邻居的通信进行信息融合，从而指导无人机随后的协同运动。然后整个过程循环进行，直到搜索到全部目标或整个任务空间上的概率分布达到阈值。在此过程中，本发明通过感知-锁定-发现机制和势能博弈等方式，保证整体的搜索效能达到最优。
[0090]
(4)多无人机协同搜索目标概率图融合
[0091]
无人机可以通过信息交互来更新自己的概率图，结合自己的信息和获取的信息来融合概率图。当前研究的概率图更新主要分为三种：一是时间戳更新，二是加权平均更新，三是占据栅格更新。时间戳更新虽然可以保证每架无人机都根据最新的概率图进行决策，但是对同一单元多架无人机探测时间相差不大时，容易受到后序无人机虚警和漏警的影响；加权平均的方式虽然可以减少误差，但是对于目标概率增长较慢，需要多次观测才能达到目标概率阈值；占据栅格更新可以使概率图迅速收敛，但是容易陷入无法更新的情况，一般与加权平均方法结合使用。结合以上方法的优缺点和感知-锁定-发现机制的搜索特性，本发明提出较大值概率图融合方法。
[0092]
(5)势能博弈求解纳什均衡
[0093]
势能博弈是一种在分布式多智能体系统的合作控制中起着突出作用的博弈，保证
每个参与者的局部效用与全局目标一致。将多无人机搜索问题建模成互利博弈模型并证明该博弈是精确势能博弈，其纳什均衡点对应当前状态多无人机路径决策的全局或局部最优解。
[0094]
将多无人机博弈模型记为其中为博弈参与者的集合，即任务无人机的集合；为第n架无人机的动作集合；un为第n架无人机的效用函数。
[0095]
定义：如果动作策略集(其中和)使得效用函数满足：
[0096][0097]
则a
*
属于博弈模型的纯策略纳什均衡点，其中a-n
表示除了n之外所有参与者的动作策略。
[0098]
定义：如果存在精确势能函数φ使得满足：
[0099]
u(an′
，a-n
)-u(an，a-n
)＝φ(an′
，a-n
)-φ(an，a-n
)
[0100]
则该博弈被称为精确势能博弈。
[0101]
如图1所示，基于感知-锁定-发现的多无人机博弈协同搜索方法
[0102]
步骤一：多无人机协同搜索建立环境模型和初始化参数
[0103]
按照本发明的建模方式，考虑采用4架无人机对100*100的未知区域内的10个目标点进行搜索，其中存在10个威胁区域限制无人机飞行，附图2 显示了多无人机协同搜索场景图。无人机最低飞行高度为400米，最高飞行高度为1000米。
[0104]
步骤二：无人机任务载荷参数设置
[0105]
取机载光电任务载荷行扫描线数ns＝1080，视场角βs＝80
°
，发现目标的最小维方向分辨率n
min
＝1，视场范围与探测概率之间的关系见附图3。为能够更好地体现本发明协同搜索的效果，仿真中选取目标的特征尺寸dc＝1m，从而推导出无人机在不同高度下视场范围rs和探测概率pd。
[0106]
步骤三：多无人机飞行决策势能博弈
[0107]
通过平均共享规则、边际贡献和沙普利值等方式设计效用函数，确保该博弈模型为精确势能博弈，边际贡献规则是通过势能函数导出效用函数：
[0108]
un(a)＝φ(a)-φ(a-n
)
[0109]
un(an′
，a-n
)-un(an，a-n
)
[0110]
＝φ(an′
，a-n
)-φ(a-n
)-(φ(an，a-n
)-φ(a-n
)
[0111]
＝φ(an′
，a-n
)-φ(an，a-n
)
[0112]
将每个参与者的势能函数设计为无人机搜索范围内的信息熵函数和：
[0113][0114]
[0115]
第n架无人机的效用函数设计为对全局效用的边际贡献
[0116][0117]
因此我们可以解得纳什均衡点，从而得到各个无人机的动作策略集a
*
。
[0118]
步骤四：感知-锁定-发现机制目标概率图更新
[0119]
目标概率图表示为基于网格的概率单元，其中每个单元对应具有相关目标存在概率的离散搜索区域。每个单元都可以存储一些有用的信息，包括目标存在的概率、环境的不确定程度和情况。结合所有单元，可以得到用于搜索的认知信息图。
[0120]ftarget
表示无人机是否处于锁定状态，当f
target
＝0时表示无人机未分配锁定目标，无人机按照所提算法进行飞行；当f
target
＝1时表示无人机已分配锁定目标，无人机开始向目标移动，同时降低飞行高度来提高载荷的探索概率，确保目标搜索的识别率。p
locked
和p
target
分别表示锁定概率阈值和目标概率阈值，当单元目标存在概率高于p
locked
时，该单元被列入目标锁定序列来分配相应无人机进行更精确的搜索；当单元目标存在概率高于p
target
时，可以认定该单元存在目标点。无人机锁定状态分配原则：1、当目标锁定序列内有锁定单元时，按照最近原则分配无人机并使该无人机进入锁定状态；2、当该锁定单元被认定存在目标点或存在目标概率低于p
locked
时被移除目标锁定序列，且分配无人机解除锁定状态。
[0121]hthreshold
表示感知和发现阶段的切换阈值，当飞行高度高于h
threshold
的时候处于感知阶段；当飞行高度低于h
threshold
的时候处于发现阶段。由于感知阶段无人机大多处于飞行较高的情况下，此时载荷的pd和pf发生较大变化，如果按照贝叶斯一致性估计更新概率图大概率出现误判情况。因此感知阶段我们提出感知平滑法进行概率图更新：
[0122][0123]
其中，ρ表示感知系数，一般可以取ρ＝1-pd。而发现阶段则按照贝叶斯一致性估计更新。
[0124][0125]
不难看出，锁定阶段独立于感知阶段和发现阶段，只与其分配的锁定状态有关，而感知阶段和发现阶段的切换只与无人机飞行高度有关。
[0126]
由于概率图只能反映该单元中目标存在的概率，优化目标是有目标单元的存在概率值增加和没有目标单元的存在概率值减小，其实质是增加单元内信息的确定性，因此我们以降低信息熵作为优化目标，即减小单元内信息的不确定性。
[0127]
s(t)＝-p(t)log2p(t)-(1-p(t))log2(1-p(t))
[0128]
步骤五：多无人机协同搜索目标概率图融合
[0129]
根据感知一锁定-发现机制的搜索特性，我们提出较大值概率图融合方法：
[0130][0131][0132]
δ
gn
表示g单元在本次迭代中被第n架无人机探测状态，δ＝1表示被探测，δ＝0表示未被探测。
[0133]
图4和图5分别是锁定阶段和感知-发现阶段对多无人机协同搜索时平均目标存在概率影响的仿真结果。图4中锁定状态能够大幅度提高目标位置的存在概率，使其更好地被搜索出来，提高多无人机协同搜索发现目标的能力。图5中感知-发现机制较好地提高多无人机的搜索性能。图6是较大值概率图融合方法对多无人机协同搜索时平均目标存在概率影响的仿真结果。平均目标存在概率越高，表示已经被搜索到或即将被搜索到的目标越多。
[0134]
图7是分别在规模为100、200、300、400、500的环境内进行搜索，可以看出随着环境规模的提高，协同博弈的方法能够更有效地搜索到目标，并有较强的鲁棒性。