基于全局最近邻(GNN)的目标跟踪和数据关联的制作方法

基于全局最近邻(gnn)的目标跟踪和数据关联
技术领域
1.本发明涉及多目标跟踪(mtt)，更具体地涉及将基于全局最近邻(gnn)的目标跟踪和数据关联技术用于许多地对空任务中。


背景技术：

2.解决短程(例如小于约300m高度)地对空任务的数据关联(da)问题提出了某些挑战。当仅使用无源传感器(例如eo/ir传感器)时尤其如此，因为在使用(无源)仅角度测量解决用于跟踪多个移动目标的da时，它会增加gnn的复杂性。通常，传统系统的未命中距离约为30m。
3.因此，本发明的目的是克服与传统目标跟踪和数据关联技术相关联的上述缺点和缺陷。


技术实现要素：

4.已经认识到，在存在目标动态不确定性的情况下，使用仅角度目标传感器(即，无源eo/ir相机)的多目标检测和跟踪仍然是一个活跃的研究领域。在本发明的一个实施例中，基于仅角度传感器的gnn/da解决方案作为实时mtt子系统以轨迹文件或轨迹列表的形式提供高度准确的tse，捕获多个目标的状态向量以馈送制导子系统和一种武器到目标分配(wta)算法，用于解决多任务中时间紧迫的目标交战问题。
5.本发明的一个方面是一种改进的多目标检测和跟踪(mtt)系统，包括：两个或更多个传感器，每个传感器位于地面载具上，使得两个或更多个传感器被配置为捕获仅角度测量值，用于使用改进的全局最近邻/数据关联(gnn/da)算法的地对空任务，改进的gnn/da包括：数据关联(da)方案，其使用驻留在每个地面载具的轨迹文件管理(tfm)模块中的单独目标状态估计器(tse)的扩展卡尔曼滤波器(ekf)，将来自单独传感器检测到的单独目标的单独组仅角度测量值配对；接口，其位于tfm的输出与火力控制系统(fcs)制导子系统与武器到目标分配(wta)模块之间，用于多个武器与多个单独目标的交战；每个传感器具有安装在其上的车载多目标检测和跟踪(mtt)、数据关联(da)和轨迹文件管理(tfm)系统，其中多目标检测和跟踪(mtt)、数据关联(da)、和轨迹文件管理(tfm)系统被配置为指导以下操作从而将一个或更多正确的轨迹文件传送到制导子系统以完成交战：实时处理来自两个或更多地面载具中每一个上的两个或更多传感器的图像；使用来自每个位于两个或更多地面载具之一上的两个或更多传感器的图像，来检测对于一个或更多单独目标的一个或更多目标位置测量值，以产生潜在目标轨迹；处理一个或更多目标位置测量值以确定来自每个位于两个或更多载具之一上的两个或更多传感器的一个或更多目标位置测量值是否通过火力控制系统与预测的目标轨迹相关，若否，则不相关目标轨迹被放置在一个单独的文件中，以用于可能的新目标轨迹启动/创建；通过门限系统关联潜在目标轨迹，其中将落入门限阈值内的潜在目标轨迹选为活动目标轨迹；更新和维护活动目标轨迹作为轨迹文件管理(tfm)系统的一部分，作为多个单独目标的目标状态估计；将来自轨迹文件管理(tfm)系统的输出馈
送到武器目标分配(wta)系统，从而通过将正确的活动目标轨迹与正确的一个或更多目标配对，将多个武器中的每一个制导到与一个或更多目标之一的碰撞路线上。
6.改进的多目标检测和跟踪(mtt)系统的一个实施例是其中两个或更多个传感器是eo/ir相机。在某些情况下，地面载具是坦克。
7.改进的多目标检测和跟踪(mtt)系统的另一个实施例是，如果在轨迹文件管理(tfm)系统中创建的活动目标轨迹没有收到超过三个连续样本的连续测量更新，则删除这些轨迹。在某些情况下，活动轨迹文件管理(tfm)系统包含所有活动目标轨迹。
8.本发明的另一方面是一种多武器/多目标系统中的数据关联方法，包括：实时处理来自安装在地面载具上的至少一个传感器的图像，其中有两个或更多载具，每个传感器都是火力控制子系统(fcs)的一部分，至少一个传感器上安装了车载多目标检测和跟踪(mtt)、数据关联(da)和轨迹文件管理(tfm)系统，其中，多目标检测和跟踪(mtt)、数据关联(da)和轨迹文件管理(tfm)系统被配置为指导以下操作将一个或更多正确的轨迹文件传送到制导子系统以完成交战：使用来自至少一个传感器的图像来检测对于一个或更多单独目标的一个或更多目标位置测量值，以产生潜在目标轨迹；处理一个或更多目标位置测量值以确定来自至少一个传感器的一个或更多目标位置测量值是否通过火力控制系统与预测的目标轨迹相关，若否，则不相关目标轨迹被放置在一个单独的文件中，以用于可能的新目标轨迹启动/创建；通过门限系统关联潜在目标轨迹，其中将落入门限阈值内的潜在目标轨迹选为活动目标轨迹；更新和维护活动目标轨迹作为轨迹文件管理(tfm)系统的一部分，作为单独目标的目标状态估计；将来自轨迹文件管理(tfm)系统的输出馈送到武器目标分配(wta)系统，从而通过将正确的活动目标轨迹与正确的单独目标配对，将多个武器制导到与各自多个单独目标的碰撞路线上。
9.多抛射物/多目标系统中的数据关联方法的一个实施例是其中至少一个传感器是eo/ir相机。在某些实施例中，地面载具是坦克。
10.多抛射物/多目标系统中的数据关联方法的另一个实施例是，其中如果新的目标位置测量值在连续样本中不持续，则不相关的目标轨迹被声明为杂波(clutters)并且不启动或创建新的轨迹。
11.多抛射物/多目标系统中的数据关联方法的又一个实施例是，其中如果在轨迹文件管理(tfm)系统中创建的活动目标轨迹没有接收到超过三个连续样本的连续测量更新，则删除轨迹。
12.本发明的这些方面并不意味着是排它性的，当结合以下描述、所附权利要求书和附图阅读时，本发明的其它特征、方面和优点对于本领域普通技术人员来说将是显而易见的。
附图说明
13.本发明的前述和其它目的、特征和优点将从本发明的特定实施例的以下描述中显而易见，如附图所示，其中相同的附图标记在不同的视图中指代相同的部分。附图不一定按比例绘制，而是重点在于说明本发明的原理。
14.图1是根据本发明的原理的系统的一个实施例的图。
15.图2是根据本发明的原理的系统的一个实施例的图。
16.图3是根据本发明的原理的多目标跟踪(mtt)系统的一个实施例的图。
17.图4a、图4b、和图4c是本发明的系统的一个实施例的框图。
18.图5a、图5b、和图5c分别是本发明的系统的一个实施例在x、y和z方向上的位置误差估计的图。
19.图6示出了根据本发明的原理的用于多个传感器融合和跟踪的改进的全局最近邻(gnn)的一个实施例的验证。
20.图7a、图7b、和图7c分别是本发明的系统的一个实施例在x、y和z方向上的速度误差估计的图。
具体实施方式
21.在本发明的某些实施例中，安装在地面载具(例如坦克)上的传感器(例如eo/ir相机)在其视场(fov)中捕获多个移动目标(例如无人机uav)的测量值。在某些情况下，这些测量值在传感器输出级别没有与它们中的每一个相关联的标签/身份，并且没有准备好支持用于交战执行的制导、导航和控制(gn&c)系统的适当格式。在一些实施例中，一些测量值源自真实目标而一些则不是(例如杂波或友方平台)。要处理这些“无标签”仅角度测量值(即方位角和仰角)并根据这两个角度测量值正确重建或估计这些对象/目标的轨迹，需要以下条件：1)选择鲁棒(robust)的目标状态估计器(tse)设计并在多扩展卡尔曼滤波器(ekf)轨迹文件系统中实现它，以准确估计单个目标的运动轨迹并逐帧管理它们以支持实时交战决策；和2)实现正确的数据关联(da)函数，以实现对每个单独目标状态估计(tse)配对的正确测量，以实现正确的tse轨迹更新。
22.在本发明的一个实施例中，采用改进的基于gnn的da算法，在门限阈值上具有特定设置，并且具有多个鲁棒的仅角度ekf实现作为轨迹文件管理系统来解决轨迹文件管理，用于检测和跟踪由传感器(例如eo/ir相机)观察到的多个移动目标。
23.基于全局最近邻(gnn)的设计为多目标跟踪(mtt)领域所熟知；然而，由于以下原因，在短程地对空应用中正确使用gnn具有挑战性：1)需要为传感器、eo/ir相机、仅角度测量的门限阈值进行选择和调整；2)da逻辑设置，允许多个tse以高精度方式保持其运动轨迹；和3)在动态轨迹文件管理系统中构建tse，以及时支持正确的交战决策。在本发明的一个实施例中，基于gnn的设计用单独传感器(例如eo/ir相机)实现了高精度图片，并捕获传感器观察到的多个运动目标的逐帧运动。在某些实施例中，多目标跟踪(mtt)框架与单个抛射物的制导、导航和控制(gnc)子系统之间的接口允许目标传感器之间的动态交互，作为mtt的一部分和武器到目标分配(wta)框架，以及成功实现交战任务目标的制导子系统行动。
24.在一个实施例中，改进的gnn/da作为实时解决方案存在，用作火力控制子系统(fcs)的一部分，并且它可以在武器上或在地面上作为fcs的一部分实施。对于仅角度eo/ir传感器在mtt存在的情况下检测、跟踪和为制导律提供高精度tse解决方案，目前尚不存在此类解决方案。
25.参考图1，示出了根据本发明的原理的系统的一个实施例的图。更具体地，根据本发明的原理的系统的一个实施例具有作为火力控制解决方案(fcs)的关键组件的改进的全局最近邻/数据关联(gnn/da)被示出为具有位于地面上的一个或更多载具(2、2')，每一个
都与另一个间隔一定距离4。一个或更多地面载具与一个或更多空中载具8进行双向通信6。在某些情况下，这些一个或更多空中载具是友方无人机，用作空中战斗空间数据收集，并通过如虚线10所示的数据链路将其现场收集的数据转发给地面载具。单个传感器(例如eo/ir相机)fov捕获多个移动(例如无人机)目标(14、14')，图示为在每个地面载具的单独目标空间(12、12')内。该数据使用改进的gnn/da子系统进行融合和集成，如图4所示。在一个实施例中，本发明的改进的gnn/da算法是使用多对多交战建模和仿真系统来实现的，其结果在图6中示出。
26.在某些实施例中，本发明的系统被实现为车载gnn/da软件块，作为驻留在地面载具上的fcs的一部分，作为整体武器制导、导航和控制(gnc)系统的整体组件与武器到目标分配(wta)块(例如地面和车载组合)交互，以实现多个同时目标交战能力，称为多同时交战技术(mset)能力。
27.参考图1和图7，多个制导抛射物18被命令与各自的目标14、14'(例如无人机)交战，利用由所提出的gnn/da块输出的多目标轨迹文件，通过将这些轨迹文件馈送到抛射物的制导和wta以正确识别和定位一个或更多移动目标以进行交战。根据本发明内容的wta原理，复杂的多对多交战模拟已经通过车载eo/ir相机作为地面载具平台上的传感器进行了验证(见图6)。
28.参考图2，示出了根据本发明的原理的多eo/ir相机融合系统的一个实施例的示意图。更具体地说，多个无源eo/ir传感器收集mtt测量值，因为多组方位角和仰角(即从每个单独目标到单独传感器状态向量的相对几何角度)是多个目标传感器的输出。在每个输出捕获周期在传感器的fov内捕获的多个测量帧18捕获了一个或更多移动目标22。在一个实施例中，传感器是安装在地面载具上的eo/ir相机。
29.参考图2，相对于地面上的单独eo/ir相机，空间中的多个移动对象被捕获为角度测量值(即方位角和仰角，[αβ]24)。这些多组角度测量值(未标记，这就是为什么它们需要通过da函数与正确的tse进行“排序”或关联的原因)并且与由gnn/da子系统计算的现有轨迹文件没有直接关联。在某些实施例中，da函数将每组角度测量值与驻留在gnn/da子系统的跟踪文件中的正确tse适当配对，以便使用新提供的仅角度测量值进行适当的tse更新。这随后产生一组多目标状态估计26，其中tse通过ao ekf。这些tse用于支持实时交战决策28(即动态武器到目标分配)。在系统的某些实施例中，多个目标被多个抛射物攻击，使得存在多对多相关性，充分利用可用抛射物的数量来避免两个或更多抛射物攻击同一目标并因此错失尽可能多的目标的机会的情况。
[0030]
参考图3，示出了根据本发明的原理的多目标跟踪(mtt)系统的一个实施例的图。更具体地，每个安装在不同载具上的单独传感器30共同形成一组分布式传感器32。这些分布式传感器32在传感器处理模块34内执行数据预处理和测量值形成步骤。传感器处理模块输出被馈送到改进的gnn/da框架46，包括传感器测量到目标估计融合模块(即da的前端)36和门限计算模块44。
[0031]
参考图3，轨迹启动、确认和删除在轨迹维护模块38中进行管理。过滤和预测在ekf模块42中进行。在某些情况下，仅角度ekf计算具有六种状态或具有九种状态。在某些实施例中，该过程是迭代的从而跟踪多个移动对象。一旦轨迹被确认，数据被发送到制导和控制以用于武器到目标和传感器切换过程40。在一些情况下，在位于每个载具上的本地数据融
合中心发生使用多个轨迹融合动作的单个图片编译。
[0032]
在本发明的gnn算法的一个实施例中，使用六状态或九状态模型，其中函数[x_k_new，p_k_new，ekf_out]＝gnn_da(x_k，p_k，y_k，q，r，dt)
[0033]
％％全局最近邻(gnn)数据关联
[0034]
％％参数
[0035]
gatelevel＝1*pi/180；％角度误差门限
[0036]
[tracknum，state]＝size(x_k)；
[0037]
[nmeas，sizemeas]＝size(y_k)；
[0038]
％％1)为gnn da处理器分配内存
[0039]
％初始化当前时间步长的参数
[0040]
x_k_new＝zeros(size(x_k))；
[0041]
p_k_new＝zeros(size(p_k))；
[0042]
z_k＝zeros(size(x_k))；
[0043]
g_ekf_comp＝zeros(state，sizemeas，tracknum)；
[0044]
ekf_out＝zeros(size(x_k))；
[0045]
fovcount＝0；％用于评估fov统计
[0046]
distm＝1000*ones(tracknum，nmeas)；％tracknum和测量数在某些情况下是相同的
[0047]
res＝ones(tracknum，nmeas，sizemeas)；
[0048]
％％2)使用6状态mcs ekf估计状态
[0049]
for i＝1:tracknum
[0050]
x_in＝x_k(i，:)'；
[0051]
p_in＝p_k(:，:，i)；
[0052]
y_in＝y_k(i，:)'；
[0053]
[x_out，p_out，y_p，s，k，z_out]＝ekf_6(x_in，p_in，q，r，dt，y_in)；
[0054]
x_k_new(i，:)＝x_out'；
[0055]
p_k_new(:，:，i)＝p_out；
[0056]
z_k(i，:)＝z_out'；
[0057]
g_ekf_comp(:，:，i)＝k；
[0058]
ekf_out(i，:)＝x_out'；
[0059]
％％3)统计距离和残余
[0060]
for j＝1:nmeas
[0061]
y_m＝y_k(j，:)'；
[0062]
if any(y_m)
[0063]
fovcount＝fovcount 1；
[0064]
[distm(i，j)，res(i，j，:)]＝gaussian_prob(y_m，y_p，s，2)；％i是轨迹索引，j是有效数据索引end
[0065]
％％4)应用门限阈值
[0066]
distlabels＝distm<gatelevel；％门限满意度标准
[0067]
end
[0068]
％％5)轨迹分配
[0069]
对于i＝1:tracknum
[0070]
validassociatedind＝find(distlabels(i，:))；
[0071]
if～isempty(validassociatedind)％如果通过阈值测试
[0072]
if numel(validassociatedind)>1
[0073]
[～，midx]＝min(distm(i，validassociatedind))；
[0074]
％将validassociatedind减少到具有最小标签的1
[0075]
validassociatedind＝validassociatedind(midx)；
[0076]
end
[0077]
％％6)基于轨迹分配传播估计状态
[0078]
k＝g_ekf_comp(:，:，i)；
[0079]
e＝squeeze(res(i，validassociatedind，:))；
[0080]
z_temp＝z_k(i，:)' k*e；％更新预测状态估计(n x 1)
[0081]
x_k_temp＝f_x(z_temp)；
[0082]
x_k_new(i，:)＝x_k_temp'；
[0083]
end
[0084]
function[p，y_hat]＝gaussian_prob(y_m，y_p，s，use_log)
[0085]
％p＝gaussian_prob(x，m，c，use_log)
[0086]
％y_m导引头测量(az，el)
[0087]
％y_p ekf估计(az_hat，el_hat)
[0088]
％ekf的s输出协方差矩阵
[0089]
％用均值向量m和协方差评估多变量密度
[0090]
％输入向量x的矩阵c。
[0091]
％向量化版本：这里x是列向量的矩阵，p是
[0092]
％每个向量的概率向量。
[0093]
％设计和分析现代跟踪系统blackman&popoli，1999年
[0094]
if narg<4
[0095]
use_log＝0；
[0096]
end
[0097]
m＝s(y_p)；
[0098]
denom＝(2*pi)^(m/2)*sqrt(abs(det(s)))；％354页。
[0099]
y_hat＝y_m
‑
y_p；
[0100]
d2＝y_hat'*s^(
‑
1)*y_hat；％329页公式6.7
[0101]
switch use_log
[0102]
case 0
[0103]
number＝exp(
‑
0.5*d2)；
[0104]
p＝numer/denom；％335页。
[0105]
case 1
[0106]
p＝
‑
0.5*d2
‑
log(denom)；％引用到公式(6.29)
[0107]
case 2
[0108]
p＝d2；
[0109]
otherwise
[0110]
error('不支持的日志类型')
[0111]
end
[0112]
参考图4a
‑
图4c，示出了本发明的系统的一个实施例的框图。更具体地说，该流程图说明了来自两个eo/ir相机的仅角度测量信息如何在单独的本地轨迹融合中心进行处理和融合，然后全局融合以生成整个战斗空间的总轨迹文件。在图4a中，一对传感器(50、52)被示为处理目标状态真实数据并输出fov标志和角度测量值(例如az、e1)。第一gnn/da模块54处理来自第一传感器50的数据，第二gnn/da模块56处理来自第二传感器的数据，等等。在图4b中，实现了6状态58和9状态60多传感器轨迹融合模块。在图4c中，这些模块产生全局轨迹，全局轨迹被馈送到全局轨迹融合模块62中，以供制导和控制使用，例如用于武器到目标和传感器切换过程。
[0113]
参考图5a、图5b和图5c，示出了本发明的系统的一个实施例的分别在x、y和z方向上的位置误差估计的图。更具体地，本发明的理想数据关联(da)与gnn da之间的位置估计误差80是罕见的。gnn/da几乎等于理想da，未命中距离小于一米。图5a表示x方向上的五个目标tse位置误差估计，以米为单位。图5b表示y方向上的五个目标tse位置误差估计，以米为单位。图5c表示z方向上的五个目标tse位置误差估计，以米为单位。
[0114]
参考图6，示出了根据本发明的原理的用于多传感器融合和跟踪的改进的gnn的一个实施例的验证。在一个实施例中，该系统用于短程(小于约300m高度)地对空任务。在某些情况下，两个eo/ir传感器安装在两个发射器上(在各自的地面载具上)并且它们正在跟踪多个无人机。这些无人机的高精度tse被传送到制导律子系统，以有效地与十个武器交战，成功击中十个目标(如多对多交战模拟中的高保真度所示)。更具体地，每个发射器90、92具有五种武器(例如抛射物、弹药、子弹)。在该模拟中，使用了3m或更小的未命中距离标准。在一个实施例中，使用了十六个移动对象(每个传感器的视场内有八个)，其中十个被归类为目标94。每个目标仅被一个武器攻击，每五个来自每个发射器。该系统提供各种武器之间的通信，以便实现准确交战。
[0115]
本发明的系统的一个实施例在存在受其动态不确定性(即它们的起源、目标死亡或生成等)影响的多个目标运动的情况下鲁棒地处理仅角度传感器测量并且提供高度准确的跟踪文件解决方案以及时连接到用作实时软件块的fcs，以允许多种武器对多个目标进行交战。
[0116]
在存在上述mtt不确定性(即杂波、目标死亡、目标生成、目标加速度不确定性等)的情况下保持高度准确的轨迹文件的能力，同时仅通过无源传感器提供测量值以报告场景情况在多重同时交战技术(mset)任务的背景下是一个关键的改进。
[0117]
参考图7a、图7b和图7c，示出了本发明的系统的一个实施例的分别在x、y和z方向上的速度误差估计的图。更具体地，本发明的100理想数据关联(da)与gnn da之间的速度估计误差是罕见的。gnn/da几乎等于理想da，未命中距离小于一米。图7a表示x方向上的五个目标tse速度误差估计，以米为单位。图7b表示y方向上的五个目标tse速度误差估计，以米
为单位。图7c表示z方向上的五个目标tse速度误差估计，以米为单位。
[0118]
如本文所述的计算机可读介质可以是数据存储设备，或例如磁盘、磁光盘、光盘或闪存驱动器的元件。此外，应当理解，这里的术语“存储器”旨在包括各种类型的合适的数据存储介质，无论是永久的还是临时的，例如暂时性电子存储器、非暂时性计算机可读介质和/或计算机可写介质.
[0119]
从上文可以理解，本发明可以实现为计算机软件，其可以在存储介质上或经由例如局域网或广域网的传输介质提供，例如互联网。还应当理解的是，由于附图中描述的一些组成系统组件和方法步骤可以用软件来实现，系统组件(或过程步骤)之间的实际连接可能会根据使用的方式不同而有所不同，其中本发明被编程。鉴于此处提供的本发明的教导，相关领域的普通技术人员将能够考虑本发明的这些和类似的实施方式或配置。
[0120]
应当理解，可以以硬件、软件、固件、专用过程或其组合的各种形式来实现本发明。在一个实施例中，本发明可以在软件中实现为具体体现在计算机可读程序存储设备上的应用程序。应用程序可以上传到包括任何合适架构的机器并由其执行。
[0121]
虽然已经详细描述了本发明的各种实施例，但显然，本领域技术人员将想到并且容易明白那些实施例的各种修改和变更。然而，应当清楚地理解，如所附权利要求中所阐述的，这样的修改和改变在本发明的范围和精神内。此外，本文描述的发明能够有其它实施例并且能够以各种其它相关方式被实践或执行。此外，应当理解，这里使用的措辞和术语是为了描述的目的，不应被视为限制。此处使用的“包括”、“包含”或“具有”及其变体意在涵盖其后列出的项目及其等价物以及附加项目，而仅使用术语“由
……
组成”和“仅由
……
组成”的解释是有限制意义的。
[0122]
已经出于说明和描述的目的呈现了本发明的实施例的前述描述。并不旨在穷举或将本发明限制为所公开的精确形式。根据本发明，许多修改和变化是可能的。本发明的范围旨在不受该详细描述的限制，而是受所附权利要求的限制。
[0123]
已经描述了许多实施方式。然而，应当理解，在不脱离本发明的范围的情况下可以进行各种修改。尽管在附图中以特定顺序描述了操作，但这不应被理解为要求以所示的特定顺序或按顺序执行这些操作，或者执行所有图示的操作，以获得期望的结果。
[0124]
虽然本文已经描述了本发明的原理，但是本领域技术人员应当理解，该描述仅作为示例而不是作为对本发明范围的限制。除了在此示出和描述的示例性实施例之外，在本发明的范围内还考虑了其它实施例。本领域普通技术人员的修改和替换被认为在本发明的范围内。