用于目标感测的基于雷达的跟踪器的制作方法

1.本公开总体上涉及一种电子系统和方法，并且在特定实施例中，涉及用于目标感测的基于雷达的跟踪器。


背景技术：

2.由于低成本半导体技术(诸如硅锗(sige)和精细几何互补金属氧化物半导体(cmos)工艺)的快速进步，毫米波频率机制中的应用在过去几年中已经获得了显著的兴趣。高速双极和金属氧化物半导体(mos)晶体管的可用性已经导致对例如针对24ghz、60ghz、77ghz和80ghz以及超过100ghz的毫米波应用的集成电路的增长需求。这样的应用包括例如汽车雷达系统和多千兆位通信系统。
3.在一些雷达系统中，通过发射经频率调制的信号、接收经频率调制的信号的反射(也被称为回波)来确定雷达与目标之间的距离，以及基于经频率调制的信号的发射与接收之间的时间延迟和/或频率差来确定距离。因此，一些雷达系统包括发射天线以发射射频(rf)信号，以及包括接收天线以接收反射rf信号，以及包括用于产生发射信号并接收rf信号的相关联rf电路。在一些情况下，可以使用多个天线来使用相控阵技术来实现定向波束。具有多个芯片组的多输入多输出(mimo)配置也可以用于执行相干和非相干信号处理。


技术实现要素：

4.根据实施例，一种用于跟踪目标的方法包括：从雷达的雷达传感器接收数据；处理所接收的数据以检测目标；在第一时间步长标识第一检测目标的第一几何特征，第一检测目标与第一轨迹相关联；在第二时间步长标识第二检测目标的第二几何特征；基于第一几何特征和第二几何特征来确定误差值；以及基于误差值将第二检测目标与第一轨迹相关联。
5.根据实施例，一种雷达系统包括：毫米波雷达传感器，包括：发射天线，被配置为发射雷达信号；第一接收天线和第二接收天线，被配置为接收反射雷达信号；模数转换器(adc)，被配置为基于反射雷达信号在adc的输出处生成原始数字数据；以及处理系统，被配置为处理原始数字数据以用于：检测目标，在第一时间步长标识第一检测目标的第一几何特征，在第二时间步长标识第二检测目标的第二几何特征，基于第一特征和第二特征确定误差值，并且基于误差值将第二检测目标关联到与第一检测目标相关联的第一轨迹。
6.根据实施例，一种方法包括：从雷达的雷达传感器接收数据；处理所接收的数据以检测人类；使用k均值聚类将所检测的人类聚类成单元的群集，以生成多个群集；在第一时间步长标识多个群集中的第一群集的第一几何特征；在第二时间步长标识多个群集中的第二群集的第二几何特征，其中第一时间步长和第二时间步长是连续的时间步长；基于第一特征和第二特征确定误差值；以及基于误差值将第二群集关联到与第一群集相关联的第一轨迹。
附图说明
7.为了更完整地理解本发明及其优点，现在参考以下结合附图进行的描述，其中：
8.图1示出了根据本发明的实施例的毫米波雷达系统的示意图；
9.图2示出了根据本发明的实施例的由图1的发射机天线发射的啁啾序列；
10.图3示出了根据本发明的实施例的用于人员跟踪的实施例方法的流程图；
11.图4示出了根据本发明的实施例的使用模板匹配的目标关联；
12.图5示出了根据本发明的实施例的使用分布式雷达系统的使用模板匹配的目标关联；
13.图6示出了根据本发明的实施例的用于使用模板匹配来执行数据关联的实施例方法的流程图；
14.图7示出了根据本发明的实施例的用于提取经验模态分解(emd)特征并计算与提取的emd特征相关联的误差的实施例方法的流程图；
15.图8示出了根据本发明的实施例的通过emd将数据信号分解到多个本征频率分量的波形；
16.图9展示根据本发明的实施例的用于提取不变特征转换(sift)特征并且计算与所提取sift特征相关联的误差的实施例方法的流程图；
17.图10a和10b分别示出了根据本发明的实施例的输入雷达图像和具有sift特征的梯度的对应直方图；
18.图11示出了根据本发明的实施例的用于在连续时间步长计算群集之间的wasserstein距离的实施例方法的流程图；
19.图12示出了根据本发明的实施例的在连续时间步长具有两个群集的雷达图像；以及
20.图13示出了根据本发明的实施例的用于使用模板匹配执行数据关联的方法，如应用于图4的示例。
21.除非另有说明，否则不同图中的对应标号和符号通常指代对应部分。绘制附图以清楚地示出优选实施例的相关方面，并且不一定按比例绘制。
具体实施方式
22.下面详细讨论所公开的实施例的制造和使用。然而，应当理解，本发明提供了许多可以在各种具体环境中实现的可应用的发明构思。所讨论的具体实施例仅仅说明了制造和使用本发明的具体方式，而不限制本发明的范围。
23.下面的描述示出了根据描述提供对若干示例实施例的深入理解的各种具体细节。可以在没有一个或多个具体细节的情况下或者通过其他方法、部件、材料等获得实施例。在其他情况下，未详细示出或描述已知的结构、材料或操作，以免混淆实施例的不同方面。在本说明书中对“实施例”的引用指示关于该实施例描述的特定配置、结构或特征被包括在至少一个实施例中。因此，可以出现在本说明书的不同点处的诸如“在一个实施例中”的短语不一定确切地指代相同的实施例。此外，在一个或多个实施例中，可以以任何适当的方式组合特定的形成、结构或特征。
24.将在特定上下文中描述本发明的实施例，用于人员感测的毫米波雷达基于雷达的
跟踪器。本发明的实施例可以用于跟踪其他目标(例如，动物、车辆、机器人等)和/或可以在与毫米波不同的状况下操作。
25.在本发明的实施例中，毫米波雷达用于基于从检测目标提取的特征来跟踪人类目标。在一些实施例中，用于将目标与轨迹相关联的提取特征中的一些或全部不基于运动模型。因此，一些实施例有利地能够在不知道人类目标的(实际或预测的)运动和/或定位的情况下检测人类目标。因此，一些实施例有利地能够使用低帧速率来跟踪人类目标。在一些实施例中，使用低帧速率有利地允许功率节省，这可以延长电池供电应用中的电池寿命，和/或可以有利地允许符合与用于雷达操作的最大占空比(最大帧速率)相关联的监管要求(诸如fcc要求)，而不牺牲跟踪性能。
26.在一些实施例中，附加地跟踪诸如距离、多普勒和/或角度的特征，并且还用于基于运动模型将检测目标与轨迹相关联，这可以有利地增加跟踪性能。例如，在先前时间步长的距离和多普勒速度可以用于预测目标在未来时间步长的位置，并且这样的信息可以用于增加目标分配是正确的置信度(例如，通过在未来时间步长使用目标的预期位置的选通区域)。
27.诸如毫米波雷达的雷达可以用于检测和跟踪人类。例如，图1示出了根据本发明的实施例的毫米波雷达系统100的示意图。毫米波雷达系统100包括毫米波雷达传感器102和处理系统104。
28.在正常操作期间，毫米波雷达传感器102作为调频连续波(fmcw)雷达传感器操作，并且使用发射器(tx)天线114向场景120发射多个tx雷达信号106，诸如啁啾。使用rf和模拟电路130生成雷达信号106。雷达信号106可以在20ghz至122ghz范围内。场景120中的对象可以包括例如可以是移动的或空闲的一个或多个人类。其它对象也可以存在于场景120，其它移动或静态对象例如家具、机械、机械结构、墙壁等。
29.雷达信号106被场景120中的对象反射。反射雷达信号108(也称为回波信号)由接收器(rx)天线116a和116b接收。rf和模拟电路130以本领域已知的方式使用例如带通滤波器(bpf)、低通滤波器(lpf)、混频器、低噪声放大器(lna)和/或中频(if)放大器处理所接收的反射雷达信号108，以生成模拟信号x
outa
(t)和x
outb
(t)。
30.使用adc112将模拟信号x
outa
(t)和x
outb
(t)转换为原始数字数据x
out_dig
(n)。处理系统104处理原始数字数据x
out_dig
(n)以检测人类及其位置，并跟踪所检测的人类。
31.尽管图1示出了具有两个接收器天线116的雷达系统，但是应当理解，也可以使用多于两个的接收器天线116，诸如三个或更多个。
32.尽管图1示出了具有单个发射器天线114的雷达系统，但是应当理解，也可以使用多于一个的发射器天线114，诸如两个或更多个。
33.控制器110控制毫米波雷达传感器102的一个或多个电路，诸如rf和模拟电路130和/或adc112。例如，控制器110可以被实现为定制的数字或混合信号电路。控制器110也可以以其他方式实现，例如使用通用处理器或控制器。在一些实施例中，处理系统104实现控制器110的部分或全部。
34.处理系统104可以用包括例如耦合到存储器的组合电路的通用处理器、控制器或数字信号处理器(dsp)来实现。在一些实施例中，处理系统104可以被实现为专用集成电路(asic)。在一些实施例中，处理系统104可以利用例如arm、risc或x86架构来实现。在一些实
施例中，处理系统104可以包括人工智能(ai)加速器。一些实施例可以使用硬件加速器和在dsp或通用微控制器上运行的软件的组合。其他实现也是可能的。
35.在一些实施例中，毫米波雷达传感器102和处理系统104的部分或全部可以在同一集成电路(ic)内实现。例如，在一些实施例中，毫米波雷达传感器102和处理系统104的部分或全部可以在集成在相同封装中的相应半导体衬底中实现。在其他实施例中，毫米波雷达传感器102和处理系统104的部分或全部可以在相同的单片半导体衬底中实现。其他实现也是可能的。
36.作为非限制性示例，可以实现rf和模拟电路130，例如，如图1所示。在正常操作期间，vco136生成雷达信号，诸如线性频率啁啾(例如，从57ghz到64ghz，或从76ghz到77ghz)，其由发射天线114发射。vco136由pll134控制，pll134从参考振荡器132接收参考时钟信号(例如，80mhz)。pll134由包括分频器138和放大器140的环路控制。
37.由发射天线114发射的tx雷达信号106由场景120中的对象反射并且由接收天线116a和116b接收。由接收天线116a和116b接收的回波分别使用混频器146a和146b与由发射天线114发射的信号的副本混合，以产生相应的中频(if)信号x
ifa
(t)、x
ifb
(t)(也称为拍频信号)。在一些实施例中，拍频信号x
ifa
(t)、x
ifb
(t)具有在10khz与1mhz之间的带宽。具有低于10khz或高于1mhz的带宽的拍频信号也是可能的。
38.用相应的低通滤波器(lpf)148a和148b对拍频信号x
ifa
(t)、x
ifb
(t)进行滤波，然后由adc112对其进行采样。adc112有利地能够以比由接收天线116a和116b接收的信号的频率小得多的采样频率对滤波后的拍频信号x
outa
(t)、x
outb
(t)进行采样。因此，在一些实施例中，使用fmcw雷达有利地允许adc112的紧凑和低成本实现。
39.在一些实施例中，原始数字数据x
out_dig
(n)(其在一些实施例中包括经滤波的拍频信号x
outa
(t)和x
outb
(t)的数字化版本)(例如，临时地)被存储在例如每个接收器天线116的nc×ns
的矩阵中，其中nc是在帧中考虑的啁啾的数量，并且ns是每个啁啾信号的发射样本的数量，以用于由处理系统104进一步处理。
40.在一些实施例中，adc112是具有多个输入的12位adc。也可使用具有更高分辨率(例如14位或更高)或具有更低分辨率(例如10位或更低)的adc。在一些实施例中，可以使用每个接收器天线一个adc。其他实现方式也是可能的。
41.图2示出了根据本发明的实施例的由tx天线114发射的啁啾106的序列。如图2所示，啁啾106被组织多个帧中，并且可以被实现为向上啁啾。一些实施例可以使用向下啁啾或向上啁啾和向下啁啾的组合，诸如向上向下啁啾和向下向上啁啾。也可以使用其他波形形状。
42.如图2所示，每个帧可以包括多个啁啾106(通常也称为脉冲)。例如，在一些实施例中，帧中的脉冲的数量是16。一些实施例可以每帧包括多于16个脉冲，诸如20个脉冲、32个脉冲或更多，或每帧少于16个脉冲，诸如10个脉冲、8个脉冲、4个或更小。在一些实施例中，每个帧仅包括单个脉冲。
43.每ft时间重复帧。在一些实施例中，ft时间是50ms。可以使用不同的ft时间，诸如超过50ms，诸如60ms、100ms、200ms或更多，或小于50ms，诸如45ms、40ms或更少。
44.在一些实施例中，ft时间被选择为使得帧n的最后一个啁啾的开始与帧n 1的第一啁啾的开始之间的时间等于prt。其他实施例可以使用或导致不同的定时。
45.帧的啁啾之间的时间通常被称为脉冲重复时间(prt)。在一些实施例中，prt为5ms。也可以使用不同的prt，诸如小于5ms，诸如4ms、2ms或更少，或多于5ms、诸如6ms或更多。
46.啁啾的持续时间(从开始到结束)通常被称为啁啾时间(ct)。在一些实施例中，啁啾时间可以是例如64μs。也可以使用更高的啁啾时间，诸如128μs或更高。也可以使用更低的啁啾时间。
47.在一些实施例中，啁啾带宽可以是例如4ghz。更高的带宽(诸如6ghz或更高)或更低的带宽(诸如2ghz、1ghz或更低)也是可能的。
48.在一些实施例中，毫米波雷达传感器102的采样频率可以是例如1mhz。更高的采样频率(诸如2mhz或更高)或更低的采样频率(诸如500khz或更低)也是可能的。
49.在一些实施例中，用于生成啁啾的样本的数量可以是例如64个样本。还可以使用更高数目的样本(例如128个样本)或更高，或更低数目的样本(例如32个样本)或更低。
50.图3示出了根据本发明的实施例的用于人员跟踪的实施例方法300的流程图。方法300可以由处理系统104实现。
51.在步骤302a和302b期间，例如从毫米波雷达传感器102接收原始adc数据x
out_dig
(n)。如图所示，原始adc数据x
out_dig
(n)包括来自多个天线(例如，图3中所示的示例中的2个)的单独的基带雷达数据。
52.在步骤304a及304b期间，在相应天线116的原始adc数据上执行信号调节、低通滤波及背景去除。原始adc数据x
out_dig
(n)雷达数据被滤波，dc分量被去除，以例如去除tx-rx自干扰，并且可选地对干扰着色噪声进行预滤波。滤波可以包括去除具有与其他相邻距离波门(range-gate)测量中的明显不同的值的数据异常值。因此，该滤波还用于从雷达数据中去除背景噪声。
53.在步骤306a和306b期间，2d移动目标指示(mti)滤波器分别应用于在步骤304a和304b期间产生的数据，以从静态目标去除响应。可以通过沿着快速时间(内部啁啾时间)减去平均值来执行mti滤波器，以去除扰动前几个距离窗口的发射器-接收器泄漏，然后沿着慢时间(啁啾间时间)减去平均值以去除来自静态物体(或零多普勒目标)的反射。
54.在步骤308a和308b期间，分别对在步骤306a和306b期间产生的滤波后的雷达数据执行一系列fft。第一窗口fft具有沿针对信号帧中的预定数量的啁啾的每一个的每个波形计算的啁啾的长度。啁啾的每个波形的fft可以被称为“距离fft”。在多个连续周期内跨每个距离区间计算第二fft以提取多普勒信息。在步骤308a和308b期间执行每个2dfft之后，分别产生距离-多普勒图像。
55.在步骤310期间，使用最小方差无失真响应(mvdr)技术(也称为capon)来基于来自不同天线的距离和多普勒数据来确定到达角。在步骤310期间生成距离角图像(rai)。在一些实施例中，在步骤310期间生成距离-多普勒-角度数据立方体。
56.在步骤312期间，使用有序统计(os)恒虚警(os-cfar)检测器来检测目标。cfar检测器生成检测图像，其中例如，基于rai的功率水平，通过将rai的功率水平与阈值进行比较，例如，“一”表示目标，并且“零”表示非目标，高于阈值的点被标记为目标(“一”)，而在阈值下方的点被标记为非目标(“零”)。
57.在一些实施例中，在步骤312期间生成的在检测图像中存在的目标在步骤314中被
聚类，例如，基于与检测目标相关联的类似的特征特性，诸如经验模态分解(emd)和/或尺度不变特征转换(sift)。在一些实施例中，还可以使用检测目标的其它类型特征(例如，基于例如距离、多普勒和/或角度的基于运动模型的特征)来将单元聚类在一起。在一些实施例中，诸如相关性和/或wasserstein距离的度量可以用于确定群集之间的相似性。在一些实施例中，基于特征的聚类通过使用k均值聚类来执行，在k均值聚类中，基于具有类似的特征而将目标进行分组(聚类)到具有这样的(例如，组合的)特征的最近均值的一个k群集。
58.举例来说，在一些实施例中，特征的向量包含与emd相关联的多个特征(例如，与emd相关联的本征模态函数(imf)和/或imf的数目，和/或与sift相关联的量值m(m,n)和/或相位φ(m,n))，其中每一信道描述特征的类型(例如，imf、imf的数目、量值m(m,n)和/或相位φ(m,n))。每个信道可以被描述为高斯分布(对相同特征的可用向量取均值和方差)。获得在信道上的所有不同高斯分布上的加权和以为每个单元提供描述符，其中，描述符与所有特征类型相关联，并且可以是指示相关联的群集的特性(特征)的值或向量，并且可以用于确定群集有多类似。这样的描述符用于聚类，例如，使用k均值聚类算法。
59.在一些实施例中，具有噪声(dbscan)算法的应用的基于密度的空间聚类也可以用于在步骤314期间将目标与群集相关联。dbscan的输出将所检测的点分组到特定目标中。dbscan为使用到群集目标的最小点和最小距离标准的流行的无监督算法，并且可以以本领域已知的任何方式来实现。也可以使用其他聚类算法。
60.因此，在一些实施例中，聚类导致雷达图像(例如，rai或rdi)或数据立方体被划分成具有相似描述符的单元组。在一些实施例中，每个群集对应于(例如，潜在的)检测目标。由于特征的扩展不一定是统一的，所以在一些实施例中，每个群集不一定相等。因此，在一些实施例中，雷达图像或数据立方体被划分成单元群集，但是每个单元群集不一定具有相同的尺寸(例如，不具有相同数量的单元/子单元)。
61.在步骤316期间，所检测的(被聚类的)目标与相应的轨迹相关联。如稍后将更详细地描述的，在一些实施例中，检测目标与相应的(在步骤318期间)使用基于特征的模板匹配的轨迹相关联。例如，在一些实施例中，在步骤318期间使用几何特征以用于模板匹配。几何特征可以被理解为特征，该特征是可标识的目标的旋转中的碎片变化，以及目标的质心的距离、多普勒速度和角度的变化。在一些实施例中，几何特征可以包括物理几何特征，例如目标的物理边缘(例如，来自雷达图像)。在一些实施例中，另外或备选地，几何特征可以包含基于原始数据(例如，数据立方体)的单元间的关系(例如，距离单元、多普勒速度单元和/或角度单元之间的关系)的度量(例如，向量、函数或函数群组)。这样的度量的示例包括使用数据立方体的功能分解、数据立方体的梯度和/或数据立方体的统计属性(诸如数据立方体的直方图/pdf)提取的函数。几何特征的示例包括emd特征和sift特征。
62.在一些实施例中，几何特征允许在不依赖于运动模型的情况下标识目标。在一些实施例中，几何特征允许在跟踪目标之间进行区分。
63.在一些实施例中，针对目标跟踪几何特征，诸如emd和/或sift。对于每个群集单元(针对每个检测目标)，针对每个时间步长i生成具有与群集单元相关联的每个特征的值的特征向量。在时间步长i 1处的检测目标(例如，使用匈牙利分配)基于特征矢量之间的相似性(例如，基于特征向量之间的误差)被分配给相应的轨迹。例如，在一些实施例中，在连续时间步长(例如，i和i 1)处的特征群集之间标识相似性度量，并且选择最小化特征群集之
间的误差(例如，增加相关)的分配以用于轨迹分配。
64.在一些实施例中，数据关联步骤(316)可以附加地包括不依赖于基于特征的模板匹配的数据关联方法。
65.在一些实施例中，检测目标(群集)到轨迹的数据分配依赖于群集的几何特征，并且不依赖于(或不仅仅依赖于)检测目标的实际物理位置和/或速度。
66.在步骤320期间，例如针对随时间跟踪目标而形成轨迹滤波。例如，在一些实施例中，无迹卡尔曼滤波器用于在步骤320期间执行跟踪滤波。举例来说，在一些实施例中，特征(例如，sift、emd、距离、多普勒、角度、基于深度学习的参数和/或与轨迹相关联的其它参数)是例如用于执行数据关联(其也可以由卡尔曼滤波器跟踪)的额外特征。无迹卡尔曼滤波器还可以跟踪每个轨迹的定位，并且可以依赖于这种定位的轨迹历史来增强数据关联。卡尔曼滤波器可以以本领域已知的任一方式实现。
67.应当理解，虽然可以使用可以不包括空间和/或移动信息(例如，距离、多普勒、角度)的模板匹配(在步骤316期间)来标识目标，这样的定位信息仍然可以在步骤320期间被跟踪。因此，在一些实施例中，基于特征的模板匹配(步骤318)是启用器，该启用器用于环境中的数字关联，诸如低帧速率和/或多目标场景，和/或其中单独依赖定位信息可能是困难的分布式雷达实现。
68.在步骤324期间，执行轨迹管理任务，诸如生成轨迹和终止轨迹。例如，在步骤324期间，可以例如基于检测目标是否不再出现在视场中(在场景120中)或重新进入视场来执行跟踪初始化、重新初始化和/或跟踪终止。
69.在一些实施例中，步骤316、320和324可以以不同的顺序实现。例如，在一些实施例中，可以在执行步骤316之前执行轨迹初始化(在步骤324期间)。
70.图4示出了根据本发明的实施例的使用模板匹配的目标关联。模板匹配(例如，如图4中所示)可以例如在步骤316期间被执行。
71.如图4所示，随着时间的推移，人类a和b在视场401内移动(从时间步长i到时间步长i 1)。在一些实施例中，时间步长i和i 1之间的时间可以是例如66ms(对于15帧每秒雷达系统)。在一些实施例中，可以使用更快的帧速率。如稍后将更详细地描述的，在一些实施例中，可以有利地使用更慢的帧速率，诸如10帧每秒雷达系统(其中时间步长i和i 1之间的时间可以是，例如100ms)或更慢，而保持有效地跟踪目标的能力。
72.如图4所示，人类a和b在时间步长i分别位于位置402和404。在时间步长i 1，人类a和b分别位于位置406和408中。由于在时间步长i 1处，在位置408处的检测目标更接近于位置402，并且在位置406处的检测目标更接近于位置404，因此使用概率数据关联滤波器(pdaf)的传统关联方法将可能将所检测的人类b(在位置408处)与人类a的轨迹相关联，并且将所检测的人类a(在位置406处)与人类b的轨迹相关联。如在图4中所示，通过依赖于不基于(或不仅基于)运动模型的特征，使用基于特征的分配有利地允许正确的跟踪分配而不增加占空比(不减小时间步长i的大小，使得目标在时间上更接近地检测)。相反，在一些实施例中，检测目标是基于例如在连续时间步长的特征之间的相关性水平被分配来跟踪的。因此，一些实施例有利地允许以低占空比(诸如每秒10帧或更慢的占空比)跟踪人类。
73.由于一些实施例依赖于不基于运动模型(诸如emd和sift)几何特征来跟踪目标，因此一些实施例有利地适用于使用分布式雷达跟踪目标，其中人类可以从不同雷达的视场
移动，并且其中雷达可能缺乏关于目标在这些雷达的视场外的移动的信息。例如，图5示出了根据本发明的实施例的使用分布式雷达系统500的使用模板匹配的目标关联，该分布式雷达系统500使用2个雷达系统。在一些实施例中，在分布式雷达系统500中使用的每个雷达系统被实现为毫米波雷达系统100。可以例如在分布式雷达系统500的每个雷达的步骤316期间执行模板匹配，例如，如图4中所示(并且如稍后更详细地解释的)。在一些实施例中，分布式雷达系统500可以包括多于2个雷达，诸如3个、5个、8个或更多。
74.如图5所示，随着时间的推移，人类a和b在视场501和503之间移动(从时间步长i到时间步长i 1)。例如，人类a和b在时间步长i分别位于位置502和504中。在时间步长i 1，人类a和b分别位于位置506和508中。由于具有视场501的雷达在时间步长i处检测到单个目标(在位置502处的人类a)并且在时间i 1处检测到单个目标(在位置508处的人类b)，并且由于具有视场503的雷达在时间步长i处检测到单个目标(位置504处的人类b)并且在时间i 1处检测到单个目标(位置506处的人类a)，因此使用pdaf的常规关联方法将可能将所检测的人类b(在位置508处)与人类a的轨迹相关联，并且将所检测的人类a(在位置506处)与人类b的轨迹相关联。如图5所示，当目标在分布式雷达系统中的不同雷达的视场之间移动时，使用基于特征的分配有利地允许正确的轨迹分配。在一些实施例中，在分布式雷达系统500的雷达之间共享的控制器510用于标识跟踪的目标的特征，并且公共控制器510可以用于执行跟踪功能。例如，在一些实施例中，公共控制器510可以执行步骤316、320和324，而分布式雷达系统500的每个雷达100的处理系统104执行步骤302、304、306、308、310、312和314。
75.在一些实施例中，控制器510可以被实现为分布式雷达系统500的雷达100之一的处理系统104的一部分。在一些实施例中，控制器510可以在分布式雷达系统500的雷达系统100的处理系统104的外部实现，例如具有包括耦合到存储器的组合电路的通用处理器、控制器或数字信号处理器(dsp)。在一些实施例中，处理系统104可以被实现为专用集成电路(asic)。在一些实施例中，处理系统104可以利用例如arm、risc或x86架构来实现。在一些实施例中，处理系统104可以包括人工智能(ai)加速器。一些实施例可以使用硬件加速器和在dsp或通用微控制器上运行的软件的组合。其他实现也是可能的。
76.例如，在一些实施例中，检测目标的特征以及空间和移动参数被传递到中央处理器510(在分布式雷达系统500的每个雷达外部)以用于数据关联和跟踪。在一些实施例中，分布式雷达系统500的处理系统104中的一个处理系统104可以作为中央处理器510操作，例如用于数据关联和跟踪。
77.图6示出了根据本发明的实施例的用于使用模板匹配来执行数据关联的实施例方法600的流程图。步骤316可以作为方法600执行。
78.如图6中所示，针对l个群集中的每一个(例如，在步骤314期间标识的)，与时间步长i相关联的特征在步骤602和604期间被提取，并且在步骤606和610期间与例如在时间步长i 1处的l个群集的特征进行比较，以生成l个误差向量。在一些实施例中，步骤606可以被认为是步骤610的一部分(例如，诸如实现步骤610的方式)。
79.在步骤612期间，进行在时间步长i处的l个群集与在时间步长i 1处的l个群集之间的分配，例如，以最小化误差向量之间的误差(例如，使得所分配的群集之间的误差向量的误差的总和最小化)。在一些实施例中，在步骤612期间使用匈牙利分配以将在时间步长i处的群集与在时间步长i 1处的群集相关联。在一些实施例中，在时间步长i 1处的每个群
集关联到与对应于在时间i处的相关联的群集的轨迹。
80.在一些实施例中，应用匈牙利分配包括：
81.计算成本矩阵c，其中c
i,j
是根据度量f(例如，相关性、差异、wasserstein距离、欧几里德距离、均方误差等)在时间步长i处的群集pi与时间步长i 1处的群集yi之间的成本，并且可以由下式给出：
82.c
i,j
＝f(pi,yj)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
83.找到最小化c与a之间的逐元素积的分配矩阵a，例如通过：
[0084][0085]
根据分配矩阵a中的向量y对向量y进行重排序，并且例如顺序地将来自向量p的群集分配到来自有序向量y的群集。
[0086]
在一些实施例中，在时间步长i和i 1处的群集的数量是不同的(例如，由于先前检测目标消失，或者新的目标到达视场)。在一些这样的实施例中，进行分配以最小化在每个时间步长的向量之间的误差，并且附加向量的不与另一时间步长处的对应向量相关联的误差被分配默认误差。在一些实施例中，对于每个未分配的群集或目标，使用误差计数器来计数有多少次存在未签名的目标，并且当计数器达到预定阈值(例如，5、6等)时，相应的轨迹被取消。
[0087]
在一些实施例中，依赖于诸如距离、多普勒和/或角度的特征的运动模型用于将检测目标与轨迹相关联，这可以有利的改善跟踪性能。例如，在先前时间步长的距离和多普勒速度可以用于预测目标在未来时间步长的位置，并且这样的信息可以用于增加目标分配是正确的置信度(例如，通过使用在未来时间步长的目标的期望位置的选通区域)，并且其中置信度水平用于将目标与轨迹相关联。因此，在一些实施例中，将目标与轨迹相关联还取决于基于运动的模型，例如，基于距离、多普勒和/或角度。
[0088]
图7示出了根据本发明的实施例的用于提取emd特征(步骤702)并计算与提取的emd特征相关联的误差(步骤710)的实施例方法700的流程图。在一些实施例中，步骤602可以作为步骤702被执行，并且与比较emd特征相关联的步骤610的部分可以作为步骤710被执行。
[0089]
在步骤702期间，执行emd特征提取。emd可以被理解为将信号数据分解成被包括在原始信号数据中的瞬时频率的本征模态函数(imf)的方式。不集成的信号分量形成原始数据信号的完全或几乎正交的基础。在一些实施例中，在与群集单元相关联的原始数据(例如，多普勒信号)上执行emd。例如，在一些实施例中，emd在与时间步长i处的特定群集单元相关联的原始数据(例如，来自数据立方体)上执行。
[0090]
在步骤724期间，标识出具有高于预定值的能量的imf。在步骤726期间，所标识的imf被排序(例如，按升序)。在步骤728期间，计算在时间i处的经排序的所标识的imf(针对每个群集单元)与针对每个群集在时间i 1处的经排序的imf之间的误差，以生成(例如，l个)针对在时间i处的每个群集单元的误差值(其可以被用作步骤610中的误差向量的一部分)。
[0091]
在一些实施例中，通过使用例如均方误差来确定在时间步长i和i 1处的imf之间的误差。在一些实施例中，高于阈值的imf的数量也可以用于确定在时间步长i和i 1的群集
之间的误差。
[0092]
在一些实施例中，比较在时间步长i处的所有群集与在时间步长i 1处的所有群集之间的emd特征(例如，经排序的imf)，并且在时间步长i和i 1处的导致最低均方误差的群集对相关联。
[0093]
图8示出了根据本发明的实施例的通过emd将数据信号分解到多个本征频率分量中的波形。
[0094]
在图8的实施例中，十个模态中的三个主要模态(imf1、imf2和imf3)具有高于预定阈值的能量。
[0095]
图9示出了根据本发明的实施例的用于提取sift特征(步骤904)及计算与所提取sift特征相关联的误差(步骤910)的实施例方法900的流程图。在一些实施例中，步骤604可以作为步骤904来执行，并且与比较sift特征相关联的步骤610的部分可以作为步骤910被执行。
[0096]
在步骤922期间，执行sift特征提取。sift可以被理解为用于检测雷达图像(例如，rdi、rai)的特征的模态标识方法，所述特征例如对于缩放、旋转、平移和几何失真或图像的任何仿射失真是不变的。举例来说，在一些实施例中，通过计算图像的不同单元之间的梯度来获得sift特征提取。例如，对于每个群集的单元，量值m(m,n)和相位φ(m,n)可以通过应用等式3和4来确定：
[0097][0098][0099]
其中，x(m,n)是雷达图像的群集单元的子单元，m、n是子单元的位置。
[0100]
在一些实施例中，通过例如使用等式3和4，在与时间步长i处的特定群集单元相关联的区域上对例如rdi、rai或数据立方体(例如，来自步骤308a、308b和/或310)执行sift特征提取。
[0101]
在步骤928期间，计算在时间i处的群集单元的量值和/或相位与在时间i 1处的每个其他群集的量值和/或相位之间的误差，以生成l个误差值(其可以用作步骤610中的误差向量的一部分)。例如，在一些实施例中，可以使用相关值r，其可以由下式给出
[0102][0103]
其中x是时间i处的量值m或相位φ矢量，是时间i处的量值m或相位φ矢量的平均值，y是时间i 1处的量值m或相位φ，并且是时间i 1处的量值m或相位φ矢量的平均值。在其中使用量值m或相位φ两者的实施例中，等式5分别应用于每个度量(量值m和相位φ)，并且用等式5获得的两个相关性r之间的(例如，加权的)平均值被用作与聚集单元的sift特征相关联的单个度量。
[0104]
在一些实施例中，例如通过使用等式5，在时间步长i处的所有群集与时间步长i 1处的所有群集之间计算sift特征之间的相关性r。在一些实施例中，具有最高相关性并且大
于预定相关性阈值的时间步长i和i 1处的群集相关联。在一些实施例中，预定相关阈值在0.5和0.9之间。
[0105]
图10a和10b分别示出了根据本发明的实施例的输入雷达图像和具有sift特征的梯度的对应直方图。
[0106]
图11示出了根据本发明的实施例的用于计算在时间步长i和i 1的群集之间的wasserstein距离的实施例方法1100的流程图。在一些实施例中，步骤606可以被执行作为步骤1101。
[0107]
在步骤1101期间，在时间步长i和i 1的群集之间计算wasserstein距离。wasserstein距离(也称为陆地移动距离、wasserstein度量或kantorovich-rubinstein度量)是除了两个概率分布之间的相似性之外还计算两个概率分布之间的距离的数学函数。应当理解，关于wasserstein度量所使用的术语“距离(distance)”是分布之间的距离并且不一定是物理距离。例如，wasserstein度量可以用于确定两个群集的sift特征之间和/或两个群集的emd特征之间的距离。wasserstein度量在其他场景中可以是物理距离，例如，当相对于rai或rdi数据使用时。
[0108]
在一些实施例中，与每个聚类相关联的原始数据(例如，不同特征值的向量，诸如sift和/或emd，以及例如距离、多普勒和/或角度)被建模(近似)为具有相应均值μ和标准差σ的高斯分布。例如，在具有在时间步长i处具有均值μ1和标准差σ1的群集(p1)以及在时间步长i 1处具有平均偏差μ2和标准差σ2的群集(p2)的实施例中，wasserstein度量可以被计算为：
[0109][0110]
其中是l2范数。
[0111]
在一些实施例中，例如通过使用等式6，在时间步长i处的所有群集与时间步长i 1处的所有群集之间计算wasserstein度量。在一些实施例中，在时间步长i和i 1处的、具有最低wasserstein距离的群集相关联。
[0112]
图12示出了根据本发明的实施例的在时间i和i 1处具有两个群集的图像1201。每个群集单元1202、1204、1212和1214被近似为高斯分布。在一些实施例中，确定在时间步长i和i 1之间的所有可能的wasserstein，其在该实施例中是四个wasserstein距离，即w
1202,1212
(在群集1202与1212之间)、w
1202,1214
(在群集1202与1214之间)、w
1204,1212
(在群集1204与1212之间)和w
1204,1214
(在群集1204和1214之间)。可以使用等式6来计算每个wasserstein距离(w
1202,1212
、w
1202,1214
、w
1204,1212
、w
1204,1214
)。在一些实施例中，具有最小距离的群集相关联。
[0113]
在一些实施例中，图像1201是特征(例如，sift、emd)和wasserstein度量的表示，以确定特征之间的相似性。在一些实施例中，图像1201是雷达图像(例如，rai、rdi)，并且wasserstein度量用于基于运动的跟踪(例如，使用欧几里德距离)。
[0114]
在一些实施例中，在模板匹配期间使用单一类型的特征。例如，在一些实施例中，步骤316通过执行步骤702和710来执行，例如通过最小化总的均方误差来在时间步长i和i 1处分配群集。在一些实施例中，通过执行步骤904和910以及在时间步长i和i 1处分配群集，例如通过最大化群集之间的相关性来执行步骤316。在一些实施例中，步骤316通过仅基
于emd特征或仅基于sift特征执行步骤1101，并且例如通过最小化wasserstein距离(例如，最小化匹配的群集之间的wasserstein距离的总和)来在时间步长i和i 1处分配群集来执行。
[0115]
图13示出了根据本发明的实施例的使用模板匹配执行数据关联的方法，如应用于附图4的示例。
[0116]
如图所示，图13示出了非限制性示例，其中emd特征提取(步骤602)和sift特征提取(步骤604)针对群集402和404(在时间步长i处)和群集406和408(在时间步长i 1)提取几何特征，并且针对提取的每个几何特征在时间步长i(402和404)处所检测的每个群集与在时间步长i 1(406和408)处所检测的每个群集之间计算wasserstein度量(步骤606)。
[0117]
如图13中所示，针对在时间步长i(402和404)处和在时间步长i 1(406和408)处标识的每个群集，标识出高于预定阈值的imf。还为在时间步长i(402和404)以及在时间步长i 1(406和408)处标识的每个群集提取与sift特征相关联的量值m和相位φ。产生分别与群集402、404、406和408相关联的特征v
402
、v
404
、v
406
及v
408
的所得向量。特征v
402
、v
404
、v
406
和v
408
的向量被建模为高斯分布，并且针对每个特征(在该示例中，imf、m或φ等)，在时间步长i(402和404)处标识的、以及在时间步长i 1(406和408)处标识的每个群集之间计算wasserstein距离。因此，针对在时间步长i和i 1处所标识的群集之间的每个可能的分配(在该示例中，402/406、402/408、404/406和404/408)，生成误差度量的所得到的误差向量(在该实施例中为wasserstein距离，尽管也可以使用其他度量，诸如相关性)。
[0118]
然后，例如通过使用误差向量中的每个误差向量内的误差中的每个误差(在该实施例中为wasserstein距离)的(例如，加权的)平均值来生成相似性度量。因此，相似性度量可以被用作指示两个群集如何相似的度量。然后进行分配(例如，使用匈牙利分配)以最小化总误差。例如，在该示例中，误差d
402_406
和d
404_408
的总和低于误差d
404_406
和d
402_408
的总和，并且因此群集402和406被匹配并且群集404和408被匹配(也如在图4中示出的)。
[0119]
在一些实施例中，例如在图6中，可以使用多于一种类型的特征来执行模板匹配。在这样的实施例中，可能的是，第一类型的特征(例如emd)指示第一匹配(例如，将在时间步长i处的群集a与时间步长i 1处的群集a’匹配，并且将在时间步长i处的群集b与在时间步长i 1处的群集b’匹配)，并且第二类型的特征(例如，sift)指示第二不同匹配(例如，将在时间步长i处的群集a与在时间步长i 1处的群集b’匹配，并且将在时间步长i处的群集b与时间步长i 1处的群集a’匹配)。在一些这样的实施例中，平均误差可以被用于确定到特定轨迹的最终群集分配。在一些实施例中，可以使用加权平均值(具有例如预定系数)而不是平均。在一些实施例中，可以修改等式1中的函数f以考虑例如将权重系数平均或应用于与相应特征相关联的相应误差度量。
[0120]
如图6中所示，模板匹配可以利用emd和sift特征中的一个或多个来执行。一些实施例可以包括用于模板匹配的不同特征。例如，一些实施例可以依赖于基于深度学习的特征提取和通过使用深度卷积神经网络(dcnn)相关来关联，用于处理数据立方体(距离-多普勒-角度数据立方体，例如，来自步骤310的输出)，来提取在模板匹配步骤期间要使用的几何特征，以通过确定这样的基于深度学习的几何特征之间的相关性和/或wasserstein来确定群集之间的相似性(例如，期间步骤606和/或610)。
[0121]
例如，在一些实施例中，dcnn的第l层的输出可以由(w
l
、h
l
、d
l
)给出，其中w
l
、h
l
是每
个特征图的宽度和高度，并且d
l
是第l层的特征图的尺寸/数量。在一些实施例中，代替一个层，可以将多个层输出处理为提取特征，例如，层l和层l 1。
[0122]
在一些实施例中，dcnn被训练为通过使用具有数据集的监督学习来学习不同的几何特征，该数据集包括执行多个活动(例如，行走、跑步、闲着等)的多个(例如，人类)目标。
[0123]
在一些实施例中，除了emd、sift和/或基于深度学习的几何特征中的一个或多个之外，还在依赖于距离、多普勒和角度中的一个或多个的运动模型上执行模板匹配。
[0124]
这里总结了本发明的示例实施例。其他实施例也可以从本文提交的整个说明书和权利要求中理解。
[0125]
示例1。一种用于跟踪目标的方法，方法包括：从雷达的雷达传感器接收数据；处理所接收的数据以检测目标；在第一时间步长标识第一检测目标的第一几何特征，第一检测目标与第一轨迹相关联；在第二时间步长标识第二检测目标的第二几何特征；基于第一几何特征和第二几何特征来确定误差值；以及基于误差值将第二检测目标与第一轨迹相关联。
[0126]
示例2。如示例1的方法，其中，将第二检测目标与第一轨迹相关联包括：当误差值低于预定阈值时，将第二检测目标与第一轨迹相关联。
[0127]
示例3。根据示例1或2中任一项的方法，其中将第二检测目标与第一轨迹相关联包括：使用匈牙利分配将第二检测目标与第一轨迹相关联。
[0128]
示例4。根据示例1至3中任一项的方法，其中：标识第一几何特征包括：对与第一检测目标相关联的所接收的数据执行第一经验模态分解(emd)，从第一emd标识高于预定阈值的第一本征模态函数(imf)，并且对第一imf进行排序；标识第二几何特征包括：对与第二检测目标相关联的所接收的数据执行第二emd，从第二emd标识高于预定阈值的第二imf，并且对第二imf进行排序；以及确定误差值包括基于排序的第一imf和第二imf来确定均方误差。
[0129]
示例5。根据示例1至4中任一项的方法，其中标识第一几何特征包括基于所接收的数据对与第一时间步长相关联的第一雷达图像执行不变特征转换(sift)特征提取，以提取与第一检测目标相关联的第一量值或第一相位，其中标识第二几何特征包括基于所接收的数据对与第二时间步长相关联的第二雷达图像执行sift特征提取，以提取与第二检测目标相关联的第二量值或第二相位，并且其中确定误差值包括确定第一量值与第二量值之间或第一相位与第二相位之间的相关性。
[0130]
示例6。根据示例1至5中任一项的方法，其中，确定误差值包括确定第一量值和第二量值之间以及第一相位和第二相位之间的相关性。
[0131]
示例7。根据示例1至6中任一项的方法，其中标识第一几何特征包括在第一时间步长将与第一检测目标相关联的数据近似为具有第一均值和第一标准差的高斯分布，其中标识第二几何特征包括在第二时间步长将与第二检测目标相关联的数据近似为具有第二均值和第二标准差的高斯分布，并且其中确定误差值包括基于第一均值、第二均值、第一标准差和第二标准差来确定误差值。
[0132]
示例8。根据示例1至7中任一项的方法，还包括：使用k均值聚类将检测目标聚类成单元的群集以生成多个群集，其中，第一检测目标和第二检测目标是多个群集中的第一群集和第二群集。
[0133]
示例9。根据示例1至8中的一个的方法，还包括使用无迹卡尔曼滤波器跟踪第一检
测目标。
[0134]
示例10。根据示例1至9中任一项的方法，其中跟踪第一检测目标包括随时间跟踪第一检测目标的定位信息。
[0135]
示例11。根据示例1至10中任一项的方法，还包括：在第一时间步长标识与第一检测目标相关联的第一距离和第一多普勒速度；以及在第二时间步长标识与第二检测目标相关联的第二距离和第二多普勒速度，其中将第二检测目标与第一轨迹相关联还基于第一距离和第二距离以及第一多普勒速度和第二多普勒速度。
[0136]
示例12。根据示例1至11中任一项的方法，其中，第一检测目标和第二检测目标是人类目标。
[0137]
示例13。根据示例1至12中任一项的方法，其中，第一时间步长和第二时间步长是连续时间步长。
[0138]
示例14。根据示例1至13中任一项的方法，还包括：使用雷达的发射器天线发射雷达信号；使用雷达的接收器天线接收反射雷达信号；以及使用模数转换器(adc)从所接收的反射雷达信号生成数字数据，其中从雷达接收数据包括从adc接收数据，并且其中发射雷达信号包括以每秒10帧或更慢的帧速率发射雷达信号。
[0139]
示例15。根据示例1至14中任一项的方法，其中雷达是毫米波雷达。
[0140]
示例16。根据示例1至15中的一项的方法，还包括：从另一雷达的另一雷达传感器接收另外的数据；处理所接收的另外的数据以检测另外的目标；在第三时间步长标识另一检测目标的另一几何特征；基于第一几何特征和另一几何特征来确定另一误差值；以及基于另一误差值将另一检测目标关联到与第一检测目标相关联的第一轨迹。
[0141]
示例17。一种雷达系统，包括：毫米波雷达传感器，毫米波雷达传感器包括：发射天线，发射天线被配置为发射雷达信号；第一接收天线和第二接收天线，第一接收天线和第二接收天线被配置为接收反射雷达信号；模数转换器(adc)，模数转换器被配置为基于反射雷达信号在adc的输出处生成原始数字数据；以及处理系统，处理系统被配置为处理原始数字数据以用于：检测目标；在第一时间步长标识第一检测目标的第一几何特征；在第二时间步长标识第二检测目标的第二几何特征；基于第一几何特征和第二几何特征确定误差值；以及基于误差值将第二检测目标关联到与第一检测目标相关联的第一轨迹。
[0142]
示例18。根据示例17的雷达系统，其中，发射天线被配置为以每秒10帧或更慢的速率发射雷达信号。
[0143]
示例19。一种方法，包括：从雷达的雷达传感器接收数据；处理所接收的数据以检测人类；使用k均值聚类将所检测的人类聚类成单元的群集，以生成多个群集；在第一时间步长标识多个群集中的第一群集的第一几何特征；在第二时间步长标识多个群集中的第二群集的第二几何特征，其中第一时间步长和第二时间步长是连续时间步长；基于第一几何特征和第二几何特征来确定误差值；以及基于误差值将第二群集关联到与第一群集相关联的第一轨迹。
[0144]
示例20。根据示例19的方法，其中：标识第一几何特征包括：对与第一群集相关联的所接收的数据执行第一经验模态分解(emd)，从第一emd标识高于预定阈值的第一本征模态函数(imf)，以及对第一imf进行排序；标识第二几何特征包括：对与第二群集相关联的所接收的数据执行第二emd，从第二emd标识高于预定阈值的第二imf；以及确定误差值包括基
于第一imf和第二imf来确定误差值。
[0145]
示例21。根据示例19或20中的一个的方法，其中标识第一几何特征和第二几何特征包括使用基于从所接收的数据导出的数据立方体的深度卷积神经网络。
[0146]
虽然已经参考说明性实施例描述了本发明，但此描述并不旨在以限制性意义来解释。参考本说明书，说明性实施例的各种修改和组合以及本发明的其它实施例对于本领域技术人员将是显而易见的。因此，所附权利要求旨在涵盖任何这样的修改或实施例。