基于雷达的目标组生成的制作方法

1.本公开总体上涉及一种电子系统和方法，并且在特定实施例中，涉及基于雷达的目标组生成。


背景技术：

2.由于硅锗(sige)和精细几何互补金属氧化物半导体(cmos)工艺等低成本半导体技术的快速发展，毫米波频率范围的应用在过去几年中获得了极大的关注。高速双极和金属氧化物半导体(mos)晶体管的可用性导致对用于毫米波应用的集成电路的需求不断增长，例如24ghz、60ghz、77ghz和80ghz以及100ghz以上。例如，此类应用包括汽车雷达系统和多千兆位通信系统。
3.在一些雷达系统中，通过发送频率调制信号、接收频率调制信号的反射(也称为回波)以及基于频率调制信号的发送和接收之间的时间延迟和/或频率差，来确定雷达和目标之间的距离。因此，一些雷达系统包括用于发射射频(rf)信号的发射天线和用于接收反射的射频信号的接收天线，以及用于生成发射信号和接收射频信号的相关射频电路。在某些情况下，多个天线可以用于使用相控阵技术实现定向波束。具有多个芯片组的多输入多输出(mimo)配置也可用于执行相干和非相干信号处理。


技术实现要素：

4.根据一个实施例，一种使用雷达生成目标组的方法，该方法包括：使用雷达生成多个雷达图像；利用卷积编码器接收多个雷达图像；以及基于卷积编码器的输出使用多个全连接层生成目标组，其中目标组的每个目标具有关联的第一坐标和第二坐标。
5.根据一个实施例，一种训练用于生成目标组的神经网络的方法，该方法包括：将训练数据提供至神经网络；利用神经网络生成预测目标组，其中预测目标组中的每个预测目标具有关联的第一和第二坐标；使用有序最小分配将每个预测目标分配给参考目标的对应参考目标以生成有序参考目标组，其中参考目标组的每个参考目标包括第一和第二参考坐标；使用基于距离的损失函数来确定预测目标组和有序参考目标组之间的误差；和更新所述神经网络的参数以最小化确定的误差。
6.根据一个实施例，一种雷达系统包括：毫米波雷达传感器，包括：发射天线，被配置为发射雷达信号；第一和第二接收天线，被配置为接收反射的雷达信号；模数转换器adc，被配置为在adc的输出处基于反射的雷达信号生成原始数字数据；和处理系统，被配置为使用神经网络处理原始数字数据以生成目标组，其中目标组的每个目标具有关联的第一和第二坐标，并且其中神经网络包括：第一全连接层，耦合到adc的输出，转置层，所述转置层具有的输入耦合到全连接层的输出，以及第二全连接层，所述第二全连接层具有的输入耦合到转置层的输出，其中第一和第二全连接层包括非均匀离散傅立叶变换系数。
附图说明
7.为了更完整地理解本发明及其优点，现结合附图参考以下描述，其中：
8.图1示出了根据本发明实施例的毫米波雷达系统的示意图；
9.图2示出了根据本发明实施例的由图1的发射器天线发射的一系列线性调频脉冲(chirp)；
10.图3示出了用于处理原始数字数据以执行目标检测的示例性方法的流程图；
11.图4示出了根据本发明实施例的用于处理雷达图像以执行目标检测的实施例处理链的框图；
12.图5a示出了根据本发明实施例的图4的卷积编码器和多个全连接层的可能实现的框图；
13.图5b示出了根据本发明实施例的图5a的卷积编码器的残差层的可能实现的框图；
14.图6示出了根据本发明实施例的用于处理雷达图像以执行目标检测的实施例处理链的框图；
15.图7示出了根据本发明实施例的用于训练用于执行目标检测的处理链参数的实施例方法的流程图；
16.图8示出了根据本发明实施例的用于执行图7的方法的误差确定步骤的实施例方法的流程图；
17.图9示出了根据本发明实施例的用于将预测位置与地面实况位置匹配的匈牙利分配和有序最小分配的示例；
18.图10示出了根据本发明的实施例，当使用匈牙利分配和有序最小分配执行图7的方法时，比较f1分数与历元数的波形；
19.图11-13示出了根据本发明实施例的用于处理雷达图像以执行目标检测的实施例处理链的框图；和
20.图14示出了根据本发明实施例的毫米波雷达系统的示意图。
21.除非另有说明，不同图中对应的数字和符号通常指相应的部件。附图是为了清楚地说明优选实施例的相关方面而绘制的，并不一定按比例绘制。
具体实施方式
22.下文将详细讨论所公开实施例的制作和使用。然而，应当理解，本发明提供了许多可适用的发明概念，这些概念可以在各种具体环境中实施。所讨论的具体实施例仅是制造和使用本发明的具体方式的说明，并不限制本发明的范围。
23.以下描述说明了各种具体细节，以根据描述提供对若干示例实施例的深入理解。实施例可以在没有一个或多个特定细节的情况下获得，或者通过其他方法、组件、材料等获得。在其他情况下，未详细示出或描述已知的结构、材料或操作，以免模糊实施例的不同方面。本说明书中对“实施例”的提及表明，至少一个实施例中包含关于该实施例描述的特定配置、结构或特征。因此，可能出现在本说明书不同点的短语如“在一个实施例中”不一定指同一实施例。此外，在一个或多个实施例中，特定的构造、结构或特征可以以任何适当的方式组合。
24.将在特定上下文中描述本发明的实施例，基于深度学习并在毫米波范围内操作的
基于雷达的目标列表生成。本发明的实施例可以在其他频率范围内操作。
25.在本发明的实施例中，深度神经网络用于基于毫米波雷达传感器的数字输出来检测并提供多个目标的中心位置。在一些实施例中，由深度神经网络实现的非均匀离散傅立叶变换用于生成雷达图像，该雷达图像被深度神经网络用于目标检测。
26.在一些实施例中，通过使用监督学习来训练深度神经网络。在一些实施例中，在训练期间应用损失函数之前，使用分配算法，例如匈牙利分配或有序最小分配，将由深度神经网络生成的预测与与地面实况关联的标签匹配。在一些实施例中，训练期间使用的损失函数是基于距离的损失函数。
27.雷达、例如毫米波雷达可以用于检测目标，例如人、汽车等。例如，图1示出了根据本发明实施例的毫米波雷达系统100的示意图。毫米波雷达系统100包括毫米波雷达传感器102和处理系统104。
28.在正常操作期间，毫米波雷达传感器102作为调频连续波(fmcw)雷达传感器操作并且使用发射器(tx)天线114向场景120发射多个tx雷达信号106，例如线性调频脉冲。使用rf和模拟电路130生成雷达信号106。雷达信号106可以在20ghz到122ghz的范围内。
29.场景120中的物体可以包括一个或多个静态和移动物体，例如汽车、摩托车、自行车、卡车和其他车辆、闲置和移动的人和动物、家具、机器、机械结构、墙壁和其他类型的结构。其他物体也可能出现在场景120中。
30.雷达信号106被场景120中的物体反射。也称为回波信号的反射的雷达信号108被接收器(rx)天线116a和116b接收。rf和模拟电路130使用例如带通滤波器(bpf)、低通滤波器(lpf)、混频器、低噪声放大器(lna)和/或中频(if)放大器以本领域已知的方式处理接收到的反射雷达信号108，以生成模拟信号x
outa
(t)和x
outb
(t)。
31.使用模数转换器adc 112将模拟信号x
outa
(t)和x
outb
(t)转换为原始数字数据x
out_dig
(n)。原始数字数据x
out_dig
(n)由处理系统104处理以检测目标及其位置。在一些实施例中，处理系统104还可用于识别、分类和/或跟踪场景120中的一个或多个目标。
32.虽然图1示出了具有两个接收器天线116的雷达系统，但是应当理解，也可以使用多于两个的接收器天线116，例如三个或更多。
33.虽然图1示出了具有单个发射器天线114的雷达系统，但是应当理解，也可以使用多于一个发射器天线114，例如两个或更多个。
34.在一些实施例中，处理系统104的输出可以被其他系统用于进一步处理。例如在一个实施例中，其中毫米波雷达系统100在汽车中被实施，处理系统104的输出可由汽车的中央控制器使用以支持高级驾驶辅助系统(adas)、自适应巡航控制(acc)、自动驾驶、碰撞警告(cw)和/或其他汽车技术。
35.控制器110控制毫米波雷达传感器102的一个或多个电路，例如rf和模拟电路130和/或adc 112。例如，控制器110可以被实现为例如定制的数字或混合信号电路。控制器110也可以以其他方式实现，例如使用通用处理器或控制器。在一些实施例中，处理系统104实现控制器110的一部分或全部。
36.处理系统104可以用通用处理器、控制器或数字信号处理器(dsp)来实现，其包括例如耦合到存储器的组合电路。在一些实施例中，处理系统104可以实现为专用集成电路(asic)。在一些实施例中，处理系统104可以用例如arm、risc或x86架构来实现。在一些实施
例中，处理系统104可以包括人工智能(ai)加速器。一些实施例可以使用在dsp或通用微控制器上运行的硬件加速器和软件的组合。其他实现也是可能的。
37.在一些实施例中，毫米波雷达传感器102和处理系统104的一部分或全部可以在同一集成电路(ic)内实现。例如，在一些实施例中，毫米波雷达传感器102和处理系统104的一部分或全部可以在集成在同一封装中的相应半导体衬底中实现。在其他实施例中，毫米波雷达传感器102和处理系统104的一部分或全部可以在同一单片半导体衬底中实现。其他实现也是可能的。
38.作为非限制性示例，rf和模拟电路130可以被实现，例如如图1所示。在正常操作期间，压控振荡器vco 136生成雷达信号，例如线性频率线性调频脉冲(例如，从57ghz到64ghz，或从76ghz到77ghz)，其由发射天线114发射。vco 136由锁相环pll 134控制，pll 134从参考振荡器132接收参考时钟信号(例如，80mhz)。pll 134由包括分频器138和放大器140的回路控制。
39.由发射天线114发射的tx雷达信号106被场景120中的物体反射，并被接收天线116a和116b接收。由接收天线116a和116b接收的回波分别利用混频器146a和146b与由发射天线114发射的信号的副本混合，以生成相应的中频(if)信号x
ifa
(t)x
ifb
(t)(也称为作为差拍信号)。在一些实施例中，差拍信号x
ifa
(t)x
ifb
(t)具有在10khz和1mhz之间的带宽。带宽低于10khz或高于1mhz的差拍信号也是可能的。
40.差拍信号x
ifa
(t)x
ifb
(t)利用相应的低通滤波器(lpf)148a和148b滤波，然后由adc 112采样。adc 112有利地能够以远小于由接收天线116a和116b接收的信号频率的采样频率对滤波后的差拍信号x
outa
(t)x
outb
(t)进行采样。因此，在一些实施例中，使用fmcw雷达有利地允许adc 112的紧凑且低成本的实现。
41.原始数字数据x
out_dig
(n)在一些实施例中包括滤波后的差拍信号x
outa
(t)和x
outb
(t)的数字化版本，该原始数字数据被(例如暂时)存储在例如每个接收器天线116的n
c x ns的矩阵中，用于由处理系统104进一步处理，其中nc是帧中考虑的线性调频脉冲数，ns是每个线性调频脉冲的发射样本数。
42.在一些实施例中，adc 112是具有多个输入的12位模数转换器adc。也可以使用具有较高分辨率(例如14位或更高)或具有较低分辨率(例如10位或更低)的adc。在一些实施例中，可以使用每个接收器天线一个adc。其他实现也是可能的。
43.图2示出了根据本发明实施例的由tx天线114发射的一系列线性调频脉冲106。如图2所示，线性调频脉冲106被组织在多个帧中并且可以实现为上线性调频脉冲。一些实施例可以使用下线性调频脉冲或上线性调频脉冲和下线性调频脉冲的组合，例如上-下线性调频脉冲和下-上线性调频脉冲。也可以使用其他波形形状。
44.如图2所示，每个帧可以包括多个线性调频脉冲106(通常也称为脉冲)。例如，在一些实施例中，一帧中的脉冲数为16。一些实施例可包括每帧多于16个脉冲，例如20个脉冲、32个脉冲或更多，或每帧少于16个脉冲，例如10个脉冲、8个脉冲、4个脉冲或更少。在一些实施例中，每一帧仅包括单个脉冲。
45.每ft时间，帧重复一次。在一些实施例中，ft时间是50ms。也可以使用不同的ft时间，例如大于50ms，例如60ms、100ms、200ms或更多，或小于50ms，例如45ms、40ms或更少。
46.在一些实施例中，ft时间被选择为使得帧n的最后一个线性调频脉冲的开始和帧n
1的第一个线性调频脉冲的开始之间的时间等于prt。其他实施例可以使用或导致不同的时序。
47.帧的线性调频脉冲之间的时间通常称为脉冲重复时间(prt)。在一些实施例中，prt是5ms。也可以使用不同的prt，例如小于5ms，例如4ms、2ms或更少，或超过5ms，例如6ms或更多。
48.线性调频脉冲的持续时间(从开始到结束)通常称为线性调频脉冲时间(ct)。在一些实施例中，线性调频脉冲时间可以是例如64μs。也可以使用更高的线性调频脉冲时间，例如128μs或更高。也可以使用较低的线性调频脉冲时间。
49.在一些实施例中，线性调频脉冲带宽可以是例如4ghz。更高的带宽(例如6ghz或更高)或更低的带宽(例如2ghz、1ghz或更低)也是可能的。
50.在一些实施例中，毫米波雷达传感器102的采样频率可以是例如1mhz。更高的采样频率、例如2mhz或更高，或更低的采样频率、例如500khz或更低，也是可能的。
51.在一些实施例中，用于生成线性调频脉冲的样本数可以是例如64个样本。也可以使用更高数量的样本、例如128个样本，或更多或更少的样本，例如32个样本或更少。
52.图3示出了用于处理原始数字数据x
out_dig
(n)以执行目标检测的示例性方法300的流程图。
53.在步骤302a和302b期间，接收原始adc数据x
out_dig
(n)。如图所示，原始adc数据x
out_dig
(n)包括来自多个(例如，图3所示示例中的2个)天线的独立基带雷达数据。在步骤304a和304b期间，对相应天线116的原始adc数据执行信号调节、低通滤波和背景去除。原始adc数据x
out_dig
(n)雷达数据被滤波，直流dc分量被去除以例如去除tx-rx自干扰，并且可选地对干扰有色噪声进行预滤波。滤波可以包括去除与其他相邻距离门(range-gate)测量值明显不同的数据离群值。因此，这种滤波还用于从雷达数据中去除背景噪声。
54.在步骤306a和306b期间，2d移动目标指示(mti)滤波器被分别应用于在步骤304a和304b期间生成的数据，以去除来自静态目标的响应。mti滤波器可以通过以下来执行：减去沿快时间(内部线性调频脉冲时间)平均值以去除扰乱前几个距离单元(range bins)的发射器-接收器泄漏，然后减去沿慢时间(间线性调频脉冲时间)的平均值以去除来自静态物体(或零多普勒目标)的反射。
55.在步骤308a和308b期间，对分别在步骤306a和306b期间生成的滤波后的雷达数据执行一系列fft。对于数据帧中预定数量的线性调频脉冲中的每个线性调频脉冲，沿着每个波形计算具有线性调频脉冲长度的第一加窗快速傅氏变换fft。每个线性调频脉冲波形的fft可以称为“距离fft”。多个连续周期内跨每个距离单元计算出第二个fft，以提取多普勒信息。在步骤308a和308b期间执行每个2d fft之后，分别生成距离-多普勒图像。
56.在步骤310期间，最小方差无失真响应(mvdr)技术，也称为capon，用于根据距离和来自不同天线的多普勒数据确定到达角。在步骤310期间生成距离角图像(rai)。
57.在步骤312期间，使用有序统计(os)恒定虚警率(os-cfar)检测器来检测目标。通过将rai的功率水平与阈值进行比较，高于阈值的点被标记为目标(“一”)，而低于阈值的点被标记为非目标(“零”)，cfar检测器生成检测图像，其中例如“一”代表目标，“零”代表非目标，例如基于rai的功率水平。
58.在步骤314期间，通过使用具有噪声的基于密度的聚类应用(dbscan)算法，对在步
骤312期间生成的检测图像中存在的目标聚类，以将来自检测图像的目标关联到集群。dbscan的输出是将所检测的点分组为特定目标。dbscan是一种流行的无监督算法，它使用最小点和最小距离标准来聚类目标。
59.图4示出了根据本发明的实施例的用于处理雷达图像(例如，rdi)以执行目标检测的实施例处理链400的框图。处理链400可以由处理系统104实现。
60.如图4所示，可以例如通过执行步骤302、304、306和308来生成雷达图像。用于生成雷达图像的其他方法也是可能的。
61.如图4所示，处理链400包括卷积编码器402和多个全连接(密集)层404。卷积编码器402接收与每个天线116关联的雷达图像。在一些实施例中，卷积编码器执行基于接收的雷达图像进行目标检测，以及对目标进行聚焦、剔除噪声和虚假目标并进行特征提取，诸如距离信息等。在一些实施例中，卷积编码器402对来自不同天线的数据单独操作，并保留相位信息(其可由多个全连接层404使用，例如用于角度估计和x、y位置估计)。在一些实施例中，卷积编码器402的输出是8x2xnum_antxnum_chan的向量，其中num_ant是天线的数量(例如，在图4所示的实施例中为2，在图6所示的实施例中为3)，并且num_chan是例如卷积编码器402的最后一层(在压平层之前)的通道数量。在一些实施例中，由卷积编码器402(例如，由残差块层)生成的多维向量然后在将输出提供给多个全连接层404之前被压平。在一些实施例中，残差块层是卷积编码器层402的最后一层。
62.多个全连接层404接收卷积编码器402的输出，并例如通过使用天线之间的、例如来自每个天线的已处理雷达图像(例如，由卷积编码器402单独输出)的相位信息来执行角度估计，并且例如通过执行将从卷积转换器402提取的特征映射到目标位置来执行x、y位置估计。多个全连接层404例如经由重塑层生成具有每个检测目标的坐标的输出向量。例如，在一个实施例中，多个全连接层404包括第一(例如552)和第二(例如554)全连接层，每个全连接层都具有整流线性单元(relu)激活，随后是具有线性激活(无激活)的第三(例如556)全连接层，因此输出可以采用任何正数或负数。在一些实施例中，第三全连接层的输出被重塑，具有重塑层(例如528)，例如从具有单列和2*max_targets行的向量到具有max_targets行和两列的向量(每列代表相应的坐标，例如x，y)，其中max_targets是同时可检测目标的最大数量。
63.在图4所示的实施例中，输出向量包括与每个检测目标的中心关联的(x，y)笛卡尔坐标列表。例如，在场景120中存在两个检测目标的实施例中，输出向量s
targets
可以由下式给出
[0064][0065]
其中(x1，y1)是target1中心的笛卡尔坐标，(x2，y2)是target1中心的笛卡尔坐标。在一些实施例中，也可以使用其他坐标系，例如极坐标。
[0066]
在一些实施例中，输出向量具有固定大小(例如，3x2、4x2、5x2、7x2、10x2或不同)。在这样的实施例中，可以通过预定义值(例如，检测空间之外的值，诸如负值)来识别非目标。在一些实施例中，预定义值在检测空间之外但靠近检测空间。例如，在一些实施例中，与
预定义值(例如，(-1，-1))关联的位置和最接近与预定义值关联的位置(例如，(0，0))的检测空间的点之间的欧几里得距离保持较低(例如，低于检测空间边缘之间最大距离的10％)，这例如是因为损失函数可以考虑预定义值，并且预定义值和检测空间之间的距离越大、与非目标相关的误差的权重就越大。例如，在检测空间从(0，0)到(12，12)，并且向量s
targets
的固定大小为5x2(max_targets＝5)的实施例中，
“‑
1”的预定值可以用于识别非目标。例如，对应于场景120中两个检测目标的输出向量可以由下式给出
[0067][0068]
其中x1、y1、x2、y2均在0到12之间。
[0069]
在一些实施例中，卷积编码器402可以被实现为深度卷积神经网络dcnn。例如，图5a示出了根据本发明实施例的卷积编码器402和多个全连接层404的可能实现的框图。图5b示出了根据本发明实施例的残差层560的框图。残差层560是残差层504、508、512、516和520的可能实施方式。
[0070]
如图5a所示，卷积编码器402可以用dcnn实现，该dcnn包括：用于从相应天线116接收雷达图像的输入层502；三维(3d)卷积层506、510、514、518；3d残差层504、508、512、516、520；压平层522，多个全连接层404包括全连接层552、554和556。重塑层528可用于生成输出向量，例如具有(x，y)坐标。
[0071]
在一些实施例中，3d卷积层(506、510、514、518)的内核大小是3x3。在一些实施例中，每个3d卷积层(506、510、514、518)具有与对应的3d残差层(508、512、516、520)的输入相同数量的通道，并使用relu作为激活函数。在一些实施例中，每个3d卷积层(506、510、514、518)在不同的天线上单独工作。在一些实施例中，残差层之间耦合的3d卷积层具有(2，2，1)的步幅。
[0072]
在一些实施例中，3d残差层504、508、512、516、520都具有相同的架构(例如，每个包括相同数量的层)。
[0073]
在一些实施例中，卷积编码器402可以用更多的层、用更少的层和/或用不同类型的层来实现。
[0074]
在一些实施例中，全连接层552和554各自具有relu激活函数。全连接层556具有线性激活函数，因此输出可以采用任何正数或负数。在一些实施例中，全连接层556的输出被重塑，使用重塑层528，例如从具有单列和维度*max_targets行的向量到具有max_targets行和维度列的向量(每一列用于表示各自的坐标，其中max_targets是允许同时检测的最大目标数量)。例如，在具有2维(如图4所示)的实施例中，全连接层输出具有单列和2*max_targets行的向量，并且重塑层528将这种向量映射到具有max_targets行和2列的向量，例如，对于(x，y)坐标。在具有3个维度(例如图6中所示)的实施例中，全连接层输出具有单列和3*max_targets行的向量，并且重塑层528将这种向量映射到具有max_targets行和3列的向量，例如对于(x，y，z)坐标。
[0075]
在一些实施例中，多个全连接层404可以用不同数量的层(例如，2、4、5或更多)来实现。
[0076]
在一些实施例中，在每个卷积层(例如，506、510、514、518)中，卷积层的输入利用num_chan滤波器(例如，大小为3x3x1)滤波以生成num_chan输出特征图。在一些实施例中，通道数量num_chan是例如超参数，其可以例如在每个跨步卷积层中例如以1.8的速率增加。例如，卷积层510的通道数量num_chan
510
可由round(1.8*(num_chan
506
))给出，其中num_chan
506
为卷积层506的通道数量，round()为round函数。在一些实施例中，也可以使用floor函数(向下舍入)或ceiling函数(向上舍入)。在一些实施例中，通道的增加率可以高于1.8，例如1.85、1.9、2或更高，或低于1.8，例如1.65、1.6或更低。在一些实施例中，每个卷积层的通道数量可以单独选择并且不受特定(例如，线性)增加率的影响。
[0077]
作为非限制性示例，在一些实施例中：
[0078]
输入层502的输出具有128个距离单元(例如，样本数除以2)、32个多普勒单元(例如，一帧中的线性调频脉冲数量)、2个天线和2个通道(例如，实数和虚数)；
[0079]
3d残差层504的输出具有128个距离单元、32个多普勒单元、2个天线和2个通道；
[0080]
卷积层506的输出具有64个距离单元、16个多普勒单元、2个天线和4个通道(例如，使用1.8的增加率)，其中卷积层506具有4个滤波器，滤波器内核大小为3x3x1，步长为2x2x1，并使用relu作为激活函数；
[0081]
3d残差层508的输出具有64个距离单元、16个多普勒单元、2个天线和4个通道；
[0082]
卷积层510的输出具有32个距离单元、8个多普勒单元、2个天线和7个通道(例如，使用1.8的增加率)，其中卷积层510具有7个滤波器，滤波器内核大小为3x3x1，步长为2x2x1，并使用relu作为激活函数；
[0083]
3d残差层512的输出具有32个距离单元、8个多普勒单元、2个天线和7个通道；
[0084]
卷积层514的输出具有16个距离单元、4个多普勒单元、2个天线和13个通道(例如，使用1.8的增加率)，其中卷积层514具有13个滤波器，滤波器内核大小为3x3x1，步长为2x2x1，并使用relu作为激活函数；
[0085]
3d残差层516的输出有16个距离单元、4个多普勒单元、2个天线和13个通道；
[0086]
卷积层518的输出具有8个距离单元、2个多普勒单元、2个天线和23个通道(例如，使用1.8的增加率)，其中卷积层518具有23个滤波器，滤波器内核大小为3x3x1，步长为2x2x1，并使用relu作为激活函数；
[0087]
3d残差层520的输出有8个距离单元、2个多普勒单元、2个天线和23个通道；
[0088]
压平层522的输出大小为736(8*2*2*23＝736)；
[0089]
全连接层552的输出大小为128，其中全连接层552实现为具有128个神经元的密集层并使用relu作为激活函数；
[0090]
全连接层552的输出大小为128，其中全连接层552实现为具有128个神经元的密集层并使用relu作为激活函数；
[0091]
全连接层554的输出大小为32，其中全连接层554实现为具有32个神经元的密集层并使用relu作为激活函数；
[0092]
全连接层556的输出大小为10(当max_targets＝5时)，其中全连接层556实现为具有max_targets*2个神经元的密集层并使用线性激活函数；
[0093]
其中残差层504、508、512、516和520被实现为残差层560，具有各自具3x3x1的滤波器内核大小的卷积层562、566，卷积层570具有1x1x1的滤波器内核大小，并且每个卷积层562、566和570具有1x1x1的步幅，并使用relu作为激活函数，并且批归一化层568和卷积层570的输出通过添加层572相加。
[0094]
如等式1和2所示，在一些实施例中，输出向量包括用于每个目标的两个坐标。在一些实施例中，输出向量包括引用每个检测目标的三个坐标。例如，图6示出了根据本发明的实施例的用于处理雷达图像(例如，rdi)以执行目标检测的实施例处理链600的框图。处理链600可由处理系统104实现。
[0095]
在一些实施例中，卷积编码器602和多个全连接层604可以被实现为卷积编码器402和全连接层404，例如，如图5a所示，例如适用于三个维度。
[0096]
如图6所示，可以例如通过对与三个接收器天线116关联的数据执行步骤302、304、306和308来生成雷达图像。用于生成雷达图像的其他方法也是可能的。
[0097]
如图4和图6所示，输出向量包括有关检测目标中心的信息。在一些实施例中，例如基于在网络训练期间使用的标签，可以使用检测目标的不同部分，例如最靠近雷达的检测目标的点的坐标。
[0098]
在一些实施例中，处理链的参数、例如卷积编码器(例如，402、602、1104、1304)和/或全连接层(例如，404、604、1106、1306)的参数可以通过使用预先标记有地面实况的训练数据组进行训练。例如，在一些实施例中，训练数据组的雷达图像(例如，rdi)被提供给卷积编码器。将全连接层的相应输出与地面实况进行比较，并更新卷积编码器和全连接层的参数，以减少全连接层的输出与地面实况的误差。例如，图7示出了根据本发明的实施例的用于训练用于执行目标检测的处理链参数的实施例方法700的流程图。方法700可由处理系统104实施。
[0099]
在步骤702期间，将训练数据提供给处理链(例如，400、600、1100、1200、1300)。例如，在一些实施例中，训练数据包括雷达图像(例如，rdi)，并且处理链包括卷积编码器(例如，402、602)和多个全连接层(例如，404、604)。
[0100]
在一些实施例中，处理链包括用于执行雷达图像生成的处理元件，例如用于执行步骤302、306和306的处理元件(或神经网络1102)。在一些这样的实施例中，训练数据包括来自雷达传感器(例如102)的原始数字数据(例如x
out_dig
(n))。
[0101]
在步骤704期间，从处理链的输出中获得预测目标的(例如，中心)位置。例如在一些实施例中，为每个预测目标获得2d笛卡尔坐标。在一些实施例中，为每个预测目标获得3d笛卡尔坐标。在一些实施例中，使用其他类型的坐标，例如极坐标。在一些实施例中，坐标对应于预测目标的中心。在一些实施例中，坐标对应于预测目标的不同参考点。
[0102]
在步骤706期间，为了比较的目的，提供与参考目标(也称为地面实况)关联的位置数据(例如坐标)。作为非限制性示例，训练数据组的一部分可以与两个目标相关联。两个目标的实际位置是已知的(例如，可以使用摄像机和/或使用方法300和/或使用其他方法计算/确定实际位置或地面实况)。在步骤706期间，提供两个目标的实际坐标(参考坐标)用于比较目的。
[0103]
在步骤708期间，确定预测目标位置(例如，由处理链预测的坐标)和参考目标坐标(与实际目标关联的标记坐标)之间的误差。例如，如果两个检测目标的预测坐标为
[0104][0105]
并且两个目标的实际(参考)坐标是
[0106][0107]
在步骤708期间应用损失函数l来确定p和之间的误差。在一些实施例中，无预测目标、单个预测目标、两个预测目标或多于两个预测目标可以在训练数据组的不同部分期间获得。
[0108]
在一些实施例中，损失函数是确定预测目标和参考目标的坐标之间的距离(例如，欧几里得、马哈拉诺比斯等)的函数。例如，在一些实施例中，损失函数可以由下式给出
[0109][0110]
这里|| ||是欧几里得距离函数。例如，在一些实施例中，损失函数l等于每个预测目标和对应参考目标之间的个体误差的总和。当没有预测目标时，预测值可以等于预定值，例如(-1，-1)，并且使用这些值计算损失函数。因此，一些实施例受益于具有在可检测空间之外但接近可检测空间的预定值，使得由损失函数生成的误差(例如，在预测的非目标和实际参考目标之间，或预测的虚假目标和参考非目标之间)不会获得不成比例的权重。例如，在一些实施例中，预定值可以具有到可检测空间的例如欧几里得距离，其低于到可检测目标的最大距离的10％。
[0111]
在一些实施例中，存在与地面实况和/或雷达测量相关联的噪声。在一些实施例中，当使用损失函数确定误差值时，允许在预测和地面实况之间存在一些误差。例如，在一些实施例中，损失函数可以由下式给出
[0112][0113]
其中d
thres
是距离阈值，例如0.2m(也可以使用其他值)。使用距离阈值，例如等式4中所示，有利地允许在预测足够接近地面实况时避免进一步优化，这例如因为这种进一步优化可能不一定改进模型(因为它可能在系统的噪声之内)。
[0114]
在一些实施例中，使用基于距离的损失函数，例如等式3和4中所示，有利地允许训练期间更快的收敛。
[0115]
在一些实施例中，损失函数还使用不同于预测坐标和参考坐标之间的距离的其他参数。例如，在一些实施例中，损失函数可以由下式给出
[0116][0117]
其中iou是一个检测评价函数，可以由下式给出
[0118]
[0119]
其中b
p
和分别是与预测坐标和地面实况坐标关联的边界框向量，其中每个边界框向量包括围绕(例如，对称地)相应目标的中心位置的相应边界框(例如，每个边界框的4个角的坐标)。
[0120]
在步骤710期间，更新处理链的参数，例如卷积编码器和多个全连接层的参数，使得误差l最小化。例如，在一些实施例中，在步骤710期间更新卷积层506、510、514和518和全连接层552、554和556的所有权重和偏差，以及用于每个3d残差层(504、508、512、516、520)的卷积层562、566和570的所有权重和偏差。
[0121]
在一些实施例中，对于训练数据组的训练数据的多个历元重复步骤702、704、706、708和710，例如，直到达到收敛(达到局部或全局最小值)直到最小达到误差，或者直到使用预定数量的历元已经用于训练。
[0122]
在从处理链的输出预测(检测)的目标组中具有多个目标的实施例中，参考目标组中的参考目标可能不一定以与该预测目标组中的预测目标相同的方式排序。例如，预测目标和参考目标可能出现乱序。例如，在一个实施例中，一组预测目标p1和一组参考目标y1可以由下式给出
[0123][0124]
将损失函数(例如，等式3、5或5中的任何一个)应用于无序组p1和y1可能会提供不正确的误差值。因此，在一些实施例中，步骤708包括执行重新排序步骤。例如，图8示出了根据本发明实施例的用于执行步骤708的实施例方法800的流程图。
[0125]
在步骤802期间，从处理链的输出接收一组预测坐标。在一些实施例中，该组预测坐标可以包括非目标，其可以被标记为例如
“‑
1”。一组预测坐标的非限制性示例是p1。
[0126]
在步骤804期间，从训练数据组接收一组参考坐标。例如，在一些实施例中，训练数据组包括与训练数据组中表示的目标的地面实况位置关联的标签。在步骤804期间接收这样的参考坐标。在一些实施例中，该组参考坐标可以包括非目标，其可以被标记为例如
“‑
1”。一组参考坐标的非限制性示例是y1。
[0127]
在步骤806期间，参考坐标组被重新排序以匹配预测坐标组的顺序。例如，重新排序后的组y1，可以由下式给出
[0128][0129]
这里是重新排序的参考坐标组。在一些实施例中，对预测坐标组而不是参考坐标组进行重新排序。在一些实施例中，两个组都被重新排序以使得它们匹配。
[0130]
在步骤808期间，将损失函数(例如，等式3、4或5)应用于对组进行匹配。
[0131]
在一些实施例中，通过应用匈牙利分配算法来执行重新排序步骤(步骤806)。在其他实施例中，重新排序步骤(步骤86)是通过应用有序最小分配算法来执行的。也可以使用其他分配算法。
[0132]
例如，匈牙利分配算法侧重于最小化总误差(预测目标和参考目标之间所有误差的总和)。有序最小分配侧重于将预测目标与其各自最近的参考目标进行匹配。图9示出了根据本发明实施例的用于将预测位置与地面实况位置匹配的匈牙利分配和有序最小分配的示例。根据匈牙利分配，曲线图902分别示出了预测904、906和908与标签914、916和918之间的分配。曲线952根据有序的最小分配分别示出了预测904、906和908与标签914、916和918之间的分配。
[0133]
如图9所示，与分配924、926和928关联的距离总和低于与分配954、956和958关联的距离总和。还如图9所示，使用有序最小分配，预测908被分配给标签914而不是标签918，预测904被分配给标签918而不是标签914。因此，在某些情况下，有序最小分配与匈牙利分配的不同之处在于：最接近的目标是匹配的(例如，分配958)导致其他分配(例如分配954)中的较大误差。尽管在使用有序最小分配而不是匈牙利分配时总误差可能更大，但是一些实施例使用有序最小分配有利地实现了更好的性能，例如，因为噪声或损坏的测量可能导致单个预测偏离(off)，而不是所有的预测都略有偏离。
[0134]
例如，图10示出了根据本发明的实施例，当使用匈牙利分配(曲线1002)和有序最小分配(曲线1004)执行方法700时，比较f1分数与历元数的波形1000。如图10所示，在一些实施例中，与使用匈牙利分配相比，使用有序最小分配有利地实现更快的训练收敛和/或更好的f1总分。
[0135]
在一些实施例中，应用匈牙利分配包括：
[0136]
计算成本矩阵c，其中c
i,j
是根据度量f(例如，欧几里得距离、马氏距离等)预测点pi和参考点yj之间的成本，并且可以由下式给出c
i，j
＝f(pi，yj)
ꢀꢀꢀ
(7)
[0137]
找到最小化c和a之间的元素乘积的分配矩阵a，例如，通过
[0138]
并根据分配矩阵a中的那些对标签向量y重新排序，以生成有序向量
[0139]
在一些实施例中，应用有序的最小分配包括：
[0140]
计算成本矩阵c(例如，使用等式7)；
[0141]
当c不为空时，寻找最小成本条目(找到具有最小成本c
i,j
的条目)并保存与该最小成本条目关联的索引，并删除成本矩阵c中对应的行和列；以及
[0142]
在成本矩阵c为空后，根据保存的索引对标签向量y中的点重新排序。
[0143]
例如，如果max_targets为3，则成本矩阵c为3x3。如果保存的索引是c
2,3
、c
1,2
和c
3,1
，重新排序会改变标签顺序，使得第三标签行与第二预测行匹配，第二标签行与第一预测行匹配，第一标签行行与第三预测行匹配。
[0144]
在一些实施例中，使用非均匀离散傅立叶变换(dft)(nudft)来生成提供给卷积编码器的雷达图像。通过使用非均匀dft，一些实施例能够有利地集中于感兴趣的距离多普勒特征同时保持低存储器和计算要求。
[0145]
图11示出了根据本发明实施例的用于处理雷达图像(例如，非均匀rdi)以执行目标检测的实施例处理链1100的框图。处理链1100可以由处理系统104实现。卷积编码器1104可以以与卷积编码器402类似的方式实现，并且全连接层1106可以以与全连接层406类似的方式实现，例如，如图所示在图5a中。重塑层528可用于生成输出向量，例如，具有(x，y)坐标。
[0146]
如图11所示，处理链1100实施2d非均匀dft(步骤1102a和1102b)以生成2d非均匀雷达图像，例如非均匀rdi。在一些实施例中，也可以使用其他非均匀雷达图像，例如非均匀dai或非均匀rai。
[0147]
nudft可以被理解为一种dft，其中信号以不等距的点和/或频率被采样。因此，在生成nurdi的实施例中，在步骤1102a和1102b期间，对数据帧中预定数量的线性调频脉冲中的每一个执行第一非均匀范围dft。在多个连续周期内跨每个非均匀距离单元(距离单元之间的间距不均匀)计算出第二非均匀dft，以提取多普勒信息。在执行每个2d nudft之后，将为每个天线生成非均匀距离多普勒图像。
[0148]
在一些实施例中，采样点在时间上等距间隔开，但dft不是等距采样。
[0149]
鉴于距离域和多普勒域中的非均匀采样，所得nurdi的能量分布是非均匀的。因此，一些实施例有利地准确地聚焦于感兴趣的距离多普勒特征，同时保持较低的存储器和计算要求。在一些实施例中，例如在具有多个天线的一些实施例中，节省存储器变得特别有利，因为存储器要求可以随着天线数量的增加而增加，例如线性增加。
[0150]
在一些实施例中，通过训练神经网络来学习非均匀采样。例如，在一些实施例中，nudft将n个复数x0、x1、...x
n-1
的序列变成另一复数序列x0、x1、...x
n-1
，例如由下式给出
[0151][0152]
其中fk是非均匀频率。这种非均匀频率fk可以例如通过执行方法700来获知。因此，一些实施例有利地允许聚焦和散焦距离单元和/或多普勒单元，否则如果使用均匀dft，它们将被平均地强调。
[0153]
图12示出了根据本发明的实施例的用于处理雷达图像(例如，非均匀rdi)以执行目标检测的实施例处理链1200的框图。处理链1200可以由处理系统104实现。处理链1200以与处理链1100类似的方式操作并且实现具有全连接层1202和1206以及转置层1204的神经网络1102。
[0154]
在一些实施例中，全连接层1202a、1202b以及1206a和1206b是参数层，其执行等式9中所示的计算，并且仅具有作为(可学习的)参数的频率fk。在一些实施例中，全连接层1202a等同于全连接层1202b并且共享相同的参数；并且全连接层1206a等于全连接层1206b并且共享相同的参数。在一些实施例中，全连接层1204a等于全连接层1204b。
[0155]
如图12所示，对于每个天线116，神经网络1102可以用全连接层1202、接着是转置层1204、接着是全连接层1206来实现。通过沿adc数据为帧中的每个线性调频脉冲应用学习的nudft，全连接层1202执行范围变换。在一些实施例中，全连接层1202的输出可由下式给出
[0156][0157]
其中pn是一帧中的线性调频脉冲数，w1表示学习到的nudft矩阵。
[0158]
转置层1204转置全连接层1202的输出，例如，作为
[0159][0160]
全连接层1206通过沿每个距离单元的线性调频脉冲应用学习的nudft来执行多普勒变换。在一些实施例中，全连接层1206的输出可由下式给出
[0161][0162]
其中bn是范围单元的数量，w2表示学习到的nudft矩阵。
[0163]
在一些实施例中，nudft矩阵w1和w2是层1202、1204和1206的可学习参数并且可以例如通过执行方法700来学习。例如，在一些实施例中，nudft矩阵w1和w2在步骤710期间更新损失函数(例如，基于等式3、4或5)生成的误差。
[0164]
在一些实施例中，例如为了改善副瓣电平抑制的目的，沿着adc数据(等式10)和pn线性调频脉冲(等式12)应用附加的(例如，固定的)加权函数。在一些实施例中，通过与层1202、1204和1206并联耦合的全连接层的自注意网络被实现，用于适应加权函数以模仿变迹函数以实现低副瓣电平。
[0165]
图13示出了根据本发明实施例的用于处理雷达图像(例如，非均匀rdi)以执行目标检测的实施例处理链1300的框图。处理链1300可由处理系统104实施。处理链1300以与处理链1200类似的方式操作。然而，处理链1300从三个接收器天线116接收数据并生成输出向量，该输出向量包括三个坐标，用于每个检测目标。
[0166]
在一些实施例中，置信水平与输出向量s
targets
相关联。例如，在一些实施例中，与卷积编码器(例如，402、602、1104、1304)接收的雷达图像关联的全局信噪比(snr)用于确定与对应输出向量s
targets
关联的置信水平。高snr(例如，20db或更高)与高置信度关联，而低snr(例如，低于20db)与低置信度关联。在一些实施例中，低置信度输出向量被忽略(例如，不用于进一步处理、例如用于后续卡尔曼滤波器)，而进一步处理高置信度输出向量。
[0167]
在一些实施例中，与每个检测目标关联的置信水平可以不同。例如，在一些实施例中，除了每个目标的坐标之外，输出向量s
targets
还包括与每个目标关联的相应snr值。可以基于卷积编码器接收到的雷达图像中目标位置处的峰值功率与相邻基底水平之间的差异来计算每个检测目标的snr值。因此，在一些实施例中，检测目标的坐标可以具有高置信度(并且被进一步处理)，而相同输出向量的另一个检测目标具有低置信度(并且被忽略)。例如，作为非限制性示例，等式13的输出向量包括三个检测目标的(x，y，snr)值。位于(1，1)中的第一检测目标具有20db的snr，因此具有高置信水平。第二和第三检测目标位于(3，2)和(2，6)中，并且具有低置信水平。
[0168]
[0169]
在等式13所示的实施例中，全局snr低于20db，并且依赖全局snr的一些实施例可以忽略所有三个检测目标。依赖于与每个目标关联的snr值的实施例可以进一步处理位于等式13的(1，1)处的第一目标，同时忽略其他两个目标。因此，一些实施例有利地在低snr环境中产生对至少一些目标的准确检测。
[0170]
虽然在所示示例中高置信度和低置信度之间的截止snr值是20db，但是应当理解，不同的snr值也可以用作截止snr值。
[0171]
在一些实施例中，每个检测目标的峰值和基底水平的snr值和位置可用于确定用在等式6中的边界框的坐标b
p
和
[0172]
图14示出了根据本发明实施例的毫米波雷达系统1400的示意图。毫米波雷达系统以与毫米波雷达系统100类似的方式运行，并使用耦合到处理器1406的人工智能(ai)加速器1402来实现处理系统104。
[0173]
如图14所示，ai加速器1402使用直接从雷达传感器(例如，102)。处理器1406实现后处理步骤，例如目标跟踪，例如使用卡尔曼滤波器。
[0174]
在一些实施例中，ai加速器1402被设计成加速人工智能应用，例如人工神经网络和机器学习，并且可以以本领域已知的任何方式实现。
[0175]
在一些实施例中，处理器1406可以以本领域已知的任何方式实现，例如通用处理器、控制器或数字信号处理器(dsp)，其包括例如耦合到存储器的组合电路。
[0176]
一些实施例的优点包括最小化雷达系统的数据流。例如，在雷达系统1400中，数据从毫米波雷达102流到ai加速器1402(例如，用于目标检测)，然后到处理器1406(用于后处理)。实现实施例处理链400的方法将改为展示从毫米波雷达102到处理器1406(用于执行步骤304、306、308)，然后到ai加速器1402(例如，用于使用402、404的目标检测)的数据流，然后返回到处理器1406(用于后处理)。
[0177]
这里总结了本发明的示例实施例。其他实施例也可以从说明书和在此提交的权利要求的整体来理解。
[0178]
示例1.一种使用雷达生成目标组的方法，该方法包括：使用雷达生成多个雷达图像；利用卷积编码器接收多个雷达图像；以及基于卷积编码器的输出使用多个全连接层生成目标组，其中目标组的每个目标具有关联的第一坐标和第二坐标。
[0179]
示例2.示例1的方法，其中目标组的每个目标具有关联的信噪比snr值。
[0180]
示例3.示例1或2的方法，其中与所述目标组的第一目标关联的snr值不同于与所述目标组的第二目标关联的snr值。
[0181]
示例4.示例1至3之一的方法，其中目标组的每个目标的第一和第二坐标对应于关联目标的中心位置。
[0182]
示例5.示例1至4之一的方法，其中目标组的每个目标具有关联的第三坐标。
[0183]
示例6.示例1至5之一的方法，其中第一、第二和第三坐标分别对应于x、y和z轴。
[0184]
示例7.示例1至6之一的方法，其中多个雷达图像中的每个雷达图像均是距离多普勒图像。
[0185]
示例8.示例1至7之一的方法，还包括使用相应天线生成多个雷达图像中的每个雷达图像。
[0186]
示例9.示例1至8之一的方法，其中生成多个雷达图像包括使用非均匀离散傅立叶
变换。
[0187]
示例10.根据示例1至9之一的方法，其中生成所述多个雷达图像包括：使用所述雷达的雷达传感器发射多个雷达信号；使用所述雷达，接收对应于多个发射的雷达信号的多个反射雷达信号；将多个发射的雷达信号的副本与多个接收的反射雷达信号混合以生成中频信号；使用模数转换器基于中频信号生成原始数字数据；使用第一全连接层接收原始数字数据；以及基于第一全连接层的输出生成多个雷达图像。
[0188]
示例11.根据示例1至10之一的方法，其中生成多个雷达图像还包括：接收带有转置层的第一个全连接层的输出；接收具有第二全连接层的转置层的输出；以及使用第二全连接层生成多个雷达图像，其中第二全连接层的输出耦合到卷积编码器的输入。
[0189]
示例12.示例1至11之一的方法，其中生成所述多个雷达图像还包括：使用第一全连接层对帧中的每个线性调频脉冲沿原始数字数据应用第一非均匀离散傅立叶变换系数，以生成第一矩阵；使用转置层对第一矩阵进行转置，以生成第二矩阵；和沿第二矩阵的每个距离单元的线性调频脉冲，应用第二非均匀离散傅立叶变换系数，以生成多个雷达图像。
[0190]
示例13.根据示例1至12之一的方法，还包括通过以下项生成所述第一和第二非均匀离散傅立叶变换系数：将原始数字训练数据提供至第一全连接层；生成具有多个全连接层的预测目标组；将预测目标组与参考目标组进行比较；使用损失函数来确定预测目标组和参考目标组之间的误差；以及更新第一和第二非均匀离散傅立叶变换系数，以最小化确定的误差。
[0191]
示例14.示例1至13之一的方法，其中所述损失函数是基于距离的损失函数。
[0192]
示例15.示例1至14之一的方法，其中所述损失函数还基于检测评价函数。
[0193]
示例16.示例1至15之一的方法，其中所述损失函数通过确定与每个目标关联的第一和第二坐标和与参考目标组的每个对应参考目标关联的第一和第二坐标之间的欧几里得距离来确定误差。
[0194]
示例17.示例1至16之一的方法，其中将预测目标组与参考目标组进行比较包括：将预测目标组的每个预测目标分配给参考目标组的对应参考目标，并将每个预测目标与分配的参考目标进行比较。
[0195]
示例18.示例1至17之一的方法，其中将每个预测目标分配给对应的参考目标是基于有序最小分配。
[0196]
示例19.示例1至18之一的方法，其中所述卷积编码器包括多个三维卷积层，随后是多个密集层。
[0197]
示例20.根据示例1至19之一所述的方法，还包括使用卡尔曼滤波器跟踪所述目标组的目标。
[0198]
示例21.示例1至20之一的方法，其中雷达是毫米波雷达。
[0199]
示例22.一种训练用于生成目标组的神经网络的方法，该方法包括：将训练数据提供至神经网络；利用神经网络生成预测目标组，其中预测目标组中的每个预测目标具有关联的第一和第二坐标；使用有序最小分配将每个预测目标分配给参考目标的对应参考目标以生成有序参考目标组，其中参考目标组的每个参考目标包括第一和第二参考坐标；使用基于距离的损失函数来确定预测目标组和有序参考目标组之间的误差；和更新所述神经网络的参数以最小化确定的误差。
[0200]
示例23.示例22的方法，其中损失函数由给出，其中d
thres
是距离阈值，代表欧几里得距离函数，p代表预测目标组，并且代表有序参考目标组。
[0201]
示例24.示例22或23的方法，其中更新所述神经网络的参数包括更新非均匀离散傅立叶变换系数。
[0202]
示例25.示例22至24之一的方法，其中将所述训练数据提供至所述神经网络包括：将原始数字训练数据提供至所述神经网络的第一全连接层，其中所述神经网络包括具有耦合到所述第一全连接层的输入并且耦合到第二全连接层的输出的转置层，并且其中更新非均匀离散傅立叶变换系数包括更新第一和第二全连接层的系数。
[0203]
示例26.一种雷达系统，包括：毫米波雷达传感器，包括：发射天线，被配置为发射雷达信号；第一和第二接收天线，被配置为接收反射的雷达信号；模数转换器adc，被配置为在adc的输出处基于反射的雷达信号生成原始数字数据；和处理系统，被配置为使用神经网络处理原始数字数据以生成目标组，其中目标组的每个目标具有关联的第一和第二坐标，并且其中神经网络包括：第一全连接层，耦合到adc的输出，转置层，所述转置层具有的输入耦合到全连接层的输出，以及第二全连接层，所述第二全连接层具有的输入耦合到转置层的输出，其中第一和第二全连接层包括非均匀离散傅立叶变换系数。
[0204]
示例27.示例26的雷达系统，其中所述处理系统包括人工智能ai加速器，所述ai加速器具有的输入耦合到所述adc的输出，并且所述ai加速器被配置为使用所述神经网络处理所述原始数字数据以生成所述目标组；和处理器，所述处理器具有的输入耦合到ai加速器的输出并且被配置为接收目标组。
[0205]
虽然已经参考说明性实施例描述了本发明，但是该描述并不旨在被解释为限制性的。参考说明书，本领域技术人员将清楚说明性实施例以及本发明的其他实施例的各种修改和组合。因此，所附权利要求旨在涵盖任何此类修改或实施例。