一种车载雷达回波降噪方法、装置、设备及介质与流程

1.本发明涉及雷达技术领域，尤其涉及一种车载雷达回波降噪方法、装置、设备及介质。


背景技术：

2.车载雷达系统是在倒车和测量车距时必不可少的辅助手段之一。由于车载雷达系统在运行时会被各种信号干扰，如手机、车机系统的杂波信号和基站干扰信号等，因此，为了提高车载雷达系统的识别精度，降低车辆发生交通事故的概率，对车载雷达系统的回波信号进行降噪处理就显得十分重要。
3.目前，一般是通过经验模态分解技术对车载雷达系统的回波信号进行降噪处理，经验模态分解技术是一种适用于非线性系统的时域
‑
频域分析技术，能够对雷达信号进行降噪和特征信息的提取。但是，该技术的应用场景有限，需要针对不同场景进行手动优化，处理效率以及降噪精度均较低。


技术实现要素：

4.本发明提供一种车载雷达回波降噪方法、装置、设备及介质，能够基于深度学习构建的回波降噪模型对回波信号进行自动降噪处理，提高了处理效率以及降噪精度。
5.为实现上述目的，本发明实施例提供了一种车载雷达回波降噪方法，包括以下步骤：
6.构建基于深度学习的回波降噪模型；其中，所述模型包括若干卷积层和激活层，所述模型的第二卷积层与第四卷积层均包括至少三个分支，所述第二卷积层的输出特征、所述第四卷积层的输出特征分别通过各自对应的三个分支的输出特征进行拼接得到，所述模型的第六卷积层的输入特征为所述第二卷积层和所述第四卷积层的输出特征的融合特征，所述激活层的输入特征为所述第六卷积层的输出特征与所述模型的初始输入特征的融合特征；
7.获取待降噪样本，并将所述待降噪样本按照预设比例分为训练集和测试集；
8.根据所述训练集对所述回波降噪模型进行训练，并将所述测试集输入到训练完成的回波降噪模型中，得到回波降噪结果。
9.作为上述方案的改进，所述第二卷积层的第一分支包括从前至后依次连接并封装的一个卷积核尺寸为3
×
3的卷积层和一个卷积核尺寸为1
×
1的卷积层，所述第二卷积层的第二分支包括封装的一个卷积核尺寸为1
×
1的卷积层，所述第二卷积层的第三分支包括从前至后依次连接并封装的一个卷积核尺寸为1
×
5的卷积层、一个卷积核尺寸为5
×
1的卷积层和一个卷积核尺寸为1
×
1的卷积层。
10.作为上述方案的改进，所述第四卷积层的第一分支包括从前至后依次连接并封装的一个卷积核尺寸为1
×
9的卷积层、一个卷积核尺寸为9
×
1的卷积层和一个卷积核尺寸为1
×
1的卷积层，所述第四卷积层的第二分支包括封装的一个卷积核尺寸为1
×
1的卷积层，
所述第四卷积层的第三分支包括从前至后依次连接并封装的一个卷积核尺寸为1
×
7的卷积层、一个卷积核尺寸为7
×
1的卷积层和一个卷积核尺寸为1
×
1的卷积层。
11.作为上述方案的改进，所述根据所述训练集对所述回波降噪模型进行训练，并将所述测试集输入到训练完成的回波降噪模型中，得到回波降噪结果，具体包括：
12.获取所述回波降噪模型的误差函数；
13.选取优化器，并基于所述训练集对所述回波降噪模型进行训练，当所述模型的误差函数小于预设误差阈值时则停止训练，以得到训练完成的回波降噪模型。
14.作为上述方案的改进，所述第二卷积层的三个分支的卷积核个数均为64。
15.作为上述方案的改进，所述第四卷积层的三个分支的卷积核个数均为192。
16.作为上述方案的改进，所述待降噪样本的获取方式具体包括：
17.获取预设时间内车载雷达回波信号的预设频带能量灰度图；
18.对所述预设频带能量灰度图添加噪声，得到待降噪样本。
19.本发明另一实施例对应提供了一种车载雷达回波降噪装置，包括
20.模型构建模块，用于构建基于深度学习的回波降噪模型；其中，所述模型包括若干卷积层和激活层，所述模型的第二卷积层与第四卷积层均包括至少三个分支，所述第二卷积层的输出特征、所述第四卷积层的输出特征分别通过各自对应的三个分支的输出特征进行拼接得到，所述模型的第六卷积层的输入特征为所述第二卷积层和所述第四卷积层的输出特征的融合特征，所述激活层的输入特征为所述第六卷积层的输出特征与所述模型的初始输入特征的融合特征；
21.样本获取模块，用于获取待降噪样本，并将所述待降噪样本按照预设比例分为训练集和测试集；
22.模型训练及回波降噪模块，用于根据所述训练集对所述回波降噪模型进行训练，并将所述测试集输入到训练完成的回波降噪模型中，得到回波降噪结果。
23.本发明另一实施例对应提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述发明实施例所述的车载雷达回波降噪方法。
24.本发明另一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述发明实施例所述的车载雷达回波降噪方法。
25.与现有技术相比，本发明实施例提供的一种车载雷达回波降噪方法、装置、设备及介质，能够基于深度学习构建的回波降噪模型对车载雷达的回波进行自动降噪处理，通过对不同卷积层的特征进行融合，以更宽的通道数学习更多的数据，使得在同样的参数背景下，获得比传统残差网络更强大的学习性能，并且能够针对不同场景进行自动降噪处理，处理效率较高，从而提高了车载雷达系统的识别精度，降低了车辆发生交通事故的概率。
附图说明
26.图1是本发明实施例提供的一种车载雷达回波降噪方法的流程示意图；
27.图2是本发明实施例提供的回波降噪模型的结构示意图；
28.图3是本发明实施例提供的一种车载雷达发射的连续波信号的波形示意图图；
29.图4是本发明实施例提供的一种车载雷达的回波信号的采样波形示意图；
30.图5是本发明实施例提供的一种车载雷达的回波信号对应的预设频带能量灰度图；
31.图6是本发明实施例提供的一种车载雷达的回波信号对应的t
s
时间内的无环境噪声的预设频带能量灰度图；
32.图7是本发明实施例提供的一种车载雷达的回波信号对应的t
s
时间内的带环境噪声的预设频带能量灰度图；
33.图8是经过本发明实施例提供的一种车载雷达回波降噪方法降噪后得到的预设频带能量灰度图；
34.图9是本发明实施例提供的一种车载雷达回波降噪装置的结构示意图；
35.图10是本发明实施例提供的一种终端设备的结构示意图。
具体实施方式
36.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
37.参见图1，是本发明实施例提供的一种车载雷达回波降噪方法的流程示意图，所述方法包括步骤s11至步骤s13：
38.s11、构建基于深度学习的回波降噪模型；其中，所述模型包括若干卷积层和激活层，所述模型的第二卷积层与第四卷积层均包括至少三个分支，所述第二卷积层的输出特征、所述第四卷积层的输出特征分别通过各自对应的三个分支的输出特征进行拼接得到，所述模型的第六卷积层的输入特征为所述第二卷积层和所述第四卷积层的输出特征的融合特征，所述激活层的输入特征为所述第六卷积层的输出特征与所述模型的初始输入特征的融合特征。
39.s12、获取待降噪样本，并将所述待降噪样本按照预设比例分为训练集和测试集。
40.s13、根据所述训练集对所述回波降噪模型进行训练，并将所述测试集输入到训练完成的回波降噪模型中，得到回波降噪结果。
41.与现有技术相比，本发明实施例提供了一种车载雷达回波降噪方法，能够基于深度学习构建的回波降噪模型对车载雷达的回波进行自动降噪处理，通过对不同卷积层的特征进行融合，从而以更宽的通道数学习更多的数据，使得在同样的参数背景下，获得比传统残差网络更强大的学习性能，并且能够针对不同场景进行自动降噪处理，处理效率较高，从而提高了车载雷达系统的识别精度，降低了车辆发生交通事故的概率。
42.示例性地，在步骤s11中，回波降噪模型包括若干卷积层和激活层，基于深度学习所构建的回波降噪模型的结构示意图如图2所示。在图2中，回波降噪模型的第一卷积层为一个卷积核尺寸为3
×
3的卷积层，卷积核的个数为64。第二卷积层的第一分支包括从前至后依次连接并封装的一个卷积核尺寸为3
×
3的卷积层和一个卷积核尺寸为1
×
1的卷积层，所述第二卷积层的第二分支包括封装的一个卷积核尺寸为1
×
1的卷积层，所述第二卷积层的第三分支包括从前至后依次连接并封装的一个卷积核尺寸为1
×
5的卷积层、一个卷积核
尺寸为5
×
1的卷积层和一个卷积核尺寸为1
×
1的卷积层。其中，第二卷积层的三个分支的卷积核个数均为64。
43.需要说明的是，本发明实施例提供的回波降噪模型仅为示例说明，在实际操作过程中，回波降噪模型中的卷积层和激活层的层/个数，以及卷积层的尺寸可以根据实际需求或试验进行设定，在此不作限定。
44.作为上述方案的改进，模型中的第二卷积层的三个分支所输出的特征图像以通道数拼接的方式进行拼接，拼接后的图像通道数为192。
45.示例性地，比如第一分支输出数据尺寸为2*2*2，第二分支输出数据尺寸为2*2*3，第三分支输出数据尺寸为2*2*4，则拼接后的输出就是2*2*9。
46.值得说明的是，将三个分支的输出特征拼接为一个整体特征进行处理，并通过在不同支路上设置不同的卷积尺寸，例如3
×
3、1
×
1、1
×
5、5
×
1等，其中，1
×
1可以进行维度的压缩，而3
×
3是卷积网络基础计算单元，可以将不同卷积处理过的数据进行特征融合，从而以更宽的通道数学习更多的数据，进一步提高模型的输出精度。
47.作为上述方案的改进，回波降噪模型的第三卷积层包括封装的一个卷积核尺寸为3
×
3的卷积层，卷积核个数为192。第四卷积层包括三个分支，第一分支包括从前至后依次连接并封装的一个卷积核尺寸为1
×
9的卷积层、一个卷积核尺寸为9
×
1的卷积层和一个卷积核尺寸为1
×
1的卷积层，所述第四卷积层的第二分支包括封装的一个卷积核尺寸为1
×
1的卷积层，所述第四卷积层的第三分支包括从前至后依次连接并封装的一个卷积核尺寸为1
×
7的卷积层、一个卷积核尺寸为7
×
1的卷积层和一个卷积核尺寸为1
×
1的卷积层。其中，第四卷积层的三个分支的卷积核个数均为192。
48.需要说明的是，上述提到的卷积核的尺寸及个数可以是根据实际需求或者试验进行设定的，本实施例仅作举例说明，在此不作限定。
49.作为上述方案的改进，模型中的第四卷积层的三个分支所输出的特征图像以通道数拼接的方式进行拼接，拼接后的图像通道数为576。
50.值得说明的是，本实施例通过使用不同尺寸的卷积核对图像进行处理再拼接，进行不同卷积处理下的图像融合，对比同等效果的普通深度学习模型，参数量会降低，再而，通过增加残差网络，避免模型退化的同时还可以加快收敛。相比于第二卷积层的拼接通道，第四卷积层采用更宽的通道数进行融合，能够学习更多的数据，同样参数情况下，获得比传统残差网络更强大的性能。
51.作为上述方案的改进，回波降噪模型的第五卷积层和第六卷积层均包括封装的一个卷积核尺寸为1
×
1的卷积层，卷积核的个数均为192，且第六卷积层的输入特征为第二卷积层和第四卷积层的输出特征的融合特征，激活层的输入特征为第六卷积层的输出特征与模型的初始输入特征的融合特征。
52.示例性地，激活层采用的是mish激活函数。
53.值得说明的是，本发明实施例所述的回波降噪模型是基于pytorch框架下搭建的深度残差复合网络模型，并采用mish激活函数，利用mish激活函数无边界的特点，避免了梯度饱和的问题，与传统的relu激活函数相比，梯度下降的效果更好。此外，在前向传播时，输入信号可以从任意低层直接传播到高层，由于包含了一个天然的恒等映射，一定程度上可以解决网络退化问题。
54.作为上述方案的改进，在步骤s12中，待降噪样本的获取方式具体包括：
55.s121、获取预设时间内车载雷达回波信号的预设频带能量灰度图；
56.s122、对预设频带能量灰度图添加噪声，得到待降噪样本。
57.示例性地，利用fmcw车载雷达发射一个连续波信号，高频的载频信号经过低频调制信号调制产生频率随时间线性变化的锯齿波形，如图3所示。其中，单个锯齿波的扫频周期为t，最高频率为f
max
。当雷达信号遇到物体时反射回波，为了使采样回波信号最大化，根据香农采样定理，采用最高频率f
max
的5倍对回波进行采样，即f
s
＝5f
max
，采样波形的示意图参见图4所示。在回波信号采样后得到随时间和频率变化的信号能量e。抽取某时刻t采样的回波信号，并将(t，f
t
，e
t
)映射到如图5所示的预设频率灰度图上。其中，(t，f
t
)处的像素值代表该处的能量，且颜色越深代表该处的能量越大(最大显示为纯黑色)，颜色越浅代表该处的能量越小(最小显示为纯白色)，f
max
为最高频率，也即采样后的频率上限。每经过时间t
s
，将t
s
时间内收集的回波信号(t，f
t
，e
t
)均映射到预设频带能量灰度图上，即将不同时间t的预设频带能量图拼接在一起，拼接后得到t
s
时间内的预设频带能量灰度图，如图6所示。但是，由于车载雷达系统在运行时会被各种信号干扰，经过环境后的回波信号往往会因为手机、电子设备和基站等环境的干扰而带上很多噪声，使得t
s
时间内的预设频带能量灰度图如图7所示，带有很多环境噪声。
58.可以理解的，图6所示的预设频带能量灰度图即为步骤s121中获取的未收到环境噪声影响的样本图像x，此时，通过在上述样本图像x中添加噪声后，就会得到如图7所示的图像，即其中，n是一种分布确定的随机噪声。
59.需要说明的是，所述的随机噪声并不仅限于在本发明中提到的环境下所得到的随机噪声，具体的数据需要根据实际情况或者试验情况进行设定，在此不作限定。
60.值得说明的是，通过将采样的回波信号映射到预设的频带能量灰度图上，能够更加直观地分析回波信号随时间变化的频率分布情况，并能够更加清晰地反映环境噪声对回波信号的影响。
61.作为上述方案的改进，在步骤s12中，在获取了待降噪样本后，需要将所述待降噪样本按照预设比例分为训练集和测试集。
62.示例性地，假设在无环境噪声的环境下收集了至少10万张t
s
时间内的预设频带能量灰度图(分布情况与图6类似)，其中，预设频带能量灰度图应包括有不同距离的障碍物和空旷条件下的频带能量灰度图，并将10万张频带能量灰度图打乱并分为8万张训练集，2万张测试集，并对这10万张频带能量灰度图均添加噪声以形成待降噪样本。
63.需要说明的是，将样本训练集和测试集的预设比例可以是根据实际需求或者试验进行设定的，本发明仅作举例说明，在此不做限定。
64.作为上述方案的改进，所述步骤s13具体包括：
65.s131、获取所述回波降噪模型的误差函数；
66.s132、选取优化器，并基于所述训练集对所述回波降噪模型进行训练，当所述模型的误差函数小于预设误差阈值时则停止训练，以得到训练完成的回波降噪模型。
67.示例性地，将8万张添加噪声后的训练集输入到回波降噪模型中训练，假设训练输出的图像为选取的优化器为adam，其中，epochs设置为100，learning rate初始设置
为0.01。模型训练启动后，按照公式a＝a(1 nγ)
‑
t
来更新learning rate，其中，n为当前迭代次数，γ和t为提前设置的标量，这里分别设置为0.1和1，batch size设置为256。误差函数设置为其中，e{.}代表求取期望，代表求矩阵的2范数。
68.进一步的，当所述模型的误差函数小于预设误差阈值时则停止训练，其中，预设误差阈值可以根据实际需求或试验进行设定，在此不作限定。
69.示例性地，在经过100个epochs的训练后，loss会逐渐降低到较低的水平，当小于0.05时，则认为模型训练完成。
70.可以理解的是，在模型训练完成后，将测试集输入到训练完成的模型中，就能输出一张经过降噪后的频带能量图，可以参见图8所示的图例，然后将降噪后的频带能量图反映射到时频图即可得到降噪后的雷达图像。
71.需要说明的是，在本实施例中，loss是通过验证集进行计算的，可以通过采集待降噪样本构建验证集来对模型进行调优，由于验证集的数据性质与上述提到的训练集和测试集的数据性质相同，在此就不赘述。
72.值得说明的是，本发明实施例提供的一种车载雷达回波降噪方法，能够在收集足够多的数据的情况下自动对车载雷达的回波信号进行降噪，并且只要汽车厂商在出厂前将数据输入到训练好的已经设置好深度学习的模型参数的模型中，就可以用极低的运算资源将车载雷达的回波信号进行降噪，从而能够针对不同场景进行自动降噪处理，处理效率较高，提高了车载雷达系统的识别精度，降低了车辆发生交通事故的概率。
73.参见图9，是本发明实施例提供的一种车载雷达回波降噪装置的结构示意图，包括：
74.模型构建模块91，用于构建基于深度学习的回波降噪模型；其中，所述模型包括若干卷积层和激活层，所述模型的第二卷积层与第四卷积层均包括至少三个分支，所述第二卷积层的输出特征、所述第四卷积层的输出特征分别通过各自对应的三个分支的输出特征进行拼接得到，所述模型的第六卷积层的输入特征为所述第二卷积层和所述第四卷积层的输出特征的融合特征，所述激活层的输入特征为所述第六卷积层的输出特征与所述模型的初始输入特征的融合特征；
75.样本获取模块92，用于获取待降噪样本，并将所述待降噪样本按照预设比例分为训练集和测试集；
76.模型训练及回波降噪模块93，用于根据所述训练集对所述回波降噪模型进行训练，并将所述测试集输入到训练完成的回波降噪模型中，得到回波降噪结果。
77.与现有技术相比，本发明实施例提供的一种车载雷达回波降噪装置，能够基于深度学习构建的回波降噪模型对车载雷达的回波进行自动降噪处理，通过对不同卷积层的特征进行融合，从而以更宽的通道数学习更多的数据，使得在同样的参数背景下，获得比传统残差网络更强大的学习性能，并且能够针对不同场景进行自动降噪处理，处理效率较高，从而提高了车载雷达系统的识别精度，降低了车辆发生交通事故的概率。
78.参见图10，是本发明实施例提供的一种终端设备的结构示意图。该实施例的终端设备10包括：处理器100、存储器101以及存储在所述存储器101中并可在所述处理器100上运行的计算机程序。所述处理器100执行所述计算机程序时实现上述各个车载雷达回波降
噪方法实施例中的步骤。或者，所述处理器100执行所述计算机程序时实现上述各装置实施例中各模块的功能。
79.示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器101中，并由所述处理器100执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备10中的执行过程。
80.所述终端设备10可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备10可包括，但不仅限于，处理器100、存储器101。本领域技术人员可以理解，所述示意图仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备10还可以包括输入输出设备、网络接入设备、总线等。
81.所称处理器100可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器100是所述终端设备10的控制中心，利用各种接口和线路连接整个终端设备10的各个部分。
82.所述存储器101可用于存储所述计算机程序和/或模块，所述处理器100通过运行或执行存储在所述存储器101内的计算机程序和/或模块，以及调用存储在存储器101内的数据，实现所述终端设备10的各种功能。所述存储器101可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器101可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
83.其中，所述终端设备10集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器100执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
84.需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
85.本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述所述的车载雷达回波降噪方法。
86.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。