一种基于知识辅助的雷达目标深度学习分类方法、系统

1.本发明涉及汽车雷达目标分类技术领域，具体涉及一种基于知识辅助的雷达目标深度学习分类方法、系统。


背景技术：

2.汽车雷达是应用于汽车或其他地面机动车辆，能够测量物体相对距离、相对速度、相对方位的高精度传感器，以其全天时全天候的工作能力，广泛应用于智能驾驶领域。其中，准确地对检测出的目标进行分类，即类别判断，例如目标属于机动车辆、非机动车辆或者行人，对驾驶员判断或汽车驾驶模式的选择有重要意义，是保障驾驶安全的重要研究内容。
3.目标的rd谱包含了目标的距离、速度等信息，且对于不同的目标，如行人、车辆等具有较好的区分性，在汽车雷达目标分类领域有重要意义。传统方法从rd谱中提取目标特征，并将有区分性的特征放入训练好的分类器，如支持向量机(support vector machine，svm)或随机森林(random forests，rf)分类器中进行分类，然而这种特征提取与分类器结合的方法很大程度上需要专家的经验及积累的知识来判断所提取的特征是否有效。
4.深度学习技术能够自主提取有区分性的数据特征，并输出分类结果。近年来以其良好的性能，逐渐进入汽车雷达目标分类领域。这种方法可以避免手动提取特征的局限性，并能够实现良好的分类效果，但由于该方法基于数据驱动，需要大量包含较多目标信息的训练数据。而在实际汽车雷达目标分类应用场景中，rd谱对于行人、车辆等目标来说，距离及多普勒分辨率有限，导致基于rd谱能够提取到的信息是有限的，直接利用网络自主进行特征提取，难以获取充足的目标信息，会导致目标分类的效果下降。


技术实现要素：

5.有鉴于此，本发明提供了一种基于知识辅助的雷达目标深度学习分类方法、系统，能够引导深度学习网络更加关注数据样本中包含更多目标信息的区域，为目标分类提供了更多信息，提高深度学习网络的目标分类性能。
6.本发明采用的具体技术方案如下：
7.一种基于知识辅助的雷达目标深度学习分类方法，包括：
8.步骤一、以若干帧时序信息连续的距离-多普勒rd谱构建数据样本，同时根据所述rd谱提取图像知识和目标知识；
9.所述图像知识包括平均能量特征和起伏特征；所述目标知识包括目标的距离、目标的速度、目标的角度、目标的距离维延展特征和目标的多普勒维的延展特征；
10.步骤二、训练获得深度学习分类模型，包括知识辅助模块、知识融合模块和分类模块；
11.利用所述数据样本并引入所述图像知识对所述知识辅助模块进行训练，得到数据样本中每帧rd谱的空间特征；利用所述空间特征对所述知识融合模块进行训练得到所述数
据样本的深度特征，并将所述深度特征与目标知识进行融合，得到最终样本特征；利用所述最终样本特征对所述分类模块进行训练获得目标类别；
12.步骤三、将待识别的目标类别的数据样本以及与所述数据样本对应的图像知识和目标知识输入到所述深度学习分类模型中，即可获得目标类别。
13.进一步地，所述步骤一中，根据所述rd谱提取图像知识和目标知识为：
14.针对每帧rd谱，以所述rd谱的每个像素点为中心，选取每个像素点的有效区域，计算每个像素点的所述有效区域的平均能量特征和起伏特征作为所述图像知识；
15.针对每帧rd谱，进行二维检测获得目标的距离维延展特征和多普勒维延展特征，与雷达回波测量得到的目标的距离、速度和角度一起组成所述目标知识。
16.进一步地，所述步骤二中，所述知识辅助模块的训练过程为：
17.将所述数据样本的每帧rd谱依次输入到第一卷积层中提取每帧rd谱的特征图f，将所述特征图f分别输入到最大池化层和平均池化层中获得maxpool(f)和avgpool(f)；通过concat层对maxpool(f)、avgpool(f)、所述平均能量特征和所述起伏特征进行拼接，再将拼接结果输入至第二卷积层，获得空间注意力权重矩阵；将注意力权重矩阵与特征图相乘，得到每帧rd谱的空间特征。
18.进一步地，所述步骤二中，所述知识融合模块的训练过程为：
19.将所述空间特征输入卷积长短时间记忆convlstm网络层，获得数据样本的深度特征；通过最大池化层对所述深度特征进行降维，之后通过concat层将降维后的深度特征与目标知识进行拼接，输出数据样本的最终样本特征；
20.所述数据样本的深度特征包括所述若干帧rd谱的空间特征和时序信息。
21.进一步地，所述步骤二中，所述分类模块的训练过程为：
22.将所述最终样本特征输入至第一全连接层，经过relu激活函数获得简化后的最终样本特征，将所述简化后的最终样本特征输入第二全连接层，经过softmax激活函数获得数据样本的类别。
23.进一步地，在训练所述深度学习分类模型的过程中，采用交叉熵损失函数对训练过程进行优化，所述交叉熵损失函数为：
[0024][0025]
其中，ce表示交叉熵损失函数，n表示训练的数据样本总数，i表示第i个数据样本，log为取对数运算，y(i)表示第i个数据样本的真实类别，表示第i个数据样本的预测类别。
[0026]
一种基于知识辅助的雷达目标深度学习分类系统，包括：数据处理模块和深度学习分类模块；
[0027]
所述数据处理模块用于将若干帧时序信息连续的距离-多普勒rd谱组成数据样本，并提取每帧rd谱的图像知识和目标知识；
[0028]
所述图像知识包括平均能量特征和起伏特征；所述目标知识包括目标的距离、目标的速度、目标的角度、目标的距离维延展特征和目标的多普勒维的延展特征；
[0029]
所述深度学习分类模块包括空间特征知识辅助单元、知识融合单元和分类单元；
[0030]
所述知识辅助单元用于根据所述数据样本和所述图像知识进行空间特征提取，并输出的每帧rd谱的空间特征至所述知识融合单元；
[0031]
所述知识融合单元用于根据所述空间特征和所述目标知识进行最终样本特征提取，并输出数据样本的最终样本特征至所述分类模块；
[0032]
所述分类单元用于根据所述最终样本特征进行目标分类，输出数据样本的类别即目标类别。
[0033]
进一步地，所述数据处理模块中，所述提取每帧rd谱的图像知识和目标知识为：
[0034]
针对每帧rd谱，以所述rd谱的每个像素点为中心，选取每个像素点的有效区域，计算所述有效区域的平均能量特征和起伏特征作为所述图像知识；
[0035]
针对每帧rd谱，进行二维检测获得目标的距离维延展特征和多普勒维的延展特征，与雷达回波测量得到的目标的距离、速度和角度一起组成所述目标知识。
[0036]
进一步地，所述知识辅助单元的训练过程为：将每帧rd谱依次输入到第一卷积层中提取每帧rd谱的特征图f，将所述特征图f分别输入到最大池化层和平均池化层中获得maxpool(f)和avgpool(f)；通过concat层对maxpool(f)、avgpool(f)、平均能量特征和起伏特征进行拼接，再将拼接结果输入至第二卷积层，获得空间注意力权重矩阵；将注意力权重矩阵与特征图相乘，得到每帧rd谱的空间特征；
[0037]
所述知识融合单元的训练过程为：将所述空间特征输入卷积长短时间记忆convlstm网络层，获得数据样本的深度特征；通过最大池化层对所述深度特征进行降维，之后通过concat层将降维后的深度特征与目标知识进行拼接，输出数据样本的最终样本特征；
[0038]
所述数据样本的深度特征包括所述若干帧rd谱的空间特征和时序信息；
[0039]
所述分类单元的训练过程为：将所述最终样本特征输入至第一全连接层，经过relu激活函数获得简化后的最终样本特征，将所述简化后的最终样本特征输入第二全连接层，经过softmax激活函数获得数据样本的类别。
[0040]
进一步地，所述雷达目标深度学习分类系统还包括优化模块，所述优化模块用于根据交叉熵损失函数对所述深度学习分类模块的训练过程进行优化，所述交叉熵损失函数为：
[0041][0042]
其中，ce表示交叉熵损失函数，n表示训练的数据样本总数，i表示第i个数据样本，log为取对数运算，y(i)表示第i个数据样本的真实类别，表示第i个数据样本的预测类别。
[0043]
有益效果：
[0044]
(1)一种基于知识辅助的雷达目标深度学习分类方法，将目标的时序信息连续多帧rd谱作为数据样本，与只使用单帧rd谱相比，可以为深度学习网络提供了时间维度的目标信息，有利于深度学习网络更准确地进行目标分类。利用多级知识即图像知识和目标知识辅助深度学习网络训练，获得更多有利于目标分类的目标信息，提高了深度学习网络的学习效率和分类性能。先利用数据样本和图像知识训练知识辅助模块，引导深度学习网络
关注到数据样本中包含更多目标信息的样本区域，然后利用知识辅助模块输出的空间特征和目标知识训练得到知识融合模块，对网络学习过程中进行信息补充，获得更利于分类的信息，这种先后顺序有利于提高训练学习的效率和精度。
[0045]
(2)以rd谱的每个像素点为中心，选取每个像素点的有效区域，计算有效区域的平均能量特征和起伏特征作为所述图像知识，可以高效提取中每帧rd谱图像知识，避免了提取不到或者提取过程繁杂效率低下的问题。提取目标知识包括目标的距离、速度和角度以及目标的距离维延展特征和多普勒维延展特征，目标知识包含的信息相对于以车辆、行人等目标的区分性更强，同时也是深度学习网络无法自行提取的信息，因此获取的目标知识可以提高深度学习网络分类的性能和精度。
[0046]
(3)引入的图像知识作用于注意力权重矩阵的生成。由于图像知识能够准确的分辨出包含目标信息较多的样本数据区域，通过知识与网络浅层特征共同生成注意力权重矩阵，能够降低仅根据网络提取到的特征关注出现偏差的概率，从而进一步提升了网络对汽车雷达目标的分类性能。
[0047]
(4)知识融合模块中采用最大池化层对所述深度特征进行降维，减少数据量，可以更进一步提高数据样本学习训练和识别分类的效率和精度。
附图说明
[0048]
图1为本发明的基于知识辅助的雷达目标深度学习网络总体结构框图。
[0049]
图2为知识融合子模型中convlstm网络及其单元结构图。
[0050]
图3为本发明实施例采用的数据样本的rd谱示意图。
[0051]
图4为本发明的深度学习网络提取的最终样本特征的类别可视化t-sne图。
[0052]
图5为本发明的深度学习网络分类结果混淆矩阵图。
具体实施方式
[0053]
一种基于知识辅助的雷达目标深度学习分类方法、系统，将目标的时序信息连续的多帧rd谱作为数据样本，为深度学习网络提供了时间维度的目标信息。利用多级知识即图像知识和目标知识辅助深度学习网络训练，获得更多有利于目标分类的目标信息，提高了深度学习网络的学习效率和分类性能。其中，先利用数据样本和图像知识训练得到知识辅助模块，引导深度学习网络关注到数据样本中包含更多目标信息的样本区域，然后利用知识辅助模块输出的空间特征和目标知识训练得到知识融合模块，对网络学习过程中进行信息补充，获得更利于分类的信息。
[0054]
下面结合附图并举实施例，对本发明进行详细描述。
[0055]
一种基于知识辅助的雷达目标深度学习分类方法，包括如下步骤：
[0056]
步骤一、以若干帧时序信息连续的距离-多普勒rd谱构建数据样本，同时根据所述rd谱提取图像知识和目标知识；图像知识包括平均能量特征和起伏特征；所述目标知识包括目标的距离、目标的速度、目标的角度、目标的距离维延展特征和目标的多普勒维的延展特征。
[0057]
雷达测量获取目标rd谱，并进行预处理，将雷达连续时间内测量得到的多帧目标rd谱组成一个网络输入样本即数据样本，并将所有样本划分为训练集和测试集。多帧目标
rd谱组成一个网络输入样本可以为样本引入时间信息，同时使得样本之间的目标rd谱具有较为明显的距离变化。
[0058]
预处理过程包括：
[0059]
101、雷达通过发射一组脉冲序列，得到目标回波，经过二维快速傅里叶变换fft处理后即可获得一帧rd谱。进而雷达连续发射多组脉冲，获取目标回波进行处理，能够得到目标的多帧rd谱。
[0060]
102、对rd谱进行幅度最大值归一化处理，利用每帧rd谱的最大值对进行归一化。设s
′
ij
为rd谱中位置为(i,j)的像素点，则其幅度归一化表示为：
[0061][0062]sij
表示像素坐标系下坐标值为(i,j)的像素点的幅度。
[0063]
103、将连续5帧rd谱组合为一个包含时序信息的三维的数据样本，作为深度学习网络的输入。并进一步划分为训练数据集和测试数据集。在具体实施过程之中，数据样本包括的rd谱的帧数不做具体限制，但是同一个数据样本中的rd谱的时序信息是连续的，不同的数据样本中包括的rd谱不同，没有重复。
[0064]
根据rd谱提取图像知识和目标知识为：
[0065]
针对每帧rd谱，以rd谱的每个像素点为中心，选取每个像素点的有效区域，计算有效区域的平均能量特征和起伏特征作为所述图像知识，计算目标区域的平均能量特征和起伏特征作为图像知识。
[0066]
图像知识包含两种像素级特征：平均能量特征k
avg_e
和起伏特征k
undu
。对于rd谱中位置为(i,j)的像素点，平均能量特征k
avg_e
描述了以s
ij
为中心的3
×
3区域的平均能量，包含目标信息较多的区域平均能量更大；而起伏特征k
undu
描述了该区域的起伏程度，包含目标信息区域的边缘起伏程度较大。可以根据以下公式得到两种特征：
[0067][0068][0069]
其中，n表示该区域的像素点数目，表示该区域幅度的平均值。
[0070]
在具体实施过程中，目标区域的面积大小即3
×
3区域不做具体限制，可以根据实际情况进行调整。
[0071]
针对每帧rd谱，进行二维检测获得目标的距离维延展特征和多普勒维延展特征，与雷达回波测量得到的目标的距离、速度和角度一起组成目标知识。
[0072]
获取目标知识，经过雷达回波测量得到目标相对雷达设备的距离、速度、角度信息。在实际驾驶场景中，雷达测量得到的目标空间信息如距离、角度与目标速度信息对于车辆、行人等不同类别目标具有区分性，是有价值的分类信息，同时是样本缺少，网络提取不到的信息。
[0073]
同时，通过对目标rd数据进行二维检测，得到距离维和多普勒维的延展特征。在检
测过程中，设定幅度的门限值t，将距离维和多普勒维上大于t的最大范围分别作为两维度的延展特征。通常，t取值为归一化后最大幅值的0.8倍，可根据实际情况进行调整。
[0074]
得到共5种目标信息，组合形成目标知识包括：目标相对雷达设备的距离、速度、角度，以及距离维的延展特征和多普勒维的延展特征。
[0075]
将对应的连续5帧图像知识和目标知识分别作为整体，进行归一化处理。
[0076]
在本发明中，深度学习网络的输入包含数据样本和辅助知识两个部分：每个数据样本包括连续5帧的rd谱，每个数据样本对应的辅助知识包含与rd谱对应的5帧图像知识和5帧目标知识。对每个样本对应的图像知识部分和目标知识部分进行最大值归一化处理，获得辅助深度学习网络训练的二级知识。
[0077]
步骤二、训练获得深度学习分类模型，包括知识辅助模块、知识融合模块和分类模块；如图1所示，为本发明的深度学习网络框架。
[0078]
利用数据样本并引入图像知识对知识辅助模块进行训练，得到数据样本中每帧rd谱的空间特征；利用空间特征对知识融合模块进行训练得到数据样本的深度特征，并将深度特征与目标知识进行融合，得到最终样本特征；利用最终样本特征对分类模块进行训练获得目标类别。
[0079]
知识辅助模块的训练过程为：
[0080]
将每帧rd谱依次输入到第一卷积层中提取每帧rd谱的特征图f，将特征图f分别输入到最大池化层和平均池化层中获得maxpool(f)和avgpool(f)；通过concat层对maxpool(f)、avgpool(f)、平均能量特征和起伏特征进行拼接，再将拼接结果输入至第二卷积层，获得空间注意力权重矩阵；将注意力权重矩阵与特征图相乘，得到每帧rd谱的空间特征。
[0081]
构建知识辅助模块，将图像知识作用于注意力权重矩阵的生成，对目标rd谱样本中包含更多目标信息的区域赋予更高的权重，使得网络在训练过程中给予该区域的数据更多关注，并形成样本的一组空间特征。
[0082]
该模型由卷积层、最大池化层、平均池化层和concat层组成。该模型的输入包括样本和图像知识。首先，将每帧rd谱依次输入到卷积层中提取每帧rd谱的特征图f。将特征图f分别输入到最大池化层maxpool()和平均池化层avgpool()中获得maxpool(f)和avgpool(f)。然后，通过concat层对maxpool(f)、avgpool(f)、k
avg_e
和k
undu
进行拼接，再将拼接结果输入至卷积层进行卷积操作，获得空间注意力权重矩阵m：
[0083]
m＝σ(f([maxpool(f)；avgpool(f)；k
avg_e
；k
undu
]))
[0084]
其中，σ表示卷积层中的激活函数“relu”，f代表卷积操作。
[0085]
最后，将注意力权重矩阵m与特征图f相乘，得到每帧rd谱的空间特征f
′
作为本模块的输出：
[0086][0087]
其中，
“”
表示哈达玛乘积。
[0088]
知识融合模块的训练过程为：
[0089]
将空间特征输入卷积长短时间记忆convlstm网络层，获得数据样本的深度特征；通过最大池化层对深度特征进行降维，之后通过concat层将降维后的深度特征与目标知识进行拼接，输出数据样本的最终样本特征。数据样本的深度特征包括若干帧rd谱的空间特征和时序信息。
[0090]
构建知识融合模块，用于进一步提取包含样本空间和时间信息的深度特征，并引入目标知识，将深度特征和目标知识融合，形成最终样本特征，从而可以提高深度学习的分类性能。
[0091]
知识融合模块主要包含convlstm网络层、最大池化层和一个concat层。convlstm网络结构如图2所示，是一种串行连接的网络结构，本发明中的convlstm网络层包括5个单元，每个单元均包括候选记忆单元g
t
、记忆单元c
t
和三个门控单元：遗忘门f
t
、输入门i
t
、输出门o
t
。每个单元中的卷积操作，能够提取每帧输入的空间信息；lstm网络结构能够在时间维度对每个单元提取到的空间信息进行聚合，最终获取包含样本空间及时间信息的深度特征。
[0092]
对于第t个单元，其结构如图2所示，输入为知识辅助模块获得的第t帧空间特征f
t
′
和上一单元的输出h
t-1
，输出为。第t个单元的遗忘门f
t
、输入门i
t
和输出门o
t
及候选记忆单元g
t
的计算公式如下：
[0093]it
＝sig(w
fi
*f
′
t
w
hi
*h
t-1
bi)
[0094]ft
＝sig(w
ff
*f
′
t
w
hf
*h
t-1
bf)
[0095]ot
＝sig(w
fo
*f
′
t
w
ho
*h
t-1
bo)
[0096]gt
＝tanh(w
fg
*f
′
t
w
hg
*h
t-1
bg)
[0097]
其中，“sig”和“tanh”分别表示sigmoid和tanhyperbolic激活函数，“*”表示卷积运算。w～和b～分别表示卷积运算中的卷积核参数与偏置项，下标表示了其所在位置，例如w
fi
和w
hi
分别表示计算输入门i
t
时，f
′
t
和h
t-1
的卷积核参数，bi表示输入门i
t
的偏置。
[0098]
从而可以得到第t个单元的记忆单元c
t
的计算如下：
[0099][0100]
其中，
“”
表示哈达玛乘积，c
t-1
表示上一单元中的记忆单元的值。第t个单元的输出h
t
可以由下式得到：
[0101][0102]
通过lstm网络对每个单元的输出进行聚合，convlstm网络层的输出为包含样本时间及空间信息的深度特征。然后，经过最大池化层通过下采样规则对深度特征进行降维，减少数据量。最大池化层首先将输入的深度特征划分为不同的区域，然后将每个区域的最大值作为输出，得到降维后的深度特征。最后，通过concat层将降维后的深度特征与目标知识进行拼接，利用目标知识对降维后的深度特征进行补充，输出最终样本特征。
[0103]
分类模块的训练过程为：
[0104]
将最终样本特征输入至第一全连接层，经过relu激活函数获得简化后的最终样本特征，将简化后的最终样本特征输入第二全连接层，经过softmax激活函数获得数据样本的类别。
[0105]
构建分类模块，包含两个全连接层，对样本的类别进行预测。
[0106]
该模型的输入为知识融合模块得到的样本特征，第一个全连接层包含32个神经元，激活函数选用relu。第二个全连接层包含3个神经元，激活函数选用softmax，其输出概率最大的类别即为分类结果。
[0107]
在训练阶段，深度学习网络的输入为包含真实类别的样本和对应的图像知识以及
目标知识。对于真实类别为y的样本，通过网络前向传播得到样本的预测类别并采用交叉熵损失函数(cross entropy)计算预测类别与真实类别y的损失，然后通过adam优化器及反向传播算法逐层更新网络参数，以最小化损失函数使网络收敛。即在上述训练深度学习分类模型的过程中，采用交叉熵损失函数对训练过程进行优化，交叉熵损失函数为：
[0108][0109]
其中，ce表示交叉熵损失函数，n表示训练的数据样本总数，i表示第i个数据样本，log为取对数运算，y(i)表示第i个数据样本的真实类别，表示第i个数据样本的预测类别。
[0110]
训练完成之后，需要对深度学习网络进行测试，利用提前划分的测试集，在测试阶段，深度学习网络的输入为未知真实类别的样本和对应的图像知识及目标知识。通过训练好的网络参数，对样本类别进行预测，最后一层输出的概率最大的类别即为样本类别。
[0111]
步骤三、将待识别的目标类别的数据样本以及与数据样本对应的图像知识和目标知识输入到所述深度学习分类模型中，即可获得目标类别。
[0112]
根据上述一种基于知识辅助的雷达目标深度学习分类方法，本发明还提供了一种基于知识辅助的雷达目标深度学习分类系统，包括：数据处理模块和深度学习分类模块。
[0113]
数据处理模块用于将若干帧时序信息连续的距离-多普勒rd谱组成数据样本，并提取每帧rd谱的图像知识和目标知识。
[0114]
图像知识包括平均能量特征和起伏特征；目标知识包括目标的距离、目标的速度、目标的角度、目标的距离维延展特征和目标的多普勒维的延展特征。
[0115]
深度学习分类模块包括知识辅助单元、知识融合单元和分类单元。
[0116]
知识辅助单元用于根据数据样本和图像知识进行模块训练，并输出的每帧rd谱的空间特征至知识融合单元。
[0117]
知识融合单元用于根据空间特征和目标知识进行模块训练，并输出数据样本的最终样本特征至分类单元。
[0118]
分类单元用于根据最终样本特征进行模块训练，输出数据样本的类别即目标类别。
[0119]
在数据处理模块中，提取每帧rd谱的图像知识和目标知识为：
[0120]
针对每帧rd谱，以rd谱的每个像素点为中心，选取每个像素点的有效区域，计算有效区域的平均能量特征和起伏特征作为所述图像知识，计算目标区域的平均能量特征和起伏特征作为图像知识。
[0121]
针对每帧rd谱，进行二维检测获得目标的距离维延展特征和多普勒维的延展特征，与雷达回波测量得到的目标的距离、速度和角度一起组成目标知识。
[0122]
知识辅助单元的训练过程为：将每帧rd谱依次输入到第一卷积层中提取每帧rd谱的特征图f，将特征图f分别输入到最大池化层和平均池化层中获得maxpool(f)和avgpool(f)；通过concat层对maxpool(f)、avgpool(f)、平均能量特征和起伏特征进行拼接，再将拼接结果输入至第二卷积层，获得空间注意力权重矩阵；将注意力权重矩阵与特征图相乘，得到每帧rd谱的空间特征。
[0123]
知识融合单元的训练过程为：将空间特征输入卷积长短时间记忆convlstm网络层，获得数据样本的深度特征；通过最大池化层对所述深度特征进行降维，之后通过concat层将降维后的深度特征与目标知识进行拼接，输出数据样本的最终样本特征。
[0124]
数据样本的深度特征包括所述若干帧rd谱的空间特征和时序信息。
[0125]
分类单元的训练过程为：将最终样本特征输入至第一全连接层，经过relu激活函数获得简化后的最终样本特征，将简化后的最终样本特征输入第二全连接层，经过softmax激活函数获得数据样本的类别。
[0126]
雷达目标深度学习分类系统还包括优化模块，优化模块用于根据交叉熵损失函数对所述深度学习分类模块的训练过程进行优化，交叉熵损失函数为：
[0127][0128]
其中，ce表示交叉熵损失函数，n表示训练的数据样本总数，i表示第i个数据样本，log为取对数运算，y(i)表示第i个数据样本的真实类别，表示第i个数据样本的预测类别。
[0129]
为了证明本发明方法的有效性，提供以下具体实施例：
[0130]
本部分结合实测数据实验，对本发明的效果进行说明。为了评估所提出的知识辅助深度学习网络的性能，采集了交通领域常见的三种目标的数据：车辆、自行车和行人进行实验。
[0131]
数据集及参数设置：
[0132]
数据集由77ghz汽车雷达传感器收集。雷达的距离和速度分辨率分别为0.3m和0.3m/s，在日常交通情况下具有良好的测量性能。数据采集场景为较为空旷的测试路段，雷达传感器设置在静止的车辆上，目标在0～80m范围内沿雷达视线方向径向移动。真实场景如图2所示。三类目标的样本数据由连续5帧rd谱组成，其样本示例如图3所示。通过采集和处理，得到样本总数为1278个，并进一步将其划分为训练数据集和测试数据集，具体设置如表1所示。
[0133]
表1实验数据集说明
[0134] 训练样本量测试样本量车辆29599自行车323113行人345103总计963315
[0135]
所提出模型主要层的详细参数设置如表2所示。在知识辅助模块中，卷积层的卷积核为3
×
3，数量设置为5。全局最大池化层及全局平均池化层的大小为5
×1×
1。然后将池化结果与图像知识进行拼接，并利用包含5个尺寸为3
×
3的卷积核的卷积层来生成注意力权重矩阵。在知识融合模块中，使用包含5个大小为5
×
5的卷积核的convlstm网络层来提取目标的深层特征，并通过一个大小为2
×3×
5的最大池化层来降低数据维度。最后，将目标知识向量与深度特征向量进行拼接操作，放入输出节点数为32和3的两层全连接层并利用softmax激活函数进行类别预测。
[0136]
表2网络参数说明
[0137][0138]
实验结果：
[0139]
基于所述网络参数构建基于知识辅助的深度学习网络，并利用所述实测数据集对车辆、行人、自行车三种目标进行分类实验以评估本发明所提出方法的有效性。图4为本发明方法所提取到的用于分类的最终样本特征，经过t分布随机邻域嵌入(t-distributed stochastic neighbor embedding,t-sne)方法降维后，进行可视化的结果。可以观察到，由于多级知识的辅助，网络提取到的三类目标特征彼此相距较远，能够较好的进行区分。其中，车辆目标的区分度最高，行人和自行车两类目标较为相似。
[0140]
本发明所提出的知识辅助深度学习方法的分类准确率为94.29％，在多类别分类任务中达到了良好的性能。图5展示了网络分类结果的混淆矩阵。可以观察到，车辆在三个目标中具有最佳性能，所有测试样本全部预测正确。其原因可能是车辆与其他两个目标之间存在较大差异，例如速度、尺寸大小等。对于自行车目标，只有8个测试样本被错误分类，其中，5个样本被错误地分类为行人，3个样本被错误地分类为车辆。同时，由于自行车与行人更为相似，有10个行人的测试样本被错误分类为自行车。
[0141]
进一步地，为评估本发明方法的性能，基于同一数据集将本发明方法与另外3种方法进行了对比实验。其中，2种方法是基于人工提取的特征与分类器结合的方法。该种方法从目标rd谱中提取13个人工特征分别放入svm和rf分类器中进行目标分类。同时，搭建已公开的卷积神经网络(convolutional neural network,cnn)：包含两层卷积层、一层最大池化层及一层全连接层，作为对比。实验结果如表3所示，能够看出，本发明的分类准确率最高，采用多级知识的辅助，弥补了深度学习在知识和逻辑上的不足，可以提高深度学习的分类性能。
[0142]
表3不同方法的分类性能对比
[0143]
方法准确率人工特征 svm分类器83.80％
人工特征 rf分类器85.35％cnn87.35％本发明方法94.29％
[0144]
综上，本发明以连续多帧雷达目标rd谱为样本，搭建深度学习网络框架。为提高网络性能，在深度学习中引入图像知识和目标知识两个层级的知识进行辅助。引入外部图像知识与网络提取的特征图共同生成注意力权重矩阵，引导网络更准确地关注样本数据中包含更多目标信息的区域。同时，在网络中引入目标知识与深度特征进行拼接融合，为目标分类提供更多信息。基于三种目标的汽车雷达实测数据的实验验证了本发明方法的有效性和良好的实际应用潜力。
[0145]
以上的具体实施例仅描述了本发明的设计原理，该描述中的部件形状，名称可以不同，不受限制。所以，本发明领域的技术人员可以对前述实施例记载的技术方案进行修改或等同替换；而这些修改和替换未脱离本发明创造宗旨和技术方案，均应属于本发明的保护范围。