一种提取伪图像特征的图像和毫米波雷达目标的匹配方法与流程

1.本技术涉及自动驾驶技术领域，尤其是涉及一种提取伪图像特征的图像和毫米波雷达目标的匹配方法。


背景技术：

2.目前，自动驾驶车辆面临的挑战之一是复杂场景中的精确目标检测和跟踪，而当前的视觉目标检测和跟踪算法已经达到了性能上限，与视觉算法中的视觉传感器相比，毫米波雷达的检测性能受极端天气的影响较小，此外，毫米波雷达不仅可以测量距离，还可以利用运动物体反射信号的多普勒效应测量速度矢量，并且具有穿透性，受遮挡的影响小，在遮挡情况下更具备跟踪条件。
3.但是，毫米波雷达在识别3d目标时是聚类为一个目标点，分辨率较低，难以提供目标的准确轮廓和外观信息。同时视觉目标检测易受遮挡和极端天气的影响，并且无法测量自车与目标的距离和相对速度。
4.针对上述中的相关技术，发明人发现现有的图像目标和毫米波雷达目标在匹配时存在有准确率较低的问题。


技术实现要素：

5.为了提高图像目标和毫米波雷达目标的匹配准确率，本技术提供了提一种提取伪图像特征的图像和毫米波雷达目标的匹配方法。
6.第一方面，本技术提供一种提取伪图像特征的图像和毫米波雷达目标的匹配方法。
7.本技术是通过以下技术方案得以实现的：一种提取伪图像特征的图像和毫米波雷达目标的匹配方法，包括以下步骤，基于时间同步下的图像和该时间下的毫米波雷达目标，将所述毫米波雷达目标投影到所述图像上，获得所述毫米波雷达目标在所述图像上的雷达点坐标；标注所述图像的目标区域，将属于真实世界的同一个目标物体的所述的图像的目标区域与所述毫米波雷达目标一一对应，获得匹配关系，并根据所述图像的目标区域和所述毫米波雷达目标的信息，构建伪图像；根据所述匹配关系监督训练得到第一特征提取模型，基于所述第一特征提取模型，提取所述伪图像的图像特征，将所述图像特征进行融合，得到全局特征；提取所述全局特征中所述图像的目标区域的目标点特征和所述毫米波雷达目标的雷达点特征；基于所述目标点特征和所述雷达点特征，采用第二特征提取模型进行特征再加工，并结合所述匹配关系监督训练所述第二特征提取模型，获得目标特征提取模型后输出待匹配特征；采用匹配模型对所述待匹配特征进行最优匹配，得到匹配矩阵；
基于所述匹配矩阵，解析出所述图像和所述毫米波雷达目标的匹配结果。
8.本技术在一较佳示例中可以进一步配置为：还包括以下步骤，所述待匹配特征包括图像目标点特征和雷达点特征，对所述图像目标点特征和所述雷达点特征进行内积计算，得到得分矩阵；采用匹配模型，将所述得分矩阵经过优化匹配层进行最优匹配，得到目标扩充矩阵；根据所述目标扩充矩阵得到匹配矩阵，初始化回归参数，将所述回归参数放入优化匹配层中进行迭代，并通过监督训练得到回归参数。
9.本技术在一较佳示例中可以进一步配置为：所述采用匹配模型，将所述得分矩阵经过优化匹配层进行最优匹配，得到目标扩充矩阵的步骤包括，初始化最优匹配后的每行之和及每列之和的目标常数；对所述得分矩阵的最后一行和最后一列分别增加一行和一列，并在增加的一行和一列中以回归参数进行填充，得到第一扩充矩阵；开始第一次迭代，计算所述第一扩充矩阵的每行之和，对应得到第一常数；对于第一扩充矩阵的每一行除以第一常数，并乘以目标常数，得到第二扩充矩阵；计算所述第二扩充矩阵的每列之和，对应得到第二常数；对于第二扩充矩阵的每一列除以第二常数，并乘以目标常数，得到第三扩充矩阵，结束第一次迭代；按照第一次迭代的方式，继续迭代第三扩充矩阵的每行和每列，直到达到预设次数，得到目标扩充矩阵。
10.本技术在一较佳示例中可以进一步配置为：还包括以下步骤求解所述匹配矩阵的每一列的最大分数值所在的行数i，并判断所述最大分数值是否大于预设阈值；若所述匹配矩阵的最大分数值大于预设阈值时，则位于当前列数的所述图像目标和所述行数i的所述毫米波雷达目标的第i个雷达点匹配；若所述匹配矩阵的最大分数值小于预设阈值时，则该列所对应的某个图像目标没有与之匹配的雷达点。
11.本技术在一较佳示例中可以进一步配置为：所述根据所述目标区域和所述毫米波雷达目标的信息，构建伪图像的步骤包括，选取任一时刻下的rgb彩色图像，并标注出所述rgb彩色图像内图像目标的目标中心位置以及宽、高和目标类别，并记录下此时的相机参数；选取相同时刻下的毫米波雷达输出的雷达目标信息，所述雷达目标信息包含有雷达目标id、目标点可能性概率、雷达目标在雷达坐标系下的第一位置和雷达目标在雷达坐标系下的速度；将雷达目标的所述第一位置通过所述相机参数，利用坐标系转换，获得所述雷达目标在图像上的第二位置；创建一个与所述rgb彩色图像的大小一样的7通道的第一矩阵，将所述雷达目标的雷达目标id、目标点可能性概率、雷达目标在雷达坐标系下的第一位置、雷达目标在雷达坐标系下的速度和雷达目标热图的特征值填充至所述第一矩阵位于所述雷达目标在图像上
的第二位置处的7个通道上；创建一个与所述rgb彩色图像的大小一样的4通道的第二矩阵，将图像目标的宽、高、目标类别和图像目标热图的特征值填充至所述第二矩阵位于所述图像目标的中心位置处的4个通道上；将所述rgb彩色图像的3通道矩阵、所述第一矩阵的7通道矩阵以及所述第二矩阵的4通道矩阵进行拼接，形成一个14通道的伪图像。
12.本技术在一较佳示例中可以进一步配置为：所述第一特征提取模型为resnet50/34/18或vgg16/19中的任意一种。
13.本技术在一较佳示例中可以进一步配置为：所述第二特征提取模型为superglue模型。
14.本技术在一较佳示例中可以进一步配置为：所述匹配模型为sinkhorn模型。
15.第二方面，本技术提供一种提取伪图像特征的图像和毫米波雷达目标的匹配装置。
16.本技术是通过以下技术方案得以实现的：一种提取伪图像特征的图像和毫米波雷达目标的匹配装置，包括，映射模块，用于基于时间同步下的图像和该时间下的毫米波雷达目标，将所述毫米波雷达目标投影到所述图像上，获得所述毫米波雷达目标在所述图像上的雷达点坐标；伪图像模块，用于标注所述图像的目标区域，将属于真实世界的同一个目标物体的所述图像的目标区域与所述毫米波雷达目标一一对应，获得匹配关系，并根据所述图像的目标区域和所述毫米波雷达目标的信息，构建伪图像；第一特征提取模块，用于根据所述匹配关系监督训练得到第一特征提取模型，基于所述第一特征提取模型，提取所述伪图像的图像特征，将所述图像特征进行融合，得到全局特征；第二特征提取模块，用于提取所述全局特征中所述图像的目标区域的目标点特征和所述毫米波雷达目标的雷达点特征；基于所述目标点特征和所述雷达点特征，采用第二特征提取模型进行特征再加工，并结合所述匹配关系监督训练所述第二特征提取模型，获得目标特征提取模型后输出待匹配特征；优化匹配模块，用于采用匹配模型对所述待匹配特征进行最优匹配，得到匹配矩阵；匹配矩阵解析模块，用于基于所述匹配矩阵，解析出所述图像和所述毫米波雷达目标的匹配结果。
17.第三方面，本技术提供一种计算机设备。
18.本技术是通过以下技术方案得以实现的：一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一种提取伪图像特征的图像和毫米波雷达目标的匹配方法的步骤。
19.综上所述，与现有技术相比，本技术提供的技术方案带来的有益效果至少包括：基于时间同步下的图像目标和该时间下的毫米波雷达目标，将毫米波雷达目标投影到图像上，获得毫米波雷达目标在图像上的雷达点坐标，以为获得匹配关系做数据准备；
标注图像中的目标区域，将属于真实世界的同一个目标物体的目标区域与雷达目标一一对应，获得匹配关系，用于后续作为监督训练的标签来训练模型，并根据目标区域和毫米波雷达目标的信息，构建伪图像，提供图像范围内的全局信息用于提取特征；根据匹配关系监督训练第一特征提取模型，基于第一特征提取模型，提取伪图像的图像特征金字塔，将不同尺度下的的特征进行融合，以获得不同感受野下的全局特征，使得提取的特征更全面；提取不同感受野下全局特征中目标区域的目标点特征和毫米波雷达目标的雷达点特征，基于目标点特征和雷达点特征，采用第二特征提取模型进行特征再加工，并结合匹配关系监督训练第二特征提取模型，获得目标特征提取模型后输出待匹配特征，以进一步提取点与点的相似特征和差异特征，使得提取的特征更细节；采用匹配模型对待匹配特征进行最优匹配，并结合匹配关系监督训练回归出回归参数，得到图像和毫米波雷达目标的匹配结果，以通过优化匹配层的匹配模型对图像目标和毫米波雷达目标的更全面和更细节的特征进行匹配，提高了图像目标和毫米波雷达目标的匹配准确率，改善毫米波雷达在识别3d目标时分辨率较低，难以提供目标的准确外观和轮廓信息的问题，同时，将图像目标和毫米波雷达目标进行匹配融合，能够有效克服各自在感知上的短板，提升感知的准确率。
附图说明
20.图1为本技术一个示例性实施例提供的一种提取伪图像特征的图像和毫米波雷达目标的匹配方法的主要流程示意图。
21.图2为本技术又一个示例性实施例提供的一种提取伪图像特征的图像和毫米波雷达目标的匹配方法的构建伪图像的流程图。
22.图3为本技术另一个示例性实施例提供的一种提取伪图像特征的图像和毫米波雷达目标的匹配方法的采用匹配模型进行最优匹配的流程图。
23.图4为本技术一个示例性实施例提供的一种提取伪图像特征的图像和毫米波雷达目标的匹配方法的效果示意图。
24.图5为本技术一个示例性实施例提供的一种提取伪图像特征的图像和毫米波雷达目标的匹配装置的结构框图。
具体实施方式
25.本具体实施例仅仅是对本技术的解释，其并不是对本技术的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本技术的权利要求范围内都受到专利法的保护。
26.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
27.另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
28.下面结合说明书附图对本技术实施例作进一步详细描述。
29.参照图1，本技术实施例提供一种提取伪图像特征的图像和毫米波雷达目标的匹配方法，所述方法的主要步骤描述如下。
30.s1:基于时间同步下的图像和该时间下的毫米波雷达目标，将所述毫米波雷达目标投影到所述图像上，获得所述毫米波雷达目标在所述图像上的雷达点坐标；s2:标注所述图像的目标区域，将属于真实世界的同一个目标物体的所述图像的目标区域与所述毫米波雷达目标一一对应，获得匹配关系，并根据所述图像的目标区域和所述毫米波雷达目标的信息，构建伪图像；s3:根据所述匹配关系监督训练得到第一特征提取模型，基于所述第一特征提取模型，提取所述伪图像的图像特征，将所述图像特征进行融合，得到全局特征；s4:提取所述全局特征中所述图像的目标区域的目标点特征和所述毫米波雷达目标的雷达点特征；s5:基于所述目标点特征和所述雷达点特征，采用第二特征提取模型进行特征再加工，并结合所述匹配关系监督训练所述第二特征提取模型，获得目标特征提取模型后输出待匹配特征；s6:采用匹配模型对所述待匹配特征进行最优匹配，得到匹配矩阵；s7:基于所述匹配矩阵，解析出所述图像和所述毫米波雷达目标的匹配结果。
31.具体地，经过安装在不同位置的两种传感器感知获取时间同步下的图像和该时刻下的毫米波雷达目标，例如，1秒30张图像，并通过坐标系转换，将雷达点目标投影到图像上获得雷达点在图像上的坐标。
32.人工标注出或借助目标检测器检测出图像中的目标区域，本实施例中，目标区域为关键目标区域，关键目标区域包括行人、车辆、动物等具有移动属性的物体，并将属于真实世界的同一个目标物体的关键目标区域与毫米波雷达目标一一对应，以获取匹配关系作为标签监督训练resnet或vgg和superglue匹配算法，基于关键目标区域的矩形框和毫米波雷达目标的信息构建伪图像。
33.根据匹配关系监督训练得到第一特征提取模型，基于第一特征提取模型，提取伪图像的图像特征，以构成特征金字塔，即图像特征金字塔，图像特征金字塔由卷积神经网络在不同步长进行采样得到，是不同尺度的图像特征，将图像特征进行融合。本实施例中，第一特征提取模型可以为深度学习cnn模型。
34.在一实施例中，第一特征提取模型可以为resnet50/34/18或vgg16/19中的任意一种。本实施例中，以resnet50为例，将特征金字塔的4层特征进行融合，得到不同感受野下的全局特征图featuremap,其维度为[1,c,h,w],其中h，w分别为图像的高和宽，c为特征维度的长度，提取全局特征图featuremap中关键目标区域的矩形框的中心点特征和毫米波雷达目标的雷达点特征，得到m个雷达点和n个图像目标的点各c/2维特征，即每个点的维度为[1,c/2,1,1]。
[0035]
基于中心点和雷达点各c/2维特征，采用第二特征提取模型进行特征再加工，并结合匹配关系监督训练第二特征提取模型，获得目标特征提取模型后输出待匹配的d维特征。
[0036]
在一实施例中，第二特征提取模型可以为superglue模型。通过superglue模型对中心点特征和雷达点特征进行再提取和特征再加工，并结合图像目标区域与雷达目标一一对应的匹配关系对superglue模型进行监督训练，通过计算负对数似然损失，直到
superglue模型收敛完成训练。将训练好的superglue模型作为目标特征提取模型，获得目标特征提取模型后输出待匹配特征。
[0037]
采用匹配模型对待匹配特征进行最优匹配，得到匹配矩阵。
[0038]
在一实施例中，匹配模型可以为sinkhorn模型。通过sinkhorn模型将雷达点特征和图像目标点特征进行内积计算得到得分矩阵，并经过迭代，得到最终的匹配矩阵。
[0039]
具体地，设m个雷达点的d维特征为{d
1d
,...,d
md
},其对应的位置为{p1,...,pm}；n个图像目标点的d维特征为{d
1d
,...,d
nd
}，其对应的位置为{p1,...,pn}。经过superglue的特征再加工之后，得到第i个雷达点的特征为f
id
，第j个图像目标点的特征为f
jd
，将特征为f
id
和f
jd
进行内积计算得到分数s
i, j
,分数s
i, j
为m行n列的得分矩阵s中的第i行第j列元素。
[0040]
将m
×
n的得分矩阵s经过优化匹配层进行sinkhorn的最优匹配，得到最终的匹配矩阵。
[0041]
对迭代后的匹配矩阵进行解析，得到图像目标和毫米波雷达目标的匹配结果。
[0042]
参照图2，在一实施例中，s2:所述根据所述目标区域和所述毫米波雷达目标的信息，构建伪图像的步骤包括，s21:选取任一时刻下的rgb彩色图像，并标注出所述rgb彩色图像内图像目标的目标中心位置以及宽、高和目标类别，并记录下此时的相机参数；s22:选取相同时刻下的毫米波雷达输出的雷达目标信息，所述雷达目标信息包含有雷达目标id、目标点可能性概率、雷达目标在雷达坐标系下的第一位置（rx,ry）和雷达目标在雷达坐标系下的速度（vx，vy)；s23:将雷达目标的所述第一位置（rx,ry）通过所述相机参数，利用坐标系转换，获得所述雷达目标在图像上的第二位置；s24:创建一个与所述rgb彩色图像的大小一样的元素值全为零的7通道的第一矩阵，将所述雷达目标的雷达目标id、目标点可能性概率、雷达目标在雷达坐标系下的第一位置（rx,ry）、雷达目标在雷达坐标系下的速度（vx，vy)和雷达目标热图的特征值1填充至所述第一矩阵位于雷达目标在图像上的第二位置处的7个通道上；s25:创建一个与所述rgb彩色图像的大小一样的元素值全为零的4通道的第二矩阵，将图像目标的宽、高、目标类别和图像目标热图的特征值1填充至所述第二矩阵位于所述图像目标的中心位置处的4个通道上；s26:将所述rgb彩色图像的3通道矩阵、所述第一矩阵的7通道矩阵以及所述第二矩阵的4通道矩阵进行拼接，形成一个14通道的伪图像，又称伪图像矩阵，使得特征信息更加丰富。伪图像的c维特征一分为二，将其中c/2维特征划分至图像目标，剩余的c/2维特征划分至毫米波雷达目标。
[0043]
参照图3，在一实施例中，还包括以下步骤，s61:所述待匹配特征包括目标点特征和雷达点特征，对所述目标点特征和所述雷达点特征进行内积计算，得到得分矩阵；采用匹配模型，将所述得分矩阵经过优化匹配层进行最优匹配，得到目标扩充矩阵；根据所述目标扩充矩阵得到匹配矩阵，初始化回归参数，将所述回归参数放入优化匹配层中进行迭代，并通过监督训练得到回归参数。
[0044]
在一实施例中，所述采用匹配模型，将所述得分矩阵经过优化匹配层进行最优匹配，得到目标扩充矩阵的步骤包括，s62: 初始化最优匹配后的每行之和及每列之和的目标常数；s63: 对所述得分矩阵的最后一行和最后一列分别增加一行和一列，并在增加的一行和一列中以回归参数进行填充，得到第一扩充矩阵；s64:开始第一次迭代，计算所述第一扩充矩阵的每行之和，对应得到第一常数；s65:对于第一扩充矩阵的每一行除以第一常数，并乘以目标常数，得到第二扩充矩阵；s66:计算所述第二扩充矩阵的每列之和，对应得到第二常数；s67:对于第二扩充矩阵的每一列除以第二常数，并乘以目标常数，得到第三扩充矩阵，结束第一次迭代；s68:按照第一次迭代的方式，继续迭代第三扩充矩阵的每行和每列，直到达到预设次数，得到目标扩充矩阵。
[0045]
s69:判断所述目标扩充矩阵是否满足预设条件；s70:若所述目标扩充矩阵满足预设条件，则根据判断结果得到匹配矩阵；具体地，对m个雷达点和n个图像目标的点特征经过内积计算，形成的m
×
n的矩阵，即得分矩阵s，初始化最优匹配后的每行之和及每列之和的目标常数，如a和b，默认都设置为1。
[0046]
对得分矩阵进行拓展，使得待匹配特征矩阵增加1行和1列，编码生成一个(m 1)
×
(n 1)的扩充矩阵s’，即第一扩充矩阵,拓展矩阵是因为有些图像目标点与雷达点没有匹配关系，通过增加1行或1列与之匹配。即当没有雷达点与某个图像目标匹配时，该图像目标应与新增1行的雷达目标匹配。
[0047]
接着对扩充矩阵s’进行以下处理，开始第一次迭代：s1’:计算扩充矩阵s’的每行之和；s2’:对于扩充矩阵s’的每一行，分别除以扩充矩阵s’的每行之和，并乘以目标行之和a，即第一常数，得到新的扩充矩阵s
’’
，即第二扩充矩阵；s3’:计算第二扩充矩阵s
’’
的列之和；s4’:对于第二扩充矩阵s
’’
的每一列，分别除以扩充矩阵s
’’
的列之和，并乘目标列之和b，即第二常数，得到新的扩充矩阵，即第三扩充矩阵，结束第一次迭代；s5’:按照第一次迭代的方式，对第三扩充矩阵的每行和每列重复执行s1
’‑ꢀ
s4’步，经过预设次数k次迭代后，新的扩充矩阵的行之和与目标行之和a一致，新的扩充矩阵的列之和与目标列之和b一致，新的扩充矩阵即目标扩充矩阵。本实施例中，a=1,b=1, k=100。
[0048]
判断得到的目标扩充矩阵是否满足预设条件，即目标扩充矩阵是否迭代预设次数k。
[0049]
若目标扩充矩阵满足预设条件，即目标扩充矩阵迭代预设次数k，则根据该目标扩充矩阵得到匹配矩阵。根据匹配矩阵得到匹配结果。
[0050]
匹配矩阵是所述目标扩充矩阵的前m行前n列部分。如目标扩充矩阵的大小为（m 1）
×
（n 1），则匹配矩阵为目标扩充矩阵的前m行前n列部分，大小为m
×
n。
[0051]
进一步地，求解所述匹配矩阵的每一列的最大分数值所在的行数i，并判断所述最
大分数值是否大于预设阈值；若所述匹配矩阵的最大分数值大于预设阈值时，则位于当前列数的所述图像目标和所述行数i的所述毫米波雷达目标的第i个雷达目标匹配；若所述匹配矩阵的最大分数值小于预设阈值时，则该列所对应的某个图像目标没有与之匹配的雷达目标。
[0052]
求解所述匹配矩阵的每一列的最大分数值所在的行数i，并判断所述最大分数值是否大于预设阈值；若所述匹配矩阵的最大分数值大于预设阈值时，则位于所述列数的所述图像目标和所述行数i的所述毫米波雷达目标的第i个雷达目标匹配；若所述匹配矩阵的最大分数值小于预设阈值时，则该列所对应的某个图像目标没有与之匹配的雷达目标。
[0053]
具体地，经过优化匹配层的sinkhorn算法优化后得到大小为（m 1)
×
(n 1)的目标扩充矩阵。
[0054]
提取所述目标扩充矩阵的前m行前n列部分，得到大小为m
×
n的匹配矩阵。
[0055]
对匹配矩阵的每一列求最大分数值所在的第i行，且该最大分数值大于某个预设阈值时，则该图像目标与第i行的雷达目标匹配；否则，当矩阵的某一列的最大分数值小于某个预设阈值时，则该列的所对应的某个图像目标没有与之匹配的雷达目标。
[0056]
预设阈值的范围在0~1之间，本实施例中，预设阈值可以为0.2。例如，目标扩充矩阵的第1列的最大分数值0.8在第10行，且大于阈值0.2，则第1列所对应的图像目标与第10个雷达目标匹配。又例如，矩阵的某j列的最大分数值在第i行，且小于阈值0.2，该第j列的所对应的图像目标没有与之匹配的雷达目标。
[0057]
如图4所示为一种提取伪图像特征的图像和毫米波雷达目标的匹配方法的效果示意图。
[0058]
综上所述，一种提取伪图像特征的图像和毫米波雷达目标的匹配方法通过获取毫米波雷达目标的位置、速度等信息，结合rgb图像信息，输入初始化的伪图矩阵中；基于包含图像目标和雷达点信息的14通道的伪图；并对图像目标的目标和雷达目标进行人工标注，获得匹配关系，用于后续作为监督训练的标签来训练模型；利用深度学习cnn模型提取伪图像的图像特征，构成特征金字塔，并将特征金字塔的特征进行融合，以提取不同的感受野下的图像特征，使得提取的特征更全面；将伪图像的c维图像特征一分为二，获取图像目标中心点和雷达目标点相对应位置下的c/2维的点特征；使用superglue图神经网络模型对划分得到的两种点特征进行加工提取，以进一步提取点与点的相似特征和差异特征，使得提取的点特征更细节；使用sink horn匹配算法进行最优化匹配，得到迭代完成后的目标扩充矩阵，进而得到匹配矩阵，对匹配矩阵的每一列求最大分数值所在的第i行，且该最大分数值大于某个设定阈值时，则该图像目标与第i行的雷达目标匹配；否则，当矩阵的某一列的最大分数值小于某个设定阈值时，则该列的所对应的某个图像目标没有与之匹配的雷达目标；最终获得图像目标和雷达目标的匹配结果，以通过优化匹配层的匹配模型对图像目标和毫米波雷达目标的更全面和更细节的特征进行匹配，提高了图像目标和毫米波雷达目标的匹配准确率，改善毫米波雷达在识别3d目标时分辨率较低，难以提供目标的准确外观和轮廓信息的问题，同时，将图像目标和毫米波雷达目标进行匹配融合，能够有效克服各自在
感知上的短板，提升感知的准确率。
[0059]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0060]
参照图5，本技术实施例还提供一种提取伪图像特征的图像和毫米波雷达目标的匹配装置，该一种提取伪图像特征的图像和毫米波雷达目标的匹配装置与上述实施例中一种提取伪图像特征的图像和毫米波雷达目标的匹配方法一一对应。该一种提取伪图像特征的图像和毫米波雷达目标的匹配装置包括，映射模块，用于基于时间同步下的图像和该时间下的毫米波雷达目标，将所述毫米波雷达目标投影到所述图像上，获得所述毫米波雷达目标在所述图像上的雷达点坐标；伪图像模块，用于标注所述图像的目标区域，将属于真实世界的同一个目标物体的所述图像的目标区域与所述毫米波雷达目标一一对应，获得匹配关系，并根据所述图像的目标区域和所述毫米波雷达目标的信息，构建伪图像；第一特征提取模块，用于根据所述匹配关系监督训练得到第一特征提取模型，基于所述第一特征提取模型，提取所述伪图像的图像特征，将所述图像特征进行融合，得到全局特征；第二特征提取模块，用于提取所述全局特征中所述图像的目标区域的目标点特征和所述毫米波雷达目标的雷达点特征；基于所述目标点特征和所述雷达点特征，采用第二特征提取模型进行特征再加工，并结合所述匹配关系监督训练所述第二特征提取模型，获得目标特征提取模型后输出待匹配特征；优化匹配模块，用于采用匹配模型对所述待匹配特征进行最优匹配，得到匹配矩阵；匹配矩阵解析模块，用于基于所述匹配矩阵，解析出所述图像和所述毫米波雷达目标的匹配结果。
[0061]
关于一种提取伪图像特征的图像和毫米波雷达目标的匹配装置的具体限定可以参见上文中对于一种提取伪图像特征的图像和毫米波雷达目标的匹配方法的限定，在此不再赘述。上述一种提取伪图像特征的图像和毫米波雷达目标的匹配装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0062]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述任意一种提取伪图像特征的图像和毫米波雷达目标的匹配方法。
[0063]
在一个实施例中，提供了一种计算机可读存储介质，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
s1:基于时间同步下的图像和该时间下的毫米波雷达目标，将所述毫米波雷达目标投影到所述图像上，获得所述毫米波雷达目标在所述图像上的雷达点坐标；s2:标注所述图像的目标区域，将属于真实世界的同一个目标物体的所述图像的目标区域与所述毫米波雷达目标一一对应，获得匹配关系，并根据所述图像的目标区域和所述毫米波雷达目标的信息，构建伪图像；s3: 根据所述匹配关系监督训练得到第一特征提取模型，基于所述第一特征提取模型，提取所述伪图像的图像特征，将所述图像特征进行融合，得到全局特征；s4:提取所述全局特征中所述图像的目标区域的目标点特征和所述毫米波雷达目标的雷达点特征；s5:基于所述目标点特征和所述雷达点特征，采用第二特征提取模型进行特征再加工，并结合所述匹配关系监督训练所述第二特征提取模型，获得目标特征提取模型后输出待匹配特征；s6:采用匹配模型对所述待匹配特征进行最优匹配，得到匹配矩阵；s7:基于所述匹配矩阵，解析出所述图像和所述毫米波雷达目标的匹配结果。
[0064]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink） dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
[0065]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。