一种毫米波雷达数据和相机数据的融合方法及系统与流程

1.本发明涉及数据融合技术领域，特别是涉及一种毫米波雷达数据和相机数据的融合方法及系统。


背景技术：

2.自动驾驶汽车是依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，让电脑可以在没有任何人类主动的操作下，自动安全地操作机动车辆。
3.自动驾驶车辆关键技术包括环境感知、精确定位、路径规划和线控执行四类；其中环境感知是其它关键技术的数据基础。环境感知技术主要包括目标状态感知和目标识别，由于自动驾驶车辆需要根据周围物体的类别来做作出不同的决策，因此目标识别是自动驾驶领域的核心技术。由于环境复杂性，单一传感器或者多个同质传感器无法完全感知车周围的情况，需要多个异质传感器结合共同感知；而现有技术中，大多都采用基于激光雷达和相机的融合或者激光雷达与毫米波雷达的融合，但激光雷达成本高，且容易受天气的影响。
4.关于毫米波雷达和相机融合，现有技术中使用毫米波雷达通道和图像通道简单合并的方法进行数据融合，可能会丢失不同图像的多尺度特征，而为了获得高精度就不可避免的包含过多冗余融合结构，导致模型复杂度显著增加。这些方法都属于自底向上的融合结构，由于缺乏来自高层语义的信息，难以充分融合底层细节，随着融合的深入，特征映射通常变得越来越小，很难恢复和利用高分辨率图像中的高级语义知识。而且，越来越多的辅助结构被添加到融合模型中以改善融合结果，导致建模训练的难度大大增加。


技术实现要素：

5.有鉴于此，本发明提供了一种毫米波雷达数据和相机数据的融合方法及系统，采用自上而下的融合模式，毫米波雷达和相机的数据通过高级语义知识引导低级纹理信息完成融合，提高了目标识别的感知精度。
6.为实现上述目的，本发明提供了如下方案：
7.一种毫米波雷达数据和相机数据的融合方法，包括：
8.获取毫米波雷达点云数据和相机图像数据；
9.对所述毫米波雷达点云数据进行转换，得到与所述相机图像数据大小相同的雷达图像数据；
10.对所述相机图像数据进行多尺度特征提取得到相机图像特征数据；对所述雷达图像数据进行多尺度特征提取得到雷达图像特征数据；
11.将所述相机图像特征数据和所述雷达图像特征数据自上而下进行融合，得到融合数据；
12.对所述融合数据进行解码得到融合图像数据。
13.优选地，所述对所述毫米波雷达点云数据进行转换，得到与所述图像数据大小相同的雷达图像数据，包括：
14.将三维坐标系下的所述毫米波雷达点云数据进行坐标转换，映射到二维坐标系下的所述相机图像数据上，得到二维雷达数据；
15.基于所述二维雷达数据生成所述雷达图像数据。
16.优选地，所述对所述相机图像数据进行多尺度特征提取得到相机图像特征数据；对所述雷达图像数据进行多尺度特征提取得到雷达图像特征数据，包括：
17.基于残差网络编码器对所述相机图像数据进行多尺度特征提取，得到所述相机图像特征数据；
18.基于最大池化编码器对所述雷达图像数据进行多尺度特征提取，得到所述雷达图像特征数据。
19.优选地，所述将所述相机图像特征数据和所述雷达图像特征数据自上而下进行融合，得到融合数据，具体为：
20.基于自上而下的特征金字塔融合模块，对所述相机图像特征数据和所述雷达图像特征数据进行融合，得到所述融合数据。
21.本发明还提供了一种毫米波雷达数据和相机数据的融合系统，包括：
22.数据获取模块，获取毫米波雷达点云数据和相机图像数据；
23.数据转换模块，对所述毫米波雷达点云数据进行转换，得到与所述相机图像数据大小相同的雷达图像数据；
24.特征提取模块，对所述相机图像数据进行多尺度特征提取得到相机图像特征数据；对所述雷达图像数据进行多尺度特征提取得到雷达图像特征数据；
25.数据融合模块，将所述相机图像特征数据和所述雷达图像特征数据自上而下进行融合，得到融合数据；
26.解码模块，对所述融合数据进行解码得到融合图像数据。
27.优选地，所述数据转换模块包括：
28.坐标转换单元，将三维坐标系下的所述毫米波雷达点云数据进行坐标转换，映射到二维坐标系下的所述相机图像数据上，得到二维雷达数据；
29.数据生成单元，基于所述二维雷达数据生成所述雷达图像数据。
30.优选地，所述特征提取模块包括：
31.相机数据特征提取单元，基于残差网络编码器对所述相机图像数据进行多尺度特征提取，得到所述相机图像特征数据；
32.雷达数据特征提取单元，基于最大池化编码器对所述雷达图像数据进行多尺度特征提取，得到所述雷达图像特征数据。
33.优选地，所述数据融合模块具体为：
34.基于自上而下的特征金字塔融合模块，对所述相机图像特征数据和所述雷达图像特征数据进行融合，得到所述融合数据。
35.根据本发明提供的具体实施例，本发明公开了以下技术效果：
36.本发明涉及一种毫米波雷达数据和相机数据的融合方法及系统，首先对毫米波雷达点云数据进行转换，得到与相机图像数据大小相同的雷达图像数据；然后分别对相机图像数据进行多尺度特征提取得到相机图像特征数据，对雷达图像数据进行多尺度特征提取得到雷达图像特征数据；再将相机图像特征数据和雷达图像特征数据自上而下进行融合，
得到融合数据；最后对融合数据进行解码得到融合图像数据。本发明采用自上而下的融合模式，将毫米波雷达和相机的数据通过特征提取进行多尺度的融合，不仅降低模型的复杂度，而且提高了融合的精度，进一步提高了目标识别的感知精度。
附图说明
37.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
38.图1为本发明毫米波雷达数据和相机数据的融合方法流程图；
39.图2为本发明毫米波雷达数据和相机数据的融合系统结构图；
40.图3为本发明残差网络编码器、最大池化编码器和特征金字塔融合模块结构图。
41.符号说明：1-数据获取模块，2-数据转换模块，3-特征提取模块，4-数据融合模块，5-解码模块。
具体实施方式
42.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
43.本发明的目的是提供一种毫米波雷达数据和相机数据的融合方法及系统，采用自上而下的融合模式，毫米波雷达和相机的数据通过高级语义知识引导低级纹理信息完成融合，提高了目标识别的感知精度。
44.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
45.图1为本发明毫米波雷达数据和相机数据的融合方法流程图。如图所示，本发明提供了一种毫米波雷达数据和相机数据的融合方法，包括：
46.步骤s1，获取毫米波雷达点云数据和相机图像数据。所述毫米波雷达点云数据基于毫米波雷达得到，所述相机图像数据通过相机拍摄得到。
47.步骤s2，对所述毫米波雷达点云数据进行转换，得到与所述相机图像数据大小相同的雷达图像数据。
48.具体地，所述步骤s2具体为：
49.将三维坐标系下的所述毫米波雷达点云数据进行坐标转换，映射到二维坐标系下的所述相机图像数据上，得到二维雷达数据；基于所述二维雷达数据生成所述雷达图像数据。
50.一个三维坐标系中的点可以在所述相机图像数据中找到一个对应的像素点，所述毫米波雷达点云数据通过坐标系转换到了所述相机图像数据的像素坐标系下；再将转换后的所述毫米波雷达点云数据生成所述雷达图像数据，所述雷达图像数据与所述相机图像数据的大小一样。
51.步骤s3，对所述相机图像数据进行多尺度特征提取得到相机图像特征数据；对所述雷达图像数据进行多尺度特征提取得到雷达图像特征数据。
52.进一步地，所述步骤s3包括：
53.步骤s31，基于残差网络编码器对所述相机图像数据进行多尺度特征提取，得到所述相机图像特征数据。
54.步骤s32，基于最大池化编码器对所述雷达图像数据进行多尺度特征提取，得到所述雷达图像特征数据。
55.如图3所示，本实施例中，所述残差网络编码器包括四层结构，分别定义为第一残差网络编码器、第二残差网络编码器、第三残差网络编码器和第四残差网络编码器；所述最大池化编码器包括四层结构，分别定义为第一最大池化编码器、第二最大池化编码器、第三最大池化编码器和第四最大池化编码器。
56.所述第一残差网络编码器对所述相机图像数据进行1/4尺度特征提取，得到第一相机特征图像；所述第二残差网络编码器对所述第一相机特征图像进行1/8尺度特征提取，得到第二相机特征图像；所述第三残差网络编码器对所述第二相机特征图像进行1/16尺度特征提取，得到第三相机特征图像；所述第四残差网络编码器对所述第三相机特征图像进行1/32尺度特征提取，得到第四相机特征图像。所述相机图像特征数据包括所述第一相机特征图像、所述第二相机特征图像、所述第三相机特征图像和所述第四相机特征图像。
57.所述第一最大池化编码器对所述雷达图像数据进行1/4尺度特征提取，得到第一雷达特征图像；所述第二最大池化编码器对所述第一雷达特征图像进行1/8尺度特征提取，得到第二雷达特征图像；所述第三最大池化编码器对所述第二雷达特征图像进行1/16尺度特征提取，得到第三雷达特征图像；所述第四最大池化编码器对所述第三雷达特征图像进行1/32尺度特征提取，得到第四雷达特征图像。所述雷达图像特征数据包括所述第一雷达特征图像、所述第二雷达特征图像、所述第三雷达特征图像和所述第四雷达特征图像。
58.步骤s4，将所述相机图像特征数据和所述雷达图像特征数据自上而下进行融合，得到融合数据。
59.优选地，如图3所示，基于自上而下的特征金字塔融合模块，对所述相机图像特征数据和所述雷达图像特征数据进行融合，得到所述融合数据。
60.所述特征金字塔融合模块包括四层结构，自上而下分别定义为第一融合层、第二融合层、第三融合层和第四融合层。
61.所述第一融合层对所述第四相机特征图像和所述第四雷达特征图像进行融合得到第一融合特征图。
62.所述第二融合层对所述第一融合特征图进行上采样，得到第一上采样特征图，并对所述第一上采样特征图、所述第三雷达特征图像和所述第三相机特征图像进行融合，得到第二融合特征图。
63.所述第三融合层对所述第二融合特征图进行上采样，得到第二上采样特征图，并对所述第二上采样特征图、所述第二雷达特征图像和所述第二相机特征图像进行融合，得到第三融合特征图。
64.所述第四融合层对所述第三融合特征图进行上采样，得到第三上采样特征图，并对所述第三上采样特征图、所述第以雷达特征图像和所述第一相机特征图像进行融合，得
到第四融合特征图。
65.所述第四融合特征图即为所述融合数据。
66.步骤s5，对所述融合数据进行解码得到融合图像数据。
67.解码器的主要功能是将融合后的稀疏特征恢复为稠密的信息结果，根据经验，深层特征通常包含丰富的语义信息，但缺乏底层的空间细节。为了更好地恢复图像纹理细节，传统的对称解码方法在解码过程中总是通过跳转连接多次融合来自编码器的低级信息；然而，本发明基于自上而下的融合方法中，特征金字塔融合模块的最终输出已经包含了丰富的高层和底层信息。因此，只需对多层次信息进行整理和融合，然后将其重建为原始分辨率即可获得准确的图像结果。本发明通过多次上采样操作，将自上而下的特征金字塔融合模块中的多尺度特征重建为具有原始分辨率的图像，与一般的对称解码方法相比，自上而下的金字塔结构的解码方案在复杂度上更低。由于解码时每层只使用一个块，模型复杂度大大降低，在保持轻量级模型结构的同时实现良好的精度。
68.图2为本发明毫米波雷达数据和相机数据的融合系统结构图。如图所示，本发明提供了一种毫米波雷达数据和相机数据的融合系统，包括：数据获取模块1、数据转换模块2、特征提取模块3、数据融合模块4和解码模块5。
69.所述数据获取模块1获取毫米波雷达点云数据和相机图像数据。
70.所述数据转换模块2对所述毫米波雷达点云数据进行转换，得到与所述相机图像数据大小相同的雷达图像数据。
71.所述特征提取模块3对所述相机图像数据进行多尺度特征提取得到相机图像特征数据；对所述雷达图像数据进行多尺度特征提取得到雷达图像特征数据。
72.所述数据融合模块4将所述相机图像特征数据和所述雷达图像特征数据自上而下进行融合，得到融合数据。
73.所述解码模块5对所述融合数据进行解码得到融合图像数据。
74.作为一种可选的实施方式，本发明所述数据转换模块2包括：坐标转换单元和数据生成单元。
75.所述坐标转换单元将三维坐标系下的所述毫米波雷达点云数据进行坐标转换，映射到二维坐标系下的所述相机图像数据上，得到二维雷达数据。
76.所述数据生成单元基于所述二维雷达数据生成所述雷达图像数据。
77.作为一种可选的实施方式，本发明所述特征提取模块3包括：相机数据特征提取单元和雷达数据特征提取单元。
78.所述相机数据特征提取单元基于残差网络编码器对所述相机图像数据进行多尺度特征提取，得到所述相机图像特征数据。
79.所述雷达数据特征提取单元基于最大池化编码器对所述雷达图像数据进行多尺度特征提取，得到所述雷达图像特征数据。
80.作为一种可选的实施方式，本发明所述数据融合模块4具体为：
81.基于自上而下的特征金字塔融合模块，对所述相机图像特征数据和所述雷达图像特征数据进行融合，得到所述融合数据。
82.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统
而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
83.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。