一种多传感器融合体素特征图生成方法及系统与流程

技术特征：
1.一种多传感器融合体素特征图生成方法，其特征在于，包括以下步骤：获取激光雷达点和原始图像；根据所述原始图像与所述激光雷达点之间的映射关系，将所述原始图像的像素映射到相应的激光雷达点，得到第一映射数据；根据所述激光雷达点与前视图像之间的映射关系，将所述第一映射数据映射到前视图像的像素上，得到第二映射数据；对所述第二映射数据进行稀疏化编码，生成轻量化稀疏图像；将所述激光雷达点进行体素化，得到所述激光雷达点的三维体素；对所述轻量化稀疏图像和所述三维体素进行特征提取，得到像素特征和体素特征；将所述像素特征和所述体素特征编码到对应的点云位置，得到像素点云特征和体素点云特征；将所述像素点云特征和所述体素点云特征进行特征融合，得到点云融合特征；对所述点云融合特征进行反映射，得到多传感器融合体素特征图。2.根据权利要求1所述的多传感器融合体素特征图生成方法，其特征在于，根据所述原始图像与所述激光雷达点之间的映射关系，将所述原始图像的像素映射到相应的激光雷达点，得到第一映射数据，具体包括：根据摄像机和激光雷达之间的标定矩阵，建立所述原始图像与所述激光雷达点之间的第一映射关系；所述第一映射关系为：其中，x为点云深度维度上的坐标，y为点云宽度维度上的坐标，z为点云高度维度上的坐标，ur为原始图像中像素的横坐标，vr为原始图像中像素的纵坐标，i为内参矩阵，e为外参矩阵。3.根据权利要求1所述的多传感器融合体素特征图生成方法，其特征在于，根据所述激光雷达点与前视图像之间的映射关系，将所述第一映射数据映射到前视图像的像素上，得到第二映射数据，具体包括：利用球面投影原理建立所述激光雷达点与所述前视图像之间的第二映射关系；所述第二映射关系为：其中，u为前视图像中像素的横坐标，v为前视图像中像素的纵坐标，x为点云深度维度上的坐标，y为点云宽度维度上的坐标，z为点云高度维度上的坐标，r为反射强度，w为前视图像的宽度，h为前视图像的高度，fov
down
为激光雷达下方垂直视角，fov为激光雷达垂直视角；
根据所述第二映射关系将所述第一映射数据映射到前视图像像素上，得到第二映射数据。4.根据权利要求1所述的多传感器融合体素特征图生成方法，其特征在于，对所述第二映射数据进行稀疏化编码，生成轻量化稀疏图像，具体包括：判断所述第二映射数据中的任一映射数据是否为所述第一映射数据中的多个映射数据映射得到，得到第一判断结果；若所述第一判断结果为是，则将所述第一映射数据中的所述多个映射数据的平均值作为所述第二映射数据中的所述任一映射数据的编码值；判断所述第二映射数据中的任一映射数据是否为所述第一映射数据中的一个映射数据映射得到，得到第二判断结果；若所述第二判断结果为是，则将所述第一映射数据中对应的映射数据作为所述第二映射数据中的所述任一映射数据的编码值；若所述第一判断结果和所述第二判断结果都为否，则不进行编码。5.根据权利要求1所述的多传感器融合体素特征图生成方法，其特征在于，将所述激光雷达点进行体素化，得到所述激光雷达点的三维体素，具体包括：判断体素中的任一体素是否包含多个所述激光雷达点，得到第三判断结果；若所述第三判断结果为是，则使用多个所述激光雷达点的平均值作为体素中的任一体素的编码值；判断体素中的任一体素是否包含一个所述激光雷达点，得到第四判断结果；若所述第四判断结果为是，则使用对应的激光雷达点作为体素中的任一体素的编码值；若所述第三判断结果和所述第四判断结果都为否，则不进行编码。6.根据权利要求1所述的多传感器融合体素特征图生成方法，其特征在于，对所述轻量化稀疏图像和所述三维体素进行特征提取，得到像素特征和体素特征，具体包括：分别构建二维稀疏卷积的特征提取网络和三维稀疏卷积的特征提取网络；利用所述二维稀疏卷积的特征提取网络对所述轻量化稀疏图像进行特征提取，得到像素特征；利用所述三维稀疏卷积的特征提取网络对所述三维体素进行特征提取，得体素特征。7.根据权利要求1所述的多传感器融合体素特征图生成方法，其特征在于，将所述像素特征和所述体素特征编码到对应的点云位置，得到像素点云特征和体素点云特征，具体包括：使用基于四近邻域的二次线性插值算法将所述像素特征编码至点云位置，得到所述像素点云特征；使用基于反距离权重法的三次线性插值算法将所述体素特征编码至点云位置，得到所述体素点云特征。8.根据权利要求1所述的多传感器融合体素特征图生成方法，其特征在于，将所述像素点云特征和所述体素点云特征进行特征融合，得到点云融合特征，具体包括：使用第一全连接块对所述像素点云特征进行处理，得到一维像素点云特征；所述第一全连接块包括三个全连接层、二个批标准化层和二个relu激活函数层；
使用第二全连接块对所述体素点云特征进行处理，得到一维体素点云特征；所述第二全连接块包括三个全连接层、二个批标准化层和二个relu激活函数层；使用sigmoid函数对所述一维像素点云特征和所述一维体素点云特征进行处理，得到像素点云特征权重和体素点云特征权重；所述sigmoid函数为：其中，w
pp
为像素点云特征权重，w
pv
为体素点云特征权重，为一维像素点云特征，为一维体素点云特征；利用所述像素点云特征权重和所述体素点云特征权重融合所述像素点云特征和所述体素点云特征，得到点云融合特征；融合表达式为：f
fuse
＝[f
pp
(1 w
pp
),f
pv
(1 w
pv
)]其中，f
fuse
为点云融合特征，f
pp
为像素点云特征，f
pv
为体素点云特征。9.根据权利要求1所述的多传感器融合体素特征图生成方法，其特征在于，对所述点云融合特征进行反映射，得到多传感器融合体素特征图，具体包括：使用三次线性插值方法将所述点云融合特征反映射至体素特征中非空体素的位置，得到替换点云融合特征；将所述替换点云融合特征替换体素特征中对应位置的非空体素特征，得到多传感器融合体素特征图。10.一种多传感器融合体素特征图生成系统，其特征在于，包括：数据获取模块，用于获取激光雷达点和原始图像；第一映射模块，用于根据所述原始图像与所述激光雷达点之间的映射关系，将所述原始图像的像素映射到相应的激光雷达点，得到第一映射数据；第二映射模块，用于根据所述激光雷达点与前视图像之间的映射关系，将所述第一映射数据映射到前视图像的像素上，得到第二映射数据；稀疏化编码模块，用于对所述第二映射数据进行稀疏化编码，生成轻量化稀疏图像；体素化模块，用于将所述激光雷达点进行体素化，得到所述激光雷达点的三维体素；特征提取模块，用于对所述轻量化稀疏图像和所述三维体素进行特征提取，得到像素特征和体素特征；点云特征获取模块，用于将所述像素特征和所述体素特征编码到对应的点云位置，得到像素点云特征和体素点云特征；特征融合模块，用于将所述像素点云特征和所述体素点云特征进行特征融合，得到点云融合特征；反映射模块，用于对所述点云融合特征进行反映射，得到多传感器融合体素特征图。

技术总结
本发明涉及一种多传感器融合体素特征图生成方法及系统，该方法建立原始图像与激光雷达点之间的映射关系，激光雷达点和前视图像之间的映射关系，生成轻量化稀疏图像，为图像信息的快速处理提供了基础。同时，本发明所述方法融合两种传感器特征提取网络提取的特征，构建了信息更丰富的环境信息特征，提高了三维目标检测的准确率。标检测的准确率。标检测的准确率。


技术研发人员：孔德明 李晓伟 曹尚杰 张文宇 沈阅
受保护的技术使用者：河北燕大燕软信息系统有限公司 秦皇岛港股份有限公司
技术研发日：2021.12.24
技术公布日：2022/4/12