稀疏雷达和双目立体图像融合的3D目标检测方法及装置

稀疏雷达和双目立体图像融合的3d目标检测方法及装置
技术领域
1.本发明涉及人工智能、计算机视觉、自动驾驶、3d目标检测领域，尤其涉及一种稀疏雷达和双目立体图像融合的3d目标检测方法及装置。


背景技术：

2.由于激光雷达(light detection and ranging，lidar)可以提供信息丰富的周围环境信息，所以目前自动驾驶的3d目标检测很大程度上都依赖于lidar。尽管信息精确，但因为固有的安全风险(例如，破坏、不利条件和盲点等)，过度依赖单个传感器是不够明智的。同时，远距离点云的分辨率较低和纹理信息较差也是一个很大的挑战。最有前途的候选者是机载立体或单目相机，它们同时提供细粒度的纹理和三原色(red、green、blue，rgb)属性。然而，相机天生就存在深度模糊的问题。此外，立体或单目相机比lidar便宜几个数量级，帧率高和深度图密集。显然，每种类型的传感器都有其缺陷，联合起来可以视为对故障模式的一种可能的补救措施。有工作甚至指出多模态融合在困难情况下提供冗余，而不仅仅是互补。尽管利用协同效应是一个引人注目的研究热点，但整合相机视图和lidar鸟瞰图的优点并非易事。深度神经网络利用自然信号组成层次的特性，其中融合策略可能有所不同，可以分为以下两个类别：顺序融合和并行融合。
3.基于顺序融合的方法：这些方法以顺序的方式利用多阶段特征，其中当前的特征提取在很大程度上依赖于前一阶段。
4.qi等人提出用于图像-深度数据的3d目标检测的视锥点云网络(frustum pointnets for 3d object detection from rgb-d data，frustum pointnets)，首先利用标准的2d卷积神经网络(convolutional neural network，cnn)目标检测器来提取2d区域，然后将2d候选框投影到3d视锥中的点云。接下来，使用类似用于3d分类和分割点集的深度学习点云网络(deep learning on point sets for 3d classification and segmentation，pointnet)的块来分割锥体内的每个点以获得用于进一步回归的兴趣点。frustum pointnets采用成熟的2d检测方法来提供先验知识，这在一定程度上减少了3d搜索空间并启发了其后继者。尽管frustum pointnets非常具有创新性，但这种级联方法的缺点是：frustum pointnets严重依赖于2d检测器的准确性。考虑到距离较远时深度估计误差呈二次方增长，you等人提出了自动驾驶中3d目标检测的准确深度伪雷达 (accurate depth for 3d object detection in autonomous driving，pseudo-lidar )算法来对齐远距离目标。pseudo-lidar 的主要贡献在于它提出了一种基于图形的深度校正(graph-based depth correction，gdc)算法，该算法利用稀疏但准确的lidar点(例如，4个激光束)来消除基于立体的深度估计的偏差。具体来说，他们将一小部分稀疏的lidar点(即“地标”)投影到像素位置，并将它们分配给相应的3d伪lidar点作为“真实”lidar深度。注意，3d伪lidar点的深度是通过立体深度估计网络(pyramid stereo matching network，psmnet)获得的。为了校正深度值，pseudo-lidar 首先通过k近邻(k-nearest neighbor，knn)构造局部图，然后在“地标”的监督下更新图的权重。最后，信息在整个图上以忽略不计的成本传
播。尽管pseudo-lidar 巧妙地探索了一种混合方法来校正深度偏差，但它并不是一种端到端的方法。
5.基于并行融合的方法：这些方法融合特征空间中的模态以获得一种多模态表示，然后再馈入有监督学习器中。
6.chen等人提出用于自动驾驶的多视图3d目标检测网络(multi-view 3d object detection network for autonomous driving,mv3d)，采用多视图表示，即鸟瞰图和正视图以及图像作为输入。mv3d首先通过点云的鸟瞰图表示生成一组精确的3d候选框。在给定高质量的3d建议的情况下，mv3d根据3d建议的坐标从多个视图中裁剪相应的区域。然后，使用深度多视图融合网络来融合区域特征。尽管mv3d利用了点云的多视图表示，但其缺点是：mv3d依赖于手工特征，这阻碍了其进一步提高并很快被其后继者超越。后来，ku等人提出了来自视图聚合的联合3d建议生成和目标检测(joint 3d proposal generation and object detection from view aggregation，avod)，与mv3d略有不同的是它将融合策略进一步扩展到区域提议的早期阶段。具体来说，给定一组预定义的3d框(称为锚框)，分别从正视图特征图和俯视图(bird's eye view，bev)特征图上来裁剪和调整两个相应的感兴趣区域，通过逐元素均值操作进行融合，然后avod将融合后的特征输入全连接层以检测目标。avod认为，这种微妙的操作可以生成高召回率建议并有利于定位精度，尤其是对于小目标。尽管avod提出的融合策略进一步提高了建议质量，但这种区域融合仅发生在特征金字塔的顶部。然而，中间特征对于检测来说也很重要。注意，mv3d和avod都是实例级的融合策略，然后像素级融合被提出用于深度协同。
7.现有技术大多采用了32或64激光束的lidar和rgb图像进行融合的方式进行3d目标检测，使3d目标检测的成本变的非常高。尽管pseudo-lidar 探索了4激光束的lidar来校正立体图像深度偏差的方法，但它并不是一种端到端的方法，时间效率慢且立体图像深度图的生成用到了64个激光束的lidar信息监督。


技术实现要素：

8.本发明提供了一种稀疏雷达和双目立体融合网络3d目标检测方法及装置，本发明将被动立体相机与主动4激光束lidar传感器信息进行融合来达到现有先进水平，并以端到端的形式进行高速度检测，详见下文描述：
9.第一方面，一种稀疏雷达和双目立体图像融合的3d目标检测方法，所述方法包括：
10.对立体图像和稀疏lidar深度图分别进行特征编码后，基于注意力融合模块，将两条路径的特征信息进行融合，所述融合是从lidar深度图到立体图像；
11.基于立体区域提取网络输出相应的左右感兴趣区域，将左右特征图被一起输入到立体回归网络分支和深度预测分支，用于对3d边界框的位置、尺寸和方向进行预测。
12.其中，所述立体回归网络分支，用于回归2d立体框、尺寸、视点角度和2d中心；所述深度预测分支，用于预测3d边界框中心的单变量深度。
13.进一步地，所述注意力融合模块将左稀疏lidar特征图与相应的左rgb特征图进行融合，右稀疏lidar特征图与相应的右rgb特征图进行融合。
14.其中，所述融合过程为：
15.[0016][0017][0018]
其中，fi表示融合的特征，是编码器中每个阶段的最后一个块输出的特征，指的是编码器的最后一个输出特征。
[0019]
进一步地，所述方法还包括：
[0020]
将稀疏lidar特征加入到图像特征中，并为每个特征级别设置权重wi，通过计算稀疏lidar与其对应的立体图像特征图之间的相关性，得到相关性得分wi，定义为：
[0021][0022]
其中，是特征提取器中第i对立体图像特征图和稀疏lidar特征图，wi是第i级别稀疏lidar特征图的权重，cos是余弦相似函数；
[0023]
将f
i 1
上采样2倍成f'f∈rh×w×c，应用1
×
1卷积运算分别将投影成f'r∈rh×w×c，将投影成f's∈rh×w×c，描述为：
[0024]ff
＝upsample(f
i 1
)
[0025][0026][0027]
其中，upsample是通过最近邻内插进行的上采样操作，f1×1表示1
×
1卷积层；
[0028]
上采样的特征图与相应的f'r特征图通过逐元素相加合并，在每个合并后的特征图上附加一个3
×
3卷积，将合并后的特征与应用权重为wi的稀疏lidar特征f's进行相加，输出特征的计算方法如下：
[0029]
f5＝f3×3(f'r w5·
f's)
[0030]
其中，融合结果fi是下一个融合阶段的更高级别特征，重复此过程，直到生成最终的特征图。
[0031]
第二方面，一种稀疏雷达和双目立体图像融合的3d目标检测装置，其特征在于，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行第一方面中的任一项所述的方法步骤。
[0032]
第三方面，一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行第一方面中的任一项所述的方法步骤。
[0033]
本发明提供的技术方案的有益效果是：
[0034]
1、本发明提出了一种新的用于三维目标检测的多模式融合端到端学习框架，该框架有效地集成了稀疏激光雷达和立体图像的互补性；
[0035]
2、本发明提出了一种深度注意特征融合模块，在融合重要的多模态空间特征的同时，探索稀疏激光雷达和立体图像中通道特征的相互依赖性；
[0036]
3、本发明与无深度图监控的低成本传感器方法相比，该方法实现了最先进的性能。
附图说明
[0037]
图1为一种稀疏雷达和双目立体融合网络3d目标检测方法的网络框架图；
[0038]
图2为基于注意力机制的特征融合模块示意图；
[0039]
图3为一种稀疏雷达和双目立体融合网络3d目标检测装置的结构示意图。
具体实施方式
[0040]
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
[0041]
3d目标检测是场景理解的重要任务之一，在自动驾驶、虚拟现实等领域有着广泛的应用。本发明实施例观察到，lidar、单目相机、双目相机等传感器都有自己的优点和缺点，没有一个能在所有实际场景中都表现良好。因此，一些工作研究如何融合多个模态以提供更准确的3d目标检测，并进一步提高目标检测器的性能。然而，这些方法通常使用32或64个光束的lidar信息作为输入，使3d检测成本变的非常高。因此，本发明实施例考虑将被动立体相机与主动4光束lidar传感器信息进行融合，这是一种实用且流行的选择。与64个光束的lidar传感器相比，只有4个光束的lidar传感器便宜了两个数量级，因此很容易负担得起。尽管4个光束的lidar传感器信息非常稀疏，不适合单独捕捉3d物体的形状，但如果与立体图像信息融合，它们就可以学习到更好的特征表示，从而产生更好的检测性能。
[0042]
本发明实施例提出了一种新颖的多模态融合架构，该架构利用了稀疏lidar和立体图像特征融合的优势，产生了丰富的特征表示。值得注意的是，本发明实施例提出的架构是根据低成本传感器设计的。由于4光束lidar信息极其稀疏，因此与立体图像信息的融合是从lidar流到图像流，以利用lidar特征信息的精确性来增强图像特征。为此，本发明实施例首先从4光束lidar中获取稀疏但准确的深度信息，并用一种简单且快速的深度补全方法使其变得稠密。在对立体图像和稀疏lidar深度图分别进行特征编码后，提出了一个注意力融合模块，将两条路径的特征信息进行融合。该网络的下一个模块是立体区域提取网络(region proposal network,rpn)，它可以输出相应的左右感兴趣区域(region of interest，roi)建议。然后，左右特征图被一起输入到两个不同的分支。一个是立体回归网络分支，用于回归准确的2d立体框、尺寸、视点角度和2d中心。另一个是深度预测分支，用于预测3d边界框中心的单变量深度z。
[0043]
本发明实施例的目标是通过使用立体rgb图像和4光束lidar来检测和定位目标的3d边界框。检测流程包括三个阶段：首先，稀疏lidar图像和立体rgb图像(包括：左右两张图片，分别为左视点和右视点图像)分别使用resnet-50编码器进行特征提取。然后，利用注意力机制将立体图像特征与其对应的稀疏lidar特征进行融合。最后，将融合后的特征对通过立体rpn后，对3d边界框的位置、尺寸和方向进行预测。
[0044]
一、深度补全与特征提取
[0045]
为了丰富普通立体(rgbs)3d目标检测网络的表示，本发明实施例决定加入来自lidar点云的几何信息。然而，并不是直接使用来自lidar的3d点云，而是通过使用校准参数将4光束lidar扫描信息重投影到左右图像坐标来形成对应于立体图像的两个稀疏lidar深度图。lidar可以为3d目标检测提供准确的3d信息。但是，可以观察到的是，普通64个光束的lidar信息是稀疏的，4个光束的lidar信息则是更为稀疏。因此，在这里，本发明实施例对生
成的稀疏lidar深度图进行了类似于ku等人方法的深度补全以生成稠密深度图。首先，使用一个简单的形态学操作序列和高斯模糊操作，用来自附近有效点的深度值填充稀疏深度图像中的空洞。然后，对填充的深度图像使用数据集中的最大深度值进行归一化，使得深度值介于0和1之间，最后，将其输入到编码器以提取特征。立体图像和稀疏lidar各自拥有一个特征编码器，且它们的特征编码器架构相同，编码器权重是由左右输入视图共享的。特征编码器是由一系列resnet块和紧随其后的步长为2的卷积组成，将特征分辨率缩小到输入图像的1/16。
[0046]
二、基于注意力机制的特征融合
[0047]
本发明实施例采用深度融合的方法来对稀疏lidar和rgb特征进行逐层融合。具体来说，在该模块中，本发明实施例将左稀疏lidar特征图与相应的左rgb特征图进行融合，右稀疏lidar特征图与相应的右rgb特征图进行融合。其中，左右稀疏lidar特征和rgb特征进行逐层融合的融合方式相同。
[0048]
对于具有l层的网络，早期融合在输入阶段结合了来自多种模态的特征：
[0049][0050]
其中，[d
l
,l＝1,2,
…
,l]是特征变换函数，
⊕
是一个连接操作(例如，相加，拼接)，分别是立体rgb图像和稀疏lidar数据的输入信息。与之相反，后期融合则是使用单独的子网络来独立学习特征转换，并在预测阶段组合它们的输出：
[0051][0052]
其中，d
rgb
，d
sl
分别是立体rgb图像和稀疏lidar数据的特征变换函数。为了使不同模态的中间层特征进行更多的交互，本发明实施例设计了以下深度融合过程：
[0053][0054][0055][0056]
其中，fi表示融合的特征，是编码器中每个阶段的最后一个块输出的特征，指的是编码器的最后一个输出特征。更高分辨率的特征是通过对来自更高级别的空间信息更粗糙但语义信息更有效的特征图进行上采样而产生的。然后通过连接操作，使用来自图像路径和lidar路径的特征来增强这些特征。每个连接合并相同空间大小的特征图。图像路径和lidar路径的特征图具有较低级别的语义，但因为它被二次采样的次数较少，所以其激活定位更准确。因此，融合后得到的特征具有更高级别的语义信息和更高的分辨率，这对3d目标检测是有利的。由于输入的深度信息与解码器的输出密切相关，因此来自稀疏lidar深度图的特征应该在解码器中提供更大的贡献。
[0057]
所以，本发明实施例将稀疏lidar深度图的特征加到解码器中的立体特征上，而不是拼接。这是因为求和对同一域两边的特征是有利的，可以鼓励解码器学习与深度更相关的特征，以便与稀疏lidar深度的特征保持一致。但是，4光束lidar信息过于稀疏，无法单独为3d检测提供足够的信息。故而，融合是从lidar流到图像流的，以增强图像特征。如上述公式所示，不同模态之间的特征在融合时处于平等地位，而不是加权，这可能导致不同模态的不同重要性无法正确体现。
[0058]
为了解决这一问题，本发明实施例采用了一种注意力机制，将稀疏lidar特征加入到图像特征中，并为每个特征级别设置权重wi。通过计算稀疏lidar与其对应的立体图像特征图之间的相关性，可以得到相关性得分wi，其定义为：
[0059][0060]
其中，是特征提取器中第i对立体图像特征图和稀疏lidar特征图，wi是第i级别稀疏lidar特征图的权重，cos是余弦相似函数，t为转置，r表示实数域。技术上来说，本发明实施例首先将f
i 1
上采样2倍成f'f∈rh×w×c(为简单起见，使用最近邻上采样)，其中h，w，c指的是特征f'f的高度、宽度和通道数。然后，应用1
×
1卷积运算分别将f
ir
投影成f'r∈rh×w×c，将投影成f's∈rh×w×c。这一过程可以描述为：
[0061]
f'f＝upsample(f
i 1
)
ꢀꢀ
(7)
[0062][0063][0064]
其中，upsample是通过最近邻内插进行的上采样操作，f1×1指的是1
×
1卷积层。在每个阶段，转换的特征f'r，f's的通道被统一为256维。
[0065]
此外，上采样的特征图与相应的f'r特征图(经过1
×
1卷积层以减少通道维度)通过逐元素相加合并。在每个合并后的特征图上附加一个3
×
3卷积，以减小上采样的混叠效应。最后，将合并后的特征与应用权重为wi的稀疏lidar特征f's进行相加。输出特征的计算方法如下：
[0066]
f5＝f3×3(f'r w5·
f's)
ꢀꢀ
(10)
[0067]
其中，f3×3表示3
×
3卷积层。融合结果fi是下一个融合阶段的更高级别特征。重复此过程，直到生成最终的特征图。要开始迭代，只需生成初始融合特征图f5，它可以表示为：
[0068]fi
＝f3×3(f'r wi·
f's)
ꢀꢀ
(11)
[0069]
其中，f'r，f's分别是在解码器阶段中使用的立体图像和稀疏lidar的第5特征级别。
[0070]
三、3d目标检测
[0071]
本发明实施例采用立体rpn模块提取左右图像中每个目标的一对感兴趣区域(roi)，其目的是为了避免左右图像之间所有像素的复杂匹配，并消除背景对目标检测的不利影响。立体rpn为左右图像上大小和位置相同的每个对象创建一个联合roi，从而使联合roi确保了每对roi的起点。在立体rpn之后，本发明实施例有相应的左右建议对。在适当的金字塔级别分别在左右特征图上应用roi align。然后，将左右roi特征连接起来并分别输入深度预测分支和立体回归分支。本发明实施例在深度预测分支中预测目标中心的3d深度。将z
max
和z
min
之间的深度划分为24个等级，用于估计目标的中心深度。该分支计算每个实例的视差以定位其位置，然后通过连接每个视差级别上的左右特征图来形成维度为d
×h×w×
f大小的代价体积。为了从代价体积中学习并对来自代价体积的特征表示进行下采样，使用了两个连续的3d卷积层，每个卷积层后面跟着一个3d最大池化层。由于视差与深度成反比，且两者都代表目标的位置，因此在制定代价体积后，将视差转换为深度表示。通过网络正则化，将3d cnn的下采样特征最终合并到3d框的中心深度的概率中。通过对每个深度z*
按其归一化概率进行加权求和，最终可以得到一个3d框中心z的深度，如下所示：
[0072][0073]
其中，n表示深度的等级数，p(i)指的是归一化的概率。除了深度预测分支外，本发明实施例还在立体回归分支首先使用两个连续的全连接层来提取语义特征，接下来使用四个子分支分别预测2d框、维度、视点角度和2d中心。
[0074]
最后，3d边界框的状态可以由3d边界框的预测位置、方向和尺寸表示，其中3d边界框的位置可以由其中心位置(x,y,z)表示。
[0075]
本发明实施例所提网络使用的多任务损失函数可以表示为：
[0076][0077]
其中，(
·
)s,(
·
)r和(
·
)d分别代表立体rpn、立体回归和深度预测，下标box、dim、α、ctr分别表示2d立体框、尺寸、视点、2d中心的损失函数。
[0078]
通过上述多任务损失函数对所有上述模块进行整合，通过该损失函数对各个模块训练的数据进行约束。
[0079]
四、3d目标检测结果对比
[0080]
如表1所示，本发明实施例报告了汽车类别的3d框(ap
3d
)和鸟瞰视图(ap
bev
)的平均精度。根据输入信号的不同，分别采用m表示单目图像、s表示立体图像和l#表示稀疏4光束lidar。pl(avod)是由dsgn在没有lidar监督的情况下报告的结果。本发明实施例在这里使用的是原始的kitti评估指标。主要结果如表1所示，其中本发明实施例将本方法与以前从单目到双目的最先进的方法进行了比较。与以前基于单目的方法相比，本方法在所有iou阈值的所有级别情况下都获得了显著的提高。与基于双目的方法相比，本方法在0.5iou和0.7iou情况下获得了最高性能。
[0081]
表1在kitti目标验证集上评估的3d目标检测结果对比
[0082]
[0083][0084]
具体来说，本方法在0.7iou的中等和困难级别上的ap
bev
分别优于之前最先进的ida-3d方法1.94％和1.67％。在ap
3d
中可以看到类似的提升趋势，这表明本方法与其他方法相比可以取得一致的改进。在最具挑战性的指标ap
3d
(iou＝0.7)上，本方法在中等和困难级别的结果分别比ida-3d高出2.32％和1.41％。虽然在简单级别情况时，本方法在ap
3d
(iou＝0.7)上的性能仅略胜于ida-3d，但在困难级别中，本方法在ap
3d
(iou＝0.5)上获得了6.26％的显著改善。这可能是因为本方法侧重于提高目标的预测深度的精确性，并且通过引入稀疏lidar获得了更精确的深度。
[0085]
表2pseudo-lidar 和本方法在kitti验证集上汽车类别的ap
bev
和ap
3d
(％)比较
[0086][0087]
本发明使用4光束lidar作为输入而不是64光束lidar作为输入或中间监督，将本方法与文献的方法进行比较是不公平的。因此，本方法与同样使用立体图像和稀疏雷达作为输入的pseudo-lidar 方法进行了比较。由于pseudo-lidar 并没有报告在无64光束lidar监督的情况下的实验结果，所以本方法在表2中给出了重新实现的结果。表2中的实验结果表明，本方法在某些指标上优于pl (avod)方法。具体地说，在简单级别中，当iou＝0.7时，ap
3d
实现了11.3％的提高。对于ap
bev
来说，本方法获得了7.82％以上的改进。这可能是因为本方法将3d点云投影到正视图像上，而卷积网络则更关注附近的物体。此外，在表2中还报告了本方法与pl (avod)方法的运行时间的比较。本方法在推理时具有每帧0.116秒的高速度，远远超过pl (avod)方法。效率的提高主要归功于本方法的网络设计，与psmnet相比，本发明实施例设计的网络是一个具有轻量级模块的端到端网络。
[0088]
五、消融实验结果与分析
[0089]
表3在kitti验证集上的消融实验
[0090][0091][0092]
在这里，本方法分析了稀疏lidar、深度补全和注意力融合组件在本方法中的有效性。
[0093]
当仅使用稀疏lidar时，本方法直接将稀疏lidar特征图与解码器中适当级别的相应立体图像特征图进行相加。当不使用深度补全时，本方法将稀疏lidar深度图视为深度特征提取器的输入。不使用注意力融合时，稀疏的lidar特征图与它对应的立体图像特征图的权重为1。
[0094]
当仅使用稀疏lidar时，评价指标ap
3d
和ap
bev
在阈值为0.7的情况下的值都得到了显著的提高，这说明稀疏lidar对于高质量的3d检测是至关重要的。在中等级别的阈值iou＝0.7情况下，没有深度补全组件使得ap
3d
的百分比从38.83％下降到了37.31％。此外，在移除注意力融合的情况下，ap
bev
的性能在简单级别的0.7iou中下降了1.87％。通过将这三个关键组件结合起来使用，可以在所有指标上观察到获得了很大的改进，并且结果几乎超过了之前所有基于低成本的方法。
[0095]
本发明实施例对每个损失进行了加权，以平衡后面的整个多任务损失。采用两个加权共享的resnet-50结构分别作为立体图像和稀疏lidar的特征编码器。对于数据增强，将训练集中的左右图像进行翻转和交换，并对图像信息进行镜像。对于稀疏lidar，本发明实施例首先使用校准参数将其投影到图像平面上，然后应用与之前立体图像相同的翻转策略。本发明的模型是在pytorch 1.1.0，cuda 10.0下实现的。默认情况下，本发明实施例在4个nvidia tesla v100 gpu上使用批量大小为4的gpu训练网络，进行65000次迭代，总训练时间约为26小时。本发明实施例使用随机梯度下降(sgd)优化器，初始学习率为0.02。sgd优化器的动量设置为0.9，权重衰减设置为0.0005。
[0096]
一种稀疏雷达和双目立体图像融合的3d目标检测装置，参见图3，该装置包括：处理器1和存储器2，
[0097]
对立体图像和稀疏lidar深度图分别进行特征编码后，基于注意力融合模块，将两条路径的特征信息进行融合，融合是从lidar深度图到立体图像；
[0098]
基于立体区域提取网络输出相应的左右感兴趣区域，将左右特征图被一起输入到立体回归网络分支和深度预测分支，用于对3d边界框的位置、尺寸和方向进行预测。
[0099]
其中，立体回归网络分支，用于回归2d立体框、尺寸、视点角度和2d中心；深度预测分支，用于预测3d边界框中心的单变量深度。
[0100]
进一步地，注意力融合模块将左稀疏lidar特征图与相应的左rgb特征图进行融合，右稀疏lidar特征图与相应的右rgb特征图进行融合。
[0101]
其中，融合过程为：
[0102][0103][0104][0105]
其中，fi表示融合的特征，是编码器中每个阶段的最后一个块输出的特征，指的是编码器的最后一个输出特征。
[0106]
进一步地，还包括：
[0107]
将稀疏lidar特征加入到图像特征中，并为每个特征级别设置权重wi，通过计算稀疏lidar与其对应的立体图像特征图之间的相关性，得到相关性得分wi，定义为：
[0108][0109]
其中，是特征提取器中第i对立体图像特征图和稀疏lidar特征图，wi是第i级别稀疏lidar特征图的权重，cos是余弦相似函数；
[0110]
将f
i 1
上采样2倍成f'f∈rh×w×c，应用1
×
1卷积运算分别将投影成f'r∈rh×w×c，将投影成f's∈rh×w×c，描述为：
[0111]
f'f＝upsample(f
i 1
)
[0112][0113][0114]
其中，upsample是通过最近邻内插进行的上采样操作，f1×1表示1
×
1卷积层；
[0115]
上采样的特征图与相应的f'r特征图通过逐元素相加合并，在每个合并后的特征图上附加一个3
×
3卷积，将合并后的特征与应用权重为wi的稀疏lidar特征f's进行相加，输出特征的计算方法如下：
[0116]
f5＝f3×3(f'r w5·
f's)
[0117]
其中，融合结果fi是下一个融合阶段的更高级别特征，重复此过程，直到生成最终的特征图。
[0118]
这里需要指出的是，以上实施例中的装置描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。
[0119]
上述的处理器1和存储器2的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件，具体实现时，本发明实施例对执行主体不做限制，根据实际应用中的需要进行选择。
[0120]
存储器2和处理器1之间通过总线3传输数据信号，本发明实施例对此不做赘述。
[0121]
基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，存储介质包括存储的程序，在程序运行时控制存储介质所在的设备执行上述实施例中的方法步骤。
[0122]
该计算机可读存储介质包括但不限于快闪存储器、硬盘、固态硬盘等。
[0123]
这里需要指出的是，以上实施例中的可读存储介质描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。
[0124]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。
[0125]
计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者通过计算机可读存储介质进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质或者半导体介质等。
[0126]
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
[0127]
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例
序号仅仅为了描述，不代表实施例的优劣。
[0128]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。