一种基于多尺度卷积的多模态数据融合车道目标检测的方法及系统与流程

1.本发明涉及目标检测技术领域，尤其涉及一种基于多尺度卷积的多模态数据融合车道目标检测的方法及系统。


背景技术：

2.近年来，目标检测在人脸识别、图像识别、视频识别、自动驾驶等方面取得了令人瞩目的进展。目标检测在自动驾驶中尤为重要，为了确保上路安全，需要能够精确检测出路面上的所有行人和车辆，行人是路面上的高危群体，也是交通事故中最容易受到伤害的群体，行人识别和行人移动轨迹预测都是当前安全驾驶领域的研究热点。车辆是驾驶场景中的主体，检测道路上行驶的其他车辆是障碍物检测的重中之重，对车辆的安全行驶、紧急避撞等具有重要意义。
3.当前自动驾驶中目标检测的主流方法是对相机图像进行检测，其他传感器的数据，如体现深度信息的激光雷达点云数据，由于其计算复杂度高，在应用上存在很大的困难。然而在自动驾驶中仅使用相机图像进行目标检测有很大的局限性，如光照变化会影响检测效果，人群、车辆密集时检测精度低，对与背景颜色相似的目标误检、漏检可能性大等问题。当前依靠纯视觉图像的目标检测方法丢失了深度信息，也很容易受到环境、天气的影响，这样的检测模型在应用场景中不仅精度提升困难，也缺乏鲁棒性。相比之下，激光雷达点云数据带有每一个点的深度信息，在解决上述问题时具有天然的优势，因此，在自动驾驶中用多模态融合来完成目标检测是合理且有必要的，但目前的多模态融合方案有以下几项弊端： 1、计算成本高昂：点云数据计算复杂度高，直接计算点云需要消耗大量时间和计算资源，对实时性造成极大的影响，无法满足自动驾驶的要求。
[0004] 2、未关注多模态数据的特点：一种可行的方法是将点云中的深度信息投影到二维平面，用深度图像与相机图像进行融合，但是相机图像与激光雷达点云是不同模态的数据，差异性很大。将多模态数据粗暴地放到一个特征空间里融合，会抑制多模态数据各自的优势，甚至可能产生噪声的效果。
[0005] 3、未计算多模态数据的重要性：现有多模态融合通常将两种模态的数据以一个固定的比例直接融合，事实上，在深度学习网络提取特征的过程中，部分特征通道对目标检测结果贡献较大，部分特征通道的贡献很小，用固定的比例进行融合是不合理的。


技术实现要素：

[0006]
本发明的目的是提供一种基于多尺度卷积的多模态数据融合车道目标检测的方法及系统，该方法能提升不同模态数据优势特点的利用率，有效提高车道目标检测模型的精度，具有良好的实时性，在不同的目标检测模型上均可适用。
[0007]
本发明的目的是通过以下技术方案实现的：
一种基于多尺度卷积的多模态数据融合车道目标检测的方法，所述方法包括：步骤1、首先对原始激光雷达点云数据进行预处理，获得与rgb图像对齐的三通道伪点云数据；步骤2、将步骤1得到的三通道伪点云数据与对应的rgb图像数据进行多模态数据融合；其中，在多模态数据融合过程中，对不同模态数据的特征通道进行权重赋值，并根据各自特征通道的重要程度自适应地获取所有特征通道的融合权重；步骤3、在多模态数据融合后的卷积过程中，用多尺度卷积再次计算融合特征通道，以校正融合后的特征通道权重；步骤4、将步骤3校正后的车道多模态融合数据输入预先建立和训练好的车道目标检测模型，对车道目标进行预测，以获得车道目标检测结果。
[0008]
由上述本发明提供的技术方案可以看出，上述方法能提升不同模态数据优势特点的利用率，有效提高车道目标检测模型的精度，具有良好的实时性，在不同的目标检测模型上均可适用。
附图说明
[0009]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
[0010]
图1为本发明实施例提供的基于多尺度卷积的多模态数据融合车道目标检测的方法流程示意图；图2为本发明实施例所述多模态数据融合的过程示意图；图3为本发明实施例所述多尺度校正的过程示意图；图4为本发明实施例所述系统的结构示意图；图5为本发明实施例所述车道目标检测模型的结构图。
具体实施方式
[0011]
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，这并不构成对本发明的限制。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
[0012]
如图1所示为本发明实施例提供的基于多尺度卷积的多模态数据融合车道目标检测的方法流程示意图，所述方法包括：步骤1、首先对车道原始激光雷达点云数据进行预处理，获得与rgb图像对齐的三通道伪点云数据；在该步骤中，车道原始激光雷达点云数据是激光雷达设备采集到的原始点云数据，为bin文件；车道rgb图像是单目相机采集得到的彩色图像，为三通道图像。
[0013]
上述预处理过程具体为：由于原始激光雷达点云数据比较稀疏，直接利用原始激光雷达点云数据进行目标
检测效果并不理想，故可以使用k近邻算法补全激光雷达点云，具体是应用k近邻搜索点云插值，k=2；通过各点间距离搜索每个空白像素的3个最近点，并根据归一化像素距离计算加权平均值作为该空白像素的结果，获得稠密点云数据；该补全过程可以使点云数据对目标对象的表征更加清晰，在一定程度上提高检测精度；然后将稠密点云数据的前视图投影到单目相机的成像平面上，与单目相机采集得到的rgb图像对齐，获得该稠密点云数据的反射率；该投影的结果为与rgb图像尺寸相同的单通道图像，其像素值即为稠密点云数据与rgb图像像素对齐位置的反射率；再对稠密点云数据的高度信息和深度信息投影，分别得到对应的单通道图像，将获得的三个单通道图像进行通道堆叠，获得与rgb图像对齐的三通道伪点云数据；进一步还可以裁剪该三通道伪点云数据的上半部分，以更好地降低无关背景的影响。
[0014]
步骤2、将步骤1得到的车道三通道伪点云数据与对应的rgb图像数据进行多模态数据融合；其中，在多模态数据融合过程中，对不同模态数据的特征通道进行权重赋值，并根据各自特征通道的重要程度自适应地获取所有特征通道的融合权重；如图2所示为本发明实施例所述多模态数据融合的过程示意图，具体过程为：首先对车道rgb图像数据和三通道伪点云数据（图2中的pseudo lidar）分别使用3*3和5*5大小的卷积核进行卷积操作，两个分支进行的所有操作均保持输出通道数一致；具体地，rgb图像数据和三通道伪点云数据输入后，首先分别提取了一次低维特征，然后对rgb图像数据采用3*3卷积核提取特征；相对地，对三通道伪点云数据使用5*5的卷积核再次提取特征，以便更好地利用深度信息；将两个分支的输出特征进行合并，各通道特征由两分支逐点相加构成，然后进行全局平均池化，进一步提炼特征；其中，进行全局平均池化的公式为：其中和是单特征通道的尺寸参数，分别为高度和宽度；为两个分支输出特征合并后的特征通道集合，通过空间尺寸收缩两个分支输出合并的结果完成对s的第c个元素的计算，(i,j)为特征通道上特征点的坐标；对平均池化后特征使用全连接操作进行特征映射，全连接操作的公式如下：其中，是relu激活函数；表示批归一化操作；ws为d*c维的特征，本专利中d为8，c为分支合并前的通道维度；s为全局平均池化的输出；然后用softmax函数进行映射，得到各通道权重，用于各模态数据的特征通道权重赋值；其中，softmax函数返回的概率值也表示该特征通道在不同空间尺度的注意力权重；针对单个分支的所有特征通道，将其特征值与对应位置的注意力权重相乘，得到权重计算后的单个分支结果；再将两个分支计算后的两个分支结果用add操作融合，实现多模态数据融合。
[0015]
步骤3、在多模态数据融合后的卷积过程中，用多尺度卷积再次计算融合特征通道，以校正融合后的特征通道权重；在该步骤中，为校正融合后的特征通道权重，提升模型精度，本发明实施例在特征提取过程中的第二个resnet块之后使用多尺度卷积校正，在3种不同感受野下进行特征通道的权重计算，如图3所示为本发明实施例所述多尺度校正的过程示意图，具体来说：对多模态融合后的数据使用split操作，即通过3种不同大小的卷积核提取高维特征；依次使用fuse和select操作对高维特征计算通道权重，即校正各特征通道权重值；split操作使用了3*3、5*5和7*7三个卷积核提取多路特征；fuse操作控制多路特征，将多路特征携带的信息输送到下一层神经元中；select操作将fuse操作的输出与三个权重矩阵进行加权求和操作，得到各个分支的输出向量；最后将三个分支的输出向量用add操作相加，得到特征通道的校正权重。
[0016]
通过在融合时和融合后的两次特征通道权重计算，大幅度提升了不同模态数据优势特点的利用率，有效提高了目标检测模型的精度。
[0017]
如图5所示为本发明实施例所述车道目标检测模型的结构图，在faster rcnn的架构上，利用fpn和rpn完成车道目标的分类和回归，以获得车道目标检测结果。
[0018]
步骤4、将步骤3校正后的车道多模态融合数据输入预先建立和训练好的车道目标检测模型，对车道目标进行预测，以获得车道目标检测结果。
[0019]
在该步骤中，具体是将校正权重后的车道多模态融合数据依次送入车道目标检测模型的fpn和rpn中，rpn依据最后一层卷积层输出的256个通道的特征层，完成车道目标的分类和回归；其中，fpn即特征金字塔，可以用于检测不同尺度的目标，提取不同尺度的特征信息后用横向连接的结构使得所有尺度的特征图都具有高级语义信息；rpn (regionproposal network)即生成候选区域，它结合先验大小的锚框，将背景和前景区分开来，也使锚框更接近于真实目标；其中，分类完成车道目标的类别判断，回归用一个边界框（最终得到的一个锚框）将所检测到的目标框出来，分类和回归的结果即为车道目标检测的结果。
[0020]
基于上述方法，本发明实施例还提供了一种基于多尺度卷积的多模态数据融合车道目标检测的系统，如图4所示为本发明实施例所述系统的结构示意图，所述系统包括：数据预处理模块，用于对原始激光雷达点云数据进行预处理，获得与rgb图像对齐的三通道伪点云数据；多模态数据融合模块，用于将所述数据预处理模块得到的三通道伪点云数据与对应的rgb图像数据进行多模态数据融合；其中，所述多模态数据融合模块在多模态数据融合过程中，对不同模态数据的特征通道进行权重赋值，并根据各自特征通道的重要程度自适应地获取所有特征通道的融合权重；多尺度校正模块，用于在所述多模态数据融合模块进行多模态数据融合后的卷积过程中，用多尺度卷积再次计算融合特征通道，以校正融合后的特征通道权重；车道目标预测模块，用于将所述多尺度校正模块校正后的多模态融合数据输入预先建立和训练好的车道目标检测模型，对车道目标进行预测，以获得车道目标检测结果。
[0021]
上述系统中各模块的具体实现过程见上述方法实施例所述。
[0022]
值得注意的是，本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
[0023]
综上所述，本发明实施例所述方法和系统的优点在于：1、本方案能够更好地利用激光雷达点云数据，利用所生、裁剪的三通道伪点云图像信息，摆脱大量三维点云计算带来的时间消耗和资源占用问题；2、所采用的融合方法能合理有效地计算所有特征通道的权重，提高了两种模态数据优势特点的利用率，与现有的固定融合权重方式相比有很大的优势；3、对融合后的数据提取高维特征后，再计算特征通道的权重，以此校正融合数据的特征通道权重，通过使用两次特征通道的权重计算，大幅度突出对检测结果贡献大的特征通道，提高了模型的检测精度。
[0024]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。本文背景技术部分公开的信息仅仅旨在加深对本发明的总体背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。