一种激光点云与可见光图像融合方法和系统与流程

1.本技术属于工业视觉领域，具体的涉及一种激光点云与可见光图像融合方法和系统。


背景技术：

2.在工业视觉技术领域，一些应用场景，例如车辆的自动驾驶等，其应用的环境复杂，对数字成像的实时性要求极高。因此，单一传感器已经无法满足实际应用的需求，在例如自动驾驶系统等数字成像系统中，通常设置包含不同传感器的平台协同工作，将多传感器数据进行融合以确保更好的感知、理解环境。同时，多设备的异源数据融合也已成为图像感知领域研究的热点。
3.激光点云与可见光图像融合已经成为车辆辅助系统中多物体追踪、障碍识别等模块重要的技术支持。与传统的图像配准问题相比，激光点云与光学影像是二种跨模态异源数据，二者之间的巨大差异给配准问题带来了很大困难，现有技术在配准精度、鲁棒性以及自动化水平等方面还存在不足之处。


技术实现要素：

4.针对上述问题，本技术第一方面提出一种激光点云与可见光图像融合方法，包括以下步骤：
5.s1，将点云数据进行空间降维，获得二维的点云数据；
6.s2，通过尺度不变特征变换(scale-invariant feature transform，sift)算法提取二维的点云数据的特征点和可见光图像数据的特征点；
7.s3，确定投影平面，通过投影模型将点云数据投影生成深度-回波强度图像，并构建点云数据与深度-回波强度图像的3d-2d坐标映射关系；
8.s4，根据3d-2d坐标映射关系，将可见光图像数据的特征点映射至点云数据。
9.本技术提出的方案首先利用sift提取点云数据和可见光图像数据的特征点，将点云像数据的特征点作为参考点将点云进行投影处理，将点云数据降维、可视化，获得点云数据与深度-回波强度图像的3d-2d坐标映射关系，基于该映射关系进行点云数据与可见光图像的配准融合。该方案能够实现较好的图像配准融合效果。
10.优选地，s1还包括，首先对点云数据进行体素化处理，点云体素网格质心计算的公式为：其中，xc、yc、zc为点云数据在体素网格中的x、y、z坐标，p为体素网格中点的总数，i为第i个点。通过对点云数据进行体素化处理实现空间降维，使其与可见光维度一致，进而能够实现二者的特征提取和坐标匹配；同时，体素化过程能够实现的数据有序存储和降采样，提高运算效率。
11.优选地，s2采用kfda-sift(kernel fisher discriminant analysis-sift)提取所述降维后的点云数据的特征点和可见光图像数据的特征点，具体包括采用核主成分分析
法(kernel principal component analysis，kpca)进行空间降维，采用线性判别分析(linear discriminant analysis，lda)对降维后的数据进行特征提取。进一步地，其中kpca的核函数采用多项式核。
12.kfda算法是通过非线性映射将原始样本数据投影到高维特征空间，然后在该特征空间中进行判别分析，因此，采用kfda-sift能够从更多维度上获取足够多的特征信息和范围，增加特征提取的信息深度和宽度。
13.优选地，s3包括，以所述点云数据的特征点为参考点，利用直接线性变换(direct linear transformation，dlt)方法构建所述3d-2d坐标映射关系。进一步地，结合最小二乘法构建所述3d-2d坐标映射关系。
14.优选地，s3所述投影模型采用的计算公式包括：
[0015][0016][0017]
z＝d
[0018]
其中，x、y为投影坐标系中的x、y坐标，x、y为世界坐标系x、y的坐标，x
res
、y
res
为深度图的分辨率，fov表示投影向量，fovh为fov水平方向上分解的标量，fovv为fov竖直方向上分解的标量，d为深度值。
[0019]
优选地，所述可见光图像数据为可见光图像的rgb数据。
[0020]
本技术第二方面提出一种激光点云与可见光图像融合系统，包括：
[0021]
数据降维模块，配置用于对点云数据进行空间降维，并映射到与可见光图像数据同一维度；
[0022]
特征提取模块，配置用于通过sift算法提取降维后的点云数据的特征点和可见光图像数据的特征点；
[0023]
坐标映射模块，配置用于确定投影平面，通过投影模型将点云数据投影生成深度-回波强度图像，并构建点云数据与深度-回波强度图像的3d-2d坐标映射关系；
[0024]
配准融合模块，根据所述3d-2d坐标映射关系，将所述可见光图像数据的特征点映射至点云数据。
[0025]
本文所提出的激光点云与可见光图像融合方法与系统，具有较好的鲁棒性和较高的配准精度，能够应用于机载、车载、地面等平台，适用场景广泛。
附图说明
[0026]
附图帮助进一步理解本技术。附图的元件不一定是相互按照比例的。为了便于描述，附图中仅示出了与有关发明相关的部分。
[0027]
图1为本技术一实施例中激光点云与可见光图像融合方法的流程示意图；
[0028]
图2为本技术一实施例中的可见光图像原图；
[0029]
图3为本技术一实施例中点云可视化图像；
[0030]
图4为本技术一实施例中点云与可见光融合后的效果图；
[0031]
图5为本技术一实施例中的激光点云与可见光图像融合系统结构示意图。
具体实施方式
[0032]
下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。
[0033]
图1是根据本技术一实施例中激光点云与可见光图像融合方法的流程示意图，该流程包括：
[0034]
s1，将点云数据进行空间降维，获得二维的点云数据。
[0035]
点云的数据包括每个点的经纬度坐标、强度、多次回波、颜色等信息，其信息的维度和信息量都远高于可见光图像数据。为了便于后续的特征匹配，本技术提出的方案首先对点云数据进行降维至与可见光图像同样的维度。
[0036]
优选实施例中，s1包括首先对点云数据进行体素化处理，点云体素网格质心计算的公式为：其中，xc、yc、zc为点云数据在体素网格中的x、y、z坐标，p为体素网格中点的总数，i为第i个点。
[0037]
s2，通过尺度不变特征变换(scale-invariant feature transform，sift)算法提取二维的点云数据的特征点和可见光图像数据的特征点。
[0038]
sift作为一种稳定的特征匹配算法，在很多领域都有广泛的应用。将点云数据降维后，可以对降维后的点云数据以及可见光图像数据采用同一sift算法结构进行特征描述。
[0039]
优选实施例中，s2采用kfda-sift(kernel fisher discriminant analysis-sift)提取所述降维后的点云数据的特征点和可见光图像数据的特征点。本实施例采用一种改进的带有核判别分析的sift算法(kfda-sift)，能够进一步提高sift算法的鲁棒性。具体包括采用核主成分分析法(kernel principal component analysis，kpca)进行空间降维，得到非线性空间下的低维度数据；再采用线性判别分析(linear discriminant analysis，lda)对降维后的数据进行特征提取。kpca是一种改进的pca(principal component analysis)算法，可以提取比传统pca更适合分类的特征集。
[0040]
进一步地，其中kpca的核函数采用多项式核。
[0041]
s3，确定投影平面，通过投影模型将点云数据投影生成深度-回波强度图像，并构建点云数据与深度-回波强度图像的3d-2d坐标映射关系。基于s2所提取的特征点，点云数据可以通过投影模型转换为二维的数据，实现点云的可视化。其中的投影模型实际上是一个参数化模型，即设定一个函数模型，将输入的点云投影至函数模型上，从而达到点云过滤的形式。
[0042]
优选实施例中，以所述点云数据的特征点为参考点，利用直接线性变换(direct linear transformation，dlt)方法结合最小二乘法构建所述3d-2d坐标映射关系。
[0043]
投影模型采用的计算公式包括：
[0044][0045][0046]
z＝d
[0047]
其中，x、y为投影坐标系中的x、y坐标，x、y为世界坐标系x、y的坐标，x
res
、y
res
为深度图的分辨率，fov表示投影向量，fovh为fov水平方向上分解的标量，fovv为fov竖直方向上分解的标量，d为深度值。
[0048]
s4，根据3d-2d坐标映射关系，将可见光图像数据的特征点映射至点云数据。获取了点云数据与深度-回波强度图像的3d-2d坐标映射关系后，依照该映射关系，计算点云与可见光的映射矩阵，可见光图像数据的特征点可以对应地映射至点云数据中。具体地，可见光图像数据为可见光图像的rgb数据，将可见光图像对应像素的rgb值映射到点云中，实现将激光点云与可见光图像融合。
[0049]
在一具体实施例中，图2为可见光图像原图，图3为s3中所获得的点云可视化图像，图4为点云与可见光融合后的效果图，可见对于城市道路环境中，本技术提出的方法能够实现较好的激光点云与可见光数据融合，可以较好地适用于车载系统。
[0050]
图5为本技术一实施例中的激光点云与可见光图像融合系统500结构示意图，包括：
[0051]
数据降维模块501，配置用于对点云数据进行空间降维，并映射到与可见光图像数据同一维度；
[0052]
特征提取模块502，配置用于通过sift算法提取降维后的点云数据的特征点和可见光图像数据的特征点；
[0053]
坐标映射模块503，配置用于确定投影平面，通过投影模型将点云数据投影生成深度-回波强度图像，并构建点云数据与深度-回波强度图像的3d-2d坐标映射关系；
[0054]
配准融合模块504，根据所述3d-2d坐标映射关系，将所述可见光图像数据的特征点映射至点云数据。
[0055]
本技术提出了一种激光点云与可见光融合配准方案和系统，利用sift算法提取点云数据和可见光图像数据的特征点，并基于点云数据与深度-回波强度图像的3d-2d坐标映射关系进行点云数据与可见光图像的配准融合，可适用于多场景和多平台，尤其是适用于车载数字成像系统中辅助自动驾驶。
[0056]
尽管结合优选实施方案具体展示和介绍了本技术的内容，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本技术的精神和范围内，没有做出创造性劳动的情况下，在形式上和细节上对本技术做出的各种变化，均为本技术的保护范围。