一种基于激光点云和可见光图像融合的分类方法及装置与流程

1.本发明涉及点云数据分类技术领域，尤其涉及一种基于激光点云和可见光图像融合的分类方法及装置。


背景技术：

2.配电线路安全运行关系到电力能源的稳定传输，线路输送的容量大、电压高，长期经历风霜雨雪等恶劣天气的侵蚀，且分布区域广、沿途地势复杂，一旦发生腐蚀、磨损、断电等故障，可能导致电网的复杂连锁性故障，进而造成大面积的停网、停电，同时输电走廊存在树障隐患，因此，输电设备的定期巡检至关重要。传统巡检方法受巡检员个人状况和测量角度的影响，往往会造成较大的测量误差，检测效率低、精度不高，已不能满足规模不断扩大的配电网现代化运行的需要。
3.无人机采集到的可见光二维图片需要经过重建过程才能还原出三维电力场景，其与实际情况间会存在一定偏差。激光雷达点云测绘的技术优势在于它可以精确还原电力场景的空间信息并进行距离测量，而激光雷达点云测绘的缺点在于它不能还原出电力场景中的颜色信息、可视化效果差，利用激光雷达点云数据很难进行精确的电力物体分类。
4.因此，需要对电力能源目标进行巡检的时候，可以采用可见光图片数据与激光雷达点云数据融合的方式，例如，专利文献cn113111751a公开了一种自适应融合可见光与点云数据的三维目标检测方法，该方法输入摄像机图像以及原始点云图，通过双流区域候选网络进行点云特征和点云图像特征的自适应融合。但是，该方法数据融合算法分类准确性和效率仍然较低。


技术实现要素：

5.本发明提供了一种基于激光点云和可见光图像融合的分类方法及装置，能够基于多分辨率点云构建分类方法，并对分类结果进行进一步优化，大大提高了电力设施巡检的准确性和效率。
6.一种基于激光点云和可见光图像融合的分类方法，包括：采集激光点云和可见光图像；对所述激光点云进行预处理；对经过预处理的激光点云与可见光图像进行数据融合，获得点云场景；确定所述点云场景中每个单点的邻域，并提取单点特征；利用提取到的单点特征，通过激光点云的多分辨率和多邻域空间构建单点多尺度多级特征并进行特征融合；根据融合后的单点多尺度多级特征进行模型训练，并依据训练后的模型对所述激光点云进行分类。
7.进一步地，对所述激光点云进行预处理，包括：对所述激光点云进行滤波去噪。
8.进一步地，所述对经过预处理的激光点云与可见光图像进行数据融合，包括：通过共线性方程，将可见光图像中的像素坐标映射至激光点云的空间坐标系中；将所述可见光图像中的色彩特征与相应的激光点云进行配对。
9.进一步地，所述单点特征包括立面特征、正态角分布直方图特征、纬度抽样直方图特征、协方差特征和平面点比特征。
10.进一步地，通过激光点云的多分辨率和多邻域空间构建单点多尺度多级特征，包括：选择不同邻域、不同分辨率下的所述正态角分布直方图特征、纬度抽样直方图特征、协方差特征和平面点比特征构成所述单点多尺度多级特征。
11.进一步地，所述模型采用支持向量机分类器，所述支持向量机分类器采用高斯核函数作为核函数。
12.进一步地，所述高斯核函数通过以下公式表示：;其中，y为融合的特征空间，yj为选择的d维特征样本，l 为d维特征样本的数量，m为融合的特征空间通过映射函数经特征变换后获得的特征空间，m为特征空间m中的样本，k(y，m)为核函数，σ为高斯核函数的参数。
13.进一步地，对所述激光点云进行分类之后，还包括：采用多尺度金字塔的领域分类方法对分类结果进行优化。
14.进一步地，采用多尺度金字塔的邻域分类方法对分类结果进行优化，包括：使用具有不同半径比例的体素过滤器对初始分类后的激光点云进行下采样；根据采样后的具有初始类别的激光点云构建多级金字塔，并保留每个级别中所有单点的初始类别；从金字塔每一级的激光点云构建相应的k-d树；采用所述k-d树搜索激光点云中最近邻的半径，并在所述半径内搜索激光点云的初始类别标签，计算多级金字塔中激光点云属于每个类别的初始类别标签数量，将初始类别标签数量最多的类别作为该激光点云的新类标签。
15.一种基于激光点云和可见光图像融合的分类装置，包括：数据采集模块，用于采集激光点云和可见光图像；数据预处理模块，用于对所述激光点云进行预处理；数据融合模块，用于对经过预处理的激光点云与可见光图像进行数据融合，获得点云场景；特征提取模块，用于确定所述点云场景中每个单点的邻域，并提取单点特征；特征融合模块，用于利用提取到的单点特征，通过激光点云的多分辨率和多邻域空间构建单点多尺度多级特征并进行特征融合；分类模块，根据融合后的单点多尺度多级特征进行模型训练，并依据训练后的模型对所述激光点云进行分类。
16.本发明提供的基于激光点云和可见光图像融合的分类方法及装置，至少包括如下有益效果：
1. 数据融合过程采用激光点云预处理、激光点云和可见光图像像素配准和激光点云着色三个过程，将二维数据转移到三维空间，并在最后对点云进行着色，实现了两种数据的全面深度融合，从而更好地进行下一步训练和分类；2. 通过改变点云的分辨率和邻域数来构建多尺度空间，提取点云中每个单点的多尺度特征，采用单点多尺度多特征融合算法对点云进行分类，提高了分类准确性和效率；3. 采用多尺度金字塔算法对分类结果进行邻域优化，对由于噪声等原因导致误分类的边缘等位置细节处进行进一步优化，提高了分类的准确率。
附图说明
17.图1为本发明提供的基于激光点云和可见光图像融合的分类方法一种实施例的流程图。
18.图2为本发明提供的基于激光点云和可见光图像融合的分类装置一种实施例的结构示意图。
19.附图标记：1-数据采集模块，2-数据预处理模块，3-数据融合模块，4-特征提取模块，5-特征融合模块，6-分类模块。
具体实施方式
20.为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。
21.参考图1，在一些实施例中，提供一种基于激光点云和可见光图像融合的分类方法，包括：s1、采集激光点云和可见光图像；s2、对所述激光点云进行预处理；s3、对经过预处理的激光点云与可见光图像进行数据融合，获得点云场景；s4、确定所述点云场景中每个单点的邻域，并提取单点特征；s5、利用提取到的单点特征，通过激光点云的多分辨率和多邻域空间构建单点多尺度多级特征并进行特征融合；s6、根据融合后的单点多尺度多级特征进行模型训练，并依据训练后的模型对所述激光点云进行分类。
22.具体地，在步骤s2中，对激光点云进行预处理包括对激光点云进行滤波去噪。
23.由于电力场景中各物体表面的粗糙程度各异，而且雷达扫描过程中容易受外部环境因素干扰，因此无人机搭载激光雷达获取的原始点云数据经常出现离散的局部点云块，它会严重影响激光点云的提取和匹配过程。为此，本实施例设计了专门的高斯分布滤波器以滤除局部点云块，经统计分析后利用均值和标准差法得到最佳阈值，最大程度地提高点云数据的纯净度，以实现后续两种异源数据的精准配准融合。
24.在步骤s3中，对经过预处理的激光点云与可见光图像进行数据融合，包括：s31、通过共线性方程，将可见光图像中的像素坐标映射至激光点云的空间坐标系中；s32、将可见光图像中的色彩特征与相应的激光点云进行配对。
25.可见光相机拍摄的图片蕴含丰富的颜色信息，而激光雷达点云数据具有空间结构信息，因此两种数据融合后将更有利于电力设施的准确分类。实现两种数据的全面深度融合需经过激光点云数据预处理、激光点云与可见光图像像素配准和激光点云着色过程，以下对激光点云与可见光图像像素配准和激光点云着色过程进行介绍。
26.为实现点云和数字图片两种异源数据的准确匹配，需要将两种数据统一到相同空间坐标系。本实施例依据大地测量系统（wgs-84）进行激光扫描，并将此坐标系作为可见光相机的参考坐标系，由此数字图片中的二维信息便转换到了空间坐标系，其过程中所使用的共线性方程式如下：;使 ；上述公式中x和y为二维坐标系中的点，x、y和z为三维坐标系中的点，xc，yc和zc为三维坐标系投影中心坐标，f为可见光相机的焦距点，系统产生r和xc、yc和zc的坐标，r表示旋转矩阵，旋转矩阵的参数：a1、a
2 、a3、b1、b
2 、b3、c1、c
2 、c3由系统产生。
27.为达到平面图片坐标系（x，y）与空间坐标系（x，y，z）的切换，本方案使用双线性插值法将平面坐标系中的点转化成空间坐标系中的点，二维坐标系中（x，y）点对应的三维空间点为（x，y，z）：；xn、x
n-1
、yn、y
n-1
、zn、z
n-1
表示三维空间内点的坐标。重复上述步骤，即可将平面图片坐标系中的像素点对应到空间坐标系中。
28.表示可见光图像测量共线方程的另一种方法：；经过上述过程，机载相机拍摄的平面图片中的电力目标点（x, y）可被成功配对到机载雷达扫描的点云数据三维空间中的（x，y，z）点。可见光图片映射到激光点云空间后，将图片饱和度、色调以及亮度等视觉特征配对给相应点云，这样激光点云数据就包含了除空
间位置、和回波强度等自身信息以外颜色和hsl光谱信息，从而完成了机载相机拍摄的可见光图像和机载雷达扫描的激光点云数据的深度融合。
29.在步骤s4中，确定点云场景中每个单点的邻域，并提取单点特征，单点特征包括立面特征、正态角分布直方图特征、纬度抽样直方图特征、协方差特征和平面点比特征。
30.在步骤s5中，通过激光点云的多分辨率和多邻域空间构建单点多尺度多级特征，包括：选择不同邻域、不同分辨率下的正态角分布直方图特征、纬度抽样直方图特征、协方差特征和平面点比特征构成单点多尺度多级特征。
31.本实施例在基于单点的分类算法中，采用多种特征融合方法来提高分类算法的精度，涉及到的单点特征具体介绍如下：（1）立面特征高度是三维点云中较为直观的特征，较高点是现实中具有较大高程值的电力杆塔、建筑物或树木，立面特征设置为：；式中，hi是第i点从估计地面到高程值的距离，fh表示立面特征。
32.（2）正态角分布直方图特征在大尺度场景中，不同物体的法线方向有明显的差异，由于曲面相对规则，几乎所有点都位于同一方向，指向垂直平面方向。由于激光点云分散分布，激光点云法线方向具有较大分散性，并且该方向不会以统一的方式指向固定方向。因此，在局部邻域点集中计算每个单点的直方图及其自身的正态角分布值，以表示该单点的法线与相邻区域点的法线之间的关系。三维空间中两个法向量之间的角度θ应在[0，π]之间，考虑角度θ大于π/2时，平面上单点的法线存在相反方向，相应的角度设置为θ
−
π/2。
[0033]
此后，法向量角度范围为[0，π/2]。至于效率和分辨率，将该角度范围区间划分为相等的dn部分，即构建dn维直方图，每个单元内的点数作为直方图中的间隔值。最后，执行归一化处理以形成称为nad的正态角度分布直方图。该特征可根据正态角度分布区分不同类别的单点，计算公式如下：；；；；其中，
∆1表示法向量角度范围划分的区间角度，v和vj分别表示当前点和第j个相邻点的法向量，θj表示法向量v与法向量vj夹角角度，n表示当前点的相域数。n(i
∗∆1≤θj≤(i 1)
∗∆1)表示范围内法线角度的点数，n表示满足[i
∗∆1，(i 1)
∗∆1]的夹角角度的个数，i表示第i个划分的区间。f
nad
表示正态角分布的最终正态角特征值向量，dn为划分区间数，h
(xi)表示正态角特征xi的值。
[0034] （3）纬度抽样直方图特征在室外大场景环境中，几乎所有属于不同对象的单点，其周围的邻域点在三维空间的纬度分布上都有很大的差异，因此将选取的单点作为球心，统计邻域点在纬度方向的分布直方图表示单点的特征，称为纬度抽样直方图特征。纬度抽样直方图特征可根据邻域点在纬度方向的分布来区分不同类别的单点。纬度抽样直方图特征具有抗遮挡、不受局部坐标系干扰、效率高等优点。在本实施例中，d
l
空间沿纬度方向等分。然后计算落入每个单元格的单点数以形成d
l
维度的特征向量，具体计算公式为：；；；；其中，
∆2表示沿纬度划分的区间角度，d
l
为沿纬度划分的数量，p和pj分别表示当前点及其第j个相邻点的三维坐标。z=（0,0,1）表示z轴正方向的单位矢量，θz表示(p-pj)与z轴正方向的夹角角度，n(i
∗∆2≤θz≤(i 1)
∗∆2) 表示沿纬度方向的邻域点[i
∗∆2, (i 1)
∗∆2]中的点数，n表示满足[i
∗∆2，(i 1)
∗∆2]的夹角角度的个数，i表示第i个划分的纬度区间，f
lsh
表示纬度抽样直方图特征向量，f(xi)表示纬度抽样特征向量xi的值。
[0035]
（4）协方差特征首先，构建选定点邻域的协方差矩阵，然后计算协方差矩阵的特征值为：a3≥a2≥a1≥0。根据特征值之间的关系获得协方差特征（cf），如下所示：特征值之和t1：；平面度t2：；完全差异t3：；线性度t4：；各向差异t5：；球形度t6：
；最终的总协方差特征是：f
cov
=[t1，t2，t3，t4，t5，t6]。
[0036]
（5）平面点比特征室外大型场景中物体的类别复杂，表面形状不同，人工物体表面相当一部分呈现平面特征，同时植被不具有平面特征，因此局部点云的平面点比可作为点云分类的局部特征。协方差特征可在一定程度上反映平面特征，但受噪声干扰较大。因此，采用随机样本一致性（ransac）拟合所选点的局部邻域，然后计算平面点的比率，称为ppr（平面点比率）。
[0037]
ransac是一种用于从具有噪声但足够的随机样本的数据集中找到与模型最匹配的数据子集的方法。与模型匹配的点称为内部点，与模型不匹配的点称为外部点。平面点比特征使用ransac方法进行拟合，具体包括：1）从单点所有邻域点中随机选择三个点并计算当前模型参数，模型如下：；x、y、z分别为邻域点的坐标。a、b、c、d分别为该模型参数。
[0038]
2）确定每个单点是否为内插器，然后确定当前模型的内插率μ：；；式中，rm是从第m点到平面的距离。λ是一个固定阈值。ym表示它是否为内点，ym=1为内点，ym=0为外点，n是邻域点的数量，n大于1，且其中至少一点为外点；3）如果当前的内点率大于前一个最优内点率，则更新最优内点率；4）将步骤1）-3）重复t次，直到概率达到p，即找到最优内点率模型：；终止条件为：；当 ransac 迭代完成后，最优的内点率即是平面点的比例。
[0039]
在步骤4）中，通过改变点云的分辨率和邻域数来构建多尺度空间，提取点云中每个单点的多尺度特征，立面特征不受尺度变化影响，选择正态角分布直方图、纬度抽样直方图、协方差特征和平面点比特征来构建多尺度特征。选择不同分辨率的δ邻域和原始分辨率下的α不同邻域大小，在每个尺度上提取单点的特征。
[0040]
在步骤s6中，采用高斯核函数的支持向量机（svm）分类器对激光点云进行分类，无人机巡检时机载雷达捕获的数据为非线性数据，为通过最大化区间实现这种非线性数据分类，采取核函数支持向量机算法将原始点云数据映射到线性可分的高维特征空间。点云单点特征与相邻点特征之间的相关性，以及高斯核函数只有一个参数σ，模型复杂度较低，因
此选择高斯核函数作为核函数。
[0041]
支持向量机（svm）分类器的高斯核函数定义如下：；其中，y为融合的特征空间，yj为选择的d维特征样本，l为d维特征样本的数量，m为融合的特征空间通过映射函数经特征变换后获得的特征空间，m为特征空间m中的样本，k(y，m)为核函数，σ为高斯核函数的参数。
[0042]
将电力数据分为测试集和训练集，分别用以训练和测试支持向量机分类器。
[0043]
在步骤s6之后，还包括步骤s7，采用多尺度金字塔的邻域分类方法对分类结果进行优化，优化过程具体包括：s71、使用具有不同半径比例的体素过滤器对初始分类后的激光点云进行下采样；s72、根据采样后的具有初始类别的激光点云构建多级金字塔，并保留每个级别中所有单点的初始类别；s73、从金字塔每一级的激光点云构建相应的k-d树；s74、采用所述k-d树搜索激光点云中最近邻的半径，并在所述半径内搜索激光点云的初始类别标签，计算多级金字塔中激光点云属于每个类别的初始类别标签数量，将初始类别标签数量最多的类别作为该激光点云的新类标签。
[0044]
具体地，在步骤s71中，使用具有不同半径比例的体素过滤器对初始分类后的点云进行下采样，每个最小体素比例是上一次向下采样的两倍，并且逐渐获得稀疏点云。
[0045]
在步骤s72中，构建多级金字塔，令金字塔级数为n，并保留每个级别中所有点的初始类别，根据点云下采样反映形状结构信息的特点，在n=3的三个尺度上构建尺度金字塔。
[0046]
在步骤s74中，对每个激光点云，使用k-d树搜索下采样后激光点云中最近邻的半径，在第l层半径内搜索的点云的初始类别为，当点云的每一层选择其最近邻时半径参数不同，具体计算方法通过以下公式表示：；其中，d为比例半径参数，η为当前下采样激光点云使用的分辨率，a为固定的比率阈值。
[0047]
最后，计算多级金字塔中激光点云属于每个类别的初始类别标签数量，判别函数表示当属于c类别时，其值为1；否则，其值为0。将初始类别标签数量最多的类别作为该激光点云的新类标签。计算公式如下：；其中，表示新类别标签，n表示金字塔级数，表示第l层的第i个激光点云的类别标签为c，m表示激光点云的数量。
[0048]
参考图2，在一些实施例中，还提供一种基于激光点云和可见光图像融合的分类装
置，包括：数据采集模块1，用于采集激光点云和可见光图像；数据预处理模块2，用于对激光点云进行预处理；数据融合模块3，用于对经过预处理的激光点云与可见光图像进行数据融合，获得点云场景；特征提取模块4，用于确定点云场景中每个单点的邻域，并提取单点特征；特征融合模块5，用于利用提取到的单点特征，通过激光点云的多分辨率和多邻域空间构建单点多尺度多级特征并进行特征融合；分类模块6，根据融合后的单点多尺度多级特征进行模型训练，并依据训练后的模型对激光点云进行分类。
[0049]
进一步地，数据预处理模块2用于对激光点云进行滤波去噪。
[0050]
进一步地，数据融合模块3具体用于：通过共线性方程，将可见光图像中的像素坐标映射至激光点云的空间坐标系中；将可见光图像中的色彩特征与相应的激光点云进行配对。
[0051]
进一步地，特征提取模块4中提取的单点特征具体包括立面特征、正态角分布直方图特征、纬度抽样直方图特征、协方差特征和平面点比特征。
[0052]
进一步地，特征融合模块5中通过激光点云的多分辨率和多邻域空间构建单点多尺度多级特征，包括：选择不同邻域、不同分辨率下的正态角分布直方图特征、纬度抽样直方图特征、协方差特征和平面点比特征构成单点多尺度多级特征。
[0053]
进一步地，分类模块6中采用支持向量机分类器进行分类，支持向量机分类器采用高斯核函数作为核函数。
[0054]
高斯核函数通过以下公式表示：；其中，y为融合的特征空间，yj为选择的l个d维特征样本，m为y通过映射函数φ(y)经特征变换后获得的特征空间，m为特征空间m中的样本，k(y，m)为核函数，σ为高斯核函数的参数。
[0055]
进一步地，该装置还包括结果优化模块，用于采用多尺度金字塔的领域分类方法对分类结果进行优化，具体包括：使用具有不同半径比例的体素过滤器对初始分类后的激光点云进行下采样；根据采样后的具有初始类别的激光点云构建多级金字塔，并保留每个级别中所有单点的初始类别；从金字塔每一级的激光点云构建相应的k-d树；采用所述k-d树搜索激光点云中最近邻的半径，并在所述半径内搜索激光点云的初始类别标签，计算多级金字塔中激光点云属于每个类别的初始类别标签数量，将初始类别标签数量最多的类别作为该激光点云的新类标签。
[0056]
其他具体计算过程请参考方法实施例，再此不在赘述。
[0057]
本实施例提供的基于激光点云和可见光图像融合的分类方法及装置，数据融合过
程采用激光点云预处理、激光点云和可见光图像像素配准和激光点云着色三个过程，将二维数据转移到三维空间，并在最后对点云进行着色，实现了两种数据的全面深度融合，从而更好地进行下一步训练和分类；通过改变点云的分辨率和邻域数来构建多尺度空间，提取点云中每个单点的多尺度特征，采用单点多尺度多特征融合算法对点云进行分类，提高了分类准确性和效率；采用多尺度金字塔算法对分类结果进行邻域优化，对由于噪声等原因导致误分类的边缘等位置细节处进行进一步优化，提高了分类的准确率。
[0058]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。