一种基于改进的RandLA-Net的变电站设备点云分割方法

一种基于改进的randla-net的变电站设备点云分割方法
技术领域
1.本发明属于全息全景数字变电站、点云语义分割领域，尤其是涉及一种基于改进的randla-net的变电站设备点云分割方法。


背景技术：

2.语义分割作为计算机视觉的基础任务之一，有着丰富的下游应用。二维图像的语义分割任务随着深度学习的发展，已经取得了非常优秀的效果。而计算机视觉的最终体现是三维视觉，近年来，自动驾驶、增强现实、三维场景重建研究火热，深度传感器技术也得到了蓬勃发展，使得人们可以轻易采集到大量点云数据，工业界和学术界逐渐将注意力从二维图像转向三维点云的处理。
3.传统的变电站点云分割，需要手工设计特征描述子，将提取到的几何特征送入svm、随机森林、朴素贝叶斯等分类器进行识别分割，或者通过区域生长等聚类方法进行分割，特征描述子设计繁琐复杂，泛化性差，识别精度低。受2d图像深度学习的启发，基于多视图的方法被研究者们提出，将点云投影到多个视角的图像，与传统基于手工设计特征的方法相比，取得了良好的效果，但是投影的方式导致大量关键的几何信息丢失，从而影响点云的分割效果。2017年pointnet的提出，可以直接将点云输入网络，3d点云领域正式进入深度学习时代。发展至今，相对主流的算法有以下三大类。一类是sparse-convnet、minkowskinet等基于体素的方法，将点云转化为体素，可以直接使用2d成熟的pipeline，缺点是当点云场景过大时，3d卷积的计算开销很大。第二类是以kcnet、dgcnn为代表的基于图的方法，点云这种非欧数据天然的适合图结构，通过最近邻图进行特征聚合，该方法可以学习到更好的局部信息，但如何处理好复杂大规模点云数据是仍需解决的问题。第三类以kpconv、pointtransformer、randlanet为代表的基于点方法，直接处理原始点云数据，计算高效。目前的三维建模主要依靠手工，建模周期长，需要耗费大量的人力。


技术实现要素：

4.发明目的：为了克服现有技术中的不足，本发明提供一种基于改进的randla-net的变电站设备点云分割方法；本发明通过采集多种格式数据制作数据集，并引入mix3d进行数据增强，有效地平衡了变电站全局语义信息和局部结构信息，防止过拟合，从而提升模型训练效果；最终使用训练好的网络模型对变电站扫描得到的点云数据进行语义分割。
5.技术方案：第一方面本发明提供一种基于改进的randla-net的变电站设备点云分割方法，其特征在于，包括：
6.获取点云数据和图像数据，以及图像数据和点云数据的映射关系；
7.根据获取的点云数据和图像数据制作训练数据集，并对点云数据进行mix3d数据增强，获得增强后的点云数据；其中训练数据集划分为训练集、验证集和测试集；
8.将增强后的点云数据和图像数据导入点云分割双流网络，获得点云特征和图像颜色纹理特征，其中点云分割双流网络包括：点云分支网络、图像分支网络和分割头网络；
9.根据图像数据和点云数据的映射关系，将点云特征和图像颜色纹理特征进行融合拼接，获得特征向量；
10.将特征向量导入分割头网络，输出点云分割结果预测值；
11.将点云分割结果预测值代入损失函数计算交叉熵损失，并对交叉熵损失采用反向传播推导，获得交叉熵损失梯度；
12.根据交叉熵损失梯度优化点云分割双流网络中的网络参数；
13.基于优化后的点云分割双流网络输入点云数据，获得变电站设备点云的分割结果。
14.在进一步的实施例中，所述训练数据集中的点云数据带有标注，并按照7:1.5:1.5将训练数据集划分为训练集、验证集和测试集；
15.其中，所述训练集为训练网络的数据样本；
16.所述验证集用于提供超参数调优的验证信息；
17.所述测试集用于测试网络误差的数据样本。
18.在进一步的实施例中，对点云数据进行mix3d数据增强，获得增强后的点云数据的方法包括：
19.对训练集中的每个样本数据中的点云数据依次采用随机子采样，弹性失真，随机亮度和对比度的增强以及颜色抖动的算法进行数据增强，从使每个样本获得增强后的点云数据；
20.将训练集中具有增强点云数据的所有样本数据，进行两两混合，并对点云数据的标注进行拼接，获得增强后的点云数据。
21.在进一步的实施例中，所述点云分支网络为改进编码器下采样方法的randla-net网络；
22.所述图像分支网络由下采样的骨干网络和进行上采样转置卷积组成。
23.在进一步的实施例中，所述randla-net网络改进的下采样方法为最远点采样方法，包括：
24.从初始点云数据集中随机挑选单个点云ai至采样数据集中，并以单个点云ai为查询点计算获得剩余点云至采样数据集中点云ai的距离；
25.根据剩余点云数据至采样数据集中点云数据ai的距离，再次挑选距离大于其它的点云aj放入采样数据集b中，此时b＝{ai，aj}；
26.根据点云数据集a中剩余的点云确定查询点，继续计算点云数据集a中剩余的每个点云到查询点的距离，选择距离大于其它的点云输入采样数据集b，
27.循环确定查询点，并根据确定的查询点选择采样数据直至采样数据集b中的数据数量等于目标数据m为止；
28.其中，其中确定查询点包括：计算点云数据集a中的任意一剩余点云到采样数据集b中所有点云的距离，在采样数据集b选择距离小于其它的点云作为查询点；
29.a为点云数据集，并在初始状态下为a＝{a1，a2，......，an}，n为初始状态下a中所有的点云数据量；
30.b为采样数据集，并在初始状态下为空；
31.m为设定的目标数据量。
32.在进一步的实施例中，所述图像分支网络使用编码器和解码器架构；
33.编码器设计如下：将残差网络块4结构中的第一个残差结构里的3
×
3卷积层以及跳跃连接的步长由2改为1，并将3
×
3的普通卷积层换成膨胀卷积层，块5/6和块4采用同样的设计，使用不同的膨胀率，获得膨胀卷积层残差网络；
34.根据非零元素上限距离的计算公式对膨胀卷积层残差网络中的所有卷积核的膨胀率进行计算设计，获得膨胀卷积层残差网络各个卷积核的膨胀率的优化值；
35.其中，解码器使用3个转置卷积层进行上采样解码；
36.非零元素上限距离的计算公式为：：
37.mi＝max[m
i 1-2ri，m
i 1-2(m
i 1-ri)，ri]，m2≤k
[0038]
式中，mi表示第i层的非零元素最大距离，且mn＝rn,，ri表示第i个卷积核的膨胀率，k表示卷积核的尺寸单位；其中对于n个卷积核大小为k*k的n个膨胀率[r1,...ri,...,rn]，m2≤k为非零元素上限距离计算公式的约束条件；
[0039]
转置卷积形状换算公式为：
[0040]n′
＝sn k-2p-s
[0041]
式中，n为输入特征图的高或宽，n’为输出特征图高或宽，k为卷积核大小，p为卷积核填充数量，s为卷积步幅。
[0042]
在进一步的实施例中，获取图像数据和点云数据的映射关系的方法为，通过相机成像模型获取图像数据和点云数据的映射关系；
[0043]
其中，相机成像模型的表达式为：
[0044]
z*ii＝k*[r|t]*pi[0045]
式中，k为相机内参数，r为旋转矩阵，t为平移变量，pi是点云数据坐标，ii是图像像素坐标。
[0046]
在进一步的实施例中，所述分割头网络由三个全连接层和dropout函数构成，三个全连接层用于把特征从高维语义空间降维到低维分类空间，dropout函数在第二个全连接层使用用于减少全连接层的冗余特征，防止全连接层输出数据的过拟合，三个全连接层的维度分别为64、32、c，c为变电站设备类别数。
[0047]
在进一步的实施例中，所述损失函数的表达式为：
[0048][0049]
式中，n为样本数，c为类别数量，y
ij
为预测值，为标注值。
[0050]
有益效果：本发明与现有技术相比具有以下优点：
[0051]
(1)采集多种格式数据制作数据集，并引入mix3d进行数据增强，有效地平衡了变电站全局语义信息和局部结构信息，防止过拟合，从而提升模型训练效果；最终使用训练好的网络模型对变电站扫描得到的点云数据进行语义分割，然后将分割结果与模型库里构建好的模型进行匹配，从而自动化的构建出完整的变电站三维模型数据。
[0052]
(2)采用最远点采样，尽可能的覆盖到空间中所有点，保证对样本的均匀采样。
[0053]
(3)引入图像分支网络，通过坐标映射关系对图像和点云进行特征级融合，增强模型的分割准确性。
附图说明
[0054]
图1是本发明所述的点云分割网络训练流程图；
[0055]
图2是本发明所述的点云分割网络结构图；
[0056]
图3是本发明图像分支网络的骨干网络结构图。
具体实施方式
[0057]
为了更充分理解本发明的技术内容，下面结合具体实施例对本发明的技术方案进一步介绍和说明，但不局限于此。
[0058]
本发明提供的变电站设备点云分割方法在randla-net网络的基础上进行改进，替换了编码器中的下采样方法，在原有的特征提取模块上增加了图像分支网络。并且对数据集进行数据增强，提升模型分割性能。
[0059]
步骤1：扫描、拍摄变电站，接收扫描件和拍摄的变电站图像，获取点云数据和图像数据，以及图像数据和点云数据的映射关系；；
[0060]
步骤2：根据获取的点云数据和图像数据制作训练数据集；训练数据集中点云数据带有标注，图像数据不需要标注，本实施例中图像大小为2048*2048；对数据集进行mix3d数据增强；
[0061]
上述数据增强具体方法为：
[0062]
对训练集中的每个样本数据中的点云数据依次采用随机子采样，弹性失真，随机亮度和对比度的增强以及颜色抖动的算法进行数据增强，从使每个样本获得增强后的点云数据；
[0063]
将训练集中具有增强点云数据的所有样本数据，进行两两混合，并对点云数据的标注进行拼接，获得增强后的点云数据。
[0064]
两两混合的方法包括：首先对两个场景减去质心，使每个场景的中心位于坐标原点；为了确保两个场景能够在接下来的阶段相互重叠；沿水平方向随机翻转点云，通过均匀采样(uniform)[-π/64,π/64]沿着垂直轴和另一个轴随机旋转场景；因在混合过程中没有改变场景中点云数据的顺序，直接将标注值取并集并保存用于损失函数的计算参数。
[0065]
步骤3：将增强后的点云数据和图像数据导入点云分割双流网络，获得点云特征和图像颜色纹理特征，其中点云分割双流网络包括：点云分支网络、图像分支网络和分割头网络；
[0066]
；如图2；
[0067]
上述点云分支为替换编码器下采样方法的randla-net网络，使用的下采样方法是fps，具体步骤如下：
[0068]
变电站场景原始点云a＝{a1，a2，......，an}，a中有n个点，采样后的点集为b，初始状态下b为空，从点集a中选择m个点到点集b中。
[0069]
s301：从a中随机挑选一个点ai，到b中，b＝{ai}
[0070]
s302：计算a中剩余的n-1个点到点集b中的点ai的距离，选择距离最大的点aj，放到点集b中，b＝{ai，aj}。
[0071]
s303：点集a中的点到集合b的距离为该点与集合b中所有点距离最小的点的距离。对点集a中剩余点依次计算到b集合的距离，选择距离最大的点到b集合。
[0072]
s304：循环第三步，直到b集合点数等于m
[0073]
图像分支网络设计为：
[0074]
图像分支网络使用编码器和解码器架构；
[0075]
编码器设计如下：将残差网络块4结构中的第一个残差结构里的3
×
3卷积层以及跳跃连接的步长由2改为1，并将3
×
3的普通卷积层换成膨胀卷积层，块5/6和块4采用同样的设计，使用不同的膨胀率，获得膨胀卷积层残差网络；
[0076]
根据非零元素上限距离的计算公式对膨胀卷积层残差网络中的所有卷积核的膨胀率进行计算设计，获得膨胀卷积层残差网络各个卷积核的膨胀率的优化值；
[0077]
其中，解码器使用3个转置卷积层进行上采样解码；
[0078]
非零元素上限距离的计算公式为：：
[0079]
mi＝max[m
i 1-2ri，m
i 1-2(m
i 1-ri)，ri]m2≤k
[0080]
式中，mi表示第i层的非零元素最大距离，且mn＝rn,，ri第i个卷积核膨胀率，k卷积核的尺寸元素，n个卷积核大小为k*k；其中，为了避免膨胀卷积网格效应问题，对于n个卷积核大小为k*k的n个膨胀率[r1,...ri,...,rn]，因此设置约束条件m2≤k。
[0081]
转置卷积形状换算公式为：
[0082]n′
＝sn k-2p-s
[0083]
式中，n为输入特征图的高或宽，n’为输出特征图高或宽，k为卷积核大小，p为卷积核填充，s为卷积步幅。
[0084]
本实施例中，图像分支网络借鉴deeplabv3网络的设计，如图三中块1/2/3是原始resnet网络中的层结构，将残差网络块4结构中的第一个残差结构里的3
×
3卷积层以及跳跃连接的步长由2改为1，并将3
×
3的普通卷积层换成膨胀卷积层，块5/6和块4采用同样的设计，膨胀率为2，4，8。获得膨胀卷积层残差网络。
[0085]
步骤4：训练数据集中的点云数据和图像数据代入相机成像模型计算，获得图像数据和点云数据的映射关系；
[0086]
根据相机成像模型的原理可知上述映射关系，具体表示公式为：
[0087]
z*ii二k*[r|t]*pi[0088]
其中，k为相机内参数，r为旋转矩阵，t为平移变量，pi是点云数据坐标，ii是图像像素坐标。
[0089]
步骤5：根据图像数据和点云数据的映射关系，将点云特征和图像颜色纹理特征进行融合拼接，获得特征向量；
[0090]
本实施例中点云分支解码器输出特征图通道数为8，图像分支输出特征图通道数为14。我们通过上述对应关系对特征图进行拼接，得到维度为32的特征图。
[0091]
步骤6：将特征向量导入分割头网络，输出点云分割结果预测值；
[0092]
分割头网络由三个全连接层和一个dropout函数构成，如图2中三个全连接层与融合层的连接结构；三个全连接层用于把特征从高维语义空间降维到低维分类空间，dropout函数在第二个全连接层使用用于减少全连接层的冗余特征，防止全连接层输出数据的过拟合，三个全连接层的维度分别为64、32、c，c为变电站设备类别数。
[0093]
步骤7：将点云分割结果代入损失函数计算交叉熵损失，并对交叉熵损失采用反向传播推导，获得交叉熵损失梯度；其中损失函数为：
[0094][0095]
式中，n为样本数，y
ij
为预测值，为标注值。
[0096]
步骤8：根据交叉熵损失梯度优化点云分割双流网络中的网络参数；
[0097]
步骤9：基于优化后的点云分割双流网络输入点云数据，获得变电站设备点云的分割结果
[0098]
本发明采集多种格式数据制作数据集，并引入mix3d进行数据增强，有效地平衡了变电站全局语义信息和局部结构信息，防止过拟合，从而提升模型训练效果；采用最远点采样，尽可能的覆盖到空间中所有点，保证对样本的均匀采样；引入图像分支网络，通过坐标映射关系对图像和点云进行特征级融合，增强模型的分割准确性；最终使用训练好的网络模型对变电站扫描得到的点云数据进行语义分割，然后将分割结果与模型库里构建好的模型进行匹配，从而自动化的构建出完整的变电站三维模型数据。
[0099]
本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0100]
本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0101]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0102]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0103]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0104]
以上所述仅是本发明的优选实施方式，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。