基于深度学习的电力机器人目标检测方法及装置与流程

1.本发明属于电力机器人目标检测技术领域，特别是一种识别精度高、鲁棒性强的基于深度学习的目标检测方法及装置。


背景技术：

2.随着电力自动化和智能化的发展，电力机器人的行业渗透率逐年递增。机器人可以替代危险性较高、人力短缺的应用场景。但由于室外场景比较复杂，包括光线强弱的变化、各种铁制或铝制金属附件(金具)的相互干扰等，导致机器人容易丢失目标，通用性较差。因此解决机器人的目标检测问题具有重要现实意义。
3.目前，目标检测有两种解决方案，一是基于传统的特征提取方法，另一个是基于深度学习的感知方法。其中基于传统的特征提取方法可充分利用人为的先验信息，例如：类圆柱体的对称性，刚体的几何特性等。但是也有不少缺点：首先，由于先验信息的局限性，导致应用场景单一。例如：目标物大小和颜色的改变会导致特征提取出现偏差；对于遮挡、折叠等场景，识别精准度欠缺，鲁棒性较差；对新的目标物需要重新设计特征，泛化性较差。
4.为解决以上问题，基于深度学习的目标物位姿检测方案路线被提出。相比于基于传统的特征提取方法，深度学习的最大优势在于特征提取环节不需要人为设计特征，摆脱对个人经验的依赖。加上rgbd传感器的精度提升，通过监督学习方式，神经网络模型可自行获得目标物体的位置和姿态。
5.但是深度学习模型需要大量带标签的3d数据集，无论是数据的获取还是标注都需要大量的人力投入。另外由于对点云的强依赖，一旦点云残缺，会导致精度下降直至目标漏检。


技术实现要素：

6.本发明的目的在于提供一种基于深度学习的电力机器人目标检测方法，识别精度高、鲁棒性强。
7.本发明的另一目的在于提供一种识别精度高、鲁棒性强的基于深度学习的电力机器人目标检测装置。
8.实现本发明目的的技术解决方案为：
9.一种基于深度学习的电力机器人目标检测方法，包括如下步骤：
10.(10)数据集分割标注：对每张可见光图像的抓取物进行分割标注，得到标注图像；
11.(20)分割模型训练：根据所述标注图像，对改进yolact实例分割模型进行训练，得到训练好的成熟分割模型；
12.(30)目标图预测：利用所述成熟分割模型预测目标图，对目标进行二维分割，得到目标2d掩码图，提取目标2d中轴线，，提取目标3d兴趣区点云；
13.(40)目标三维中轴线获取：根据目标3d兴趣区点云，估计目标中轴线，估计目标半径，根据目标半径对目标估计中轴线进行修改，得到目标中轴线。
14.实现本发明另一目的的技术解决方案为：
15.一种基于深度学习的电力机器人目标检测装置，包括：
16.数据集分割标注模块，用于对每张可见光图像的抓取物进行分割标注。，得到标注图像；
17.分割模型训练模块，用于根据所述标注图像，对改进yolact实例分割模型进行训练，得到训练好的成熟分割模型；
18.目标图预测模块，用于利用所述成熟分割模型预测目标图，对目标进行二维分割，得到目标2d掩码图，提取目标2d中轴线，，提取目标3d兴趣区点云；
19.目标三维中轴线获取模块，用于根据目标3d兴趣区点云，估计目标中轴线，估计目标半径，根据目标半径对目标估计中轴线进行修改，得到目标中轴线。
20.本发明与现有技术相比，其显著优点为：
21.1、目标识别精度高：本发明充分融合了传统特征提取和深度学习的目标检测方法，既具有深度学习的强泛化性，又能充分利用传统特征提取方法的先验信息，从而实现在强光、遮挡、逆光等场景下对电力器件的高精度识别，特别是如避雷器、熔断器、螺母等呈圆柱状的抓取物；
22.2、鲁棒性强：本发明通过引入注意力机制和多尺度融合，融合图片中全局和局部信息，提升模型的整体性能，提升ai模型的整体性能,具有较强的泛化性和稳定性，可应对复杂的室外场景，具有强鲁棒性；
23.3、工程价值高：本发明采用轻量化的图像分割模型，并成功运行在cpu，减少对gpu 的依赖和运行成本，工程价值较高。下面结合附图和具体实施方式对本发明作进一步的详细描述。
附图说明
24.图1是本发明基于深度学习的电力机器人目标检测方法的主流程图。
25.图2是实例分割模型的结构图。
26.图3是空间注意力机制的原理图。
27.图4是通道注意力机制的原理图。
28.图5是图1中目标三维中轴线获取步骤的流程图。
29.图6是抓取物宽度估计原理图。
具体实施方式
30.如图1所示，本发明基于深度学习的电力机器人目标检测方法，包括如下步骤：
31.(10)数据集分割标注：对每张可见光图像的抓取物进行分割标注。，得到标注图像。
32.电力器件中常见抓取物如避雷器、熔断器、螺母等呈圆柱状的物体。
33.标注有很多种，类似：类别标注、框标注和分割标注，各自标注方法都不相同。
34.标注过程中，分割是要描出抓取物的外轮廓。标注完成后就可以作为分割模型的所需数据。
35.本领域通常采用labelme软件进行数据集分割标注。
36.labelme是一个常用的图形界面的图像标注软件，是分割数据的常用标注工具。具体操作：
37.a)首先安装anaconda软件.
38.b)在anaconda命令上安装labelme软件。
39.c)启动labelme软件，点击open dir打开图片路径。
40.d)点击create polygons按钮，手动对目标对象进行描点，完成一个闭环后点击保存，即完成一张标注好的图像。
41.(20)分割模型训练：根据所述标注图像，对改进yolact实例分割模型进行训练，得到训练好的成熟分割模型。
42.把步骤(10)中标注好的图像放入分割模型中训练，保存训练好的模型。
43.本方法所使用实例分割模型是基于yolact实例分割模型的改进模型，具体结构如图2所示。
44.在此模型把复杂的实例分割任务分解为两个并行的子任务。第一个分支充分利用擅长空间相干的卷积层protonet来产生一系列的原型掩码；第二个分支是给目标检测分支添加一个输出，利用擅长语义向量的全连接层，来预测各个锚框anchor的位置、类别置信度和掩码系数。
45.本方法结合实际需求，减少误检，漏检和分割等的损失，进行了结构创新：本算法在主干网络(backbone)与特征提取网络(fpn)之间，引入注意力网络(danet，如图 2所示)，其融合了空间注意力机制(pam，如图3所示)和通道注意力机制(cam，如图 4所示)。
46.空间域注意力机制(position attention module)使用自注意力机制捕获特征图在任意两个位置之间的空间依赖关系，通过加权求和对所有位置的特征进行聚合更新，权重是由对应两个位置的特征相似性决定的。
[0047][0048]sji
度量第i个位置对第j个位置的影响，也就是第i个位置和第j个位置之间的关联程度/相关性，越大越相似。
[0049][0050]
α表示尺度系数，初始化为0，并逐渐地学习分配到更大的权重。每个位置的结果特征e，是所有位置和原始位置的加权和。因此它具有全局上下文视图，并能根据空间注意力图有选择地聚合上下文。
[0051]
通道域注意力机制(channel attention module),每个高维特征的通道图都可以看作是一个特定于类的响应，通过挖掘通道图之间的相互依赖关系，可以突出相互依赖的特征图，提高特定语义的表征能力。因此，使用通道自注意力机制来捕获任意两个通道图之间的通道依赖关系，并使用所有通道图的加权，和更新每个通道图，如公式(5) 所示。
[0052][0053]
xji度量第i个通道对第j个通道的影响。β表示尺度系数，初始化为0，并逐渐地学
习分配到更大的权重。每个通道的结果特征e，是所有通道特征和原始特征的加权和。实现了对特征图之间的长程语义依赖关系建模，有助于提高特征的辨别性。
[0054]
因此，所述改进yolact实例分割模型为：
[0055]
本方法创新型的融合空间注意力机制和通道注意力机制，进行多尺度上下文的融合，捕获更丰富的全局信息，提升了网络中fpn(编码器-解码器)模块融合低维和高维的语义特征的能力，提升了像素级特征表示的辨别能力，最终提升模型性能，具有高精度、强鲁棒性和高可靠性。
[0056]
完成模型的改进之后，进行模型的具体训练，操作如下：
[0057]
a)首先根据模型所需，在anaconda上配置运行环境。
[0058]
b)把数据集根据7：1：2的原则，划分为训练集，验证集和测试集三部分。在模型conf.py文件中设置好三者的读取路径。
[0059]
c)再根据gpu的显存，batch_size设置为16，learning rate学习率一般设置为step步进函数或余弦函数cos(wx b)来控制学习率，
[0060]
d)初始学习率一般为0.001。然后运行模型文件，开始训练，直至完成，得到训练好的成熟分割模型，保存所述成熟分割模型。
[0061]
(30)目标图预测：利用所述成熟分割模型预测目标图，对目标进行二维分割，得到目标2d掩码图，提取目标2d中轴线，，提取目标3d兴趣区点云。
[0062]
用步骤(20)中的分割模型去预测目标图，输出抓取物，如避雷器的2d掩码图。
[0063]
具体操作如下：
[0064]
深度图3d兴趣区提取，利用上一步提取的2d中轴线做引导，设置一定的半径5mm 在深度图上截取兴趣区，并将该兴趣区的点云转换到3d空间。该兴趣区位于目标中心，一般来说数据比较稳定，噪点较少
[0065]
(40)目标三维中轴线获取：根据目标3d兴趣区点云，估计目标中轴线，估计目标半径，根据目标半径对目标估计中轴线进行修改，得到目标中轴线。
[0066]
如图5所示，所述(40)目标三维中轴线获取步骤包括：
[0067]
(41)目标中轴线估计：对提取的兴趣区点云，利用三维pca进行目标中轴线方向和中心点的估计，此时的中心点位于目标表面；
[0068]
(42)目标半径估计：利用rgb图像计算避雷器的直径，利用中心点表面的点云估算尺度，精确计算目标的半径；具体操作如下：
[0069]
a)获取表面点云
[0070]
b)计算平均深度
[0071]
c)计算抓取物，如避雷器图像目标宽度
[0072]
d)按照图6所示抓取物宽度估计原理，计算抓取物，如避雷器物理宽度 x＝x*z/f＝x*k
[0073]
e)根据宽度估计半径
[0074]
(43)目标中轴线修正：利用上一步计算出来的目标半径对估算出来的3d中轴线进行深度修正，平移至目标中心，从而完成目标中轴线的精确提取。
[0075]
本发明基于深度学习的电力机器人目标检测装置，包括：
[0076]
数据集分割标注模块，用于对每张可见光图像的抓取物进行分割标注。，得到标注
图像；
[0077]
分割模型训练模块，用于根据所述标注图像，对改进yolact实例分割模型进行训练，得到训练好的成熟分割模型；
[0078]
目标图预测模块，用于利用所述成熟分割模型预测目标图，对目标进行二维分割，得到目标2d掩码图，提取目标2d中轴线，，提取目标3d兴趣区点云；
[0079]
目标三维中轴线获取模块，用于根据目标3d兴趣区点云，估计目标中轴线，估计目标半径，根据目标半径对目标估计中轴线进行修改，得到目标中轴线。
[0080]
所述目标三维中轴线获取模块包括：
[0081]
目标中轴线估计单元，用于对提取的兴趣区点云，利用三维pca进行目标中轴线方向和中心点估计，此时的中心点位于目标表面；
[0082]
目标半径估计单元，用于利用rgb图像计算避雷器的直径，利用中心点表面的点云估算尺度，精确计算目标半径；
[0083]
目标中轴线修正单元，用于利用所述目标半径对估算出来的3d中轴线进行深度修正，平移至目标中心，从而完成目标中轴线的精确提取。
[0084]
本发明充分结合深度学习和传统算法，对rgb图和深度图等不同模态信息融合，精确提取避雷器的几何3d中轴线。
[0085]
具体来讲，根据电力机器人抓取避雷器等设备的需求，算法先利用深度学习模型的对避雷器特征提取，并获得避雷器的2d目标分割图，再利用点云可精确测量避雷器3d 表面形态和位置的特性，结合2d分割图和点云图提取点云兴趣区，最后精确估计避雷器的主轴位置和方向，算法兼具深度学习的强鲁棒性和传统算法的高精度。