一种支柱式绝缘子定位方法及装置与流程

1.本技术涉及图像处理技术领域，尤其涉及一种支柱式绝缘子定位方法及装置。


背景技术：

2.绝缘子作为变电站中广泛使用的绝缘设备，其性能直接关系到电网的安全稳定运行。由于绝缘子长期处于露天环境，如果不及时检测与清洗，绝缘子表面污秽堆积会发生闪络事故，对电力系统造成危害，将给居民生活和企业生产带来严重影响。因此，有必要研制一种绝缘子清洗机器人用于替代人工清洗作业。而实现清洗机器人高效作业任务的关键在于对绝缘子目标的识别与定位。
3.绝缘子清洗机器人对绝缘子的识别定位是机器人完成清洗任务的首要前提，传统的机器人绝缘子识别定位方法主要以人工摄像头传输识别为主，需要工作人员对相机视频流中绝缘子目标进行观察，依照经验对各帧图像进行观察评估。另外，对于绝缘子的识别检测还有图像特征分析法，需要人为设定某些目标特征，如设定绝缘子的纹理轮廓、区域色差等特征，再利用图像处理技术对图像中此类特征进行对比分析。当前，针对机器人的绝缘子识别定位方法，部分研究人员利用3d激光雷达，通过发射接收激光束对绝缘子轮廓进行扫描得到的点云信息，进一步在计算机中通过复杂的点云处理算法对绝缘子的三维信息进行处理。
4.但是，多个相机观测角度不同会导致观测绝缘子时图像特征区别较大，从而造成误判的情况，影响判断的准确性。而图像特征分析法又太过繁琐，且针对简单背景的目标检测较为适用，无法适用复杂环境的检测。3d激光雷达设备昂贵、其扫描距离有限，并且对处理3d信息的计算机要求较高，不利于推广使用。


技术实现要素：

5.本技术提供了一种支柱式绝缘子定位方法及装置，用于解决现有技术要么繁琐，要么限制条件较多，导致实际应用受限，且结果缺乏准确性的技术问题。
6.有鉴于此，本技术第一方面提供了一种支柱式绝缘子定位方法，包括：
7.将预处理后的支柱式绝缘子图像输入yolov4模型中进行目标检测操作，得到目标边界框坐标；
8.根据所述目标边界框坐标、深度摄像头内参和彩色摄像头内参计算出中心点三维坐标；
9.根据绝缘子相机坐标信息计算预置目标坐标系中绝缘子伞裙边缘点的边缘点三维坐标；
10.通过所述中心点三维坐标和所述边缘点三维坐标对绝缘子的空间姿态进行定位。
11.可选的，所述将预处理后的支柱式绝缘子图像输入yolov4模型中进行目标检测操作，得到目标边界框坐标，之前还包括：
12.采用图像增强技术对获取到的初始支柱式绝缘子图像进行增强操作，得到预设支
柱式绝缘子图像，所述图像增强技术包括旋转、缩放、亮度调整。
13.可选的，所述将预处理后的支柱式绝缘子图像输入yolov4模型中进行目标检测操作，得到目标边界框坐标，之前还包括：
14.采用labelimg图像标注工具对所述预设支柱式绝缘子图像进行边界标注，得到标注绝缘子数据集；
15.采用所述标注绝缘子数据集对初始yolov4模型进行目标检测训练，得到所述yolov4模型。
16.可选的，所述根据所述目标边界框坐标、深度摄像头内参和彩色摄像头内参计算出中心点三维坐标，包括：
17.根据所述目标边界框坐标计算对应的中心点像素坐标；
18.基于深度摄像头内参和彩色摄像头内参确定像素坐标与深度坐标之间的转换关系；
19.通过所述中心点像素坐标和所述转换关系计算出中心点三维坐标。
20.可选的，所述根据绝缘子相机坐标信息计算预置目标坐标系中绝缘子伞裙边缘点的边缘点三维坐标，包括：
21.获取不同绝缘子伞裙边缘点在相机坐标系下的绝缘子相机坐标信息；
22.根据所述绝缘子相机坐标信息计算预置目标坐标系中不同方向上的单位向量；
23.基于所述绝缘子相机坐标信息和不同方向上的所述单位向量计算绝缘子伞裙边缘点的边缘点三维坐标。
24.本技术第二方面提供了一种支柱式绝缘子定位装置，包括：
25.目标边界检测模块，用于将预处理后的支柱式绝缘子图像输入yolov4模型中进行目标检测操作，得到目标边界框坐标；
26.中心坐标计算模块，用于根据所述目标边界框坐标、深度摄像头内参和彩色摄像头内参计算出中心点三维坐标；
27.边缘点坐标计算模块，用于根据绝缘子相机坐标信息计算预置目标坐标系中绝缘子伞裙边缘点的边缘点三维坐标；
28.空间姿态定位模块，用于通过所述中心点三维坐标和所述边缘点三维坐标对绝缘子的空间姿态进行定位。
29.可选的，还包括：
30.预处理模块，用于采用图像增强技术对获取到的初始支柱式绝缘子图像进行增强操作，得到预设支柱式绝缘子图像，所述图像增强技术包括旋转、缩放、亮度调整。
31.可选的，还包括：
32.标注模块，用于采用labelimg图像标注工具对所述预设支柱式绝缘子图像进行边界标注，得到标注绝缘子数据集；
33.预训练模块，用于采用所述标注绝缘子数据集对初始yolov4模型进行目标检测训练，得到所述yolov4模型。
34.可选的，所述中心坐标计算模块，具体用于：
35.根据所述目标边界框坐标计算对应的中心点像素坐标；
36.基于深度摄像头内参和彩色摄像头内参确定像素坐标与深度坐标之间的转换关
系；
37.通过所述中心点像素坐标和所述转换关系计算出中心点三维坐标。
38.可选的，所述边缘点坐标计算模块，具体用于：
39.获取不同绝缘子伞裙边缘点在相机坐标系下的绝缘子相机坐标信息；
40.根据所述绝缘子相机坐标信息计算预置目标坐标系中不同方向上的单位向量；
41.基于所述绝缘子相机坐标信息和不同方向上的所述单位向量计算绝缘子伞裙边缘点的边缘点三维坐标。
42.从以上技术方案可以看出，本技术实施例具有以下优点：
43.本技术中，提供了一种支柱式绝缘子定位方法，包括：将预处理后的支柱式绝缘子图像输入yolov4模型中进行目标检测操作，得到目标边界框坐标；根据目标边界框坐标、深度摄像头内参和彩色摄像头内参计算出中心点三维坐标；根据绝缘子相机坐标信息计算预置目标坐标系中绝缘子伞裙边缘点的边缘点三维坐标；通过中心点三维坐标和边缘点三维坐标对绝缘子的空间姿态进行定位。
44.本技术提供的支柱式绝缘子定位方法，通过yolov4模型对支柱式绝缘子图像中的目标区域进行自适应检测操作，对图像质量和角度等方面的要求较低，且不需要人为选定图像特征，一定程度上降低的操作复杂性；基于目标边界框再计算图像内部的绝缘子的三维坐标，通过不同点的三维坐标进行空间姿态定位，能够保障定位的准确性；除了计算指标的限定，对于外界环境和目标定位图像的限制较少，定位结果准确可靠。因此，本技术能够解决现有技术要么繁琐，要么限制条件较多，导致实际应用受限，且结果缺乏准确性的技术问题。
附图说明
45.图1为本技术实施例提供的一种支柱式绝缘子定位方法的流程示意图；
46.图2为本技术实施例提供的一种支柱式绝缘子定位装置的结构示意图；
47.图3为本技术实施例提供的yolov4模型检测的目标边界框示意图；
48.图4为本技术实施例提供的深度相机成像坐标系示意图；
49.图5为本技术实施例提供的深度坐标系与像素坐标系之间的转换关系；
50.图6为本技术实施例提供的目标物体深度与距离平面示意图；
51.图7为本技术实施例提供的目标坐标系中绝缘子结合结构示意图。
具体实施方式
52.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
53.为了便于理解，请参阅图1，本技术提供的一种支柱式绝缘子定位方法的实施例，包括：
54.步骤101、将预处理后的支柱式绝缘子图像输入yolov4模型中进行目标检测操作，得到目标边界框坐标。
55.预处理支柱式绝缘子图像可以是对图像进行基本的降噪，均衡化处理，也可以一些其他的操作，具体可以根据实际情况选择执行，目的都是为了提升支柱式绝缘子图像的质量。
56.yolov4模型是已经采用绝缘子图像训练好的目标边界检测模型；可以完成端到端的绝缘子检测任务，不需要操作人员作特征设置，或者其他辅助工作。目标边界框坐标是指目标区域的矩形边界框的四个角点的二维像素坐标。yolov4模型的目标检测依据是预测边界框与标定框之间的重叠度，获取重叠度最大的预测边界框作为目标边界框，进而计算其具体的角点坐标，具体目标边界框请参阅图3。
57.进一步地，步骤101，之前还包括：
58.采用图像增强技术对获取到的初始支柱式绝缘子图像进行增强操作，得到预设支柱式绝缘子图像，图像增强技术包括旋转、缩放、亮度调整。
59.预设支柱式绝缘子图像是为了训练yolov4模型的，为了增加样本多样性，更有利于模型优化，可以在不同情景下对初始支柱式绝缘子图像进行增强操作，例如不同角度，不同光照强度等。而增强技术除了旋转、缩放和亮度调整之外，还可以采用一些其他技术手段，具体根据实际情况选择，在此不作限定。
60.具体的，旋转样本可以是将样本上下进行5
°
到10
°
的旋转；而缩放可以是将样本的宽和高等比缩小0.2倍；亮度调整可以直接采样类似于g(x)=a
×
f(x) b的公式实现。
61.进一步地，步骤101，之前还包括：
62.采用labelimg图像标注工具对预设支柱式绝缘子图像进行边界标注，得到标注绝缘子数据集；
63.采用标注绝缘子数据集对初始yolov4模型进行目标检测训练，得到yolov4模型。
64.标注操作是对预设支柱式绝缘子图像中的支柱绝缘子与连接法兰进行边界标注，得到标注后的绝缘子图像数据集。训练的初始yolov4模型中通过特征提取网络cspdarknet53进行特征提取，通过提取的特征图实现目标边界检测。
65.训练过程中需要设置一些参数，例如学习率可以设置为0.001，批量样本数设定为32，经过800个epoch后的loss值趋于稳定，则停止训练。
66.训练好的yolov4模型的具体支柱式绝缘子图像的检测过程是：获取特征提取网络提取的特征图，将输入图像划分为s
×
s个网格，通过目标中心所在的网格完成目标检测；每个网格从预测的多个边界框中选出与标定框交并比(iou)最大的框，用于目标预测；然后，iou是候选框c与原标记框g的重叠度，其计算公式为：
[0067][0068]
其中，area(c)表示候选框的区域面积，设y1，y2分别对应候选框上边框y轴坐标与下边框y轴的坐标，设x1，x2分别对应候选框右边框x轴坐标与左边框x轴坐标，其计算方法为area(c)=(y1
‑
y2)
×
(x1
‑
x2)。同理area(g)表示原标记框的区域面积。
[0069]
网络模型的输出为预测框的4个边界框坐标信息(t
x
,t
y
,t
w
,t
h
)和置信度(confidence)得分，置信度表达式为：其中pr(object)代表预测框中含有目标置信度，代表位置预测的准确度，得到输出后通过非极大值抑
制筛选出最后的目标预测框，即目标边界框坐标。
[0070]
步骤102、根据目标边界框坐标、深度摄像头内参和彩色摄像头内参计算出中心点三维坐标。
[0071]
进一步地，步骤102，包括：
[0072]
根据目标边界框坐标计算对应的中心点像素坐标；
[0073]
基于深度摄像头内参和彩色摄像头内参确定像素坐标与深度坐标之间的转换关系；
[0074]
通过中心点像素坐标和转换关系计算出中心点三维坐标。
[0075]
请参阅图3，预测框中心点像素坐标为(b
x
,b
y
)，b
w
、b
h
分别对应预测框的宽度和高度；c
x
、c
y
为预测框所在网格左上角的坐标；p
w
、p
h
为预设的锚框等比映射到输出大小的宽和高。存在转换公式：b
x
＝σ(t
x
) c
x
，b
y
＝σ(t
y
) c
y
，
[0076]
首先深度相机的成像坐标系请参阅图4，其中每个点的坐标为p(x,y)，还包括深度信息z
w
。设某点在深度摄像头和彩色摄像头中的坐标分别为x
d
与x
r
，对应像平面的投影坐标为xd和x
r
，存在x
d
=k
d
·
x
d
与x
r
=k
r
·
x
r
转换关系，包含：深度摄像头的内参k
d
，彩色摄像头的内参k
r
，
[0077]
平移矩阵t
r
、t
d
，旋转矩阵s
r
、s
d
，存在转换关系：
[0078]
x
r
=s
·
x
d
t
[0079]
s=s
r
·
s
d
‑1[0080]
t=t
r
‑
s
·
t
d
[0081]
具体的转换关系可以采用几何图形描述，请参阅图5。利用上述关系可以将深度相机拍摄的深度图像映射到rgb图像，对应的中心点以及其他点都可以得到像素坐标系中的二维像素坐标(pixel[0],pixel[1])；具体请参阅图6，同时可以得到该点的深度z，若当前点距离深度相机中心为s，那么深度与距离之间的关系可以表达为其中，x、y为像素坐标系中，当前点深度投影对应的横纵坐标。
[0082]
以上述方法可以同样计算得到中心点三维坐标(x
c
,y
c
,z)，且中心点三维坐标满足公式：
[0083][0084][0085]
其中，f为相机焦距，ppx、ppy分别为相机中心的像素横纵坐标，object_xy为中心点在相机的x
c
和y
c
坐标。
[0086]
步骤103、根据绝缘子相机坐标信息计算预置目标坐标系中绝缘子伞裙边缘点的边缘点三维坐标。
[0087]
进一步地，步骤103，包括：
[0088]
获取不同绝缘子伞裙边缘点在相机坐标系下的绝缘子相机坐标信息；
[0089]
根据绝缘子相机坐标信息计算预置目标坐标系中不同方向上的单位向量；
[0090]
基于绝缘子相机坐标信息和不同方向上的单位向量计算绝缘子伞裙边缘点的边
缘点三维坐标。
[0091]
需要说明的是，四个绝缘子伞裙边缘点在相机坐标系下的坐标表示为
rgb
p
a
、
rgb
p
b
、
rgb
p
c
、
rgb
p
d
。
[0092]
基于预置目标坐标系的单位向量，请参阅图7，其中的绝缘子存在绘制的几何边ac、cd、ab、bd等。可以基于此绝缘子几何关系计算预置目标坐标系中不同方向上的单位向量；且有：
[0093][0094]
x轴方向单位向量：
[0095][0096]
z轴方向的单位向量为与的叉乘：
[0097][0098]
y轴方向的单位向量为与的叉乘，满足：
[0099][0100]
那么，边缘点三维坐标的每个点坐标计算方式为：
[0101][0102][0103][0104]
因此，可以得到四个伞裙边缘点的边缘点三维坐标(
obj
x
d
,
obj
y
d
,
obj
z
d
)。
[0105]
步骤104、通过中心点三维坐标和边缘点三维坐标对绝缘子的空间姿态进行定位。
[0106]
四个边缘点三维坐标和一个中心点三维坐标就可以准确的对绝缘子的空间姿态进行定位，且定位满足如下关系：
[0107][0108]
[u,s,v]＝svd(h)
[0109][0110]
svd奇异值分解是一种正交矩阵分解，以达到去除噪声和冗余信息，优化数据的目的，通过svd奇异值分解可进一步地求出旋转矩阵实现对绝缘子空间中姿态定位。
[0111]
其中，u为m*m方阵，u的正交向量为左奇异向量，s为m*n对角矩阵，除对角线外其它元素为零，对角线上元素为奇异值。v为n*n的矩阵，v的正交向量为右奇异值向量。
[0112]
本技术实施例提供的支柱式绝缘子定位方法，通过yolov4模型对支柱式绝缘子图像中的目标区域进行自适应检测操作，对图像质量和角度等方面的要求较低，且不需要人为选定图像特征，一定程度上降低的操作复杂性；基于目标边界框再计算图像内部的绝缘子的三维坐标，通过不同点的三维坐标进行空间姿态定位，能够保障定位的准确性；除了计
算指标的限定，对于外界环境和目标定位图像的限制较少，定位结果准确可靠。因此，本技术实施例能够解决现有技术要么繁琐，要么限制条件较多，导致实际应用受限，且结果缺乏准确性的技术问题。
[0113]
为了便于理解，请参阅图2，本技术提供了一种支柱式绝缘子定位装置的实施例，包括：
[0114]
目标边界检测模块201，用于将预处理后的支柱式绝缘子图像输入yolov4模型中进行目标检测操作，得到目标边界框坐标；
[0115]
中心坐标计算模块202，用于根据目标边界框坐标、深度摄像头内参和彩色摄像头内参计算出中心点三维坐标；
[0116]
边缘点坐标计算模块203，用于根据绝缘子相机坐标信息计算预置目标坐标系中绝缘子伞裙边缘点的边缘点三维坐标；
[0117]
空间姿态定位模块204，用于通过中心点三维坐标和边缘点三维坐标对绝缘子的空间姿态进行定位。
[0118]
进一步地，还包括：
[0119]
预处理模块205，用于采用图像增强技术对获取到的初始支柱式绝缘子图像进行增强操作，得到预设支柱式绝缘子图像，图像增强技术包括旋转、缩放、亮度调整。
[0120]
进一步地，还包括：
[0121]
标注模块206，用于采用labelimg图像标注工具对预设支柱式绝缘子图像进行边界标注，得到标注绝缘子数据集；
[0122]
预训练模块207，用于采用标注绝缘子数据集对初始yolov4模型进行目标检测训练，得到yolov4模型。
[0123]
进一步地，中心坐标计算模块202，具体用于：
[0124]
根据目标边界框坐标计算对应的中心点像素坐标；
[0125]
基于深度摄像头内参和彩色摄像头内参确定像素坐标与深度坐标之间的转换关系；
[0126]
通过中心点像素坐标和转换关系计算出中心点三维坐标。
[0127]
进一步地，边缘点坐标计算模块203，具体用于：
[0128]
获取不同绝缘子伞裙边缘点在相机坐标系下的绝缘子相机坐标信息；
[0129]
根据绝缘子相机坐标信息计算预置目标坐标系中不同方向上的单位向量；
[0130]
基于绝缘子相机坐标信息和不同方向上的单位向量计算绝缘子伞裙边缘点的边缘点三维坐标。
[0131]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0132]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个
网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0133]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0134]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(英文全称：read
‑
only memory，英文缩写：rom)、随机存取存储器(英文全称：random access memory，英文缩写：ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0135]
以上所述，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。