一种基于深度学习的圆检测方法及其应用与流程

1.本发明图像处理技术领域，尤其涉及一种基于深度学习的圆检测方法及其应用。


背景技术：

2.为了实现智能操作机器人对变电站kyn28型高压开关柜进行接地刀闸、手车作业，机器人需要搭载自主设计的移动平台作为执行机构，其中，执行机构配置了圆形伸缩杆作为接触件，在具体操作时需要伸缩杆对准接地刀闸或手车的圆形开关，因此需要测算目标圆心与伸缩杆圆心的距离。
3.以往圆检测方法多是基于二值图像进行处理，该类方法主要面临的问题是光照的影响，当光照变化很大时，使用二值图的方式进行检测的算法性能会严重降低。目前，基于深度学习的检测方法也有被使用，如采用实例分割网络提取整个圆区域等，但是当训练样本较少的时候，其模型抗光照干扰性、实例分割的精度和稳定性也会出现一定的下滑。
4.而现有技术中，分割模型中多是将整个圆进行分割，对分割后的圆进行圆弧检测加拟合或直接对分割区域进行霍夫圆检测等方式，但是因为像素变化区域广，现有技术需求的数据量巨大。


技术实现要素：

5.发明目的：本发明针对上述不足，提出了一种基于深度学习的圆检测方法及其应用，设计了新的算法流程以解决光照、数据量少、精度低等问题的影响。
6.技术方案：
7.一种基于深度学习的圆检测方法，包括步骤：
8.(1)对原始图像上的圆轮廓进行标注作为图像样品；
9.(2)构建深度学习模型并采用步骤(1)得到的图像样品进行训练得到图像分割模型；
10.(3)采用步骤(2)得到的图像分割模型对待检测图像进行分割，得到相应的圆轮廓，并据此对其进行圆拟合得到最终的圆。
11.所述步骤(1)中，对原始图像上的圆轮廓进行标注具体为：采用连续线段对原始图像的圆轮廓进行标注得到图像样品，线宽设置为7pixel。
12.所述步骤(2)的深度学习模型采用resnnet50 rpn fcn网络结构。
13.将所述图像样品固定为640*640pixel，在对图像分割模型进行训练时使用经过步骤(1)标注得到的2000个目标框参与计算，对图像分割模型进行测试时使用经过步骤(1)标注得到的200个目标框进行计算。
14.在所述步骤(3)中，在得到相应的圆轮廓后还包括数据压缩步骤：
15.在分割后的图像中像素只有0、1两个值，1表示图像分割的圆轮廓区域，0表示背景区域；则在图像上的行列上分别采用间隔采样的方式进行数据压缩，即将指定行列上像素值为1的像素的值置为0。
16.所述步骤(3)中圆拟合采用最小二乘法。
17.所述步骤(3)中最小二乘法进行圆拟合具体为：
18.圆心公式如下：
19.(x-xc)2 (y-yc)2＝r220.其中，(x,y)为圆轮廓上一点，(xc,yc)表示圆心坐标；
21.则转化为极值函数得到：
22.f＝∑((x
i-xc)2 (y
i-yc)
2-r2)223.则：
[0024][0025][0026][0027][0028][0029][0030]
其中，表示圆轮廓上所有点x轴坐标的平均值，表示圆轮廓上所有点y轴坐标的平均值；xi表示圆轮廓第i个点的x轴坐标，yi表示圆轮廓第i个点的y轴坐标；n表示圆轮廓上数据点个数；ui表示圆轮廓第i个点的x轴坐标与圆轮廓上所有点x轴坐标的平均值之间的差值，vi表示圆轮廓第i个点的y轴坐标与圆轮廓上所有点y轴坐标的平均值之间的差值；uc表示圆心的x轴坐标与圆轮廓上所有点x轴坐标的平均值之间的差值，vc表示圆心的y轴坐标与圆轮廓上所有点y轴坐标的平均值之间的差值；
[0031]
则：
[0032]
f＝∑((u
i-uc)2 (v
i-vc)
2-r2)2[0033][0034][0035][0036]
通过上述极值函数即可求取得到对圆轮廓圆拟合的圆心坐标(xc,yc)和半径r。
[0037]
在所述步骤(3)中，每次随机选取圆轮廓上点的数量的0.1倍进行最小二乘法进行圆拟合，并重复k次，统计其中拟合得到的所有圆中重合的个数，选取其中重合个数最多的圆作为最终检测得到的圆。
[0038]
一种前述圆检测方法在接地刀闸操作中的应用。
[0039]
本发明相对于现有技术，具有如下有益效果：
[0040]
1、本发明结合深度学习能够更好的提取需要的特征，基于待提取的特征，设计了圆拟合的算法流程，整个算法圆检测的精度高且性能稳定，而且光照对待提取特征的影响很小。
[0041]
2、本发明只对圆弧区域进行分割，像素变化区域窄，因此只需要少量数据即可，这也是解决工业数据获取难的一种方式。
[0042]
3、现有技术存在对模型分割后的图像进行随机圆拟合，用以分割整圆，而本发明是分割圆弧，两种方法分割方式不同，基于整圆分割可以对圆区域采用弧段检测再拟合，或对圆区域进行霍夫圆查找等方式。而本发明是基于圆弧分割，结合最小二乘拟合和ransac算法筛选，能有效避免拟合误差，在ransac算法赛选过程中，其筛选的判断条件是寻找拟合圆最大覆盖区域，以提高拟合圆的精度。
附图说明
[0043]
图1为本发明的流程图；
[0044]
图2为接地刀闸和手车目标图像；
[0045]
图3为设计的规则结合深度学习获取的特征图；
[0046]
图4为基于设计的算法流程获取圆目标。
具体实施方式
[0047]
下面结合附图和具体实施例，进一步阐明本发明。
[0048]
图1为本发明的流程图，如图1所示，本发明基于深度学习的圆检测方法包括如下步骤：
[0049]
(1)、设计特征标注规则：
[0050]
现有模型分割的方案是提取圆的整个区域，本文舍弃这种提取方式，改为只提取圆轮廓，该方式标注获取的数据特征较为集中，需要学习的特征少，能够更好的适用数据量少的模型训练；在标注时，采用连续线段对采集的原始图像的圆轮廓进行标注得到图像样品，线宽设置为7pixel；
[0051]
(2)、构建深度学习模型，并采用步骤(1)得到图像样品进行训练得到图像分割模型；
[0052]
本发明的深度学习模型采用resnnet50 rpn fcn网络结构；其中，首先通过resnet50对图像进行提取得到特征图，采用rpn网络算法得到图像感兴趣区域，最后将感兴趣区域送入fcn网络用于精确的像素分割；
[0053]
基于对环境场的分析，将输入图像固定为640*640pixel，在对深度学习模型进行训练时推荐使用经过步骤(1)标注得到的2000个目标框参与计算，对图像分割模型进行测试时推荐使用经过步骤(1)标注得到的200个目标框进行计算；在该配置参数下，能够使图像分割模型的速度和分割的特征图精度达到最优；
[0054]
(3)获取特征图：采用步骤(2)得到的图像分割模型对待检测图像进行分割得到特征图；
[0055]
(4)数据压缩：
[0056]
使用步骤(3)得到的图像分割模型对待检测图像进行分割获取的特征数据过于冗
余，直接参与后续计算，会加大计算时间，进而影响速度；因此考虑经过步骤(3)的图像分割模型分割后的图像数据分布状态，即在分割后的图像中像素只有0、1两个值，1表示图像分割的圆轮廓区域，0表示背景区域，针对这种数据分布，在图像上的行列上分别采用间隔采样的方式进行数据压缩，即将指定行列上像素值为1的像素的值置为0，以达到图像上像素值为1的像素点减少而不改变圆的分布结构；采样后的数据为原来数据的0.25倍，且数据仍具备原数据的分布状态；
[0057]
(5)圆拟合：
[0058]
考虑到获取的数据在目标特征附近散落，为了减小噪声点的影响，采用最小二乘的方式对经步骤(4)数据压缩后的圆轮廓数据进行圆拟合并获取圆心坐标(xc,yc)和半径r；
[0059]
其中，圆心公式如下：
[0060]
(x-xc)2 (y-yc)2＝r2[0061]
其中，(x,y)为圆轮廓上一点，(xc,yc)表示圆心坐标；
[0062]
则转化为极值函数得到：
[0063]
f＝∑((x
i-xc)2 (y
i-yc)
2-r2)2[0064]
则：
[0065][0066][0067][0068][0069][0070][0071]
其中，表示圆轮廓上所有点x轴坐标的平均值，表示圆轮廓上所有点y轴坐标的平均值；xi表示圆轮廓第i个点的x轴坐标，yi表示圆轮廓第i个点的y轴坐标；n表示圆轮廓上数据点个数；ui表示圆轮廓第i个点的x轴坐标与圆轮廓上所有点x轴坐标的平均值之间的差值，vi表示圆轮廓第i个点的y轴坐标与圆轮廓上所有点y轴坐标的平均值之间的差值；uc表示圆心的x轴坐标与圆轮廓上所有点x轴坐标的平均值之间的差值，vc表示圆心的y轴坐标与圆轮廓上所有点y轴坐标的平均值之间的差值；
[0072]
则：
[0073]
f＝∑((u
i-uc)2 (v
i-vc)
2-r2)2[0074][0075]
[0076][0077]
通过上述极值函数即可求取得到对圆轮廓圆拟合的圆心坐标(xc,yc)和半径r；
[0078]
(6)圆筛选：
[0079]
采用步骤(5)的最小二乘的圆拟合能够抑制少量的噪声，但噪声点较多且噪声点集中分布在某一区域时，其圆拟合的性能就会降低。
[0080]
为了抑制这部分噪声，采用ransac(random sample consensus)算法进行圆筛选，即在计算中，每次随机选取经过步骤(4)数据压缩后的圆轮廓上点的数量的0.1倍进行圆拟合，并重复k次，k根据实际需求设定；统计其中拟合得到的所有圆中相互重合的圆的个数，选取重合次数最多的圆作为输出结果，即为最终检测得到的圆。
[0081]
本发明设计了数据标注规则，能够在图像样本少的情况下增加更多的目标样本。
[0082]
本发明还提供了一种前述基于深度学习的圆检测方法在机器人接地刀闸操作中的应用，通过前述基于深度学习的圆检测方法检测出接地刀闸上圆形开关，并据此控制机器人执行操作。
[0083]
以上详细描述了本发明的优选实施方式，但是本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换(如数量、形状、位置等)，这些等同变换均属于本发明的保护范围。