基于尺度上下文的变电站图像目标检测方法与流程

技术特征：
1.一种基于尺度上下文的变电站图像目标检测方法，其特征是，包括以下步骤：步骤一、数据预处理：采用基于仿射变换的数据增强和随机增强策略完成数据集扩充，得到数据增强后的训练集；步骤二、特征提取:采用经过预训练的vgg-16模型作为特征提取网络，每张输入图像在一系列卷积及池化后，得到不同尺寸的卷积特征图；步骤三、提取感兴趣区域:使用区域提名网络进行候选框提取，得到感兴趣区域；区域提名网络首先对特征提取网络的最后一层卷积特征图进行滑窗操作，在每个窗口的中心位置生成一系列锚框；利用基于k-means的锚框尺度制定策略，通过对训练集标注文件中矩形包围框的长、宽进行于k-means聚类得到数据分布，从而调整锚框尺度；步骤四、多尺度特征融合：将感兴趣区域映射到特征提取网络的卷积特征图上，并对其对应区域进行感兴趣区域池化，再通过两层全连接层，输出融合特征；步骤五、分类和定位：对输出的融合特征进行分类和定位，在分类时，采用soft-nms算法去除冗余框。2.根据权利要求1所述的基于尺度上下文的变电站图像目标检测方法，其特征是，所述vgg-16模型包括6层卷积池化层，依次为：conv1_3层、conv2_3层、conv3_3、conv4_3层、conv5_3层、conv6_3层，输入图像在进行6组卷积、池化操作后，得到不同尺寸的卷积特征图。3.根据权利要求2所述的基于尺度上下文的变电站图像目标检测方法，其特征是，步骤三中，在conv5_3输出的卷积特征图上，利用区域提名网络进行候选框提取，得到感兴趣区域，通过感兴趣区域池化层将感兴趣区域坐标分别映射到不同层级的卷积特征图上，得到对应区域的roi映射卷积特征图。4.根据权利要求3所述的基于尺度上下文的变电站图像目标检测方法，其特征是，步骤四中，将conv4_3层和conv5_3层的roi映射卷积特征图分别作为第一全连接层的输入，进行一次全连接操作，得到两个1
×1×
2048的特征向量，然后拼接成为一个1
×1×
4096的融合特征，再经过第二全连接层，输出到分类回归网络进行最终的分类和定位。5.根据权利要求4所述的基于尺度上下文的变电站图像目标检测方法，其特征是，步骤五中，soft-nms算法的重评分过程用一个连续的罚函数来表达，在预测框不重叠的情况下不惩罚，在高重叠情况下有很高的惩罚，将置信度构建为关于交并比的函数：其中，s
i
表示当前预测框的置信度评分，iou(b,b
i
)表示预测框b
i
与评分最大框b的面积交并比，p表示最终预测框的集合，e为自然对数，σ为罚函数系数。6.根据权利要求1所述的基于尺度上下文的变电站图像目标检测方法，其特征是，步骤一中，采用的主要仿射变换方式包括：缩放、旋转、翻转、平移、尺度变换以及插值；为了扩大设备矩形包围框尺寸的范围，将图像随机缩放至原图尺寸的80％到120％之间；为了增加设备矩形包围框高宽比的丰富性，对图像进行
±
30
°
范围以内的随机旋转；另外，对随机50％的图像进行镜像翻转；对随机20％的图像进行垂直翻转；在原图像宽度的五分之一范围内，将图像随机进行向左或向右平移；对图像按照指定的尺度因子进行放大或缩小，或利用指定的尺度因子对图像滤波构造尺度空间以改变图像内容的大小或模糊程度；随机使用最临
近插值或双线性差值对空白处进行补齐，使得增强后的图像尺寸与原图尺寸相等；在仿射变换的基础上，通过随机增强策略，将训练样本图像通过包括但不限于模糊、加噪、颜色空间转换、随机遮挡、随机擦除继续做数据增强处理。7.根据权利要求1所述的基于尺度上下文的变电站图像目标检测方法，其特征是，基于k-means的锚框尺度制定策略具体为：假设簇划分为(c1,c2,
…
c
i
…
c
k
)，用μ
i
表示簇c
i
的均值向量，则k-means聚类目标就是最小化平方误差e；聚类结果图像由xy轴坐标系构成，每一点对应一个目标样本点，其横坐标代表目标宽度，纵坐标代表目标高度；每一样本点与原点之间连线的斜率表征了该目标的高宽比；计算各个簇中心点与坐标轴原点的连线的斜率，离散地选择合适的斜率值，使用尽量少的值覆盖更多的样本点；每一样本点横纵坐标的乘积表征该目标矩形包围框的面积；对簇中心横、纵坐标值之积开平方根，得到样本的尺寸分布从而调整锚框尺寸；设样本点横、纵坐标分别为x和y，则锚框高宽比和尺寸的设置算法可以分别用分段函数a(x,y)和s(x,y)来表达：数a(x,y)和s(x,y)来表达：其中，n表示设置n种不同高宽比的锚框，m表示设置m种不同尺寸的锚框。n＝1,2,
…
n,m＝1,2,
…
m，k
n
表示锚框高宽比的离散取值，s
n
表示锚框尺寸的离散取值，α
n
表示锚框高宽比的离散取值间隔，β
n
表示锚框尺寸的离散取值间隔；根据不同数据集聚类结果，通过实验调整n,m,k
n
,s
n
,α
n
,β
n
的数值，使得离散取值区间划分合理，满足尽量多的样本点；其中，当n>1时，k
n-1
α
n-1
＝k
n-α
n
，当m>1时，s
m-1
β
m-1
＝s
m-β
m
。

技术总结
本发明公开了一种基于尺度上下文的变电站图像目标检测方法，采用基于仿射变换的数据增强和随机增强策略完成数据集扩充，得到数据增强后的训练集；采用经过预训练的VGG-16模型作为特征提取网络，每张输入图像在一系列卷积及池化后，得到不同尺寸的卷积特征图；使用区域提名网络进行候选框提取，得到感兴趣区域；将感兴趣区域映射到特征提取网络的卷积特征图上，并对其对应区域进行感兴趣区域池化，再通过两层全连接层，输出融合特征；对输出的融合特征进行分类和定位，在分类时，采用Soft-NMS算法去除冗余框。本发明采样数据增强、锚框尺度调整策略，在可见光数据集以及红外数据集上分别证明了所提方法的有效性。上分别证明了所提方法的有效性。上分别证明了所提方法的有效性。


技术研发人员：徐波 李福德 李志坤 钟成 夏祥波 林谋
受保护的技术使用者：国家电网有限公司 珠高智能科技（深圳）有限公司
技术研发日：2022.04.15
技术公布日：2022/8/9