用于输电线路可视化检测场景的视频稳像方法与流程

技术特征：
1.用于输电线路可视化检测场景的视频稳像方法，其特征在于，包括以下步骤：步骤s1：收集数据采集单元监控拍摄的户外环境图像，对其中的非运动物体进行标注；获取非运动物体的标注图像数据集；步骤s2：选择标注图像数据集作为原始图像数据；从原始图像数据中剔除面积小于设定剔除面积的标注对象图像，将剔除后的标注图像数据集作为目标图像数据；将目标图像数据划分为训练图像数据集和测试图像数据集；步骤s3：构建用于非运动物体检测的原始目标检测模型；步骤s4：使用原始图像数据，以及目标图像数据的训练图像数据集对构建的用于非运动物体检测的原始目标检测模型进行训练得到最终目标检测模型；步骤s5：实时采样数据采集单元监控拍摄的监控范围的视频，在视频中抽取连续的当前帧和参考帧，将当前帧和参考帧图像输入最终目标检测模型中，利用最终目标检测模型检测非运动物体；步骤s6：对当前帧和参考帧均检测出的非运动物体目标根据置信度排序，选出置信度高于设定置信度的非运动物体目标作为运动估计目标；使用块匹配法计算当前帧和参考帧之间每个运动估计目标的运动向量；步骤s7：求解所计算的每个运动估计目标的运动向量的平均值，将所计算的每个运动估计目标的运动向量的平均值作为全局运动向量；步骤s8: 使用卡尔曼滤波（kalman filter）算法对全局运动向量进行处理，得到待补偿的全局运动向量；步骤s9：执行运动补偿，运动补偿可表示为其中，是补偿前图像中的一个像素点，是补偿后图像中的一个像素点。2.根据权利要求1所述的用于输电线路可视化检测场景的视频稳像方法，其特征在于，所述非运动物体包括杆塔、房屋、烟囱和/或桥梁。3.根据权利要求1所述的用于输电线路可视化检测场景的视频稳像方法，其特征在于，所述户外环境图像为2k图像，设定剔除面积为60 像素
×
60像素。4.根据权利要求1所述的用于输电线路可视化检测场景的视频稳像方法，其特征在于，构建用于非运动物体检测的原始目标检测模型包括将faster r-cnn中的骨干网络由vgg-16模型替换为resnet50模型。5.根据权利要求1所述的用于输电线路可视化检测场景的视频稳像方法，其特征在于，运动补偿完成后使用马赛克法进行图像修补得到稳像视频。6.根据权利要求1至5任一项所述的用于输电线路可视化检测场景的视频稳像方法，其特征在于：使用原始图像数据，以及目标图像数据的训练图像数据集对构建的用于非运动物体检测的原始目标检测模型进行训练得到最终目标检测模型包括以下步骤：步骤s41：将目标图像数据中的训练图像数据集中的图像输入以resnet50作为骨干网络的原始目标检测模型，经过resnet50进行特征提取，在resnet50的conv_4层输出的特征图上，进行3
ꢀ×
3的卷积操作，生成通道数为256的，大小为(h/16)
×
(w/16)的特征图；步骤s42：在3
ꢀ×
3的卷积操作之后，在（(h/16)
×
(w/16)
ꢀ×
256）的特征图上分别进行
两次1
ꢀ×
1的卷积操作，预测出预测边框的正负形和预测边框的坐标偏移量，其中256为通道数；步骤s43：在建议层生成建议，对于具有正向属性的预测边框进行修正、剔除和nms（非极大抑制，non maximum suppression）过滤,最终选取大于阈值p的设定个数的目标类预测边框；步骤s44：进行感兴趣区域池化操作将选出的目标类预测边框对应到resnet50的conv_5层输出的特征图上，找到每个选出的目标类预测边框对应特征图的部分；步骤s45：在感兴趣区域池化操作输出的特征图上进行目标预测边框的回归和目标的分类；步骤s46：判断原始目标检测模型是否达到第一收敛程度；步骤s47：在原始目标检测模型达到第一收敛程度时，停止训练并保存原始目标检测模型为一次目标训练模型；步骤s48：将原始图像数据中的图像输入步骤s47输出的一次训练模型，经过resnet50进行特征提取，重复上述步骤s41至步骤s45，并判断一次目标训练模型是否达到第二收敛程度；步骤s49：在一次目标训练模型完全收敛时，停止训练并保存一次目标训练模型为二次目标训练模型；步骤s50：原始图像数据中的图像输入步骤输出的二次训练模型，对二次训练模型进行微调，使得参数适应目标图像数据,直到二次训练模型再次收敛，停止微调并保存二次目标训练模型为最终目标检测模型。7.根据权利要求6所述的用于输电线路可视化检测场景的视频稳像方法，其特征在于：在步骤s42中，1
ꢀ×
1的卷积结果分为两个分支，上部分支生成(h/16)
×
(w/16)
ꢀ×
18通道的特征图，18通道是指：每个像素位置有9个预测边框，每个预测边框对应有是目标的概率和是背景的概率；下部分支生成(h/16)
×
(w/16)
ꢀ×
36通道的特征图,36通道是指：每个像素位置有9个预测边框,每个预测边框对应有四个独立的特征值，分别对应为中心点的x坐标的偏移量tx，中心点的y坐标的偏移量ty，边框水平方向的偏移量tw和边框垂直方向的偏移量th。8.根据权利要求7所述的用于输电线路可视化检测场景的视频稳像方法，其特征在于：定义三组纵横比ratio = [0.5，1，2]和三种尺度scale =[8，16，32]以构成预测边框。9.根据权利要求8所述的用于输电线路可视化检测场景的视频稳像方法，其特征在于：判断原始目标检测模型是否达到第一收敛程度为判断是否达到轻微收敛：判断在训练过程中每个时期中是否存在前一个批大小训练产生的损失与当前批大小训练产生的损失的差值的绝对值小于第一设定损失值。10.根据权利要求9所述的用于输电线路可视化检测场景的视频稳像方法，其特征在于，所述第一设定损失值为0.1。

技术总结
本发明公开了一种用于输电线路可视化检测场景的视频稳像方法，包括：收集户外环境图像并标注非运动物体，建立原始图像数据和目标图像数据，构建原始目标检测模型并训练，得到最终目标检测模型，检测实时视频中的非运动物体，选择运动估计目标并计算运动向量，计算全局运动向量，使用卡尔曼滤波进行处理，执行运动补偿；本发明特别使用于输电线路可视化检测场景，避免弱化目标对象，例如导线舞动的抖动，提高导线舞动检测精度；该方法可以提供非运动物体的位置，使块匹配算法能够更精准的聚焦到相应位置，能够提升运动向量的准确性，提升后续的稳像效果。续的稳像效果。续的稳像效果。


技术研发人员：庄杰 付以贤 杜远 张健 程凤璐 毕宬 陈培峰 巩乃奇 曹亚华
受保护的技术使用者：国网山东省电力公司超高压公司
技术研发日：2022.11.11
技术公布日：2023/2/3