基于目标感知深度特征压缩的电力智能巡检跟踪方法与流程

1.本发明涉及深度特征压缩的目标跟踪方法，尤其是涉及一种基于目标感知深度特征压缩的电力智能巡检跟踪方法。


背景技术：

2.稳定可靠的电力系统是保障民生和经济发展的关键。近年来，基于视觉的检测技术在电力检测中的应用受到了广泛的关注。基于机器人的检测技术和基于无人机的检测技术都需要对确定的目标进行跟踪，因此鲁棒跟踪方法非常重要。深度学习的发展带动了跟踪性能的提升但由于深度神经网络模型提供的深度特征参数较多，计算和存储成本较高，难以满足智能检测的实时性要求，难以部署到移动智能检测设备上。
3.近年来，许多模型轻量化方法被用于压缩深度模型，以便于迁移到移动设备。主要的五种方法是：1参数剪枝，2参数共享，3低秩分解，4设计紧凑的卷积滤波器，5知识蒸馏。参数剪枝主要是通过设计判断参数是否重要的准则来去除冗余参数。参数共享主要探讨模型参数的冗余性，使用hash或量化技术压缩权值。低秩分解利用矩阵或张量分解技术对深度模型中的原始卷积核进行估计和分解。设计紧密型卷积滤波器主要通过设计特殊的结构化卷积核或紧密型卷积计算单元来降低模型的存储和计算复杂度。知识蒸馏主要利用大网络的知识，将其知识迁移到精馏模型中。这些方法倾向于从整个网络的角度进行压缩，而在跟踪时，只使用某一层的特征输出。
4.因此，如何压缩深度特征对于提高跟踪的时效性非常重要。


技术实现要素：

5.为解决现有技术中存在的不足，本发明的目的在于，提供一种基于目标感知深度特征压缩的电力智能巡检跟踪方法，通过反向传播网络梯度获得的重要性权重来指导深度特征压缩过程；可以获得简洁有效地深度特征以降低运算成本，同时提高了跟踪的鲁棒性。
6.本发明采用如下的技术方案。
7.一种基于目标感知深度特征压缩的电力智能巡检跟踪方法，所述方法包括步骤：
8.步骤1，根据需要跟踪的电力设备及相应的坐标确定上下文区域图像，将上下文区域图像输入预先训练的卷积神经网络，提取包含待跟踪电力设备及其背景区域的深度特征；
9.步骤2，构造一单层卷积网络，将待跟踪电力设备及其背景区域的深度特征与给定的高斯软标签y一起输入网络，利用负平衡损失学习直到网络收敛，得到收敛网络内部存储的梯度信息；
10.步骤3，利用全局平均池化将每个通道的反向传播的梯度进行量化得到每个通道深度特征的初始重要性权值δi，将初始重要性权值二值化得到最终的重要性权重δfi；
11.步骤4，在跟踪时，仅在第一帧提取目标模板深度特征χ1，将下一帧搜索区域图像输入预先训练的卷积神经网络提取深度特征χ
t
，然后利用δfi对χ
t
与χ1进行压缩得到χ
′
t
与
χ
′1；
12.步骤5，将压缩后的目标模板特征与搜索区域特征送入匹配网络进行互相关操作获得最终的响应图，响应值最大处即为目标位置。
13.进一步地，步骤1中，相应的坐标包含左上角纵横轴位置及长宽，形成矩形框；根据坐标信息计算电力设备为中心的规定长宽的上下文区域图像；
14.上下文区域图像包括待跟踪电力设备以及背景区域。
15.进一步地，步骤1中，提取深度特征包括：将图像输入预先训练的卷积神经网络进行一次前向传播，提取网络的conv4_3与conv4_1层特征，然后将两层特征拼接得到最终的深度特征。
16.进一步地，步骤2中，负平衡损失为：
[0017][0018]
其中，*是相关操作，λ是正则化参数，x是从待跟踪电力设备及其背景区域的深度特征上采取滑窗操作获取的样本，w是网络权值，y是高斯软标签，t(
·
)是用来平衡困难负样本与简单负样本平衡的函数。
[0019]
进一步地，用来平衡困难负样本与简单负样本平衡的函数t(
·
)：
[0020][0021]
其中，m和n是两个超参数，r是损失w*x-y。
[0022]
进一步地，步骤3中，计算每个通道深度特征的初始重要性权值方法为：
[0023][0024]
其中，i是每个通道特征的索引，g
ap
(
·
)是全局平均池化函数，l是负平衡损失函数，zi为第i个通道的深度特征。
[0025]
进一步地，步骤3中，计算每个通道深度特征的最终重要性权值方法为：
[0026][0027]
当初始重要性权值大于0时，则最终重要性权值为1，即保留该通道特征；当初始重要性权值小于等于0时，则最终重要性权值为0，即删除该通道特征。
[0028]
进一步地，步骤4中，深度特征压缩方法为：
[0029][0030]
其中，χ是压缩前的深度特征，χ
′
是压缩后得到的深度特征，是相乘操作。
[0031]
进一步地，步骤5中，获得目标的位置方法为：
[0032][0033]
其中，t当前帧的索引，χ
′1是压缩后的模板特征，χ
′
t
是第t帧压缩后的搜索区域特征。
[0034]
本发明的有益效果在于，与现有技术相比，本发明通过网络反向传播的梯度计算
每个通道特征的重要性参数，将重要性较低的通道特征删除，保留重要通道特征用于表征目标；获得了简洁且有效的深度特征，大幅提高了运算速度。
[0035]
本发明可以有效地压缩深度特征，解决了深度特征用于电力巡检跟踪时无法满足实时性要求的问题，间接突出了重要特征，使得跟踪更加鲁棒。
附图说明
[0036]
图1为本发明基于目标感知深度特征压缩的电力智能巡检跟踪方法流程图；
[0037]
图2为本发明跟踪方法在通用数据集tc-128上的跟踪效果比较图；
[0038]
图3为本发明跟踪方法在电力巡检场景上的跟踪效果比较图。
具体实施方式
[0039]
下面结合附图对本技术作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本技术的保护范围。
[0040]
如图1所示，本发明所述的基于目标感知深度特征压缩的电力智能巡检跟踪方法，其实现过程如下：
[0041]
步骤1，在确定需要跟踪的电力设备及给出相应的坐标之后，将电力智能巡检拍摄的电力设备上下文区域图片输入预先训练的卷积神经网络，提取包含待跟踪电力设备及其背景区域的深度特征，用于进行离线特征压缩系数计算；
[0042]
其中，待跟踪电力设备的坐标使用矩形框表示，相应的坐标有四个位置信息，分别为左上角纵横轴位置及长宽。根据坐标信息计算出以需要跟踪的电力设备中心位置为中心的长宽为180
×
180的包含电力设备上下文区域的图像。
[0043]
电力智能巡检拍摄的电力设备图片包含待跟踪电力设备以及背景区域。
[0044]
将该图像输入预先训练的卷积神经网络vgg-16进行一次前向传播，提取网络的conv4_3与conv4_1层特征，大小分别为45
×
45
×
512与45
×
45
×
512。其中45
×
45是特征长宽，512是特征通道数。然后将两层特征拼接得到最终的深度特征45
×
45
×
1024。
[0045]
步骤2，构造一单层卷积网络，将待跟踪电力设备及其背景区域的深度特征与给定的高斯软标签y一起输入网络，利用负平衡损失学习直到网络收敛；
[0046]
负平衡损失为：
[0047][0048]
其中，*是相关操作，λ是正则化参数，x是从待跟踪电力设备及其背景区域的深度特征上采取滑窗操作获取的样本，w是网络权值，y是高斯软标签。t(
·
)是用来平衡困难负样本与简单负样本平衡的函数：
[0049][0050]
其中，m和n是两个超参数，r是损失w*x-y。
[0051]
将深度特征输入单层网络进行前向传播，将给定的标签y与网络的输出w*x输入负平衡损失函数计算损失r，当损失r不为0时，将网络进行反向传播进行学习，直至损失r为0，则网络训练完成，即网络训练至收敛。
[0052]
网络训练收敛后的网络内部存储的梯度信息用来计算每个通道的重要性权重。
[0053]
步骤3，利用全局平均池化将每个通道的反向传播的梯度进行量化得到每个通道深度特征的初始重要性权值δi，将初始重要性权值二值化得到最终的重要性权重δfi；
[0054]
全局平均池化函数的作用是将训练完成网络内部储存的梯度信息相加得到一个数值，这个数值可以用来表示每个通道深度特征的初始重要性权值δi。
[0055]
计算每个通道深度特征的初始重要性权值方法为：
[0056][0057]
其中，i是每个通道特征的索引，g
ap
(
·
)是全局平均池化函数，l是负平衡损失函数，zi为第i个通道的深度特征。
[0058]
计算每个通道深度特征的最终重要性权值方法为：
[0059][0060]
当初始重要性权值大于0时，则最终重要性权值为1，即保留该通道特征；当初始重要性权值小于等于0时，则最终重要性权值为0，即删除该通道特征。
[0061]
上下文区域深度特征m
×n×
d，得到通道重要性权重1
×
d。本发明实施例中，上下文区域深度特征45
×
45
×
1024，得到通道重要性权重1
×
1024。
[0062]
通过网络反向传播的梯度计算每个通道深度特征的重要性权值参数，将重要性权值较低的通道特征删除，保留重要通道特征用于表征目标；获得了简洁且有效的深度特征，大幅提高了运算速度。
[0063]
步骤4，进行在线跟踪，在跟踪时，仅在第一帧提取目标模板深度特征χ1，将下一帧搜索区域图像输入预先训练的卷积神经网络提取深度特征χ
t
，然后利用δfi对χ
t
与χ1进行压缩得到χ
′
t
与χ
′1；
[0064]
深度特征压缩方法为：
[0065][0066]
其中，χ是压缩前的深度特征，χ
′
是压缩后得到的深度特征，是相乘操作。
[0067]
目标模板深度特征w
×h×
d，经压缩后得到深度特征w
×h×
c，搜索区域图像深度特征m
×n×
d，经压缩后得到深度特征m
×n×
c。
[0068]
目标模板深度特征w
×h×
1024，具体目标模板的长宽w和h有给定的目标坐标信息计算得到，经压缩后得到目标模板深度特征w
×h×
c；搜索区域图像深度特征45
×
45
×
1024，经压缩后得到深度特征45
×
45
×
c；其中为了保证跟踪速度我们分别从conv4_3与conv4_1层特征中选择了排名靠前的100与30个通道的特征，因此c≤130。
[0069]
步骤5，最后将压缩后的目标模板特征与搜索区域特征送入匹配网络进行互相关操作获得最终的响应图，响应值最大处即为目标位置。
[0070]
获得目标的位置方法为：
[0071][0072]
其中，t当前帧的索引，χ
′1是压缩后的模板特征，χ
′
t
是第t帧压缩后的搜索区域特
征。
[0073]
本发明实例是使用matlab r2019a在一台intel i7-9700cpu和nvdia geforce rtx 2060的计算机上进行实验。
[0074]
如图2所示，我们在通用数据集tc-128上与经典的跟踪方法进行了对比，其中包括基于深度的跟踪方法tadt和eco，基于手工特征的跟踪方法kcf和csk。相比于基于手工特征的方法我们的方法效果更好，相比于基于深度特征的方法我们的方法也具有更好地表现。图3是与其他方法在电力巡检场景中跟踪效果的比较，我们方法也获得了优异的性能。
[0075]
本发明的有益效果在于，与现有技术相比，本发明通过网络反向传播的梯度计算每个通道特征的重要性参数，将重要性较低的通道特征删除，保留重要通道特征用于表征目标；获得了简洁且有效的深度特征，大幅提高了运算速度。
[0076]
本发明可以有效地压缩深度特征，解决了深度特征用于电力巡检跟踪时无法满足实时性要求的问题，间接突出了重要特征，使得跟踪更加鲁棒。
[0077]
本发明申请人结合说明书附图对本发明的实施示例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施示例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。