一种电能计量箱箱内设备状态视觉检测方法及系统

本技术属于电能计量箱领域，尤其涉及一种电能计量箱箱内设备状态视觉检测方法及系统。

背景技术：

1、电能计量箱作为电力网络终端的重要设备，其箱内环境及设备可见状态直接关系到用户用电可靠性和电网运行安全。在实际应用场景中，计量箱内部可能侵入飞虫、鸟巢、蜂窝或遗留施工工具等异物，也可能出现表计遮挡、接线端异常外露、开关位置状态异常等可由图像识别的可见异常状态。上述异常情况可能影响设备绝缘性能、运行安全性和后续巡视维护效率，严重时还可能引发短路、发热或火灾等安全隐患。

2、近年来，基于机器视觉与深度学习的图像检测技术逐步应用于电力设备巡视场景。常规视觉检测方法通常依赖卷积神经网络对现场采集图像进行特征提取，并通过构建多层级特征金字塔应对不同尺寸目标。然而，计量箱内部通常存在光线不足、线缆交错、零部件密集以及背景纹理复杂等干扰因素，现有多尺度特征融合策略多采用元素相加或通道拼接方式，难以充分区分不同网络深度下语义信息和细节信息的重要程度，容易造成深层语义与浅层纹理之间融合不足，从而影响复杂背景下目标区域的识别效果，增加漏检或误检风险。

3、除此之外，在现有目标检测网络架构中，检测头通常划分为分类分支和回归分支两条相对独立的计算路径，两者在特征提取及预测过程中信息交互不足，容易出现分类结果与定位结果不一致的情况，例如部分候选框具有较高类别置信度，但边界框位置仍存在明显偏差。在目标边界框解码阶段，传统算法通常依赖人工预设的锚框尺寸或单一回归基准进行偏移计算。由于计量箱内部检测对象既包括形态各异的异物，也包括表计、接线端、开关等设备可见状态区域，不同目标在尺寸、轮廓和宽高比例上存在差异，单一基准设定难以充分适配多样化目标形态，进而影响边界框回归精度。因此，有必要提出一种适用于电能计量箱箱内场景的视觉检测方法，以在特征融合、任务分支交互以及预测框解码等环节提高检测结果的准确性和稳定性。

技术实现思路

1、为了解决现有技术中计量箱内部复杂背景下多尺度特征融合不充分、分类与定位分支交互不足以及固定锚框难以适配多样化目标形态，导致设备可见状态和异物检测准确性不足的问题，本发明提出一种电能计量箱箱内设备状态视觉检测方法及系统。

2、根据本发明的一方面，提出一种电能计量箱箱内设备状态视觉检测方法，包括如下步骤：

3、获取电能计量箱箱内图像，基于归一化和尺寸缩放对所述图像进行预处理，得到初始特征张量，将所述初始特征张量输入至骨干网络，根据不同网络深度提取包含不同层级语义信息的多尺度初始特征图；

4、基于所述多尺度初始特征图进行加权特征融合，得到融合特征图，将所述融合特征图输入至包含分类分支和回归分支的检测头，分别提取所述分类分支的中间层特征和所述回归分支的中间层特征，根据所述分类分支的中间层特征对所述回归分支的中间层特征进行通道维度标定，同时根据所述回归分支的中间层特征对所述分类分支的中间层特征进行空间维度标定；

5、根据所述回归分支在各空间位置输出的形状预测向量与预设的基准尺寸矩阵进行运算得到基准尺度和基准宽高比，以所述基准尺度和所述基准宽高比作为预测框尺寸解码基准，结合所述回归分支输出的回归偏移量解码得到预测框，基于非极大值抑制对预测概率和所述预测框进行后处理，得到最终的箱内设备状态视觉检测结果。

6、可选地，所述获取电能计量箱箱内图像，基于归一化和尺寸缩放对所述图像进行预处理，得到初始特征张量，包括：

7、通过图像采集设备获取电能计量箱内部目标区域的多通道像素矩阵作为原始图像；

8、将所述原始图像缩放至边长相等的正方形输入尺寸；

9、将缩放后的各通道像素值分别减去数据集全体训练图像在对应通道的均值，并将所得差值除以对应通道的标准差，转换为数值分布经标准化调整后的最终初始特征张量。

10、可选地，所述将所述初始特征张量输入至骨干网络，根据不同网络深度提取包含不同层级语义信息的多尺度初始特征图，包括：

11、将所述初始特征张量输入至包含残差块的骨干网络中进行降采样特征提取，随着网络深度的增加，在设定的三个降采样阶段出口处分别截取特征图；

12、对截取的各阶段特征图分别应用并行空洞空间金字塔池化操作，提取具备不同感受野的特征，得到包含底层边界纹理特征、中层设备定位特征和深层全局语义特征的多尺度初始特征图。

13、可选地，所述基于所述多尺度初始特征图进行加权特征融合，得到融合特征图，包括：

14、在自上而下的融合路径中，将高层语义特征输入至包含全局平均池化和多层感知机的网络结构中，映射生成内容驱动的卷积核参数；

15、利用所述卷积核对相邻网络层下行支路中的低层细节特征执行卷积操作，并通过归一化激活函数映射生成空间权重图；

16、将所述空间权重图与所述低层细节特征进行逐元素乘法操作，并将乘法操作的结果与经过上采样及通道维度卷积对齐的高层语义特征进行逐元素相加，得到所述融合特征图。

17、可选地，所述根据所述分类分支的中间层特征对所述回归分支的中间层特征进行通道维度标定，包括：

18、对所述分类分支的中间层特征进行全局空间平均池化操作，获取各通道的全局响应值；

19、将所述全局响应值输入至包含非线性激活函数的全连接网络中进行特征激励，并经过sigmoid函数映射，生成通道维度的重要性增益分数；

20、将所述重要性增益分数与所述回归分支的中间层特征按通道维度进行逐元素相乘，实现对所述回归分支的中间层特征的通道维度重要性标定。

21、可选地，所述根据所述回归分支在各空间位置输出的形状预测向量与预设的基准尺寸矩阵进行运算得到基准尺度和基准宽高比，以所述基准尺度和所述基准宽高比作为预测框尺寸解码基准，结合所述回归分支输出的回归偏移量解码得到预测框，包括：

22、对所述回归分支标定后的中间层特征进行特征映射处理，得到在各空间位置输出的形状预测向量；

23、从参数库中获取通过网络训练得到的表示对象基准尺度和外观边界标准比例的基准尺寸参数矩阵作为所述基准尺寸矩阵；

24、将各空间位置输出的形状预测向量分别与所述基准尺寸矩阵进行矩阵乘法运算，并对矩阵乘法运算结果进行正值映射处理，获得当前空间位置对应的基准尺度和基准宽高比；

25、基于所述基准尺度和所述基准宽高比计算得到基准绝对宽度和基准绝对高度，以各空间位置对应的网格中心坐标作为中心位置基准，并以所述基准绝对宽度和所述基准绝对高度作为尺寸基准，结合所述回归偏移量中的中心偏移量和尺寸缩放偏移量，解码得到预测框的位置坐标和尺寸信息。

26、可选地，所述基于非极大值抑制对预测概率和所述预测框进行后处理，得到最终的箱内设备状态视觉检测结果，包括：

27、根据设定的置信度阈值过滤所述预测概率低于所述阈值的候选预测框，并按照各候选预测框的最高概率类别建立类别判定列表；

28、针对每一个类别判定列表，将剩余候选预测框加入对应的初始保留集合，按照预测概率对所述初始保留集合中的候选预测框进行降序排列，取出得分最高的候选预测框移入最终保留库；

29、计算同一类别判定列表中剩余候选预测框与所述得分最高的候选预测框的交并比，移除交并比大于设定重叠阈值的候选预测框；

30、循环执行取出最高得分预测框和移除重叠预测框的操作，直至所述初始保留集合为空，输出最终保留库中的检测类别和边界框位置信息作为所述最终的箱内设备状态视觉检测结果。

31、根据本发明的另一方面，提出一种电能计量箱箱内设备状态视觉检测系统，包括如下模块：

32、提取模块，用于获取电能计量箱箱内图像，基于归一化和尺寸缩放对所述图像进行预处理，得到初始特征张量，将所述初始特征张量输入至骨干网络，根据不同网络深度提取包含不同层级语义信息的多尺度初始特征图；

33、标定模块，用于基于所述多尺度初始特征图进行加权特征融合，得到融合特征图，将所述融合特征图输入至包含分类分支和回归分支的检测头，分别提取所述分类分支的中间层特征和所述回归分支的中间层特征，根据所述分类分支的中间层特征对所述回归分支的中间层特征进行通道维度标定，同时根据所述回归分支的中间层特征对所述分类分支的中间层特征进行空间维度标定；

34、输出模块，用于根据所述回归分支在各空间位置输出的形状预测向量与预设的基准尺寸矩阵进行运算得到基准尺度和基准宽高比，以所述基准尺度和所述基准宽高比作为预测框尺寸解码基准，结合所述回归分支输出的回归偏移量解码得到预测框，基于非极大值抑制对预测概率和所述预测框进行后处理，得到最终的箱内设备状态视觉检测结果。

35、优选地，所述获取电能计量箱箱内图像，基于归一化和尺寸缩放对所述图像进行预处理，得到初始特征张量，包括：

36、通过图像采集设备获取电能计量箱内部目标区域的多通道像素矩阵作为原始图像；

37、将所述原始图像缩放至边长相等的正方形输入尺寸；

38、将缩放后的各通道像素值分别减去数据集全体训练图像在对应通道的均值，并将所得差值除以对应通道的标准差，转换为数值分布经标准化调整后的最终初始特征张量。

39、优选地，所述将所述初始特征张量输入至骨干网络，根据不同网络深度提取包含不同层级语义信息的多尺度初始特征图，包括：

40、将所述初始特征张量输入至包含残差块的骨干网络中进行降采样特征提取，随着网络深度的增加，在设定的三个降采样阶段出口处分别截取特征图；

41、对截取的各阶段特征图分别应用并行空洞空间金字塔池化操作，提取具备不同感受野的特征，得到包含底层边界纹理特征、中层设备定位特征和深层全局语义特征的多尺度初始特征图。

42、优选地，所述基于所述多尺度初始特征图进行加权特征融合，得到融合特征图，包括：

43、在自上而下的融合路径中，将高层语义特征输入至包含全局平均池化和多层感知机的网络结构中，映射生成内容驱动的卷积核参数；

44、利用所述卷积核对相邻网络层下行支路中的低层细节特征执行卷积操作，并通过归一化激活函数映射生成空间权重图；

45、将所述空间权重图与所述低层细节特征进行逐元素乘法操作，并将乘法操作的结果与经过上采样及通道维度卷积对齐的高层语义特征进行逐元素相加，得到所述融合特征图。

46、优选地，所述根据所述分类分支的中间层特征对所述回归分支的中间层特征进行通道维度标定，包括：

47、对所述分类分支的中间层特征进行全局空间平均池化操作，获取各通道的全局响应值；

48、将所述全局响应值输入至包含非线性激活函数的全连接网络中进行特征激励，并经过sigmoid函数映射，生成通道维度的重要性增益分数；

49、将所述重要性增益分数与所述回归分支的中间层特征按通道维度进行逐元素相乘，实现对所述回归分支的中间层特征的通道维度重要性标定。

50、优选地，所述根据所述回归分支在各空间位置输出的形状预测向量与预设的基准尺寸矩阵进行运算得到基准尺度和基准宽高比，以所述基准尺度和所述基准宽高比作为预测框尺寸解码基准，结合所述回归分支输出的回归偏移量解码得到预测框，包括：

51、对所述回归分支标定后的中间层特征进行特征映射处理，得到在各空间位置输出的形状预测向量；

52、从参数库中获取通过网络训练得到的表示对象基准尺度和外观边界标准比例的基准尺寸参数矩阵作为所述基准尺寸矩阵；

53、将各空间位置输出的形状预测向量分别与所述基准尺寸矩阵进行矩阵乘法运算，并对矩阵乘法运算结果进行正值映射处理，获得当前空间位置对应的基准尺度和基准宽高比；

54、基于所述基准尺度和所述基准宽高比计算得到基准绝对宽度和基准绝对高度，以各空间位置对应的网格中心坐标作为中心位置基准，并以所述基准绝对宽度和所述基准绝对高度作为尺寸基准，结合所述回归偏移量中的中心偏移量和尺寸缩放偏移量，解码得到预测框的位置坐标和尺寸信息。

55、优选地，所述基于非极大值抑制对预测概率和所述预测框进行后处理，得到最终的箱内设备状态视觉检测结果，包括：

56、根据设定的置信度阈值过滤所述预测概率低于所述阈值的候选预测框，并按照各候选预测框的最高概率类别建立类别判定列表；

57、针对每一个类别判定列表，将剩余候选预测框加入对应的初始保留集合，按照预测概率对所述初始保留集合中的候选预测框进行降序排列，取出得分最高的候选预测框移入最终保留库；

58、计算同一类别判定列表中剩余候选预测框与所述得分最高的候选预测框的交并比，移除交并比大于设定重叠阈值的候选预测框；

59、循环执行取出最高得分预测框和移除重叠预测框的操作，直至所述初始保留集合为空，输出最终保留库中的检测类别和边界框位置信息作为所述最终的箱内设备状态视觉检测结果。

60、本发明具有如下优点：

61、通过对箱内图像进行多层级特征提取，并基于加权机制融合不同尺度下的语义信息与细节信息，能够提高复杂箱内背景下对异物及设备可见状态区域的感知能力。在检测过程中，利用分类分支与回归分支之间的双向交互标定，使分类特征参与回归特征的通道标定，并使回归特征参与分类特征的空间标定，从而缓解分类判断与边界框定位不匹配的问题。此外，通过形状预测向量与基准尺寸矩阵运算得到适配当前目标形态的基准尺度和宽高比，并结合回归偏移量完成预测框解码，减少固定锚框对多样化目标形态的限制。因此，可以提高电能计量箱箱内异物及设备可见状态检测的准确性和可靠性。