一种基于YOLO的目标辨识及跟踪方法与流程

一种基于yolo的目标辨识及跟踪方法
技术领域
1.本发明涉及电力设备智能安全管控技术领域，尤其涉及一种基于yolo的目标辨识及跟踪方法。


背景技术：

2.目标检测网络yolo是一种计算机视觉领域的深度学习方法，主要用于单帧图像的检测与识别，相比较基于手工特征的目标检测方法具有更高的检测准确度与更快的检测速度。尽管yolo检测单帧图像具有良好的检测性能，但是在视频检测或图像序列检测过程中，容易受到光照、拍摄角度、目标尺度变化或目标部分遮挡等影响导致检测目标漏检，检测目标不连续，会导致无法通过预测位置判断被跟踪目标是否存在从而导致跟踪失败由于电力设备形态各异，光照条件的变化大，透视失真等原因，基于图像的电力设备很难有一种普适性的算法。对于开合、开合是否到位可采用图像自己匹配或基于特征的匹配方法进行识别。由于仪表形态各异，需要针对不同类型的表计设计几种算法，并根据具体表计和摄像机安装位置等，通过人机交互进行参数校调。
3.例如，一种在中国专利文献上公开的“一种用于电力设备的目标识别方法”，其公告号：cn111402224a，公开了包括建立包含多张电力设备图像的数据集，并对每张电力设备图像包含的电力设备进行标注，以此为输入，对神经网络和贝叶斯网络进行训练学习；利用训练好的神经网络对待识别的电力设备图像进行识别，但是该方案没有考虑到动态变化跟踪辨识。


技术实现要素：

4.为了解决现有技术中电力设备不能同时检测电力设备动态和静态的问题，本发明提供一种基于yolo的目标辨识及跟踪方法，通过第一级检测和第二级检测分别依次对电力设备的静态和动态进行检测，从而进行故障识别判断，能够对减少多种识别算法的混合使用，普适性更强。
5.为了实现上述目的，本发明提供如下技术方案：一种基于yolo的目标辨识及跟踪方法，包括如下步骤：s1、进行第一目标检测，第一目标检测用于检测电力设备；s2、第二目标检测，第二目标检测用于检测电力设备中的动态目标。通过第一级目标检测和第二级目标检测依次对输入的图像进行检测，分别根据不同的识别规则对图像进行识别，实现同时对电力设备动态和静态的识别。
6.作为优选的，s1的实现包括，建立基于深度学习的目标检测模型；进行第一目标检测之前进行数据采集，数据采集包括采集实测数据和对比数据。能够根据实测数据对不同距离、不同时间、不同位置的仪表进行进行采集得到不同光线、不同大小、不同角度、不同干扰的图像，从而得到检测对象不同情况的照片，同时通过对比数据的获取，提高模型的综合识别能力。
7.作为优选的，数据采集包括输入视频数据，在视频数据中进行抽帧、去重得到实测
数据；对实测数据采集关键词，根据关键词随机获取对比数据。对实时获得的视频数据进行预处理，使得更加清楚便于识别，同时根据实时数据获取对比数据，提高训练精确度。
8.作为优选的，数据采集后进行数据集准备，数据集准备的实现包括对所有数据进行标注，在标注后，按照4:1的比例将数据分为训练集和验证集。通过对数据进行标记和分类，获得更准确的训练库。
9.作为优选的，建立基于深度学习的目标检测模型的实现包括，骨干网络在darknet53的基础上使用csp跨空间局部结构和输入分块结构；中间网络采用fpn和pan结构，对图像特征进行融合；头部采用全卷积网络输出图像中表盘区域的位置、尺寸和置信度。能够提高单阶段模型检测的检测效果。
10.作为优选的，建立基于深度学习的目标检测模型的实现还包括，使用mosaic数据增强方法来对训练数据进行在线扩充。能够提高模型的泛化能力，提高模型对多种特点图像的实用性。
11.作为优选的，在线扩充后进行多尺度训练，多尺度训练之后使用余弦退火策略动态调整学习率。建立多尺度训练模型，通过多尺度训练模型训练提高对不同尺寸表盘的检测能力；通过余弦退火策略对学习率进行动态调整，避免学习率过高，提高模型的稳定性和收敛效果。
12.本发明具有如下优点：通过第一级目标检测和第二级目标检测依次对输入的图像进行检测，分别根据不同的识别规则对图像进行识别，实现同时对电力设备动态和静态的识别；便于实现智能化巡检管控，提高巡视效率，提升巡视质量，减少因巡检人员疏忽误判导致的安全事故发生概率。
附图说明
13.下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
14.图1是本发明的方法流程示意图。
15.图2为本发明第二个实施例中远程读数系统流程框图。
具体实施方式
16.以下由特定的具体实施例说明本发明的实施方式，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
17.如图1所示，在一个较佳的实施例中，本发明公开了一种基于yolo的目标辨识及跟踪方法，包括如下步骤：一种基于yolo的目标辨识及跟踪方法，包括如下步骤：s1、进行第一目标检测，第一目标检测用于检测电力设备；s1的实现包括，建立基于深度学习的目标检测模型；进行第一目标检测之前进行数据采集，数据采集包括采集实测数据和对比数据。能够根据实测数据对不同距离、不同时间、不同位置的仪表进行进行采集得到不同光线、不同大小、不同角度、不同干扰的图像，从而得到检测对象不同情况的照片，同时通过对比数据的获取，提高模型的综合识别能力。数据采集包括输入视频数据，在视频数据中进行抽帧、去
重得到实测数据；对实测数据采集关键词，根据关键词随机获取对比数据。数据采集后进行数据集准备，数据集准备的实现包括对所有数据进行标注，在标注后，按照4:1的比例将数据分为训练集和验证集。
18.在使用时，根据动态视频获取实测数据，根据实测数据获取对比数据，根据实测数据和对比数据建立训练库。对输入图像基于该训练库得到的模型进行检测。
19.建立基于深度学习的目标检测模型的实现包括，骨干网络在darknet53的基础上使用csp跨空间局部结构和输入分块结构；中间网络采用fpn和pan结构，对图像特征进行融合；头部采用全卷积网络输出图像中表盘区域的位置、尺寸和置信度。建立基于深度学习的目标检测模型的实现还包括，使用mosaic数据增强方法来对训练数据进行在线扩充。能够提高模型的泛化能力，提高模型对多种特点图像的实用性。在线扩充后进行多尺度训练，多尺度训练之后使用余弦退火策略动态调整学习率。建立多尺度训练模型，通过多尺度训练模型训练提高对不同尺寸表盘的检测能力；通过余弦退火策略对学习率进行动态调整，避免学习率过高，提高模型的稳定性和收敛效果。
20.在使用时，获得训练库后，对训练数据进行在线扩充，调整学习率，建立多尺度训练模型，提高模型的稳定性和精度。
21.s2、第二目标检测，第二目标检测用于检测电力设备中的动态目标。通过第一级目标检测和第二级目标检测依次对输入的图像进行检测，分别根据不同的识别规则对图像进行识别，实现同时对电力设备动态和静态的识别。第二目标检测使用的模型训练过程同第一目标检测的模型训练过程相同。
22.在第二个实施例中，对指针式仪表读数识别算法结构中，基于深度学习的远程识别系统由两级目标检测器构成，示意图如图2所示。第一级目标检测使用常规目标检测模型，第二级目标检测使用旋转目标检测模型。在使用时，通过第常规目标检测模型在输入图像中定位表盘位置,并从输入图像中裁剪出表盘子图；以表盘子图为输入，通过旋转目标检测模型得到子图中所有指针的位置、尺寸和角度，最后使用角度法换算出指针读数。
23.定位表盘位置时，表盘区域的定位可用机器视觉中的深度学习目标检测算法来实现，其骨干网络在darknet53的基础上使用了csp跨空间局部结构和输入分块结构,可以由浅至深提取图像的深度特征；中间网络采用fpn和pan结构，对图像特征进行融合,得到可用于识别图像中表盘区域的融合多尺度特征;头部采用全卷积网络输出图像中表盘区域的位置、尺寸和置信度。
24.定位表盘位置之前的步骤如下；在数据采集阶段,首先使用远程读数系统在现有的电网应用场景中轮询地以不同的距离、不同的时间、不同的位置采集得到不同光线、不同大小、不同角度、不同干扰的视频数据，然后对视频进行抽帧、去重等预处理得到当前应用场景下的图像数据共10000余张。为了增强表盘检测模型的泛化能力，提升模型的扩展性,使其在其他仪表场景中也能有效检测出各类表盘，本文又在互联网上收集了大约4000张各类指针式仪表的图像数据。
25.在数据集准备阶段，可以使用开源工具labelimg对所有图像进行标注，在表盘区域的检测任务中,只需要标注出图像中所有表盘的最小外接矩形框即可。标注完成后按照8:2的比例将数据集划分为训练集和验证集。
26.在模型训练阶段，首先使用mosaic数据增强方法来对训练数据进行在线扩充，进
一步增强模型的泛化能力。然后使用多尺度训练策略增强表盘检测模型对不同大小表盘的检测能力。最后使用余弦退火策略动态调整学习率，以增强模型训练的稳定性和收敛效果。本文在8张v100显卡上使用梯度下降法训练了2000epochs后得到的模型参数在验证集上的map@0.5:0.95高达0.98。
27.虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。