一种在运电表阻塞异常检测分析的方法与流程

1.本发明属于电表车间工况检测技术领域，更具体地说，是涉及一种在运电表阻塞异常检测分析的方法。


背景技术：

2.电表生产线中，会有多条电表运输轨道，不同运输轨道互相交错，并且有各自的运行方向。电表在导轨上的运行过程中经常会发生长时间的阻塞、停滞现象，严重的情况下会影响整个生产线的效率，此时便需要发出警报使工作人员介入疏通运行路径。一般情况下工作人员需要紧盯监控录像来判断是否存在阻塞异常，再进行进一步操作，长时间对多个监控录像的观测效率低下并且浪费时间，极大地增加了人力成本，不利于电表生产线的管理提升和质量提高，无法实现计量资产降本增效的管理目标。


技术实现要素：

3.本发明提供了一种在运电表阻塞异常检测分析的方法，通过对在运电表阻塞异常自动化辨别分析的梳理，对电表数据进行分析，实现对在运电表运行过程的管控，及时处理异常信息，提升流水线运作效率，提高工作质量。辅助对各级单位提出资产管控、资产物流等方面的管理策略及问题整改要求，全面支撑各单位的业务转型升级，全面深化“放管服”，为各级单位提供技术支持。
4.为实现上述目的，本发明采用的技术方案是：提供一种在运电表阻塞异常检测分析的方法，包括以下步骤：
5.步骤一、数据准备：从监控系统中采集在运电表运行过程的视频数据；
6.步骤二、数据预处理：将采集的视频进行采样，抽取一定量的视频图像，筛选出适合训练学习的图像，进行标注，处理成模型能够使用的数据；
7.步骤三、模型训练：使用步骤二中的数据进行模型训练，学习如何识别在运电表目标；
8.步骤四、部件定位与追踪：使用步骤三学得的模型进行定位，并结合跟踪算法进行目标部件的跟踪；
9.步骤五、异常状态分析：使用步骤四的执行结果进行在运部件的运行状态分析，检测异常情况。
10.在一种可能的实现方式中，将预处理得到的数据集中的70％分给训练集s，20％分给验证集e，10％分给测试集t。
11.在一种可能的实现方式中，利用改进的rfb网络进行训练，得到部件识别模型。
12.在一种可能的实现方式中，将部件识别模型与mosse跟踪器结合进行部件追踪。
13.在一种可能的实现方式中，对追踪结果进行优化，输出在运电表追踪信息。
14.在一种可能的实现方式中，通过在运电表阻塞异常分析模型把导轨上发生阻塞位置的电表筛选出来，并输出异常分析信息。
15.在一种可能的实现方式中，将发生阻塞异常的电表显示在实时画面中，作为最终的显示结果。
16.在一种可能的实现方式中，将所有在运电表数据记录到历史数据库中，利用大数据分析模型进行分析，得到在运电表运行时的统计信息，优化产线问题。
17.在一种可能的实现方式中，在发生阻塞异常时，根据统计信息，对阻塞位置进行优先级排序，判断出需要最优先处理的阻塞位置。
18.在一种可能的实现方式中，发生阻塞异常时，启动异常后处理系统，即在相应监控机位开启人脸识别系统，发送任务工单至现场工作人员，识别定位工作人员到故障区域处理阻塞异常，实现智能化管理。
19.本发明提供的一种在运电表阻塞异常检测分析的方法的有益效果在于：与现有技术相比，本发明通过对在运电表阻塞异常自动化辨别分析的梳理，对电表数据进行分析，对电表生产线状态进行精准判断，整个分析过程无需人工监控与干预，减少大量人工上报工作，提升工作效率，可以更加精确的对在运电表生产线进行管理。对在运电表运行历史数据的数据分析，提升了生产线排障效率，实现了智能化故障报警后处理机制，形成了异常检测到异常处理的一个完整方案。
附图说明
20.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1为本发明实施例提供的一种在运电表阻塞异常检测分析的方法的流程图；
22.图2为本发明实施例提供的一种在运电表阻塞异常检测分析的实施部署图。
具体实施方式
23.为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
24.请参阅图1，现对本发明提供的一种在运电表阻塞异常检测分析的方法进行说明。所述一种在运电表阻塞异常检测分析的方法，包括以下步骤：
25.步骤一、数据准备：从监控系统中采集在运电表运行过程的视频数据；
26.步骤二、数据预处理：将采集的视频进行采样，抽取一定量的视频图像，筛选出适合训练学习的图像，进行标注，处理成模型能够使用的数据；
27.步骤三、模型训练：使用步骤二中的数据进行模型训练，学习如何识别在运电表目标；
28.步骤四、部件定位与追踪：使用步骤三学得的模型进行定位，并结合跟踪算法进行目标部件的跟踪；
29.步骤五、异常状态分析：使用步骤四的执行结果进行在运部件的运行状态分析，检测异常情况。
30.在一些实施例中，将预处理得到的数据集中的70％分给训练集s，20％分给验证集e，10％分给测试集t。
31.在一些实施例中，利用改进的rfb网络进行训练，得到部件识别模型。
32.在一些实施例中，将部件识别模型与mosse跟踪器结合进行部件追踪。
33.在一些实施例中，对追踪结果进行优化，输出在运电表追踪信息。
34.在一些实施例中，通过在运电表阻塞异常分析模型把导轨上发生阻塞位置的电表筛选出来，并输出异常分析信息。
35.在一些实施例中，将发生阻塞异常的电表显示在实时画面中，作为最终的显示结果。
36.在一些实施例中，将所有在运电表数据记录到历史数据库中，利用大数据分析模型进行分析，得到在运电表运行时的统计信息，优化产线问题。
37.在一些实施例中，在发生阻塞异常时，根据统计信息，对阻塞位置进行优先级排序，判断出需要最优先处理的阻塞位置。
38.在一些实施例中，发生阻塞异常时，启动异常后处理系统，即在相应监控机位开启人脸识别系统，发送任务工单至现场工作人员，识别定位工作人员到故障区域处理阻塞异常，实现智能化管理。
39.本发明提供的一种在运电表阻塞异常检测分析的方法，与现有技术相比，本发明通过对在运电表阻塞异常自动化辨别分析的梳理，对电表数据进行分析，对电表生产线状态进行精准判断，整个分析过程无需人工监控与干预，减少大量人工上报工作，提升工作效率，可以更加精确的对在运电表生产线进行管理。对在运电表运行历史数据的数据分析，提升了生产线排障效率，实现了智能化故障报警后处理机制，形成了异常检测到异常处理的一个完整方案。
40.一种在运电表阻塞异常检测分析的方法的硬件部署主要由监控摄像、服务器端、前端管理三个部分组成。
41.实施过程首先进行图像采集步骤，即通过监控摄像采集实时在运电表图像数据，将数据传输到服务器中。
42.服务器端是整个系统的中枢神经，负责三个主要功能的正常运行：在运电表检测跟踪与异常分析、电表异常结果数据分析、人脸识别。
43.在运电表检测跟踪与异常分析包含在运电表的历史图像数据、检测跟踪模型和异常分析模型，在服务器中对传入的实时电表数据进行检测处理，得到跟踪结果并进行异常分析，将分析日志记录到服务器中存为历史数据利用数据分析模型对异常分析结果数据进行计算得到统计信息。当发现异常时，开启人脸识别系统进行异常后处理监管排障人员到岗情况。
44.在前端界面中，显示服务器处理的各种结果与对应的电表数据图像，供工作人员查看，使阻塞异常能得到及时处理。
45.工作人员能看到在运电表的实时运行图像，及其运行状态，还能查看历史运行信息。并且可以随时开启与关闭该方法，或对该方法进行指定图像区域的运行，实现前端管理的各种功能。
46.如图1所示，本文发明提出的在运电表阻塞异常检测分析的方法的模型框架，其包
括在运电表识别模型，在运电表追踪模型，在运电表异常状态判断机即异常分析模型，数据分析模型以及异常后处理模型。在运电表阻塞异常检测模型基本框架。
47.首先利用监控摄像机对在运电表数据进行样本采集，对采集的电表数据进行标注，然后使用深度学习训练生成电表识别模型用于在运电表的识别；
48.在识别的基础上，将识别模型作为跟踪器的先验输入信息，每隔固定的时间刷新跟踪器的跟踪目标，使每个在运电表都能被稳定追踪；
49.根据异常状态机模型，根据每个在运电表的跟踪状态信息进行分析，判断是否阻塞；
50.将运行异常的在运电表标记出来，根据大数据分析模型分析出需要优化的产线问题；
51.通过异常后处理模块发送工作任务单至现场工作人员，并识别定位现场工作人员处理异常，确保异常得到及时处理。
52.根据在运电表运行规律以及任务目的分析之下，首先需要先识别出摄像机机位下采集到的图像中的电表目标。
53.识别方案采取主流深度学习目标检测方案，在此基础上，根据监控摄像实时性的需求，还需采用轻量级深度学习识别网络的设计。
54.当前二阶段网络已经获得较好的准确率，然而因为特征来源于更深层的网络，计算成本庞大所以速度较慢；一阶段网络为了加速检测而没有使用目标候选区域过程，因而牺牲了准确率。
55.因此，建立一个快且强力的检测器，应该对轻量级网络加上人为设计的部分而不是顽固地加深模型。
56.受人类视觉系统的启发，轻量级检测网络模型rfb网络(receptivefield block net)应运而生，并在实时性和准确性上表现优异。
57.rfb是一个多分支的卷积模块，其内部结构包含两部分：1)不同卷积核尺度的多分支卷积层；2)虫洞卷积操作，用于模拟人类视觉感知的感受野。最后实验中，在voc和coco数据集上获得了实时处理速度，并通过将其连接到mobilenet证明其通用能力。
58.在电表阻塞异常检测任务中，需要对电表数据进行采集标注，将标注后的数据迁移到rfb网络进行训练。
59.由于原始的rfb模型参数量有36.5m，仍然需要对网络进行设计减少参数量，并同时对网络进行微调。
60.对于卷积神经网络，每个卷积层的参数量计算如下：
61.params＝c0×
(kw×
kh×ci
1)
62.其中c0表示输出通道数，ci表示输入通道数，kw表示卷积核宽，k_h表示卷积核高， 1表示偏置。
63.每个卷积层的运算量计算如下：
64.flops＝[(kw×
kh×ci
) (kw×
kh×ci-1) 1]
×
c0×w×h[0065]
flops是英文floating point operations的缩写，表示浮点运算量，括号内的值表示卷积操作计算出特征图中一个点所需要的运算量(乘法和加法)。
[0066]
根据上述卷积计算公式可以看出，深度学习网络的计算量主要受通道数、卷积核
大小影响，因此本方案为了轻量化整个网络结构对原始网络进行了如下改进：
[0067]
(1)在维持精度的前提下减少参数量，轻量化模型：削减冗余通道数，减少卷积数目；
[0068]
(2)提高计算效率与参数利用率，使用1x1卷积代替3x3卷积计算，并对网络重新调参训练；
[0069]
(3)对电表长宽比及大小进行聚类分析，生成自适应的初始化锚点，减少冗余的锚点，提高识别的准确率与精确度。
[0070]
通过以上方法，实现了一个参数量只有0.99m的识别模型，同时还能达到理想的准确率，速度可以达到200fps，实现了实时的在运电表识别。
[0071]
在实时识别在运电表的基础上建立电表跟踪器，将训练好的电表识别模型作为跟踪器的先验输入，对每个追踪目标进行编号，并设置一定的间隔时间进行重新识别来刷新视野中的新电表。
[0072]
跟踪器采用相关滤波跟踪器作为内核，相关滤波跟踪器就是通过互相关来定位目标当前帧所在位置的。响应图最大值对应的位置即为当前时刻预测的目标位置。
[0073]
在跟踪过程中由于电表本身摆放问题会出现两个挨着的表盘中间出现假阳性目标框的问题。
[0074]
对此问题进行分析后本发明重新设计了极大值抑制的算法规则，在原有的交并比阈值过滤的基础上增加了新的过滤准则，该过滤准则会计算每个框与其有交集的所有目标框的交集总和与该目标框的比例，即若该目标框被其他目标框侵占过多面积就会被该过滤准则过滤。
[0075]
本方法设计的过滤准则公式：
[0076][0077]
其中，bboxi代表所有与bboxa有交集的检测框区域。
[0078]
阻塞异常分运动目标的阻塞与固定点的阻塞。运动目标的阻塞分析中，经过追踪算法，已经获得了每一帧图像的所有电表的位置信息及其序号，阻塞异常的分析需要对连续帧的所有目标追踪信息进行分析判断，使用前后帧交并比作为目标是否移动的依据，若某一段时间的连续帧中的某个目标的交并比均大于某个阈值，判定为部件状态为静止，当连续3秒该部件都处于静止状态就判定该在运部件发生阻塞异常，设置该电表目标的状态为异常，并发出警报，若该目标开始运动，则将状态重新变为正常，停止警报。
[0079]
固定点的阻塞基于运动目标的阻塞异常分析之上，比如若要在在运电表的导轨交界处判断是否在该处发生阻塞，首先需要人工在指定位置设置预选框，两个固定检测区域，利用该预选框与在运电表追踪目标框进行交并比计算，若交并比达到某一阈值则判定该电表运行到了指定位置，若该电表框的状态为阻塞异常，则令指定位置的状态也为异常，发出警报。
[0080]
本发明记录在运电表数据分析模型对历史中的每一个追踪到的电表信息进行记录，记录的数据有序号、起始时间、帧数、异常点位、位置坐标，通过对每个异常数据，结合产线相应的运行数据，包括运行速度，连续运行时长，进行多数据源聚类分析，得到异常的统计分布规律，以优化产线流程。本发明提出了一种聚类质量指数，来进行自适应的聚类类别
数量的计算，参照表1。
[0081]
表1在运电表历史数据表
[0082][0083][0084]
聚类分析的流程包括：
[0085]
step1：将不同源的数值数据进行归一化操作
[0086]
step2：分别设置聚类类别数量k，例如2，3,4,5,6，
……
[0087]
step3：针对上述的聚类数量k，分别进行k-means聚类，同时计算聚类质量指数，计算公式如下：
[0088]
聚类质量指数＝∑k；第k类内平均中心距离。
[0089]
step4:对不同类别的聚类质量指数进行排序，选择质量指数最低的k作为最终的聚类类别数。
[0090]
step5：输出该聚类条件下，样本最多的类别作为输出，供产线优化参考。
[0091]
异常后处理模块主要用于发送异常信息至工作人员进行问题解决，并对工作流程进行监控，在发出异常警报后，在报警的摄像头区域内启动人脸识别系统，监测是否有工作人员进入异常区域进行故障排查，并反馈人员应答时间，实现智能化的人员监督与管理。
[0092]
主要流程如下：
[0093]
step1：发送短信/派送工单至工作人员；
[0094]
step2：调取对应工作人员注册的人脸信息；
[0095]
step3：在厂区摄像头中检测和识别该人员的人脸并跟踪轨迹；
[0096]
step4：判断该工作人员到达异常发生地点的时间，若时间超过指定阈值或未到岗，则进行系统记录和提醒。
[0097]
本发明具有以下优点：
[0098]
1、本发明实现了对在运电表的智能识别与跟踪。
[0099]
2、本发明实现了在运电表的状态分析，对电表生产线状态进行精准判断。
[0100]
3、本发明整个分析过程无需人工监控与干预，减少大量人工上报工作，提升工作效率，可以更加精确的对在运电表生产线进行管理。
[0101]
4、本发明实现了对在运电表运行历史数据的数据分析，提升了生产线排障效率。
[0102]
5、本发明实现了智能化故障报警后处理机制，形成了异常检测到异常处理的一个完整方案。
[0103]
请参照图2，一种在运电表阻塞异常检测分析的方法实施部署图，硬件部署主要由
监控摄像、服务器端、前端管理三个部分组成。
[0104]
实施过程首先进行图像采集步骤，即通过监控摄像采集实时在运电表图像数据，将数据传输到服务器中。
[0105]
服务器端是整个系统的中枢神经，负责三个主要功能的正常运行：在运电表检测跟踪与异常分析、电表异常结果数据分析、人脸识别。在运电表检测跟踪与异常分析包含在运电表的历史图像数据、检测跟踪模型和异常分析模型，在服务器中对传入的实时电表数据进行检测处理，得到跟踪结果并进行异常分析，将分析日志记录到服务器中存为历史数据利用数据分析模型对异常分析结果数据进行计算得到统计信息。当发现异常时，开启人脸识别系统进行异常后处理监管排障人员到岗情况。
[0106]
在前端界面中，显示服务器处理的各种结果与对应的电表数据图像，供工作人员查看，使阻塞异常能得到及时处理。工作人员能看到在运电表的实时运行图像，及其运行状态，还能查看历史运行信息。并且可以随时开启与关闭该方法，或对该方法进行指定图像区域的运行，实现前端管理的各种功能。
[0107]
本发明提供了一种在运电表阻塞异常检测分析的方法，通过对在运电表阻塞异常自动化辨别分析的梳理，对电表数据进行分析，实现对在运电表运行过程的管控，及时处理异常信息，提升流水线运作效率，提高工作质量。辅助对各级单位提出资产管控、资产物流等方面的管理策略及问题整改要求，全面支撑各单位的业务转型升级，全面深化“放管服”，为各级单位提供技术支持。
[0108]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。