一种基于深度视觉识别的电能表试验异常监测系统及监测方法与流程

本发明涉及图像分析，尤其是涉及一种基于深度视觉识别的电能表试验异常监测系统及监测方法。

背景技术：

1、电表作为电能计量核心设备，其出厂试验、型式试验及现场运维中的异常监测是保障电力计量准确性和安全性的关键环节。

2、目前电表的检测方法主要为人工目视监测、传感器监测和机器视觉监测。

3、人工目视监测是由专业检测人员实时观察电表显示屏的字符显示、符号状态，同时通过肉眼识别是否存在电火花、脉冲灯异常闪烁等情况，手工记录监测结果并判断电表是否正常。这种方法广泛应用于中小规模电表试验中，无需特殊硬件或软件支持。人工目视监测的缺点也非常明显，单人仅能同时监控1-2块电表，大规模测试需大量人力，测试效率不高；并且监测结果受人工主观因素影响，长时间的连续监测工作容易导致疲劳，进一步导致细微变化的识别率大大下降，误判率会明显升高；人工发现电表的异常后，大多只是简单记录和标记，然后将异常电表单独取出，然后统一上报，导致异常电表常常由于监测时记录的情况、数据等不够全面而难以溯源，了解电表异常也是发现电表异常的一段时间后，事件实时性和全面性都不佳。

4、传感器监测和机器视觉监测这两种方法能够缓解人工目视监测的一些弊端。传感器监测是利用电压、电流传感器及简易光学传感器收集电表的电气参数和基本光学信号，基于固定阈值逻辑判断电表是否存在异常（如电压、电流超标）。机器视觉监测是使用基础yolo模型或tesseract ocr等单一目标检测或ocr模型进行监测。这些模型只能处理特定类型的图像或字符识别任务，无法全面覆盖所有监测需求。

5、但是，传感器监测和机器视觉监测也都存在各自的不足：传感器监测的监测范围有限，仅限于电气参数和简单光学信号，无法识别复杂的显示符号或非电气类异常；并且面对不同型号的电表，需要匹配不同的传感器，当电表结构复杂时，匹配的传感器甚至会影响电表的性能。机器视觉监测一般仅针对特定目标，存在监测盲区，并且周围环境光照复杂时，监测效果会有明显下降。

技术实现思路

1、本发明的目的在于提供：

2、一种基于深度视觉识别的电能表试验异常监测系统及监测方法，以解决电表自动异常监测过程中，难以全面精准的进行异常监测的技术问题。

3、术语说明：

4、除非另有定义，否则本文所有科技术语具有的涵义与所属领域技术人员通常理解的涵义相同。除非另有说明，本文全文引用的所有专利、专利发明、公开材料通过引用方式整体并入本文。如果本文对术语有多个定义，以本章的定义为准。

5、应理解，上述简述和下文的详述为示例性且仅用于解释，而不对本发明的主题作任何限制。在本发明中，除非另有具体说明，否则使用单数时也包括复数。还应注意，除非另有说明，否则所用“或”、“或者”表示“和/或”。此外，所用术语“包括”以及其它形式，例如“包含”、“含”和“含有”并非限制性。

6、本文所用的术语“yolov5”，指：目标检测模型yolo系列的第五代版本，用于图像符号、电火花、脉冲灯闪烁等目标的检测。

7、本文所用的术语“pp-ocrv5”，指：百度飞桨轻量级光学字符识别模型第五代版本，用于电表液晶字符的精准识别。

8、本文所用的术语“labelimg”，指：一款开源的图像标注工具，用于目标检测数据集的标注。

9、本文所用的术语“ppocrlabel”，指：基于paddlepaddle开发的ocr专用标注工具，用于字符识别数据集的标注。

10、本文所用的术语“rtsp”，指：real time streaming protocol（实时流传输协议），用于获取摄像头实时视频流。

11、本文所用的术语“必现符号”，指：用户根据试验标准指定的、电表正常工作时必须在显示屏上出现的符号（如电源符号、计量符号）。

12、本文所用的术语“禁止符号”，指：用户指定的、电表正常工作时不得出现的符号（如告警符号、欠压符号）。

13、本文所用的术语“结构化识别数据”，指：将yolov5模型的检测结果（目标类别、位置、置信度）和pp-ocrv5模型的识别结果（字符文本、位置、置信度）按统一格式整理后的标准化数据。

14、本文所用的术语“epoch（训练轮次）”，指：完整遍历训练数据集一次的过程。

15、本文所用的术语“batch size（批次大小）”，指：模型训练单次输入的样本数。

16、本文所用的术语“sgd（stochastic gradient descent）”，指：随机梯度下降优化器，通过梯度更新参数。

17、本文所用的术语“adamw”，指：带权重衰减的adam优化器，防止模型过拟合。

18、本文所用的术语“iou（intersection over union）”，指：交并比，检测框定位精度评估指标。

19、本文所用的术语“ciou loss”，指：完全交并比损失函数，优化检测框回归精度。

20、本文所用的术语“ctcloss”，指：连接主义时间分类损失函数，适配不定长序列识别。

21、第一方面，本发明提供了：一种基于深度视觉识别的电能表试验异常监测方法，包括如下步骤：

22、数据采集，获取视频流，截取图像，为图像添加元数据标签；

23、目标检测模型识别图像中不同类别的区域，ocr模型对图像中的文本进行识别，生成结构化数据；

24、规则引擎根据预定义的规则和语义识别结果，结合结构化数据判断电表是否异常，并记录异常信息；

25、存储视频流、图像、结构化数据和异常信息。

26、基于对本发明的技术问题的进一步解决或同时解决多个技术问题，在本发明第一方面所提供的技术方案中，优选方案包括：

27、第一项优选方案：

28、目标检测模型识别图像中不同类别的区域具体为：

29、目标检测模型对图像中的关键目标进行实时识别，输出关键目标的类别、坐标和第一置信度。

30、第二项优选方案：

31、ocr模型对图像中的文本进行识别具体为：

32、ocr模型提取图像中液晶图形符号区域的字符，输出文本、位置和第二置信度。

33、该技术方案构建目标检测模型与ocr模型的协同联动机制，通过模型接口标准化适配、识别结果结构化融合，首次实现电表试验监测中“图像符号、电火花、脉冲灯闪烁、液晶字符文本”四类核心目标的全覆盖精准识别，确保监测全面性与精准性，在解决了技术问题“电表自动异常监测过程中，难以全面精准的进行异常监测”的基础上，进一步解决了技术问题“传统单一模型仅能识别单一类型目标、监测存在盲区”。

34、第三项优选方案：

35、规则引擎根据预定义的规则和语义识别结果，结合结构化数据判断电表是否异常具体为：

36、形态层：规则引擎基于液晶物理特征与像素特征初步分割；

37、语义层：通过语义匹配算法根据语义边界规则库，按单词完整度、时间格式完整性、单位与数值关联性，对基础文本片段拆分合并，形成独立文本单元；

38、将文本单元与二维坐标和识别置信度关联；

39、异常事件直接判定，

40、液晶符号合规性精准校验，

41、液晶字符排布自适应校验，

42、多级阈值分级告警联动。

43、第四项优选方案：

44、规则引擎基于液晶物理特征与像素特征初步分割具体为：

45、提取文本像素连通域，通过自适应像素间距阈值划分独立字符块；

46、依据液晶行列排布规律，识别行/列边界，将连续字符块划分为基础文本片段。

47、第五项优选方案：

48、液晶符号合规性精准校验具体为：

49、调用配置的符号规则库，遍历文本单元中的符号并精准比对，存在“必现符号缺失”或“禁止符号出现” 时，标记为警告事件；

50、液晶字符排布自适应校验具体为：

51、调用液晶标准字符排布规则库，将文本单元实际坐标转化为相对比例值，与标准比例比对，超出偏差阈值则判定为“位置异常”，无标准比例匹配则判定为“非法字符”，均标记为警告事件。

52、第六项优选方案：

53、多级阈值分级告警联动具体为：

54、液晶符号合规性精准校验和液晶字符排布自适应校验标记的警告事件按照“异常频次阈值”、“持续时间阈值”进行二次判定 ，满足阈值条件则升级为正式异常事件，按严重程度触发多渠道告警。

55、第七项优选方案：

56、预定义的规则包括：必现符号、禁止符号、数值范围、异常事件，其中异常事件优先校验。

57、该技术方案设计支持多类型规则、多优先级排序、逻辑运算符组合的可视化规则配置模块，用户可根据不同电表型号、试验标准灵活配置必现符号校验、禁止符号拦截、数值范围合规、异常事件频次及异常持续时长阈值等规则，适配率达98%，在解决了技术问题“电表自动异常监测过程中，难以全面精准的进行异常监测”的基础上，进一步解决了技术问题“传统监测系统规则固定僵化、适配性差”。

58、第二方面，本发明提供了：一种基于深度视觉识别的电能表试验异常监测系统，用于执行上述的基于深度视觉识别的电能表试验异常监测方法，包括硬件层、应用层、算法层和数据层，

59、硬件层包括图像采集设备；

60、应用层包括：

61、配置管理模块，负责统一管理系统、模型、采集及告警参数，支持可视化配置与实时生效，

62、数据采集模块，负责电表实时视频流记录和定时图像采集，采集后直接将处理后的图像输入已部署的双模型api进行识别，

63、告警模块，用于推送警告，

64、数据查询模块，负责历史数据多维度查询、筛选与导出；

65、算法层包括：

66、目标检测模型模块，基于预训练目标检测模型，提供电表关键目标实时识别，

67、ocr模型模块，基于预训练ocr模型，提取电表液晶字符，

68、规则引擎模块，通过规则引擎根据预设的规则，基于双模型识别结果的正向推理与异常判定；

69、数据层包括数据存储模块。

70、该技术方案构建“高清摄像头实时采集+双模型并行快速识别+规则引擎即时判定+多渠道同步告警+全量数据分类存储”的端到端一体化闭环流程，异常告警响应时间≤1秒，较传统分钟级响应技术实现效率质的飞跃；同时通过“原始图像+结构化识别数据+告警记录”的全量存储设计，支持异常事件的全流程追溯，在解决了技术问题“电表自动异常监测过程中，难以全面精准的进行异常监测”的基础上，进一步解决了技术问题“传统技术响应滞后、追溯困难”。

71、基于对本发明的技术问题的进一步解决或同时解决多个技术问题，在本发明第一方面所提供的技术方案中，优选方案包括：

72、第一项优选方案：

73、图像采集设备安装在电表正上方0.5-2m处，镜头中轴线对齐电表显示屏中心，覆盖显示屏及接线端子。

74、本发明至少具有如下有益效果：

75、1.与现有技术相比，本发明在监测覆盖完整性方面，具有更好的技术效果：

76、首次全量识别“图像符号、电火花、脉冲灯闪烁、字符文本”四类目标，适配50余种电表型号，较现有技术（平均覆盖≤2类）提升100%。这一优势源于“双模型协同识别架构（覆盖多类型目标）+多场景训练数据集（适配不同型号）+高清摄像头（覆盖关键区域）”的技术组合，彻底消除传统技术盲区。

77、2.与现有技术相比，本发明在识别精准度方面，具有更好的技术效果：

78、综合准确率≥95%、误判率≤5%，较现有技术最低误判率（8%）降低3个百分点，降幅达37.5%。通过优化双模型训练参数、图像预处理（含去噪、亮度调节、对比度调节）及采用高清采集设备，有效解决传统技术中存在的漏判、误判问题。

79、3.与现有技术相比，本发明在环境与设备适配性方面，具有更好的技术效果：

80、双模型经多光照场景专项训练，配套摄像头参数支持灵活调节，规则引擎提供自定义配置功能，在不同光照条件下综合准确率仍≥95%，电表型号适配率达98%；相较于现有技术（准确率60%-70%、适配率≤20%），显著打破“光照敏感、型号适配性差”的技术限制。

81、4.与现有技术相比，本发明在数据追溯完整性方面，具有更好的技术效果：

82、系统全量存储“原始图像+结构化识别数据+告警记录”，并关联元数据标签，查询响应≤1秒、默认留存180天，追溯成功率100%，较现有技术最高水平（60%）提升67%，实现异常事件100%复现核查。

83、5.与现有技术相比，本发明在规则执行灵活性方面，具有更好的技术效果：

84、规则引擎可视化配置界面支持必现符号校验、禁止符号拦截、数值范围合规、异常事件阈值等多种规则类型，支持逻辑组合与优先级排序，规则更新响应≤1秒，较现有技术（最多支持2种固定规则）大幅提升适配灵活性。