一种面向变电站巡检的表计识别方法与流程

1.本发明涉及表计识别技术领域，具体来说，涉及一种面向变电站巡检的表计识别方法。


背景技术：

2.当前，为保证变电站各项设备正常运作，监控变电站各项设备指标数值和状态，变电站日常巡检是一项非常重要的工作，其中对表计设备进行读数和抄录是该工作重要的一环。传统的人工表计读数和抄录工作由专门的运维人员进行操作，不仅工作繁琐复杂、容易出错，还存在无法实时监控、统计困难以及不安全等问题。
3.随着数字化智能化在各行各业迅速发展，人工智能技术在各个场景领域大放异彩，而将人工智能技术运用在表针设备的读数和抄录的技术尚不完善，需要提供更安全可靠的对变电站表计读数的方法进行准确快速的识别。
4.针对相关技术中的问题，目前尚未提出有效的解决方案。


技术实现要素：

5.针对相关技术中的问题，本发明提出一种面向变电站巡检的表计识别方法，以克服现有相关技术所存在的上述技术问题。
6.为此，本发明采用的具体技术方案如下：一种面向变电站巡检的表计识别方法，包括该表计识别方法包括以下步骤：s1、采集表计图像；s2、检测表计图像的特征点，并与表计模板图像进行匹配；s3、表计指针指向计算；s4、分析指针读数并结构化输出。
7.进一步的，所述采集表计图像还包括以下步骤：s11、配置并连接前端拍摄设备，对拍摄设备进行远程操控；s12、调用可拍摄到表计的设备，通过改变设备角度和焦距，对准表计表盘进行对焦，配置可清晰成像的拍摄点位并记录；s13、配置拍摄点位的表计类型；s14、调用拍摄点位的拍摄设备，通过图片抓拍或视频流拉取解析的方式，获取该点位的初始表计图像；s15、对初始表计图像进行解码和预处理，获取表计图像，并将表计图像送入下游模块进行分析和识别。
8.进一步的，所述检测表计图像的特征点，并与表计模板图像进行匹配还包括以下步骤：s21、通过表计拍摄点位采集表计图像和表计类型，并基于标记类型从表计模板图像库中检索对应的表计模板图像；
s22、将表计图像与表计模板图像送入图神经网络特征匹配模块中，并计算两者的特征点及对应关系；s23、将表计图像与表计模板图像进行匹配并对齐，输出对齐后的表计图像；s24、从表计模板配置中获取表计图像各组件的坐标区域位置；其中，表计图像各组件包括表盘、刻度、中心及指针。
9.进一步的，所述将表计图像与表计模板图像送入图神经网络特征匹配模块中，并计算两者的特征点及对应关系还包括以下步骤：s221、分别将表计采集图像x1和表计模板图像x2的进行resize成卷积神经网络匹配的输入尺寸w
×
h并进行归一化后，输入卷积神经网络模型；s222、提取表计采集图像xa的特征点与描述子；s223、提取表计模板图像xb的特征点与描述子；s224、构建编码器多层感知机，将和嵌入多层感知机中学习高维特征，并将学习得到的高维特征向量更新至原来的描述子。
10.进一步的，所述学习的公式如下：其中，符号表示赋值操作，左边为赋值操作后更新的描述子，右边为更新前的描述子，为多层感知机编码器，为特征点。
11.进一步的，所述构建编码器多层感知机，将和嵌入多层感知机中学习高维特征，并将学习得到的高维特征向量更新至原来的描述子还包括以下步骤：s2241、引入多头注意力机制和图神经网络结构；s2242、通过控制图神经网络的输入对与 分别实现自注意力机制和交叉注意力机制；s2243、通过循环交替输入，学习并更新图像xa的描述子其中，为两个节点都对应同一个图像内描述子构成的边；为两个节点分别对应两个图像中的描述子构成的边。
12.进一步的，所述循环交替输入的公式如下：其中，表示基于构建的图神经网络；和分别为图像xa上第个特征点在上第和层计算输出的中间结果；表示聚合特征点的描述子。
13.进一步的，所述表计指针指向计算还包括以下步骤：s31、基于表计模板图像，可获取对齐后表计图像的指针位置区域和表盘中心点；s32、以指针位置区域为构建二值模板；
s33、以二值模板为模板获取指针位置区域图像；s34、通过自适应二值化方法计算指针位置区域图像的二值图。
14.进一步的，所述自适应二值化方法计算包括间接计算与直接计算；其中，所述间接计算包括：在二值图区域进行直线检测，以找到表计的指针线段；采用了edlines直线检测方法，检测出最长的线段；当获取了指针线段后，即可通过构建方程组，计算直线与刻度线区域的交点；所述直接计算包括以下步骤：已知表盘中心点，刻画从表盘中心点出发到二值图每个像素点的延长线；计算表盘中心点指向二值图每个像素点落到刻度线区域的投影点；通过投影点聚集分析，即可得到表计指针指向的刻度线区域的交点。
15.进一步的，所述分析指针读数并结构化输出还包括以下步骤：s41、获取表计模板图配置的刻度线区域和刻度点坐标及数值；s42、通过对交点和配置的刻度点进行近似插值计算，并得到表计指针指向交点的近似读数；s43、读数结果结构化输出到系统，并记录后续的统计分析。
16.本发明的有益效果为：1、本发明采用的智能表计识别方法，能在日常电网巡检工作中，实现自动准确的表计读数识别，并简单方便进行记录统计和数据分析，不仅能降低人工抄表的运维人力成本，同时还能有效提升效率和可靠性。
17.2、本发明利用深度学习方法构建多层感知机和图神经网络模型，相比传统的特征匹配方法如sift和orb等，不仅能提取到特征点高维向量的表达信息，而引入自注意力机制和交叉注意力机制，能更好的学习特征点内在和外在的联系和对应关系，进一步增强特征点深层次的信息表达能力。
18.3、本发明构建了一个持续学习的深层特征检测匹配模型，可以针对电网巡检场景的表计设备图像构建训练数据集，使模型适应真实场景下进行学习，持续提升模型在该场景下的准确率，这也是传统特征匹配方法所做不到的特点。
19.4、本发明采用的表计设备指针指向计算方法，相比于传统方法采用的hough line或lsd直线检测方法，不仅采用了新的edlines直线检测方法，同时引入的投影点密集计算和分析的方法，相比直线检测方法，在实际场景中具有更优的鲁棒性。
附图说明
20.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1是根据本发明实施例的一种面向变电站巡检的表计识别方法的流程图；图2是根据本发明实施例的一种面向变电站巡检的表计识别方法中表计图像特征点检测与匹配模块功能流程图；
图3是根据本发明实施例的一种面向变电站巡检的表计识别方法中图神经网络模型特征点检测与匹配模块功能流程图；图4是根据本发明实施例的一种面向变电站巡检的表计识别方法中表计设备指针指向计算流程图。
具体实施方式
22.为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
23.根据本发明的实施例，提供了一种面向变电站巡检的表计识别方法。
24.现结合附图和具体实施方式对本发明进一步说明，如图1-图4所示，根据本发明实施例的面向变电站巡检的表计识别方法，包括该表计识别方法包括以下步骤：s1、采集表计图像；在一个实施例中，所述采集表计图像还包括以下步骤：s11、配置并连接前端拍摄设备，对拍摄设备进行远程操控；s12、调用可拍摄到表计的设备，通过改变设备角度和焦距，对准表计表盘进行对焦，配置可清晰成像的拍摄点位并记录；s13、配置拍摄点位的表计类型；s14、调用拍摄点位的拍摄设备，通过图片抓拍或视频流拉取解析的方式，获取该点位的初始表计图像；s15、对初始表计图像进行解码和预处理，获取表计图像，并将表计图像送入下游模块进行分析和识别。
25.s2、检测表计图像的特征点，并与表计模板图像进行匹配；在一个实施例中，所述检测表计图像的特征点，并与表计模板图像进行匹配还包括以下步骤：s21、通过表计拍摄点位采集表计图像和表计类型，并基于标记类型从表计模板图像库中检索对应的表计模板图像；s22、将表计图像与表计模板图像送入图神经网络特征匹配模块中，并计算两者的特征点及对应关系；s23、将表计图像与表计模板图像进行匹配并对齐，输出对齐后的表计图像；s24、从表计模板配置中获取表计图像各组件的坐标区域位置；其中，表计图像各组件包括表盘、刻度、中心及指针。
26.在一个实施例中，所述将表计图像与表计模板图像送入图神经网络特征匹配模块中，并计算两者的特征点及对应关系还包括以下步骤：s221、分别将表计采集图像x1和表计模板图像x2的进行resize成卷积神经网络匹配的输入尺寸w
×
h并进行归一化后，输入卷积神经网络模型；s222、提取表计采集图像xa的特征点与描述子；
s223、提取表计模板图像xb的特征点与描述子；s224、构建编码器多层感知机，将和嵌入多层感知机中学习高维特征，并将学习得到的高维特征向量更新至原来的描述子。
27.在一个实施例中，所述学习的公式如下：其中，符号表示赋值操作，左边为赋值操作后更新的描述子，右边为更新前的描述子，为多层感知机编码器，为特征点。
28.在一个实施例中，所述构建编码器多层感知机，将和嵌入多层感知机中学习高维特征，并将学习得到的高维特征向量更新至原来的描述子还包括以下步骤：s2241、引入多头注意力机制和图神经网络结构；s2242、通过控制图神经网络的输入对与分别实现自注意力机制和交叉注意力机制；s2243、通过循环交替输入，学习并更新图像xa的描述子；其中，为两个节点都对应同一个图像内描述子构成的边；为两个节点分别对应两个图像中的描述子构成的边。
29.在一个实施例中，所述循环交替输入的公式如下：其中，表示基于构建的图神经网络；和分别为图像xa上第个特征点在上第和层计算输出的中间结果；表示聚合特征点的描述子。
30.在具体应用时，经过l（多次）次运算后，通过线性投影最终获得匹配描述子，同理可计算得到；其中，w与b分别为线性变换的权重和偏置，ya和yb分别为gnn在图像xa和图像xb上计算得到的最终结果，fa和fb分别为用于后续特征点匹配计算的匹配描述子。
31.接下来需要构建得分矩阵和分配矩阵，对于分配矩阵，其含义可理解为图像xa的m个特征点和图像xb的n个特征点的“软”邻接矩阵，最终可以获得所有特征点的匹配关系；为了计算，首先计算得分矩阵，令，表示匹配描述子fa的第个元素和fb的第个元素的内积,对于一般的图匹配流程，可以借鉴最有传输原理，最大化代价函数计算分配矩阵：其中，最大化代价函数计算分配矩阵的计算公式如下：
并约束的每一行每一列求和为1，实现“软”邻接矩阵的获得；对于一次模型推理，到这一步可以由分配矩阵计算图像xa和图像xb的匹配关系，并可将图像xa以图像xb为模板进行变换，实现两者对齐校正；但如果在模型训练阶段，可以基于标定的真值（ground true，简称gt），通过最小化分配矩阵的负对数似然函数，计算模型的损失函数，通过梯度反向传播进行模型训练，更新模型各个参数权值；通过构建可学习的特征匹配模型，不仅通过多层感知机学习到特征点的高维表达，以图神经网络为载体引入自注意力机制和交叉注意力机制，能更好的学习特征内在和外在的深层次表达能力，同时可采集实际电网巡检场景的表计设备为对象构建数据集，进行真实场景的模型训练和学习，能在该场景下实现持续的提升和优化。
32.s3、表计指针指向计算；在一个实施例中，所述表计指针指向计算还包括以下步骤：s31、基于表计模板图像，可获取对齐后表计图像的指针位置区域和表盘中心点；s32、以指针位置区域（r）为构建二值模板（mr）；s33、以二值模板为模板获取指针位置区域图像；s34、通过自适应二值化方法计算指针位置区域图像的二值图。
33.在一个实施例中，所述自适应二值化方法计算包括间接计算与直接计算；其中，所述间接计算包括：在二值图区域进行直线检测，以找到表计的指针线段；采用了edlines直线检测方法，检测出最长的线段；当获取了指针线段后，即可通过构建方程组，计算直线与刻度线区域的交点；所述直接计算包括以下步骤：已知表盘中心点，刻画从表盘中心点出发到二值图每个像素点的延长线；计算表盘中心点指向二值图每个像素点落到刻度线区域的投影点；通过投影点聚集分析，即可得到表计指针指向的刻度线区域的交点。
34.s4、分析指针读数并结构化输出；在一个实施例中，所述分析指针读数并结构化输出还包括以下步骤：s41、获取表计模板图配置的刻度线区域和刻度点坐标及数值；s42、通过对交点和配置的刻度点进行近似插值计算，并得到表计指针指向交点的近似读数；s43、读数结果结构化输出到系统，并记录后续的统计分析。
35.综上所述，借助于本发明的上述技术方案，本发明采用的智能表计识别方法，能在日常电网巡检工作中，实现自动准确的表计读数识别，并简单方便进行记录统计和数据分析。不仅能降低人工抄表的运维人力成本，同时还能有效提升效率和可靠性。本发明利用深度学习方法构建多层感知机和图神经网络模型，相比传统的特征匹配方法如sift和orb等，
不仅能提取到特征点高维向量的表达信息，而引入自注意力机制和交叉注意力机制，能更好的学习特征点内在和外在的联系和对应关系，进一步增强特征点深层次的信息表达能力。本发明构建了一个持续学习的深层特征检测匹配模型，可以针对电网巡检场景的表计设备图像构建训练数据集，使模型适应真实场景下进行学习，持续提升模型在该场景下的准确率，这也是传统特征匹配方法所做不到的特点。本发明采用的表计设备指针指向计算方法，相比于传统方法采用的hough line或lsd直线检测方法，不仅采用了新的edlines直线检测方法，同时引入的投影点密集计算和分析的方法，相比直线检测方法，在实际场景中具有更优的鲁棒性。
36.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。