基于机器视觉的表计自动建模方法与流程

1.本发明涉及自动建模技术领域，尤其是指一种基于机器视觉的表计自动建模方法。


背景技术：

2.在一些传统工业行业中，如变电站、化工厂、炼油厂等领域，需要使用各种类型的仪表来随时监测数据，以保障每个设备的正常运行。但是现有的表计，需要人工读数，绝大多数工业场所因占地面积大，设备分散，人工读数时，很难及时发现某个区域仪表数值的异常；加之人工作业不但成本高、效率低还存在很大的安全隐患。
3.随着智能电网概念的提出，变电站操作和运维技术都朝着无人化、智能化的方向发展。因此，目前依靠巡检人员去读指针表读数并记录的传统方式，也逐渐将被基于机器视觉的指针表自动识别所取代。
4.目前这些表计检测和识别及方法，主流方法都是基于预先按照标记点拍照的大图，选取一张该标记点的高清图片，将该标记点的表类型及用于表头读数识别的各种先验信息记录入模板；巡检时，在该标记点按照与模板一致的拍照尺度、角度、焦距进行拍照，保证测试图和模板图尽量一致，然后通过算法实现测试图和模板图的配准进而实现表头的检测定位，然后利用模板中先验信息通过算进行读数识别。
5.专利cn 111598109 a提出使用滤波，边缘检测，膨胀腐蚀，hough圆检测表盘与刻度圆型，hough直线变换检测指针的方法来自动识别指针表读数。该方法存在以下几个问题：
6.1.使用的方法均为图像处理的常规方法，对光照、表盘污染(灰层、雨水、标签)等情况无法处理；
7.2.无法准确获取细小指针与细小刻度位置。
8.3.无法准确获取表计的量程与刻度起点终点位置，其自动识别方法需要人工干预。
9.专利cn 110909738 a采集指针表的正面rgb图像，使用关键点检测网络获取定位位置和表盘上刻度线和指针的关键点。根据关键点拟合刻度线及指针线，最后根据指针线与刻度线构成的圆弧角度计算指针表读数。改方法存在以下几个问题：
10.1.该方法对表计的角度要求高，需要正面高清图，变电站机器人巡检由于线路与高度的原因，拍摄的表计往往存在上下左右各个倾斜角度，因而不能大范围推广至机器人巡检中；
11.2.该方法的关键点涉及指针位置，刻度位置等，因而只能处理刻度，指针特征明显的表计，变电站中存在许多指针与刻度非常细小的雷击表，该方法并不适用。
12.3.该方法扩展性弱，针对新表需要重新大量标注关键信息，重新训练模型。


技术实现要素：

13.本发明的目的是克服现有技术中指针表自动识别技术费事费力，且误差较高、扩展性较差的缺点，提供一种基于机器视觉的表计自动建模方法。
14.本发明的目的是通过下述技术方案予以实现：
15.一种基于机器视觉的表计自动建模方法，包括以下步骤：
16.步骤1，建立表计母模库，母模库包括特征表计图片，建立使用faster
‑
rcnn的表头检测网络并进行训练，建立reid分类网络并进行训练；
17.步骤2，输入待建模表计图片，根据表头检测网络寻找待建模表计图片的表头图像，然后通过reid分类网络将待建模表计图片的表头图像和母模库的特征表计图片进行匹配；
18.步骤3，匹配完成后，根据置信度由高到低将母模库的特征表计图片按顺序排列，选择置信度排名前若干位的母模库的特征表计图片作为候选母模；
19.步骤4，待建模表计图片的表头图像与候选母模通过表计指示关键区域的模板进行匹配，匹配完成后和步骤3中的置信度结合确定最终置信度，最终置信度最高的候选母模即为待建模表计图片匹配的最佳母模；
20.步骤5，计算最佳母模和待建模表计图片的单应矩阵，根据单应矩阵换算待建模表计图片的表计指示关键区域，完成待建模表计的建模；
21.所述的表计为螺丝油位表，所述的步骤4中，表计指示关键区域为螺丝区域与中心圆区域，匹配包括以下步骤：
22.步骤4
‑
1，选取置信度最高的候选母模，判断待建模表计图片的表头图像的螺丝类型数量是否与置信度最高的候选母模的螺丝类型数量是否一致，若一致，则跳转至步骤4
‑
3，若不一致则跳转至步骤4
‑
2；
23.步骤4
‑
2，剔除置信度最高的候选母模，在剩余的候选母模内重复步骤4
‑
1，若没有候选母模，则判断为匹配失败；
24.步骤4
‑
3，分别计算待建模表计图片的表头图像的螺丝中心点与中心圆中心点的角度、候选母模螺丝中心点与中心圆中心点的角度；
25.步骤4
‑
4，使用角度最相近配对法进行螺丝配对，即先确定待建模表计图片的表头图像的一个螺丝，遍历候选母模的所有螺丝角度，角度最相近的配对，然后剔除这一对已经配对成功的螺丝，配对角度差最大阈值为15度，若螺丝配对成功则确定该候选母模为最佳母模，若螺丝配对失败则跳转至步骤4
‑
2。
26.reid：person re
‑
identification(行人重识别)，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，广泛被认为是一个图像检索的子问题，此处应用于同类表头检索。在待建模表计图片预测时，去掉reid模型最后的全连接层，使用网络提取特征，最后算出待分类图和表计母模库中所有图片特征之间的距离，根据距离排序选择需要的结果。
27.reid技术能够尽量把外观相近的表认为是同一id，但由于光照、外观新旧、标牌等干扰影响，算法还是时常发生将不同量程、但外观相近的表id混淆。因此提出了表计指示关键区域模板匹配技术，来排除许多外观相似表但量程不一致的候选母模，这是基于母模先验知识，有效降低表头检测分类误报的一种技术手段。
28.作为一种优选方案，所述的步骤1中，表计母模库建立的方法为人工输入若干个特征表计图片，每个特征表计图片代表一类表计，表计母模库为动态更新的表计母模库，对于一个新输入的特征表计图片，若此特征表计图片与表计母模库内现有的特征表计图片的相似度小于设定的阈值，则判断为新类别的特征表计图片，表计母模库收入此特征表计图片代表新一类表计。
29.作为一种优选方案，所述的步骤1中，表头检测网络训练的具体方法为：标注特征表计图片中的表头位置进行faster
‑
rcnn模型训练，faster
‑
rcnn训练将整张图片输入cnn网络进行特征提取，然后使用候选框提取网络生成一对锚框，对锚框进行裁剪后通过softmax判断锚点属于前景或后景，即是物体或非物体，同时另一只分支边框回归修正锚框，形成较精确的候选框，然后将建议窗口映射到cnn的最后一层卷积特征图上，通过roi pooling层使每个roi生成固定尺寸的特征图片，最后通过softmax loss和smooth l1 loss对分类概率和边框回归进行联合训练。
30.作为一种优选方案，所述的步骤1中，reid分类网络训练的具体方法为：首先使用一个残差网络作为主干网络来提取目标物体特征，然后通过特征之间的距离去衡量特征的相似度，并优化这些距离，优化方法为使用三元组损失方法，即同时输入3张图片，包含一对正样本和一对负样本，不断拉近正样本间距离，推远负样本间距离，提高reid效果。
31.作为一种优选方案，所述的步骤5具体包括以下步骤：
32.步骤5
‑
1，使用配对螺丝中心点计算待建模表计图片的表头图像和最佳母模的单应矩阵h1；
33.步骤5
‑
2，计算最佳母模水平校正框变化成水平位置的单应矩阵h2；
34.步骤5
‑
3，根据单应矩阵h1和单应矩阵h2将待建模表计图片的表头图像转换成水平位置；
35.步骤5
‑
4，根据最佳母模中心圆位置与待建模表计图片的表头图像中心圆位置调整待建模表计图片的表头图像的搜索区域与上下限参数；
36.步骤5
‑
5，使用模板匹配在表计指示关键区域内搜索油位液面位置，匹配指标为y轴投影值；
37.步骤5
‑
6，将水平校正后的模板参数通过单应矩阵h1和单应矩阵h2映射至待建模表计图片的表头图像，完成建模。
38.作为一种优选方案，所述的faster
‑
rcnn的表头检测网络替换为yolo表头检测网络，所述的reid分类网络替换为resnet50分类网络。
39.本发明的有益效果是：本发明可以识别带螺丝的圆形油位表，对它进行自动建模，识别成功率较高；可以处理因标签、灰层、雨水等部分遮挡造成的识别失败的情况，进一步提升识别的成功率；由于表头外观相似性，使用faster
‑
rcnn检测与reid分类技术可以通过不断扩充母模库来实现新表自动建模，而不需要重新训练网络。
附图说明
40.图1是本发明的一种流程示意图；
41.图2是本发明实施例1螺丝油位表螺丝区域与中心圆区域匹配流程图；
42.图3是本发明实施例1待建模螺丝油位表图片示意图；
43.图4是本发明实施例1螺丝油位表通过reid排名后前5名候选母模表头示意图。
具体实施方式
44.下面结合附图和实施例对本发明进一步描述。
45.实施例1：基于机器视觉的表计自动建模方法，如图1所示，包括以下步骤：
46.步骤1，建立表计母模库，母模库包括特征表计图片，建立使用faster
‑
rcnn的表头检测网络并进行训练，建立reid分类网络并进行训练；
47.步骤2，输入待建模表计图片，根据表头检测网络寻找待建模表计图片的表头图像，然后通过reid分类网络将待建模表计图片的表头图像和母模库的特征表计图片进行匹配；
48.步骤3，匹配完成后，根据置信度由高到低将母模库的特征表计图片按顺序排列，选择置信度排名前5位的母模库的特征表计图片作为候选母模；
49.步骤4，待建模表计图片的表头图像与候选母模通过表计指示关键区域的模板进行匹配，匹配完成后和步骤3中的置信度结合确定最终置信度，最终置信度最高的候选母模即为待建模表计图片匹配的最佳母模；
50.步骤5，计算最佳母模和待建模表计图片的单应矩阵，根据单应矩阵换算待建模表计图片的表计指示关键区域，完成待建模表计的建模。
51.所述的表计为螺丝油位表，所述的步骤4中，表计指示关键区域为螺丝区域与中心圆区域，如图2所示，匹配包括以下步骤：
52.步骤4
‑
1，选取置信度最高的候选母模，判断待建模表计图片的表头图像的螺丝类型数量是否与置信度最高的候选母模的螺丝类型数量是否一致，若一致，则跳转至步骤4
‑
3，若不一致则跳转至步骤4
‑
2；
53.步骤4
‑
2，剔除置信度最高的候选母模，在剩余的候选母模内重复步骤4
‑
1，若没有候选母模，则判断为匹配失败；
54.步骤4
‑
3，分别计算待建模表计图片的表头图像的螺丝中心点与中心圆中心点的角度、候选母模螺丝中心点与中心圆中心点的角度；
55.步骤4
‑
4，使用角度最相近配对法进行螺丝配对，即先确定待建模表计图片的表头图像的一个螺丝，遍历候选母模的所有螺丝角度，角度最相近的配对，然后剔除这一对已经配对成功的螺丝，配对角度差最大阈值为15度，若螺丝配对成功则确定该候选母模为最佳母模，若螺丝配对失败则跳转至步骤4
‑
2。
56.reid：person re
‑
identification(行人重识别)，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，广泛被认为是一个图像检索的子问题，此处应用于同类表头检索。在待建模表计图片预测时，去掉reid模型最后的全连接层，使用网络提取特征，最后算出待分类图和表计母模库中所有图片特征之间的距离，根据距离排序选择需要的结果。
57.reid技术能够尽量把外观相近的表认为是同一id，但由于光照、外观新旧、标牌等干扰影响，算法还是时常发生将不同量程、但外观相近的表id混淆。因此提出了表计指示关键区域模板匹配技术，来排除许多外观相似表但量程不一致的候选母模，这是基于母模先验知识，有效降低表头检测分类误报的一种技术手段。
58.所述的步骤1中，表计母模库建立的方法为人工输入若干个特征表计图片，每个特征表计图片代表一类表计，表计母模库为动态更新的表计母模库，对于一个新输入的特征表计图片，若此特征表计图片与表计母模库内现有的特征表计图片的相似度小于设定的阈值，则判断为新类别的特征表计图片，表计母模库收入此特征表计图片代表新一类表计。
59.所述的步骤1中，表头检测网络训练的具体方法为：标注特征表计图片中的表头位置进行faster
‑
rcnn模型训练，faster
‑
rcnn训练将整张图片输入cnn网络进行特征提取，然后使用候选框提取网络生成一对锚框，对锚框进行裁剪后通过softmax判断锚点属于前景或后景，即是物体或非物体，同时另一只分支边框回归修正锚框，形成较精确的候选框，然后将建议窗口映射到cnn的最后一层卷积特征图上，通过roi pooling层使每个roi生成固定尺寸的特征图片，最后通过softmax loss和smooth l1 loss对分类概率和边框回归进行联合训练。针对指针表的外观形状、内部结构、颜色等信息将指针表表头分为黑色圆表，蓝色圆表，白色圆表，金属外壳表，玻璃外壳表，双指针表，长方形表，正方形表等共计15个大类。
60.所述的步骤1中，reid分类网络训练的具体方法为：首先使用一个残差网络作为主干网络来提取目标物体特征，然后通过特征之间的距离去衡量特征的相似度，并优化这些距离，优化方法为使用三元组损失方法，即同时输入3张图片，包含一对正样本和一对负样本，不断拉近正样本间距离，推远负样本间距离，提高reid效果。
61.如图3、图4所示，reid分类模型排名前五的置信度分别为0.978，0.938，0.921，0.795，0.715，经过螺丝区域与中心圆区域匹配后，得出置信度第1的候选母模为最佳母模。
62.步骤5具体包括以下步骤：
63.步骤5
‑
1，使用配对螺丝中心点计算待建模表计图片的表头图像和最佳母模的单应矩阵h1；
64.步骤5
‑
2，计算最佳母模水平校正框变化成水平位置的单应矩阵h2；
65.步骤5
‑
3，根据单应矩阵h1和单应矩阵h2将待建模表计图片的表头图像转换成水平位置；
66.步骤5
‑
4，根据最佳母模中心圆位置与待建模表计图片的表头图像中心圆位置调整待建模表计图片的表头图像的搜索区域与上下限参数；
67.步骤5
‑
5，使用模板匹配在表计指示关键区域内搜索油位液面位置，匹配指标为y轴投影值；
68.步骤5
‑
6，将水平校正后的模板参数通过单应矩阵h1和单应矩阵h2映射至待建模表计图片的表头图像，完成建模。
69.本方案中，所述的faster
‑
rcnn的表头检测网络替换为yolo表头检测网络，所述的reid分类网络替换为resnet50分类网络。
70.以上所述的实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。