一种基于目标检测和分割识别的水表数值读取方法与流程

1.本发明涉及计算机视觉、机器学习等领域，具体设计一种基于目标检测和分割识别的水表数值读取方法。


背景技术：

2.近年来，随着图像处理技术的进一步发展，已有不少学者针对手工抄表其昂贵的人力成本和时间管理成本这一缺点，提出了成本低、效率高的智能抄表技术。通过计算机的人工智能识别技术来代替传统的方法进行内容读取，能大大提高工人的生产和劳动效率，但是水表读数的准确率与水表所处的具体环境密切相关，环境条件不同，识别的准确率也难以保证。
3.尽管现在关于水表读数识别已经有很多研究，但是依然存在一些未解决好的问题。目前关于数字识别的研究大多是采用浅层机器学习模型技术来进行模式识别，比如林阳等人提出的基于投票策略的数字字符识别方法，是使用hough变换来定位水表所在区域，接着使用仿射变换技术来定位水表读数所在位置，最后使用投票策略对读数进行分类识别。由于浅层网络信息较少，一旦水表表盘附着大量污物或表盘内有大量的水珠，这会大大影响到水表图像特征的提取，且水表图像与模板之间的特征点匹配计算量很大，非常消耗时间。在进行识别的过程中，由于水表表盘会有反光的情况，所以环境光线也是影响识别效果的一大因素。
4.因此，针对上述问题，本发明提出了一种基于目标检测和分割识别的水表数值读取方法。该方法在数值读取的准确率和时间成本上具有一定的优势。


技术实现要素：

5.为了解决上述的问题，本发明提供一种基于目标检测和分割识别的水表数值读取方法。利用目标图像分割检测模型进行数值区域定位和数值内容读取可提高效率和正确。所述的由数值区域目标检测模块、目标区域分割模块和数值识别读取模块构成。
6.为了实现上述目的，本发明采用的技术方案如下：
7.一种基于目标检测和分割识别的水表数值读取方法，包括以下步骤：
8.步骤1：采集实际应用场景下的水表图像作为样本数据集，并对样本水表图像中的数字区域和数值像素点进行标注；
9.步骤2：建立目标图像分割检测模型，所述的目标图像分割检测模型由数值区域目标检测模块、目标区域分割模块和数值识别读取模块构成；
10.步骤3：利用步骤1采集到的样本数据集对目标图像分割检测模型进行训练，具体为：
11.步骤3.1：将标注后的水表图像作为目标图像分割检测模型的输入，首先通过数值区域目标检测模块获取水表图像中数字读取区域的检测框，然后通过目标区域分割模块获取数字读取区域的检测框，再从原始水表图像中截取感兴趣区域得到读数区域的图像并对
其进行等比例分割，得到只有数字的图像，最后经数值识别读取模块生成识别到的数字并输出；
12.步骤3.2：将样本水表图像中标注的数字区域和数值像素点作为标签，分别训练得到数值区域目标检测模块的目标检测损失、目标区域分割模块的分割图像检测损失以及数值识别读取模块的数值识别读取损失；将目标检测损失、分割图像检测损失和数值识别读取损失作为总损失，完成目标图像分割检测模型的训练；
13.步骤4：实时获取水表图像，将实时图像作为训练好的目标图像分割检测模型的输入，得到图像中数值读数。
14.进一步的，所述的目标区域分割模块包括等比例分割模块、resnet残差神经网络、空洞卷积网络、连接层、卷积层和上采样层；根据数字读取区域的检测框坐标值，从原始水表图像中截取感兴趣区域得到读数区域的图像，通过等比例分割模块将读数区域的图像沿长边等比例切分成固定数量的单个数字图像；针对所有的单个数字图像，利用resnet残差神经网络提取单个数字图像的浅层特征，同时利用空洞卷积网络提取单个数字图像的高层特征，将同一个单个数字图像的浅层特征和高层特征进行连接，再经卷积层和上采样层得到仅包含单个数字的图像。
15.本发明的水表读数识别方法与传统的浅层机器学习模型技术相比，具备以下优势：
16.与现有方法相比，本发明目标检测模块采用faster r
‑
cnn网络模型进对数值区域进行定位，减少光线、灰尘、水珠等环境因素的干扰，提高了特征提取能力且降低了时间成本；定位后利用提取原水表图像数值的感兴趣区域得到数值图像，可减少背景中大量无用信息的干扰；目标区域分割模块采用deeplab v3网络模型进行数值图像的提取，通过空洞卷积不丢失信息的情况下增加感受野的优势，能够准确提取出数值图像；通过svm支持向量机模型对数值图像进行多分类运算，最后得到数值的正确读数。
附图说明
17.图1是目标图像分割检测模型网络结构图；
18.图2是本方法的整体流程图；
19.图3是本方法实施例中的步骤图；
20.图4是faster r
‑
cnn实时检测水表图像中数值目标的流程图；
21.图5是deeplab网络对数值图像进行分割；
22.图6是数据集样例。
具体实施方式
23.以下结合附图和具体实施对本发明进行详细描述，但不作为对发明的限定。
24.一种基于目标检测和分割识别的水表数值读取方法，如图1
‑
2所示，包括以下步骤：
25.步骤1：采集实际应用场景下的水表图像作为样本数据集，并对样本水表图像中的数字区域和数值像素点进行标注；
26.步骤2：建立目标图像分割检测模型，所述的目标图像分割检测模型由数值区域目
标检测模块、目标区域分割模块和数值识别读取模块构成；
27.步骤3：利用步骤1采集到的样本数据集对目标图像分割检测模型进行训练，具体为：
28.步骤3.1：将标注后的水表图像作为目标图像分割检测模型的输入，首先通过数值区域目标检测模块获取水表图像中的数字读取区域的检测框，然后通过目标区域分割模块获取数字读取区域的检测框，再从原始水表图像中截取感兴趣区域得到读数区域的图像并对其进行等比例分割，得到只有数字的图像，最后经数值识别读取模块得到相应的读数；
29.所述的数值目标检测模块包括特征提取层、rpn网络层、特征融合层、特征预测层；
30.所述的水表图像首先通过卷积、激活函数、池化为一体的特征提取层获得特征图；接着经rpn网络层生成相应的候选区域，然后经特征融合层将特征图和候选区域进行融合，并用anchors判断正负样本；最后经特征预测层获得每一个特征图的一系列检测框、以及每一个检测框的坐标值和置信度，对所有的检测框进行筛选，将筛选后检测框的坐标值作为数值目标检测模块的最终输出。所述的对所有的检测框进行筛选，具体为：
31.1)预过滤：过滤掉置信度得分低于阈值的检测框；
32.2)去重：对预过滤后的检测框进行极大值抑制处理，去掉重复的检测框；
33.3)提取目标出现概率较高的检测框及其坐标值。
34.所述的目标区域分割模块根据数值区域的检测框坐标值，从原始水表图像中截取感兴趣区域得到数值图像。
35.步骤3.2：将样本水表图像中标注的数值区域和数值像素点作为标签，分别得到数值区域目标检测模块的目标检测损失、目标区域分割模块的分割图像检测损失以及数值识别读取模块的数值识别读取损失；将目标检测损失、分割图像检测损失和数值识别读取损失作为总损失，完成目标图像分割检测模型的训练；
36.步骤4：实时获取水表图像，将实时图像作为训练好的目标图像分割检测模型的输入，得到图像中数值读数。
37.本发明中，数值区域目标检测模块采用faster r
‑
cnn模型，目标区域分割模块采用deeplab v3模型，数值读取检测模块则采用svm支持向量机，如图3，实现步骤如下：
38.a、faster r
‑
cnn对水表图像中的数值目标进行定位：
39.首先对faster r
‑
cnn进行初始化操作，读取参数文件，解析faster r
‑
cnn模型，加载模型权重。
40.如图4所示，faster r
‑
cnn实时检测目标过程：a步骤将图像缩放后的视频图像数据同步到gpu中，进入faster r
‑
cnn的主干网络，经过卷13个卷积、13个激活函数、4个池化的交替处理，得到相应的特征图。然后将特征图送入rpn生成候选区域，通过softmax函数判断anchors属于正样本还是负样本，再利用边框回归修正anchors获得精确的候选区域。接着将特征图和候选区域一起输入到感兴趣区域池化层，得到综合信息后判断特征位置，并再次进行边框回归得到最终进行预测的特征图。
41.候选区域的每个anchor上将会生成9个预测框，同时每个预测框有5个参数，分别表示预测框的左上角坐标，右下角坐标，宽，高和预测框的置信度。通过设置阈值过滤掉置信度得分低的预测框，最后对保留的预测框进行极大值抑制以去掉重复框，选取目标出现概率较高的预测框，并输出其具体坐标。
second fps)指标来评价目标检测和分割识别图像检测模型的检测效果。
55.实验数据：召回率82.55％，准确率96.8％，47fps。可见，指针读数识别效率高、准确率高。
56.以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。