一种基于目标检测和分割识别的水表数值读取方法与流程

技术特征：
1.一种基于目标检测和分割识别的水表数值读取方法，其特征在于，包括以下步骤：步骤1：采集实际应用场景下的水表图像作为样本数据集，并对样本水表图像中的数字区域和数值像素点进行标注；步骤2：建立目标图像分割检测模型，所述的目标图像分割检测模型由数值区域目标检测模块、目标区域分割模块和数值识别读取模块构成；步骤3：利用步骤1采集到的样本数据集对目标图像分割检测模型进行训练，具体为：步骤3.1：将标注后的水表图像作为目标图像分割检测模型的输入，首先通过数值区域目标检测模块获取水表图像中数字读取区域的检测框，然后通过目标区域分割模块获取数字读取区域的检测框，再从原始水表图像中截取感兴趣区域得到读数区域的图像并对其进行等比例分割，得到只有数字的图像，最后经数值识别读取模块生成识别到的数字并输出；步骤3.2：将样本水表图像中标注的数字区域和数值像素点作为标签，分别训练得到数值区域目标检测模块的目标检测损失、目标区域分割模块的分割图像检测损失以及数值识别读取模块的数值识别读取损失；将目标检测损失、分割图像检测损失和数值识别读取损失作为总损失，完成目标图像分割检测模型的训练；步骤4：实时获取水表图像，将实时图像作为训练好的目标图像分割检测模型的输入，得到图像中数值读数。2.根据权利要求1所述的基于目标检测和分割识别的水表数值读取方法，其特征在于，所述的数值区域目标检测模块包括特征提取层、rpn网络层、特征融合层、特征预测层；所述的水表图像首先通过卷积、激活函数、池化为一体的特征提取层获得特征图；接着经rpn网络层生成相应的候选区域，然后经特征融合层将特征图和候选区域进行融合，判断正负样本；最后经特征预测层获得每一个特征图的一系列检测框、以及每一个检测框的坐标值和置信度，对所有的检测框进行筛选，将筛选后检测框的坐标值作为数值区域目标检测模块的最终输出。3.根据权利要求1所述的基于目标检测和分割识别的水表数值读取方法，其特征在于，所述的对所有的检测框进行筛选，具体为：1)预过滤：过滤掉置信度得分低于阈值的检测框；2)去重：对预过滤后的检测框进行极大值抑制处理，去掉重复的检测框；3)提取目标出现概率较高的检测框及其坐标值。4.根据权利要求1所述的基于目标检测和分割识别的水表数值读取方法，其特征在于，所述的数值区域目标检测模块采用faster r
‑
cnn模型。5.根据权利要求1所述的基于目标检测和分割识别的水表数值读取方法，其特征在于，所述的目标区域分割模块包括等比例分割模块、resnet残差神经网络、空洞卷积网络、连接层、卷积层和上采样层；根据数字读取区域的检测框坐标值，从原始水表图像中截取感兴趣区域得到读数区域的图像，通过等比例分割模块将读数区域的图像沿长边等比例切分成固定数量的单个数字图像；针对所有的单个数字图像，利用resnet残差神经网络提取单个数字图像的浅层特征，同时利用空洞卷积网络提取单个数字图像的高层特征，将同一个单个数字图像的浅层特征和高层特征进行连接，再经卷积层和上采样层得到仅包含单个数字的图像。6.根据权利要求1所述的基于目标检测和分割识别的水表数值读取方法，其特征在于，
所述的目标区域分割模块采用deeplab模型。7.根据权利要求5所述的基于目标检测和分割识别的水表数值读取方法，其特征在于，所述的数值识别读取模块采用svm支持向量机模型，将固定数量的仅包含单个数字的图像依次作为svm支持向量机模型的输入，利用多分类预测法得到每一个仅包含单个数字的图像的最终预测结果，将所有的结果按顺序拼接作为最终识别的水表数值结果。

技术总结
本发明公开了一种基于目标检测和分割识别的水表数值读取方法，属于计算机视觉深度学习领域。本发明包括由数值区域目标检测模块、目标区域分割模块和数值识别读取模块构成的目标图像分割检测模型，通过数值区域目标检测模块进行实时检测，获得水表图像中数值区域的位置信息；目标区域分割模块根据数值位置信息对水表图像进行截取并得到数值区域图像，再对其区域进行等分后利用DeepLab模型进行图像分割处理，得到只有数字的图像；最后利用SVM模型读出水表的正确读数。本发明有效解决了读数识别效率低、准确率低、鲁棒性差的问题。鲁棒性差的问题。鲁棒性差的问题。


技术研发人员：金瑜婷 涂小妹 单丽娜
受保护的技术使用者：浙江广厦建设职业技术大学
技术研发日：2021.08.16
技术公布日：2021/10/29