一种基于深度学习的移动端电度表读数识别方法与流程

1.本发明涉及一种基于深度学习的移动端电度表读数识别方法，属于信息技术领域。


背景技术：

2.在工业应用中，对于常规的电度表参数的查询及巡查，大多数企业都是选派指定工作人员，然而，这会无形增加电度表设备的运维成本，同时数据可靠性会受限于运维人员。近年来基于物联网技术的远程电表查询技术被广泛运用，然而受限于网络质量，该通信链路往往不具有可靠性，且产生异常时很难被发现，维护成本依旧很高。同时基于无线通信方式的通信链路存在安全问题，用电信息可能存在窃听风险，该信息往往容易被泄露给竞对，产生商业风险。


技术实现要素：

3.本发明的目的在于解决现有技术中的不足，提供一种基于深度学习的移动端电度表读数识别方法。能够实现移动端的神经网络模型来识别由移动端摄像头获取的电度表图像，从而实现电度表读数的自动化。为了达到上述目的，本发明提供了一种基于深度学习的移动端电度表读数识别方法，包括模型训练方法和移动端部署方法。
4.其中模型训练方法包括如下步骤：
5.步骤一：搭建用于目标检测的深度神经网络模型。模型的具体大小、结构可根据实际应用场景进行调整。模型的最终输出为目标位置及标签。目标位置采用一个四维向量(x1,y1,x2,y2)表示，其中(x1,y1)和(x2,y2) 分别表示目标矩形框的左上顶点和右下顶点所在的位置。
6.步骤二：对于给定的电度表图片样本，以步骤一所述的二维向量方式标注出电度表表盘和各个数字位所在的矩形框的位置及标签形成数据集。标签可分表盘标签(m1,m2,
…
,mn)及数字位标签(0,1,
…
,9)。表盘标签共有n种，分别表示不同的电度表表盘类型，如机械表盘、数字表盘等。数字位标签用于区分0～9共 10个不同的阿拉伯数字。
7.步骤三：使用步骤二中所述的数据集对步骤一中所述的深度神经网络模型进行训练，得到经训练的神经网络模型。
8.移动端部署方法包含以下步骤：
9.步骤一：设置数字位的判决阈值v,数字位的总位数n，以及大小为n*10的二维数组p。初始化p中的各个变量的大小为0。
10.步骤二：从移动端摄像头获取一帧图像，并对图像进行预处理，包括缩放、旋转、格式转换。
11.步骤三：将经过步骤二预处理的图像作为深度神经网络模型的输入，得到多个目标矩形框的位置及标签。
12.步骤四：检测步骤三所述的多个目标矩形框的位置及标签中是否只包含一个表盘
标签，如果这些标签中包含多个表盘标签，则丢弃该图像，并返回步骤二。
13.步骤五：根据步骤三所述的多个目标矩形框的位置及标签，查找得到标签为表盘的目标矩形框位置，记为 (x
1m
,y
1m
,x
2m
,y
2m
)。计算表盘的目标矩形框的长度l＝x
2m
–
x
1m
。
14.步骤六：将步骤五所述的标签为表盘的目标矩形框在长度维度上等分为n个相同长度矩形框。n个相同长度矩形框的位置可以分别表示为：(x
1m
,y
1m
,x
1m
l/n,y
2m
),(x
1m
l/n,y
1m
,x
1m
2l/n,y
2m
),(x
1m
2l/n, y
1m
,x
1m
3l/n,y
2m
),
…
,(x
1m
(n-1)l/n,y
1m
,x
2m
,y
2m
)。
15.步骤七：根据步骤三所述的多个目标矩形框的位置及标签，查找得到标签为数字位的所有标签，并分别获取其位置(x
1d
,y
1d
,x
2d
,y
2d
)和标签d。根据位置(x
1d
,y
1d
,x
2d
,y
2d
)分别计算该数字位的矩形框与步骤四所述的n个相同长度矩形框的重叠面积，并记录n个矩形框中能得到最大重叠面积的那个矩形框的编号i
max
。并使二维数组p中索引下标为(i
max
,d)的变量的值自增1，如果该变量的值大于等于步骤二所述的判决阈值v，则第i
max
的数字位的识别结果为d。
16.步骤八：检查是否n个数字位都得到了识别结果，如果是则预测结果聚合结束；如果不是则跳转至步骤二处理下一帧图像的预测结果。
附图说明
17.图1是本发明一种基于深度学习的移动端电度表读数识别方法使用的深度神经网络模型结构图
18.图2是本发明一种基于深度学习的移动端电度表读数识别方法使用的标注方法示意图
19.图3是本发明一种基于深度学习的移动端电度表读数识别方法使用的安卓端部署流程图
具体实施方式
20.为使本发明的目的、技术方案更加清楚，下面结合具体实施方式对本发明作进一步的详细描述。
21.本发明所述的一种基于深度学习的移动端电度表读数识别方法，包括模型训练方法和移动端部署方法。所述的模型训练方法可在pc端借助深度学习训练框架tensorflow进行实施。
22.模型的训练方法包含以下步骤：
23.步骤一：搭建用于目标检测的神经网络模型。如图1所示，所述的用于目标检测的神经网络模型采用轻量级网络mobilenetv2作为骨架，模型的输出层包括一个分类器和矩形框位置预测器。
24.步骤二：对包含电度表图片的数据集使用矩形框对目标位置进行标注。如图2所示，需要标注的对象为电度表表盘，以及表盘中的各个数字位。目标位置采用一个四维向量(x1,y1,x2,y2)表示，其中(x1,y1)和(x2, y2)分别表示目标矩形框的左上顶点和右下顶点所在的位置。
25.步骤三：使用步骤二所述的数据集对步骤一所述的用于目标检测的神经网络模型进行训练。
26.移动端采用安卓平台，如图2所示，移动端部署方法包含以下步骤：
27.步骤一：基于安卓平台的camera 2 api，打开安卓手机的后置相机并开启预览，并通过imagereader接收图像预览帧数据。设置数字位的判决阈值v,数字位的总位数n，以及大小为n*10的二维数组p。初始化 p中的各个变量的大小为0。
28.步骤二：创建图像预处理和神经网络推理两个处理线程。
29.步骤三：在预处理线程中对步骤一所述的预览帧数据旋转270度，然后缩放至640*480大小，并将yuv格式的图像转换为jpg格式。并将经过预处理的图像送入步骤二所述的神经网络推理线程，作为深度神经网络模型的输入，得到模型的预测结果，即多个目标矩形框的位置及标签。
30.步骤四：遍历步骤三所述的模型的预测结果。检测在所有预测结果中是否只包含一个电度表表盘对象，如果是则跳转至步骤五执行，否则则返回步骤三继续接收来自摄像头的图像帧数据。
31.步骤五：根据步骤三所述的多个目标矩形框的位置及标签，查找得到标签为表盘的目标矩形框位置，记为 (x
1m
,y
1m
,x
2m
,y
2m
)。计算表盘的目标矩形框的长度l＝x
2m
–
x
1m
。
32.步骤六：将步骤五所述的标签为表盘的目标矩形框在长度维度上等分为n个相同长度矩形框。n个相同长度矩形框的位置可以分别表示为：(x
1m
,y
1m
,x
1m
l/n,y
2m
),(x
1m
l/n,y
1m
,x
1m
2l/n,y
2m
),(x
1m
2l/n, y
1m
,x
1m
3l/n,y
2m
),
…
,(x
1m
(n-1)l/n,y
1m
,x
2m
,y
2m
)。
33.步骤七：根据步骤三所述的多个目标矩形框的位置及标签，查找得到标签为数字位的所有标签，并分别获取其位置(x
1d
,y
1d
,x
2d
,y
2d
)和标签d。根据位置(x
1d
,y
1d
,x
2d
,y
2d
)分别计算该数字位的矩形框与步骤四所述的n个相同长度矩形框的重叠面积，并记录n个矩形框中能得到最大重叠面积的那个矩形框的编号i
max
。并使二维数组p中索引下标为(i
max
,d)的变量的值自增1，如果该变量的值大于等于步骤二所述的判决阈值v，则第i
max
的数字位的识别结果为d。
34.步骤八：检查是否n个数字位都得到了识别结果，如果是则预测结果聚合结束，返回最终的预测结果；如果不是则跳转至步骤三处理下一帧图像的预测结果。