一种仪表字符检测方法及装置与流程

1.本发明涉及目标检测领域，具体提供一种仪表字符检测方法及装置。


背景技术：

2.仪器仪表的数字读取通常是工业设备中重要的一环,在设备安装环境恶劣的情况下,采用摄像直接抄表是较为常见的方式,随之而来的是如何精确读取仪表数据。
3.出于工作条件及成本控制等原因，人工读表仍是目前应用最广泛的一种方式。但人工效率低且错误率高，容易对后期工作产生影响。
4.在视觉识别领域内，通常采用传统的ocr技术进行字符识别和读取，但是ocr对于光照敏感,光线变化或者微弱时会造成误读。在设备安装环境恶劣的情况下，采用ocr技术进行图像读取错误率较高。


技术实现要素：

5.本发明是针对上述现有技术的不足，提供一种实用性强的仪表字符检测方法。
6.本发明进一步的技术任务是提供一种设计合理，安全适用的仪表字符检测装置。
7.本发明解决其技术问题所采用的技术方案是：
8.一种仪表字符检测方法，基于可变形卷积和池化操作的卷积神经网络，具有如下步骤：
9.s1、构建数据集；
10.s2、数据预处理；
11.s3、预训练模型构建及训练；
12.s4、可变形网络结构搭建及训练；
13.s5、模型获取及数据推理；
14.s6、模型迭代。
15.进一步的，在步骤s1中，根据应用场景采集仪表盘图像数据，并进行标记；
16.在步骤s2中，在数据预处理中，对原图像进行亮度均衡调整，并通过彩色分割提取屏幕区域。
17.进一步的，在步骤s3中，构建vgg-16网络基本结构，在vgg-block中原本的卷积层后添加可变形卷积层，并将最大池化层替换为可变形池化层，利用步骤s1中数据集完成训练集参数保存。
18.进一步的，在步骤s4中，在步骤s3的基础上构建可变形卷积神经网络，加载步骤s3获取的模型参数作为初始化训练参数，完成网络模型的训练并保存。
19.进一步的，所述可变形卷积通过对卷积核添加位移间接完成对不规则区域的特征提取，在可变形卷积中，偏置{δpn|n＝1，2，
…
，n}定义了卷积核的各个采样点pn的位置，此时卷积的计算方式变为：
[0020][0021]
其中，n为采样点个数，当前卷积核在每个位置上的偏置δpn通过单独的卷积层得到。
[0022]
进一步的，在可变形卷积中通过线性插值来获取实际的像素偏移位置，即当前采样点的值取决于浮点数偏移值位置周围的四个整数值；
[0023]
将两个一维的线性插值核g(a，b)＝max(0，1，-|a-b|)分别应用于特征图的垂直方向和水平方向，以实现双线性插值，则双线性插值核表示为：
[0024]
g(p，q)＝g(q
x
，p
x
)
·
g(qy，py)其中，p表示可变形卷积公式中的任意小数位置p0 pn δpn。
[0025]
进一步的，可变形池化操作对每个池化框的位置添加偏置，可变形池化的位移是通过在池化层后添加全连接层得到的；
[0026]
对于输入特征图x中左上角位置为p0、宽和高分别为任意w和h的感兴趣区域，可变形池化将其划分为k
×
k个框进行平均池化，并固定输出长度为k
×
k的特征图y，且y中的(i，j)(0≤i，j≤k)个元素的计算方式为：
[0027][0028]
其中，p为第(i，j)个池化框中的像素位置，n
ij
为该池化框中包含的像素个数。
[0029]
进一步的，在可变形池化中，首先通过roi池化生成输出特征图，在所述特征图上添加全连接层获取归一化的池化偏置，将所述池化偏置与输入的宽、高进行元素级相乘得到实际偏置，并使用双线性插值公式将实际偏置映射到输入特征图上进行实际的池化操作。
[0030]
进一步的，在步骤s5中，加载步骤s4获取最终模型，完成仪表数据的字符检测及识别；
[0031]
在步骤s6中，在推理过程中，保存错误识别的图像数据，作为补充训练集，定期对步骤s5进行迭代训练。
[0032]
一种仪表字符检测装置，包括：至少一个存储器和至少一个处理器；
[0033]
所述至少一个存储器，用于存储机器可读程序；
[0034]
所述至少一个处理器，用于调用所述机器可读程序，执行一种仪表字符检测方法。
[0035]
本发明的一种仪表字符检测方法及装置和现有技术相比，具有以下突出的有益效果：
[0036]
本发明提出了可变形的卷积神经网络可以免于对图像中的字符数据进行分割、特征匹配等工作，直接对分割后的仪表图像进行字符提取和识别，极大的简化了工作流程，提高了工作效率和准确度。
附图说明
[0037]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明
的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0038]
附图1是一种仪表字符检测方法中可变形卷积神经网络block示意图；
[0039]
附图2是一种仪表字符检测方法中可变形卷积示意图。
具体实施方式
[0040]
为了使本技术领域的人员更好的理解本发明的方案，下面结合具体的实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。
[0041]
下面给出一个最佳实施例：
[0042]
本实施例中的一种仪表字符检测方法，基于可变形卷积和池化操作的卷积神经网络，具有如下步骤：
[0043]
s1、构建数据集；
[0044]
根据应用场景采集仪表盘图像数据，并进行标记。
[0045]
s2、数据预处理；
[0046]
在数据预处理中，对原图像进行亮度均衡调整，并通过彩色分割提取屏幕区域。
[0047]
s3、预训练模型构建及训练；
[0048]
构建vgg-16网络基本结构，在vgg-block中原本的卷积层后添加可变形卷积层，并将最大池化层替换为可变形池化层，利用步骤s1中数据集完成训练集参数保存。
[0049]
s4、可变形网络结构搭建及训练；
[0050]
在步骤s3的基础上构建可变形卷积神经网络，加载步骤s3获取的模型参数作为初始化训练参数，完成网络模型的训练并保存。
[0051]
如图1所示，可变形卷积作为网络的主要优化层，其核心技术有两点：一是卷积核的位移计算，二是如何利用新的卷积核进行特征提取。传统卷积通常采用3
×
3的卷积核对输入图像进行采样，其定义为：其定义为：
[0052]
r＝{(-1，-1)，(-1，0)，(-1，1)，(0，-1)，(0，0)，(0，1)，(1，-1)，(1，0)，(1，1)}
[0053]
则对位置p0进行卷积采样后的结果为：
[0054][0055]
其中，pn为采样格点中的位置。
[0056]
可变形卷积并不直接改变卷积核的形状，而是通过对卷积核添加位移间接完成对不规则区域的特征提取。在可变形卷积中，偏置{δpn|n＝1，2，
…
，n}定义了卷积核的各个采样点pn的位置，此时卷积的计算方式变为:
[0057][0058]
其中，n为采样点个数，当前卷积核在每个位置上的偏置δpn通过单独的卷积层得到。通俗来讲，就是可变形卷积改变了卷积核对应的感受野位置，从而实现改变输出特征图
的目的。
[0059]
如图2所示，利用卷积操作来预测的偏移值通常为小数，因此无法直接从输入特征图的对应位置进行采样，需要通过线性插值来获取实际的像素偏移位置，即当前采样点的值取决于浮点数偏移值位置周围的四个整数值。将两个一维的线性插值核g(a，b)＝max(0，1-|a-b|)分别应用于特征图的垂直方向和水平方向，以实现双线性插值，则双线性插值核表示为：
[0060]
g(p，q)＝g(q
x
，p
x
)
·
g(qy，py)
[0061]
其中，p表示可变形卷积公式中的任意小数位置p0 pn δpn。
[0062]
可变形池化与可变形卷积类似，可变形池化对每个池化框的位置添加偏置，不同的是，可变形池化的位移是通过在池化层后添加全连接层得到的。对于输入特征图x中左上角位置为p0、宽和高分别为任意w和h的感兴趣区域，可变形池化将其划分为k
×
k个框进行平均池化，并固定输出长度为k
×
k的特征图y，且y中的(i，j)(0≤i，j≤k)个元素的计算方式为:
[0063][0064]
其中，p为第(i，j)个池化框中的像素位置，n
ij
为该池化框中包含的像素个数。在可变形池化中，首先通过roi池化生成输出特征图，在此特征图上添加全连接层获取归一化的池化偏置，将此偏置与输入的宽、高进行元素级相乘得到实际偏置，并使用双线性插值公式将实际偏置映射到输入特征图上进行实际的池化操作。
[0065]
s5、模型获取及数据推理；
[0066]
加载步骤s4获取最终模型，完成仪表数据的字符检测及识别；
[0067]
s6、模型迭代：
[0068]
在推理过程中，保存错误识别的图像数据，作为补充训练集，定期对步骤s5进行迭代训练。
[0069]
基于上述方法，本实施例中的一种仪表字符检测装置，包括：至少一个存储器和至少一个处理器；
[0070]
至少一个存储器，用于存储机器可读程序；
[0071]
所述至少一个处理器，用于调用所述机器可读程序，执行一种仪表字符检测方法。
[0072]
上述具体的实施方式仅是本发明具体的个案，本发明的专利保护范围包括但不限于上述具体的实施方式，任何符合本发明的一种仪表字符检测方法及装置权利要求书的且任何所述技术领域普通技术人员对其做出的适当变化或者替换，皆应落入本发明的专利保护范围。
[0073]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。