一种基于神经网络的智能读表算法的制作方法

1.本发明涉及智能读表领域技术领域，具体为一种基于神经网络的智能读 表算法。


背景技术：

2.以往的读表方式多是用人工的方式去查看，不利于实时监控仪表读数， 从而有可能导致重大事故，目前市面上的主流方法是先用传统算法进行特征 点提取，再针对不同的仪表进行模板匹配后读数，这种方法对于拍摄的要求 很高，传统算法会由于环境光照、偏转角度、仪表外壳的反光程度导致匹配 失败，本发明采用了神经网络自动读表的技术，省去了人工成本，极大地提 升了读表效率，本发明是基于神经网络来定位视频帧中出现的特征点，处理 速度、输出精度极大地超过了传统算法。


技术实现要素：

3.针对现有技术中存在的问题，本发明的目的在于提供一种基于神经网络 的智能读表算法，具备处理速度快、精度高、鲁棒性强的优点，解决了目前 市面上的主流方法是先用传统算法进行特征点提取，再针对不同的仪表进行 模板匹配后读数，这种方法对于拍摄的要求很高，传统算法会由于环境光照、 偏转角度、仪表外壳的反光程度导致匹配失败的问题。
4.为实现上述目的，本发明提供如下技术方案：一种基于神经网络的智能 读表算法，其使用方法包括以下步骤：
5.a、通过摄像头读取视频帧；
6.a1、将摄像头的镜头进行清洁；
7.a2、将摄像头调整好照射角度后照射仪表盘；
8.b、利用神经网络获取特征点；
9.c、视频帧中是否有仪表；
10.c1、分为两种情况：不存在和存在；
11.d、步骤c1中不存在的情况下对步骤a中摄像头的摄像角度进行调整；
12.e、步骤c1中存在的情况下分为两种情况：
13.e1、对于数码表则直接模板匹配进行读数；
14.e2、对于指针仪表则进行霍夫直线检测来判断指针位置进行读数。
15.优选的，所述步骤a中的摄像头为1080p高清摄像头，且要保证摄像头 镜头的清洁度。
16.优选的，所述步骤a中仪表盘不可以出现大面积反光等情况。
17.优选的，所述步骤e中首先用一个编码器用于将之前提取出的点的位置 和描述整合到一起，然后用图的形式将图内和图间的特征点连接起来，构建 相关性用了注意力聚合机制。
18.优选的，所述步骤e基于神经网络来定位视频帧中出现的特征点。
19.优选的，所述步骤e利用神经网络来计算从一个概率分布转移到另一个 概率分布的分布矩阵。
20.与现有技术相比，本发明的有益效果如下：
21.1、本发明针对目前工业界对于拍摄仪表需要严苛的标准，利用神经网络 来计算从一个概率分布转移到另一个概率分布的分布矩阵，从而可以实现快 速匹配仪表，进而精确地读数，对比传统sift方式，提高了实时性和准确度， 可以较好地用于不同场景下的仪表，实现了处理速度快、精度高、鲁棒性强 的目的，解决了目前市面上的主流方法是先用传统算法进行特征点提取，再 针对不同的仪表进行模板匹配后读数，这种方法对于拍摄的要求很高，传统 算法会由于环境光照、偏转角度、仪表外壳的反光程度导致匹配失败的问题。
附图说明
22.图1为本发明工作原理示意图。
具体实施方式
23.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
24.在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外
”ꢀ“
顶/底端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅 是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必 须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的 限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示 或暗示相对重要性。
25.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语
ꢀ“
安装”、“设置有”、“套设/接”、“连接”等，应做广义理解，例如“连 接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械 连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连， 可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情 况理解上述术语在本发明中的具体含义。
26.请参阅图1，一种基于神经网络的智能读表算法，其使用方法包括以下步 骤：
27.a、通过摄像头读取视频帧；
28.a1、将摄像头的镜头进行清洁；
29.a2、将摄像头调整好照射角度后照射仪表盘；
30.b、利用神经网络获取特征点；
31.c、视频帧中是否有仪表；
32.c1、分为两种情况：不存在和存在；
33.d、步骤c1中不存在的情况下对步骤a中摄像头的摄像角度进行调整；
34.e、步骤c1中存在的情况下分为两种情况：
35.f1、对于数码表则直接模板匹配进行读数；
36.e2、对于指针仪表则进行霍夫直线检测来判断指针位置进行读 数，从流程图上可
以看出基本工作原理，其中创新点是在环境中匹配 出仪表，其本质上是提取特征值的处理：首先用一个编码器用于将之 前提取出的点的位置和描述整合到一起，然后用图的形式将图内和图 间的特征点连接起来，构建相关性用了注意力聚合机制：先进行聚合 并计算消息的mε
→
i，再进行自注意力与交叉注意力运算，自边缘 基于自注意，自边缘基于自注意，交叉边缘基于交叉注意，类似于数 据库检索，i的表示根据某些元素的属性值v
j
，消息被计算为这些值 的加权平均值：，其中α
ij
为softmax的键值对相似性：计算key、query和value后作 为神经网络深度特征的线性投影，考虑查询关键点i在图像q中，所 有源关键点都在图像s中，(q，s)∈{a，b}2，则可得：，则可得：在神经网络中，每一层 l都有自己的投影参数，学习并共享两幅图像的所有关键点。这可以 支持我们找到附近的相似、突出的关键点，基于这种思想，那我们就 可以进行几何投影，最后匹配的线性投影为：结果就是匹配图b 中的近似点。最优化问题用的是sinkhorn算法，所以神经网络和最 最小化：成功预测出特 征点后即可以用经典算法读表，检索它们的值利用神经网络来计算， 从一个概率分布转移到另一个概率分布的分布矩阵，从而可以实现快 速匹配仪表，进而精确地读数，对比传统sift方式，提高了实时性 和准确度，可以较好地用于不同场景下的仪表，实现了处理速度快、 精度高、鲁棒性强的目的，解决了目前市面上的主流方法是先用传统 算法进行特征点提取，再针对不同的仪表进行模板匹配后读数，这种 方法对于拍摄的要求很高，传统算法会由于环境光照、偏转角度、仪 表外壳的反光程度导致匹配失败的问题。
37.具体的，步骤a中的摄像头为1080p高清摄像头，且要保证摄像头镜头 的清洁度。
38.具体的，步骤a中仪表盘不可以出现大面积反光等情况。
39.具体的，步骤e中首先用一个编码器用于将之前提取出的点的位置和描 述整合到一起，然后用图的形式将图内和图间的特征点连接起来，构建相关 性用了注意力聚合机
制。
40.具体的，步骤e基于神经网络来定位视频帧中出现的特征点。
41.具体的，步骤e利用神经网络来计算从一个概率分布转移到另一个概率 分布的分布矩阵。
42.使用时，首先通过摄像头读取视频帧，在对仪表盘照射时，将摄像头的 镜头进行清洁，将摄像头调整好照射角度后照射仪表盘，之后利用神经网络 获取特征点，然后检测视频帧中是否有仪表，当检测不到仪表盘时，对摄像 头的照射角度进行调节，当能检测到仪表盘时，分为两种情况：一、对于数 码表则直接模板匹配进行读数，二、对于指针仪表则进行霍夫直线检测来判 断指针位置进行读数，利用神经网络来计算从一个概率分布转移到另一个概 率分布的分布矩阵，从而可以实现快速匹配仪表，进而精确地读数，实现了 处理速度快、精度高、鲁棒性强的目的，解决了目前市面上的主流方法是先 用传统算法进行特征点提取，再针对不同的仪表进行模板匹配后读数，这种 方法对于拍摄的要求很高，传统算法会由于环境光照、偏转角度、仪表外壳 的反光程度导致匹配失败的问题。
43.本技术文件中使用到的标准零件均可以从市场上购买，而且根据说明书 和附图的记载均可以进行订制，各个零件的具体连接方式均采用现有技术中 成熟的螺栓、铆钉、焊接等常规手段，机械、零件和设备均采用现有技术中 常规的型号，控制方式是通过控制器来自动控制，控制器的控制电路通过本 领域的技术人员简单编程即可实现，属于本领域的公知常识，并且本技术文 主要用来保护机械装置，所以本技术文不再详细解释控制方式和电路连接。
44.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来 将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示 这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、
ꢀ“
包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系 列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明 确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有 的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素， 并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同 要素。
45.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而 言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行 多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限 定。