一种端到端的智能识别里程表图片的方法与流程

1.本发明涉及一种图片识别方法，具体涉及一种端到端的智能识别里程表图片的方法，属于图像识别技术领域。


背景技术：

2.计算机视觉研究方向包括图像分类、识别和分割三部分，其中图像识别是该领域研究的核心，在人脸面部识别、无人自动驾驶、智能机器人等应用上均取得了显著的成果。目前，基于深度神经网络的机器学习方法不仅在日常物品分类的图像识别数据集上超过了人类的水平，而且越来越多的工业应用也在考虑使用这种方法完成图像识别业务。
3.另一方面，随着我国经济的发展，私家车销量日渐增多，前来索赔车辆的数目也越来越多，然而销售公司的工作人员还是通过肉眼逐一对索赔里程图像与数据库中记录的车辆信息进行核对，这样的工作不仅耗费大量的人力，容易出错而且十分机械、重复、效率低。
4.为解决上述问题，确保索赔车辆里程信息的正确性，本技术使用深度学习方法，等特点，而且很大程度上。
5.本技术人发现现有技术至少存在以下技术问题：1、现有技术中，核对里程信息的工作耗费大量人力，容易出错且效率低。


技术实现要素：

6.本发明的目的在于提供一种端到端的智能识别里程表图片的方法，以解决现有技术中的核对里程信息的工作耗费大量人力，容易出错且效率低的技术问题。
7.为实现上述目的，本发明提供了以下技术方案：本发明提供的一种端到端的智能识别里程表图片的方法，所述方法的步骤包括：s1，采集图像数据；s2，对采集的图像数据进行预处理；s3，基于深度学习框架搭建神经网络；s4，搭建目标检测和文字识别融合模型；s5，对所述目标检测和文字识别融合模型进行训练；s6，对目标图片进行识别并输出所述目标图片中的文字。
8.进一步地，步骤s2的子步骤包括：s21，对所述采集的图像数据进行灰度化处理；s22，对所述采集的图像数据进行二值化处理；s23，对所述采集的图像数据进行降噪处理；s24，对所述采集的图像数据进行倾斜矫正；s25，对所述采集的图像数据进行图像特征提取；s26，对提取的图像特征进行降维。
9.进一步地，步骤s21中对所述采集的图像数据进行灰度化处理的方法包括：分量
法、最大值法、平均值法、加权平均法。
10.进一步地，步骤s22中对所述采集的图像数据进行二值化处理的方法包括：双峰法、p参数法、迭代法和otsu法。
11.进一步地，步骤s23中对所述采集的图像数据进行降噪处理的方法包括：均值滤波器降噪、自适应维纳滤波器降噪、中值滤波器降噪、形态学噪声滤除器降噪、小波降噪。
12.进一步地，步骤s24中对所述采集的图像数据进行倾斜矫正的方法包括霍夫变换法。
13.进一步地，步骤s25中使用ai图像识别技术提取采集的仪表图像数据深层语义特征。
14.进一步地，步骤s3的子步骤包括：s31，基于深度学习框架搭建所述神经网络基础架构；s32，设计所述神经网络的激活函数；s33，对所述神经网络进行正则化；s34，使用优化器对所述神经网络进行优化；s35，设计所述神经网络的损失函数；s36，确定所述神经网络的评价指标。
15.进一步地，步骤s31中所述的深度学习框架为tensorflow。
16.进一步地，步骤s32中，所述神经网络的中间层使用relu激活函数，最后一层采用softmax激活函数。
17.进一步地，步骤s33中，对所述神经网络进行正则化的方法包括对所述神经网络进行dropout优化操作。
18.进一步地，步骤s34中，使用adam优化器对所述神经网络进行优化。
19.进一步地，步骤s35中，使用sparse_categorical_crossentropy损失函数。
20.进一步地，步骤s36中，所述评价指标包括f1-score。
21.进一步地，步骤s4的子步骤包括：s41，设置所述目标检测和文字识别融合模型超参数；s42，加载步骤s3搭建的神经网络；s43，加载预训练模型。
22.进一步地，步骤s41所述的超参数包括学习率、batch-size。
23.进一步地，步骤s41所述的超参数加载至配置文件中。
24.进一步地，所述预训练模型包括在自然图像上预训练过的文字识别模型。
25.进一步地，所述文字识别模型包括paddleocr。
26.进一步地，所述目标检测和文字识别融合模型通过yolo目标检测模型实现目标检测。
27.进一步地，步骤s5中使用仪表图片对所述在自然图像上预训练过的文字识别模型在gpu环境下进行再次训练。
28.进一步地，步骤s4的子步骤还包括：s44，为所述目标检测和文字识别融合模型增加辅助功能，所述辅助功能包括自动降低leadning_rate、不收敛后早停；
s45，对所述目标检测和文字识别融合模型在数据质量、数量、模型框架、优化算法、参数维度上进行优化。
29.基于上述技术方案，本发明实施例至少可以产生如下技术效果：（1）本发明提供的一种端到端的智能识别里程表图片的方法，实现了智能识别索赔里程图像中的信息，识别稳定、效率高，易操作。
30.（2）本发明提供的一种端到端的智能识别里程表图片的方法减轻了人工工作量，降低了欺诈风险，保障了车辆的高质量索赔。
附图说明
31.图1是本发明实施例的方法流程示意图。
具体实施方式
32.本发明提供了一种端到端的智能识别里程表图片的方法，现结合附图对本发明优选实施例进行详尽说明。
33.本发明提供的一种端到端的智能识别里程表图片的方法，所述方法的步骤包括：s1，采集图像数据；s2，对采集的图像数据进行预处理；s3，基于深度学习框架搭建神经网络；s4，搭建目标检测和文字识别融合模型；s5，对所述目标检测和文字识别融合模型进行训练；s6，对目标图片进行识别并输出所述目标图片中的文字。
34.在本发明优选实施例中，步骤s2的子步骤包括：s21，对所述采集的图像数据进行灰度化处理；s22，对所述采集的图像数据进行二值化处理；s23，对所述采集的图像数据进行降噪处理；s24，对所述采集的图像数据进行倾斜矫正；s25，对所述采集的图像数据进行图像特征提取；s26，对提取的图像特征进行降维。
35.在rgb模型中，如果r=g=b时，则彩色表示一种灰度颜色。因此，灰度化后图像每个像素只需一个字节存放灰度值，灰度范围为0-255。在本发明优选实施例中，步骤s21中对所述采集的图像数据进行灰度化处理的方法包括：分量法、最大值法、平均值法、加权平均法。
36.所述二值化指设定一个阈值t，用t将图像的数据分成两部分：大于t的像素群和小于t的像素群。二值化里最重要的就是阈值的选取，一般分为固定阈值和自适应阈值。在本发明优选实施例中，步骤s22中对所述采集的图像数据进行二值化处理的方法包括：双峰法、p参数法、迭代法和otsu法。
37.降噪指减少数字图像中噪声的过程。图像中噪声的来源有许多种，这些噪声来源于图像采集、传输、压缩等各个方面。噪声的种类也各不相同，比如椒盐噪声，高斯噪声等，针对不同的噪声有不同的处理算法。在本发明优选实施例中，步骤s23中对所述采集的图像数据进行降噪处理的方法包括：均值滤波器降噪、自适应维纳滤波器降噪、中值滤波器降
噪、形态学噪声滤除器降噪、小波降噪。
38.对于用户而言，拍照的时候不可能绝对的水平，所以需要通过程序将图像做旋转处理，来找一个认为最可能水平的位置，这样切出来的图，才有可能是最好的一个效果。在本发明优选实施例中，步骤s24中对所述采集的图像数据进行倾斜矫正的方法包括霍夫变换法，其原理是将图片进行膨胀处理，将断续的文字连成一条直线，便于直线检测。计算出直线的角度后就可以利用旋转算法，将倾斜图片矫正到水平位置。
39.在本发明优选实施例中，步骤s25中使用ai图像识别技术提取采集的仪表图像数据深层语义特征。特征是用来识别文字的关键信息，每个不同的文字都能通过特征来和其他文字进行区分。
40.进一步地，在确定了使用何种特征后，如果提取的图像特征维数太高，分类器的效率会受到很大的影响，为了提高识别速率，往往就要进行降维。降维既降低了特征维数，又减少了维数后的特征向量还保留了足够的信息量。
41.在本发明优选实施例中，步骤s3的子步骤包括：s31，基于深度学习框架搭建所述神经网络基础架构；s32，设计所述神经网络的激活函数；s33，对所述神经网络进行正则化；s34，使用优化器对所述神经网络进行优化；s35，设计所述神经网络的损失函数；s36，确定所述神经网络的评价指标。
42.在本发明优选实施例中，步骤s31中所述的深度学习框架为tensorflow。
43.在本发明优选实施例中，步骤s32中，所述神经网络的中间层使用relu激活函数，最后一层采用softmax激活函数。
44.在本发明优选实施例中，步骤s33中，对所述神经网络进行正则化的方法包括对所述神经网络进行dropout优化操作。
45.在本发明优选实施例中，步骤s34中，使用adam优化器对所述神经网络进行优化。
46.在本发明优选实施例中，步骤s35中，使用sparse_categorical_crossentropy损失函数。
47.在本发明优选实施例中，步骤s36中，所述评价指标包括f1-score。
48.在本发明优选实施例中，步骤s4的子步骤包括：s41，设置所述目标检测和文字识别融合模型超参数；s42，加载步骤s3搭建的神经网络；s43，加载预训练模型。
49.在本发明优选实施例中，步骤s41所述的超参数包括学习率、batch-size。
50.在本发明优选实施例中，步骤s41所述的超参数加载至配置文件中。
51.在本发明优选实施例中，所述预训练模型包括在自然图像上预训练过的文字识别模型。
52.在本发明优选实施例中，所述文字识别模型包括paddleocr。
53.在本发明优选实施例中，所述目标检测和文字识别融合模型通过yolo目标检测模型实现目标检测。
54.在本发明优选实施例中，步骤s5中使用仪表图片对所述在自然图像上预训练过的文字识别模型在gpu环境下进行再次训练。
55.优选的，将在自然图像上预训练过的paddleocr模型使用里程图像再次训练。通过迁移学习的方式将在自然图像上预训练过的paddleocr模型使用里程图像再次训练，不仅可以打造汽车定制里程识别模型，而且训练时间短，识别准确率高，节省人力物力。
56.在本发明优选实施例中，步骤s4的子步骤还包括：s44，为所述目标检测和文字识别融合模型增加辅助功能，所述辅助功能包括自动降低leadning_rate、不收敛后早停；s45，对所述目标检测和文字识别融合模型在数据质量、数量、模型框架、优化算法、参数维度上进行优化。
57.优选的，步骤s6中对目标图片进行识别并输出所述目标图片中的文字后，将输出的所述目标图片的文字与车联网数据库中的数据进行比对。
58.优选的，所述仪表为汽车里程表。
59.对本发明采用的yolo目标识别模型和paddleocr文字识别模型进行介绍：yolo模型以一次学习（one-shot learning）方式实现端到端的训练及推断，它主要是通过将全图划分成个s
×
s个候选区域，再由候选区域产生大量的可能包含待检测物体的边框实现目标检测。具体步骤为：首先将图像调整到固定大小，准备输入到神经网络中；然后输入数据集，训练卷积神经网络，输出若干边框坐标、边框中包含物体的置信度和类别概率；最后通过分类器以非极大值抑制的方式判断每个边框里是否包含有物体，以及物体所属类别的概率或置信度，筛选得到最终边框。
60.paddleocr中包括了目标检测功能、调整目标区域角度功能和文字识别功能，其中中文本识别功能中的mobilenetv3模型，网络结构第一列为网络的层数，第二列为当前操作算子，第三列为倒置残差块中的扩张通道数目，第四列为输出通道数。mobilenetv3模型共有17层特征提取网络层，和v1、v2两个模型相比，虽然网络层数加深了，但是整体网络效率和速率都有所提升。
61.可以理解，本发明是通过本优选实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和本实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和本实施例进行修改以适应具体的情况而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本技术的权利要求范围内的实施例都属于本发明所保护的范围内。