一种融合机器视觉和深度学习的口罩检测方法与流程

1.本发明涉及人工智能技术领域，特别涉及一种融合机器视觉和深度学习的口罩检测方法。


背景技术：

2.当前新冠疫情肆虐，为防止疫情扩散及交叉传染，在公共场合佩戴口罩尤为重要。口罩是防护新冠疫情的最有效工具，口罩质量很重要，直接关系到人民的生命安全，佩戴劣质口罩会相当于直接和外部接触。所以在口罩生产制造过程中的质量检测应运而生。
3.传统的口罩检测是基于人工检测，工作人员不能长时间不间断劳动，而且容易疲劳、效率低、准确率低、漏检率高、人工成本也高。袋装口罩由于缺陷种类较多，有空袋、一个袋内含有两个口罩、口罩褶皱、含有膜接头、压耳带、口罩袋连包、喷码异常、膜面褶皱、卷膜移位、封合开口、无耳带、袋内含杂物及污染等缺陷。口罩反面的字符印刷位置并不固定，而且字符很小，含有粘连，人眼检测识别会很难很慢，所以人工检测费时费力，效果还不好，亟需一种高速的、准确的口罩检测识别方法。
4.目前市面上有只基于传统机器视觉的口罩检测系统，但是能检测口罩缺陷的种类不多，而且鲁棒性不强，不能检测恶劣光照不均匀光照下的缺陷，检测系统参数很依赖当前成像环境，当相机镜头光源等成像部件稍有改动就要重新调整系统参数，非常麻烦，而且这类检测系统准确率也不高。而且不能处理未知种类的缺陷，当增加缺陷种类时，可能准确率下降，还需要增加检测工位。基于传统机器视觉的检测系统，针对反面字符的定位和识别也不准，处理粘连字符或恶劣光照下的字符效果不好，字符有破损或脏污干扰时准确率也不高。


技术实现要素：

5.本发明的目的在于提供一种融合机器视觉和深度学习的口罩检测方法，以解决目前对口罩的检测准确率和鲁棒性以及智能化的问题。
6.为解决上述技术问题，本发明提供了一种融合机器视觉和深度学习的口罩检测方法，包括：
7.步骤一、调整皮带输送线速度，调整光源高度亮度、镜头视野和线扫相机参数，使成像清晰，特征明显；
8.步骤二、放料，使口罩正面朝上，反面朝下，上、下表面相机同时采集图像，分别采集口罩正面和反面；
9.上表面相机先采集若干张无缺陷的口罩图像，再采集若干张含各种缺陷的口罩图像，采集的两组图像分别放在ok/ng文件夹中；下表面相机采集无缺陷口罩的反面图像，放在ocr文件夹下；
10.步骤三、对上表面相机采集的图像用深度学习检测分类算法进行训练；
11.对下表面相机采集的图像，统计要检测的4行字符跳动范围的最大区域，相对于口
罩的相对矩形坐标；
12.同时以正角度口罩的4行字符区域建立模板；
13.步骤四、放料，上、下表面相机分别开始检测；
14.上表面相机执行口罩缺陷检测分类算法，将口罩分成ok/ng两类，ng口罩报警；
15.下表面相机执行口罩反面字符定位和识别算法；
16.步骤五：下表面相机执行口罩反面生产日期字符识别算法。
17.可选的，所述皮带为处于同一水平线上的、相同速度、相同宽度的三段皮带线，三段皮带线之间有两个连接处，每个连接处分别安装一套视觉系统：
18.检测上表面的视觉系统，安装在第一段和第二段皮带连接处，上表面相机在皮带上方，垂直向下安装，光源安装方式为背光，即安装在皮带下方，从下往上照射；
19.检测下表面的视觉系统，安装在第二段和第三段皮带连接处，下表面相机在皮带下方，垂直向上安装，光源安装方式为背光，即安装在皮带上方，从上往下照射；
20.两套相机均是线扫相机，线扫描方向沿着皮带线运动方向；
21.两套光源均是白色条形光源，发出均匀白光，上面的光源亮度使口罩上表面的各种缺陷清晰可见；
22.所述镜头为普通镜头，镜头与相机视野及皮带线宽度相匹配。
23.可选的，所述上表面相机采集覆盖各种缺陷的口罩图像，其中缺陷种类包括口罩包含卷膜接头、口罩袋内口罩个数异常、耳带异常、连包、喷码异常、口罩膜面褶皱、卷膜移位；
24.所述下表面相机采集无缺陷口罩的反面图像，采集口罩在皮带线上不同位置、角度、光照明暗度、口罩在口罩袋内不同位置角度、不同生产日期、生产日期在口罩上不同位置状态下的多张图像，放在ocr文件夹下。
25.可选的，对上表面相机采集的图像用深度学习检测分类算法进行训练包括：
26.基于上表面相机采集的若干张无缺陷图像，和若干张包含各种缺陷的图像，分别存放在ok和ng文件夹；
27.对采集到的图像数据样本做数据扩增，根据口罩袋做一定的旋转和平移缩放仿射变换、图像亮度调整、不均匀光照处理，增大样本集在各种特殊情况下的样本，增强模型的鲁棒性；
28.根据构建的数据集，随机划分出训练集、验证集和测试集，使用训练集对检测分类模型进行训练，使用验证集进行检测分类模型的性能评判，使用测试集进行测试，当测试集准确率能达到99％以上的准确率，即通过测试。
29.可选的，以正角度口罩的4行字符区域建立模板包括：
30.当口罩来料存在旋转和平移缩放时，首先基于阈值分割，连通域筛选，空心区域孔洞填充，提取到口罩区域最小外接矩形，再将图像做仿射变换，使口罩变换到正常的正立口罩，再基于相对矩形区域，提取到字符区域初定位区域，再裁剪图像；
31.建立存放生产日期4行字符区域的模板，模板包含以下数据：4行字符区域的边缘特征及灰度信息、模板的图像文件、模板的宽度高度信息、第一行字符相对模板的相对矩形区域、字符的个数；
32.由于口罩生产日期相对于口罩区域的位置不固定，存在移动范围，所以需要统计
大量正常口罩的生产日期4行字符区域，统计出相对于口罩的动态矩形区域的最大范围，以缩小字符定位区域范围，增加准确率；此口罩的动态矩形区域跟随口罩区域做旋转平移和缩放变换，若口罩来料存在旋转平移缩放倾斜时，也能准确定位到。
33.可选的，所述上表面相机执行口罩缺陷检测包括：
34.(1)先检测膜接头异常，膜接头区域的颜色与其它区域不同，根据颜色空间处理，提取到膜接头区域，含有膜接头区域则膜接头异常，发送ng，直接返回，否则进入下一流程；
35.(2)判断口罩区域最小外接矩形和凸包的面积，若面积小于给定的阈值，则为空袋，若面积大于给定的阈值，则袋内含有多个口罩或者耳带超出口罩区域范围，发送ng，直接返回，否则进入下一个流程判断；
36.(3)检测耳带的个数，根据建立的4个矩形区域，检测4个矩形区域内耳带的个数，若小于4个，则耳带个数异常，返回ng。
37.可选的，膜接头检测方法为：膜接头区域的颜色不同于别的区域，基于图像的颜色空间处理，检测出膜接头的位置区域，具体实施为：基于彩色图像，膜接头颜色偏黄色，口罩为蓝色，耳带打背光后显示为黑色，先将三通道彩色图像分解为red、green、blue三个单通道的图像，再将blue和red作差，得到imagesub图像，首先基于原图通过动态阈值分割，得到含膜接头部分口罩区域，剔除背景部分，再基于imagesub图像通过二值化得到黑色部分，再取联通域分解，取面积最大的区域即为膜接头区域；
38.口罩区域面积检测方法为：通过动态阈值分割，提取到包含耳带但不包含口罩袋的口罩区域，提取口罩最小外接矩形的面积，用于判断耳带是否超出口罩范围，或者口罩个数异常；提取口罩最小外接凸包的面积，并与最小外接矩形面积做比较；口罩最小外接矩形和最小凸包的正常面积的上限阈值和下限阈值，需要通过采集大量ok图片和ng图片统计分析得到，并经过大量图像测试稳定性和鲁棒性；
39.检测耳带个数的方法为：首先要基于耳带在标准口罩中的区域位置，建立4个矩形区域，根据前面的检测流程，排除口罩个数异常和颜色异常后，剩余的都是包含一个ok口罩的图像，然后基于耳带相对于单个口罩的相对位置，设置跟随的矩形区域，一共4个矩形，在这4个矩形的范围内根据边缘提取算法，找出耳带的位置，若为4个则包含两个完整耳带，若为1个则只有1个耳带，若为0，则无耳带。
40.可选的，所述上表面相机执行口罩缺陷检测分类包括：根据相应的缺陷采集大量图片，提取到口罩区域的图片，归一化送入深度学习检测分类模型，即可分类。
41.可选的，下表面相机执行口罩反面字符定位算法包括：
42.基于阈值分割定位到口罩位置区域和方向；
43.初定位，根据字符区域相对于口罩的相对坐标，缩小生产日期字符区域的限定范围；
44.精定位，基于模板匹配算法定位到口罩反面生产日期4行字符区域；
45.按行做形态学处理，得到第一行字符区域。
46.可选的，下表面相机执行口罩反面生产日期字符识别算法：
47.基于ocr字符识别，对最终提取到的一行字符图片，做分割处理，再对单个字符逐一识别；
48.基于深度学习，对整行的字符图片做预处理后，整行识别，输出字符串。
49.在本发明提供的融合机器视觉和深度学习的口罩检测方法中，调节视觉系统成像效果；放料，采集大量图像；对上表面相机采集到的图像用现有的深度学习检测分类算法进行训练；对下表面相机采集的图像取四行字符区域建立模板，保存相关参数信息；对下表面相机图片提取到的字符做传统ocr训练和深度学习ocr训练；放料，上、下表面相机分别开始检测；上表面相机执行口罩缺陷检测分类算法，将口罩分成ok/ng两类，ng口罩报警，下表面相机执行口罩反面字符定位和识别算法。本发明的检测方法鲁棒性好、准确率高、效率高，降低了生产成本。
附图说明
50.图1是本发明提供的一种融合机器视觉和深度学习的口罩检测方法流程图；
51.图2是本发明提供的一种融合机器视觉和深度学习的口罩检测系统布置图；
52.图3是口罩正面ok无缺陷示意图；
53.图4是口罩正面ng缺陷为口罩褶皱示意图；
54.图5是口罩正面ng缺陷为口罩含膜接头示意图；
55.图6是口罩正面ng缺陷为空袋示意图；
56.图7是口罩正面ng缺陷为袋内含有多个口罩示意图；
57.图8是口罩正面ng缺陷为耳带超出口罩范围示意图；
58.图9是口罩正面ng缺陷为无耳带示意图；
59.图10是口罩正面ng缺陷为只有一个耳带示意图；
60.图11是口罩正面ng缺陷为口罩连包异常示意图；
61.图12是口罩正面ng缺陷为卷膜移位异常示意图；
62.图13是口罩正面膜接头区域检测示意图；
63.图14是口罩正面膜接头区域检测色彩空间转换示意图；
64.图15是口罩耳带检测效果示意图；
65.图16是口罩反面全局示意图；
66.图17是口罩反面字符区域初定位图；
67.图18是口罩反面字符区域精定位图；
68.图19是口罩反面最终定位到的第一行字符区域图；
69.图20是口罩反面生产日期识别结果图。
具体实施方式
70.以下结合附图和具体实施例对本发明提出的一种融合机器视觉和深度学习的口罩检测方法作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
71.本发明提供一种融合机器视觉和深度学习的口罩检测方法，其流程如图1所示，包括如下步骤：
72.步骤一：调整皮带输送线速度，调整光源高度亮度、镜头视野和线扫相机参数，使成像清晰，特征明显。
73.整个检测系统包含两套视觉系统，分别检测口罩上表面和口罩下表面，如图2所示；
74.检测上表面的视觉系统，安装在第一段和第二段皮带线连接处，上表面相机(即相机1)在皮带线上方，垂直向下安装，下表面光源(即光源1)安装方式为背光，即安装在皮带线下方，从下往上照射；
75.检测下表面的视觉系统，安装在第二段和第三段皮带线连接处，下表面相机(即相机2)在皮带线下方，垂直向上安装，上表面光源(即光源2)安装方式为背光，即安装在皮带线上方，从上往下照射；
76.所述两套相机都是线扫相机，线扫描方向沿着皮带线运动方向；
77.所述两套光源均为白色条形光源，发出均匀白光，下表面光源亮度合适，使口罩上表面的各种缺陷清晰可见。
78.所述镜头为普通镜头，镜头与相机视野及皮带线宽度相匹配；
79.所述皮带线为处于同一水平线上的、相同速度、相同宽度的三段皮带线(即皮带线1、皮带线2和皮带线3)，三段皮带线之间有两个连接处，每个连接处分别安装一套视觉系统，物体运动不会超出皮带线宽度范围；
80.步骤二：放料，使口罩正面朝上(即上表面)，反面朝下(即下表面)，上表面、下表面相机同时采集图像，分别同时采集口罩的正面和反面图像；上表面相机先采集2000张如图3所示无缺陷的口罩，再采集2000张包含各种缺陷的口罩，各种缺陷种类的图片如图4～图12所示，缺陷种类如下：口罩包含卷膜接头、口罩袋内口罩个数异常(袋内含多个口罩或口罩数量不足甚至空袋)、耳带异常(压耳带、无耳带或少耳带、或耳带超出口罩范围)、连包(多个口罩袋连在一起)、喷码异常、口罩膜面褶皱、卷膜移位。采集的样本尽量覆盖所有的缺陷种类，同一个样本可使它在皮带线上不同的位置、角度、光照明暗度等状态下，采集多张图片。同一个口罩在口罩袋内不同位置角度处，也可采集多张图片。总之采集图片就一个原则，尽量覆盖多一些的状态，增强模型的鲁棒性和准确率。上表面相机采集的无缺陷和含缺陷的两组图片分别放在ok/ng文件夹中。同理，下表面相机采集无缺陷口罩反面图片，采集口罩在皮带线上不同位置、角度、光照明暗度、口罩在口罩袋内不同位置角度、不同生产日期、生产日期在口罩上不同位置等状态下的多张图片，要尽量覆盖多一些的状态，尤其是考虑一些不理想状态下的图片，比如字符存在粘连或少量脏污状态下的，考虑的状态越全面，算法模型的检测识别准确率就越高。采集的图片放在ocr文件夹下。
81.步骤三：对上表面相机采集的ok/ng文件夹中的图像用现有的深度学习检测分类算法进行训练；对下表面相机采集的图像，统计要检测的4行字符跳动范围的最大区域，相对于口罩的相对矩形坐标，同时以放置角度比较正的口罩的4行字符区域建立模板。此步骤分成以下四个小步骤：
82.1、深度学习检测分类模型训练过程如下：
83.(1)基于上表面相机采集的1000张无缺陷图片，和1000张包含各种缺陷的图片，分别存放在ok和ng文件夹；
84.(2)对采集到的数据样本做数据扩增，根据口罩袋做一定的旋转和平移缩放等仿射变换、图像亮度调整、不均匀光照等图像处理，增大样本集在各种特殊情况下的样本，增强模型的鲁棒性；
85.(3)根据构建的数据集，随机划分出训练集、验证集和测试集，比例分别为70％、15％、15％，使用训练集对检测分类模型进行训练，使用验证集进行检测分类模型的性能评判，使用测试集进行测试，当测试集准确率能达到99％以上的准确率，即通过测试。用到的模型是halcon软件中的pretrained_dl_classifier_enhanced模型，此模型相对于pretrained_dl_classifier_compact模型，准确率更高，但是训练耗时更长，pretrained_dl_classifier_enhanced模型为预训练模型，即根据大量工业场景中的图片检测分类做过预训练，后续的训练只要在此模型的基础上做即可，节省了大量时间。训练是在含有gpu显卡的电脑中操作。
86.2、建字符模板过程如下：
87.当口罩来料存在旋转和平移缩放时，首先基于阈值分割，连通域筛选，空心区域孔洞填充，提取到口罩区域最小外接矩形，再将图像做仿射变换，使口罩变换到正常的正立口罩，再基于步骤12统计的相对矩形区域，即可提取到字符区域初定位区域，再裁剪图像，效果图见附图16所示。
88.建立模板存放生产日期4行字符区域的模板，模板包含以下数据：4行字符区域的边缘特征及灰度信息、模板的图像文件、模板的宽度高度信息、第一行字符相对模板的相对矩形区域、字符的个数。由于口罩生产日期相对于口罩区域的位置并不固定，存在移动范围，所以需要统计大量正常口罩的生产日期4行字符区域，统计出相对于口罩的动态矩形区域的最大范围，这样可以缩小字符定位区域范围，能增加准确率。此口罩的动态矩形区域跟随口罩区域做旋转平移和缩放变换，每次口罩来料存在旋转平移缩放倾斜时，也能准确定位到。
89.3、ocr字符识别训练：
90.基于提取到的一行字符区域的图片，做标注训练，在不同光照均匀度采集的大量图片，按70％、15％、15％的比例划分训练集、验证集、测试集，使用halcon软件中的标注工具deep learning tool进行字符标注，使用训练集对mlp字符识别模型训练，使用验证集对字符识别性能做评估，使用测试集对字符识别性能做测试，测试集达到99.9％以上的准确率则符合要求。
91.4、所述的深度学习字符识别训练，基于提取到的最后一行字符区域的图片，做标注训练，在不同光照均匀度采集的大量图片，按70％、15％、15％的比例划分训练集、验证集、测试集，使用halcon软件中的标注工具deep learning tool进行字符标注，使用训练集对深度学习字符识别模型训练，使用验证集对字符识别性能做评估，使用测试集对字符识别性能做测试，测试集达到99.9％以上的准确率则符合要求。此种训练方式是基于整行字符训练的，即将提取到的整行字符图片和字符串做标注训练。
92.步骤四：放料，上表面、下表面相机分别开始检测。上表面相机检测口罩上面部分，下表面相机检测口罩下面部分，根据口罩在皮带线上流动情况，流动对应相机上方或下方，会触发光电传感器触发相机拍照，开始检测。
93.目前的放料是人工放料，放料时不能把口罩正反面搞反了，不能超出皮带线的范围，放料最好放在皮带线中间部分，保存头尾朝向的一致性，角度尽量是小角度，这样可以在软件中设置参数限制口罩角度搜索范围，这样检测速度会更快。放料坚持的原则是：在深度学习训练采集图像时，尽量覆盖各种极端情况，但是在后面实际检测时，可尽量放料放好
点，准确率会更高，速度更快。
94.步骤五：上表面相机执行口罩缺陷检测分类算法，将口罩分成ok/ng两类，ng口罩报警。
95.1、缺陷检测的方法流程：
96.(1)先检测膜接头异常，膜接头区域的颜色与其它区域不同，根据颜色空间处理，提取到膜接头区域，含有膜接头区域则膜接头异常，发送ng，直接返回，否则进入下一流程。卷膜接头检测基于传统算法的检测方法：由于膜接头区域的颜色不同于别的区域，基于图像的颜色空间处理，此图检测出膜接头的位置区域，具体实施为：如图13所示为口罩正面膜接头区域检测图，基于此彩色图像，膜接头颜色偏黄色，口罩为蓝色，耳带打背光后显示为黑色，先将三通道彩色图像分解为red、green、blue三个单通道的图像，再将blue和red作差，得到imagesub图像，如图14所示，上图即为imagesub图像，此图中膜接头部分的特征相对其它部分非常明显。首先基于原图通过动态阈值分割，得到口罩区域(含膜接头部分)，剔除背景部分，再基于imagesub图像通过二值化可得到黑色部分，再取联通域分解，取面积最大的区域即为膜接头区域。
97.(2)判断口罩区域(即包含耳带不包含口罩袋子)最小外接矩形和凸包的面积，若面积小于给定的阈值，则为空袋，若面积大于给定的阈值，则袋内含有多个口罩或者耳带超出口罩区域范围，发送ng，直接返回，否则进入下一个流程判断。所述口罩区域面积检测方法为：通过动态阈值分割，提取到口罩区域(包含耳带但不包含口罩袋)，提取口罩最小外接矩形的面积，这个用于判断耳带是否超出口罩范围，或者口罩个数异常。
98.提取口罩最小外接凸包的面积，并与最小外接矩形面积做比较，若相差太多，则说明口罩褶皱异常。口罩最小外接矩形和最小凸包的正常面积的上限阈值和下限阈值，需要通过采集大量ok图片和ng图片统计分析得到，并经过大量图像测试稳定性和鲁棒性，此面积阈值与线扫相机的参数设置(图像宽度高度)相关，也与相机工作距离、视野等相关。
99.(3)检测耳带的个数，根据建立的4个矩形区域，如图15所示，检测4个矩形区域内耳带的个数，若小于4个，则耳带个数异常返回ng。所述耳带检测方法为：首先要基于耳带在标准口罩中的区域位置，建立4个矩形区域，如图14所示，根据前面的检测流程，排除口罩个数异常和颜色异常后，剩余的都是包含一个ok口罩的图像，然后基于耳带相对于单个口罩的相对位置，设置跟随的矩形区域，一共4个矩形，在这4个矩形的范围内根据边缘提取算法，找出耳带的位置，若为4个则包含两个完整耳带，若为1个则只有1个耳带，若为0，则无耳带；
100.2、缺陷口罩检测基于深度学习的检测分类方法：根据相应的缺陷采集大量图片，提取到口罩区域的图片归一化送入深度学习检测分类模型，即可分类。
101.步骤六：下表面相机执行口罩反面字符定位算法，口罩背面全局图见图16：
102.(1)、基于阈值分割定位到口罩位置区域和方向，这一步根据对原始图像动态阈值分割，然后连通域分解，面积筛选提取最大的矩形区域即可实现，这一步得到的口罩区域图像是倾斜的带角度的，需要做仿射变换，将当前的口罩区域图像摆正到模板口罩区域图像，即角度为0；
103.(2)、初定位，如图17所示，根据字符区域相对于口罩的相对坐标，缩小生产日期字符区域的限定范围，这个矩形区域相对坐标是根据之前的统计得到的，由于生产日期在口
罩区域中并不固定，此矩形区域取的是生产日期的位置浮动范围的最大矩形区域；
104.(3)、精定位，基于模板匹配算法定位到口罩反面生产日期4行字符区域。如图18所示，是根据上一步骤建的模板，定位到的4行口罩字符区域，精定位附图。此步骤通过模板匹配算法即可实现，设置模板的查找角度范围，这个角度上下限可根据来料情况设置，如果来料角度精度很差，就设置角度查找范围为-180到360度查找，检测到口罩的最小阈值可根据实际成像情况调试，当前设为0.2，匹配的金字塔层数为4层。根据匹配到的位置区域生成4行字符区域的矩形，裁剪图像。
105.(4)、按行做形态学处理，得到第一行字符区域。见图19所示，对提取到的4行字符区域的图像，做直方图均衡化，使得图像亮度在全局范围内均衡，再将图像灰度值做拉伸，归一化到0-255，一系列图像预处理操作后，再做阈值分割，提取并筛选连通域，得到4行字符区域，再对连通域做膨胀处理，膨胀系数为(10，1)，即可得到最后的4个区域，根据行坐标排序，即可得到第一行的字符区域。
106.步骤七：下表面相机执行口罩反面生产日期字符识别算法：
107.1、基于传统ocr字符识别，对最终提取到的一行字符图片，先做图像预处理，再做分割处理，分成一个个的字符，再对单个字符逐一识别，总共是这三个小步骤。
108.(1)图像预处理，先做灰度拉伸，scale_image_max(imagereduced，imagescalemax)，将图像灰度拉伸到0-255，便于后面的阈值分割准确度；然后对图像做直方图均衡化，放置图像光照不均匀导致的分割错误，emphasize(imagescalemax,sharp,7,7,2.0)，其中掩膜尺寸7*7是根据实验得出的，2是均衡化的力度；再将图像动态阈值分割，取黑色部分即为字符区域。
109.(2)上一步提取到的字符区域可能有字符存在破损或粘连，需要先做形态学处理做破损修复，再针对部分粘连字符做分割，这是ocr技术中最关键的一步。先将字符区域做闭运算，再做连通域分解，再和原区域求交，得到一个个的字符区域，再将分割的字符按列坐标排列，这一步得到的字符是修复过的，但是仍存在少量粘连字符，需要进一步做分割处理。首先根据面积过滤，过滤掉比较小的噪声区域，剩下的字符区域转换为矩形区域，进一步根据宽高筛选，首先根据大量图片提取到的图19所示，手动分割统计单个字符的宽度高度信息，以及字符个数信息，计算字符的平均宽度高度。根据大量数据统计的此口罩生产日期单个字符宽度均值为13.7像素，单个字符矩形区域宽度除以13.7后四舍五入为需要进一步细分成的字符个数。字符总个数与口罩个数相同则直接返回ng，否则进入下一步的字符识别。
110.(3)ocr识别技术，包含mlp、cnn、svm、knn等方法。根据上一步提取到的最后一行的字符，分割后的单个字符，逐个提取识别。经过实验验证，可采用pharma_0-9_norej.omc字符库，识别准确率最高。需要设定好numalternatives值，这是用于内部单词校正的每个字符的类数，还有numcorrections，这是最大修正字符数。生成的单词按照0.0(未发现纠正)和1.0(原始单词正确)之间的分数进行评分。分数降低的方法是根据修改过的字符的数量增加一个惩罚，另一个(次要)惩罚是根据忽略了多少高置信度的类，以匹配表达式。num_corr是实际应用的更正数，num_alt是丢弃的替换总数。
111.2、基于深度学习，对整行的字符图片做预处理后，整行识别，输出字符串。
112.所述的深度学习字符识别结果，见图20。ocr技术是基于逐个字符分割识别的，对
字符粘连情况处理效果很不理想，特别是对于字符大小不一的情况，容易分割出错误的字符个数，或者分割字符区域不完整移位等，导致后面的识别失败，基于深度学习整行字符识别，鲁棒性和准确率比传统ocr识别好，能抗不均匀光照，抗字符粘连，无需做字符分割，此种方法训练的时候是整行训练的，识别的时候也是整行识别。
113.首先将原始图像彩色图像分解成red、green、blue三通道图像，decompose3(imagergb,red,green,blue)，再将三个通道的图像转换到hsv色彩空间，trans_from_rgb(red,green,blue,hue,saturation,intensity,'hsv')，用intensity通道的图像做字符定位和识别，intensity通道图像字符和背景对比度最高。再将intensity图像归一化为宽高100*40的尺寸，因为该模型要求输入的图像有一个紧凑的裁剪，这个模型只针对字符的识别，不包含字符的定位，这样能提高识别准确率。apply_deep_ocr(image,deepocrhandle,'recognition',deepocrresult)。deepocrresult直接包含当前输入图像的识别结果，这是因为之前的字符训练都是基于整张图像训练的，所有识别也是对整张图片识别。系统要求:如果在gpu(见getdeepocrparam)上运行，需要cudnn和cublas。另外，这个操作符也可以在cpu上运行。
114.上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。