一种基于深度学习的芯片IMEI码检测识别方法与流程

一种基于深度学习的芯片imei码检测识别方法
技术领域
1.本发明涉及图像检测与识别领域，具体涉及一种基于深度学习的芯片imei码检测识别方法。


背景技术：

2.随着技术的进步许多产品已可以由自动化的机器完成生产制造，但在芯片的制造过程中识别并记录imei码却仍然需要依靠人眼完成。而识别与记录芯片imei码是一项乏味无趣的工作，工人无法始终保持专注与高效，并且长期聚焦于微小的文字肉眼也会遭受的较大损伤，因而有必要用自动化的方式对流水线上的芯片imei码进行检测与识别。
3.目前对产品编号的识别主要采用扫描枪扫描和基于图像分析、深度学习的图像处理方法。由于印有imei码的芯片体积较小且芯片上文字密度高，扫描枪在扫描时往往无法识别芯片所印内容，即便识别出内容其识别结果也往往是错误的；而基于图像分析的图像检测识别技术虽已在一些图像识别任务中取得了良好的效果，但使用此法需要对图片进行复杂的预处理，设计特定的算子提取特征，再对所得特征进行分类实现识别，整个过程繁琐且需要丰富的先验知识支撑；伴随着神经网络的发展，基于深度学习的图像检测识别取得了巨大进步，目前针对图像任务以faster r-cnn为基础的网络在如车牌、行人、证件等任务上均取得较好的检测效果。而faster r-cnn是为实现多目标检测而设计的，在芯片imei码检测识别任务中检测目标为单目标且尺寸特别，因此提出了一种基于faster r-cnn针对芯片imei码检测方法。


技术实现要素：

4.本发明的目的是为了解决流水线上芯片imei码依靠人工识别枯燥且效率低下，图像处理设计算子又较繁琐的问题，提供一种基于深度学习的芯片imei码检测识别方法及系统来解决上述问题，本发明的技术方案如下：
5.一种基于深度学习的芯片imei码检测识别方法，包括以下步骤：
6.(1.1)图像获取：通过置于结构化环境中的摄像头拍摄获取含有芯片的图像；
7.(1.2)imei码定位与提取：基于所述含有芯片的图像，通过基于faster r-cnn由特征提取网络、rpn网络组成的定位模块定位出imei码坐标信息，区域提取模块根据所述坐标信息提取出只含imei码的图像，生成提取结果；
8.(1.3)提取结果识别：基于所述提取结果，使用识别模块进行识别，得到具体imei码；
9.(1.4)识别结果写入：基于所述的具体imei码，写入装置将其写入对应芯片。
10.可选地，所述步骤(1.1)中结构化环境为装有芯片的写入装置上方；摄像头从芯片的上方拍摄得到含有芯片的图像。
11.所述步骤(1.2)中定位模块是基于faster r-cnn结构，由特征提取网络、rpn网络构成的；所述特征提取网络，由五组卷积、激活、卷积、激活构成，其中第1至4组后还接池化；
所有卷积核大小都为3*3，pad为1，stride为1，所有池化核大小都为2*2，stride为2。所述rpn网络由锚框生成层、锚框分类层、锚框初定层、锚框确定层依次串联组成。
12.所述锚框生成层用于在特征图对应点生成对应锚点，每个锚点又生成3组共9个锚框；所述锚框分类层根据每个锚点的与真实框的iou值判断锚点是否包含物体，包含物体的锚点即iou大于0.7记为正样本，其标签为1，不包含物体的锚点即iou小于0.3记为负样本，其标签为0；所述锚框初定层通过softmax分类器对样本进行分类，并根据真实框回归出正样本对应的框的偏移值，得到锚框修正值；所述锚框确定层对修正后的锚框进一步筛选，得到最终锚框。
13.所述3组共9个锚框其尺寸根据imei码形状特点，将每组内纵横比设为1：8、1：10、1：11，且第二组锚框为第一组2倍大，第三组锚框为第二组2倍大。在对锚点进行分类时分类损失为交叉熵损失：
[0014][0015]
其中n表示样本总量，x表示样本值,y表示实际标签，a表示预测输出。
[0016]
在此处可表示为：
[0017][0018]
其中w*h为特征图的尺寸，为锚点的标签值取0或1，ai表示锚点i被预测为正样本的概率。
[0019]
在回归正样本的修正值时，回归损失选取smooth l1:
[0020][0021]
在此处可表示为：
[0022][0023]
其中w*h为特征图的尺寸,为锚点的标签值取0或1,ti为锚框坐标的回归值，为锚框的真实值。
[0024]
所述锚框确定层对修正后的锚框进一步筛选，包括剔除较小框和通过非极大值抑制确定最终锚框。
[0025]
所述步骤(1.2)中的区域提取模块的输入端分别与rpn网络输出端和图像获取模块输出端相连接；提取模块依据所述最终锚框在所述含芯片的图像上提取出只含imei码的图像。
[0026]
所述步骤(1.3)所述识别模块为由3组卷积层、池化层、relu激活函数，dropout层1，全连接层1，relu激活函数，droupot层2，输出层，softmax激活函数组成的卷积神经网络。
[0027]
因此，本发明
[0028]
(1)提出了将芯片imei码的识别分为两步的方法，第一步为imei码提取，第二步为imei码识别；
[0029]
(2)在imei码提取上，采用了改进的faster r-cnn结构，改变了后续用于多目标的识别的部分，同时根据imei码形状特点改进锚框尺寸，使其更适合于芯片imei码检测；
[0030]
(2)用深度学习的技术实现了流水线上imei码的检测识别，提高了自动化程度。
附图说明
[0031]
图1是实现本发明方法的环境示意图。
[0032]
图2是实现本发明方法的系统示意图。
[0033]
图3是实现本发明方法的方法流程图。
具体实施方式
[0034]
本发明提出的一种基于深度学习的芯片imei码检测识别方法，结合附图详细说明如下：
[0035]
图1是实现本发明方法的环境示意图。实现基于深度学习的芯片imei码检测识别方法的环境为：流水线上的机械臂先将流水线上待识别芯片抓入写入装置，写入装置上方固定了用于获取图片的摄像头，摄像头和电脑相连；电脑对摄像头获取的含有芯片的照片识别完毕后，将所得结果发送至写入装置；写入装置将接收到的结果写入对应芯片；待所有芯片写入完毕，机械臂将完成识别的芯片取出重新放回到流水线上。
[0036]
图2是实现本发明方法的系统示意图。实现基于深度学习的芯片imei码检测识别方法的系统包括图像获取模块，可选地图像获取模块为置于结构化环境中的摄像头，结构化环境为流水线上装有芯片的写入装置的上方，摄像头从芯片的上方拍摄得到含有芯片的图像。
[0037]
实现基于深度学习的芯片imei码检测识别方法的系统还包括定位模块、区域提取模块，定位模块用于确定摄像头拍摄得到的含有芯片的图像中imei码的位置，区域提取模块用于根据所得位置信息提取出只含imei码的图像；区域提取模块的输入端分别与图像获取模块的输出端和定位模块的输出端相连。
[0038]
实现基于深度学习的芯片imei码检测识别方法的系统还包括识别模块、写入装置，识别模块与区域提取模块相连，用于识别所述只含imei码的图像，得到需要的imei码；写入装置收到识别结果后将所述imei码写入对应芯片。
[0039]
图3是实现本发明方法的方法流程图。基于深度学习的芯片imei码检测识别方法包括以下步骤：
[0040]
第一步，图像获取：通过置于结构化环境中的摄像头拍摄获取含有芯片的图像；其中结构化环境为流水线上装有芯片的写入装置上方，摄像头从写入装置上放拍摄得到含有芯片的图像。
[0041]
第二步，imei码定位与提取：基于所述含有芯片的图像，通过基于faster r-cnn由特征提取网络、rpn网络构成的定位模块定位出imei码坐标信息，再由区域提取模块根据所述坐标信息在所述含有芯片的图像上裁剪出只含imei码的图像，生成提取结果，
[0042]
其中定位模块定位出imei码位置坐标包括：
[0043]
(1)特征提取网络、rpn网络依次串联构成定位模块；
[0044]
(2)锚框生成层、锚框分类层、锚框初定层、锚框确定层依次串联构成rpn网络；
[0045]
(3)特征提取网络通过对输入的图片进行卷积操作得到特征图；
[0046]
(4)锚框生成层在所述特征图对应点的生成对应锚点，每个锚点又生成3组共9个锚框，根据imei码形状特点将每组内纵横比为1：8、1：10、1：11，且第二组锚框为第一组2倍大，第三组锚框为第二组2倍大；
[0047]
(5)锚框分类层据每个锚点的与真实框的iou值判断锚点是否包含物体，包含物体的锚点记为正样本，不包含物体的锚点记为负样本；
[0048]
(6)锚框初定层通过softmax分类器对样本进行分类，并根据真实框回归出正样本对应的框的偏移值，得到锚框修正值，其中分类的损失为交叉熵损失，回归损失为回归损失选取smooth l1。
[0049]
(7)锚框确定层对修正后的锚框进一步筛选包括剔除较小框和通过非极大值抑制确定最终锚框；
[0050]
(8)提取模块依据所述最终锚框在所述含芯片的图像上截取出只含imei码的图像。
[0051]
第三步，提取结果识别：基于所述提取结果，用识别模块进行识别，得到具体imei码，其中用识别模块进行识别包括：
[0052]
(1)构建由3组卷积层、池化层、relu激活函数，dropout层1，全连接层1，relu激活函数，droupot层2，输出层，softmax激活函数组成的卷积神经网络；
[0053]
(2)用该卷积神经网络对输入的只含iemi码的图像进行识别。
[0054]
第四步，识别结果写入：基于所述的imei码，写入装置将其写入对应芯片。