一种基于深度学习显微字符识别与缺陷检测系统及方法与流程

1.本发明涉及微型芯片检测领域，尤其涉及一种基于深度学习显微字符识别与缺陷检测系统及方法。


背景技术：

2.随着现代工业的发展，集成电路不仅在规模上越来越大，而且在精细程度方面的要求不断提高。其中，芯片作为大规模集成电路不可或缺的一部分，功能日益强大的同时，它在系统中的任务也正在向多元化和复杂化发展，微型芯片便是信息化时代十分重要的一类特种芯片。与传统的cpu、单片机和fpga等大规模大面积芯片不同，微型芯片十分细小，其横截面积往往只有数十平方毫米或者更小，但在实际工业生产和科学研究中，微型芯片又有着至关重要的作用。在一些体积狭小的空间或者不需要太强算力的嵌入式结构中，由于受到工艺、成本、散热和能耗的限制，有且仅有微型芯片可以满足工程的需要。然而，正因为微型芯片面积狭小，一般来讲其表面的信息和字符肉眼是很不便于观测，所以在其生产过程和后续可能发生的检修流程中，确认该类芯片上所刻写的序列号十分困难，若借助显微镜利用人工方法观察微小字符，这种方式速度缓慢而且消耗人力资源较多。这就给微型芯片的质量检测带来了技术困难，给生产过程的批次控制、良品筛选和之后的故障排除也带来了很大的困扰。现有技术的困境在于：1、由于芯片微小造成的定位和对焦困难；2、识别准确率低，传统方法的最高识别准确率不高(均不超过75％)，需要人工参与，无法实现自动化对焦、缺陷检测及字符识别；3、微型芯片在生产过程中产生的缺陷，如污点和破损等，传统方法不进行检测，无法对生产过程进行溯源和纠错。


技术实现要素：

3.针对现有技术存在的如下技术问题：芯片微小造成的定位和对焦困难，传统方法的识别准确率不高，需要人工参与；传统方法不对微型芯片在生产过程中产生的缺陷(如污点和破损等)进行检测，无法对生产过程进行溯源和纠错；本发明的目的在于提供一种基于深度学习显微字符识别与缺陷检测系统及方法，能够自动化实现显微成像对焦作业，提高了对焦效率、对焦质量以及后续显微成像质量，实现了大批量、标准化、自动化的微型芯片快速检测并综合实现缺陷检测与字符识别，快速得出显微字符识别缺陷数据，轻松识别并统计出报警信号并定位该批次微型芯片问题情况，对提高微型芯片良品率具有重要意义。
4.本发明的目的通过下述技术方案实现：
5.一种基于深度学习显微字符识别与缺陷检测系统，包括水平台座、样本集合条和计算机，样本集合条上设有若干个微型芯片，水平台座竖向固定有竖杆，竖杆顶部设有升降步进电机，升降步进电机上横向设有升降联动杆，升降步进电机用于驱动升降联动杆升降运动，竖杆中部升降安装有光源升降横杆。所述升降联动杆端部设有显微成像视觉装置，所述光源升降横杆端部设有与显微成像视觉装置相对应的环形光源；计算机内部具有与显微成像视觉装置连接的显微字符识别缺陷检测系统，显微字符识别缺陷检测系统包括对焦控
制模块、缺陷检测模块和字符识别模块，对焦控制模块与升降步进电机连接，缺陷检测模块用于对样本集合条上的微型芯片进行缺陷检测，所述字符识别模块用于对样本集合条上微型芯片的字符进行识别，所述显微字符识别缺陷检测系统根据缺陷检测、字符识别输出缺陷情况及字符识别情况。
6.为了更好地实现本发明，所述水平台座上设有微动平台，微动平台上设有样本集合条定位座，样本集合条安装于样本集合条定位座上，微动平台用于驱动微动平台在水平面上前后左右移动，微动平台与对焦控制模块连接。
7.优选地，所述显微成像视觉装置包括相机和与相机相对应的远心镜头，相机安装于升降联动杆上，显微成像视觉装置的相机与计算机中的显微字符识别缺陷检测系统通过数据线连接。
8.优选地，所述相机为面阵cmos相机，所述数据线为usb通信数据线。
9.一种基于深度学习显微字符识别与缺陷检测方法，包括显微字符识别缺陷检测系统，其方法如下：
10.s1、样本集合条设置有n个微型芯片附着位点，将n个微型芯片对应安装于样本集合条的n个微型芯片附着位点上，每个微型芯片附着位点对应编有id号；搭建三维对焦移动系统，将样本集合条布设于三维对焦移动系统的xy轴方向移动系统上，将显微成像视觉装置布设于三维对焦移动系统的z轴移动系统上，显微成像视觉装置包括面阵cmos相机和与面阵cmos相机相对应的远心镜头，面阵cmos相机与显微字符识别缺陷检测系统连接；
11.s2、显微字符识别缺陷检测系统包括对焦控制模块、缺陷检测模块和字符识别模块，对焦控制模块分别与xy轴方向移动系统、z轴移动系统连接，对焦控制模块驱动样本集合条在x轴、y轴方向移动及显微成像视觉装置在z轴方向升降运动进行自动对焦作业；
12.s3、显微字符识别缺陷检测系统的字符识别模块中搭建有神经网络模型，神经网络模型包括文本检测网络、方向识别器和文本内容网络，对神经网络模型进行文本区域检测、方向识别、文本内容识别进行深度学习训练；
13.s4、显微成像视觉装置对样本集合条的各个微型芯片进行对焦显微成像并将微型芯片图像传输至显微字符识别缺陷检测系统，微型芯片图像至少覆盖一个微型芯片及微型芯片附着位点的id号；
14.s5、显微字符识别缺陷检测系统的缺陷检测模块对微型芯片图像进行基于阈值的缺陷判断并得出缺陷结果；字符识别模块的神经网络模型对微型芯片图像进行字符识别并得出字符识别结果；显微字符识别缺陷检测系统将缺陷结果、字符识别结果连同id号一一对应构成显微字符识别缺陷数据并保存输出。
15.优选地，本发明步骤s1中三维对焦移动系统的xy轴方向移动系统包括水平台座和安装于水平台座上的微动平台，微动平台用于驱动样本集合条在x轴或y轴方向水平面移动；z轴移动系统包括升降步进电机，升降步进电机用于驱动显微成像视觉装置在z轴方向升降运动。
16.优选地，本发明步骤s1中三维对焦移动系统包括竖杆，升降步进电机设置于竖杆上部，竖杆中部通过光源升降横杆升降安装有与远心镜头相对应的环形光源；升降调节环形光源的高度，调节环形光源的亮度，直到样本集合条上微型芯片的字符与背景对比度突出、字符清晰以便于面阵cmos相机进行拍摄及后期识别。
17.本发明提供另一种优选的技术方案(以便实现点位对焦与点位显微成像拍摄)：本发明步骤s1中样本集合条设置有32个微型芯片附着位点，每个微型芯片附着位点按照位点坐标依次记为(x1,y1)、(x2,y2)
…
(x32,y32)，步骤s2中对焦控制模块对焦完成后，显微字符识别缺陷检测系统根据显微成像视觉装置在对焦完成时建立xy轴坐标系并对应识别微型芯片附着位点的位点坐标；步骤s4中显微字符识别缺陷检测系统根据位点坐标控制xy轴方向移动系统进行移动实现显微成像视觉装置对每个微型芯片附着位点上微型芯片进行点位对焦或/和点位显微成像拍摄。
18.本发明提供另一种优选的技术方案：步骤s3中神经网络模型方法包括如下：
19.s31、神经网络模型中搭建文本检测网络，文本检测网络基于分割db文本检测算法首先经过resnet卷积体进行特征提取和上采样融合操作并得到特征图，然后再使用特征图预测出概率图，最后通过特征图和概率图计算出近似二值图，二值图表示的即为文本所在区域；
20.s32、神经网络模型中方向识别器进行微型芯片180度倒置(微型芯片呈有字符朝上放置但在水平面180度倒置，那么其微型芯片图像也会180度倒置，进行此识别处理，便于快速标准化精准处理)识别，其输出为0度或180度两个结果，若结果为180度，则反转后进入步骤s33；
21.s33、神经网络模型中搭建文本内容网络使用rosetta ocr系统、全卷积模型，文本内容网络使用ctc损失函数进行训练。
22.步骤s5中缺陷检测模块采用二值化图像、基于阈值分割判定进行缺陷判断，若存在缺陷则输出的缺陷结果中含有报警信号；显微字符识别缺陷检测系统的显微字符识别缺陷数据方法包括：
23.s51、若未检测到文本区域或文本置信度低于0.92或字符位数不正确，则显微字符识别缺陷数据的字符识别结果含有报警信号；
24.s52、若可以识别字符但检测到缺陷或/和污点，则显微字符识别缺陷数据的缺陷结果含有报警信号。
25.本发明较现有技术相比，具有以下优点及有益效果：
26.(1)本发明能够自动化实现显微成像对焦作业，提高了对焦效率、对焦质量以及后续显微成像质量，实现了大批量、标准化、自动化的微型芯片快速检测并综合实现缺陷检测与字符识别，快速得出显微字符识别缺陷数据，轻松识别并统计出报警信号并定位该批次微型芯片问题情况，对提高微型芯片良品率具有重要意义。
27.(2)本发明搭建有三维对焦移动系统并通过对焦控制模块进行三维对焦移动系统控制并按照清晰度检测自动化实现对焦作业，可对微型芯片进行保包含污点和破损在内的缺陷检测，字符识别模块中训练后的神经网络模型可以高效率、高精准度识别微型芯片及id号，其识别准确度初步达到90％以上，训练后神经网络模型更强则能够达到98％以上。
28.(3)本发明能够批量化、标准化实现对样本集合条上各个微型芯片进行点位对焦及点位显微成像，然后依次进行缺陷检测与字符识别得出显微字符识别缺陷数据；还可以一次性对样本集合条上多个微型芯片进行对焦、显微成像、图形检测处理，通过id号或位点坐标进行数据与微型芯片对应，能够高效完成微型芯片检测作业。
29.(4)本发明有效提高了定位对焦速度与质量，提高了缺陷检测识别准确率，显著提
高了大批次微型芯片字符检测效率，有利于提高微型芯片良品率，达到在该领域完全取代人工的作用，缺陷检测功能则允许生产厂家对上游芯片生产步骤进行溯源。
附图说明
30.图1为实施例中基于深度学习显微字符识别与缺陷检测方法的流程示意图；
31.图2为实施例中字符识别的软件界面图；
32.图3为实施例中显微字符识别缺陷数据三种举例类型对应图；
33.图4为实施例中基于深度学习显微字符识别与缺陷检测系统的结构示意图；
34.图5为实施例中样本集合条定位座与样本集合条的配合示意图。
35.其中，附图中的附图标记所对应的名称为：
36.1－水平台座,2－竖杆,3－升降步进电机,31－升降联动杆,4－显微成像视觉装置,41－相机,42－远心镜头,5－环形光源,51－光源升降横杆,6－微动平台,7－样本集合条,8－计算机,9－数据线,10－样本集合条定位座。
具体实施方式
37.下面结合实施例对本发明作进一步地详细说明：
38.实施例
39.如图4、图5所示，一种基于深度学习显微字符识别与缺陷检测系统，包括水平台座1、样本集合条7和计算机8，样本集合条7上设有若干个微型芯片，水平台座1竖向固定有竖杆2，竖杆2顶部设有升降步进电机3，升降步进电机3上横向设有升降联动杆31，升降步进电机3用于驱动升降联动杆31升降运动，竖杆2中部升降安装有光源升降横杆51，升降联动杆31端部设有显微成像视觉装置4，所述光源升降横杆51端部设有与显微成像视觉装置4相对应的环形光源5；计算机8内部具有与显微成像视觉装置4连接的显微字符识别缺陷检测系统，显微字符识别缺陷检测系统包括对焦控制模块、缺陷检测模块和字符识别模块，对焦控制模块与升降步进电机3连接，缺陷检测模块用于对样本集合条7上的微型芯片进行缺陷检测，所述字符识别模块用于对样本集合条7上微型芯片的字符进行识别，所述显微字符识别缺陷检测系统根据缺陷检测、字符识别输出缺陷情况及字符识别情况。
40.根据本发明的一个优选实施例，水平台座1上设有微动平台6，微动平台6上设有样本集合条定位座10，样本集合条7安装于样本集合条定位座10上，微动平台6用于驱动微动平台6在水平面上前后左右移动，微动平台6与对焦控制模块连接。
41.根据本发明的一个优选实施例，显微成像视觉装置4包括相机41(优选地，相机41为面阵cmos相机)和与相机41相对应的远心镜头42，相机41安装于升降联动杆31上，显微成像视觉装置4的相机41与计算机8中的显微字符识别缺陷检测系统通过数据线9(优选地，数据线9为usb通信数据线，本实施例采用usb3.0总线)连接。
42.如图1～图5所示，一种基于深度学习显微字符识别与缺陷检测方法，包括显微字符识别缺陷检测系统，本实施例的显微字符识别缺陷检测系统设置于计算机8中，其方法如下：
43.s1、样本集合条7设置有n个微型芯片附着位点，将n个微型芯片对应安装于样本集合条7的n个微型芯片附着位点上，每个微型芯片附着位点对应编有id号；搭建三维对焦移
动系统，将样本集合条7布设于三维对焦移动系统的xy轴方向移动系统上，将显微成像视觉装置4布设于三维对焦移动系统的z轴移动系统上，显微成像视觉装置4包括面阵cmos相机和与面阵cmos相机相对应的远心镜头42，面阵cmos相机与显微字符识别缺陷检测系统连接；
44.s2、显微字符识别缺陷检测系统包括对焦控制模块、缺陷检测模块和字符识别模块，对焦控制模块分别与xy轴方向移动系统、z轴移动系统连接，对焦控制模块驱动样本集合条7在x轴、y轴方向移动及显微成像视觉装置4在z轴方向升降运动进行自动对焦作业；
45.s3、显微字符识别缺陷检测系统的字符识别模块中搭建有神经网络模型，神经网络模型包括文本检测网络、方向识别器和文本内容网络，对神经网络模型进行文本区域检测、方向识别、文本内容识别进行深度学习训练；
46.s4、显微成像视觉装置4对样本集合条7的各个微型芯片进行对焦显微成像并将微型芯片图像传输至显微字符识别缺陷检测系统，微型芯片图像至少覆盖一个微型芯片及微型芯片附着位点的id号；
47.s5、显微字符识别缺陷检测系统的缺陷检测模块对微型芯片图像进行基于阈值的缺陷判断并得出缺陷结果；字符识别模块的神经网络模型对微型芯片图像进行字符识别并得出字符识别结果；显微字符识别缺陷检测系统将缺陷结果、字符识别结果连同id号一一对应构成显微字符识别缺陷数据并保存输出。
48.根据本发明的一个实施例，步骤s1中三维对焦移动系统的xy轴方向移动系统包括水平台座1和安装于水平台座1上的微动平台6，微动平台6用于驱动样本集合条7在x轴或y轴方向水平面移动(采用微动平台6实现样本集合条7上微型芯片水平面x轴与y轴方向上的对焦)；z轴移动系统包括升降步进电机3，升降步进电机3用于驱动显微成像视觉装置4在z轴方向升降运动(采用升降步进电机3实现竖直方向对焦)。
49.根据本发明的一个实施例，步骤s1中三维对焦移动系统包括竖杆2，升降步进电机3设置于竖杆2上部，竖杆2中部通过光源升降横杆51升降安装有与远心镜头42相对应的环形光源5；升降调节环形光源5的高度，调节环形光源5的亮度，直到样本集合条7上微型芯片的字符与背景对比度突出、字符清晰以便于面阵cmos相机进行拍摄及后期识别(观察微型芯片字符清晰度和亮度，调节环形光源的高低和亮度直到字符与背景的对比度突出，字符清晰可见)。
50.根据本发明的一个实施例(该实施方式可以实现点位对焦和点位显微成像拍摄)，步骤s1中样本集合条7设置有32个微型芯片附着位点，每个微型芯片附着位点按照位点坐标依次记为(x1,y1)、(x2,y2)
…
(x32,y32)，步骤s2中对焦控制模块对焦完成后，显微字符识别缺陷检测系统根据显微成像视觉装置4在对焦完成时建立xy轴坐标系并对应识别微型芯片附着位点的位点坐标；步骤s4中显微字符识别缺陷检测系统根据位点坐标控制xy轴方向移动系统进行移动实现显微成像视觉装置4对每个微型芯片附着位点上微型芯片进行点位对焦或/和点位显微成像拍摄。
51.根据本发明的一个实施例，一个样本条上存在32个微型芯片附着位点，将32个位点坐标分别记为(x1,y1)，(x2,y2)
…
(x32,y32)并写入对焦控制模块的程序中；设计z轴方向的自动对焦算法，自动对焦算法为首先将显微成像视觉装置4下移至较低的位置z0，之后不断升高，利用图像处理方法计算字符区域的清晰度，当清晰度达到极大值并开始下降后
停止升高(即清晰度达到峰值后定位该高度)，此时的清晰度在步骤s4中进行显微成像视觉装置4的对焦显微成像处理。对焦控制模块控制微动平台6移动至(x1,y1)，按照上述方法依次32个位点坐标的微型芯片自动对焦作业及显微成像处理。对焦控制模块内部程序设置微动平台6与升降步进电机3联动控制。
52.根据本发明的一个实施例，步骤s3中神经网络模型方法包括如下：
53.s31、神经网络模型中搭建文本检测网络，文本检测网络基于分割db文本检测算法首先经过resnet卷积体进行特征提取和上采样融合操作并得到特征图，然后再使用特征图预测出概率图，最后通过特征图和概率图计算出近似二值图，二值图表示的即为文本所在区域；
54.s32、神经网络模型中方向识别器进行微型芯片180度倒置微型芯片呈有字符朝上放置但在水平面180度倒置，那么其微型芯片图像也会180度倒置，进行此识别处理，便于快速标准化精准处理识别，其输出为0度或180度两个结果，若结果为180度，则反转后进入步骤s33；
55.s33、神经网络模型中搭建文本内容网络使用rosetta ocr系统、全卷积模型，文本内容网络使用ctc损失函数进行训练。
56.根据本发明的一个实施例，步骤s5中缺陷检测模块采用二值化图像、基于阈值分割判定进行缺陷判断，若存在缺陷则输出的缺陷结果中含有报警信号；显微字符识别缺陷检测系统的显微字符识别缺陷数据方法包括(参见图3)：
57.s51、若未检测到文本区域或文本置信度低于0.92或字符位数不正确，则显微字符识别缺陷数据的字符识别结果含有报警信号；如报警信号为“false,ng”。
58.s52、若可以识别字符但检测到缺陷或/和污点，则显微字符识别缺陷数据的缺陷结果含有报警信号；如报警信号为“false,fd，xxxx”，其中“xxxx”为识别结果。
59.s53、若可以识别字符且没有缺陷或污点，咋显微字符识别缺陷数据包含的正常识别信号为“true,xxxx”。
60.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。