基于特征重构的芯片表面复杂文本高精度识别方法及装置

1.本发明涉及芯片表面识别技术领域，具体涉及一种基于特征重构的芯片表面复杂文本高精度识别方法及装置。


背景技术：

2.目前，芯片文本识别方法大都采用基于深度学习的分类器进行识别。在分类器训练过程中，错误降低率最初较高，但随着迭代次数的增加，它会逐渐降低。因为大多数样本在经过一定数量的训练迭代后得到了很好的识别，但其并不一定对文本的字形特征完成了提取和分类。因此当图像中的字符存在噪声、遮挡或并不完整时，分类器在条件不充分的情况下鲁棒性差、错误率很高。
3.芯片标识文本从形态和风格上不同厂家不同型号的芯片标识文本都有较大差异，为分类增加难度，在文本不完整时，其可辨识性特征进一步降低。因此，需要提供一种可以在芯片标识文本存在污染和残缺，且辨识性特征不充分的情况，提高芯片表面复杂文本的识别精度的方法。


技术实现要素：

4.针对现有技术存在的不足，本发明提出一种基于特征重构的芯片表面复杂文本高精度识别方法及装置，以解决现有技术中存在的在芯片标识文本存在污染和残缺，且辨识性特征不充分的情况，难以提高芯片表面复杂文本的识别精度的技术问题。
5.一种基于特征重构的芯片表面复杂文本高精度识别方法，所述方法包括：提取芯片表面的文本数据，根据所述文本数据的字形特征，分为弱特征数据和强特征数据；将弱特征数据作为输入，设置待优化参数θg，建立标识特征重构器；将强特征数据和标识特征重构器的输出分别作为输入，设置待优化参数θd，建立标识特征判断器；根据所述标识特征判断器的输出结果，设计损失函数，并使用梯度下降法对所述标识特征重构器和所述标识特征判断器进行交替优化；建立优化判别网络，对每次优化后的标识特征重构器的输出进行识别分类，得到弱特征数据的识别率；当所述识别率达到预设阈值时，停止交替优化，得到目标标识特征重构器和目标标识特征判断器；使用所述目标标识特征重构器和所述目标标识特征判断器，重构和识别芯片表面文本。
6.在其中一个实施例中，所述标识特征重构器采用u-net网络结构。
7.在其中一个实施例中，所述标识特征重构器的表达式为：
[0008][0009]
其中，g为标识特征重构器；θg为g的待优化参数；g(
·
)为需进一步优化的非线性映射函数；z为g(
·
)的输入，即弱特征数据，为g(
·
)的输出结果。
[0010]
在其中一个实施例中，所述标识特征重构器的表达式为：
[0011]
d:y＝d(x,θd)
[0012][0013]
其中，d为标识字符判别器；θd为d的待优化参数；d(
·
)为需进一步优化的非线性映射函数；x为强特征数据，y为d(
·
)的输出结果，即将输入数据判断为真的概率，且y∈[0,1]。
[0014]
在其中一个实施例中，根据所述标识特征判断器的输出结果，设计损失函数，并使用梯度下降法对所述标识特征重构器和所述标识特征判断器进行交替优化步骤，包括：
[0015]
根据标识特征判断器的输出结果，设计如下损失函数：
[0016][0017]
其中，的值取越大表示，期望所述标识特征判断器的输出结果为真；
[0018]
根据标识特征判断器的输出结果，设计如下损失函数：
[0019][0020]
其中，log(d(x,θd))的损失值取负表示，将x判断为真的不确定性越小越好；而对的损失值取负表示，将判断为伪的不确定性越小越好；
[0021]
根据上述设计好的损失函数，采用梯度下降法对θg和θd进行交替优化，使所述标识特征重构器和所述标识字符判别器接近纳什均衡。
[0022]
在其中一个实施例中，所述建立优化判别网络，对每次优化后的标识特征重构器的输出进行分类识别，得到弱特征数据的识别率步骤，包括：建立优化判别网络，采用强特征数据对所述优化判别网络进行训练，得到训练后的目标优化判别网络；根据所述目标优化判别网络对每次优化后的标识特征重构器的输出进行分类识别，得到弱特征数据的识别率。
[0023]
在其中一个实施例中，所述优化判别网络采用vgg网络模型。
[0024]
在其中一个实施例中，当所述识别率达到预设阈值时，停止交替优化，得到目标标识特征重构器和目标标识特征判断器步骤，包括：预设识别率的阈值，将每次分类识别后得到的识别率与所述阈值比较；当存在识别率大于所述阈值时，停止对所述标识特征重构器和所述标识特征判断器的交替优化；获取当前识别率对应的所述标识特征重构器和所述标识特征判断器，分别作为目标标识特征重构器和目标标识特征判断器。
[0025]
一种基于特征重构的芯片表面复杂文本高精度识别装置，其特征在于，包括数据提取分类模块、重构器建立模块、判断器建立模块、交替优化模块、判别建立模块、目标获取模块和表面识别模块，其中：所述数据提取分类模块，用于提取芯片表面的文本数据，根据所述文本数据的字形特征，分为弱特征数据和强特征数据；所述重构器建立模块，用于将弱特征数据作为输入，设置待优化参数θg，建立标识特征重构器；所述判断器建立模块，用于将强特征数据和标识特征重构器的输出分别作为输入，设置待优化参数θd，建立标识特征判断器；所述交替优化模块，用于根据所述标识特征判断器的输出结果，设计损失函数，并使用梯度下降法对所述标识特征重构器和所述标识特征判断器进行交替优化；所述判别建立模块，用于建立优化判别网络，对每次优化后的标识特征重构器的输出进行识别分类，得到弱特征数据的识别率；所述目标获取模块，用于当所述识别率达到预设阈值时，停止交替优化，得到目标标识特征重构器和目标标识特征判断器；所述表面识别模块，用于使用所述
目标标识特征重构器和所述目标标识特征判断器，重构和识别芯片表面文本。
[0026]
在其中一个实施例中，所述判别建立模块包括网络建立单元和分类识别单元，其中：所述网络建立单元用于，建立优化判别网络，采用强特征数据对所述优化判别网络进行训练，得到训练后的目标优化判别网络；所述分类识别单元用于，根据所述目标优化判别网络对每次优化后的标识特征重构器的输出进行分类识别，得到弱特征数据的识别率。
[0027]
由上述技术方案可知，本发明的有益技术效果如下：
[0028]
1.通过设计损失函数，对标识特征重构器和标识特征判断器进行交替优化，叠加优化判别网络对优化过程的控制，实现对芯片字符图像的特征重构和可辨识性特征增强，进一步提高芯片残缺文本标识的识别精度。
[0029]
2.通过设置优化判别网络，对网络对特征重构的效果进行判别，从而实现对交替优化的控制，防止出现过拟合或者欠拟合的情况。
附图说明
[0030]
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
[0031]
图1为本发明实施例提供的基于特征重构的芯片表面复杂文本高精度识别方法的流程图；
[0032]
图2为本发明实施例提供的数据集的示意图；
[0033]
图3为本发明实施例提供的优化过程中标识特征重构器生成结果的部分示意图；
[0034]
图4为本发明实施例提供的训练10万次损失值变化曲线图；
[0035]
图5为本发明实施例提供的优化过程loss值变化曲线图；
[0036]
图6为本发明实施例提供的优化过程中识别率的变化示意图；
[0037]
图7为本发明实施例提供的目标标识特征重构器输出的部分复原图；
[0038]
图8为本发明实施例提供的现有模型训练过程中损失值的变化曲线图；
[0039]
图9为本发明实施例提供的基于特征重构的芯片表面复杂文本高精度识别装置的结构示意图；
[0040]
图10为本发明实施例提供的判别建立模块950的结构示意图。
具体实施方式
[0041]
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
[0042]
需要注意的是，除非另有说明，本技术使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
[0043]
在一个实施例中，如图1所示，提供了一种基于特征重构的芯片表面复杂文本高精度识别方法，包括：
[0044]
s110提取芯片表面的文本数据，根据文本数据的字形特征，分为弱特征数据和强特征数据。
[0045]
具体地，提取芯片表面的文本数据，这里是通过图像采集实现芯片表面的文本数据提取，采用的图像采集为现有的图像采集方法的一种。根据文本数据的字符是否有破损，辨识性特征是否充分，将文本数据分为弱特征数据和强特征数据，其中弱特征数据则是存在破损的标识字符，即辨识性特征不充分，难以识别的数据；而强特征数据则是完整标识字符，即辨识性特征充分且易识别。
[0046]
s120将弱特征数据作为输入，设置待优化参数θg，建立标识特征重构器。
[0047]
在一个实施例中，标识特征重构器采用u-net网络结构。
[0048]
具体地，标识特征重构器的作用是从破损标识中提取具有真实标识可辨识性特征的伪标识，并进一步加强标识的可辨识性，即完成破损标识的特征的重构和修复。标识特征重构器骨干网络选用u-net网络结构。标识特征重构器分为编码部和解码部，编码部分逐层收缩并从破损标识图像中提取可辨识性特征，解码部分逐层扩增进行特征重构生成伪标识图像。
[0049]
在一个实施例中，标识特征重构器的表达式为：
[0050][0051]
其中，g为标识特征重构器；θg为g的待优化参数；g(
·
)为需进一步优化的非线性映射函数；z为g(
·
)的输入，即弱特征数据，为g(
·
)的输出结果。
[0052]
s130将强特征数据和标识特征重构器的输出分别作为输入，设置待优化参数θd，建立标识特征判断器。
[0053]
具体地，标识特征判别器的作用是区分强辨识特征标识和伪标识，并利用结果优化标识特征重构器和标识特征判别器。
[0054]
在一个实施例中，标识特征重构器的表达式为：
[0055]
d:y＝d(x,θd)
ꢀꢀ
(2)
[0056][0057]
其中，d为标识字符判别器；θd为d的待优化参数；d(
·
)为需进一步优化的非线性映射函数；x为完整的标识字符数据(即强特征数据)，为上述公式(1)中，g(
·
)的输出结果；y为d(
·
)的输出结果，即将输入数据判断为真的概率，且y∈[0,1]。
[0058]
s140根据标识特征判断器的输出结果，设计损失函数，并使用梯度下降法对标识特征重构器和标识特征判断器进行交替优化。
[0059]
在一个实施例中，步骤s140包括：根据标识特征判断器的输出结果，设计如下损失函数：
[0060][0061]
其中，的值取越大表示，期望标识特征判断器的输出结果为真；
[0062]
根据标识特征判断器的输出结果，设计如下损失函数：
[0063][0064]
其中，log(d(x,θd))的损失值取负表示，将x判断为真的不确定性越小越好；而对的损失值取负表示，将判断为伪的不确定性越小越好；
[0065]
根据上述设计好的损失函数，采用梯度下降法对θg和θd进行交替优化，使标识特征重构器和标识字符判别器接近纳什均衡。
[0066]
具体地，上述公式(4)和公式(5)中，log(
·
)函数都以2为底。对标识特征重构器g而言，在标识字符判别器d固定时，期望重构数据的分布特性尽最大可能与完整标识字符一致，即标识字符判别器d将伪标识字符都识别为真。据此设计损失函数，如公式(4)所示，期望判别器识别为真，即的输出越接近于1越好，即越大越好。
[0067][0068]
要使得标识特征重构器g和标识字符判别器d相互博弈，在优化标识特征重构器g的重构能力时，同时也必须对标识字符判别器d进行优化，提高其鉴别能力。因此需要使得标识字符判别器d可以将完整标识判断为真，并将伪标识字符判别为假，据此设计如下损失函数对标识字符判别器d进行优化，其损失函数如公式(5)所示。
[0069][0070]
上式中对log(d(x,θd))的损失值取负的物理解释为，将x判断为真的不确定性越小越好，其最佳状态为d(x)＝1；而对的损失值取负的物理解释为，将判断为伪的不确定性越小越好，即将判断为伪的概率越大越好；将所有判定的不确定性进行求和，便得到熵。根据熵对模型的参θd进行优化。在对标识字符判别器d的参数进行更新时，对于完整的标识字符样本x(即强特征数据)而言，因为期望识别为真，所以d(x)的输出越接近于1越好，即log(d(x))越大越好；对于通过z重构特征的g(z)而言，因为期望识别为假，所以d(g(z))越接近于0越好，即log(1-d(g(z)))越大越好。
[0071]
通过设计好的损失函数，使用梯度下降法对(θg,θd)参数交替优化，使标识特征重构器g和标识字符判别器d接近纳什均衡。
[0072]
s150建立优化判别网络，对每次优化后的标识特征重构器的输出进行识别分类，得到弱特征数据的识别率。
[0073]
在一个实施例中，步骤s150包括：建立优化判别网络，采用强特征数据对优化判别网络进行训练，得到训练后的目标优化判别网络；根据目标优化判别网络对每次优化后的标识特征重构器的输出进行分类识别，得到弱特征数据的识别率。
[0074]
在一个实施例中，步骤150中的优化判别网络采用vgg网络模型。
[0075]
s160当识别率达到预设阈值时，停止交替优化，得到目标标识特征重构器和目标标识特征判断器。
[0076]
在一个实施例中，步骤s160包括：预设识别率的阈值，将每次分类识别后得到的识别率与阈值比较；当存在识别率大于阈值时，停止对标识特征重构器和标识特征判断器的交替优化；获取当前识别率对应的标识特征重构器和标识特征判断器，分别作为目标标识特征重构器和目标标识特征判断器。
[0077]
s170使用目标标识特征重构器和目标标识特征判断器，重构和识别目标芯片表面文本。
[0078]
在一个实施例中，以七万张64*64像素构成，0至255灰度值表示的图像为例，进行实验检验，七分之一为测试集，七分之六为训练集。如图2所示，图2左侧为原始图像，右侧为
残缺图像。实验环境：cpu 8，ram 32gb，gpu v100，显存16gb，磁盘100gb，python版本python3.7，框架版本paddlepaddle1.7.0。实验使用训练集进行训练，每次以一个样本为单位进行训练，过程为：从训练集中抽取出一个样本，作为标识特征重构器g的输入x，通过标识特征重构器g得到g(x),再将x与g(x，z)作为标识特征判别器d的输入，得到d(x，g(x，z))，表示标识特征判别器d判断g(x，z)标识特征重构器g生成图像为真的概率d(x,θd)，将其放入公式(6)得到损失值d1。
[0079]
d1＝∑log(d(x,θd))
ꢀꢀ
(6)
[0080]
将训练集中抽取的样本x与y作为标识特征判别器d的输入得到d(x，y)，表示标识特征判别器d判断输入图像是否真实的概率将其带入公式(7)得到损失值d2。
[0081][0082]
通过d1和d2结合公式(5)可以得到标识特征判别器d的损失值lossd，通过adam算法对标识特征判别器d进行优化。
[0083]
标识特征重构器g生成的图像通过标识特征判别器d得到作为标识特征判别器d的损失d2的同时也作为标识特征重构器g的损失值。因为对标识特征重构器g的期望是所有生成的数据，标识特征判别器d都将其判别为真，所有将带入公式(2)得到标识特征重构器g的损失值lossg，通过adam算法对标识特征重构器g进行优化。
[0084]
重复训练过程1-4对模型的标识特征重构器g和标识特征判别器d不断进行优化，过程中将标识特征重构器g生成结果保存下来，部分图像展示如图3所示。
[0085]
在上述过程中每一次正向传播过程中标识特征重构器g和标识特征判别器d的损失值变化曲线如图4所示。从图4中可以看出，模型的标识特征重构器g和标识特征判别器d在训练过程中不断博弈，当标识特征判别器d的损失值减少时，判别判定标识特征重构器g生成的图像为假的概率增加，当标识特征重构器g的损失值减少时，标识特征判别器d能较大概率的判定生成的图像为真。两个模型交替上升，表示两个模型在不断的博弈中，并交替地对模型参数进行优化。
[0086]
通过博弈的方法不断的优化标识特征重构器g，可以使其学习字符图像的分布概率，但博弈的方式优化神经网络最大的问题在于过拟合和欠拟合的判定。从图4可以看出，通过loss值，难以判断网络优化的结果，更难以用阈值对优化过程进行控制。本文在原有模型上再增加一个优化判别网络，通过该网络对特征重构的效果进行判别。本文以vgg为骨干网络设计优化判别网络，对标识特征重构器g重构的特征进行判别。实验中，先使用无残缺的字符数据集对优化判别网络进行优化，其优化过程中优化判别网络的loss值变化如图5所示，在400次优化后，loss值已无明显变化，使用优化后的优化判别网络对数据集进行分类识别，其准确率达到92.46％，而对于残缺字符的识别率为78.14％，可以通过分类识别的效果去判断，标识特征重构器g的重构效果。
[0087]
将优化判别网络加入到特征重构模型中，在模型的优化过程中，优化判别网络对特征重构后的数字进行识别，识别的准确率如图6所示。进行随机使用残缺处理后的图像作为完成180000次训练后的标识特征重构器g输入，通过正向传播，得到10000张图像。部分图像如图7所示。本实验通过与几个经典的分类模型进行对比，验证本文的特征重构识别效
果。首先完成经典分类模型的训练。设定学习率为0.0002,训练过程如图8所示，横轴为训练次数，纵轴为损失值大小，可以看出三个模型分别在200次、600次、1100次左右降到了一个范围内。使用本实验的测试集，随机对残缺芯片文本进行识别，并与多个模型进行比较，结果如表1所示：
[0088]
表1识别率对比
[0089]
modleourresnetvggnetalexnetaccuracy94.05％82.16％81.44％76.96％
[0090]
其中，modle为模型类型，our为本实验的，resnet、vggnet和alexnet均是现有的模型，进行对比，结合图8中展示的这三种现有模型的训练过程损失值的变化曲线，可见本实验的模型识别率最高，达到94.05％。
[0091]
上述实施例中，通过设计损失函数，对标识特征重构器和标识特征判断器进行交替优化，叠加优化判别网络对优化过程的控制，实现对芯片字符图像的特征重构和可辨识性特征增强，进一步提高芯片残缺文本标识的识别精度。并通过设置优化判别网络，对网络对特征重构的效果进行判别，从而实现对交替优化的控制，防止出现过拟合或者欠拟合的情况。
[0092]
在一个实施例中，如图9所示，提供了一种基于特征重构的芯片表面复杂文本高精度识别装置，包括数据提取分类模块910、重构器建立模块920、判断器建立模块930、交替优化模块940、判别建立模块950、目标获取模块960和表面识别模块970，其中：
[0093]
数据提取分类模块910，用于提取芯片表面的文本数据，根据文本数据的字形特征，分为弱特征数据和强特征数据；
[0094]
重构器建立模块920，用于将弱特征数据作为输入，设置待优化参数θg，建立标识特征重构器；
[0095]
判断器建立模块930，用于将强特征数据和标识特征重构器的输出分别作为输入，设置待优化参数θd，建立标识特征判断器；
[0096]
交替优化模块940，用于根据标识特征判断器的输出结果，设计损失函数，并使用梯度下降法对标识特征重构器和标识特征判断器进行交替优化；
[0097]
判别建立模块950，用于建立优化判别网络，对每次优化后的标识特征重构器的输出进行识别分类，得到弱特征数据的识别率；
[0098]
目标获取模块960，用于当识别率达到预设阈值时，停止交替优化，得到目标标识特征重构器和目标标识特征判断器；
[0099]
表面识别模块970，用于使用目标标识特征重构器和目标标识特征判断器，重构和识别芯片表面文本。
[0100]
在一个实施例中，如图10所示，判别建立模块950包括网络建立单元951和分类识别单元952，其中：网络建立单元951用于，建立优化判别网络，采用强特征数据对优化判别网络进行训练，得到训练后的目标优化判别网络；分类识别单元952用于，根据目标优化判别网络对每次优化后的标识特征重构器的输出进行分类识别，得到弱特征数据的识别率。
[0101]
显然，本领域的技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在
计算机存储介质(rom/ram、磁碟、光盘)中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。所以，本发明不限制于任何特定的硬件和软件结合。
[0102]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。