调整方法及装置、调整设备和存储介质与流程

1.本技术涉及检测技术领域，特别涉及一种调整方法、调整装置、调整设备和非易失性计算机可读存储介质。


背景技术：

2.目前，半导体工件种类复杂，即使相同种类，也存在不同型号和不同背景图像的工件，导致机台扫描产生的工件图像的复杂性较高，对于工件图像的类型进行标注的难度较高，通常采用人工方式进行标注，以保证类型标注的准确性。虽然也存在基于模板匹配的分类算法，通过对工件图像进行特征提取，然后基于提取的特征进行特征匹配，以对工件图像进行分类，然而，基于模板匹配的分类算法的特征提取准确性较低，导致分类准确性也较低。


技术实现要素：

3.本技术提供了一种调整方法、调整装置、调整设备和非易失性计算机可读存储介质。
4.本技术实施方式的调整方法包括对未标注类型的多个第一图像进行变换处理，以生成与每个所述第一图像对应的多个第二图像；通过预设的特征提取模型提取多个所述第二图像的图像特征；根据每个所述第二图像的所述图像特征和多个所述第二图像中剩余的每个所述第二图像的所述图像特征，计算任意两个所述第二图像之间的相似度；将每个所述第二图像和多个所述第二图像中剩余的每个所述第二图像的所述相似度输入预设的损失函数，以计算得到第一损失值；及根据所述第一损失值调整所述特征提取模型，直至所述特征提取模型收敛。
5.本技术实施方式的调整装置包括变换模块、提取模块、第一计算模块、第二计算模块和第一调整模块。所述变换模块用于对未标注类型的多个第一图像进行变换处理，以生成与每个所述第一图像对应的多个第二图像；所述提取模块用于通过预设的特征提取模型提取多个所述第二图像的图像特征；所述第一计算模块用于根据每个所述第二图像的所述图像特征和多个所述第二图像中剩余的每个所述第二图像的所述图像特征，计算任意两个所述第二图像之间的相似度；所述第二计算模块用于将每个所述第二图像和多个所述第二图像中剩余的每个所述第二图像的所述相似度输入预设的损失函数，以计算得到第一损失值；所述第一调整模块用于根据所述第一损失值调整所述特征提取模型，直至所述特征提取模型收敛。
6.本技术实施方式的调整设备包括处理器。所述处理器用于：对未标注类型的多个第一图像进行变换处理，以生成与每个所述第一图像对应的多个第二图像；通过预设的特征提取模型提取多个所述第二图像的图像特征；根据每个所述第二图像的所述图像特征和多个所述第二图像中剩余的每个所述第二图像的所述图像特征，计算任意两个所述第二图像之间的相似度；将每个所述第二图像和多个所述第二图像中剩余的每个所述第二图像的
所述相似度输入预设的损失函数，以计算得到第一损失值；及根据所述第一损失值调整所述特征提取模型，直至所述特征提取模型收敛。
7.本技术实施方式的一种包含计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，使得所述处理器执行所述调整方法。所述调整方法包括对未标注类型的多个第一图像进行变换处理，以生成与每个所述第一图像对应的多个第二图像；通过预设的特征提取模型提取多个所述第二图像的图像特征；根据每个所述第二图像的所述图像特征和多个所述第二图像中剩余的每个所述第二图像的所述图像特征，计算任意两个所述第二图像之间的相似度；将每个所述第二图像和多个所述第二图像中剩余的每个所述第二图像的所述相似度输入预设的损失函数，以计算得到第一损失值；及根据所述第一损失值调整所述特征提取模型，直至所述特征提取模型收敛。
8.本技术的调整方法、调整装置、调整设备和非易失性计算机可读存储介质，通过对未标注类型的多个第一图像进行变换，以针对每个第一图像都变换生成多个第二图像，然后特征提取模型提取多个第二图像的图像特征，从而基于图像特性，计算得到任意两个第二图像之间的相似度，每个第二图像均存在基于同一第一图像变换得到的第二图像，对应同一第一图像的多个第二图像的相似度应较高，而对应不同第一图像的多个第二图像的相似度应较低，通过将每个第二图像和剩余每个第二图像的相似度输入到预设的损失函数，即可得到第一损失值，通过第一损失值对特征提取模型进行调整，直至特征提取模型收敛，从而保证特征提取模型的特征提取的准确性较高，使得基于提取的图像特征进行相似度计算后，对应同一第一图像的多个第二图像的变得越来越相似(即，相似度越高)，而对应不同第一图像的多个第二图像变得越来越不同(即，相似度越低)，从而保证根据特征提取模型提取的图像特征，对图像进行分类时的准确性。
9.本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
10.为了更清楚地说明本技术实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
11.图1是本技术某些实施方式的调整方法的流程示意图；
12.图2是本技术某些实施方式的调整装置的模块示意图；
13.图3是本技术某些实施方式的调整设备的平面示意图；
14.图4至图7是本技术某些实施方式的调整方法的流程示意图；及
15.图8是本技术某些实施方式的处理器和计算机可读存储介质的连接示意图。
具体实施方式
16.以下结合附图对本技术的实施方式作进一步说明。附图中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。另外，下面结合附图描述的本技术的实施方式是示例性的，仅用于解释本技术的实施方式，而不能理解为对本技术的限
制。
17.请参阅图1至图3，本技术实施方式的调整方法包括以下步骤：
18.011：对未标注类型的多个第一图像进行变换处理，以生成与每个第一图像对应的多个第二图像；
19.012：通过预设的特征提取模型提取多个第二图像的图像特征；
20.013：根据每个第二图像的图像特征和多个第二图像中剩余的每个第二图像的图像特征，计算任意两个第二图像之间的相似度；
21.014：将每个第二图像和多个第二图像中剩余的每个第二图像的相似度输入预设的损失函数，以计算得到第一损失值；及
22.015：根据第一损失值调整特征提取模型，直至特征提取模型收敛。
23.本技术实施方式的调整装置10包括变换模块11、提取模块12、第一计算模块13、第二计算模块14和第一调整模块15。变换模块11用于对未标注类型的多个第一图像进行变换处理，以生成与每个第一图像对应的多个第二图像；提取模块12用于通过预设的特征提取模型提取多个第二图像的图像特征；第一计算模块13用于根据每个第二图像的图像特征和多个第二图像中剩余的每个第二图像的图像特征，计算任意两个第二图像之间的相似度；第二计算模块14用于将每个第二图像和多个第二图像中剩余的每个第二图像的相似度输入预设的损失函数，以计算得到第一损失值；第一调整模块15用于根据第一损失值调整特征提取模型，直至特征提取模型收敛。也即是说，步骤011可以由变换模块11实现、步骤012可以由提取模块12执行、步骤013可以由第一计算模块13执行、步骤014可以由第二计算模块14执行和步骤015可以由第一调整模块15执行。
24.本技术实施方式的调整设备100包括处理器20。处理器20用于对未标注类型的多个第一图像进行变换处理，以生成与每个第一图像对应的多个第二图像；通过预设的特征提取模型提取多个第二图像的图像特征；根据每个第二图像的图像特征和多个第二图像中剩余的每个第二图像的图像特征，计算任意两个第二图像之间的相似度；将每个第二图像和多个第二图像中剩余的每个第二图像的相似度输入预设的损失函数，以计算得到第一损失值；及根据第一损失值调整特征提取模型，直至特征提取模型收敛。也即是说，步骤011、步骤012、步骤013、步骤014个保证015可以由处理器20执行。
25.具体地，调整设备100可以是测量机。可以理解，调整设备100的具体形式并不限于测量机，还可以是任意能够对待测件200进行检测的设备。
26.调整设备100包括处理器20、运动平台30和传感器40。处理器20和传感器40均可设置在运动平台30。运动平台30可用于承载待测件200，运动平台30移动以带动传感器40移动，以使得传感器40采集待测件200的信息。
27.例如，运动平台30包括xy运动平台31和z运动平台32，传感器40设置在运动平台30上，具体为：传感器40设置在z运动平台32，其中，xy运动平台31用于控制待测件200沿水平面移动，改变待测件200和传感器40在水平面的相对位置，z运动平台32用于控制传感器40沿垂直水平面的方向移动，如此，通过xy运动平台31和z运动平台32配合实现传感器40相对待测件200的三维位置(即，在水平面的相对位置和垂直水平面方向的相对位置)。
28.可以理解，运动平台30并不限于上述结构，只需能够改变传感器40相对待测件200的三维位置即可。
29.传感器40可以是一个或多个，多个传感器40可以是不同类型的传感器40，如传感器40可包括可见光摄像头、深度摄像头等。本实施方式中，传感器40为可见光摄像头。
30.在获取具有缺陷的工件的训练图像时，可将预先已经检测的、具有缺陷的工件放置在运动平台30，处理器20则控制运动平台30移动，以使得传感器40拍摄工件的待测图像，以作为第一图像，第一图像均为未经过标注类型的图像。
31.第一图像包含的工件可以均为同一种类的工件(如均为晶圆)，使得后续进行训练后得到的特征提取模型专门用于检测该种类的工件，从而进一步提升特征提取的准确性。当然，第一图像包含的工件可以均也可以是不同种类的工件，从而使得训练后得到的特征提取模型能够同时实现更多种类的工件特征提取，应用较为广泛。本实施方式以工件均为晶圆为例进行说明，晶圆的缺陷一般包括外来物、残胶、氧化、气泡、褶皱、破裂等。
32.为了提升训练效果，在选取第一图像时，可选取晶圆图案、或者晶圆背景图案互不相同的多个第一图像，以提升第一图像的多样性，提升训练效果的同时，还可减少训练后的特征提取模型受到图像背景的影响。此外，多个第一图像可包括不同类型的缺陷，例如，晶圆a的第一图像、晶圆b的第一图像和晶圆c的第一图像三者具有的缺陷至少部分不同，如晶圆a具有外来物、残胶和氧化的缺陷，晶圆b具有残胶、氧化和气泡的缺陷，晶圆c具有氧化、气泡、褶皱和破裂的缺陷。从而使得第一图像具有的缺陷存在一定差异，可提升第一图像的多样性，从而提升训练效果。
33.然后，处理器20对未标注类型的多个第一图像进行变换处理，以为每个第一图像都生成对应的多个第二图像，该多个第二图像都是通过对该第一图像进行不同的变换处理得到，即，每个第一图像通过不同的变换处理，得到多个对应的第二图像。第一图像和第二图像对应指的是第二图像由第一图像变换处理得到。
34.其中，变换处理包括仿射变换、颜色变换、对比度变换和亮度变化中至少一种。例如，以对每个第一图像进行两次变换处理，以得到两个对应的第二图像为例进行说明，处理器20通过对每个第一图像进行仿射变换生成一个第二图像，再通过颜色变换生成一个第二图像；或者，处理器20通过对每个第一图像进行仿射变换生成一个第二图像，再通过对比度变换生成一个第二图像；或者，通过对每个第一图像进行颜色变换生成一个第二图像，再通过亮度变换生成一个第二图像。
35.再例如，处理器20通过对每个第一图像进行两次不同的仿射变换生成两个第二图像；或者，处理器20通过对每个第一图像进行两次不同的颜色变换生成两个第二图像；或者，处理器20通过对每个第一图像进行两次不同的对比度变换生成两个第二图像；或者，处理器20通过对每个第一图像进行两次不同的亮度变换生成两个第二图像，可以理解，即使变换处理的类型相同(如均为仿射变换)，但具体如何进行仿射变换的方式也可以是不同的，也可以认为变换处理是不同的，如仿射变换为旋转和推移，但旋转的角度和/或推移的距离可以是不同的，从而形成不同的仿射变换。
36.可以理解，对每个第一图像进行m次变换处理，以得到m个对应的第二图像原理类似，在此不再赘述。其中，m为大于1的正整数，即m至少为2，每个第一图像至少存在两个对应的第二图像，这样才能保证每个第二图像均存在一个基本相同(即相似度较大)的图像，从而保证对特征提取模型的训练效果，使得特征提取模型能够在提取特征后准确性识别相同的图像。
37.在通过检测模型识别第一图像的缺陷，以确定第一图像的类型前，需要对检测模型进行训练，以使得检测模型收敛，保证对第一图像的类型的检测准确性。检测模块包括特征提取模型和分类模型，首先，需要对特征提取模型进行训练，以保证特征提取的准确性。
38.在对特征提取模型进行训练时，可将多个第二图像输入到特征提取模型，然后特征提取模型可提取第二图像的图像特征，如通过预设的图像识别算法识别图像特征。然后处理器20根据每个第二图像的图像特征，将每个第二图像和输入特征提取模型中的剩余的第二图像进行特征比对，从而确定任意两个第二图像之间的相似度，可以理解，第二图像和第二图像本身的相似度为1，无需计算。
39.其中，相似度可以是余弦相似度。处理器20可基于预设的余弦相似度函数，根据每个第二图像的图像特征和多个第二图像中剩余的每个第二图像的图像特征，计算任意两个第二图像之间的余弦相似度。如图像特征为每个图像的像素值，则两个第二图像的余弦相似度可根据两个第二图像的位置对应的像素的像素值计算得到。
40.特征提取模型基于预设的损失函数，根据每个第二图像和剩余的第二图像的相似度，即可计算得到一个损失值，从而为每个第二图像均计算得到一个损失值，处理器20根据多个损失值即可计算得到本次训练的整体损失值(即第一损失值)，如第一损失值为每个第二图像对应的损失值的和。
41.最后，处理器20根据损失值调整特征提取模型，具体为调整特征识别模块进行特征提取的算法，从而降低第一损失值，直至第一损失值收敛。可以理解，对特征提取模型的训练是多轮的，每轮均输入作为一个批次的、预定个数的第二图像到特征提取模型，以计算对应的第一损失值，随着训练轮数的增加，第一损失值逐渐降低，直至满足需求(如达到预定损失阈值)或者第一损失值达到一个极限值不再降低，均认为特征提取模型收敛，从而完成特征提取模型的训练。
42.在完成特征提取模型的训练后，可对分类模型进行训练。处理器20可在得到第一图像后，对第一图像中的缺陷预先进行标注。例如，质检人员根据经验，对第一图像中的缺陷进行标注。如标注出第一图像中缺陷的类型，然后通过在第一图像中使用缺陷框(如矩形框、圆形框等)框选出缺陷，以作为缺陷的位置。或者，处理器20基于预设的模板匹配算法，首先对第一图像的缺陷进行检测，然后由质检人员进行确定，以框选缺陷的位置并标注缺陷的类型，从而在提高缺陷标注速度的同时，降低质检人员的工作量，降低质检人员因疲劳产生误判的几率。
43.处理器20可获取标注后的多个第一图像，然后处理器20根据标注后的多个第一图像对分类模型进行训练，直至分类模型收敛，由于经过标注后的第一图像中的缺陷的类型和位置较为准确，可提升分类模型的检测效果。
44.最后，处理器20根据特征提取模型和分类模型均收敛后的检测模型，在传感器40拍摄到待测件200的图像后，对待测件200的图像进行检测，以识别待测件200的图像中的缺陷。
45.本技术的调整方法、调整装置10和调整设备100，通过对未标注类型的多个第一图像进行变换，以针对每个第一图像都变换生成多个第二图像，然后特征提取模型提取多个第二图像的图像特征，从而基于图像特性，计算得到任意两个第二图像之间的相似度，每个第二图像均存在基于同一第一图像变换得到的第二图像，对应同一第一图像的多个第二图
像的相似度应较高，而对应不同第一图像的多个第二图像的相似度应较低，通过将每个第二图像和剩余每个第二图像的相似度输入到预设的损失函数，即可得到第一损失值，通过第一损失值对特征提取模型进行调整，直至特征提取模型收敛，从而保证特征提取模型的特征提取的准确性较高，使得基于提取的图像特征进行相似度计算后，对应同一第一图像的多个第二图像的变得越来越相似(即，相似度越高)，而对应不同第一图像的多个第二图像变得越来越不同(即，相似度越低)，从而保证根据特征提取模型提取的图像特征，对图像进行分类时的准确性。且训练后的检测模型能够准确地检出缺陷，无需再次进行人工确认，可节省大量的人力，且避免了质检人员疲劳导致的缺陷检测的准确性差的问题。
46.请参阅图2、图3和图4，在某些实施方式中，步骤012包括：
47.0121：对第二图像进行降采样，以得到多个第三图像；
48.0122：根据第三图像的像素值，确定图像特征。
49.在某些实施方式中，第一计算模块13还用于对第二图像进行降采样，以得到多个第三图像；根据第三图像的像素值，确定图像特征。也即是说，步骤0121至步骤0122可以由提取模块12执行。
50.在某些实施方式中，处理器20还用于对第二图像进行降采样，以得到多个第三图像；
51.根据第三图像的像素值，确定图像特征。也即是说，步骤0121至步骤0122可以由处理器20执行。
52.具体地，在提取第二图像的图像特征时，首先对第二图像进行降采样，每次进行降采样，第二图像的长和宽均缩小一倍，如第二图像是尺寸为224*224(单位为像素，即224像素*224像素)的三通道图像，每个通道均可得到一个尺寸为224*224的单通道图像，即第二图像可得到3个224*224的单通道图像，然后每个单通道图像进行第一次降采样后，每个单通道图像变为4个112*112的单通道图像，进行第二次降采样后，每个单通道图像的变为42个56*56的单通道图像，进行第三次降采样后，每个单通道图像变为43个28*28的单通道图像，进行第四次降采样后，每个单通道图像变为44个14*14的单通道图像，进行第五次降采样后，每个单通道图像变为45个7*7的单通道图像，也即是说，进行第q次降采样后，每个单通道图像变为4q个长和宽分别为第二图像的长和宽1/2q的单通道图像，q为正整数。如此，通过对第二图像进行多次降采样，可得到多个长和宽均缩小的第三图像。
53.可以理解，还可通过其他降低尺寸进行降采样的方法得到任意个数的图像特征，上述实施方式仅为举例说明，不能理解为对本技术的限定。
54.然后处理器20根据第三图像的像素值，计算得到一个图像特征，如将第三图像的像素值的和、平均值、或最大值等作为第三图像对应的图像特征，从而得到每个第二图像的多个图像特征，如第二图像是尺寸为224*224的三通道图像，则经过5次采样后可得到3074个7*7的单通道图像，从而得到3074个图像特征。
55.请参阅图2、图3和图5，在某些实施方式中，多个第二图像按预定个数分为多个批次，每个批次的预定个数的第二图像可计算得到一个第一损失值，步骤015包括：
56.0151：在连续n个批次中，任意两个批次对应的第一损失值的差值大于预定阈值时，继续输入下一批次的第二图像至特征提取模型，n为正整数；及
57.0152：在连续n个批次中，任意两个批次对应的第一损失值的差值小于预定阈值
时，确定特征提取模型收敛。
58.在某些实施方式中，第一调整模块15还用于在连续n个批次中，任意两个批次对应的第一损失值的差值大于预定阈值时，继续输入下一批次的第二图像至特征提取模型，n为正整数；及在连续n个批次中，任意两个批次对应的第一损失值的差值小于预定阈值时，确定特征提取模型收敛。也即是说，步骤151至步骤0152可以由第一调整模块15执行。
59.在某些实施方式中，处理器20还用于在连续n个批次中，任意两个批次对应的第一损失值的差值大于预定阈值时，继续输入下一批次的第二图像至特征提取模型，n为正整数；及在连续n个批次中，任意两个批次对应的第一损失值的差值小于预定阈值时，确定特征提取模型收敛。也即是说，步骤0151和步骤0152可以由处理器20执行。
60.具体的，对特征提取模型的训练有多轮，每轮输入一个批次的、预定个数的第二图像，来对特征提取模型进行训练，每个批次的训练完成后，均可计算得到一个第一损失值。
61.例如，预定个数可以是6个、12个、64个等。本实施方式以预定个数为6个为例进行说明，如6个第二图像(分别为第二图像p1至第二图像p6)每个图像与剩余5个第二图像的相似度形成相似度矩阵(如下表1)：
[0062] 第二图像p1第二图像p2第二图像p3第二图像p4第二图像p5第二图像p6第二图像p110.84390.83970.80940.83560.9186第二图像p20.8439,10.76730.73790.81750.9230第二图像p30.83970.767310.88300.85780.8297第二图像p40.80940.73790.883010.86990.8296第二图像p50.83560.81750.85780.869910.8603第二图像p60.91860.92300.82970.82960.86031
[0063]
表1
[0064]
其中，每个第二图像和自身的相似度为1，不具备参考价值，可不参与后续损失值的计算，而第二图像p1和第二图像p4对应同一第一图像，第二图像p2和第二图像p5对应同一第一图像，第二图像p3和第二图像p6对应同一第一图像。对应同一第一图像的两个第二图像的相似度应大于对应不同第一图像的两个第二图像的相似度，如对于第二图像p1而言，第二图像p1和第二图像p4的相似度，应大于第二图像p1和第三图像p2的相似度、第二图像p1和第三图像p3的相似度、第二图像p1和第三图像p5的相似度、第二图像p1和第三图像p6的相似度。在计算损失值时，仅将每个第二图像和剩余的5个第二图像的相识度，分别输入到预设的损失函数，从而得到每个第二图像对应的损失值，可以理解，对应同一第一图像的两个第二图像的相似度a、和对应不同第一图像的任意两个第二图像的相似度b的差值a-b越大，损失值则越小。处理器20根据6个损失值计算得到该批次第二图像对应的第一损失值，如将6个损失值的和作为第一损失值。
[0065]
处理器20判断连续n个(例如n为2、3、4等)批次中，任意两个批次对应的第一损失值的差值是否大于或等于预定阈值，若任意两个批次对应的第一损失值的差值大于或等于预定阈值(如预定阈值为0.01、0.02等)，则说明第一损失值还没达到极限值，需要继续进行下一轮训练，处理器20则继续输入下一批次的第二图像至特征提取模型，n为正整数。若任意两个批次对应的第一损失值的差值小于预定阈值，则说明第一损失值达到了极限值，此时则可确定特征提取模型收敛。
[0066]
请参阅图2、图3和图6，在某些实施方式中，调整方法包括：
[0067]
016：获取已标注类型的多个第四图像；
[0068]
017：通过预设的分类模型检测未标注类型前的第四图像，以输出检测结果；
[0069]
018：根据检测结果与第四图像标注的类型，确定第二损失值；及
[0070]
019：根据第二损失值调整分类模型，以使得分类模型收敛。
[0071]
在某些实施方式中，调整装置10还包括获取模块16、第一检测模块17、确定模块18和第二调整模块19，获取模块16用于获取已标注类型的多个第四图像；第一检测模块17用于通过预设的分类模型检测未标注类型前的第四图像，以输出检测结果；确定模块18用于根据检测结果与第四图像标注的类型，确定第二损失值；第二调整模块19用于根据第二损失值调整分类模型，以使得分类模型收敛。也即是说，步骤016可以由获取模块16执行、步骤017可以由第一检测模块17执行、步骤018可以由确定模块18执行和步骤019可以由第二调整模块19执行。
[0072]
在某些实施方式中，处理器20还用于获取已标注类型的多个第四图像；通过预设的分类模型检测未标注类型前的第四图像，以输出检测结果；根据检测结果与第四图像标注的类型，确定第二损失值；及根据第二损失值调整分类模型，以使得分类模型收敛。也即是说，步骤016至步骤019可以由处理器20执行。
[0073]
具体地，在训练分类模型时，可首先获取多个第一图像，并对第一图像进行标注，以得到多个已标注类型的第四图像，然后输入标注类型前的第四图像(即第一图像)到分类模型，然后分类模型会输出检测结果，检测结果包括每个缺陷的类型和位置，然后将检测结果和标注类型后的第四图像进行对比，如对比检测结果和标注后的第一图像的对应位置的缺陷的类型是否相同，并确定位置的偏差，从而确定第二损失值；处理器20根据第二损失值调整分类模型，以使得分类模型收敛。例如，根据检测结果和标注后的第四图像的对应位置的缺陷的类型是否相同来调整对缺陷的类型的判断参数，根据检测结果和标注后的第四图像的对应位置的缺陷的位置偏差调整缺陷的位置判断参数，通过包含大量的标注前和标注后的第四图像进行检测及调整，从而使得分类模型收敛，保证分类模型的检测效果。
[0074]
请参阅图2、图3和图7，在某些实施方式中，调整方法还包括：
[0075]
020：根据收敛后的特征提取模型和分类模型检测待测件200的图像的缺陷。
[0076]
在某些实施方式中，第二检测模块20还用于根据收敛后的特征提取模型和分类模型检测待测件200的图像的缺陷。也即是说，步骤020可以由第二检测模块20执行。
[0077]
在某些实施方式中，处理器20还用于根据收敛后的特征提取模型和分类模型检测待测件200的图像的缺陷。也即是说，步骤020可以由处理器20执行。
[0078]
具体地，在检测模型训练完成后，调整设备100通过传感器40获取到待测件200的图像，然后处理器20根据检测模型检测待测件200的图像，以确定缺陷的类型、位置和置信度。具体为特征提取模型首先提取待测件200的图像的图像特征，然后，输入到分类模型，分类模型检测图像特征以确定检测结果，检测结果包括待测件200的图像的缺陷的类型、位置和置信度，当置信度大于当前缺陷的类型对应的置信度阈值时，则可确定当前缺陷检测准确，从而输出当前缺陷的类型、位置和置信度，以作为检测结果。
[0079]
其中，置信度阈值与缺陷的类型对应，不同类型的缺陷对应不同的置信度阈值，从而针对性的提升不同类型的缺陷的检测准确性，且本技术的检测模型为端到端模型，端到
端模型仅使用一个模型、一个目标函数，相较于多模块模型训练目标可能存在细微差异导致的训练效果难以达到最优，且不同模块之间的误差会相互影响，影响最终的检测准确性而言，端到端模型的实施和维护均较简单，且能够使得训练后的模型达到最优效果，检测效果较好且工程复杂度较低。
[0080]
请参阅图8，本技术实施方式的一个或多个包含计算机程序302的非易失性计算机可读存储介质300，当计算机程序302被一个或多个处理器20执行时，使得处理器20可执行上述任一实施方式的标定方法。
[0081]
例如，请结合图1至图3，当计算机程序302被一个或多个处理器20执行时，使得处理器20执行以下步骤：
[0082]
011：对未标注类型的多个第一图像进行变换处理，以生成与每个第一图像对应的多个第二图像；
[0083]
012：通过预设的特征提取模型提取多个第二图像的图像特征；
[0084]
013：根据每个第二图像的图像特征和多个第二图像中剩余的每个第二图像的图像特征，计算任意两个第二图像之间的相似度；
[0085]
014：将每个第二图像和多个第二图像中剩余的每个第二图像的相似度输入预设的损失函数，以计算得到第一损失值；及
[0086]
015：根据第一损失值调整特征提取模型，直至特征提取模型收敛。
[0087]
再例如，请结合图2、图3和图4，当计算机程序302被一个或多个处理器20执行时，处理器20还可以执行以下步骤：
[0088]
0121：对第二图像进行降采样，以得到多个第三图像；
[0089]
0122：根据第三图像的像素值，确定图像特征。
[0090]
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施方式或示例以及不同实施方式或示例的特征进行结合和组合。
[0091]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施方式所属技术领域的技术人员所理解。
[0092]
尽管上面已经示出和描述了本技术的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施方式进行变化、修改、替换和变型。