用于缺陷检测的样本收集方法、装置和设备与流程

1.本发明涉及显示缺陷检测技术领域，尤其涉及一种用于缺陷检测的样本收集方法、装置和计算机设备。


背景技术：

2.随着人工智能高潮，机器学习和深度学习已经应用到生活、工业中，但随着市场需求，通过机器学习或深度学习训练神经网络模型，例如，基于大量的样本学习得到训练好的图像缺陷检测模型，利用训练好的图像缺陷检测模型进行缺陷检测操作。然而，由于处于发生概率较少的缺陷这类样本较少，如判等依据边缘的缺陷，或者该类缺陷属于罕见缺陷，由于训练的样本数太少，这类缺陷极有可能发生过检、漏检甚至错检。


技术实现要素：

3.本发明的主要目的在于提供一种用于缺陷检测的样本收集方法、装置和计算机设备，旨在现有的图像缺陷检测模型存在对于发生概率较少的缺陷的判别准确度不高的技术问题。
4.第一方面，本发明提供一种用于缺陷检测的样本收集方法，一种用于缺陷检测的样本收集方法，包括：
5.获取第一检测数据，并确定与其对应的用于进行缺陷检测的目标模型；
6.若目标模型输出的缺陷检测结果或对应的置信度满足第一类样本收集预置条件，则将第一检测数据添加至目标模型的训练样本集，训练样本集达到预设更新条件时，对目标模型进行更新。
7.可选的，目标模型的确认过程包括：
8.获取与第一检测数据对应的第一验证样本集，将第一验证样本输入多个预置模型，获得各个预置模型的模型评价指标值；若模型评价指标值达到预置阈值，则确定对应的预置模型为目标模型。
9.可选的，样本收集方法还包括：
10.第二检测数据为所述第一验证样本集的样本之一，多个预置模型对应于第二检测数据输出的缺陷检测结果存在一个或多个误判时，则将第二检测数据添加至各个预置模型的训练样本集，训练样本集达到预设更新条件时，对预置模型进行更新。
11.可选的，第一类样本收集预置条件包括：
12.目标模型输出的缺陷类型属于第一类缺陷类型；
13.和/或，第一检测数据为标准样本库的样本之一，目标模型输出的缺陷检测结果与标准样本库所标注的缺陷不同；
14.和/或，置信度处于预设阈值区间。
15.可选的，目标模型输出的缺陷类型属于第一类缺陷类型时，则将第一检测数据添加至训练样本集中与第一类缺陷类型对应的子样本集。
16.可选的，目标模型输出的缺陷检测结果与标准样本库所标注的缺陷不同时，则将第一检测数据添加至训练样本集中与标准样本库所标注的缺陷对应的子样本集。
17.可选的，置信度处于预设阈值区间时，对第一检测数据进行人工复判，并将第一检测数据添加至训练样本集中与人工复判结果对应的子样本集。
18.第二方面，本发明还提供一种用于缺陷检测的样本收集装置，其特征在于，样本收集装置包括：
19.目标模型获取模块，用于获取第一检测数据，并确定与其对应的用于进行缺陷检测的目标模型；
20.目标模型更新模块，用于获取目标模型的输出数据，若目标模型输出的缺陷检测结果或对应的置信度满足第一类样本收集预置条件，则将第一检测数据添加至目标模型的训练样本集，训练样本集达到预设更新条件时，对目标模型进行更新。
21.可选的，目标模型的确认过程包括：
22.获取与第一检测数据对应的第一验证样本集，将第一验证样本输入多个预置模型，获得各个预置模型的模型评价指标值；若模型评价指标值达到预置阈值，则确定对应的预置模型为目标模型。
23.第三方面，本发明还提供一种计算机设备，计算机设备包括处理器、存储器、以及存储在存储器上并可被处理器执行的计算机程序，其中计算机程序被处理器执行时，实现如上述的用于缺陷检测的样本收集方法的步骤。
24.本发明提供一种用于缺陷检测的样本收集方法、装置和计算机设备，其通过获取第一检测数据，并确定与其对应的用于进行缺陷检测的目标模型；若目标模型输出的缺陷检测结果或对应的置信度满足第一类样本收集预置条件，则将第一检测数据添加至目标模型的训练样本集，训练样本集达到预设更新条件时，对目标模型进行更新，实现设置第一类样本收集预置条件筛选得到发生概率较少的缺陷样本，通过将其增加至目标模型的训练样本集，进而增加目标模型对这类缺陷的判别能力。
附图说明
25.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
26.图1为本发明实施例提供的一种用于缺陷检测的样本收集方法的流程示意图；
27.图2为本发明实施例提供的一种用于缺陷检测的样本收集装置的示意性框图；
28.图3为本发明一实施例涉及的计算机设备的结构示意框图。
29.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
30.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
31.附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
32.本发明实施例提供一种用于缺陷检测的模型确定方法、装置和计算机设备。其中，该用于缺陷检测的模型确定方法可应用于计算机设备中，该计算机设备可以是笔记本电脑、台式电脑等电子设备。
33.下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
34.请参照图1，图1为本发明的实施例提供的一种用于缺陷检测的样本收集方法的流程示意图。
35.如图1所示，该方法包括步骤s1至步骤s2。
36.步骤s1、获取第一检测数据，并确定与其对应的用于进行缺陷检测的目标模型。
37.示范性的，获取第一检测数据，该第一检测数据可以是已检测过过的检测数据，如，带检测缺陷标注的样本，来自标准样本库(如mass数据库)的样本之一，或者验证样本库的样本之一，该第一检测数据还可以是待检测数据。
38.示范性的，如第一检测数据为已标注过的检测数据，可依据其标注来源确定与其对应的用于进行缺陷检测的目标模型，如第一检测数据为待检测数据，可根据待检测对象的生产批次或类似信息确定与其对应的用于进行缺陷检测的目标模型。
39.步骤s2、若目标模型输出的缺陷检测结果或对应的置信度满足第一类样本收集预置条件，则将第一检测数据添加至目标模型的训练样本集，训练样本集达到预设更新条件时，对目标模型进行更新。
40.示范性的，满足第一类样本收集预置条件可以是，如目标模型输出的缺陷类型属于第一类缺陷类型，该第一类缺陷类型可以为发生频率较少的一类缺陷类型，通过统计各类缺陷的发生频率，发生频率低于预设阈值即可认为该类缺陷属于第一类缺陷类型；
41.优选的，目标模型输出的缺陷类型属于第一类缺陷类型时，对应的缺陷检测结果为目标模型输出的缺陷检测结果，依据目标模型输出的缺陷检测结果将第一检测数据添加至目标模型的训练样本集中的子样本集，以实现对目标模型的训练样本更新，通过该类筛选可以将发生概率较少的缺陷样本增加至目标模型的训练样本集，增加目标模型对于该类缺陷的识别能力。
42.满足第一类样本收集预置条件还可以是，如第一检测数据为标准样本库的样本之一，目标模型输出的缺陷检测结果与标准样本库所标注的缺陷不同；
43.优选的，目标模型输出的缺陷检测结果与标准样本库所标注的缺陷不同时，对应的缺陷检测结果为标准样本库所标注的缺陷，依据标准样本库所标注的缺陷将第一检测数据添加至目标模型的训练样本集中的子样本集，以实现对目标模型的训练样本更新，通过该类筛选可以将容易发生错检的缺陷样本或者处于判等边缘的缺陷样本增加至目标模型的训练样本集，增加目标模型对于该类缺陷的识别能力。
44.满足第一类样本收集预置条件还可以是，目标模型输出的缺陷检测结果所对应的置信度属于预设阈值区间，通过统计数据获取关于预设阈值区间的具体范围值，使得置信度处于这个预设阈值区间时，可以认为目标模型输出的缺陷检测结果不准确；
45.优选的，置信度处于预设阈值区间时，对第一检测数据进行人工复判，并将人工复判的结果作为对应的缺陷检测结果，依据人工复判的结果将第一检测数据添加至目标模型的训练样本集中的子样本集，以实现对目标模型的训练样本更新，通过该类筛选可以将容易发生错检的缺陷样本或者处于判等边缘的缺陷样本增加至目标模型的训练样本集，增加目标模型对于该类缺陷的识别能力。
46.示范性的，预设更新条件包括动态发生变化和/或预置阈值至少一种。例如，实时训练样本集的动态，若检测到训练样本集的动态发生变化，则确定满足设更新条件；或，实时检测训练样本集中样本数量的变化量，若训练样本集中样本数量的变化量满足预置阈值，则确定满足设更新条件。如，预设更新条件为预置阈值，且预置阈值为200时，实时获取训练样本集中样本数量达到200时，则确定当前训练样本集满足预设更新条件，或实时获取训练样本集中的样本数量的增量达到50时，确定当前训练样本集满足预设更新条件。或，检测到训练样本集的动态发生变化，实时获取训练样本集中样本数量为100时，则确定当前训练样本集不满足预设更新条件。
47.作为一个优选的方案，目标模型的确认过程包括：
48.获取与第一检测数据对应的第一验证样本集，将第一验证样本输入多个预置模型，获得各个预置模型的模型评价指标值；若模型评价指标值达到预置阈值，则确定对应的预置模型为目标模型。
49.示范性的，可根据与第一检测数据关联的待检测对象的生产批次或类似信息确定对应的第一验证样本集，如待检测对象属于同一个厂商共用一个验证样本集，通过调用多个预置模型，该多个预置模型可以预先存储于服务器或预置区块链中，且预置模型的数量至少为两个，且对于预置模型的具体数据量，不做限定。该多个预置模型为同一类型的图像缺陷检测模型，如多个预置模型为图像缺陷检测模型1和图像缺陷检测模型2。将从第一验证样本集中获取多张带缺陷标签的待验证图片分别输入至图像缺陷检测模型1和图像缺陷检测模型2中，通过图像缺陷检测模型1和图像缺陷检测模型2分别对各个带缺陷标签的待验证图片进行验证计算。
50.在验证界面显示图像缺陷检测模型1和图像缺陷检测模型2验证带缺陷图片的map值和/或总符合率。如，获取待验证图片的总数量，以及获取图像缺陷检测模型1和图像缺陷检测模型2验证各个带缺陷标签的待验证图片的推断缺陷标签，将获取到预置缺陷标签与缺陷标签进行比对，确定是否一致；若一致，则确定检测正确，并记录图像缺陷检测模型1检测带缺陷标签的待验证图片的正确数量1，以及记录图像缺陷检测模型2检测带缺陷标签的待检测图片的正确数量2，通过待验证图片总数量和正确数量1，得到图像缺陷检测模型1的总符合率，如，图像缺陷检测模型1的总符合率＝正确数量1/待验证图片总数量。通过待验证图片总数量和正确数量2，得到图像缺陷检测模型2的总符合率。如，图像缺陷检测模型2的总符合率＝正确数量2/待验证图片总数量。
51.例如，获取图像缺陷检测模型1的map值和图像缺陷检测模型2的map值，将图像缺陷检测模型1的map值与图像缺陷检测模型2的map值分别与预先设置的map值进行比对，若图像缺陷检测模型1的map值大于或等于预先设置的map值，则确定图像缺陷检测模型1为目标模型；和/或，若图像缺陷检测模型2的map值大于或等于预先设置的map值，则确定图像缺陷检测模型2为目标模型。
52.优选的，上述样本收集方法还包括：
53.第二检测数据为所述第一验证样本集的样本之一，多个预置模型对应于第二检测数据输出的缺陷检测结果存在一个或多个误判时，则将第二检测数据添加至各个预置模型的训练样本集，更具体的，根据样本所标注的缺陷将第二检测数据添加至各个预置模型的训练样本集的子样本集，训练样本集达到预设更新条件时，对预置模型进行更新，其中，预置模型的预设更新条件与目标模型类似，在此不做累述，通过该类筛选可以将容易发生错检的缺陷样本增加至预置模型的训练样本集，增加预置模型对于该类缺陷的识别能力。
54.如图2所示，该用于缺陷检测的样本收集装置30，包括：目标模型获取模块31、预置模型更新模块32。
55.目标模型获取模块31，用于获取第一检测数据，并确定与其对应的用于进行缺陷检测的目标模型；
56.目标模型更新模块32，用于获取目标模型的输出数据，若目标模型输出的缺陷检测结果或对应的置信度满足第一类样本收集预置条件，则将第一检测数据添加至目标模型的训练样本集，训练样本集达到预设更新条件时，对目标模型进行更新。
57.需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块及单元的具体工作过程，可以参考前述用于缺陷检测的样本收集方法实施例中的对应过程，在此不再赘述。
58.上述实施例提供的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图3所示的计算机设备上运行。
59.请参阅图3，图3为本发明实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以为终端。
60.如图3所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。
61.非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种用于缺陷检测的模型确定方法。
62.处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
63.内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种用于缺陷检测的样本收集方法。
64.该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图3中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
65.应当理解的是，处理器可以是中央处理单元(central processing unit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
66.其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实
现如下步骤：
67.获取第一检测数据，并确定与其对应的用于进行缺陷检测的目标模型；
68.若目标模型输出的缺陷检测结果或对应的置信度满足第一类样本收集预置条件，则将第一检测数据添加至目标模型的训练样本集，训练样本集达到预设更新条件时，对目标模型进行更新。
69.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序中包括程序指令，所述程序指令被执行时所实现的方法可参照本发明用于缺陷检测的样本收集方法的各个实施例。
70.其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。
71.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
72.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。