一种面板缺陷检测方法、装置、终端设备及存储介质与流程

1.本技术涉及面板检测技术领域，尤其涉及的是一种面板缺陷检测方法、装置、终端设备及存储介质。


背景技术：

2.产品质量是制造业最为重视的生产指标之一，为了保证产品质量，在产品生产过程中对产品进行缺陷检测成为不可或缺的工序，例如，显示面板(例如，薄膜晶体管液晶显示器(tft-lcd，thin film transistor-liquid crystal display)等)为例，每条产线都需要对显示面板进行缺陷检测。然而，目前在对显示面板进行缺陷检测的过程中，普遍存在缺陷检测准确率低的问题。


技术实现要素：

3.本技术要解决的技术问题在于，针对现有技术的不足，提供一种面板缺陷检测方法、装置、智能终端及存储介质，旨在解决现有技术在进行面板缺陷的检测过程中存在缺陷检测准确率低的问题。
4.为了解决上述问题，本技术实施例第一方面提供了一种面板缺陷检测方法，其中，所述方法包括：
5.获取待检测面板的面板图像对应的缺陷候选区域集，其中，所述缺陷候选区域集中的各缺陷候选区域均包括各自对应的置信度；
6.确定所述缺陷候选区域集中各缺陷候选区域各自对应的位置参数，其中，所述位置参数用于反映该缺陷候选区域在所述面板图像中的所处区域；
7.基于各缺陷候选区域各自对应的置信度及位置参数，对所述缺陷候选区域集进行过滤，以得到目标缺陷候选区域集；
8.基于所述目标缺陷候选区域集，确定所述待检测面板对应的缺陷类别。
9.所述的面板缺陷检测方法，其中，所述获取待检测面板的面板图像对应的缺陷候选区域集包括：
10.将所述面板图像输入预设的缺陷检测模型，通过所述缺陷检测模型输出所述面板图像对应的各缺陷候选区域，其中，各缺陷候选区域均包括各自对应的置信度；
11.根据得到的所有缺陷候选区域，确定所述面板图像对应的缺陷候选区域集。
12.所述的面板缺陷检测方法，其中，所述基于各缺陷候选区域各自对应的置信度及位置参数，对所述缺陷候选区域集进行过滤，以得到目标缺陷候选区域集具体包括：
13.根据各缺陷候选区域各自对应的置信度及位置参数，确定各缺陷候选区域各自对应的置信分数；
14.根据各缺陷候选区域对应的置信分数，对所述缺陷候选区域集进行过滤，以得到目标缺陷候选区域集。
15.所述的面板缺陷检测方法，其中，所述位置参数包括位置信息以及尺寸信息；所述
根据各缺陷候选区域各自对应的置信度及位置参数，确定各缺陷候选区域各自对应的置信分数具体包括：
16.对于每个缺陷候选区域，对该缺陷候选区域对应的置信度、位置信息及尺寸信息进行加权处理，以得到该缺陷候选区域对应的置信分数。
17.所述的面板缺陷检测方法，其中，所述位置信息配置有权重参数，所述位置信息配置的权重参数的获取过程具体包括：
18.对于该缺陷候选区域中的每条区域边，确定该区域边与目标边之间的距离，其中，该目标边为所述面板图像中与该区域边平行的图像边，并且所述目标边与该区域边位于缺陷候选区域的区域中心的同一侧；
19.根据确定得到的所有距离，确定所述位置信息对应的权重系数。
20.所述的面板缺陷检测方法，其中，所述根据各缺陷候选区域对应的置信分数，对所述缺陷候选区域集进行过滤，以得到目标缺陷候选区域集具体包括：
21.根据所述缺陷候选区域集中的各缺陷候选区域对应的置信分数，确定所述缺陷候选区域集对应的目标候选区域以及参考候选区域集，其中，所述参考候选区域集包括所述缺陷候选区域集去除该目标候选区域外的其余缺陷候选区域，所述目标候选区域为所述缺陷候选集中最高置信分数对应的一缺陷候选区域；
22.对于参考候选区域集中的每个参考候选区域，确定该目标候选区域与该参考候选区域之间的第一面积参数和第二面积参数；
23.根据各参考候选区域对应的第一面积参数和第二面积参数，对该参考候选区域集进行过滤，以得到过滤后的参考候选区域集；
24.将过滤后的参考候选区域集作为缺陷候选区域集，并继续执行根据所述缺陷候选区域集中的各缺陷候选区域对应的置信分数，确定所述缺陷候选区域集对应的目标候选区域以及参考候选区域集的步骤；直至过滤后的参考候选区域集未包含参考候选区域；
25.根据确定得到的所有目标候选区域，确定所述面板图像对应的目标缺陷候选区域集。
26.所述的面板缺陷检测方法，其中，所述对于参考候选区域集中的每个参考候选区域，确定所述目标候选区域与该参考候选区域之间的第一面积参数和第二面积参数具体包括：
27.对于参考候选区域集中的每个参考候选区域，确定该目标候选区域与该参考候选区域的相交区域以及合并区域；
28.根据所述相交区域以及所述合并区域，确定该参考候选区域对应的第一面积参数；
29.根据所述相交区域以及该目标候选区域对应的图像区域，确定该参考候选区域对应的第二面积参数。
30.所述的面板缺陷检测方法，其中，所述根据各参考候选区域对应的第一面积参数和第二面积参数，对该参考候选区域集进行过滤，以得到过滤后的参考候选区域具体为：
31.对于每个参考候选区域，若该参考候选区域对应的第一面积参数或者第二面积参数大于预设阈值，将该参考候选区域从所述参考候选区域集中滤除，以得到过滤后的参考候选区域集。
32.所述的面板缺陷检测方法，其中，所述基于所述目标缺陷候选区域集，确定所述面板图像对应的缺陷类别，以得到所述待检测面板对应的缺陷类别具体包括：
33.基于所述目标缺陷候选区域集以及所述面板图像，确定所述待检测面板对应的分类面板图像；
34.将所述分类面板图像输入至预设的缺陷分类模型，通过缺陷分类模型输出所述分类面板图像对应的缺陷类别，并将所述分类面板图像对应的缺陷类别作为所述待检测面板对应的缺陷类别。
35.本技术实施例的第二方面提供了一种面板缺陷检测装置，其中，所述装置包括：
36.缺陷候选区域获取单元，用于获取待检测面板的面板图像对应的缺陷候选区域集，其中，所述缺陷候选区域集中的各缺陷候选区域均包括各自对应的置信度；
37.位置信息确定单元，用于确定所述缺陷候选区域集中各缺陷候选区域各自对应的位置参数，其中，所述位置参数用于反映该缺陷候选区域在所述面板图像中的所处区域；
38.候选框过滤单元，用于基于各缺陷候选区域各自对应的置信度及位置参数，对所述缺陷候选区域集进行过滤，以得到目标缺陷候选区域集；
39.缺陷分类单元，用于基于所述目标缺陷候选区域集，确定所述面板图像对应的缺陷类别，以得到所述待检测面板对应的缺陷类别。
40.本技术实施例的第三方面提供了一种终端设备，其包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如上述任意一项所述的面板缺陷检测方法的步骤。
41.本技术实施例的第三方面提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述中任意一项所述的面板缺陷检测方法的步骤。
42.本技术的有益效果：本技术实施例提供了一种面板缺陷检测方法、装置、终端设备以及存储介质，所述面板缺陷检测方法包括获取待检测面板的面板图像对应的缺陷候选区域集；确定所述缺陷候选区域集中各缺陷候选区域各自对应的位置参数；基于各缺陷候选区域各自对应的置信度及位置参数，对所述缺陷候选区域集进行过滤，以得到目标缺陷候选区域集；基于所述目标缺陷候选区域集，确定所述待检测面板对应的缺陷类别。本技术实施例中在获取到缺陷候选区域集后，基于置信度和位置参数对缺陷候选区域集中的缺陷候选区域进行过滤，这样对缺陷候选区域进行过滤时，在考虑缺陷候选区域的置信度的基础上，将缺陷候选区域的位置参数作为筛选的过滤因素，可以提高候选框筛选的准确性，从而提高面板缺陷检测的准确性。
附图说明
43.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
44.图1是本技术实施例提供的面板缺陷检测方法的应用场景的示意图。
45.图2是本技术实施例提供的面板缺陷检测方法中获取缺陷候选区域的流程示意图。
46.图3是本技术实施例提供的面板缺陷检测方法中参考候选区域与面板图像对应的边缘框的位置关系的示意图。
47.图4a是本技术实施例提供的面板缺陷检测方法中相交区域的示意图。
48.图4b是本技术实施例提供的面板缺陷检测方法中合并区域的示意图。
49.图5a为是本技术实施例提供的面板缺陷检测方法中缺陷候选集的示意图。
50.图5b为是本技术实施例提供的面板缺陷检测方法中目标缺陷候选集的示意图。
51.图6是本技术实施例提供的面板缺陷检测装置的原理框图。
52.图7是本技术实施例提供的终端设备的内部结构原理框图。
具体实施方式
53.为使本技术的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本技术进行详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
54.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
55.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。此外，需要说明，若本技术实施例中有涉及方向性指示(诸如上、下、左、右、前、后等)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
56.发明人经过研究发现，产品质量是制造业最为重视的生产指标之一，为了保证产品质量，在产品生产过程中对产品进行缺陷检测成为不可或缺的工序，例如，显示面板(例如，薄膜晶体管液晶显示器(tft-lcd，thin film transistor-liquid crystal display)等)为例，每条产线都需要对显示面板进行缺陷检测。然而，由于显示面板上可能存在许多不同缺陷，并且这些缺陷在显示面板中所处的位置可能非常接近，这就会导致在对显示面板进行缺陷检测的过程中检测得到的缺陷框存在相交或嵌套的缺陷候选区域；而这些相交框或嵌套的缺陷候选区域会对缺陷检测结果产生影响，从而需要将相交或嵌套框进行滤除，以减少重复或重叠的缺陷候选区域，以此来提高面板缺陷检测的效果。
57.目前，对显示面板对应的缺陷候选区域中的相交或嵌套的缺陷候选区域进行过滤的一种方式中，在获取到显示面板对应的各缺陷候选区域后，根据该缺陷候选区域各自对
应的置信度对缺陷候选区域进行滤除，以减少重复或重叠的缺陷候选区域。然而，在实际应用中，由于显示面板的缺陷普遍为一些离散的缺陷小颗粒，使得缺陷候选区域为各缺陷小颗粒对应的缺陷候选区域，各缺陷小颗粒对应的缺陷候选区域会具有很高的置信度(例如，以置信度取值为0-1为例，很高的置信度可以为大于0.7的置信度等)，那么在基于置信度筛选缺陷候选区域时，会使得筛选得到缺陷候选区域为每个缺陷小颗粒对应的缺陷候选区域，而无法得到包括这些缺陷小颗粒的一个大的检测框中，从而无法基于筛选得到缺陷候选区域来确定显示面板对应的缺陷类别，进而造成缺陷检测准确率低的问题。
58.基于此，本技术实施例在获取待检测面板的面板图像对应的缺陷候选区域集后，对于每个缺陷候选区域，确定该缺陷候选区域对应的位置参数；基于各缺陷候选区域对应的置信度及位置参数，对缺陷候选区域集进行过滤得到目标缺陷候选区域集；基于目标缺陷候选区域集，确定面板图像对应的缺陷类别，以得到待检测面板对应的缺陷类别。本技术实施例中在获取到缺陷候选区域集后，基于置信度和位置参数对缺陷候选区域集中的缺陷候选区域进行过滤，这样对缺陷候选区域进行过滤时，在考虑缺陷候选区域的置信度的基础上，将缺陷候选区域的位置参数作为筛选的过滤因素，可以避免筛选得到的缺陷候选区域为单独缺陷小颗粒的缺陷候选区域，提高了候选框筛选的准确性，从而提高了面板缺陷检测的准确性。
59.举例说明，本发明实施例可以应用到如图1所示的场景。在该场景中，首先，终端设备1可以获取待检测面板的面板图像，并将所述待面板图像输入服务器2，以使得服务器2依据所述面板图像确定该面板图像对应的缺陷候选区域集；对于每个缺陷候选区域，确定该缺陷候选区域对应的位置参数；基于各缺陷候选区域对应的置信度及位置参数，对缺陷候选区域集进行过滤得到目标缺陷候选区域集；基于目标缺陷候选区域集，确定面板图像对应的缺陷类别，以得到待检测面板对应的缺陷类别。
60.可以理解的是，在上述应用场景中，虽然将本发明实施方式的动作描述为部分由终端设备2执行、部分由服务器1执行，但是这些动作也可以完全由服务器1执行，或者完全由终端设备2执行。本发明在执行主体方面不受限制，只要执行了本发明实施方式所公开的动作即可。
61.需要注意的是，上述应用场景仅是为了便于理解本发明而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。
62.进一步，可以将所述图像处理方法用于液晶显示面板，首先通过图像获取设备获取待检测液晶显示面板的面板图像，然后确定该面板图像对应的缺陷候选区域集，如图5a所示。由于面板图像中可能会出现很多缺陷在所述液晶显示面板中所处的位置接近，因此就会存在相交或嵌套的缺陷候选区域，给后续的缺陷分类造成了影响。为此，当确定得到缺陷候选区域集后，确定该缺陷候选区域中每个缺陷候选区域对应的位置参数，然后基于各缺陷候选区域对应的置信度及位置参数，对缺陷候选区域集进行过滤得到目标缺陷候选区域集，如图5b中所示。最后，基于目标缺陷候选区域集，确定面板图像对应的缺陷类别，以得到待检测面板对应的缺陷类别，从而可以避免筛选得到的缺陷候选区域为单独缺陷小颗粒的缺陷候选区域，提高了候选框筛选的准确性，进而提高了面板缺陷检测的准确性。
63.需要注意的是，上述应用场景仅是为了便于理解本发明而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。
64.下面结合附图，通过对实施例的描述，对发明内容作进一步说明。
65.本实施例提供一种面板缺陷检测方法，所述方法应用于终端设备，如图2所示，所述方法包括：
66.步骤s10、获取待检测面板的面板图像对应的缺陷候选区域集，其中，所述缺陷候选区域集中的各缺陷候选区域均包括各自对应的置信度。
67.具体地，所述面板图像为通过在生产面板的产线上预先设置图像采集装置(例如摄像头或照相机等)，并在面板生产的过程中，通过图像采集装置实时或每间隔预设时间采集待分析的面板对应的面板图像；或者是，从执行面板缺陷检测方法的电子设备的本地存储空间中获取的预存面板图像；或者是，向图像存储服务器发送图像获取请求，并接收服务器基于图像获取请求返回的面板图像等；当然，面板图像也可以是通过其他方式获取到，具体获取方式在此处不作限定。其中，待检测面板可以包括tft-lcd面板、lcd面板、集成电路面板或芯片面板等，其中，所述待检测面板可以电路区域和非电路区域等。此外，所述面板图像携带所述待检测面板，可以理解的是，所述面板图像为所述待检测面板对应的影像信息，并且该待检测面板的每个面板部件均包含于该面板图像上。
68.所述缺陷候选区域集包括若干缺陷候选区域，若干缺陷候选区域中每个缺陷候选区域用于反应待检测面板中的面板缺陷对应的图像区域在所述面板图像中的位置；并且如图5a所示，若干缺陷候选区域中可以存在部分缺陷候选区域之间相交或嵌套。其中，所述若干缺陷候选区域中的每个缺陷候选区域均可以采用长方形框、正方形框等形状，并且若干缺陷候选区域中的各缺陷候选区域的形状可以不同，例如，部分缺陷候选区域的为长方形候选框，部分缺陷候选区域为正方形候选框等。此外，缺陷候选区域对应的置信度用于反映缺陷候选区域对应的图像区域存在缺陷的可信程度；在本实施例的一个实现方式中，所述置信度的取值范围0-1，并且置信度的取值越大，说明缺陷候选区域的可信程度越高；反之，置信度的取值越小，说明缺陷候选区域的可信程度越低。例如，置信度为1时缺陷候选区域的可信程度高于置信度为0.1时缺陷候选区域的可信程度。
69.在本实施例的一个实现方式中，所述获取待检测面板的面板图像对应的缺陷候选区域集包括：
70.s11、将所述面板图像输入预设的缺陷检测模型，通过所述缺陷检测模型输出所述面板图像对应的各缺陷候选区域，其中，各缺陷候选区域包括各自对应的置信度；
71.s12、根据得到的各缺陷候选区域，确定所述面板图像对应的缺陷候选区域集。
72.具体地，所述缺陷检测模型用于获取面板图像对应的各缺陷候选区域，以及各缺陷候选区域各自对应的置信度，以使得获取到的各缺陷候选区域均包括各自对应的置信度。所述缺陷检测模块可以是预先存储于运行面板缺陷检测方法的电子设备中，该电子设备在获取到面板图像后，可以直接通过该缺陷检测模块确定所述面板图像对应的各缺陷候选区域及各缺陷候选区域各自对应的置信度。当然，在实际应用中，所述缺陷检测模块可以存储于外部设备(例如，服务器等)，通过该外部设备确定所述面板图像对应的各缺陷候选区域及各缺陷候选区域各自对应的置信度，并且运行面板缺陷检测方法的电子设获取外部设备确定的各缺陷候选区域及各缺陷候选区域各自对应的置信度等。
73.进一步，所缺陷检测模块为经过训练的深度学习模块，例如，卷积神经网络或区域检测卷积神经网络等。所述缺陷检测模型的输入项为面板图像，输出项为各缺陷候选区域
以及各缺陷候选区域对应的置信度。当然，在实际应用中，所述缺陷检测模块在生成输入的面板图像对应的各缺陷候选区域后，可以将生成的各缺陷候选区域标注在面板图像上，以得到携带缺陷候选区域集的面板图像，例如，如图5a所示。
74.当然，值得说明的是，所述缺陷候选区域集也可以通过图像分割方法等方式对面板图像中的缺陷进行检测得到的，具体检测方式可以根据实际需要进行灵活设置。
75.步骤s20、确定所述缺陷候选区域集中各缺陷候选区域各自对应的位置参数。
76.具体地，所述位置参数用于反映该缺陷候选区域在所述面板图像中的所处区域，可以理解的是，所述位置参数为该缺陷候选区域在所述面板图像中所对应的图像区域的区域信息。其中，所述位置参数包括位置信息以及尺寸信息，所述尺寸信息用于反映缺陷候选区域的大小，所述位置信息用于反映缺陷候选区域在面板图像中所处的位置。例如，尺寸信息为该缺陷候选区域的面积，所述位置信息为该缺陷候选区域的中心与面板图像的图像中心之间的距离等。当然，在实际应用中，所述位置信息还可以采用其他方式确定，例如，缺陷候选区域的中心点到面板图像左上角的距离，缺陷候选区域的左上角到面板图像左上角的距离等。所述尺寸信息可以为采用其他方式确定，例如，缺陷候选区域的周长等。
77.进一步，在本实施例的一个实现方式中，以所述缺陷候选区域为矩形候选框，尺寸信息为该缺陷候选区域的面积，所述位置信息为该缺陷候选区域的中心与面板图像的图像中心之间的距离为例，对所述位置参数的确定过程进行说明。所述缺陷候选区域的位置参数的确定过程可以为：首先，获取该缺陷候选区域的四个顶点的顶点坐标；其次，根据四个顶点坐标确定该缺陷候选区域的四个边长以及中心点坐标；最后，根据四个边长确定该缺陷候选区域的尺寸信息，以及根据所述中心点坐标确定该缺陷候选区域的位置信息。例如，面板图像的图像中心坐标为(0,0)，缺陷候选区域a的四个顶点坐标分别为(0，2)、(2，2)，(2，0)以及(0，0)，那么，该缺陷候选区域a的位置信息为该缺陷候选区域a的尺寸信息为4。
78.步骤s30、基于各缺陷候选区域各自对应的置信度及位置参数，对所述缺陷候选区域集进行过滤，以得到目标缺陷候选区域集。
79.具体地，所述对所述缺陷候选区域集进行过滤指的是对所述缺陷候选区域集中的各缺陷候选区域进行筛选，以去除缺陷候选区域中部分不满足过滤条件的缺陷候选区域，其中，所述过滤条件为基于各缺陷候选区域各自对应的置信度及位置参数确定。可以理解的是，将置信度以及位置参数两个因素作为缺陷候选区域的过滤因素，这样一方面考虑缺陷候选区域中是否存在面板区域，另一方面考虑缺陷候选区域在面板图像中的所处区域的区域信息，在过滤相交或嵌套缺陷候选区域时，在保留置信度高的缺陷候选区域的同时，还可以通过位置参数的限制保留尺寸以及位置满足条件的候选框，提高了保留的缺陷候选区域的准确性，进而可以提高面板缺陷检测的准确性。
80.本实施例采用置信度和位置参数两个因素作为缺陷候选区域的过滤因素的原因为：显示面板的缺陷普遍为一些离散的缺陷小颗粒，使得缺陷候选区域为各缺陷小颗粒对应的缺陷候选区域，各缺陷小颗粒对应的缺陷候选区域会具有很高的置信度(例如，以置信度取值为0-1为例，很高的置信度可以为大于0.7的置信度等)，那么在基于置信度筛选缺陷候选区域时，可以筛选得到缺陷候选区域为每个缺陷小颗粒对应的缺陷候选区域，而无法得到包含这些缺陷小颗粒的缺陷的一个大的检测区域中。然而，在采用每个小颗粒对应的
缺陷候选区域作为面板图像对应的目标缺陷区域，每个目标目标区域仅是面板区域的部分区域，这样会使得无法基于筛选得到缺陷候选区域来确定显示面板对应的缺陷类别，进而造成缺陷检测准确率低的问题，而确定包含若干小颗粒的缺陷区域对应的检测区域，可以使得检测区域包括该缺陷区域的全部信息，这样在后续基于该检测区域可以确定该缺陷区域类别，提高缺陷检测准确率。
81.基于此，在本实施例的一个实现方式中，所述基于各缺陷候选区域各自对应的置信度及位置参数，对所述缺陷候选区域集进行过滤，以得到目标缺陷候选区域集具体包括：
82.s31、根据各缺陷候选区域各自对应的置信度及位置参数，确定各缺陷候选区域各自对应的置信分数；
83.s32、根据各缺陷候选区域对应的置信分数，对所述缺陷候选区域集进行过滤，以得到目标缺陷候选区域集。
84.具体地，所述置信分数用于反映缺陷候选区域被选取的可能性，并且置信分数的取值越大，说明缺陷候选区域的可信程度越高；反之，置信分数的取值越小，说明缺陷候选区域的可信程度越低。例如，置信分数为5时缺陷候选区域的被选取的可能性高于置信分数为1时缺陷候选区域的可能性。所述目标缺陷候选区域集为基于所述置信分数进行过滤得到的缺陷候选区域构成的候选框集合，其中，所述目标缺陷候选区域集为缺陷候选区域集的子集，当基于置信分数过滤掉缺陷候选区域时，目标缺陷候选集为缺陷候选集的真子集；当基于置信分数未过滤掉缺陷候选区域时，目标缺陷候选集为缺陷候选集。例如，缺陷候选区域集包括缺陷候选区域a、缺陷候选区域b、缺陷候选区域c以及缺陷候选区域d，基于各缺陷候选区域对应的置信分数将缺陷候选区域a和缺陷候选区域d过滤掉，那么目标缺陷候选区域集包括缺陷候选区域b和缺陷候选区域d。
85.进一步，在本实施例的一个实现方式中，所述位置参数包括位置信息以及尺寸信息；所述根据各缺陷候选区域各自对应的置信度及位置参数，确定各缺陷候选区域各自对应的置信分数为：
86.对于每个缺陷候选区域，对该缺陷候选区域对应的置信度、位置信息及尺寸信息进行加权处理，以得到该缺陷候选区域对应的置信分数。
87.具体地，所述尺寸信息用于反映缺陷候选区域的大小，例如，所述尺寸信息为该缺陷候选区域的面积，所述尺寸信息缺陷后续框的左侧边的边长等。所述位置信息用于方式缺陷候选区域在面板图像中所处的位置。例如，尺寸信息为该缺陷候选区域的面积，所述位置信息为该缺陷候选区域的中心与面板图像的图像中心之间的距离，缺陷候选区域的中心点到面板图像左上角的距离，缺陷候选区域的左上角到面板图像左上角的距离等。所述置信度为该缺陷候选区域携带的置信度。
88.进一步，在对所述置信度、位置信息及尺寸信息进行加权处理前，需要确定置信度、位置信息以及尺寸信息各自对应的权重系数。其中，所述置信度对应的权重系数以及尺寸信息对应的权重系数均为预先设置，例如，所述置信度的权重系数为1，所述尺寸信息的权重系数为0.5等。此外，在实际应用中，所述尺寸信息对应的权重系数可以根据实际检测情况进行设置的，并且尺寸信息对应的权重系数可以根据检测任务中尺寸大小的重要程度来确定，并且当尺寸大小的重要程度高时，尺寸信息对应的权重系数大；反之，当尺寸大小的重要程度低时，尺寸信息对应的权重系数小，这样使得当尺寸较大的缺陷候选区域的置
信度较低时，该尺寸较大的缺陷候选区域对应的置信分数也会增大，以使得尺寸较大的缺陷候选区域被选取的概率增大。例如，在注重缺陷候选区域的尺寸大小的检测任务中，尺寸信息对应的权重系数的值大于注重缺陷候选区域的位置信息的检测任务中尺寸信息对应的权重系数的值，例如，注重缺陷候选区域的尺寸大小的检测任务中，尺寸信息对应的权重系数的值为0.8；注重缺陷候选区域的位置信息的检测任务中，尺寸信息对应的权重系数的值为0.4等。
89.进一步，在本实施例的一个实现方式中，所述位置信息对应的权重参数获取过程具体包括：
90.对于该缺陷候选区域中的每条区域边，确定该区域边与目标边之间的距离；
91.根据确定得到的所有距离，确定所述位置信息对应的权重系数。
92.具体地，其中，该目标边为所述面板图像中与该区域边平行的图像边，并且所述目标边与该区域边位于缺陷候选区域的区域中心的同一侧，可以理解的是，所述目标边为面板图像的图像边，并且该图像边平行于该区域边；并且该图像边与该区别边之间的距离为面板图像中所有平行与区域边的图像边中，与该区别距离最小的图像边。例如，对于缺陷候选区域中的边a，面板图像中存在边框a和边框b平移，边框a与边a之间的距离为a，边框b与边a之间的距离为b，a》b，该边框b为边a对应的目标边。当然，值得说明的，所述缺陷候选区域可以与面板图像的边缘框的形状相同，例如，均为矩形框等。
93.进一步，所述距离指的是区域边和目标边之间的距离，该区域边与所述目标边平行，由此，所述距离的确定过程可以为：在该区域边上选取一起始点，由该起始点向目标边作垂线，并将该起始点点与垂点的距离作为该区域边与目标边之间的距离。例如，如图3所示，缺陷候选区域为矩形框abcd，面板图像的边缘框为矩形宽abcd，矩形框abcd的ab边对应的目标边为ab，ab边与ab边之间的距离为d_h1；bc边对应的目标边为bc，bc边与bc边之间的距离为d_w2；cd边对应的目标边为cd，cd边与cd边之间的距离为d_h2；da边对应的目标边为da，da边与da边之间的距离为d_w2。
94.进一步，在本实例的一个实现方式中，所述缺陷候选区域为矩形框；在获取到该缺陷候选区域中的每条边对应的距离后，将该缺陷候选区域的四条边划分为第一边组和第二边组；第一边组包括第一宽边和第一高边，第一宽边与第一高边相交；第二边组包括第二宽边和第二高边；第二宽边和第二高边相交。在获取到第一边组和第二边组之后，计算第一边组中第一宽边和第一高边的和，与第一宽边对应的目标边与第一高边对应的目标边的和的比值；以及第二边组中第二宽边和第二高边的和，与第二宽边对应的目标边与第二高边对应的目标边的和的比值；最后根据计算得到两个比值，确定位置信息对应的权重系数，例如，将两个比值中较小的比值作为位置信息对应的权重系数，或者将两个比值中较大的比值作为位置信息对应的权重系数等。
95.在一个具体实现方式中，将两个比值中较小的比值作为位置信息对应的权重系数，这样可以在保留位置信息对应置信分数的影响，又避免位置信息在置信分数中所占比重过高，而影响了置信度的比重，造成缺陷候选区域选取错误。由此，所述位置信息对应的权重系数的计算公式可以为：
96.97.其中，w1为位置信息对应的权重系数，d
w1
为第一宽边到其对应的目标边的距离；d
h1
为第一高边到其对应的目标边的距离；d
w2
为第二宽边到其对应的目标边的距离；d
h2
为第二宽边到其对应的目标边的距离；w为面板图像的边缘框的宽度值，h为面板图像的边缘框的高度值。
98.进一步，在确定置信度、尺寸信息、位置信息，置信度对应的权重系数，尺寸信息对应的权重系数以及位置信息对应的权重系数后，所述置信分数的计算公式可以为：
99.combox＝az w0s w1p
100.其中，combox为置信分数，z为置信度，a为置信度对应的权重系数，w0为尺寸信息对应的权重系数，s为尺寸信息，w1为位置信息对应的权重系数，p为位置信息。
101.进一步，在本实施例的一个实现方式中，所述根据各缺陷候选区域对应的置信分数，对所述缺陷候选区域集进行过滤，以得到目标缺陷候选区域集具体包括：
102.根据所述缺陷候选区域集中的各缺陷候选区域对应的置信分数，确定所述缺陷候选区域集对应的目标候选区域以及参考候选区域集，其中，所述参考候选区域集包括所述缺陷候选区域集去除该目标候选区域外的其余缺陷候选区域，所述目标候选区域为所述缺陷候选集中最高置信分数对应的一缺陷候选区域；
103.对于参考候选区域集中的每个参考候选区域，确定该目标候选区域与该参考候选区域之间的第一面积参数和第二面积参数；
104.根据各参考候选区域对应的第一面积参数和第二面积参数，对该参考候选区域集进行过滤，以得到过滤后的参考候选区域集；
105.将过滤后的参考候选区域集作为缺陷候选区域集，并继续执行根据所述缺陷候选区域集中的各缺陷候选区域对应的置信分数，确定所述缺陷候选区域集对应的目标候选区域以及参考候选区域集的步骤；直至过滤后的参考候选区域集未包含参考候选区域；
106.根据确定得到的所有目标候选区域，确定所述面板图像对应的目标缺陷候选区域集。
107.具体地，所述目标候选区域为缺陷候选区域集中的一个缺陷候选区域，参考候选区域集包括所述缺陷候选区域集去除该目标候选区域外的其余缺陷候选区域。可以理解的是，目标候选区域与参考候选区域集中的所有缺陷候选区域为缺陷候选区域集中的所有缺陷候选区域。由此可知，所述根据所述缺陷候选区域集中的各缺陷候选区域对应的置信分数，确定所述缺陷候选区域集对应的目标候选区域以及参考候选区域集的过程可以为：根据各缺陷候选区域的置信分数，在缺陷候选区域集中选取一个缺陷候选区域作为目标缺陷候选区域；将该目标缺陷候选区域除所述缺陷候选区域集中去除，以得到参考候选区域集，其中，所述目标候选区域可以为缺陷候选区域集中置信分数最大的缺陷候选区域。例如，缺陷候选区域包括缺陷候选区域a、缺陷候选区域b、缺陷候选区域c、缺陷候选区域d以及缺陷候选区域e，其中，缺陷候选区域a对应的置信分数为5、缺陷候选区域b对应的置信分数为4.8、缺陷候选区域c对应的置信分数为4.9、缺陷候选区域d对应的置信分数为3.8以及缺陷候选区域e对应的置信分数为5.8，那么缺陷候选区域e为目标候选区域，缺陷候选区域a、缺陷候选区域b、缺陷候选区域c以及缺陷候选区域d构成参考参考候选区域集。
108.进一步，所述第一面积参数用于反映目标候选区域与参考候选区域的相交区域与合并区域的比例信息，第二面积参数用于反映目标候选区域与参考候选区域的相交区域与
目标候选区域的比例信息。其中，所述第一面积参数和第二面积参数用于作为参考候选区域的过滤依据，在对参考候选区域进行过滤时，可以将第一面积参数和第二面积参数作为约束条件，其中，当第一面积参数和第二面积参数满足预设条件时，说明参考候选区域可以作为目标候选区域的一部分，从而可以将参考候选区域过滤掉，直接采用目标候选区域作为参考候选区域与目标候选区域的合并区域对应的图像区域的检测区域；当第一面积参数和第二面积未参数满足预设条件时，说明参考候选区域不可以作为目标候选区域的一部分，从而保留参考候选区域。
109.基于此，所述对于参考候选区域集中的每个参考候选区域，确定所述目标候选区域与该参考候选区域之间的第一面积参数和第二面积参数具体包括：
110.对于参考候选区域集中的每个参考候选区域，确定该目标候选区域与该参考候选区域之间的相交区域以及合并区域；
111.根据所述相交区域以及所述合并区域，确定该参考候选区域对应的第一面积参数；
112.根据所述相交区域以及该目标候选区域对应的图像区域，确定该参考候选区域对应的第二面积参数。
113.具体地，该目标候选区域与该参考候选区域之间的相交区域指的是以目标候选区域的边缘框的图像区域与以参考候选区域为边缘框的图像区域的相交区域；该目标候选区域与该参考候选区域之间的合并区域指的是以目标候选区域的边缘框的图像区域与以参考候选区域为边缘框的图像区域的合并区域。所述第一面积参数为相交区域的区域面积与合并区域的区域面积的比值。此外，目标候选区域对应的图像区域为与目标候选区域为边缘框的图像区域；所述第二面积参数为相交区域的区域面积与目标候选区域对应的图像区域的区域面积的比值。当然，值得说明的，相交区域、合并区域以及目标候选区域对应的图像区域可以均为面板图像的部分图像区域。
114.举例说明：假设目标候选区域与参考候选区域相交，且目标候选区域不包含参考候选区域，候选参考框不包含目标参考框；如图4a所示，目标候选区域与参考候选区域的相交区域为图4a中的阴影部分，如图4b所示，目标候选区域与参考候选区域的合并区域为图4b中的阴影部分，那么第一面积参数r1为图4a中阴影面积与图4b中阴影面积的比值，第二面积参数r2为图4a中阴影面积与目标候选区域对应的图像区域(例如，图4a中左上角的矩形区域)的面积的比值。
115.进一步，在本实施例的一个实现方式中，所述根据各参考候选区域对应的第一面积参数和第二面积参数，对该参考候选区域集进行过滤，以得到过滤后的参考候选区域具体为：
116.对于每个参考候选区域，若该参考候选区域对应的第一面积参数或者第二面积参数大于预设阈值时，将该参考候选区域从所述参考候选区域集中滤除，以得到过滤后的参考候选区域。
117.具体地，所述预设阈值为预先设置的，用于衡量各参考候选区域是否需要被滤除的标准，可以理解的是，预设阈值为对参考候选区域集进行过滤的过滤依据。由此，在获取到第一面积参数r1与第二面积参数r2，可以基于预设阈值对第一面积参数r1与第二面积参数r2进行衡量，以确定参考候选区域是否需要被滤除。
118.在本实施例的一个具体实现方式中，所述参考候选区域需要被滤除的条件可以为第一面积参数r1或第二面积参数r2大于预设阈值。由此，在获取第一面积参数r1与第二面积参数r2后，可以分别将第一面积参数r1与所述第二面积参数r2与预设阈值进行比较；若所述第一面积参数r1大于预设阈值或者所述第二面积参数r2大于预设阈值，将参考候选区域作为需要被滤除的参考候选区域，并将该参考候选区域从参考候选区域集中滤除；这样对每个参考候选区域分别执行将第一面积参数r1与所述第二面积参数r2与预设阈值进行比较的步骤，可以将参考候选区域集中所有需要被滤除的参考候选区域滤除，以得到过滤后的参考候选区域。
119.进一步，在获取到过滤后的参考候选集后，可判断过滤后的参考候选集中是否包含缺陷候选区域；若包括缺陷候选区域，将过滤后的参考候选集作为缺陷候选区域，并继续执行根据所述缺陷候选区域集中的各缺陷候选区域对应的置信分数，确定所述缺陷候选区域集对应的目标候选区域以及参考候选区域集的步骤；若未包括缺陷候选区域，则获取确定得到的各目标候选区域，将确定得到的各目标候选区域构成的集合作为目标缺陷候选区域集，以得到面板图像对应的目标缺陷候选区域集。例如，对于图5a中的各缺陷候选区域构成缺陷候选区域集进行过滤后，得到图5b中的缺陷候选区域构成的目标缺陷候选区域集。
120.步骤s40、基于所述目标缺陷候选区域集，确定所述待检测面板对应的缺陷类别。
121.具体地，所述缺陷类别可以用于反映面板图像中面板缺陷的成因类型，也可以用于反映面板图像中的面板缺陷的形状类型等，具体的可以根据实际需求确定。例如，所述缺陷类别可以用于反映面板图像中面板缺陷的成因类型，成因类型包括存在纤维物类型，磨损类型，及刮伤类型，那么在所述待检测面板对应的缺陷类别时，会确定待检测面板存在的各缺陷，以及各缺陷对应的成因类型。例如，待检测面板存在缺陷1、缺陷2和缺陷3，缺陷1对应的缺陷类别为存在纤维物，缺陷2对应的缺陷类别为磨损，及缺陷3对应的缺陷类别为刮伤。
122.在本实施例的一个实现方式中，所述基于所述目标缺陷候选区域集，确定所述面板图像对应的缺陷类别，以得到所述待检测面板对应的缺陷类别具体包括：
123.基于所述目标缺陷候选区域集以及所述面板图像，确定所述待检测面板对应的分类面板图像；
124.将所述分类面板图像输入至预设的缺陷分类模型，通过缺陷分类模型输出所述分类面板图像对应的缺陷类别，并将所述分类面板图像对应的缺陷类别作为所述待检测面板对应的缺陷类别。
125.具体地，所述缺陷分类模型用于获取面板图像对应的各缺陷对应的缺陷类别。所述缺陷分类模型可以是预先存储于运行面板缺陷检测方法的电子设备中，该电子设备在确定分类面板图像后，可以直接通过该缺陷分类模型确定所述分类面板图像对应的缺陷类别。当然，在实际应用中，所述缺陷分类模型可以存储于外部设备(例如，服务器等)，通过该外部设备确定所述分类面板图像对应的缺陷类别，并且运行面板缺陷检测方法的电子设获取外部设备确定缺陷类别。
126.进一步，所缺陷检测模块为经过训练的深度学习模块，例如，卷积神经网络等。所述缺陷检测模型的输入项为分类面板图像，输出项为缺陷类别。当然，值得说明的是，所述缺陷类别也可以通过图像分割方法等方式对面板图像中的缺陷进行检测得到的，具体检测
方式可以根据实际需要进行灵活设置。
127.综上所述，本技术实施例提供了一种面板缺陷检测方法、装置、终端设备以及存储介质，所述面板缺陷检测方法包括获取待检测面板的面板图像对应的缺陷候选区域集；确定所述缺陷候选区域集中各缺陷候选区域各自对应的位置参数；基于各缺陷候选区域各自对应的置信度及位置参数，对所述缺陷候选区域集进行过滤，以得到目标缺陷候选区域集；基于所述目标缺陷候选区域集，确定所述面板图像对应的缺陷类别，以得到所述待检测面板对应的缺陷类别。本技术实施例中在获取到缺陷候选区域集后，基于置信度和位置参数对缺陷候选区域集中的缺陷候选区域进行过滤，这样对缺陷候选区域进行过滤时，在考虑缺陷候选区域的置信度的基础上，将缺陷候选区域的位置参数作为筛选的过滤因素，可以提高候选框筛选的准确性，从而提高面板缺陷检测的准确性。
128.基于上述面板缺陷检测方法，本技术实施例提供一种面板缺陷检测装置，如图6所示，该装置包括：缺陷候选区域获取单元610、位置信息确定单元620、候选框过滤单元630以及缺陷分类单元640，其中，缺陷候选区域获取单元610用于获取待检测面板的面板图像对应的缺陷候选区域集，其中，所述缺陷候选区域集中的各缺陷候选区域均包括各自对应的置信度；位置信息确定单元620用于确定所述缺陷候选区域集中各缺陷候选区域各自对应的位置参数，其中，所述位置参数用于反映该缺陷候选区域在所述面板图像中的所处区域；候选框过滤单元630用于基于各缺陷候选区域各自对应的置信度及位置参数，对所述缺陷候选区域集进行过滤，以得到目标缺陷候选区域集；缺陷分类单元640用于基于所述目标缺陷候选区域集，确定所述面板图像对应的缺陷类别，以得到所述待检测面板对应的缺陷类别。当然，值得说明的，所述缺陷候选区域获取单元610、位置信息确定单元620、候选框过滤单元630以及缺陷分类单元640的执行过程与上述实施例中步骤s10、步骤s20、步骤s30以及步骤s40的执行过程相同，具体可以参照上述实施例，这里就不在赘述。
129.基于上述面板缺陷检测方法，本技术实施例还提供了一种终端设备，其原理框图可以如图7所示。该终端设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该终端设备的处理器用于提供计算和控制能力。该终端设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种面板缺陷检测方法。该终端设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该终端设备的温度传感器是预先在终端设备内部设置，用于检测内部设备的运行温度。
130.本领域技术人员可以理解，图7中示出的原理框图，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的终端设备的限定，具体的终端设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
131.在一个实施例中，提供了一种终端设备，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
132.获取待检测面板的面板图像对应的缺陷候选区域集，其中，所述缺陷候选区域集中的各缺陷候选区域均包括各自对应的置信度；
133.确定所述缺陷候选区域集中各缺陷候选区域各自对应的位置参数，其中，所述位
置参数用于反映该缺陷候选区域在所述面板图像中的所处区域；
134.基于各缺陷候选区域各自对应的置信度及位置参数，对所述缺陷候选区域集进行过滤，以得到目标缺陷候选区域集；
135.基于所述目标缺陷候选区域集，确定所述面板图像对应的缺陷类别，以得到所述待检测面板对应的缺陷类别。
136.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
137.基于上述面板缺陷检测方法，本技术实施例还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述实施例所述的面板缺陷检测方法中的步骤。
138.应当理解的是，本技术的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本技术所附权利要求的保护范围。