一种面板缺陷检测方法、存储介质及终端设备与流程

1.本技术涉及显示设备制造领域，特别涉及一种面板缺陷检测方法、存储介质及终端设备。


背景技术：

2.产品质量是制造业最为重视的生产指标之一，为了保证产品质量，在产品生产过程中对产品进行缺陷检测成为不可或缺的工序，例如，显示面板(例如，薄膜晶体管液晶显示器(tft-lcd，thin film transistor-liquid crystal display)等)为例，每条产线都需要对显示面板进行缺陷检测。然而，目前普遍是通过人工对显示面板进行缺陷检测，然而，检测人员在大量重复性的劳动时因出现视力疲劳而造成误判，进而影响显示面板的质量。


技术实现要素：

3.本技术要解决的技术问题在于，针对现有技术的不足，提供一种面板缺陷检测方法、存储介质及终端设备。
4.为了解决上述技术问题，本技术实施例第一方面提供了一种面板缺陷检测方法，应用于预设的缺陷检测模型，所述方法包括：
5.所述缺陷检测模型基于待检测的面板图像，确定所述面板图像对应的若干目标特征图，其中，若干目标特征图中存在至少两个具有不同分辨率的目标特征图；
6.所述缺陷检测模型确定若干目标特征图中的各目标特征图各自对应的缺陷候选区域，并基于所有缺陷候选区域确定所述面板图像对应的面板缺陷区域。
7.所述面板缺陷检测方法，其中，所述若干目标特征图中的各目标特征图的分辨率互不相同。
8.所述面板缺陷检测方法，其中，所述缺陷检测模型包括特征图提取模块以及金字塔模块；所述缺陷检测模型基于待检测的面板图像，确定所述面板图像对应的若干目标特征图具体包括：
9.所述特征图提取模块基于待检测的面板图像，确定所述面板图像对应的若干第一特征图；
10.所述金字塔模块基于所述若干第一特征图，确定所述面板图像对应的若干目标特征图，其中，所述若干目标特征图与所述若干第一特征图一一对应。
11.所述面板缺陷检测方法，其中，所述金字塔模块包括若干金字塔单元，所述金字塔模块基于所述若干第一特征图，确定所述面板图像对应的若干目标特征图具体包括：
12.对于每个金字塔单元，该金字塔单元基于该金字塔单元对应的第一特征图以及位于其后的金字塔单元输出的目标特征图，确定该金字塔单元对应的目标特征图。
13.所述面板缺陷检测方法，其中，所述缺陷检测模型包括若干检测单元，所述若干检测单元与所述若干目标特征图一一对应；所述缺陷检测模型确定若干目标特征图中的各目标特征图各自对应的缺陷候选区域具体为：
14.所述若干检测单元中的每个检测单元均基于其对应的目标特征图，确定所述面板图像对应的缺陷候选区域。
15.所述面板缺陷检测方法，其中，所述若干检测单元中的每个检测单元均配置有若干检测区域，对于每个检测单元中的每个检测区域，若干检测单元中除该检测单元外的其它检测单元均存在一个目标检测区域，该检测区域的长宽比与各目标检测区域的长宽比相同。
16.所述面板缺陷检测方法，其中，基于确定得到所有缺陷候选区域确定所述面板图像对应的面板缺陷区域具体包括：
17.所述缺陷检测模型基于各缺陷候选区域对应的置信度，对所有缺陷候选区域进行过滤，以得到过滤后的缺陷候选区域；
18.所述缺陷检测模型将过滤后的缺陷候选区域作为所述待检测的面板图像对应的面板缺陷区域。
19.所述面板缺陷检测方法，其中，所述缺陷检测模型的训练过程具体包括：
20.获取面板图像集，其中，训练面板图像集包括若干缺陷类别的面板图像，并且各缺陷类别对应的训练面板图像的数量相同；
21.基于所述面板图像集对预设网络模型进行训练，以得到所述缺陷检测模型。
22.所述面板缺陷检测方法，其中，所述获取面板图像集具体包括：
23.获取初始面板图像集；
24.将所述初始面板图像集按照缺陷类别划分为若干子面板图像集；
25.按预设权重从每个子面板图像集中选取预设数量的初始面板图像，并基于选取到初始面板图像确定所述面板图像集。
26.本技术实施例第二方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的面板缺陷检测方法中的步骤。
27.本技术实施例第三方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
28.所述通信总线实现处理器和存储器之间的连接通信；
29.所述处理器执行所述计算机可读程序时实现如上任一所述的面板缺陷检测方法中的步骤。
30.有益效果：与现有技术相比，本技术提供了一种面板缺陷检测方法、存储介质以及终端设备，所述方法应用于缺陷检测模型，所述缺陷检测模型基于待检测的面板图像，确定所述面板图像对应的若干目标特征图，所述缺陷检测模型基于所述若干目标特征图，确定所述面板图像对应的面板缺陷区域。本技术通过缺陷检测单元确定待检测的面板图像对应的若干目标特征图，并且若干目标特征图中的每个目标特征图均携带缺陷区域，并且各目标特征图中的缺陷区域的区域大小互不相同，这样基于各目标特征图各自对应的缺陷候选区域可以得到面板图像中不同尺寸的面板缺陷区域，从而提高了面板缺陷检测的准确性，从而提高了显示面板的质量。
附图说明
31.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。
32.图1为本技术提供的面板缺陷检测方法的流程图。
33.图2为本技术提供的面板缺陷检测方法中缺陷检测模型的原理示意图。
34.图3为本技术提供的终端设备的结构原理图。
具体实施方式
35.本技术提供一种面板缺陷检测方法、存储介质及终端设备，为使本技术的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本技术进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
36.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
37.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
38.具体实现中，本技术实施例中描述的终端设备包括但不限于诸如具有触摸敏感表面(例如，触摸显示屏和/或触摸板)的移动电话，膝上形计算机或平板计算机之类的其他便携式设备。还应该理解的是，在某些实施例中，所述设备并非便携式通讯设备，而是具有触摸敏感表面(例如，触摸显示屏和/或触摸板)的台式计算机。
39.在接下来的讨论中，描述了包括显示器和触摸敏感表面的终端设备。然而，应当理解的是，终端设备还可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其他物理用户接口设备。
40.终端设备支持各种应用程序，例如以下中的一个或多个：绘图应用程序、演示应用程序、文字处理应用程序、视频会议应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件由于程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数据相机应用程序、数字摄像机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放应用程序等。
41.可以在终端设备上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏
感表面的第一或多个功能以及终端上显示的相应信息。这样，终端的公共物理框架(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。
42.应理解，本实施例中各步骤的序号和大小并不意味着执行顺序的先后，各过程的执行顺序以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
43.发明人经过研究发现，产品质量是制造业最为重视的生产指标之一，为了保证产品质量，在产品生产过程中对产品进行缺陷检测成为不可或缺的工序，例如，显示面板(例如，薄膜晶体管液晶显示器(tft-lcd，thin film transistor-liquid crystal display)等)为例，每条产线都需要对显示面板进行缺陷检测。目前普遍采用的显示面板的缺陷检测过程普遍为：首先通过自动光学检测设备对面板生产过程中的显示面板进行检测，并对具有缺陷的显示面板进行初步拍照，再将拍摄得到面板缺陷区域图像交给具有专业知识的技术人员进行检测。这种依赖人工检测的方法面临人力成本高、效率低等问题，同时，大量重复性的劳动容易造成人员视力疲劳，引起误判。
44.为了提高面板生成线的效率和质量，基于深度学习的面板缺陷检测方法被广大研究者所关注，也越来越受到厂商的青睐。然而，由于面板缺陷区域图像携带的缺陷的形状大小区别很大(例如，长宽不到照片长宽百分之二的缺陷，占据整个照片位置大缺陷，以及长宽比达到二十倍以的缺陷等)，从而导致基于深度学习的面板缺陷检测方法的检测效果欠佳。
45.为了解决上述问题，在本技术实施例中，通过所述缺陷检测模型确定所述面板图像对应的若干目标特征图，并基于所述若干目标特征图确定所述面板图像对应的面板缺陷区域。本技术通过缺陷检测单元确定待检测的面板图像对应的若干目标特征图，并且若干目标特征图中的每个目标特征图均携带缺陷区域，并且各目标特征图中的缺陷区域的区域大小互不相同，这样通过各目标特征图可以确定面板图像中不同尺寸的面板缺陷区域，从而提高了面板缺陷检测的准确性，从而提高了显示面板的质量。
46.下面结合附图，通过对实施例的描述，对申请内容作进一步说明。
47.本实施提供了一种面板缺陷检测方法，所述方法应用于预设的缺陷检测模型，如图1所示，所述方法包括：
48.s10、所述缺陷检测模型基于待检测的面板图像，确定所述面板图像对应的若干目标特征图。
49.具体地，所述缺陷检测模型为经过训练的深度学习网络，用于检测待检测的面板图像对应的缺陷区域。可以理解的是，所述缺陷检测模型的输入项为面板图像，所述缺陷检测单元的输出项为面板图像对应的面板缺陷区域。所述待检测的面板图像可以为通过设置生产面板的产线上预先设置图像采集装置(例如摄像头或照相机等)，在面板生产的过程中实时或每间隔预设时间采集的待检测面板对应的面板图像；或者是，从运行面板缺陷检测方法的电子设备的本地存储空间中获取预存的面板图像；或者是，向图像存储服务器发送图像获取请求，并接收服务器基于图像获取请求返回的面板图像等；当然，面板图像也可以是通过其他方式获取到，具体获取方式在此处不作限定。其中，待检测面板可以包括tft-lcd面板、lcd面板、集成电路面板或芯片面板等，所述待检测面板可以包括电路区域和非电路区域等，所述面板图像携带所述待检测面板。可以理解的是，所述面板图像为所述待检测面板对应的影像信息，并且该待检测面板的每个面板部件均包含于该面板图像上。
50.进一步，所述若干目标特征图均为所述待检测面板的面板图像的目标特征图，若干目标特征图中的每张目标特征图均包含面板图像的图像特征，其中，所述图像特征用于反映面板图像携带缺陷区域。所述若干目标特征图中的各目标特征图的尺寸互不相同，例如，若干目标特征图包括目标特征图a、目标特征图b和目标特征图c，那么目标特征图a的分辨率与目标特征图b的分辨率和目标特征图c的分辨率均不相同，目标特征图b的分辨率与目标特征图c的分辨率不相同。此外，在本实施例的一个实现方式中，所述若干目标特征图的分辨率宽度与分辨率高度的比值相同，并且所述若干目标特征图按照分辨率由小到大的顺序排列形成的目标特征图序列中，任意两个相邻目标特征图的分辨率比相同，其中，所述分辨率指的是分辨率宽度比或者分辨率高度比。例如，若干目标特征图包括目标特征图a、目标特征图b和目标特征图c，目标特征图a的分辨率为56*56，目标特征图b的分辨率为112*112。目标特征图c的分辨率为224*224；那么目标特征图a、目标特征图b和目标特征图c按照分辨率由小到大的顺序排列形成的目标特征图序列为目标特征图a、目标特征图b、目标特征图c，并且目标特征图b的分辨率与目标特征图a的分辨率的比值为2；目标特征图c的分辨率与目标特征图b的分辨率的比值为2。
51.进一步，在本实施例的一个实现方式中，所述缺陷检测模型包括特征图提取模块以及金字塔模块；所述缺陷检测模型基于待检测的面板图像，确定所述面板图像对应的若干目标特征图具体包括：
52.s11、所述特征图提取模块基于待检测的面板图像，确定所述面板图像对应的若干第一特征图；
53.s12、所述金字塔模块基于所述若干第一特征图，确定所述面板图像对应的若干目标特征图，其中，所述若干目标特征图与所述若干第一特征图一一对应，对于每个目标特征图，该目标特征图为基于该目标特征图对应的第一特征图以及参考特征图确定，所述参考特征图为分辨率小于该目标特征图且与该目标特征图相邻的目标特征图。
54.具体地，在所述步骤s11中，所述特征图提取模块包括若干目标特征图提取单元，所述若干目标特征图提取单元依次级联，按照若干特征提取单元的连接顺序，相邻两个特征提取单元中前一特征提取单元的输出项为后一个特征提取单元的输入项；并且最前一个特征提取单元的输入项为待检测的面板图像。此外，若干特征提取单元的输出项均为金字塔模块的输入项，也就是说，若干特征提取单元均与金字塔模块相连接，并将各自输出的第一特征图像输入金字塔模块，以使得金字塔模块可以获取到各第一特征图像，并基于若干第一特征图输出若干目标特征图。
55.进一步，在本实施例的一个实现方式中，按照若干特征提取单元的连接顺序，相邻两个特征提取单元中前一特征提取单元输出的第一特征图的分辨率为后一个特征提取单元输出的第一特征图的分辨率的2倍，按照若干特征提取单元的连接顺序位于最前面的特征提取单元输出的第一特征图像的分辨率为待检测的面板图像的一半，并且各第一特征图的分辨率宽度与分辨率高度的比值均相同。当然，在实际应用中，所述缺陷检测模型还可以包括卷积模块，所述卷积模块位于所述特征提取模块之前，并且所述卷积模块与所述特征提取模块相连接，所述卷积模块的输入项为待检测的面板图像，所述卷积模块的输出项为所述特征提取模块的输入项，即按照若干特征提取单元的连接顺序位于最前面的特征提取单元的输入项为卷积模块的输出项。
56.进一步，在本实施例的一个实现方式中，按照若干特征提取单元的连接顺序，最前面的特征提取单元输出的第一特征图为其后面的特征提取单元确定第一特征图的依据，从而为了使得最前面的特征提取单元输出的第一特征图包括丰富的面板缺陷区域的图像细节特征；最前面的特征提取单元包括的特征提取层多于位于其后的任一特征提取单元包括的特征提取层。例如，若干特征提取单元包括特征提取单元1、特征提取单元2以及特征提取单元3；特征提取单元1与特征提取单元2连接，特征提取单元2与特征提取单元3相连接，那么特征提取单元1包括的特征提取层多于特征提取单元2包括的特征提取层，以及特征提取单元3包括的特征提取层，如，特征提取单元1包括5个特征提取层，特征提取单元2包括3个特征提取层，特征提取单元3包括3个特征提取层。此外，对于每个特征提取单元，该特征提取单元包括的各特征提取层的输出项的分辨率相同，例如，对应特征提取单元a，特征提取单元a包括特征提取层1、特征提取层2和特征提取层3，那么特征提取层1的输出项的分辨率、特征提取层2的输出项的分辨率和特征提取层3的输出项的分辨率相同，例如，均为128*128等。
57.进一步，在所述步骤s12中，所述金字塔模块用于基于若干第一特征图确定若干目标特征图，可以理解的是，金字塔模块的输入项为若干第一特征图，金字塔模块的输出项为若干目标特征图。若干目标特征图与若干第一特征图一一对应，可以理解的是，若干目标特征图的数量和若干第一特征图的数量相同，并且对于若干目标特征图中的每张目标特征图，若干第一特征图中均存在且仅存在一张第一特征图与该目标特征图对应，其中，第一特征图与目标特征图相对应指的是，目标特征图为金字塔模块该目标特征图为基于该目标特征图对应的第一特征图以及参考特征图确定，所述参考特征图为分辨率小于该目标特征图且与该目标特征图相邻的目标特征图。由此可知，对于若干目标特征图中每个目标特征图，该目标特征图为基于该目标特征图对应的第一特征图以及参考特征图确定，所述参考特征图为分辨率小于该目标特征图且与该目标特征图相邻的目标特征图。每个目标特征图的分辨率大于该目标特征图对应的第一特征图的分辨率，并该目标特征图对应的第一特征图的分辨率与该目标特征图对应的参考特征图的分辨率相同。
58.基于此，对于每个目标特征图，当该目标特征图不为若干目标特征图中分辨率最下的目标特征图时，该目标特征图对应的参考特征图为若干目标特征图中的一张目标特征图，并且参考特征图的分辨率为小于该目标特征图的分辨率的所有目标特征图中最大的；当该目标特征图为目标特征图中分辨率最小的目标特征图，该目标特征图对应的参考特征图为该目标特征图对应的第一特征图，或者是，该目标特征图未配置参考特征图，直接将该目标特征图对应的第一特征图作为该目标特征图，或者是，该目标特征图对应的目标特征图为元素值均为1的目标特征图。例如，若干目标特征图包括目标特征图a、目标特征图b和目标特征图c，其中，目标特征图a的分辨率为224*224，目标特征图b的分辨率为128*128，目标特征图c的分辨率为56*56；那么对于目标特征图a，目标特征图b的分辨率和目标特征图c的分辨率均小于目标特征图a的分辨率；并且目标特征图b的分辨率大于目标特征图c的分辨率，由此，目标特征图b为目标特征图a对应的参考特征图；相应的，目标特征图c为目标特征图b对应的参考特征图。当然，值得说明的，
59.进一步，在本实施例的一个具体实现方式中，所述金字塔模块可以采用特征金字塔网络(feature pyramid networks for object detection，fpn)，其中，所述金字塔模块
包括若干金字塔单元，所述金字塔模块基于所述若干第一特征图，确定所述面板图像对应的若干目标特征图具体包括：
60.对于每个金字塔单元，该金字塔单元基于该金字塔单元对应的第一特征图以及位于其后的金字塔单元输出的目标特征图，确定该金字塔单元对应的目标特征图。
61.具体地，所述若干金字塔单元的数量与若干目标特征图的数量相同，若干金字塔单元与若干目标特征图一一对应，其中，金字塔单元与目标特征图对应指的是目标特征图为其对应的金字塔单元的输出项。所述若干金字塔依次级联，并对于若干金字塔单元中相邻的两个金字塔，前一金字塔单元输出的目标特征图的分辨率大于后一个金字塔单元输出的目标特征图的分辨率，并且后一个金字塔单元的输出项为前一金字塔单元的输入项。例如，若干金字塔单元包括金字塔单元a、金字塔单元b以及金字塔单元c，并且金字塔单元a、金字塔单元b以及金字塔单元c依次级联，金字塔单元a为金字塔单元b的前一金字塔单元，金字塔单元b为金字塔单元a的后一金字塔单元；金字塔单元b为金字塔单元c的前一金字塔单元；金字塔单元c为金字塔单元b的后一金字塔单元。
62.进一步，在本实施例的一个实现方式中，若干金字塔单元的数量与若干特征提取单元的数量相对应，并且若干金字塔单元与若干特征提取单元一一对应，其中，金字塔单元与特征提取单元对应指的是特征提取单元的输出项为其对应的金字塔单元的输入项。这样在通过特征提取单元对待检测的面板图像进行下采样后，可以得到面板图像中用于反映面板缺陷的语义信息后，在通过若干金字塔单元对采集到的第一特征图进行上采样，这样在保留各第一图像中用于反映面板缺陷的语义信息的情况下，可以扩大目标特征图的分辨率，这样可以使用扩大分辨率的目标特征图检测小尺寸的面板缺陷区域，这样在保证缺陷检测模型可以检测大尺寸的面板缺陷区域的基础，提高了对小尺寸的面板缺陷区域检测的精确性，从而整体提高了缺陷检测模型的精确度。
63.举例说明，如图2所示，所述若干特征提取单元为6，分别记为c2、c3、c4、c5、c6以及c7，若干金字塔单元为6，分别记为p2、p3、p4、p5、p6以及p7，并且p2、p3、p4、p5、p6以及p7的分辨率分别为训练图像的分辨率的1/4、1/8、1/16、1/32、1/64以及1/128，其中，c2与p2相对应，c3与p3相对应，c4与p4相对应，c5与p5相对应，c6与p6相对应，c7与p7相对应，并且c7的输出项为p7的输入项，c6的输出项以及p7的输出项为p6的输入项，c5的输出项以及p6的输出项为p5的输入项，c4的输出项以及p5的输出项为p4的输入项，c3的输出项以及p4的输出项为p3的输入项，c2的输出项以及p3的输出项为p2的输入项，并且将p2、p3、p4、p5、p6以及p7的输出项作为目标特征图，由此，可以得到6张目标特征图。
64.s20、所述缺陷检测模型确定若干目标特征图中的各目标特征图各自对应的缺陷候选区域，并基于确定得到所有缺陷候选区域确定所述面板图像对应的面板缺陷区域。
65.具体地，各目标特征图各自对应的缺陷候选区域为缺陷检测模型基于各目标特征图独立确定，可以理解的是，对于每个目标特征图，缺陷检测模型基于该目标特征图进行预测，以基于该目标特征图携带的面板缺陷语义信息确定该目标特征图对应的缺陷候选区域。所述面板缺陷区域用于反映面板缺陷在面板图像中所处区域，基于面板缺陷区域可以确定面板缺陷区域在面板图像中的位置信息。在本实施例的一个实现方式中，所述面板缺陷区域可以为面板缺陷的检测框，检测框内的图像区域为面板图像中的一个面板缺陷所处的图像区域。可以理解的是，所述面板图像对应的面板缺陷区域可以为在面板图像中标记
的检测框，以所述检测框来定位面板图像中的面板缺陷所处的图像区域。
66.在本实施例的一个实现方式中，所述缺陷检测模型可以包括一个检测单元，所述缺陷检测模型也可以包括若干检测单元。当缺陷检测模型包括一个检测单元时，所述若干目标特征图均输出该检测单元，通过该检测单元输出各目标特征图对应的缺陷候选区域；其中，若干目标特征图可以依次输入该检测单元，也可以同时输入该检测单元，所述检测单元分别输出各目标特征图对应的缺陷候选区域。
67.进一步，当缺陷检测模型包括若干检测单元时，若干检测单元的数量与若干目标特征图的数量相同，并且若干检测单元与若干目标特征图一一对应，其中，检测单元与目标特征图对应指的是对于每个目标特征图，该目标特征图为其对应的检测单元的输出项。可以理解的是，各检测单元的输入项为其对应的目标特征图，输出项为该目标特征图对应的缺陷候选区域。相应的，在本实施例的一个实现方式中，所述缺陷检测模型包括若干检测单元，所述若干检测单元与所述若干目标特征图一一对应；所述缺陷检测模型确定若干目标特征图中的各目标特征图各自对应的缺陷候选区域具体为：
68.所述若干检测单元中的每个检测单元均基于其对应的目标特征图，确定所述面板图像对应的缺陷候选区域。
69.具体地，每个检测单元均配置预设数量的检测区域，并且对于每个检测单元中的每个检测区域，若干检测单元中除该检测单元外的其他检测单元均存在一个目标检测区域，该检测宽的长宽比与各目标检测区域的长宽比相同。可以理解的是，若干检测单元中每个检测单元配置的检测区域的数量相同，并且各金字塔单元中的检测区域相互对应，其中，检测区域相对应指的是检测区域的长宽比相同。例如，若干检测单元包括检测单元a、检测单元b以及检测单元c；检测单元a、检测单元b以及检测单元c均包括3个检测区域，其中，检测单元a中的3个检测区域分别记为a1、a2以及a3，检测单元b中的3个检测区域分别记为b1、b2以及b3，检测单元c中的3个检测区域分别记为c1、c2以及c3，若a1、b1以及c1，则a1的长宽比、b1的长宽比以及c1的长宽比相同，例如，均为2:1等。
70.进一步，由于各目标特征图的分辨率(即图像尺寸)不同，从而各检测单元中相对应的检测区域的区域面积不相同，并且各检测单元中的相对应的检测区域的区域面积与其对应的目标特征图的分辨率成正比。例如，对于检测单元a和检测单元b，检测单元a对应的目标特征图a,检测单元b对应的目标特征图b，其中，目标特征图a的分辨率大于目标特征图b的分辨率，那么对于检测单元a中的检测区域a，检测单元b中的检测区域b，检测区域a的长宽比与检测区域b的长宽比相同，检测区域a的区域面积比检测区域b的区域面积大。
71.进一步，所述检测区域为检测单元预先设置的默认检测区域，对于目标特征图中的每个像素点位置，每个像素位置均会对应预设数量的预测检测区域，其中，预设数量的预测检测区域中的每个预测检测区域的区域中心为该像素点位置为中心，并且预设数量的预测检测区域与检测单元对应的预设数量的检测区域一一对应，所述预测检测区域与检测区域指的是，预测检测区域的长宽比以及区域面积均与其对应的检测区域的长宽比和区域面积均相同。例如，检测单元包括检测区域a，检测区域a的长宽比为2，区域面积为10；那么预设数量的检测区域包括预测检测区域a，预测检测区域a的长宽比为2，区域面积为10。
72.进一步，在本实施例的一个实现方式中，各检测单元对应的预设数量的检测区域可以是基于缺陷检测模型对应的训练样本集确定，所述预设数量的检测区域的确定过程可
以包括：获取训练样本集中各训练图像中标注的标注检测区域，对获取到所有标注检测区域进行聚类分析(例如，采用k-means聚类算法)，以确定若干对照检测区域；将获取若干对照检测区域的数量作为长宽比的类别数，之后对于对照检测区域中每个对照检测区域，按照预定数量的缩放比例对照检测区域进行缩放，以得到该对照检测区域对应的预定数量的检测区域；将获取到的各对照检测区域对应的预定数量的检测区域作为检测区域集；最后，对于每个检测单元，基于该检测单元对应的目标特征图的尺寸确定该检测单元对应的检测区域集中各检测区域的区域尺寸。
73.举例说明：缺陷检测模型对应的训练样本集中各训练图像标注的标注检测区域，经过k-means聚类算法的聚类分析后，得到3个对照检测区域，分别为(50,25),(105,35),(224,56)，其中，(a，b)中a标识对照检测区域的长度，b表示对照检测区域的宽度，例如，(50,25)中50表示对照检测区域的长度，25表示对照检测区域的宽度。每个对照检测区域对应的缩放比例为{0.25、0.5、1、2、4}，那么每个对照检测区域对应5个检测区域，每个检测区域均为其对应的对照检测区域按照缩放比例进行缩放操作得到；由此，训练样本集对应的3*5＝15个检测区域。如，对于对照区域(224,56)，分别按照0.25、0.5、1、2以及4对其进行缩放，可以得到(56,14)，(112,28)，(224,56)，(448,112)以及(896，224)。此外，在确定训练样本集对应的检测区域后，对于每个检测单元，确定该检测单元对应的目标特征图的图像尺寸与训练图像的图像尺寸的对应关系，基于该对应关系对训练样本集对应的检测区域进行缩放，以得到检测单元对应的检测区域。例如，检测单元对应的目标特征图的图像尺寸为训练图像的图像尺寸的一半，那么将训练样本集对应的检测区域缩小一半，以得到检测单元对应的检测区域。
74.进一步，由于显示面板上可能存在许多不同缺陷，并且这些缺陷在显示面板中所处的位置可能非常接近，这就会导致在对显示面板进行缺陷检测的过程中检测得到的缺陷框存在相交或嵌套的缺陷候选区域；而这些相交框或嵌套的缺陷候选区域会对缺陷检测结果产生影响，从而需要将相交或嵌套框进行滤除，以减少重复或重叠的缺陷候选区域，以此来提高面板缺陷检测的效果，基于此，在实施例的一个实现方式中，所述缺陷检测模型基于确定得到的所有缺陷候选区域，确定所述面板对应的面板缺陷区域具体包括：
75.所述缺陷检测模型基于各缺陷候选区域对应的置信度，对所有缺陷候选区域进行过滤，以得到过滤后的缺陷候选区域；
76.所述缺陷检测模型将过滤后的缺陷候选区域作为所述面板对应的面板缺陷区域。
77.具体地，缺陷候选区域用于反应待检测面板中的面板缺陷对应的图像区域在所述面板图像中的位置密，并各缺陷候选区域中可以存在部分缺陷候选区域之间相交或嵌套。其中，所述若干缺陷候选区域中的每个缺陷候选区域均可以采用长方形框、正方形框等形状，并且若干缺陷候选区域中的各缺陷候选区域的形状可以不同，例如，部分缺陷候选区域的为长方形候选区域，部分缺陷候选区域为正方形候选区域等。此外，各缺陷候选区域均包括各自对应的置信度，各缺陷候选区域对应的置信度用于反映各缺陷候选区域对应的图像区域存在缺陷的可信程度；在本实施例的一个实现方式中，所述置信度的取值范围0-1，并且置信度的取值越大，说明缺陷候选区域的可信程度越高；反之，置信度的取值越小，说明缺陷候选区域的可信程度越低。例如，置信度为1时缺陷候选区域的可信程度高于置信度为0.1时缺陷候选区域的可信程度。
78.进一步，基于各缺陷候选区域对应的置信度，对所有缺陷候选区域进行过滤是可以采用非极大值抑制算法对检测得到所有缺陷候选区域进行过滤，以得到确定所述面板图像对应的缺陷候选区域。例如，将所有缺陷候选区域作为缺陷候选区域集，将缺陷候选区域集中所有置信度小于或等于第一阈值(如，0.1等)的缺陷候选区域删除，以更新缺陷候选区域集中；将更新后的缺陷候选区域集中的各缺陷候选区域按照置信度从大到小排列，选取置信度最高的缺陷候选区域，并确定缺陷候选区域集中其它缺陷候选区域与置信度最高的缺陷候选区域的交并比(两个检测框交集与并集的比例)，将交并比大于第二阈值(如，0.3等)的缺陷候选区域从更新后的缺陷候选区域集中过滤掉，将过滤后的缺陷候选区域集作为更新后的缺陷候选区域集，并继续执行将更新后的缺陷候选区域集中的各缺陷候选区域按照置信度从大到小排列，执行滤后的缺陷候选区域集中不包含缺陷候选区域；将选取到所有缺陷候选区域作为所述面板对应的面板缺陷区域。
79.在本实施例的一个实现方式中，所述缺陷检测模型基于各缺陷候选区域对应的置信度，对所有缺陷候选区域进行过滤，以得到过滤后的缺陷候选区域具体包括：
80.所述缺陷检测模型确定各缺陷候选区域对应的位置参数；
81.所述缺陷检测模块基于各缺陷候选区域各自对应的置信度及位置参数，对所述各缺陷候选区域进行过滤，以得到过滤后的缺陷候选区域。
82.具体地，所述位置参数用于反映该缺陷候选区域在所述面板图像中的所处区域，可以理解的是，所述位置参数为该缺陷候选区域在所述面板图像中所对应的图像区域的区域信息。其中，所述位置参数包括位置信息以及尺寸信息，所述尺寸信息用于反映缺陷候选区域的大小，所述位置信息用于反应缺陷候选区域在面板图像中所处的位置。例如，尺寸信息为该缺陷候选区域的面积，所述位置信息为该缺陷候选区域的中心与面板图像的图像中心之间的距离等。当然，在实际应用中，所述位置信息还可以采用其他方式确定，例如，缺陷候选区域的中心点到面板图像左上角的距离，缺陷候选区域的左上角到面板图像左上角的距离等。所述尺寸信息可以为采用其他方式确定，例如，缺陷候选区域的周长等。
83.进一步，在本实施例的一个实现方式中，以所述缺陷候选区域为矩形候选区域，尺寸信息为该缺陷候选区域的面积，所述位置信息为该缺陷候选区域的中心与面板图像的图像中心之间的距离为例，对所述位置参数的确定过程进行说明。所述缺陷候选区域的位置参数的确定过程可以为：首先，获取该缺陷候选区域的四个顶点的顶点坐标；其次，根据四个顶点坐标确定该缺陷候选区域的四个边长以及中心点坐标；最后，根据四个边长确定该缺陷候选区域的尺寸信息，以及根据所述中心点坐标确定该缺陷候选区域的位置信息。例如，面板图像的图像中心坐标为(0,0)，缺陷候选区域a的四个顶点坐标分别为(0，2)、(2，2)，(2，0)以及(0，0)，那么，该缺陷候选区域a的位置信息为该缺陷候选区域a的尺寸信息为4。
84.所述对各缺陷候选区域进行过滤指的是对各缺陷候选区域中的每个缺陷候选区域进行筛选，以去除所有缺陷候选区域中部分不满足过滤条件的缺陷候选区域，其中，所述过滤条件为基于各缺陷候选区域各自对应的置信度及位置参数确定。可以理解的是，将置信度以及位置参数两个因素作为缺陷候选区域的过滤因素，这样一方面考虑缺陷候选区域中是否存在面板区域，另一方面考虑缺陷候选区域在面板图像中的所处区域的区域信息，在过滤相交或嵌套缺陷候选区域时，在保留置信度高的缺陷候选区域的同时，还可以通过
位置参数的限制保留尺寸以及位置满足条件的候选区域，提高了保留的缺陷候选区域的准确性，进而可以提高面板缺陷检测的准确性。
85.本实施例采用置信度和位置参数两个因素作为缺陷候选区域的过滤因素的原因为：显示面板的缺陷普遍为一些离散的缺陷小颗粒，使得缺陷候选区域为各缺陷小颗粒对应的缺陷候选区域，各缺陷小颗粒对应的缺陷候选区域会具有很高的置信度(例如，以置信度取值为0-1为例，很高的置信度可以为大于0.7的置信度等)，那么在基于置信度筛选缺陷候选区域时，可以筛选得到缺陷候选区域为每个缺陷小颗粒对应的缺陷候选区域，而无法得到包含这些缺陷小颗粒的缺陷的一个大的检测框中，进而无法基于筛选得到缺陷候选区域来确定显示面板对应的缺陷类别，进而造成缺陷检测准确率低的问题。
86.在本实施例的一个实现方式中，所述基于各缺陷候选区域各自对应的置信度及位置参数，对各缺陷候选区域进行过滤，以得到过滤后的缺陷候选区域具体包括：
87.根据各缺陷候选区域各自对应的置信度及位置参数，确定各缺陷候选区域各自对应的置信分数；
88.根据各缺陷候选区域对应的置信分数，对各缺陷候选区域进行过滤，以得到过滤后的缺陷候选区域。
89.具体地，所述置信分数用于反映缺陷候选区域被选取的可能性，并且置信分数的取值越大，说明缺陷候选区域的可信程度越高；反之，置信分数的取值越小，说明缺陷候选区域的可信程度越低。例如，置信分数为5时缺陷候选区域的被选取的可能性高于置信分数为1时缺陷候选区域的可能性。所述目标缺陷候选区域集为基于所述置信分数进行过滤得到的缺陷候选区域构成的候选区域集合，其中，所述目标缺陷候选区域集为缺陷候选区域集的子集，当基于置信分数过滤掉缺陷候选区域时，目标缺陷候选集为缺陷候选集的真子集；当基于置信分数未过滤掉缺陷候选区域时，目标缺陷候选集为缺陷候选集。例如，缺陷候选区域集包括缺陷候选区域a、缺陷候选区域b、缺陷候选区域c以及缺陷候选区域d，基于各缺陷候选区域对应的置信分数将缺陷候选区域a和缺陷候选区域d过滤掉，那么目标缺陷候选区域集包括缺陷候选区域b和缺陷候选区域d。
90.进一步，在本实施例的一个实现方式中，所述位置参数包括位置信息以及尺寸信息；所述根据各缺陷候选区域各自对应的置信度及位置参数，确定各缺陷候选区域各自对应的置信分数为：
91.对该缺陷候选区域对应的置信度、位置信息及尺寸信息进行加权处理，以得到该缺陷候选区域对应的置信分数。
92.具体地，所述尺寸信息用于反映缺陷候选区域的大小，例如，所述尺寸信息为该缺陷候选区域的面积，所述尺寸信息缺陷后续框的左侧边的边长等。所述位置信息用于方式缺陷候选区域在面板图像中所处的位置。例如，尺寸信息为该缺陷候选区域的面积，所述位置信息为该缺陷候选区域的中心与面板图像的图像中心之间的距离，缺陷候选区域的中心点到面板图像左上角的距离，缺陷候选区域的左上角到面板图像左上角的距离等。所述置信度为该缺陷候选区域携带的置信度。
93.进一步，在对所述置信度、位置信息及尺寸信息进行加权处理前，需要确定置信度、位置信息以及尺寸信息各自对应的权重系数。其中，所述置信度对应的权重系数以及尺寸信息对应的权重系数均为预先设置，例如，所述置信度的权重系数为1，所述尺寸信息的
权重系数为0.5等。此外，在实际应用中，所述尺寸信息对应的权重系数可以根据实际检测情况进行设置的，并且尺寸信息对应的权重系数可以根据检测任务中尺寸大小的重要程度来确定，并且当尺寸大小的重要程度高时，尺寸信息对应的权重系数大；反之，当尺寸大小的重要程度低时，尺寸信息对应的权重系数小，这样使得当尺寸较大的缺陷候选区域的置信度较低时，该尺寸较大的缺陷候选区域对应的置信分数也会增大，以使得尺寸较大的缺陷候选区域被选取的概率增大。例如，在注重缺陷候选区域的尺寸大小的检测任务中，尺寸信息对应的权重系数的值大于注重缺陷候选区域的位置信息的检测任务中尺寸信息对应的权重系数的值，例如，注重缺陷候选区域的尺寸大小的检测任务中，尺寸信息对应的权重系数的值为0.8；注重缺陷候选区域的位置信息的检测任务中，尺寸信息对应的权重系数的值为0.4等。
94.进一步，在本实施例的一个实现方式中，所述位置信息对应的权重参数获取过程具体包括：
95.对于该缺陷候选区域中的每条边，确定该边与目标边之间的距离，其中，该目标边为所述面板图像的与该边相对应的边；
96.根据确定得到的所有距离，确定所述位置信息对应的第二权重系数。
97.具体地，所述目标边为所述面板图像中与该相对应的边，所述相对应的边指的是面板图像的边缘框中平行于该边的边框中，与该边的距离最小的边框，例如，对于缺陷候选区域中的边a，面板图像中存在边框a和边框b平移，边框a与边a之间的距离为a，边框b与边a之间的距离为b，a》b，边框b为边a对应的目标边。当然，值得说明的，所述缺陷候选区域可以与面板图像的边缘框的形状相同，例如，均为矩形框等。
98.进一步，所述距离指的是两条平行边之间的距离，将两条平行边中一条边为初始边，一条边作为目标边，在确定初始边与目标边之间的距离可以在该初始边上选取一点，由该点向目标边作垂线，并将该点与垂点的距离作为初始边与目标边之间的距离。例如，缺陷候选区域为矩形框abcd，面板图像的边缘框为矩形宽abcd，矩形框abcd的ab边对应的目标边为ab，ab边与ab边之间的距离为d_h1；bc边对应的目标边为bc，bc边与bc边之间的距离为d_w2；cd边对应的目标边为cd，cd边与cd边之间的距离为d_h2；da边对应的目标边为da，da边与da边之间的距离为d_w2。
99.进一步，在本实例的一个实现方式中，所述缺陷候选区域为矩形框；在获取到该缺陷候选区域中的每条边对应的距离后，将该缺陷候选区域的四条边划分为第一边组和第二边组；第一边组包括第一宽边和第一高边，第一宽边与第一高边相交；第二边组包括第二宽边和第二高边；第二宽边和第二高边相交。在获取到第一边组和第二边组之后，计算第一边组中第一宽边和第一高边的和，与第一宽边对应的目标边与第一高边对应的目标边的和的比值；以及第二边组中第二宽边和第二高边的和，与第二宽边对应的目标边与第二高边对应的目标边的和的比值；最后根据计算得到两个比值，确定位置信息对应的权重系数，例如，将两个比值中较小的比值作为位置信息对应的权重系数，或者将两个比值中较大的比值作为位置信息对应的权重系数等。
100.在一个具体实现方式中，将两个比值中较小的比值作为位置信息对应的权重系数，这样可以在保留位置信息对应置信分数的影响，又避免位置信息在置信分数中所占比重过高，而影响了置信度的比重，造成缺陷候选区域选取错误。由此，所述位置信息对应的
权重系数的计算公式可以为：
[0101][0102]
其中，w1为位置信息对应的权重系数，d
w1
为第一宽边到其对应的目标边的距离；d
h1
为第一高边到其对应的目标边的距离；d
w2
为第二宽边到其对应的目标边的距离；d
h2
为第二宽边到其对应的目标边的距离；w为面板图像的边缘框的宽度值，h为面板图像的边缘框的高度值。
[0103]
进一步，在确定置信度、尺寸信息、位置信息，置信度对应的权重系数，尺寸信息对应的权重系数以及位置信息对应的权重系数后，所述置信分数的计算公式可以为：
[0104]
combox＝az w0s w1p
[0105]
其中，combox为置信分数，z为置信度，a为置信度对应的权重系数，w0为尺寸信息对应的权重系数，s为尺寸信息，w1为位置信息对应的权重系数，p为位置信息。
[0106]
进一步，在本实施例的一个实现方式中，所述根据各缺陷候选区域对应的置信分数，对各缺陷候选区域进行过滤，以得到过滤后的缺陷候选区域具体包括：
[0107]
根据各缺陷候选区域中的各缺陷候选区域对应的置信分数，确定各缺陷候选区域对应的目标候选区域以及参考候选区域集，其中，所述参考候选区域集包括各缺陷候选区域去除该目标候选区域外的其余缺陷候选区域；
[0108]
对于参考候选区域集中的每个参考候选区域，确定该目标候选区域与该参考候选区域之间的第一面积参数和第二面积参数；
[0109]
根据各参考候选区域对应的第一面积参数和第二面积参数，对该参考候选区域集进行过滤，以得到过滤后的参考候选区域；
[0110]
将过滤后的参考候选区域作为缺陷候选区域，并继续执行根据各缺陷候选区域中的各缺陷候选区域对应的置信分数，确定各缺陷候选区域对应的目标候选区域以及参考候选区域集的步骤；直至过滤后的参考候选区域未包含参考候选区域；
[0111]
根据确定得到的所有目标候选区域，确定所述面板图像对应的目标缺陷候选区域集。
[0112]
具体地，所述目标候选区域为缺陷候选区域集中的一个缺陷候选区域，参考候选区域集包括各缺陷候选区域去除该目标候选区域外的其余缺陷候选区域。可以理解的是，目标候选区域与参考候选区域集中的所有缺陷候选区域为缺陷候选区域集中的所有缺陷候选区域。由此可知，所述根据各缺陷候选区域中的各缺陷候选区域对应的置信分数，确定各缺陷候选区域对应的目标候选区域以及参考候选区域集的过程可以为：根据各缺陷候选区域的置信分数，在缺陷候选区域集中选取一个缺陷候选区域作为目标缺陷候选区域；将该目标缺陷候选区域除各缺陷候选区域中去除，以得到参考候选区域集，其中，所述目标候选区域可以为缺陷候选区域集中置信分数最大的缺陷候选区域。例如，缺陷候选区域包括缺陷候选区域a、缺陷候选区域b、缺陷候选区域c、缺陷候选区域d以及缺陷候选区域e，其中，缺陷候选区域a对应的置信分数为5、缺陷候选区域b对应的置信分数为4.8、缺陷候选区域c对应的置信分数为4.9、缺陷候选区域d对应的置信分数为3.8以及缺陷候选区域e对应的置信分数为5.8，那么缺陷候选区域e为目标候选区域，缺陷候选区域a、缺陷候选区域b、缺陷候选区域c以及缺陷候选区域d构成参考参考候选区域集。
[0113]
进一步，所述第一面积参数用于反映目标候选区域与参考候选区域的相交区域与相并区域的比例信息，第二面积参数用于反映目标候选区域与参考候选区域的相交区域与目标候选区域的比例信息。由此，所述对于参考候选区域集中的每个参考候选区域，确定所述目标候选区域与该参考候选区域之间的第一面积参数和第二面积参数具体包括：
[0114]
对于参考候选区域集中的每个参考候选区域，确定该目标候选区域与该参考候选区域之间的相交区域以及相并区域；
[0115]
根据所述相交区域以及所述相并区域，确定该参考候选区域对应的第一面积参数；
[0116]
根据所述相交区域以及该目标候选区域对应的图像区域，确定该参考候选区域对应的第二面积参数。
[0117]
具体地，该目标候选区域与该参考候选区域之间的相交区域指的是以目标候选区域的边缘框的图像区域与以参考候选区域为边缘框的图像区域的相交区域；该目标候选区域与该参考候选区域之间的相并区域指的是以目标候选区域的边缘框的图像区域与以参考候选区域为边缘框的图像区域的相并区域。所述第一面积参数为相交区域的区域面积与相并区域的区域面积的比值。此外，目标候选区域对应的图像区域为与目标候选区域为边缘框的图像区域；所述第二面积参数为相交区域的区域面积与目标候选区域对应的图像区域的区域面积的比值。当然，值得说明的，相交区域、相并区域以及目标候选区域对应的图像区域可以均为面板图像的部分图像区域。
[0118]
进一步，在本实施例的一个实现方式中，所述根据各参考候选区域对应的第一面积参数和第二面积参数，对该参考候选区域集进行过滤，以得到过滤后的参考候选区域具体为：
[0119]
对于每个参考候选区域，若该参考候选区域对应的第一面积参数或者第二面积参数大于预设阈值时，将该参考候选区域从所述参考候选区域集中滤除，以得到过滤后的参考候选区域。
[0120]
具体地，所述预设阈值为预先设置的，用于衡量各参考候选区域是否需要被滤除的标准，可以理解的是，预设阈值为对参考候选区域集进行过滤的过滤依据。由此，在获取到第一面积参数r1与第二面积参数r2，可以基于预设阈值对第一面积参数r1与第二面积参数r2进行衡量，以确定参考候选区域是否需要被滤除。
[0121]
在本实施例的一个具体实现方式中，所述参考候选区域需要被滤除的条件可以为第一面积参数r1或第二面积参数r2大于预设阈值。由此，在获取第一面积参数r1与第二面积参数r2后，可以分别将第一面积参数r1与所述第二面积参数r2与预设阈值进行比较；若所述第一面积参数r1大于预设阈值或者所述第二面积参数r2大于预设阈值，将参考候选区域作为需要被滤除的参考候选区域，并将该参考候选区域从参考候选区域集中滤除；这样对每个参考候选区域分别执行将第一面积参数r1与所述第二面积参数r2与预设阈值进行比较的步骤，可以将参考候选区域集中所有需要被滤除的参考候选区域滤除，以得到过滤后的参考候选区域。
[0122]
进一步，在获取到过滤后的参考候选集后，可判断过滤后的参考候选集中是否包含缺陷候选区域；若包括缺陷候选区域，将过滤后的参考候选集作为缺陷候选区域，并继续执行根据各缺陷候选区域中的各缺陷候选区域对应的置信分数，确定各缺陷候选区域对应
的目标候选区域以及参考候选区域集的步骤；若未包括缺陷候选区域，则获取确定得到的各目标候选区域，将确定得到的各目标候选区域作为过滤后的缺陷候选区域，以得到面板图像对应的目标缺陷候选区域集。
[0123]
综上所述，本实施例提供了一种面板缺陷检测方法，所述方法应用于缺陷检测模型，所述缺陷检测模型基于待检测的面板图像，确定所述面板图像对应的若干目标特征图，所述缺陷检测模型基于所述若干目标特征图，确定所述面板图像对应的面板缺陷区域。本技术通过缺陷检测单元确定待检测的面板图像对应的若干目标特征图，并且若干目标特征图中的每个目标特征图均携带缺陷区域，并且各目标特征图中的缺陷区域的区域大小互不相同，这样基于各目标特征图各自对应的缺陷候选区域可以得到面板图像中不同尺寸的面板缺陷区域，从而提高了面板缺陷检测的准确性，从而提高了显示面板的质量。
[0124]
进一步，在一个实施例中，所述缺陷检测模型的训练过程具体包括：
[0125]
获取面板图像集，其中，训练面板图像集包括若干缺陷类别的面板图像，并且各缺陷类别对应的训练面板图像的数量相同；
[0126]
基于所述面板图像集对预设网络模型进行训练，以得到所述缺陷检测模型。
[0127]
具体地，所述面板图像集包括若干训练面板图像，若干训练面板图像中每个训练面板图像均包括面板缺陷区域，并且每个训练面板图像中的面板缺陷区域对应的缺陷类别相同，并且各缺陷类别对应的训练面板图像的数量相同。其中，所述缺陷类别用于方向面板缺陷的缺陷成因(即面板缺陷的形成原因)，所述缺陷类别可以包括制造工艺失误及修复失误等。例如，对于训练面板图像a，训练面板图像a对应的面板上具有点状缺陷，该点状缺陷的成因为制造工艺失误，那么训练面板图像a对应的缺陷成因为制造工艺失误，该训练面板图像a对应的缺陷类别为制造工艺失误。
[0128]
进一步，在本实施例的一个实现方式中，所述获取面板图像集具体包括：
[0129]
获取初始面板图像集；
[0130]
将所述初始面板图像集按照缺陷类别划分为若干子面板图像集；
[0131]
按预设权重从每个子面板图像集中选取预设数量的初始面板图像，并基于选取到初始面板图像确定所述面板图像集。
[0132]
具体地，所述初始面板图像集包括若干初始面板图像，若干初始面板图像均携带标注缺陷区域以及标注缺陷区域对应的缺陷类别，并且每个初始面板图像携带的各面板缺陷区域的缺陷类别相同。例如，初始面板图像包括初始面板图像a，初始面板图像a携带面板缺陷区域a和面板缺陷区域b，那么面板缺陷区域a对应的缺陷类别与面板缺陷区域b对应的缺陷类别相同。
[0133]
基于此，在获取到初始面板图像集后，可以将初始面板图像集中的若干初始面板图像按照其携带面板区域对应的缺陷类别划分为若干子面板图像集，若干子面板图像集中每个子面板图像集对应一个缺陷类别，并且各子面板图像集各自对应的缺陷类别互不相同。在划分得到各子面板图像集后，预设权重从每个子面板图像集中选取预设数量的初始面板图像，并将选取到所有初始面板图像形成的集合作为面板图像集。其中，所述预设数量小于若干子面板图像集中目标子面板图像集包含的初始面板图像数量，其中，目标子面板图像集为若干子面板图像集中包含初始面板图像数量最少的子面板图像集。
[0134]
进一步，所述基于所述面板图像集对预设网络模型进行训练指的是基于面板图像
集的每个训练面板图像对预设网络模型进行训练。相对应的，所述基于所述面板图像集对预设网络模型进行训练的过程可以为：将训练面板图像输入预设网络模型，通过预设网络模型输出该训练面板图像对应的预测检测区域，基于该预测检测区域以及该训练面板图像对应的标注检测区域确定损失函数，并基于损失函数对所述预设网络模型进行训练，直至所述预设网络模型的模型参数满足预设条件。其中，所述预设条件可以为所述预设条件包括损失函数值满足预设要求或者训练次数达到预设次数。所述预设要求可以是根据缺陷分类模型的精度来确定，这里不做详细说明，所述预设次数可以为预设神经网络模型的最大训练次数，例如，5000次等。由此，在分类结构输出预测缺陷形态类别标签，根据训练面板图像对应的缺陷形态类别标签，以及预测缺陷形态类别标签计算得到损失函数值后，判断所述损失函数值是否满足预设要求；若损失函数值满足预设要求，则结束训练；若损失函数值不满足预设要求，则判断所述预设神经网络模型的训练次数是否达到预测次数，若未达到预设次数，则根据所述损失函数值对所述预设神经网络模型的网络参数进行修正；若达到预设次数，则结束训练。这样通过损失函数值和训练次数来判断预设神经网络模型训练是否结束，可以避免因损失函数值无法达到预设要求而造成预设神经网络模型的训练进入死循环。在本实施例中，在基于损失函数对预设网络模型进行训练时，可以采用改进的批量梯度下降法(如adam、sgd等)进行反向学习等。
[0135]
进一步，由于对预设神经网络模型的网络参数进行修正是在预设神经网络模型的训练情况未满足预设条件(即，损失函数值未满足预设要求并且训练次数未达到预设次数)，从而在根据损失函数值对所述预设神经网络模型的网络参数进行修正后，需要继续对神经网络模型进行训练，即继续执行将面板图像集中的训练面板图像输入预设神经网络模型的步骤。其中，继续执行将将面板图像集中的训练面板图像输入预设神经网络模型中的训练面板图像为未作为输入项输入过预设神经网络模型的训练面板图像。例如，面板图像集中训练面板图像具有唯一图像标识(例如，图像编号)，第一次训练输入的训练面板图像为图像标识与第二次训练输入的训练面板图像的图像标识不同，如，第一次训练输入的训练面板图像的图像编号为1，第二次训练输入的训练面板图像的图像编号为2，第n次训练输入的训练面板图像的图像编号为n。当然，在实际应用中，由于训练集中的训练面板图像的数量有限，为了提高神经网络模型的训练效果，可以依次将面板图像集中的训练面板图像输入至预设神经网络模型以对预设神经网络模型进行训练，当面板图像集中的所有训练面板图像均输入过预设网络模型后，可以继续执行依次将面板图像集中的训练面板图像输入至预设神经网络模型的操作，以使得训练集中的样本图像按循环输入至预设网络模型。当然，在实际应用中，再次采用面板图像集对预设网络模型进行训练时，可以调整面板图像集中各训练面面板图像输入预设网络模型的顺序。
[0136]
进一步，在本实施例的一个实现方式中，所述基于该预测检测区域以及该训练面板图像对应的标注检测区域确定损失函数可以包括分类损失函数使用focal loss，回归损失函数smooth l1 loss，其中，所述分类损失函数使用focal loss的计算公式可以为：
[0137][0138]
其中，y＝1表示事实上存在缺陷，p为预测y＝1的概率，α，γ为调节因子，例如，α＝0.25，γ＝2等。
[0139]
进一步，回归损失函数smooth l1 loss的计算公式可以为：
[0140][0141]
其中，x表示预测检测区域和标准检测区域的偏差。
[0142]
进一步，在本实施例的一个实现方式中，在获取到缺陷检测模型后，可以基于预设的验证集对所述缺陷检测模型的超参数(如，学习率策略、默认框的数量等)进行训练，并将训练得到的缺陷检测模型作为缺陷检测模型，其中，在训练超参数时，可以分别尝试分段常数衰减、余弦衰减和指数衰减等学习率策略，并选择在验证集上表现最好的学习率策略作为缺陷检测模型的学习率策略等。当然，在实际应用中，在获取到缺陷检测模型后，还可以在测试集上评估其检测性能，例如，对每个缺陷检测区域计算召回率recall和准确率precision，其中，召回率为所有的缺陷中被缺陷检测模块正确检测出来的比例，准确率为所有缺陷检测模块预测出来的缺陷区域中预测正确的比例。
[0143]
基于上述面板缺陷检测方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的面板缺陷检测方法中的步骤。
[0144]
基于上述面板缺陷检测方法，本技术还提供了一种终端设备，如图3所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(communications interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
[0145]
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
[0146]
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
[0147]
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
[0148]
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
[0149]
最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。