瓷砖表面质量检测系统、方法、电子设备及存储介质与流程

1.本公开涉及建筑技术领域，具体涉及一种瓷砖表面质量检测系统、方法、电子设备及存储介质。


背景技术：

2.瓷砖表面的质量检测环节是瓷砖行业生产和质量管理的重要环节。产业自动化发展至今，瓷砖生产的大部分环节已基本实现无人化。而质量检测环节仍需要依赖人工来完成。通常，一条瓷砖产线可以配备2～6名质检工人，通过长时间在高光下观察瓷砖表面来寻找瑕疵。但是，这种依赖人工质检的方式导致质检效率低下、质检质量层次不齐，以及质检成本较高。因此，如何提高瓷砖表面的质检效率以及质检质量是本领域技术人员需要解决的主要问题之一。


技术实现要素：

3.本公开实施例提供一种瓷砖表面质量检测系统、方法、电子设备及存储介质。
4.第一方面，本公开实施例中提供了一种瓷砖表面质量检测系统，包括：传送设备、多路图像采集设备和处理设备；其中，
5.所述传送设备适于承载待检测瓷砖，以及所述传送设备还适于将待检测瓷砖传送至图像采集区域，并从所述图像采集区域传送出去；
6.所述多路图像采集设备设置在所述图像采集区域的上方，在所述待检测瓷砖被传送至所述图像采集区域后，所述多路图像采集设备从多个不同角度采集所述待检测瓷砖表面的多个待检测图像；
7.所述处理设备适于从所述多路图像采集设备接收所述待检测图像，并利用预训练的质检模型对所述待检测图像进行检测，并获得图像检测结果，以及根据所述图像检测结果确定所述待检测瓷砖表面的质检结果。
8.进一步地，所述多路图像采集设备包括多组图像采集设备；每组所述图像采集设备包括光源和图像传感器。
9.进一步地，不同组的所述图像采集设备中，不同图像传感器之间的相对位置被设置成从不同采集角度对瓷砖表面进行图像采集的形式，且每组所述图像采集设备中，所述光源和所述图像传感器之间的相对位置被设置成所述光源照射至瓷砖表面的光被反射至所述图像传感器的形式。
10.进一步地，所述处理设备利用所述质检模型对多个所述待检测图像分别进行检测，以获得瓷砖表面的瑕疵信息；所述瑕疵信息包括瑕疵位置以及瑕疵类别。
11.进一步地，所述处理设备还适于根据同一瓷砖的多个待检测图像对应的多个图像检测结果，确定所述瓷砖的质检结果。
12.进一步地，所述瓷砖表面质量检测系统还包括显示设备；所述显示设备适于可视化显示所述处理设备输出的质检结果。
13.第二方面，本发明实施例中提供了一种瓷砖表面质量检测方法，其中，包括：
14.获取对待检测瓷砖表面从多个不同采集角度采集的多个待检测图像；
15.利用预训练的质检模型对多个所述待检测图像进行检测，并获得图像检测结果；所述图像检测结果包括瓷砖表面的瑕疵信息；
16.根据所述图像检测结果确定所述瓷砖的质检结果。
17.第三方面，本发明实施例中提供了一种质检方法，其中，包括：
18.获取对待检测对象表面从多个不同采集角度采集的多个待检测图像；
19.利用预训练的质检模型对多个所述待检测图像进行检测，并获得图像检测结果；所述图像检测结果包括待检测对表面的瑕疵信息；
20.根据所述图像检测结果确定所述待检测对象的质检结果。
21.第四方面，本发明实施例中提供了一种数据处理方法，其中，包括：
22.响应于待检测对象进入图像采集区域的检测事件，触发多路图像采集设备从多个不同角度采集所述待检测对象表面的多个待检测图像；
23.从所述多路图像采集设备接收所述多个待检测图像，以及利用预训练的质检模型对多个所述待检测图像进行检测；
24.将检测结果标注在至少一个所述待检测图像上；
25.展示标注有检测结果的所述待检测图像。
26.第五方面，本发明实施例中提供了一种瓷砖表面质量检测装置，包括：
27.第一获取模块，被配置为获取对待检测瓷砖表面从多个不同采集角度采集的多个待检测图像；
28.第一检测模块，被配置为利用预训练的质检模型对多个所述待检测图像进行检测，并获得图像检测结果；所述图像检测结果包括瓷砖表面的瑕疵信息；
29.第一确定模块，被配置为根据所述图像检测结果确定所述瓷砖的质检结果。
30.第六方面，本发明实施例中提供了一种质检装置，其中，包括：
31.第二获取模块，被配置为获取对待检测对象表面从多个不同采集角度采集的多个待检测图像；
32.第二获检测模块，被配置为利用预训练的质检模型对多个所述待检测图像进行检测，并获得图像检测结果；所述图像检测结果包括待检测对表面的瑕疵信息；
33.第二确定模块，被配置为根据所述图像检测结果确定所述待检测对象的质检结果。
34.第七方面，本发明实施例中提供了一种数据处理装置，其中，包括：
35.触发模块，被配置为响应于待检测对象进入图像采集区域的检测事件，触发多路图像采集设备从多个不同角度采集所述待检测对象表面的多个待检测图像；
36.接收模块，被配置为从所述多路图像采集设备接收所述多个待检测图像，以及利用预训练的质检模型对多个所述待检测图像进行检测；
37.标注模块，被配置为将检测结果标注在至少一个所述待检测图像上；
38.展示模块，被配置为展示标注有检测结果的所述待检测图像。
39.所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
40.在一个可能的设计中，上述装置的结构中包括存储器和处理器，所述存储器用于存储一条或多条支持上述装置执行上述对应方法的计算机指令，所述处理器被配置为用于执行所述存储器中存储的计算机指令。上述装置还可以包括通信接口，用于上述装置与其他设备或通信网络通信。
41.第四方面，本公开实施例提供了一种电子设备，包括存储器、处理器以及存储在存储器上的计算机程序，其中，所述处理器执行所述计算机程序以实现上述任一方面所述的方法。
42.第八方面，本公开实施例提供了一种计算机可读存储介质，用于存储上述任一装置所用的计算机指令，该计算机指令被处理器执行时用于实现上述任一方面所述的方法。
43.第九方面，本公开实施例提供了一种计算机程序产品，其包含计算机指令，该计算机指令被处理器执行时用于实现上述任一方面所述的方法。
44.本公开实施例提供的技术方案可以包括以下有益效果：
45.本公开实施例在瓷砖生产过程中，利用多路图像采集设备对待检测瓷砖进行图像采集，采集得到的多个待检测图像输出至处理设备，由处理设备利用预训练的质检模型对待检测图像进行检测，处理设备基于质检模型检测得到的图像检测结果确定瓷砖的质检结果。通过本公开实施例，可以实现瓷砖生成线上质量检测的无人化，并且能够提高质检质量、质检效率以及质检准确率，降低了人工成本。
46.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
47.结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：
48.图1示出根据本公开一实施方式的瓷砖表面质量检测系统100的结构示意图；
49.图2示出了根据本公开实施方式中多路图像采集设备102在图像采集区域中的结构设置示意图；
50.图3示出根据本公开一实施方式的瓷砖表面质量检测方法的流程图；
51.图4示出根据本公开一实施方式在瓷砖生成线上进行瓷砖检测的整体流程示意图；
52.图5示出根据本公开一实施方式的质检方法的流程图；
53.图6示出根据本公开一实施方式的数据处理方法的流程图；
54.图7示出根据本公开一实施方式中待检测对象的质量检测场景示意图；
55.图8示出根据本公开一实施方式中质检结果的可视化显示质检结果示意图；
56.图9是适于用来实现根据本公开一实施方式的瓷砖表面质量检测方法、质检方法和/或数据处理方法的电子设备的结构示意图。
具体实施方式
57.下文中，将参考附图详细描述本公开的示例性实施方式，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施方式无关的部
分。
58.在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
59.另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
60.下面通过具体实施例详细介绍本公开实施例的细节。
61.图1示出根据本公开一实施方式的瓷砖表面质量检测系统100的结构示意图。如图1所示，瓷砖表面质量检测系统100包括：传送设备101、多路图像采集设备102和处理设备103；其中，
62.所述传送设备101适于承载待检测瓷砖，以及所述传送设备101还适于将待检测瓷砖传送至图像采集区域，并从所述图像采集区域传送出去；
63.所述多路图像采集设备102设置在所述图像采集区域的上方，在所述待检测瓷砖被传送至所述图像采集区域后，所述多路图像采集设备102从多个不同角度采集所述待检测瓷砖表面的多个待检测图像；
64.所述处理设备103适于从所述多路图像采集设备102接收所述待检测图像，并利用预训练的质检模型对所述待检测图像进行检测，并获得图像检测结果，以及根据所述图像检测结果确定所述待检测瓷砖表面的质检结果。
65.本实施例中，瓷砖表面质量检测系统适用于瓷砖生成过程中的质量检测环节。瓷砖表面质量检测系统可以搭建在瓷砖生产线上。传送设备101可以包括传送带，用于将瓷砖从生产环节传送至质量检测环节。传送带可以从图像采集区域内穿过，进而能够携带所承载的瓷砖从图像采集区域穿过。
66.瓷砖可以承载在传送带上，瓷砖可以表面朝上的方式平放在传送带上。在传送带传动过程中，可以将所承载的瓷砖从图像采集区域外的一端比如瓷砖生成的上一环节传送至图像采集区域内，之后再传送至图像采集区域外的另一端，并进入下一环节。可以理解的是，传送带上可以一次承载多块瓷砖，并且多块瓷砖之间可以间隔放置。
67.多路图像采集设备102可以设置在图像采集区域的上方，且多路图像采集设备102包括多个图像传感器，该多个图像传感器可以从多个不同采集角度对进入图像采集区域的瓷砖进行图像采集。图像传感器例如可以是高清线阵扫描相机等。
68.处理设备103可以是图像处理设备103，例如gpu处理设备103。处理设备103在物理位置上可以设置在图像采集区域附近，也可以远离图像采集区域而设置。处理设备103与图像采集设备之间具有通信连接，该通信连接可以是无线通信连接，也可以是有线通信连接，具体可以根据处理设备103所处的位置以及瓷砖生产线的整体设计而定，在此不做具体限制。
69.在一些实施例中，多路图像采集设备102将采集到的待检测图像实时传送给处理设备103，处理设备103可以在接收到多个待检测图像之后，根据当前进入图像采集区域的瓷砖的标识关联存储该多个待检测图像；瓷砖的标识可以通过扫描瓷砖上设置的电子标签来确定，也可以基于传送带的传送速度以及传送带上承载的所有瓷砖之间的间隔距离等计算得到。可以理解的是，针对同一块瓷砖，多路图像采集设备102可以利用多个图像传感器
从不同角度同时对该瓷砖的表面进行图像采集，并且采集得到多个待检测图像可以分别传送至处理设备103之后，处理设备103可以根据图像采集时间确定该多个待检测图像所针对的瓷砖，不同瓷砖之间可以采用不同标识区分。当然，在其他实施例中，也可以由多路图像采集设备102确定多个待检测图像所针对的瓷砖，并由多路图像采集设备102将多个待检测图像与瓷砖标识的关联关系发送给处理设备103。
70.处理设备103在接收到多个待检测图像之后，针对同一块瓷砖的多个待检测图像，利用预训练的质检模型对该多个待检测图像进行质量检测。
71.在一些实施例中，预训练的质检模型可以是智能化检测模型，例如可以是基于深度学习的神经网络模型，该网络模型经过预先训练，具有识别图像，并从输入图像检测目标位置以及目标类别的功能。在本公开实施例中，预训练的质检模型可以从输入的待检测图像检测出瓷砖上的瑕疵信息，该瑕疵信息可以包括瑕疵位置以及瑕疵类别。瑕疵类别可以根据实际质量检测的需要设置，并利用训练样本将质检模型训练成能够识别出所设置的多个瑕疵类别以及瑕疵位置的模型。
72.在一些实施例中，针对同一块瓷砖的多个待检测图像可以分别输入至质检模型中，质检模型可以分别输出对应于每个待检测图像的图像检测结果。本公开实施例利用多路图像采集设备102从多个不同采集角度对瓷砖表面上的同一缺陷进行观察，进而能够避免由于图像采集角度单一而导致瑕疵漏拍现象，同时由于采用预训练的质检模型对图像进行智能化检测，能够提高质量检测效率以及准确率。
73.本公开实施例在瓷砖生产过程中，利用多路图像采集设备对待检测瓷砖进行图像采集，采集得到的多个待检测图像输出至处理设备，由处理设备利用预训练的质检模型对待检测图像进行检测，处理设备基于质检模型检测得到的图像检测结果确定瓷砖的质检结果。通过本公开实施例，可以实现瓷砖生成线上质量检测的无人化，并且能够提高质检质量、质检效率以及质检准确率，降低了人工成本。
74.在本实施例的一个可选实现方式中，所述多路图像采集设备102包括多组图像采集设备；每组所述图像采集设备包括光源和图像传感器。
75.该可选的实现方式中，多路图像采集设备102可以包括多个图像传感器，并且每个图像传感器可以对应设置一光源。因此，多路图像采集设备102相当于包括多组图像采集设备，每组图像采集设备包括光源和对应的图像传感器。在一些实施例中，图像传感器可以是彩色相机或者摄像头等。每组图像采集设备中，光源可以为图像传感器提供光线，使得图像传感器在图像采集过程中能够获得清晰的图像。光源可以采用日光灯。
76.在本实施例的一个可选实现方式中，不同组的所述图像采集设备中，不同图像传感器之间的相对位置被设置成从不同采集角度对瓷砖表面进行图像采集的形式，且每组所述图像采集设备中，所述光源和所述图像传感器之间的相对位置被设置成所述光源照射至瓷砖表面的光被反射至所述图像传感器的形式。
77.该可选的实现方式中，不同组的图像采集设备中，不同图像传感器的位置可以基于图像采集角度而设置，也即图像传感器从多个不同的采集角度进行图像采集，因此可以在确定了多个图像采集角度之后，将多个图像传感器根据该多个图像采集角度设置在图像采集区域的不同位置；而一个光源对应一个图像传感器，该光源和对应的图像传感器构成一组图像采集设备，该光源可以为对应的图像传感器提供足够的图像采集光线。
78.在一些实施例中，光源的位置可以根据图像传感器的位置以及拍摄角度进行设置。在确定了图像传感器的位置以及拍摄角度之后，可以通过使得光源照射至瓷砖表面的光被反射至对应的图像传感器的方式设置光源的位置。也就是说，每组图像采集设备中，光源发射的光被瓷砖表面反射之后进入图像传感器，使得图像传感器能够在足够的光线下采集瓷砖表面的图像。
79.图2示出了根据本公开实施方式中多路图像采集设备102在图像采集区域中的结构设置示意图。如图2所示，该多路图像采集设备102包括两组图像采集设备，每组包括一个高清线阵相机和一个日光灯。其中，第一组图像采集设备中，高清线阵相机2011的图像采集角度与瓷砖表面的法向量呈第一角度，日光灯2012照射至瓷砖表面的光与瓷砖表面的法向量也呈第一角度α；第二组图像采集设备中，高清线阵相机2011的图像采集角度与瓷砖表面的法向量呈第二角度β，日光灯2012照射至瓷砖表面的光与瓷砖表面的法向量也呈第二角度β。第一角度和第二角度β不同，并且第一角度和第二角度β均小于90度。
80.在本实施例的一个可选实现方式中，所述处理设备103利用所述质检模型分别对多个所述待检测图像进行检测，以获得瓷砖表面的瑕疵信息；所述瑕疵信息包括瑕疵位置以及瑕疵类别。
81.该可选的实现方式中，针对同一块瓷砖，从多个不同采集角度采集到的多个待检测图像可以分别输入至预训练的质检模型，由质检模型分别输出每个待检测图像对应的图像检测结果。图像检测结果包括瑕疵信息，瑕疵信息包括瑕疵位置以及瑕疵类别。处理设备103可以根据质检模型针对每个待检测图像获得的图像检测结果最终确定该瓷砖表面的瑕疵信息。
82.在一些实施例中，瑕疵信息除了包括瑕疵位置，还包括瑕疵类别。瑕疵类别可以依据瓷砖类型的不同以及质检需求的不同而设定，在此不做限制。
83.在本实施例的一个可选实现方式中，所述处理设备103还适于根据同一瓷砖的多个待检测图像对应的多个图像检测结果，确定所述瓷砖的质检结果。
84.该可选的实现方式中，针对同一瓷砖的多个待检测图像对应的多个图像检测结果，最终确定瓷砖的质检结果。由于采集角度不同，同一块瓷砖上的同一个瑕疵不一定会体现在每个待检测图像中，因此可以通过综合多个待检测图像中的图像检测结果确定瓷砖表面的瑕疵信息。在一些实施例中，可以根据多个待检测图像对应的多个图像检测结果确定瓷砖的质检结果。
85.在一些实施例中，可以将多个图像检测结果中的瑕疵信息进行合并，并根据瑕疵信息中的瑕疵位置进行去重处理，最终可以得到针对该瓷砖的瑕疵信息。根据最终得到的该瑕疵信息可以确定瓷砖的质检结果。例如，多路图像采集设备102针对同一块瓷砖采集了两张图像，质检模型从两张图像中的一张检测出一个位置处有瑕疵a，而另一张图像中检测出两个位置处有瑕疵b、c，经过位置匹配确定瑕疵a和瑕疵b为同一位置处的瑕疵，因此最终可以得到确定该瓷砖具有两处瑕疵a(或b)和c，可以根据该两处瑕疵以及瑕疵类别确定该瓷砖的质检结果。例如，最终得到的瑕疵信息中瑕疵位置多于阈值，和/或瑕疵类别属于不被允许的预设类别，则可以确定该瓷砖质量不合格；而如果最终得到的瑕疵信息中瑕疵位置的数量少于或等于阈值，和/或瑕疵类别属于可被允许的预设类别，则可以认为该瓷砖质量合格。
86.在本实施例的一个可选实现方式中，所述瓷砖表面质量检测系统还包括显示设备；所述显示设备适于可视化显示所述处理设备103输出的质检结果。
87.该可选的实现方式中，处理设备103在获得质检模型输出的瑕疵位置以及瑕疵类别后，可以在待检测图像上标识出瑕疵位置以及瑕疵类别，并将该标识了瑕疵位置以及瑕疵类别的图像展示在显示设备上。通过在图像上直接标识出瑕疵位置以及瑕疵类别的可视化方式，可以帮助相关人员直观地获知瓷砖的质检结果。
88.图3示出根据本公开一实施方式的瓷砖表面质量检测方法的流程图。如图3所示，该瓷砖表面质量检测方法包括以下步骤：
89.在步骤s301中，获取对待检测瓷砖表面从多个不同采集角度采集的多个待检测图像；
90.在步骤s302中，利用预训练的质检模型对多个所述待检测图像进行检测，并获得图像检测结果；所述图像检测结果包括瓷砖表面的瑕疵信息；
91.在步骤s303中，根据所述图像检测结果确定所述瓷砖的质检结果。
92.本实施例中，该瓷砖表面质量检测方法可以在图1所示的瓷砖表面质量检测系统中的处理设备上执行。已有技术中，在瓷砖表面的质量检测环节中，一种质检方式是利用基于瓷砖表面的图像灰度差、彩色直方图、像素均匀度特征的缺陷质检算法实现对瓷砖表面的质量检测，但是这种方法基于的是传统图像处理算法，容易受到图像光照等干扰，并且最终只能筛选出异常瓷砖，而无法具体描述瓷砖的异常位置以及异常类型等。
93.本公开实施例中，通过设置多路图像采集设备，在瓷砖表面的质量检测环节，从多个不同采集角度采集瓷砖表面的待检测图像，并利用预训练的质检模型对多个待检测图像分别进行检测，进而再根据图像检测结果得到瓷砖表面的质检结果。
94.在一些实施例中，预训练的质检模型利用基于深度学习的神经网络模型，该神经网络模型能够智能检测待检测图像上的瑕疵位置以及瑕疵类别等信息，处理设备根据该瑕疵位置以及瑕疵类别等信息即可确定瓷砖的质检结果，全程可实现无人工干预的质检流程。
95.本实施例中的具体细节可以参见上述对瓷砖表面质量检测系统的描述，在此不再赘述。
96.在一些实施例中，为了能够在瓷砖生产线上的质检环节，针对批量生产的瓷砖进行快速而有效的质量检测，采用了智能化的质检模型，并且该质检模型可以选用fcos(fully convolutional one-stage object detection)模型框架，由于该框架属于单阶段检测网络模型，兼顾良好的检测性能和较低的检测耗时，因此能够满足瓷砖产线上的实际生产效率的要求。
97.在本实施例的一个可选实现方式中，步骤s302，即利用预训练的质检模型对多个所述待检测图像进行检测，并获得图像检测结果的步骤，进一步包括以下步骤：
98.利用所述质检模型对多个所述待检测图像分别进行检测，以获得瓷砖表面的瑕疵信息；所述瑕疵信息包括瑕疵位置以及瑕疵类别。
99.该可选的实现方式中，针对同一块瓷砖，从多个不同采集角度采集到的多个待检测图像可以分别输入至预训练的质检模型，由质检模型分别输出每个待检测图像对应的图像检测结果。图像检测结果包括瑕疵信息，瑕疵信息包括瑕疵位置以及瑕疵类别。处理设备
可以根据质检模型针对每个待检测图像获得的图像检测结果最终确定该瓷砖表面的瑕疵信息。
100.在一些实施例中，瑕疵信息除了包括瑕疵位置，还包括瑕疵类别。瑕疵类别可以依据瓷砖类型的不同以及质检需求的不同而设定，在此不做限制。
101.在本实施例的一个可选实现方式中，步骤s303，即根据所述图像检测结果确定所述瓷砖表面的质检结果的步骤，进一步包括以下步骤：
102.根据同一瓷砖的多个所述待检测图像对应的多个所述图像检测结果，确定所述瓷砖的质检结果。
103.该可选的实现方式中，针对同一瓷砖的多个待检测图像对应的多个图像检测结果，最终确定瓷砖的质检结果。由于采集角度不同，同一块瓷砖上的同一个瑕疵不一定会体现在每个待检测图像中，因此可以通过综合多个待检测图像中的图像检测结果确定瓷砖表面的瑕疵信息。在一些实施例中，可以根据多个待检测图像对应的多个图像检测结果确定瓷砖的质检结果。
104.在一些实施例中，可以将多个图像检测结果中的瑕疵信息进行合并，并根据瑕疵信息中的瑕疵位置进行去重处理，最终可以得到针对该瓷砖的瑕疵信息。根据最终得到的该瑕疵信息可以确定瓷砖的质检结果。例如，多路图像采集设备针对同一块瓷砖采集了两张图像，质检模型从两张图像中的一张检测出一个位置处有瑕疵a，而另一张图像中检测出两个位置处有瑕疵b、c，经过位置匹配确定瑕疵a和瑕疵b为同一位置处的瑕疵，因此最终可以得到确定该瓷砖具有两处瑕疵a(或b)和c，可以根据该两处瑕疵以及瑕疵类别确定该瓷砖的质检结果。例如，最终得到的瑕疵信息中瑕疵位置多于阈值，和/或瑕疵类别属于不被允许的预设类别，则可以确定该瓷砖质量不合格；而如果最终得到的瑕疵信息中瑕疵位置的数量少于或等于阈值，和/或瑕疵类别属于可被允许的预设类别，则可以认为该瓷砖质量合格。
105.在本实施例的一个可选实现方式中，所述方法还进一步包括以下步骤：
106.以可视化方式输出所述瓷砖的质检结果。
107.该可选的实现方式中，处理设备在获得质检模型输出的瑕疵位置以及瑕疵类别后，可以在待检测图像上标识出瑕疵位置以及瑕疵类别，并将该标识了瑕疵位置以及瑕疵类别的图像展示在显示设备上。通过在图像上直接标识出瑕疵位置以及瑕疵类别的可视化方式，可以帮助相关人员直观地获知瓷砖的质检结果。
108.图4示出根据本公开一实施方式在瓷砖生成线上进行瓷砖检测的整体流程示意图。如图4所示，在瓷砖生产线上的适当区域可以架设多路图像采集设备，使得多路图像采集设备能够采集到生产线的传送带上承载的瓷砖表面的图像。该多路图像采集设备可以与一gpu服务器建立通信连接，使得多路图像采集设备采集到的图像实时传送至gpu服务器。gpu服务器上可以预先搭建基于深度学习的质检模型，该质检模型可以是预先训练完成的。gpu服务器接收到多路图像采集设备的图像后，输入至质检模型进行处理，质检模型的处理结果可以为瓷砖的瑕疵信息；gpu服务器还可以根据该瑕疵信息确定该瓷砖的质检结果，并将质检结果显示在gpu服务器附带的显示器上，以供质检人员查看。
109.图5示出根据本公开一实施方式的质检方法的流程图。如图5所示，该质检方法包括以下步骤：
110.在步骤s501中，获取对待检测对象表面从多个不同采集角度采集的多个待检测图像；
111.在步骤s502中，利用预训练的质检模型对多个所述待检测图像进行检测，并获得图像检测结果；所述图像检测结果包括待检测对表面的瑕疵信息；
112.在步骤s503中，根据所述图像检测结果确定所述待检测对象的质检结果。
113.本实施例中，该质检方法可以在用于对待检测对象进行质量检测的系统中执行。待检测对象可以是需要对其表面进行瑕疵检测的实体对象，例如可以是瓷砖、家居板材等。已有技术中，在待检测对象的质量检测环节中，一种质检方式是利用基于待检测对象表面的图像灰度差、彩色直方图、像素均匀度特征的缺陷质检算法实现对待检测对象表面的质量检测，但是这种方法基于的是传统图像处理算法，容易受到图像光照等干扰，并且最终只能筛选出异常对象，而无法具体描述待检测对象的异常位置以及异常类型等。
114.本公开实施例中，通过设置多路图像采集设备，在待检测对象表面的质量检测环节，从多个不同采集角度采集瓷砖表面的待检测图像，并利用预训练的质检模型对多个待检测图像分别进行检测，进而再根据图像检测结果得到瓷砖表面的质检结果。
115.在一些实施例中，预训练的质检模型利用基于深度学习的神经网络模型，该神经网络模型能够智能检测待检测图像上的瑕疵位置以及瑕疵类别等信息，处理设备根据该瑕疵位置以及瑕疵类别等信息即可确定瓷砖的质检结果，全程可实现无人工干预的质检流程。
116.本实施例中的具体细节可以参见上述对瓷砖表面质量检测系统的描述，在此不再赘述。
117.在一些实施例中，为了能够在待检测对象的生产线上的质检环节，针对批量生产的待检测对象进行快速而有效的质量检测，采用了智能化的质检模型，并且该质检模型可以选用fcos(fully convolutional one-stage object detection)模型框架，由于该框架属于单阶段检测网络模型，兼顾良好的检测性能和较低的检测耗时，因此能够满足待检测对象生产线上的实际生产效率的要求。
118.在本实施例的一个可选实现方式中，步骤s502，即利用预训练的质检模型对多个所述待检测图像进行检测，并获得图像检测结果的步骤，进一步包括以下步骤：
119.利用所述质检模型对多个所述待检测图像分别进行检测，以获得待检测对象表面的瑕疵信息；所述瑕疵信息包括瑕疵位置以及瑕疵类别。
120.在本实施例的一个可选实现方式中，步骤s503，即根据所述图像检测结果确定所述待检测对象的质检结的步骤，进一步包括以下步骤：
121.根据同一待检测对象的多个所述待检测图像对应的多个所述图像检测结果，确定所述待检测对象的质检结果。
122.该可选的实现方式中，针对同一待检测对象的多个待检测图像对应的多个图像检测结果，最终确定待检测对象的质检结果。由于采集角度不同，同一待检测对象上的同一个瑕疵不一定会体现在每个待检测图像中，因此可以通过综合多个待检测图像中的图像检测结果确定待检测对象表面的瑕疵信息。在一些实施例中，可以根据多个待检测图像对应的多个图像检测结果确定瓷砖的质检结果。
123.在一些实施例中，可以将多个图像检测结果中的瑕疵信息进行合并，并根据瑕疵
信息中的瑕疵位置进行去重处理，最终可以得到针对该待检测对象的瑕疵信息。根据最终得到的该瑕疵信息可以确定待检测对象的质检结果。例如，以瓷砖为例，多路图像采集设备针对同一块瓷砖采集了两张图像，质检模型从两张图像中的一张检测出一个位置处有瑕疵a，而另一张图像中检测出两个位置处有瑕疵b、c，经过位置匹配确定瑕疵a和瑕疵b为同一位置处的瑕疵，因此最终可以得到确定该瓷砖具有两处瑕疵a(或b)和c，可以根据该两处瑕疵以及瑕疵类别确定该瓷砖的质检结果。例如，最终得到的瑕疵信息中瑕疵位置多于阈值，和/或瑕疵类别属于不被允许的预设类别，则可以确定该瓷砖质量不合格；而如果最终得到的瑕疵信息中瑕疵位置的数量少于或等于阈值，和/或瑕疵类别属于可被允许的预设类别，则可以认为该瓷砖质量合格。
124.在本实施例的一个可选实现方式中，所述方法还进一步包括以下步骤：
125.以可视化方式输出所述待检测对象的质检结果。
126.该可选的实现方式中，处理设备在获得质检模型输出的瑕疵位置以及瑕疵类别后，可以在待检测图像上标识出瑕疵位置以及瑕疵类别，并将该标识了瑕疵位置以及瑕疵类别的图像展示在显示设备上。通过在图像上直接标识出瑕疵位置以及瑕疵类别的可视化方式，可以帮助相关人员直观地获知待检测图像的质检结果。
127.上述实施例中的相关细节可以参见上文中对瓷砖表面质量检测系统以及对瓷砖表面质量检测方法的描述，在此不再赘述。
128.图6示出根据本公开一实施方式的数据处理方法的流程图。如图6所示，该数据处理方法包括以下步骤：
129.在步骤s601中，响应于待检测对象进入图像采集区域的检测事件，触发多路图像采集设备从多个不同角度采集所述待检测对象表面的多个待检测图像；
130.在步骤s602中，从所述多路图像采集设备接收所述多个待检测图像，以及利用预训练的质检模型对多个所述待检测图像进行检测；
131.在步骤s603中，将检测结果标注在至少一个所述待检测图像上；
132.在步骤s604中，展示标注有检测结果的所述待检测图像。
133.本实施例中，待检测对象可以是需要对其表面进行瑕疵检测的实体对象，例如可以是瓷砖、家居板材等。该数据处理方法可以应用在待检测对象的生产线上，用于对生产出的待检测对象进行质量检测。
134.在待检测对象的生产线上，生产完成的待检测对象可以从生产环节被运送至质检环节。在质检环节，可以设置一图像采集区域，该图像采集区域中待检测对象可以被承载在传送设备上，使得待检测对象的表面能够被设置在图像采集区域的多路图像采集设备，从多个不同的采集角度进行图像采集。
135.在图像采集区域的入口还可以设置检测模块，用于检测待检测对象是否进入图像采集区域。该检测模块例如可以是红外检测模块或者无线射频标签扫描模块。检测模块在检测到待检测对象进入图像采集区域后，可以向执行本公开实施例的图像处理方法的处理设备发送检测事件。
136.该处理设备接收到该检测事件之后，可以向设置在图像采集区域的多路图像采集设备发送触发信号，以触发多路图像采集设备开始对图像采集区域内的待检测对象进行图像采集。
137.多路图像采集设备可以从多个预先设置的不同采集角度采集得到该待检测对象表面的多个待检测图像，并将该多个待检测图像发送至处理设备。
138.处理设备接收到该多个待检测图像之后，可以利用预训练的质检模型对多个待检测图像进行检测。如果该多个待检测图像中的一个或多个被检测出有瑕疵，则处理设备可以在其中一个或多个待检测图像上标注出该瑕疵所在的位置，以瑕疵信息等。
139.处理设备进而再将该标注有检测结果的待检测图像展示在质检人员的显示界面上，以便质检人员根据该质检结果判断是否需要将该待检测对象确定为异常对象，而进行后续处理。
140.本实施例中的其他技术细节可以参见上述对瓷砖表面质量检测系统、瓷砖表面质量检测方法以及质检方法等的描述，在此不再赘述。
141.在本实施例的一个可选实现方式中，步骤s602中，利用预训练的质检模型对多个所述待检测图像进行检测的步骤，进一步包括以下步骤：
142.利用所述质检模型对多个所述待检测图像分别进行检测，以获得待检测对象表面的瑕疵信息；所述瑕疵信息包括瑕疵位置以及瑕疵类别。
143.该可选的实现方式中，预训练的质检模型利用基于深度学习的神经网络模型，该神经网络模型能够智能检测待检测图像上的瑕疵位置以及瑕疵类别等信息，处理设备根据该瑕疵位置以及瑕疵类别等信息即可确定待检测对象的质检结果，全程可实现无人工干预的质检流程。
144.在本实施例的一个可选实现方式中，所述方法还进一步包括以下步骤：
145.根据同一待检测对象的多个所述待检测图像对应的多个所述图像检测结果，确定所述待检测对象的质检结果。
146.该可选的实现方式中，针对同一待检测对象的多个待检测图像对应的多个图像检测结果，最终确定待检测对象的质检结果。由于采集角度不同，同一待检测对象上的同一个瑕疵不一定会体现在每个待检测图像中，因此可以通过综合多个待检测图像中的图像检测结果确定待检测对象表面的瑕疵信息。在一些实施例中，可以根据多个待检测图像对应的多个图像检测结果确定瓷砖的质检结果。
147.在一些实施例中，可以将多个图像检测结果中的瑕疵信息进行合并，并根据瑕疵信息中的瑕疵位置进行去重处理，最终可以得到针对该待检测对象的瑕疵信息。根据最终得到的该瑕疵信息可以确定待检测对象的质检结果。例如，以瓷砖为例，多路图像采集设备针对同一块瓷砖采集了两张图像，质检模型从两张图像中的一张检测出一个位置处有瑕疵a，而另一张图像中检测出两个位置处有瑕疵b、c，经过位置匹配确定瑕疵a和瑕疵b为同一位置处的瑕疵，因此最终可以得到确定该瓷砖具有两处瑕疵a(或b)和c，可以根据该两处瑕疵以及瑕疵类别确定该瓷砖的质检结果。例如，最终得到的瑕疵信息中瑕疵位置多于阈值，和/或瑕疵类别属于不被允许的预设类别，则可以确定该瓷砖质量不合格；而如果最终得到的瑕疵信息中瑕疵位置的数量少于或等于阈值，和/或瑕疵类别属于可被允许的预设类别，则可以认为该瓷砖质量合格。
148.上述实施例中的相关细节可以参见上文中对瓷砖表面质量检测系统以及对瓷砖表面质量检测方法的描述，在此不再赘述。
149.图7示出根据本公开一实施方式中待检测对象的质量检测场景示意图。如图7所
示，待检测对象的生产线至少包括生产环节和质检环节；在生产环节，待检测对象在生产区域生产完成之后，通过传送带被传送至质检区域，从而进入质检环节。
150.在质检区域至少可以设置一图像采集区域，该图像采集区域可以设置在传送带经过的某个区域，该区域上方可以设置至少多路图像采集设备。放置在传送带上的待检测对象随着传送带一同进入图像采集区域之后，多路图像采集设备可以采集待检测对象表面的图像，并且可以采集到的多张待检测图像。
151.在图像采集区域的入口设置有红外检测模块，待检测对象随着传送带一同进入该图像采集区域时，触发该红外检测模块向远程设置的处理设备发送检测事件。处理设备在接收到检测事件之后，可以向多路图像采集设备发送触发信号，以触发多路图像采集设备采集图像。该多路图像采集设备包括第一图像传感器和第二图像传感器。
152.处理设备接收第一图像传感器和第二图像传感器采集到的两张图像，进而可以利用预训练的质检模型分别对两张图像进行检测，如果检测结果表明至少一张图像上存在瑕疵，则处理设备将该瑕疵信息例如瑕疵的位置信息以及类别信息等标注在对应的图像上，并将该标注有检测结果的图像发送至质检人员的客户端上，供相关质检人员查看。
153.质检人员通过上述瑕疵信息确定当前的待检测对象的质量是否合格，并最终记录当前的待检测对象的质检结果。
154.图8示出根据本公开一实施方式中质检结果的可视化显示质检结果示意图。如图8所示，该可视化显示的质检结果中包括瓷砖的原始图像，以及原始图像上标识的瑕疵框和瑕疵类别等信息。
155.在一些实施例中，gpu服务器可以是云服务器，质检模型可以被部署在该云服务器上，并且该云服务器可以对外提供使用该质检模型的云接口。瓷砖生产线的相关人员可以预先获取使用该云接口的权限，并在实际生成过程中，在生产线本地的处理设备与云服务器之间建立通信连接。多路图像采集设备采集的图像实时传送至本地处理设备，并由本地处理设备传送至云服务器进行处理，云服务器将处理结果也即图像检测结果返回本地处理器，并由本地处理设备根据图像检测结果确定瓷砖的质检结果之后，在本地处理设备附带的显示器上进行可视化显示。
156.下述为本公开装置实施例，可以用于执行本公开方法实施例。
157.根据本公开一实施方式的瓷砖表面质量检测装置，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。该瓷砖表面质量检测装置包括：
158.获取模块，被配置为获取对待检测瓷砖表面从多个不同采集角度采集的多个待检测图像；
159.检测模块，被配置为利用预训练的质检模型对多个所述待检测图像进行检测，并获得图像检测结果；所述图像检测结果包括瓷砖表面的瑕疵信息；
160.确定模块，被配置为根据所述图像检测结果确定所述瓷砖的质检结果。
161.本实施例中，该瓷砖表面质量检测装置可以设置在图1所示的瓷砖表面质量检测系统中的处理设备。已有技术中，在瓷砖表面的质量检测环节中，一种质检方式是利用基于瓷砖表面的图像灰度差、彩色直方图、像素均匀度特征的缺陷质检算法实现对瓷砖表面的质量检测，但是这种方法基于的是传统图像处理算法，容易受到图像光照等干扰，并且最终只能筛选出异常瓷砖，而无法具体描述瓷砖的异常位置以及异常类型等。
162.本公开实施例中，通过设置多路图像采集设备，在瓷砖表面的质量检测环节，从多个不同采集角度采集瓷砖表面的待检测图像，并利用预训练的质检模型对多个待检测图像分别进行检测，进而再根据图像检测结果得到瓷砖表面的质检结果。
163.在一些实施例中，预训练的质检模型利用基于深度学习的神经网络模型，该神经网络模型能够智能检测待检测图像上的瑕疵位置以及瑕疵类别等信息，处理设备根据该瑕疵位置以及瑕疵类别等信息即可确定瓷砖的质检结果，全程可实现无人工干预的质检流程。
164.本实施例中的具体细节可以参见上述对瓷砖表面质量检测系统的描述，在此不再赘述。
165.在一些实施例中，为了能够在瓷砖生产线上的质检环节，针对批量生产的瓷砖进行快速而有效的质量检测，采用了智能化的质检模型，并且该质检模型可以选用fcos(fully convolutional one-stage object detection)模型框架，由于该框架属于单阶段检测网络模型，兼顾良好的检测性能和较低的检测耗时，因此能够满足瓷砖产线上的实际生产效率的要求。
166.在本实施例的一个可选实现方式中，所述检测模块，包括：
167.检测子模块，被配置为利用所述质检模型对多个所述待检测图像分别进行检测，以获得瓷砖表面的瑕疵信息；所述瑕疵信息包括瑕疵位置以及瑕疵类别。
168.该可选的实现方式中，针对同一块瓷砖，从多个不同采集角度采集到的多个待检测图像可以分别输入至预训练的质检模型，由质检模型分别输出每个待检测图像对应的图像检测结果。图像检测结果包括瑕疵信息，瑕疵信息包括瑕疵位置以及瑕疵类别。处理设备可以根据质检模型针对每个待检测图像获得的图像检测结果最终确定该瓷砖表面的瑕疵信息。
169.在一些实施例中，瑕疵信息除了包括瑕疵位置，还包括瑕疵类别。瑕疵类别可以依据瓷砖类型的不同以及质检需求的不同而设定，在此不做限制。
170.在本实施例的一个可选实现方式中，所述确定模块，包括：
171.确定子模块，被配置为根据同一瓷砖的多个所述待检测图像对应的多个所述图像检测结果，确定所述瓷砖的质检结果。
172.该可选的实现方式中，针对同一瓷砖的多个待检测图像对应的多个图像检测结果，最终确定瓷砖的质检结果。由于采集角度不同，同一块瓷砖上的同一个瑕疵不一定会体现在每个待检测图像中，因此可以通过综合多个待检测图像中的图像检测结果确定瓷砖表面的瑕疵信息。在一些实施例中，可以根据多个待检测图像对应的多个图像检测结果确定瓷砖的质检结果。
173.在一些实施例中，可以将多个图像检测结果中的瑕疵信息进行合并，并根据瑕疵信息中的瑕疵位置进行去重处理，最终可以得到针对该瓷砖的瑕疵信息。根据最终得到的该瑕疵信息可以确定瓷砖的质检结果。例如，多路图像采集设备针对同一块瓷砖采集了两张图像，质检模型从两张图像中的一张检测出一个位置处有瑕疵a，而另一张图像中检测出两个位置处有瑕疵b、c，经过位置匹配确定瑕疵a和瑕疵b为同一位置处的瑕疵，因此最终可以得到确定该瓷砖具有两处瑕疵a(或b)和c，可以根据该两处瑕疵以及瑕疵类别确定该瓷砖的质检结果。例如，最终得到的瑕疵信息中瑕疵位置多于阈值，和/或瑕疵类别属于不被
允许的预设类别，则可以确定该瓷砖质量不合格；而如果最终得到的瑕疵信息中瑕疵位置的数量少于或等于阈值，和/或瑕疵类别属于可被允许的预设类别，则可以认为该瓷砖质量合格。
174.在本实施例的一个可选实现方式中，所述装置还包括：
175.输出模块，被配置为以可视化方式输出所述瓷砖的质检结果。
176.该可选的实现方式中，处理设备在获得质检模型输出的瑕疵位置以及瑕疵类别后，可以在待检测图像上标识出瑕疵位置以及瑕疵类别，并将该标识了瑕疵位置以及瑕疵类别的图像展示在显示设备上。通过在图像上直接标识出瑕疵位置以及瑕疵类别的可视化方式，可以帮助相关人员直观地获知瓷砖的质检结果。
177.根据本公开一实施方式的质检装置，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。该质检装置包括：
178.第二获取模块，被配置为获取对待检测对象表面从多个不同采集角度采集的多个待检测图像；
179.第二获检测模块，被配置为利用预训练的质检模型对多个所述待检测图像进行检测，并获得图像检测结果；所述图像检测结果包括待检测对表面的瑕疵信息；
180.第二确定模块，被配置为根据所述图像检测结果确定所述待检测对象的质检结果。
181.本实施例中的质检装置与上文中的质检方法对应一致，具体细节可以参见上文中对质检方法的描述，在此不再赘述。根据本公开一实施方式的数据处理装置，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。该数据处理装置包括：
182.触发模块，被配置为响应于待检测对象进入图像采集区域的检测事件，触发多路图像采集设备从多个不同角度采集所述待检测对象表面的多个待检测图像；
183.接收模块，被配置为从所述多路图像采集设备接收所述多个待检测图像，以及利用预训练的质检模型对多个所述待检测图像进行检测；
184.标注模块，被配置为将检测结果标注在至少一个所述待检测图像上；
185.展示模块，被配置为展示标注有检测结果的所述待检测图像。
186.本实施例中的数据处理装置与上文中的数据处理方法对应一致，具体细节可以参见上文中对数据处理方法的描述，在此不再赘述。
187.图9是适于用来实现根据本公开实施方式的瓷砖表面质量检测方法、质检方法和/或数据处理方法的电子设备的结构示意图。
188.如图9所示，电子设备900包括处理单元901，其可实现为cpu、gpu、fpga、npu等处理单元。处理单元901可以根据存储在只读存储器(rom)902中的程序或者从存储部分908加载到随机访问存储器(ram)903中的程序而执行本公开上述任一方法的实施方式中的各种处理。在ram903中，还存储有电子设备900操作所需的各种程序和数据。处理单元901、rom902以及ram903通过总线904彼此相连。输入/输出(i/o)接口905也连接至总线904。
189.以下部件连接至i/o接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至i/o接口905。可拆卸介质911，诸如
磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。
190.特别地，根据本公开的实施方式，上文参考本公开实施方式中的任一方法可以被实现为计算机软件程序。例如，本公开的实施方式包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行本公开实施方式中任一方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。
191.附图中的流程图和框图，图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
192.描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
193.作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。
194.以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。