基于交错特征融合的表面缺陷区域分割方法、装置及设备与流程

1.本技术属于缺陷检测技术领域，具体涉及一种基于交错特征融合的表面缺陷区域分割方法、装置及设备。


背景技术：

2.工业生产过程中，需要对相关产品进行表面缺陷检测。举例而言，在钢材的生产加工过程中，容易受到原材料、轧制设备、工人操作技术等众多因素的影响，导致孔洞、擦伤、夹杂、划痕、锟印等多种缺陷的产生，这些缺陷的存在影响钢材外观的同时还会对它的抗腐蚀性、耐磨性和疲劳强度等性能造成影响，严重降低钢材质量，因此需要在生产加工过程中及时、准确的检测出钢材表面缺陷，以便分析其产生的原因，进而消除缺陷产生的根源。
3.在上述表面缺陷检测中，涉及到对表面缺陷区域的分割。现有相关技术中，表面缺陷区域分割多采用基于深度神经网络的深度学习方法。当前代表性方法为采用类似u
‑
net的编码器
‑
解码器网络结构，编码器提取多层级的不同类型特征，解码器融合多层级的多尺度特征，从而定位并分割出缺陷区域。
4.当前代表性方法采用的编码器
‑
解码器架构中，解码器部分采用“由深至浅”的多阶段特征融合方式，较深层特征向更浅层传递时，不可避免地丢失部分信息，导致最终的多尺度融合特征不能有效地保留多尺度信息，不利于得到高精度的表面缺陷区域分割结果。
5.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

6.为至少在一定程度上克服相关技术中存在的问题，本技术提供一种基于交错特征融合的表面缺陷区域分割方法、装置及设备，采用交错特征融合的方式，对多尺度信息进行有效提取和融合，从而有助于实现高精度的表面缺陷区域分割。
7.为实现以上目的，本技术采用如下技术方案：第一方面，本技术提供一种基于交错特征融合的表面缺陷区域分割方法，该方法包括：获取目标表面图像；利用训练好的分割网络模型对所述目标表面图像进行缺陷区域分割处理；其中，所述分割网络模型基于解码器
‑
编码器网络结构构建，具有将图像的多层级特征进行交错融合的融合结构。
8.可选地，所述分割网络模型在训练过程中，包括：模型的编码器结构对输入的训练图像数据进行特征提取，得到图像各层级的多尺度特征；融合结构的正向特征融合分支基于由深至浅的方式，对各层级所对应的多尺度特征进行多阶段特征融合，得到各层级的第一特征融合结果；
融合结构的反向特征融合分支基于由浅至深的方式，基于各层级的第一特征融合结果进多阶段特征融合，得到各层级的第二特征融合结果；根据所述第一特征融合结果和第二特征融合结果进行深度监督学习。
9.可选地，所述模型的编码器结构对输入的训练图像数据进行特征提取，得到图像各层级的多尺度特征，具体为：所述编码器结构对输入的训练图像数据进行多阶段卷积及下采样处理，以提取得到图像各层级的多尺度特征。
10.可选地，所述融合结构的正向特征融合分支基于由深至浅的方式，对各层级所对应的多尺度特征进行多阶段特征融合，包括：步骤1，以最深层级作为较深层级；步骤2，以与较深层级邻接的浅层级作为较浅层级；步骤3，对较深层级的多尺度特征与较浅层级的多尺度特征进行融合处理，将得到融合结果作为较浅层级的多尺度特征，并将该融合结果作为该较浅层级的第一特征融合结果输出；步骤4，判断较浅层级是否为最浅层级，若不是则以较浅层级作为新的较深层级，并跳转执行步骤2，否则结束融合操作。
11.可选地，所述将较深层级的多尺度特征与较浅层级的多尺度特征进行融合处理，具体为：对较深层级的多尺度特征进行上采样处理，使较深层级的多尺度特征的分辨率与较浅层级的多尺度特征的分辨率相同；将较浅层级的多尺度特征与处理后的较深层级的多尺度特征进行特征拼接融合。
12.可选地，所述融合结构的反向特征融合分支基于由浅至深的方式，基于各层级的第一特征融合结果进多阶段特征融合，包括：步骤a，以最浅层级作为较浅层级；步骤b，以与较浅层级邻接的深层级作为较深层级；步骤c，对较浅层级的第一特征融合结果与较深层级的第一特征融合结果进行融合处理，将得到融合结果作为较深层级的第一特征融合结果，并将该融合结果作为该较深层级的第二特征融合结果输出；步骤d，判断较深层级是否为最深层级，若不是则以较深层级作为新的较浅层级，并跳转执行步骤b，否则结束融合操作。
13.可选地，所述将较浅层级的第一特征融合结果与较深层级的第一特征融合结果进行融合处理，具体为：对较浅层级的第一特征融合结果进行下采样处理，使较浅层级的多尺度特征的分辨率与较深层级的第一特征融合结果的分辨率相同；将较深层级的第一特征融合结果与处理后的较浅层级的第一特征融合结果进行特征拼接融合。
14.可选地，根据所述第一特征融合结果和第二特征融合结果进行深度监督学习，包括：对最浅层级所对应第一特征融合结果，以及其他层级所对应的第二特征融合结果
分别进行缺陷区域分割的监督学习，将得到的各预测结果进行加权求和作为缺陷区域分割的最终预测结果。
15.第二方面，本技术提供一种基于交错特征融合的表面缺陷区域分割装置，该装置包括：获取模块，用于获取目标表面图像；分割处理模块，用于利用训练好的分割网络模型对所述目标表面图像进行缺陷区域分割处理；其中，所述分割网络模型基于解码器
‑
编码器网络结构构建，具有将图像的多层级特征进行交错融合的融合结构。
16.第三方面，本技术提供一种电子设备，包括：存储器，其上存储有可执行程序；处理器，用于执行所述存储器中的所述可执行程序，以实现上述所述方法的步骤。
17.本技术采用以上技术方案，至少具备以下有益效果：本技术技术方案，采用的分割网络模型基于解码器
‑
编码器网络结构构建，具有将图像的多层级特征进行交错融合的融合结构。在图像处理过程中，该融合结构可实现相互交错、互补的特征融合，丰富了多尺度特征的交互，可促进多层级的多尺度特征进行更有效的提取与融合，有利于实现高精度的表面缺陷区域分割。
18.本发明的其他优点、目标，和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书，权利要求书，以及附图中所特别指出的结构来实现和获得。
附图说明
19.附图用来提供对本技术的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本技术实施例的附图与本技术的实施例一起用于解释本技术的技术方案，但并不构成对本技术技术方案的限制。
20.图1为本技术一个实施例提供的基于交错特征融合的表面缺陷区域分割方法的流程示意图；图2为本技术一个实施例中模型训练过程的说明示意图；图3为本技术一个实施例提供的基于交错特征融合的表面缺陷区域分割方法的结构示意图；图4为本技术一个实施例提供的电子设备的结构示意图。
具体实施方式
21.为使本技术的目的、技术方案和优点更加清楚，下面将对本技术的技术方案进行详细的描述。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本技术所保护的范围。
22.如背景技术中所述，在工业检测应用中，需要对相关产品进行表面缺陷检测。现有相关技术中，表面缺陷区域分割多采用基于深度神经网络的深度学习方法。当前代表性方法为采用类似u
‑
net的编码器
‑
解码器网络结构，编码器提取多层级的不同类型特征，解码器融合多层级的多尺度特征，从而定位并分割出缺陷区域。当前代表性方法采用的编码器
‑
解码器架构中，解码器部分采用“由深至浅”的多阶段特征融合方式，较深层特征向更浅层传递时，不可避免地丢失部分信息，导致最终的多尺度融合特征不能有效地保留多尺度信息，不利于得到高精度的表面缺陷区域分割结果。
23.针对于此，本技术提出一种基于交错特征融合的表面缺陷区域分割方法、装置及设备，采用交错特征融合的方式，对多尺度信息进行有效提取和融合，从而有助于实现高精度的表面缺陷区域分割。
24.在一实施例中，如图1所示，本技术提出一种基于交错特征融合的表面缺陷区域分割方法，包括：步骤s110，获取目标表面图像；举例而言，该实施例的应用场景为硅钢带生产场景，该场景下需对硅钢带进行表面缺陷检测，生产现场具体配置有摄像装置，通过摄像装置来拍摄获取要输入检测处理系统的硅钢带的表面图像（即目标表面图像）。
25.之后继续如图1所示，进行步骤s120，利用训练好的分割网络模型对目标表面图像进行缺陷区域分割处理；不同于现有技术的是，本技术的技术方案中，分割网络模型基于解码器
‑
编码器网络结构构建，具有将图像的多层级特征进行交错融合的融合结构。
26.本技术技术方案，采用的分割网络模型基于解码器
‑
编码器网络结构构建，具有将图像的多层级特征进行交错融合的融合结构。在图像处理过程中，该融合结构可实现相互交错、互补的特征融合，丰富了多尺度特征的交互，可促进多层级的多尺度特征进行更有效的提取与融合，有利于实现高精度的表面缺陷区域分割。
27.为便于理解本技术的技术方案，下面通过一实施例，对模型训练过程中，多层级特征进行交错融合的过程进行介绍，以说明本技术中具有融合结构的分割网络模型的实现形式。
28.该实施例中，如图2所示，分割网络模型基于u
‑
net网络结构构建，举例而言，如图2所示，该网络中有5个层级。该实施例中，分割网络模型在训练过程中，包括：首先，将训练图像数据输入到模型中，模型的编码器结构（图2中左侧各卷积层）对输入的训练图像数据进行特征提取，得到图像各层级的多尺度特征；具体的，与现有技术类似，该实施例中，编码器结构对输入的训练图像数据进行多阶段卷积及下采样处理，以提取得到图像各层级的多尺度特征，并通过图2中所示的横向连接传递给中间的编码器结构。
29.之后，融合结构的正向特征融合分支基于由深至浅的方式，对各层级所对应的多尺度特征进行多阶段特征融合（图2中逐层上翻箭头所示），得到各层级的第一特征融合结果；具体的，该过程中，包括如下步骤：步骤1，以最深层级作为较深层级；
步骤2，以与较深层级邻接的浅层级作为较浅层级；步骤3，对较深层级的多尺度特征与较浅层级的多尺度特征进行融合处理，将得到融合结果作为较浅层级的多尺度特征，并将该融合结果作为该较浅层级的第一特征融合结果输出（图2中中部横向连接所示）；步骤4，判断较浅层级是否为最浅层级，若不是则以较浅层级作为新的较深层级，并跳转执行步骤2，否则结束融合操作。
30.换言之，该过程中，融合结构首先从最深层级特征开始，融合邻接的、更浅层级特征，并重复上述融合操作，直至最浅层，从而融合提取到图像各层级的多尺度特征，容易理解的是，这里编码器结构中最浅层级的第一特征融合结果具有和输入图像相同的分辨率。
31.且需要说明的是，如图2所示，该种实施方式下，编码器结构中最深层级所对应的多尺度特征即为该层级对应的第一特征融合结果。
32.作为一种具体实施方式，与现有技术类似，上述过程中，将较深层级的多尺度特征与较浅层级的多尺度特征进行融合处理，具体为：对较深层级的多尺度特征进行上采样处理，使较深层级的多尺度特征的分辨率与较浅层级的多尺度特征的分辨率相同；将较浅层级的多尺度特征与处理后的较深层级的多尺度特征进行特征拼接融合。
33.再之后，融合结构的反向特征融合分支基于由浅至深的方式，基于各层级的第一特征融合结果进多阶段特征融合（图2中逐层下翻箭头所示），得到各层级的第二特征融合结果；具体的，该过程中，包括如下步骤：步骤a，以最浅层级作为较浅层级；步骤b，以与较浅层级邻接的深层级作为较深层级；步骤c，对较浅层级的第一特征融合结果与较深层级的第一特征融合结果进行融合处理，将得到融合结果作为较深层级的第一特征融合结果，并将该融合结果作为该较深层级的第二特征融合结果输出（图2中右侧各卷积层的输出）；步骤d，判断较深层级是否为最深层级，若不是则以较深层级作为新的较浅层级，并跳转执行步骤b，否则结束融合操作。
34.换言之，该过程中，融合结构的反向融合分支从正向特征融合分支生成的最浅层级特征（即相应的第一特征融合结果）开始，逐渐融合邻接的、更深层级特征，直至最深层，从而融合提取到图像各层级的第二特征融合结果。
35.且需要说明的是，如图2所示，该种实施方式下，从次浅层级到最深层级，具有有对应的第二特征融合结果输出。
36.作为一种具体实施方式，与现有技术类似，上述过程中，将较浅层级的第一特征融合结果与较深层级的第一特征融合结果进行融合处理，具体为：对较浅层级的第一特征融合结果进行下采样处理，使较浅层级的多尺度特征的分辨率与较深层级的第一特征融合结果的分辨率相同；将较深层级的第一特征融合结果与处理后的较浅层级的第一特征融合结果进行特征拼接融合。
37.最后，根据第一特征融合结果和第二特征融合结果进行深度监督学习，
具体的，该实施例中，如图2所示，对最浅层级所对应第一特征融合结果，以及其他层级（次浅层级到最深层级）所对应的第二特征融合结果分别进行缺陷区域分割的监督学习，将得到的各预测结果进行加权求和作为缺陷区域分割的最终预测结果。
38.容易理解的是，在实际训练过程中，还包括对输出结果与人工标注进行比较，利用图2中所示的损失函数计算当前误差，根据误差调整网络参数的相关步骤，这些与现有相关技术中类似，本技术这里就不进行详述了。
39.该实施例中，在当前类似u
‑
net的编码器
‑
解码器架构基础上，考虑到当前方法的“由深至浅”的特征融合分支中的多阶段的融合后特征同样编码了多尺度的特征，进而通过采用“由浅至深”的特征融合分支进一步融合上述多阶段融合后特征，构成相互交错、互补的特征融合方式，从而丰富多尺度特征交互方式，有效地促进多层级的多尺度特征进行更有效的提取与融合。并且，通过深度监督学习的方式，对每一个尺度的特征都进行缺陷区域分割结果的预测，从而有利于得到更高精度的表面缺陷区域分割结果。
40.图3为本技术一个实施例提供的基于交错特征融合的表面缺陷区域分割装置的结构示意图，如图3所示，该基于交错特征融合的表面缺陷区域分割装置300包括：获取模块301，用于获取目标表面图像；分割处理模块302，用于利用训练好的分割网络模型对所述目标表面图像进行缺陷区域分割处理；其中，分割网络模型基于解码器
‑
编码器网络结构构建，具有将图像的多层级特征进行交错融合的融合结构。
41.进一步地，分割网络模型基于u
‑
net网络结构构建，分割网络模型在训练过程中，包括：模型的编码器结构对输入的训练图像数据进行特征提取，得到图像各层级的多尺度特征；融合结构的正向特征融合分支基于由深至浅的方式，对各层级所对应的多尺度特征进行多阶段特征融合，得到各层级的第一特征融合结果；融合结构的反向特征融合分支基于由浅至深的方式，基于各层级的第一特征融合结果进多阶段特征融合，得到各层级的第二特征融合结果；根据所述第一特征融合结果和第二特征融合结果进行深度监督学习。
42.关于上述相关实施例中基于交错特征融合的表面缺陷区域分割装置300，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
43.图4为本技术一个实施例提供的电子设备的结构示意图，如图4所示，该电子设备400包括：存储器401，其上存储有可执行程序；处理器402，用于执行存储器401中的可执行程序，以实现上述方法的步骤。
44.关于上述实施例中的电子设备400，其处理器402执行存储器401中的程序的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
45.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人员在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵
盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。