一种基于语义分割的涂层异常区域检测方法与流程

本发明涉及机器视觉与涂层表面质量检测，特别是一种基于语义分割的涂层异常区域检测方法。

背景技术：

1、随着机器视觉、深度学习及工业自动化检测技术的发展，基于图像分析的涂层表面异常检测逐渐应用于金属构件、复合材料、汽车零部件、航空结构件及精密装备的质量检验过程中。现有涂层异常检测方法通常采集涂层表面的可见光图像，并通过灰度差异、纹理特征、边缘特征或者语义分割模型识别划痕、剥落、起泡、裂纹、漏涂及局部色差等异常区域。相较于人工目视检测，基于语义分割的检测方法能够对异常区域进行像素级分类，具有检测效率较高、区域定位较细和适于批量检测的特点。然而，涂层表面通常具有较强的镜面反射特性，检测光源、成像视角及涂层曲率变化容易在图像中形成局部高光、亮度突变和反射条带，上述光学干扰在灰度、纹理及边缘形态上与部分涂层异常较为相似，容易被语义分割模型识别为异常区域。同时，单幅可见光图像所包含的表面反射信息有限，难以区分由涂层材料状态变化形成的真实异常与由观察角度变化形成的高光干扰；语义分割模型输出的异常区域边界还可能受到下采样、特征融合及概率阈值的影响，出现边界偏移、相邻异常区域断裂或者局部异常区域粘连的问题，制约了涂层异常区域检测结果的准确性。

2、cn110321905a本发明公开了一种基于语义分割的异常区域检测方法，包括：获取样本图像，并提取出每一张样本图像的显著性图；将各个训练样本依次输入进预设的用于语义分割的卷积神经网络模型中，对卷积神经网络模型进行训练；其中，每个训练样本中包括一张添加了标签的样本图像以及该样本图像的显著性图；将待测图像以及待测图像的显著性图输入至经过训练的卷积神经网络模型中，获取卷积神经网络模型的输出结果，并根据输出结果中的标签确定出待测图像中的异常区域。应用本申请的方案，可以避免只能检测有限种类的异常区域的情况，即降低了漏检概率。本申请还提供了一种基于语义分割的异常区域检测系统及相关组件，具有相应技术效果。该方法主要依据待测图像及其显著性图进行异常区域识别，显著性图侧重表征图像中的视觉突出区域，未对涂层表面在不同偏振角度下的反射响应变化进行分析。当涂层表面的高光区域在图像中具有较高显著性时，高光区域可能与真实涂层异常区域同时被语义分割模型赋予较高异常概率，因而难以依据涂层材料的偏振响应特性对高光干扰区域和有效异常区域进行进一步区分。

3、cn112288741a本发明公开了一种基于语义分割的产品表面缺陷检测方法，包括：采集包含产品表面的样本图片并分为训练样本图片及待检测图片；将所述待检测图片输入经训练样本图片训练的语义分割模型，输出语义分割图片；将所述语义分割图片输入图片合成模型，输出合成图片；利用判断模型计算待检测图片与合成图片的差异，判断待检测图片对应的产品表面是否有缺陷，若有，则输出缺陷所在的区域。本发明的方法引入自监督训练方法，只需要少量有缺陷的样本就能提升缺陷检测精度，结合语义分割算法和生成对抗网络，能准确提取缺陷特征，大大提高产品表面缺陷检测的精度。该方法通过语义分割图片、合成图片与待检测图片之间的差异判断产品表面是否存在缺陷，其检测结果仍主要来源于单一成像条件下的图像外观差异，未利用多个偏振角度下同一检测区域的像素响应构建偏振度分布图和偏振响应离散度分布图，因而对于外观差异较弱但偏振响应明显变化的涂层异常，可能存在特征表征不足的问题。此外，该方法未针对初始异常区域设置外围环形邻域进行局部对照，也未根据异常区域与外围环形邻域之间的偏振响应参数差值排除高光干扰；对于语义分割模型输出的边界偏移、区域断裂及相邻异常区域分离问题，亦缺少结合物理光学特征对区域边界进行修正的处理机制。

技术实现思路

1、本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例，在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

2、鉴于现有基于语义分割的涂层异常区域检测技术存在高光干扰区域与真实涂层异常区域难以区分、单一图像特征难以充分表征涂层偏振响应特性，以及异常区域边界定位精度不足、相邻异常区域易发生断裂或粘连的问题，提出了本发明。

3、因此，本发明所要解决的问题在于如何提高涂层异常区域检测过程中对高光干扰的抑制能力，并提高异常区域边界定位精度和检测结果的可靠性。

4、为解决上述技术问题，本发明提供如下技术方案：

5、本发明实施例提供了一种基于语义分割的涂层异常区域检测方法，其包括，

6、按照多个预设偏振角度采集目标涂层表面同一检测区域的涂层偏振图像，对各涂层偏振图像进行空间配准，并依据同一像素位置在各涂层偏振图像中的像素强度生成偏振度分布图和偏振响应离散度分布图；

7、选取各涂层偏振图像中的一幅作为基准涂层图像，将基准涂层图像、偏振度分布图和偏振响应离散度分布图在通道维度上组合为涂层多通道检测数据，将涂层多通道检测数据输入预先训练完成的语义分割模型，获得异常概率分布图并确定初始异常区域；

8、分别提取各初始异常区域及其外围环形邻域在偏振度分布图和偏振响应离散度分布图中的偏振响应参数，根据初始异常区域与外围环形邻域之间的偏振响应参数差值计算区域偏振异常系数，确定高光干扰区域和有效异常候选区域；

9、沿各有效异常候选区域的区域边界提取异常概率分布图中的概率梯度和偏振响应离散度分布图中的偏振离散度梯度，根据概率梯度与偏振离散度梯度在空间上的重合位置修正区域边界，并对边界修正后的相邻区域执行连通合并操作，获得目标涂层表面的涂层异常区域。

10、与现有技术相比，本发明有益效果为：通过生成偏振度分布图和偏振响应离散度分布图，从偏振程度与偏振方向响应一致性两个维度构建涂层表面的偏振响应指纹图谱，为检测过程提供对涂层微观结构变化敏感的物理特征输入；通过将偏振度分布图和偏振响应离散度分布图与基准涂层图像组合为涂层多通道检测数据并输入语义分割模型，使分割网络在特征学习阶段同时融合灰度形态特征与偏振物理特征，从源头上抑制了镜面高光区域在语义分割中被误判为异常区域的概率；通过为各初始异常区域独立构建外围环形邻域并基于区域与邻域之间的偏振响应参数差值计算区域偏振异常系数，以相对比较策略替代全局绝对阈值判定，克服了涂层表面空间不均匀性导致的阈值失配问题，并通过偏振度与偏振响应离散度的加权融合将镜面高光干扰区域与真实涂层异常区域有效分离，显著降低了误检率；通过利用概率梯度与偏振离散度梯度的归一化点积判定重合位置，并以重合位置作为锚点牵引边界移动，将语义分割边界约束至与偏振物理材质边界重合的空间坐标处，解决了渐进过渡带中单一语义信息无法精确定位边界的问题，再通过连通合并操作将断裂的离散子区域重新整合，保证了检测结果边界的像素级精度和区域完整性。

1.一种基于语义分割的涂层异常区域检测方法，其特征在于，包括：

2.如权利要求1所述的基于语义分割的涂层异常区域检测方法，其特征在于，所述涂层异常区域的获取方法，包括：

3.如权利要求2所述的基于语义分割的涂层异常区域检测方法，其特征在于，所述边界修正后区域的获取方法，包括：

4.如权利要求3所述的基于语义分割的涂层异常区域检测方法，其特征在于，所述闭合条件为修正后区域边界所包围的区域内像素彼此连通且区域边界像素首尾相连。

5.如权利要求3所述的基于语义分割的涂层异常区域检测方法，其特征在于，所述修正后区域边界的获取方法，包括：

6.如权利要求5所述的基于语义分割的涂层异常区域检测方法，其特征在于，所述重合位置集合的构建方法，包括：

7.如权利要求1所述的基于语义分割的涂层异常区域检测方法，其特征在于，所述高光干扰区域和有效异常候选区域的确定方法，包括：

8.如权利要求7所述的基于语义分割的涂层异常区域检测方法，其特征在于，所述区域偏振异常系数，包括：

9.如权利要求8所述的基于语义分割的涂层异常区域检测方法，其特征在于，所述初始异常区域的确定方法，包括：

10.如权利要求9所述的基于语义分割的涂层异常区域检测方法，其特征在于，所述异常概率分布图，包括：