一种针对细长形态涂料流挂缺陷的目标检测方法及系统与流程

本发明涉及防水施工作业质量检测领域，尤其涉及一种针对细长形态涂料流挂缺陷的目标检测方法及系统。

背景技术：

1、大型水库工程坝体、输水隧洞等水工结构长期处于高水压、高湿度、干湿交替及水流冲刷的复杂服役环境，结构防渗防水是保障水库主体结构安全、防止渗流破坏、延长工程服役寿命的核心关键工序。现阶段大型水库施工普遍采用高性能防水涂料对水工结构立面、斜面及顶面进行整体防渗防护，该类防水涂料具备防水、防腐、抗渗、耐冲刷等优异性能，适配水工特殊施工环境。但在实际施工过程中，受水库露天施工温湿度不稳定、立面斜面重力作用、涂料黏度配比偏差、喷涂压力与走枪速度控制不当、单次喷涂厚度过厚等因素影响，防水涂料极易产生细长条状、波纹状的流挂缺陷。

2、研究发现，防水涂料流挂缺陷属于水工涂装典型细长型病害，会造成局部涂层厚度不均、涂膜密实度不足、涂层连续性断裂等问题，大幅降低水工结构防渗防护性能，服役过程中易出现局部渗水、涂层起皮脱落、腐蚀基底结构等隐患，严重破坏水库整体防渗体系，引发结构渗流安全风险。同时，水库水工结构涂装作业面广、立面斜面积大、现场纹理复杂、光照不均匀，流挂缺陷多呈微弱细长暗纹形态，与正常涂层背景对比度低、边缘细碎，极易与漆面污渍、局部色差、轻微纹理混淆，给缺陷精准检测带来极大难度。

3、目前传统水库防水涂料流挂检测主要依赖人工肉眼巡检甄别，检测效率低下、人工主观误差大，细微细长流挂缺陷漏检、误检率极高，无法适配大面积水工涂装快速质检需求。然而，现有常规图像检测技术多采用固定窗口及通用包围盒检测方式，大多是针对适配块状空白（涂刷空洞）缺陷进行检测，难以针对性识别细长线状流挂缺陷，存在背景干扰抑制能力弱、细微流挂特征易被淹没、尺度适配性差、真伪缺陷区分能力不足的问题，无法精准提取水工涂层细长流挂的完整轮廓。

技术实现思路

1、本发明的目的在于提供一种针对细长形态涂料流挂缺陷的目标检测方法及系统，解决了现有技术中指出的上述技术问题。

2、本发明提供了一种针对细长形态涂料流挂缺陷的目标检测方法，具体操作方法包括：

3、对涂料表面采集获取原始图像，对所述原始图像进行预处理，得到待检测图像；

4、对所述待检测图像提取潜在的流挂缺陷初始轮廓；对所述流挂缺陷初始轮廓滑动窗口，作为初始方形窗口；根据所述初始方形窗口内像素点灰度值，调整初始方形窗口的边长尺寸，生成多尺寸的图像子块；对所述多尺寸的图像子块中的每个像素点构建方形邻域窗口；根据所述方形邻域窗口内像素点灰度值的概率，提取初始候选种子点；对所述初始候选种子点筛选区域生长起点，并进行生长得到多边形区域；

5、将所述多边形区域作为细长形态涂料流挂缺陷，将细长形态涂料流挂缺陷的检测结果发送给上位机监控系统。

6、较佳地，对所述待检测图像提取潜在的流挂缺陷初始轮廓，具体操作步骤如下：

7、对所述待检测图像中的每个像素点计算梯度幅值与梯度方向；对每个像素点筛选邻域像素点计算梯度幅值的差值；若该梯度幅值的差值小于或等于预设的幅值相近比例阈值，则将该邻域像素点作为该像素点的连通像素点，形成连通区域；

8、对所述连通区域确定最小值与最大值的x坐标以及确定最小值与最大值的y坐标，并进一步确定最小外接矩形；根据所述最小外接矩形计算长度与宽度的长宽比值；若所述长宽比值大于预设的比例阈值，则判定该连通区域为潜在的流挂缺陷初始轮廓。

9、较佳地，对所述流挂缺陷初始轮廓滑动窗口，作为初始方形窗口；根据所述初始方形窗口内像素点灰度值，调整初始方形窗口的边长尺寸，生成多尺寸的图像子块；对所述多尺寸的图像子块中的每个像素点构建方形邻域窗口；根据所述方形邻域窗口内像素点灰度值的概率，提取初始候选种子点，具体操作步骤如下：

10、获取所述待检测图像中流挂缺陷初始轮廓作为目标区域，以预设的方形窗口对所述目标区域进行滑动窗口，作为初始方形窗口；对所述初始方形窗口中的所有像素点灰度值计算灰度均值作为窗口灰度均值；计算所有像素点灰度值与窗口灰度均值的标准差作为窗口灰度标准差；

11、预设第一灰度标准差阈值与第二灰度标准差阈值；若所述窗口灰度标准差大于第一灰度标准差阈值，则对该初始方形窗口的边长进行调整缩减，以调整缩减的初始方形窗口重新计算窗口灰度标准差，并重复执行调整缩减操作直至重新计算的窗口灰度标准差小于或等于第一灰度标准差阈值，将最终调整缩减后的初始方形窗口作为第一尺寸子块；

12、若所述窗口灰度标准差小于第二灰度标准差阈值，则对该初始方形窗口的边长进行调整扩大，以调整扩大的初始方形窗口重新计算窗口灰度标准差，并重复执行调整扩大操作直至重新计算的窗口灰度标准差大于或等于第二灰度标准差阈值，将最终调整扩大后的初始方形窗口作为第三尺寸子块；若所述窗口灰度标准差大于或等于第二灰度标准差阈值，且小于或等于第一灰度标准差阈值，则将该初始方形窗口作为第二尺寸子块；对所有相同类型的相邻尺寸子块进行合并，得到多尺寸的图像子块；

13、以图像子块内的每个像素点为中心，分别构建对应图像子块尺寸的方形邻域窗口；并统计每个方形邻域窗口内各像素点灰度值出现的频数，并分别计算每个方形邻域窗口内各像素点灰度值对应的出现概率，作为该像素点灰度值的概率质量函数值；将所述方形邻域窗口内所有像素点灰度值对应的概率质量函数值计算方形邻域窗口内中心像素点的局部熵值；对所述图像子块内筛选最小值的局部熵值的像素点，作为该图像子块的初始候选种子点。

14、较佳地，对所述初始候选种子点筛选区域生长起点，并进行生长得到多边形区域，具体操作步骤如下：

15、确定所述初始候选种子点的坐标位置与灰度值，根据所述坐标位置与灰度值筛选相邻种子点对，根据所述相邻种子点对的灰度值，计算相邻种子点对的应变相容性系数；根据所述应变相容性系数对所述相邻种子点对筛选入第一候选集；对所述第一候选集的筛选最小值的局部熵值的初始候选种子点作为区域生长起点，对相邻像素点生长，得到目标分割区域；对所述目标分割区域进行二值掩膜，筛选目标边缘像素集合；对所述目标边缘像素集合进行提取多边形区域。

16、较佳地，确定所述初始候选种子点的坐标位置与灰度值，根据所述坐标位置与灰度值筛选相邻种子点对，根据所述相邻种子点对的灰度值，计算相邻种子点对的应变相容性系数，具体操作步骤如下：

17、确定所述初始候选种子点的坐标位置与灰度值，随机两个初始候选种子点计算欧氏距离；若所述欧氏距离小于预设的距离阈值，则将该欧氏距离对应的两个初始候选种子点作为相邻种子点对；

18、提取所述相邻种子点对中的第一初始候选种子点对应的坐标位置与灰度值作为第一坐标和第一灰度值，以及第二初始候选种子点的坐标位置与灰度值作为第二坐标和第二灰度值；将所述第一坐标与第二坐标之间的欧氏距离的倒数作为坐标邻近度量值；并对坐标邻近度量值归一化处理，作为归一化坐标邻近度量值；计算所述第一灰度值与第二灰度值之间的绝对差值，将所述绝对差值的倒数作为灰度相似度量值，并对所述灰度相似度量值归一化处理，作为归一化灰度相似度量值；计算所述归一化坐标邻近度量值与归一化灰度相似度量值的加权乘积，作为所述相邻种子点对的应变相容性系数。

19、较佳地，根据所述应变相容性系数对所述相邻种子点对筛选入第一候选集；对所述第一候选集的筛选最小值的局部熵值的初始候选种子点作为区域生长起点，对相邻像素点生长，得到目标分割区域，具体操作步骤如下：

20、预设相容性筛选阈值；若所述相邻种子点对对应的应变相容性系数大于相容性筛选阈值，则将该相邻种子点对进行标记，形成第一候选集；将未标记相邻种子点对归入第二候选集；

21、对所述第二候选集中的每个初始候选种子点，分别与所述第一候选集中的初始候选种子点计算平均应变相容性系数；若所述平均应变相容性系数大于相容性筛选阈值，则将该第二候选集的初始候选种子点移至所述第一候选集内；

22、在所述第一候选集中筛选最小值的局部熵值的初始候选种子点作为区域生长起点，以所述区域生长起点为中心对相邻域遍历相邻像素点计算灰度差值；若该灰度差值小于预设的灰度生长阈值，则将该相邻像素点作为生长像素点；将该生长像素点作为新的区域生长起点，以所述新的区域生长起点为中心继续遍历相邻像素点，重复执行直至相邻像素点无法作为新的区域生长起点，形成独立分割区域；

23、将所有的初始候选种子点进行获取独立分割区域，并合并所有独立分割区域，得到目标分割区域。

24、较佳地，对所述目标分割区域进行二值掩膜，筛选目标边缘像素集合；对所述目标边缘像素集合进行提取多边形区域，具体操作步骤如下：

25、对所述目标分割区域进行二值化掩膜，提取待检测图像中对应的局部图像块；对所述局部图像块计算像素点的梯度幅值与梯度方向，筛选一级边缘点与二级边缘点，生成目标边缘像素集合；对所述目标边缘像素集合提取最小外接旋转矩形框，对所述最小外接旋转矩形框计算形态特征与方向特征；将所述局部图像块输入至预训练的特征提取网络输出全局统计特征图，将所述形态特征与方向特征与全局统计特征图，生成多维特征图；对所述多维特征图预设多个不同长宽比与多尺度的初始水平锚框，对所述初始水平锚框进行顺时针转动，提取目标候选框；在所述原始图像中裁剪出目标候选框，提取目标掩膜图像；对所述目标掩膜图像非零像素点的提取初始骨架点序列；对所述初始骨架点序列滑动窗口，提取有序骨架序列；对所述有序骨架序列计算真实走向与实际长度，生成多边形区域。

26、较佳地，对所述目标分割区域进行二值化掩膜，提取待检测图像中对应的局部图像块；对所述局部图像块计算像素点的梯度幅值与梯度方向，筛选一级边缘点与二级边缘点，生成目标边缘像素集合；对所述目标边缘像素集合提取最小外接旋转矩形框，对所述最小外接旋转矩形框计算形态特征与方向特征；将所述局部图像块输入至预训练的特征提取网络输出全局统计特征图，将所述形态特征与方向特征与全局统计特征图，生成多维特征图，具体操作步骤如下：

27、对所述目标分割区域进行二值化掩膜，并根据所述二值化掩膜的目标分割区域从所述待检测图像中截取对应的局部图像块；采用索贝尔算子对所述局部图像块执行卷积运算，分别计算所述局部图像块中每个像素点在水平方向与竖直方向上的梯度分量；根据所述像素点的水平方向与竖直方向上的梯度分量计算每个像素点的梯度幅值与梯度方向；若该像素点的梯度幅值大于左右相邻像素点的梯度幅值，则将该像素点作为边缘候选点；

28、预设高边缘阈值与低边缘阈值；若所述边缘候选点的梯度幅值大于高边缘阈值，则将该边缘候选点作为一级边缘点；若所述边缘候选点的梯度幅值大于低边缘阈值，且小于高边缘阈值，则将该边缘候选点作为二级边缘点；将所述一级边缘点与二级边缘点生成目标边缘像素集合；对所述目标边缘像素集合中的筛选最小值x坐标与最大值x坐标的边缘点以及最小值y坐标与最大值y坐标的边缘点，生成包围所述目标边缘像素集合的最小外接旋转矩形框；

29、提取所述最小外接旋转矩形框的长边长度与短边长度，计算长度比值作为形态特征；根据所述最小外接旋转矩形框的长边长度确定长边方向向量与水平单位向量，计算夹角作为方向特征；

30、将所述局部图像块输入至预训练的特征提取网络，输出全局统计特征图；将所述全局统计特征图、形态特征与方向特征输入至预先构建的多模态特征融合模块内，输出多维特征图。

31、较佳地，对所述多维特征图预设多个不同长宽比与多尺度的初始水平锚框，对所述初始水平锚框进行顺时针转动，提取目标候选框，具体操作步骤如下：

32、对所述多维特征图上每个像素点上预设多个不同长宽比与多尺度的初始水平锚框；以每个所述初始水平锚框的中心像素点为旋转中心，以所述方向特征为旋转参考角度，对每个所述初始水平锚框进行转动，生成初始旋转锚框，并计算每个初始旋转锚框的倾斜角度；分别计算每个初始旋转锚框的倾斜角度与所述方向特征之间的绝对角度差，并降序排列，选取前k个绝对角度差的初始旋转锚框作为候选锚框集合；

33、预设角度范围与角度步长；以所述候选锚框集合中的候选锚框的中心像素点为旋转中心，在所述方向特征的角度范围内按照角度步长执行多次旋转操作，得到多个微旋转窗；对每个微旋转窗均计算内部像素点的灰度方差值，选取最小值的灰度方差值的微旋转窗作为该候选锚框对应的适应框选区域；

34、计算所述适应框选区域的倾斜角度，并将该倾斜角度与所述方向特征的绝对差值；若该绝对差值小于预设的角度匹配阈值，则判定该适应框选区域与所述方向特征相匹配，将该适应框选区域确定为目标候选框。

35、较佳地，在所述原始图像中裁剪出目标候选框，提取目标掩膜图像；对所述目标掩膜图像非零像素点的提取初始骨架点序列；对所述初始骨架点序列滑动窗口，提取有序骨架序列；对所述有序骨架序列计算真实走向与实际长度，生成多边形区域，具体操作步骤如下：

36、在所述原始图像中裁剪出目标候选框，并进行二值化掩膜，得到目标掩膜图像；提取所述目标掩膜图像中所有非零像素点，构建流挂缺陷连通域；

37、对所述流挂缺陷连通域中的每一行像素点进行扫描，记录每行像素点中最左端像素点坐标和最右端像素点坐标，计算该行像素点的中点坐标；将所有行像素点的中点坐标进行排列，构成初始骨架点序列；

38、对所述初始骨架点序列进行滑动窗口，对每个滑动窗口计算所有初始骨架点的坐标平均值，作为滑动窗口的窗口中心点的位置坐标，形成中心骨架；提取所述中心骨架包含的所有初始骨架点，筛选其中纵坐标值最小且横坐标值最小的骨架点作为起始端点，以所述起始端点为起点遍历所有初始骨架点，将所有相邻之间的初始骨架点按纵坐标从小到大、横坐标从小到大的顺序存入有序骨架序列；

39、沿所述有序骨架序列计算相邻初始骨架点之间的连线方向角，得到局部方向角序列，筛选出现最大值频率的连线方向角作为真实走向；

40、对所述有序骨架序列从所述起始端点的坐标位置开始，沿所述真实走向依次计算相邻初始骨架点之间的直线距离，计算所有直线距离的总和作为实际长度；

41、根据所述真实走向与实际长度生成流挂缺陷连通域的多边形区域。

42、与现有技术相比，本发明实施例至少存在如下方面的技术优势：

43、分析本发明提供的上述一种针对细长形态涂料流挂缺陷的目标检测方法及系统可知，在具体应用时对涂料表面原始图像开展边缘特征预处理，利用边缘检测算子滤除大面积平滑漆面低频背景信息，保留灰度突变的高频边缘细节，有效抑制漆面光照不均、底色纹理均匀变化带来的干扰，大幅突出细长流挂缺陷的线状边缘特征，压缩无效图像运算区域，为后续缺陷精准识别提供高辨识度的待检测图像基底；

44、进一步的，首先完成流挂缺陷初始轮廓粗定位，缩小目标检测范围，降低全域运算开销；通过自适应滑动窗口机制，依据局部灰度均匀程度动态调整窗口尺寸，对纹理复杂、细节丰富的缺陷区域采用小尺寸窗口保留细微流挂特征，对平整背景区域采用大尺寸窗口提升运算效率，实现多尺度图像子块精细化划分；本方法结合邻域灰度概率分布筛选稳定可靠的初始候选种子点，有效规避噪声点、杂斑点干扰，通过合规种子点区域生长完成缺陷区域自适应分割，拟合得到边界规整、形态完整的多边形缺陷区域，可有效区分点状污渍、块状杂质与细长流挂缺陷，大幅降低漏检与误检概率；

45、进一步的，将分割得到的多边形区域判定为细长涂料流挂缺陷，并将检测结果实时反馈至涂装控制系统，实现喷涂压力、涂料黏度、走枪速度等关键工艺参数的针对性调整，形成缺陷检测、状态识别、工艺修正的闭环调控体系。本发明有效提升细长型涂料流挂缺陷的识别稳定性与检测精度，从源头抑制涂装流挂缺陷重复产生，显著改善涂料成型外观质量，适用于各类工业涂装表面细长缺陷的自动化检测与智能生产调控。