基于深度学习图像分析的线束端子连通性自动检测系统的制作方法

本发明涉及智能检测，尤其涉及基于深度学习图像分析的线束端子连通性自动检测系统。

背景技术：

1、随着制造业自动化水平的提升，线束检测技术经历了从人工目视检查到光学检测的发展过程。早期主要依赖高倍显微镜配合人工肉眼观察，检测人员通过观察压接区域内铜丝的变形、间隙及毛刺情况来判断是否存在虚接或断丝。为提高效率，行业引入了基于传统机器视觉的自动化检测设备，利用边缘检测、阈值分割等算法辅助识别缺陷。近年来，深度学习技术开始渗透至工业质检领域，部分先进产线尝试采用卷积神经网络对端子图像进行分类识别，试图解决复杂背景下特征提取难的问题。

2、现有的深度学习方案多采用通用的分类或目标检测网络，缺乏对线束端子压接区域特有微观结构的针对性设计。特别是针对压接后金属丝交错复杂的拓扑形态，现有模型难以在像素级别精确区分紧密压合的有效接触面与微小的断裂缝隙，导致检测精度难以满足高端制造的需求，且模型泛化能力受限于训练数据的单一性，难以应对不同规格、不同光照条件下的端子检测任务，无法有效剔除因图像噪声产生的伪连通区域，导致误检率和漏检率居高不下，难以真正实现高可靠性的在线全检。

技术实现思路

1、为了克服现有技术的上述缺陷，为实现上述目的，本发明提出如下技术方案：

2、基于深度学习图像分析的线束端子连通性自动检测系统，包括：

3、图像处理模块：获取线束端子压接区域的垂直正视原始数字图像，对原始数字图像执行自适应多尺度灰度形态学顶帽变换，得到预处理后图像；

4、融合提取模块:将预处理后图像输入预训练的改进型u-net++深度卷积神经网络模型进行像素级语义分割，得到初步连通性概率热力图，对初步连通性概率热力图与预处理后图像进行并行双分支注意力机制操作，经空间依赖捕捉与局部纹理强化后融合，得到精细化连通性特征张量；

5、区域连通模块:对精细化连通性特征张量执行基于局部均值与标准差的动态阈值分割，得到二值化连通候选区域，对二值化连通候选区域执行基于8邻域连通分量分析的区域生长操作，得到连通区域集合；

6、掩膜生成模块:提取精细化连通性特征张量的形态学梯度信息，基于形态学梯度信息剔除连通区域集合中的孤立伪连通点集，得到最终连通性判定掩膜；

7、检测生成模块:提取最终连通性判定掩膜中所有连通分量的几何外接矩形框及面积参数，依据预设的最小导通截面积阈值与最大允许断点长度阈值进行逻辑比对，得到连通性检测结果。

8、得到预处理后图像的过程包括：

9、构造结构元尺寸分别为3×3、5×5及7×7的灰度开运算算子，利用所述灰度开运算算子分别对原始数字图像进行滤波处理，得到第一尺度滤波结果、第二尺度滤波结果及第三尺度滤波结果；

10、将所述第一尺度滤波结果乘以权重系数0.2、所述第二尺度滤波结果乘以权重系数0.5、所述第三尺度滤波结果乘以权重系数0.3后进行求和，得到加权融合背景图像；

11、将原始数字图像的像素灰度值减去所述加权融合背景图像的像素灰度值，得到差分图像，并将所述差分图像归一化至0至255灰度区间，得到预处理后图像。

12、得到初步连通性概率热力图的过程包括：

13、将预处理后图像输入至改进型u-net++深度卷积神经网络模型的编码路径生成四级不同尺度的中间特征图；

14、将所述四级不同尺度的中间特征图输入至改进型u-net++深度卷积神经网络模型的解码路径，所述解码路径通过嵌套式密集跳跃连接将编码器各阶段输出与解码器对应阶段输入进行拼接，利用转置卷积层执行上采样操作，恢复特征图的空间分辨率；

15、将解码路径输出的特征图输入至一个卷积核尺寸为1×1的卷积层，将通道数压缩为2，随后接入softmax激活函数，计算每个像素点归属于背景类别或连通区域的类别概率，生成初步连通性概率热力图。

16、改进型u-net++深度卷积神经网络模型的获取过程包括：

17、采集若干张标注完成的线束端子压接区域样本图像，所述标注完成指人工对样本图像中的真实连通区域逐像素标注为第一类标签、背景区域标注为第二类标签，得到标注样本图像集；

18、将所述标注样本图像集划分为训练子集与验证子集，并对所述训练子集执行随机水平翻转、随机亮度调整及随机高斯噪声注入的数据增强操作得到增强训练数据集；

19、构建改进型u-net++深度卷积神经网络模型的初始架构，所述初始架构中编码路径的四个阶段依次配置输出通道数为64、128、256及512，解码路径的嵌套式密集跳跃连接中配置卷积核尺寸为3×3的卷积层，并将解码路径末端的1×1卷积层输出通道数设定为2，得到待训练网络模型；

20、定义二元交叉熵损失函数与dice损失函数的加权和作为总损失函数，将所述增强训练数据集分批输入至所述待训练网络模型中进行前向传播与反向传播迭代优化，并利用所述验证子集监控收敛状态，当连续10个训练周期验证损失不再下降时停止训练，保存网络参数权重，得到预训练的改进型u-net++深度卷积神经网络模型。

21、得到精细化连通性特征张量的过程包括：

22、所述并行双分支注意力机制包括空间注意力子模块与通道注意力与纹理增强子模块；

23、将初步连通性概率热力图输入空间注意力子模块生成值域为0至1的空间权重特征图；

24、将预处理后图像输入通道注意力与纹理增强子模块，所述通道注意力与纹理增强子模块依次执行全局平均池化操作与全局最大池化操作，将池化结果分别送入共享权重的多层感知机进行特征变换，经逐元素相加与sigmoid激活函数处理，生成值域为0至1的通道权重特征图；

25、将空间权重特征图与通道权重特征图进行逐元素相乘融合，得到加权融合特征图，并将加权融合特征图输入卷积核尺寸为3×3、步长为1、填充为1的卷积层中进行特征重整，输出精细化连通性特征张量。

26、得到二值化连通候选区域的过程包括：

27、以精细化连通性特征张量中的每个像素点为中心，设定半径为5像素的局部邻域窗口；

28、计算所述局部邻域窗口内所有像素灰度值的算术平均值作为局部均值，并计算所述局部邻域窗口内所有像素灰度值的标准差作为局部标准差；

29、基于公式计算像素点(x，y)的动态阈值t(x，y)：

30、；

31、其中，表示像素点(x，y)的局部均值，表示像素点(x，y)的局部标准差；

32、若精细化连通性特征张量中坐标(x，y)处的灰度值大于所述动态阈值t(x，y)，则将该坐标处的像素值赋值为1，若精细化连通性特征张量中坐标(x，y)处的灰度值小于等于所述动态阈值t(x，y)，则将该坐标处的像素值赋值为0，遍历精细化连通性特征张量中所有像素点后，生成二值化连通候选区域。

33、得到连通区域集合的过程包括：

34、扫描所述二值化连通候选区域中未被访问且像素值为1的种子点，以所述种子点为生长起点；

35、检索所述生长起点周围的8邻域内所有像素值为1的邻接点，并将所述邻接点纳入当前生长区域，迭代执行直至无新的邻接点加入；

36、标记所述生长区域的边界及内部像素，生成一个独立的连通分量，遍历二值化连通候选区域中所有像素值为1的点，汇总生成包含全部独立连通分量的连通区域集合。

37、得到最终连通性判定掩膜的过程包括：

38、利用拉普拉斯卷积核对精细化连通性特征张量进行卷积运算，计算像素灰度值的二阶导数，得到表征边缘锐度的形态学梯度信息；

39、遍历连通区域集合中的每一个连通分量，计算所述连通分量的外接矩形框内包含的形态学梯度信息的平均梯度值；

40、设定梯度阈值为50，若所述平均梯度值小于所述梯度阈值50，则判定所述连通分量为孤立伪连通点集并予以剔除，保留平均梯度值大于等于所述梯度阈值50的连通分量，生成最终连通性判定掩膜。

41、得到连通性检测结果的过程包括：

42、遍历最终连通性判定掩膜中每一个连通分量，计算所述连通分量所包含的像素总个数，并根据标定得到的像素当量将像素总个数换算为实际物理面积，得到实测导通截面积；

43、提取最终连通性判定掩膜中相邻两个连通分量之间的最短像素间隔距离，并根据所述像素当量换算为实际物理长度，得到实测断点长度；

44、将所述实测导通截面积与预设的最小导通截面积阈值进行数值比对，并将所述实测断点长度与预设的最大允许断点长度阈值进行数值比对，若实测导通截面积大于等于最小导通截面积阈值且实测断点长度小于等于最大允许断点长度阈值，则判定结果为合格，得到表征合格的连通性检测结果。

45、本发明具备以下有益效果：

46、1、通过构建改进型u-net++深度卷积神经网络模型与并行双分支注意力机制的级联结构，在像素级语义分割的基础上，实现了空间长距离依赖捕捉与局部纹理强化的深度融合。该设计针对性解决了线束端子压接区域金属丝交错复杂、背景干扰强的难题，有效区分了紧密压合的有效接触面与微小断裂缝隙，大幅降低了将表面划痕误判为断点或将虚假粘连误判为导通的风险，显著提升了微观连通特征的识别准确率。

47、2、采用自适应多尺度灰度形态学顶帽变换，有效抑制了金属端子表面的各向异性反光，增强了微细连通结构的对比度。同时，在分割阶段引入基于局部均值与标准差的动态阈值算法，替代了传统的全局固定阈值，能够根据局部邻域的灰度分布自适应调整分割界限，克服了压接区域光照不均、灰度梯度变化大带来的分割困难，确保了二值化连通候选区域提取的完整性和准确性。

48、3、创新性地引入精细化连通性特征张量的形态学梯度信息作为过滤依据，通过计算连通区域的边缘锐度来剔除孤立伪连通点集，弥补了单纯依赖像素面积统计进行判定的缺陷，有效滤除了因图像噪声产生的伪连通区域。结合基于几何外接矩形框及面积参数与预设阈值的最终逻辑比对，实现了从图像特征分析到工程化质量判定的高精度闭环，显著降低了误检率和漏检率，满足了工业现场对线束端子连通性进行高速、高可靠性在线全检的严苛要求。