一种基于双金属特征结构计数的线缆端子检测方法及系统

本发明涉及工业机器视觉和线缆端子质量检测，具体涉及一种针对圆形端口内两个金属局部结构分别进行目标检测、有效性判断和数量判定的方法、模型构建方法、系统及存储介质。

背景技术：

1、工业线缆端子装配完成后通常需要检查端口结构。对于圆形端口内具有两个相对布置的金属局部结构的端子，现有方案将整个端面作为单一分类对象或将整个端口作为单一检测对象。该类方案能够判断整体外观，却不能直接表明两个内部结构是否分别存在并保持可识别状态。当其中一个结构出现部分轻微遮挡时，现有方法亦难以准确识别该结构的存在，进一步增加了漏判风险。

2、基于深度学习的目标检测能够给出局部区域和置信度，但工业现场异常样本有限，逐张人工标注成本较高。实践中可收集有限的错误样本，通过几何变换、亮度调整等数据增强手段扩充训练样本。利用小规模种子数据训练预标注模型虽可提高标注效率，但若只复核低置信度样本，模型以高置信度产生的错误标注仍可能进入训练集。

3、因此，需要一种与特定端子结构相匹配的检测与模型构建方案，在允许两个金属局部结构存在位置偏移和尺寸差异的情况下，以结构是否分别形成独立有效目标为基础完成数量判定，并通过计数异常、低置信度和高置信随机抽检三路复核以及生产错例回流控制模型迭代风险。

技术实现思路

1、技术问题：本发明旨在解决整端面分类或整端口检测难以直接反映两个内部金属局部结构是否齐全、样本全人工标注成本高、自动预标注错误易累积以及生产错例难以形成可追溯模型更新的问题。

2、为此，本发明提供一种基于双金属特征结构计数的线缆端子检测方法：获取端子端面图像后，利用目标检测模型分别检测两个金属局部结构，经置信度筛选及重叠抑制获得有效目标，以有效目标数量是否为2作为判定依据。同时提供对应的模型构建方法：以少量人工标注图像训练预标注模型，通过计数异常、低置信度和高置信随机抽检三路分流人工复核构建扩展训练数据集，并通过生产错例回流与回归验证实现模型持续迭代。还提供实现上述方法的工业线缆端子检测系统及计算机可读存储介质。

3、技术方案：本发明的适用对象限定为圆形端口内具有两个相对布置的金属局部结构的工业线缆端子。两个金属局部结构可存在一定位置偏移和尺寸差异，不要求相对于端口中心严格对称。在现场沟通中，该金属局部结构可俗称为“花瓣”；该俗称仅用于帮助理解其图像外形，不限定所述结构的导电功能、机械功能、材料牌号或严格几何形状。本发明方法适用于多种类似的线缆端子端面类型，包括不同材料、不同成像颜色及花瓣位置不同的各类端子，如图2所示。除本段释义外，本文统一使用“金属局部结构”。

4、基于双金属局部结构计数的线缆端子检测方法，工业线缆端子具有圆形端口，圆形端口内设有两个相对布置的金属局部结构，两个金属局部结构允许存在位置偏移和尺寸差异；所述方法包括：获取包含圆形端口的端面图像；利用目标检测模型分别检测两个金属局部结构，获得候选目标区域及对应置信度；对候选目标区域进行筛选，获得能够在所述端面图像中形成独立可识别结构的有效目标；统计有效目标的数量；当有效目标的数量为2时输出合格判定，当有效目标的数量不为2时输出异常判定或待复核判定。

5、所述获取包含圆形端口的端面图像包括：确定圆形端口对应的感兴趣区域，排除感兴趣区域以外的背景候选目标，并对感兴趣区域执行尺寸归一化、亮度归一化、对比度调整和几何校正中；图像采集区域被限定为能够覆盖所述圆形端口及其内部的两个金属局部结构。

6、在圆形端口内对金属结构进行检测，当金属局部结构存在轻微缺陷但仍能够形成独立可识别目标时，将其计入有效目标；当金属局部结构缺失、明显断裂、严重折叠或严重遮挡而不能形成独立可识别目标时，不将其计入有效目标；输出异常判定或待复核判定时，保存初始化图像、候选目标区域、置信度和模型版本等检测数据。与仅对整个端面或整个圆形端口进行整体分类、检测的现有方案相比，本发明直接检测圆形端口内的两个金属局部结构，避免圆形端口的整体轮廓特征对内部结构缺陷判定产生干扰，从而减少了因端口整体外观正常而将内部结构异常的端子误判为合格品的情况。

7、一种用于构建目标检测模型的模型构建方法，包括：获取种子端面图像集，对每幅种子端面图像中的每个有效金属局部结构分别进行人工标注；利用人工标注后的种子端面图像集训练预标注模型；利用预标注模型对未标注端面图像进行推理，获得候选标注、候选标注数量和候选标注置信度；对候选标注进行人工确认以形成扩展训练数据集；利用扩展训练数据集训练用于工业线缆端子检测的目标检测模型。

8、其中，将候选标注数量不等于2的端面图像分配至计数异常复核队列，将候选标注数量等于2但存在候选标注的置信度低于自动接纳阈值的端面图像分配至低置信度复核队列，并从候选标注数量等于2且各候选标注的置信度均不低于自动接纳阈值的端面图像中按预设比例随机抽取部分端面图像分配至高置信随机抽检队列；基于三个队列的人工确认结果修正或接纳标注。

9、获取目标检测模型在生产检测中产生的经人工确认的错检图像、漏检图像或待复核图像，对其重新标注并记录图像来源、异常类型和对应模型版本，将重新标注后的图像加入具有版本标识的训练数据集进行模型微调；在固定回归数据集和新增错例数据集上进行回归验证，仅在产品判定指标、异常检出指标和推理性能满足预设更新门槛时，将微调后的模型更新为生产模型。

10、一种工业线缆端子检测系统，包括图像采集单元、处理器和存储器，所述存储器中存储有目标检测模型和计算机程序，所述计算机程序被处理器执行时，使所述处理器执行工业线缆端子检测方法；所述系统还包括样本分流接口、人工复核接口、数据集版本管理模块和模型回归验证模块，以执行所述的模型构建方法。

11、有益效果：本发明与现有技术相比，具有以下显著的有益效果：

12、第一，将端口级整体判断转换为两个内部金属局部结构的独立检测和计数，使缺失或失去独立可识别状态的结构能够由有效目标数量直接表达，避免因端口整体外观正常而将内部结构异常的端子误判为合格品的情况。同时，由于两个金属局部结构分别进行检测和定位，能够适应其在实际装配和成像过程中产生的位置偏移及尺寸差异。

13、第二，通过少量种子人工标注、批量未标注图像自动预标注与三路分流复核流程，大幅降低全人工标注需求，提高整体标注效率。计数异常、低置信度和高置信随机抽检三路复核兼顾疑难样本与高置信错误，可降低错误预标注持续累积的风险。

14、第三，保存检测元数据、数据集版本和模型版本，使生产错例回流、模型微调和回归验证具有可追溯性。

15、第四，初始的检测网络不限定为特定版本，便于根据工业算力和速度要求选择匹配模型，具有高兼容性。

1.一种基于双金属局部结构计数的线缆端子检测方法，其特征在于，工业线缆端子具有圆形端口，圆形端口内设有两个相对布置的金属局部结构，两个金属局部结构允许存在位置偏移和尺寸差异；所述方法包括：获取包含圆形端口的端面图像；利用目标检测模型分别检测两个金属局部结构，获得候选目标区域及对应置信度；对候选目标区域进行筛选，获得能够在所述端面图像中形成独立可识别结构的有效目标；统计有效目标的数量；当有效目标的数量为2时输出合格判定，当有效目标的数量不为2时输出异常判定或待复核判定。

2.根据权利要求1所述的方法，其特征在于，所述获取包含圆形端口的端面图像包括：确定圆形端口对应的感兴趣区域，排除感兴趣区域以外的背景候选目标，并对感兴趣区域执行尺寸归一化、亮度归一化、对比度调整和几何校正；图像采集区域被限定为能够覆盖所述圆形端口及其内部的两个金属局部结构。

3.根据权利要求2所述的方法，其特征在于，利用目标检测模型对感兴趣区域内的两个金属局部结构进行检测，输出候选目标框及对应置信度；按照预设置信度阈值对候选目标框进行筛选，并通过非极大值抑制去除对应同一金属局部结构的重复候选目标，得到有效目标。

4.根据权利要求3所述的方法，其特征在于，当金属局部结构存在轻微磨损、轻微变形或局部反光，但仍能够与背景及另一金属局部结构区分并由一个独立目标框表示时，将其计入有效目标；当金属局部结构完全缺失、明显断裂、严重折叠或严重遮挡，导致不能形成独立可识别目标时，不将其计入有效目标；输出异常判定或待复核判定时，保存初始化图像、候选目标区域、置信度和模型版本等检测数据。

5.一种用于构建权利要求1至4任一项所述目标检测模型的模型构建方法，其特征在于，包括：获取种子端面图像集，对每幅种子端面图像中的每个有效金属局部结构分别进行人工标注；利用人工标注后的种子端面图像集训练预标注模型；利用预标注模型对未标注端面图像进行推理，获得候选标注、候选标注数量和候选标注置信度；对候选标注进行人工确认以形成扩展训练数据集；利用扩展训练数据集训练用于工业线缆端子检测的目标检测模型。

6.根据权利要求5所述的模型构建方法，其特征在于，将候选标注数量不等于2的端面图像分配至计数异常复核队列，将候选标注数量等于2但存在候选标注的置信度低于自动接纳阈值的端面图像分配至低置信度复核队列，并从候选标注数量等于2且各候选标注的置信度均不低于自动接纳阈值的端面图像中按预设比例随机抽取部分端面图像分配至高置信随机抽检队列；基于三个队列的人工确认结果，修正或接纳标注。

7.根据权利要求5或6所述的模型构建方法，其特征在于，获取目标检测模型在生产检测中产生的经人工确认的错检图像、漏检图像或待复核图像，对其重新标注并记录图像来源、异常类型和对应模型版本，将重新标注后的图像加入具有版本标识的训练数据集进行模型微调；在固定回归数据集和新增错例数据集上对微调后的模型进行回归验证，微调后的模型仅在产品判定指标、异常检出指标和推理性能满足预设更新门槛时，才将微调后的模型更新为生产模型。

8.一种工业线缆端子检测系统，其特征在于，包括图像采集单元、处理器和存储器，所述存储器中存储有目标检测模型和计算机程序，所述计算机程序被处理器执行时，使所述处理器执行权利要求1至4任一项所述的工业线缆端子检测方法；所述系统还包括样本分流接口、人工复核接口、数据集版本管理模块和模型回归验证模块，以执行权利要求5至6任一项所述的模型构建方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的方法。