一种轻量化双形态电连接器增强智能插接方法及系统

本发明属于自动插接，涉及一种轻量化双形态电连接器增强智能插接方法及系统。

背景技术：

1、电气线路互联系统作为飞机、船舶、高铁等高端装备的神经与血管，承担着电源信号传输与通信链路构建的核心功能，是高端装备的关键控制系统。电连接器作为该系统的关键节点，能够简化电气连接、提升系统连通性与维护便捷性，实现电气连接的有效解耦。在高端装备中，通常集成大量种类繁多的电连接器，其绝缘安装板上分布的插孔与接触件导线之间的连接关系极为复杂。成百上千个电连接器中任何一个插孔与接触件出现连接不良，都可能导致设备瘫痪，甚至引发重大人身伤害与经济损失。因此，电连接器的插接质量直接影响高端装备的插接效率与运行可靠性。

2、电连接器具有密度高、尺寸小等显著特点。例如，j599/20fj35pn型圆形电连接器的壳体直径为37.90mm，插孔数量达128个，插孔直径仅为0.89mm，插孔间距为2.32mm，配套使用型号为22d、直径为0.76mm的接触件。由此可见，电连接器的插接作业属于典型的精细作业。其完整插接过程包括：1）插接前接触件外观检查，主要检查观察孔是否有线芯通过、线芯裸露长度是否过长、表面是否存在裂纹等缺陷；2）插接操作，作业人员依据工艺规程，使用送取器将带有接触件的导线插入对应插孔；3）插接后结果检查，每插接一根线及全部插接完成后，均需检查是否存在不应插接的插孔插入了接触件、应插接的插孔缺失接触件，以及已插接触件是否存在歪斜等问题。

3、目前，电连接器的插接作业几乎完全依赖人工作业方式。作业人员需频繁查阅工艺文件，并借助放大镜进行长时间目视观察。在高强度、高精度的持续作业条件下，视觉疲劳、注意力分散等人为因素难以避免，导致插接一次通过率极低，进而影响整体生产效率和产品质量稳定性。

4、近年来，人工智能技术的快速发展为增强智能作业方式提供了新的可能，其在提升作业效率、精度与可靠性、降低人工劳动强度方面展现出显著潜力。然而，现有研究仍面临诸多挑战，亟需一种全流程增强智能插接方法，以提升电连接器的插接效率与质量。

技术实现思路

1、本发明的目的在于解决现有技术中插接作业依赖人工、效率低、质量不稳定以及缺乏实时有效引导和检查手段的技术问题，提供一种轻量化双形态电连接器增强智能插接方法及系统。

2、为达到上述目的，本发明采用以下技术方案予以实现：

3、本发明第一方面提供一种轻量化双形态电连接器增强智能插接方法，包括以下步骤：

4、获取插接前接触件图像、插接中电连接器插接面图像及插接后电连接器背面图像；

5、根据插接前接触件图像进行接触件外观检查，根据待检区域识别置信度调整接触件姿态至符合检查要求，并进行检查生成接触件外观检查结果；

6、根据所述插接中电连接器插接面图像及预先构建的先验知识库，确定电连接器的实时位姿，并基于所述实时位姿建立虚实插孔对应关系，根据所述虚实插孔对应关系和预设的插接任务序列，引导将接触件插入至目标插孔；

7、在插接完成后，根据所述插接后电连接器背面图像及预先构建的颜色特征模板，确定各插孔的实际插接状态序列，并基于所述实际插接状态序列与预设的标准插接状态序列的比对结果，执行插接结果校正操作。

8、进一步，所述根据插接前接触件图像进行接触件外观检查，包括：

9、利用待检区域识别模型对所述插接前接触件图像进行识别，得到待检区域识别结果，所述待检区域识别结果包括观察孔区域、裸露线芯区域或压痕区域的框定位置及对应的识别置信度；

10、当所述识别置信度不低于预设阈值时，对所述框定位置内的待检区域进行定量特征分析，提取关键几何特征，并将所述关键几何特征与预设的工艺容差阈值进行比对，生成包含合格或不合格判定结论的所述接触件外观检查结果。

11、进一步，所述根据待检区域识别置信度调整接触件姿态至符合检查要求，包括：

12、当任一所述待检区域的识别置信度低于所述预设阈值时，生成第一增强引导信息，所述第一增强引导信息包括高亮标识的调整目标区域提示框与动态方向箭头；

13、根据所述第一增强引导信息的指示，调整接触件的姿态或观察角度，并重新采集插接前接触件图像进行复测，直至所述接触件待检区域识别置信度不低于所述预设阈值后，对待检区域进行定量特征分析得到所述接触件外观检查结果。

14、进一步，所述根据所述插接中电连接器插接面图像及预先构建的先验知识库，确定电连接器的实时位姿，包括：

15、在当前帧的插接面图像中，基于上一帧的实时位姿或初始估计位姿，渲染与当前位姿估计值对应的电连接器遮挡层，并在预先构建的多视角图像库中匹配与当前实物图像最相似的视点位置作为优化起点；

16、构建融合区域模式观测数据、深度模式观测数据与纹理模式观测数据的联合概率密度函数；

17、通过迭代优化基于所述联合概率密度函数得到的负对数似然函数，计算位姿变化量，并利用所述位姿变化量修正当前位姿估计值，直至所述位姿变化量收敛，输出所述电连接器的实时位姿。

18、进一步，所述基于所述实时位姿建立虚实插孔对应关系，包括：

19、调用插孔识别模型对所述实时位姿确定的电连接器区域图像进行初始检测，得到物理插孔点集；

20、将所述物理插孔点集与基于所述实时位姿投影至图像平面的、具有序列信息的虚拟插孔点集进行基于高斯混合模型的概率分布点集配准，筛除误检点后得到初始匹配关系集合；

21、基于所述初始匹配关系集合，求解从虚拟坐标系到物理坐标系的刚体变换，并利用所述刚体变换将所述虚拟插孔点集中未匹配的虚拟插孔投影至图像平面以补全未识别插孔位置，得到完整有序的插孔坐标集合，从而建立完整的虚实插孔对应关系。

22、进一步，所述根据所述虚实插孔对应关系和预设的插接任务序列，引导将接触件插入至目标插孔，包括：

23、根据所述虚实插孔对应关系，确定所述插接任务序列中下一个待操作的目标插孔在所述插接面图像中的位置，并生成第二增强引导信息，通过所述第二增强引导信息引导使用送取器将带有接触件的导线插入至所述目标插孔；

24、根据已识别插孔的数量占比确定当前帧遮挡率；当所述当前帧遮挡率低于预设阈值时，所述第二增强引导信息包括在所述目标插孔的精确像素坐标处叠加的实心圆点中心标记、动态方向箭头以及线束编号与孔位序号文本信息；

25、当所述当前帧遮挡率不低于所述预设阈值时，所述第二增强引导信息包括根据所述电连接器的三维模型实时位姿计算并绘制的最小包围环形区域提示、方向箭头以及线束编号与孔位序号文本信息。

26、进一步，所述根据所述插接后电连接器背面图像及预先构建的颜色特征模板，确定各插孔的实际插接状态序列，包括：

27、将所述插接后电连接器背面图像中各像素的色调与饱和度值查询所述颜色特征模板，生成接触件概率图，并对所述接触件概率图进行二值化与形态学闭操作处理，提取接触件候选区域的初步点集；

28、将所述初步点集与虚拟插孔点集进行基于高斯混合模型的匹配，得到完整的背面插孔点集；

29、对于所述背面插孔点集中每个虚拟插孔投影位置对应的插孔局部分析区域，再次应用所述颜色特征模板进行密集计算，若区域内连续像素块的平均概率超过预设阈值，则判定为已插接，否则判定为未插接，由此得到包含插孔顺序号与插接状态标识的所述实际插接状态序列。

30、进一步，所述基于所述实际插接状态序列与预设的标准插接状态序列的比对结果，执行插接结果校正操作，包括：

31、逐一对比同一插孔顺序号在所述实际插接状态序列与所述标准插接状态序列中的状态标识；

32、若标准要求插接而实际为未插接，则记录为漏装；若标准禁止插接而实际为已插接，则记录为错装；

33、对于状态标识正确的已插接插孔，计算其插孔中心坐标与对应接触件精确中心坐标之间的欧氏距离，若所述欧氏距离超出工艺规范中允许的最大位置偏差，则记录为位置偏移超差；

34、生成包含所述漏装、错装或位置偏移超差信息的第三增强引导信息，以指示对记录异常的插孔进行重新插接或调整。

35、本发明第二方面提供一种轻量化双形态电连接器增强智能插接系统，用于执行第一方面所述的轻量化双形态电连接器增强智能插接方法，所述系统包括：

36、接触件外观增强智能检查模块，用于获取插接前接触件图像，根据所述插接前接触件图像进行接触件外观检查，根据待检区域识别置信度调整接触件姿态至符合检查要求，并进行检查生成接触件外观检查结果；

37、电连接器增强智能插接及检查模块，用于获取插接中电连接器插接面图像及插接后电连接器背面图像；根据所述插接中电连接器插接面图像及预先构建的先验知识库，确定电连接器的实时位姿，并基于所述实时位姿建立虚实插孔对应关系，根据所述虚实插孔对应关系和预设的插接任务序列，引导将接触件插入至目标插孔；在插接完成后，根据所述插接后电连接器背面图像及预先构建的颜色特征模板，确定各插孔的实际插接状态序列，并基于所述实际插接状态序列与预设的标准插接状态序列的比对结果，执行插接结果校正操作。

38、进一步地，所述系统还包括显示模块和支撑模块；所述显示模块分别与所述接触件外观增强智能检查模块和所述电连接器增强智能插接及检查模块连接，并显示所述接触件外观检查结果、虚实插孔对应关系、插接任务序列、实际插接状态序列或与插接结果校正操作对应的增强引导信息；所述接触件外观增强智能检查模块、电连接器增强智能插接及检查模块和显示模块均连接于所述支撑模块。

39、与现有技术相比，本发明具有以下有益效果：

40、本发明公开了一种轻量化双形态电连接器增强智能插接方法及系统，通过深度学习、计算机视觉和增强现实技术，构建了覆盖插接前、中、后全流程的增强智能插接方案。在插接前，通过定性识别与定量分析相结合，实现了接触件外观质量的自动化检查与人机协同校正；在插接中，通过多模态融合的位姿跟踪与基于概率分布的点集配准，解决了复杂遮挡环境下的电连接器位姿确定与插孔认知难题，并提供了自适应的增强现实引导；在插接后，通过颜色特征模板与几何匹配，实现了插接结果的准确检测与异常校正。该方案有效降低了人工劳动强度，提高电连接器插接作业的效率、精度与可靠性。