一种基于多相机协同与工序互锁的装配过程防错系统的制作方法

本发明涉及智能制造装配过程质量管控，更具体地说，本发明涉及一种基于多相机协同与工序互锁的装配过程防错系统。

背景技术：

1、在汽车零部件、线束等工业装配生产中，装配过程的漏装、错装及违规操作是影响产品质量的核心因素。现有技术普遍引入机器视觉检测技术替代人工目检，通过工业相机采集装配工位图像，结合目标识别算法对紧固件、零部件的在位状态进行检测，部分场景还加入了简单的动作识别功能，以此降低人工检测成本，提升装配质量管控能力。

2、现有视觉防错技术虽能在一定程度上提升检测效率，但在实际应用中仍存在多方面不足：其一，针对多面复杂工件、长尺寸线束两类检测对象，单台相机难以实现全区域覆盖，多相机组合方案缺乏协同调度机制，检测时序与装配工序脱节，易出现检测盲区与重复检测，且算力资源利用率低；其二，对装配动作的合规性判定依赖单帧静态特征，难以区分真实操作与静态伪装，例如线束回拉中的错拉混拉、扎带工序中的漏划线漏缠胶带两类行为难以精准识别，误检与漏检率较高；其三，各装配工序之间缺乏刚性互锁机制，上道工序检测不合格的工件仍可流入下道工序，过程防错能力薄弱，不合格品流转易造成后续返工成本增加；其四，视觉定位采用固定裁剪参数，难以适配不同尺寸的检测目标，小尺寸特征如卡扣、扎带尾线的识别精度不足，易出现漏判；其五，违规操作缺乏触发式证据留存机制，出现质量问题时无法精准溯源与责任界定，质量管控闭环不完善。

3、针对现有技术存在的上述不足，本发明提出一种基于多相机协同与工序互锁的装配过程防错系统，通过多相机空间协同调度、两级视觉定位、动静态结合的合规性检测、分级工序互锁控制四类核心技术手段，实现装配过程的精准防错、实时管控与质量溯源，兼顾检测精度、生产效率与运行可靠性。

技术实现思路

1、为了克服现有技术的上述缺陷，本发明提供一种基于多相机协同与工序互锁的装配过程防错系统，通过以下方案，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于多相机协同与工序互锁的装配过程防错系统，包括：

3、多相机空间协同调度模块：布设多台工业相机，结合工序流转信号动态唤醒对应检测相机，通过覆盖完整性校验与同步触发控制实现全区域无盲区检测与算力资源优化调度；

4、两级视觉定位检测模块：采用两级图像处理架构，结合误差传递机制量化综合定位精度，自适应适配不同尺寸检测目标的定位需求；

5、静态装配特征识别模块：对多类静态装配特征进行识别计数，并构建综合得分模型，结合连续帧平滑判定提升静态检测的抗干扰能力；

6、动态动作合规性验证模块：针对装配动态操作构建三重验证机制，通过动作有效性综合系数量化判定操作真实性，识别静态伪装的违规行为；

7、分级工序互锁控制模块：构建两级互锁架构，量化互锁闭环稳定性，实现不合格品的过程刚性拦截；

8、plc联动执行模块：建立双向数据交互通道，通过工序空余时间占比模型量化时序匹配度，实现检测结果与产线执行机构的实时联动控制；

9、违规证据溯源存储模块：采用触发式影像存储机制，仅在检测到违规或不合格结果时留存对应视频片段与高清图像，关联多类元数据实现质量问题的多维度检索溯源；

10、系统参数自适应配置模块：内置多品种工件参数配置模板，根据检测对象与工序类型自动调整视觉检测与互锁控制参数，实现产线快速换型与柔性生产适配。

11、优选的，所述多台工业相机的布设配置m台工业相机，根据检测对象的外形尺寸与工位布局进行空间布设，每台相机对应唯一的检测区域与工序节点；设第i台工业相机镜头的水平视场角为，垂直视场角为，工作距离为，则对应视野宽度与视野高度分别满足光学成像几何关系：、，式中，为相机镜头主点至被测物平面的垂直距离；为镜头固有角度参数；所述唤醒对应检测相机根据工序流转指令动态切换激活的相机通道，当第j道工序启动时，仅唤醒与该工序对应的相机进行实时取流，其余相机处于低功耗待机状态并暂停推理，以此降低工控机算力负载；所述完整性校验以检测区域无盲区为约束目标，设第i处拼接重叠区域的宽度为，m台相机共存在m-1处拼接重叠区，检测对象的总长度为，总有效覆盖长度通过下式计算：，式中为多相机组合的总有效覆盖长度，要求；单处重叠区域宽度取值为单台相机视野宽度的，用于消除拼接边缘的检测误差；所述同步触发控制用于保证多相机同步采集精度，设第i台相机的触发时刻为，多相机同步触发误差通过下式计算：，要求，其中为相机单帧采集间隔时间，确保同一工序下多相机采集的图像处于同一装配状态。

12、优选的，所述两级图像处理架构包括粗定位分割剔除背景干扰和精定位裁剪放大还原特征细节；所述粗定位分割剔除背景干扰用于原始采集图像进行比例裁剪与尺寸压缩，裁剪区域占原始图像的比例为，压缩倍率为，压缩后图像分辨率为；采用像素分割模型提取目标区域，分割模型的感受野为，分割置信度阈值为，输出粗定位区域的边界框，完成背景剔除与目标区域粗定位；所述精定位裁剪放大还原特征细节以粗定位边界框为基准，向外扩展倍的边界框尺寸形成精定位裁剪区域，避免裁剪过紧丢失边缘特征；对裁剪区域进行倍的分辨率放大，还原细节特征，输出精定位图像用于后续识别；所述量化综合定位精度的方式为：设粗定位的位置均方误差为，精定位在放大后分辨率下的位置均方误差为，经两级定位后折算至原始分辨率的总位置误差通过误差传递公式计算：，式中，为最终定位结果的综合位置误差；为精定位放大倍率，取值为2~3，用于提升小尺寸特征的定位精度；精定位误差除以放大倍率折算回原始分辨率，均方根合成符合独立误差叠加原理；所述自适应适配不同尺寸检测目标的方式可根据检测目标的实际尺寸自适应调整裁剪比例与外扩系数，当目标尺寸小于预设阈值时，自动增大外扩系数与放大倍率，保证特征完整纳入检测区域。

13、优选的，针对卡扣、螺丝、扎带本体、装配零部件四类静态装配特征进行识别与计数，基于精定位图像完成特征提取与在位判定；同时对每个特征的位置坐标进行校验，确认其与标准安装位置的偏差在允许范围内，以此排除误识别的干扰特征；所述构建综合得分模型的方式为：设某一工序中标准装配的特征数量为，特征的平均识别置信度为，单帧图像中检测到的有效特征数量为，该帧的特征检测综合得分通过下式计算：，式中，为单帧特征装配完成度，与置信度均为无量纲值，乘积结果仍为无量纲综合得分，物理意义为特征装配完成度与识别可信度的联合表征；所述连续帧平滑判定用于将连续帧的检测综合得分取平均值，得到该工序的静态特征判定得分，式中，为第k帧的特征检测综合得分，为静态特征判定的连续帧数，取值为3~5帧；通过综合得分替代单纯的数量比对，避免单帧误检造成的判定偏差。

14、优选的，所述三重验证机制包括特征存在性验证、方向一致性验证以及时序连续性验证；所述特征存在性验证通过像素分割提取手部区域与操作工具特征，确认对应工序的操作工具出现在手部区域内；操作工具尖端的坐标由像素分割模型输出的工具轮廓中心点提取，相邻两帧尖端坐标的连线与基准方向的夹角即为单帧运动方向角；所述方向一致性验证用于提取连续帧中操作工具尖端的坐标点，计算每帧的运动方向角，与标准操作的基准方向角进行比对，动作方向一致性系数通过下式计算：式中，为动作方向一致性系数；为动态动作判定的连续帧数，取值为8~10帧；所述时序连续性验证用于统计连续帧中操作工具特征持续存在的帧数，为动作有效性判定提供时序维度的依据；所述动作有效性综合系数量化判定操作真实性结合时序连续性统计结果与方向一致性系数，得到动作有效性综合系数式中，为连续帧中特征有效存在的帧数，为动作有效性综合系数，当该系数大于预设判定阈值时，判定该动态操作合规；通过三重验证机制，可有效识别静态摆放工具伪装操作的违规行为，避免单帧检测造成的误判，确保操作行为真实完成。

15、优选的，所述两级互锁架构包括工序级单步拦截与工位级整体放行；其中两级互锁架构设总装配工序数量为n，第j道工序的检测结果标记为，其中表示该工序检测合格，表示不合格；工序级单步拦截逻辑为：仅当第j道工序的检测结果时，才允许启动第j+1道工序，否则锁定当前工序，禁止进入下一步操作；工位级整体放行逻辑为：当所有工序的检测结果均为合格时，工位级互锁解除，允许工件流出本工位；若任一工序检测不合格且无法现场修正，则工件被锁定在工位内，禁止流转至下一个工位；所述量化互锁闭环稳定性的方式为：针对包含翻转机构的工位，互锁逻辑纳入翻转到位反馈信号，设翻转机构的目标翻转角度为，到位反馈信号的响应延迟为，翻转动作完成后需等待视觉检测确认合格，方可触发下一工序；执行机构可靠度与翻转角度、到位延迟呈线性负相关，表达式为：，式中，为翻转机构的额定可靠度，为翻转机构允许的最大翻转角度，为系统允许的最大到位响应延迟；分别为翻转角度、到位延迟对可靠度的影响系数；整个互锁闭环的可靠度通过串联系统可靠度公式计算：，式中，为视觉检测环节的可靠度，为plc控制环节的可靠度，三者均为0~1之间的概率值，为整个互锁闭环的综合可靠度；所述刚性拦截通过两级互锁机制，实现单步不达标不流转、整站不合格不放行的过程防错，从流程上杜绝不合格品向下游流转。

16、优选的，所述双向数据交互通道包括视觉系统与产线plc，采用工业以太网协议实现通讯，具体功能包括信号接收、结果发送、报警联动三类；信号接收用于接收plc发送的工件到位信号、翻转到位信号、工序启动信号，作为视觉检测的触发条件；结果发送用于将每道工序的检测结果、工位整体判定结果发送至plc对应的寄存器地址，由plc驱动对应执行机构；报警联动用于在检测到不合格或违规操作时，向plc发送报警指令，驱动三色灯、蜂鸣器产生声光报警，同时锁定工位放行机构；所述量化时序匹配度的方式为：视觉检测的处理耗时为，通讯传输耗时为，单道工序的标准操作周期为，单道工序的标准操作耗时为，则工序空余时间为，工序时序匹配度通过下式计算：，式中，分子为视觉检测与通讯的总耗时，分母为工序内可用于检测的空余时间；数值越接近1表示检测耗时占空余时间比例越小，视觉检测与工序操作的时序契合度越高，对生产节拍的影响越小；所述实时联动控制支持通讯参数自适应配置，可根据不同plc的协议类型调整寄存器映射关系与通讯周期，适配不同产线的控制需求，保障检测结果与执行动作的同步响应。

17、优选的，所述触发式影像存储机制仅在检测到违规操作或不合格结果时启动影像存储，避免无差别存储占用大量存储空间；当检测到违规行为时，记录违规发生的时刻，自动截取违规时刻前后各时长的视频片段，同时保存对应时刻的单帧高清图像；设单段违规视频的平均时长为，视频码率为，单日违规次数为，单日存储占用空间通过下式计算：，式中，为单日违规影像的存储占用空间；为违规前后的截取时长；时间与码率的乘积累积为数据总量；所述关联多类元数据用于将存储文件以工位编号加工序编号加时间戳的规则命名，并关联对应的违规类型、检测结果两类元数据；所述多维度检索溯源支持按时间、工位、工序、违规类型四类维度进行检索回溯，为质量问题分析、责任界定提供直接证据，完善质量管控闭环。

18、优选的，所述多品种工件参数配置模板内置多种工件的参数配置模板，覆盖不同尺寸、不同装配工序的检测需求；所述自动调整视觉检测与互锁控制参数根据不同的检测对象与工序类型，自动调整粗定位裁剪比例、精定位放大倍率、分割置信度阈值、连续判定帧数、互锁逻辑规则五类参数；所述产线快速换型与柔性生产适配在更换工件时直接调用对应模板即可完成系统参数切换，无需重新进行模型训练与参数调试，大幅缩短产线换型时间，适配多品种柔性生产需求。

19、本发明的技术效果和优点：

20、1、本发明通过多相机空间协同调度模块，基于光学成像几何关系量化视野尺寸与工作距离的对应关系，结合多视场拼接覆盖完整性校验与同步触发控制，基于工序流转动态唤醒对应相机，既实现了复杂工件、长尺寸线束的无盲区检测，又提升了算力资源利用率，解决了现有多相机方案协同性差、检测时序脱节的问题，在保证检测全覆盖的前提下降低了系统运行负载；

21、2、本发明采用两级视觉定位检测架构，通过粗定位剔除背景干扰、精定位放大还原细节，结合误差传递机制量化两级定位的综合精度，同时支持参数自适应调整，有效提升了卡扣、扎带尾线等小尺寸特征的识别准确率，解决了现有固定参数定位方案适配性差、小目标漏检率高的问题，兼顾了检测速度与识别精度；

22、3、本发明通过静态装配特征识别模块引入标准装配数量作为参照，以完成度与置信度联合表征检测结果，结合连续帧平滑判定，比单纯数量比对具备更强的抗干扰能力；同时通过动态动作合规性验证模块构建特征存在性、方向一致性与时序连续性三重验证机制，结合动作有效性综合系数进行判定，能够精准区分真实操作与静态伪装，解决了现有单帧静态检测无法识别虚假操作、误漏检率高的问题，大幅提升了动作类装配工序的检测可靠性；

23、4、本发明通过分级工序互锁控制模块，建立工序级与工位级两级刚性约束，将翻转角度、到位延迟纳入执行机构可靠度的线性衰减模型，结合串联可靠度模型保障互锁闭环稳定性，实现不合格品在工序内、工位内的双重拦截，解决了现有技术工序间缺乏约束、不合格品易流转的问题，从流程层面强化了过程防错能力，降低了后续返工成本；

24、5、本发明通过plc联动执行模块与违规证据溯源存储模块，一方面实现视觉检测与产线控制的深度融合，通过空余时间占比模型量化评估节拍适配性，保证检测时序与生产节拍高度匹配；另一方面通过触发式影像留存与多维度溯源，完善了质量管控闭环，解决了现有技术违规行为无法追溯、质量问题难以界定的问题，为生产质量持续优化提供数据支撑。