一种基于双相机协同与尾线动态渲染的扎带检测方法与流程
本发明涉及扎带检测,更具体地说,本发明涉及一种基于双相机协同与尾线动态渲染的扎带检测方法。
背景技术:
1、在线束装配生产过程中,扎带固定、尾线修剪、标记划线与胶带缠绕是保障线束规整性与电气可靠性的关键工序。目前行业内逐步采用机器视觉检测替代人工目视检查,通过单相机采集图像结合特征识别算法,实现扎带有无、尾线残留等项目的自动化检测,一定程度上提升了检测效率与结果一致性。
2、上述机器视觉检测方案能够替代重复性人工目检,减少人为疲劳导致的漏检,在短尺寸、特征明显的线束检测场景中具备较好的应用效果,但在实际应用中仍存在诸多真实存在的不足:其一,对于3米及以上的长尺寸线束,单相机视野难以实现全程覆盖,易出现检测盲区,且多相机简单拼接易出现重叠区检测结果不一致的问题;其二,胶带与线束本体颜色相近时,静态外观识别准确率大幅下降,难以可靠判定胶带是否缠绕到位;同时,扎带尾线形态弯曲不固定,仅靠单帧静态特征检测易出现误判,且缺乏直观的防呆提示,操作人员难以快速定位问题位置;其三,对于划线、胶带缠绕等动作类工序,现有方案多依赖单帧目标检测,难以确认动作是否完整执行,易出现摆放工具假操作的漏工序问题;并且,现有检测多为最终结果判定,缺乏工序间的联动互锁,漏工序产品易流入下道工序,增加返工成本与质量风险。
3、针对现有技术存在的上述不足,本发明提出一种基于双相机协同与尾线动态渲染的扎带检测方法,通过双相机视场拼接与置信度融合实现长尺寸线束无盲区检测,采用粗精两级定位提升小特征识别精度,引入尾线动态渲染强化现场防呆效果,结合连续帧轨迹分析验证工序执行真实性,并通过plc工序互锁实现过程级质量管控,提升长尺寸线束扎带相关工序的检测可靠性与生产质量管控能力。
技术实现思路
1、为了克服现有技术的上述缺陷,本发明提供一种基于双相机协同与尾线动态渲染的扎带检测方法,通过以下方案,以解决上述背景技术中提出的问题。
2、为实现上述目的,本发明提供如下技术方案:一种基于双相机协同与尾线动态渲染的扎带检测方法,包括:
3、s1、布设两台检测相机并完成视场标定,建立工位统一三维坐标系,计算双相机总有效检测长度与视场重叠区域范围,保障长尺寸线束检测全程无盲区;
4、s2、通过工位两端的到位检测装置判定线束完全就位后,触发两台检测相机以固定帧率同步采集图像,并将两路图像流并行传输至视觉处理单元;
5、s3、对两路采集图像分别执行独立运算,每路图像同步开展扎带目标定位与手部区域定位两个并行分支的粗精两级定位处理,逐级剔除背景干扰,输出精准检测区域;
6、s4、基于扎带目标的精准检测区域完成扎带在位判定与尾线残留检测,对尾线残留区域实施可视化动态渲染防呆,并对视场重叠区内的扎带检测结果执行置信度融合判定;
7、s5、基于手部区域定位结果提取胶带卷的连续帧运动轨迹,计算胶带缠绕动作完整度,以此判定胶带缠绕工序的真实执行状态,规避颜色相近导致的静态检测失效;
8、s6、基于手部区域定位结果提取画笔尖端的连续帧运动轨迹,计算划线动作有效度,以此验证划线工序的执行真实性与轨迹合规性,杜绝虚假操作漏检;
9、s7、按照线束装配的工序顺序建立多道检测工序的前后置互锁逻辑,依据各工序检测结果控制工位放行权限,不合格状态下触发报警并禁止产品流转;
10、s8、在检测到任意工序不合格时,自动截取不合格时段的影像片段并叠加标识信息,按照统一规则存储后形成可追溯的结构化质量档案。
11、优选的,两台检测相机布设采用对称布设于工位正上方的安装方式,镜头光轴垂直于线束平面,工作距离设置为800mm~1000mm,调整相机角度使两台相机视场沿线束轴向部分重叠,每台相机沿轴向覆盖1.5米线束段,中间重叠200mm~300mm,两台相机均通过网口连接视觉工控机;所述视场标定用于完成相机内参标定,确定单像素对应的实际物理尺寸,相机参数设置为分辨率、帧率8fps;所述工位统一三维坐标系的建立以线束起始端的工装定位点为原点,沿线束轴向为x轴,在工装平面内垂直于x轴的方向为y轴,垂直于工装平面向上为z轴;所述双相机总有效检测长度计算采用如下公式:,式中,为左相机沿x轴方向的视场长度;为右相机沿x轴方向的视场长度;为两相机视场重叠区域沿x轴方向的长度;所述视场重叠区域范围的确定通过坐标系映射完成双相机视场的位置匹配,明确重叠区沿x轴的起止坐标,用于后续重叠区扎带的置信度融合判定。
12、优选的,到位检测装置采用安装于工位两端的光电传感器,传感器开关量信号接入plc控制器,用于实时检测线束放置状态;所述线束完全就位的判定由plc控制器执行,当两端光电传感器均被触发时,判定线束完全就位,并向视觉工控机发送检测启动指令;所述同步采集图像由视觉工控机通过硬件同步触发方式控制,采集帧率固定为8fps;所述两路图像流并行传输用于将左、右检测相机的实时图像数据独立传输至视觉工控机,由视觉工控机对两路图像分别执行后续处理运算。
13、优选的,所述独立运算由视觉工控机对左、右相机的图像流分别执行独立的图像处理流程,两路运算互不干扰,检测结果后续合并完成整体判定;所述两个并行分支为扎带目标定位分支与手部区域定位分支,两路分支同步开展处理,分别输出静态特征与动态动作所需的基础数据;所述粗精两级定位处理在两个分支中均分为粗定位阶段与精定位阶段,逐级压缩背景范围、放大目标特征;扎带目标定位分支的粗定位阶段对原始采集图像进行固定倍率压缩,采用像素分割模型提取线束主干区域,分割模型感受野设置为64,分割阈值设为0.5,输出线束主干的粗定位掩码;按照粗定位掩码的外接矩形进行裁剪,并对外接矩形施加10%~20%的外扩系数,得到线束粗定位图像;粗定位区域有效占比计算采用如下公式验证外扩系数合理性:,式中,为像素分割输出的线束区域像素总面积;为粗定位裁剪后图像的总像素面积;扎带目标定位分支的精定位阶段将线束粗定位图像进行2倍分辨率放大还原,再次采用像素分割模型对各扎带位置进行精确定位,输出每个扎带的独立区域掩码,按扎带沿x轴的位置顺序进行编号;手部区域定位分支的粗定位阶段与扎带定位同步执行,对同帧原始图像采用相同压缩倍率,通过像素分割模型提取手部区域,输出手部粗定位掩码,按照手部外接矩形进行裁剪并施加30%~40%的外扩系数,保留手部活动的冗余空间;手部区域定位分支的精定位阶段将手部粗定位图像放大还原后,通过像素分割模型区分左手区域与右手区域,并进一步分割出手部持有的工具区域,包括画笔区域与胶带卷区域,分别输出对应掩码与实时位置坐标;所述精准检测区域的输出包含全部扎带的精准检测区域与手部工具的实时位置数据。
14、优选的,扎带精准检测区域取自粗精两级定位输出的各扎带独立区域掩码,逐一对扎带执行在位判定与尾线残留检测;扎带在位判定通过识别扎带区域掩码的存在性与面积合规性完成,当扎带区域掩码的像素面积满足设定阈值要求时,判定该扎带在位;尾线残留检测通过提取扎带尾部的连通域特征,计算尾线残留特征指数完成剪除状态判定,尾线残留特征指数计算采用如下公式:,式中,为第m个扎带对应尾线连通域的像素面积;为该连通域的像素轮廓周长;为图像单个像素对应的实际物理尺寸;当尾线残留特征指数低于设定阈值时,判定该扎带尾线已剪除;尾线残留区域可视化动态渲染防呆在显示界面实时叠加红色动态渲染掩码;当尾线被剪除、尾线残留特征指数低于阈值后,渲染掩码随尾线特征同步消失;视场重叠区内的扎带检测结果置信度融合判定针对位于双相机视场重叠区内的扎带,分别获取两台相机的独立检测结果,通过置信度融合算法得到综合判定结果,降低单视角遮挡导致的误检,双相机重叠区检测置信度融合计算采用如下公式:,式中,为左相机输出的第m个扎带检测置信度,为0~1区间的无量纲概率值;为右相机输出的第m个扎带检测置信度,为0~1区间的无量纲概率值;为融合后的综合检测置信度,为0~1区间的无量纲概率值。
15、优选的,手部区域定位结果取自并行分支输出的手部工具区域数据,包含胶带卷的实时位置坐标;所述胶带卷的连续帧运动轨迹提取连续帧内胶带卷的位置数据,记录每帧胶带卷相对于上一帧的横向与纵向位移,形成完整的动作轨迹序列;所述胶带缠绕动作完整度计算基于轨迹序列的总长度与标准轨迹长度的比值完成,计算公式如下:,式中,分别为第t帧胶带卷位置相对于上一帧的横向、纵向像素位移;、分别为缠绕动作的起始帧、结束帧序号;分子为缠绕动作全过程的总轨迹像素长度;为标准缠绕动作对应的轨迹像素总长度;所述真实执行状态判定依据动作完整度数值完成,当动作完整度高于设定阈值时,判定胶带缠绕工序合格。
16、优选的,所述手部区域定位结果取自并行分支输出的手部工具区域数据,包含画笔尖端的实时位置坐标;画笔尖端的连续帧运动轨迹提取划线周期内画笔尖端的位置数据,统计运动轨迹长度、轨迹外接矩形参数与有效检测帧数;划线动作有效度计算从轨迹舒展度与动作持续性两个维度综合判定,计算公式如下:,式中,为划线周期内画笔尖端的运动轨迹像素长度;为该轨迹外接矩形的对角线像素长度;为周期内检测到画笔的有效帧数;为划线动作周期的总帧数;划线工序的执行真实性与轨迹合规性验证依据划线有效度数值完成,当划线有效度高于设定阈值时,判定划线工序合格。
17、优选的,线束装配的工序顺序按照扎带在位、尾线剪除、胶带缠绕、划线的先后生产流程确定;多道检测工序的前后置互锁逻辑设定前一道工序检测未合格时,系统不进入下一道工序的判定流程;各工序检测结果包含扎带在位、尾线剪除、胶带缠绕、划线四道工序的合格/不合格判定数据,由视觉工控机汇总后通过以太网通讯传输至plc控制器;工位放行权限控制由plc控制器执行,仅当全部工序均检测合格后,视觉工控机向plc控制器发送整体合格信号,plc控制器解除工位锁定并触发合格提示,允许产品流入下一道工序;不合格状态下触发报警并禁止产品流转在任意工序检测不合格时执行,plc控制器立即驱动声光报警模块发出警报,同时锁定工位放行权限,禁止不合格产品流转至下游工序。
18、本发明的技术效果和优点:
19、1、本发明通过双相机视场拼接与重叠区置信度融合,实现3米长尺寸线束的无盲区全覆盖检测,解决了单相机视野不足、长束检测存在盲区的问题;结合粗精两级定位机制,逐级压缩背景干扰、放大目标特征,有效提升了扎带尾线、划线等小尺寸特征的识别准确率,降低了复杂背景下的误检率;
20、2、本发明通过尾线动态渲染防呆机制,将尾线残留状态以可视化掩码的形式实时呈现,实现检测过程的直观防呆,解决了传统静态检测尾线形态弯曲易误判、操作人员难以及时定位问题的不足;同时采用连续帧动作判定算法,分别对胶带缠绕、划线动作进行轨迹化验证,规避了颜色相近导致的外观检测失效,杜绝了虚假操作导致的漏检,确保工序真实执行;
21、3、本发明通过plc工序互锁逻辑,将四道检测工序与生产流程深度绑定,前序不合格则无法进入下序且禁止产品流转,实现了过程级质量管控,解决了传统终检无法及时拦截漏工序、不合格品易流向下游的问题;配套结构化异常数据留存机制,为质量追溯与问题分析提供完整的影像证据,降低了质量问题溯源与返工成本。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com