基于端云协同的工业视觉检测方法及系统与流程

摘要: 本发明涉及工业视觉检测,尤其涉及基于端云协同的工业视觉检测方法及系统。背景技术:1、工业视觉缺陷检测是智能制造产线在线质量管控的核心环节。随着深度学习技术普及,...
基于端云协同的工业视觉检测方法及系统与流程

本发明涉及工业视觉检测,尤其涉及基于端云协同的工业视觉检测方法及系统。

背景技术:

1、工业视觉缺陷检测是智能制造产线在线质量管控的核心环节。随着深度学习技术普及,端云协同架构在工业视觉检测场景大规模落地,通用方案逻辑为:边缘端侧部署轻量化神经网络保障实时低延迟推理,将模型识别困难的图像上传云端完成增量学习迭代,持续适配产线新品、新型缺陷。现有主流端云协同检测方案工作逻辑为:端侧模型逐帧推理产线图像,若单帧缺陷检测置信度低于固定阈值,直接将当前图像标记为难例样本上传云端;云端汇总全部上传样本执行全局增量训练,更新完整模型文件后下发至端侧覆盖原有模型。

2、然而,该现有方案的上传触发逻辑仅依靠单帧瞬时置信度阈值判定,缺少对单类缺陷长时间维度整体检测稳定性的量化评估机制。端侧模型针对某类缺陷仅偶发置信度下跌、时序整体波动平缓时,代表模型对该缺陷已具备稳定识别能力,无需重复上传样本;与之相反,若某类缺陷多帧置信度剧烈震荡,代表模型对该缺陷认知不足,需要持续上传样本优化。现有方案无法区分两种工况,造成成熟稳定缺陷样本重复上传,占用通信带宽、消耗云端算力;同时云端完成模型训练下发后,不存在标准化指标判定单类缺陷识别能力是否达标,无配套端侧任务固化逻辑,即便端侧模型对某类缺陷识别性能完全达标,仍持续执行冗余上传流程,整体系统带宽、算力资源利用率偏低。

技术实现思路

1、鉴于上述问题,本发明的目的是提供基于端云协同的工业视觉检测方法及系统,以解决现有端云协同工业视觉检测方案中,端侧向云端上传数据的触发机制仅以单帧图像的检测置信度是否低于阈值为依据,缺乏对端侧模型在各缺陷类别上整体检测稳定性的细粒度评估,导致端侧已充分掌握的稳定类别样本被重复上传造成带宽浪费和算力消耗,而认知尚不稳定的关键类别却未能被优先识别和及时优化,同时云端完成增量学习后缺乏判定各类别是否已稳定可用的标准及相应的端侧任务固化机制,使得端侧模型即使在某类别上已具备足够的检测能力仍继续执行冗余上传操作,系统资源利用效率低下的问题。

2、本发明提供的基于端云协同的工业视觉检测方法,包括:

3、通过部署在边缘端侧的轻量级端侧检测模型对工业产线的待检测图像序列进行逐帧缺陷初检,输出各缺陷类别的检测置信度,并在预设滑动时间窗口内记录各缺陷类别完整置信度时序,得到置信度时序波动参数;

4、根据置信度时序波动参数计算各缺陷类别的认知饱和度指标,将认知饱和度低于预设饱和度阈值的缺陷类别标记为待上传类别,并将待上传类别对应的图像样本及检测中间特征上传至云端;

5、在云端对待上传类别对应的缺陷进行增量学习,以更新云端检测模型中对应于待上传类别的网络参数,生成增量更新包下发至端侧;

6、端侧根据增量更新包,更新端侧检测模型中对应类别的参数,并基于更新后的模型重新计算待上传类别的认知饱和度指标,当认知饱和度指标达到预设饱和度阈值时,冻结端侧模型对应类别全部参数,将对应类别的检测任务固化于端侧执行。

7、本发明还提供基于端云协同的工业视觉检测系统,所述系统包括:

8、缺陷初检模块:用于通过部署在边缘端侧的轻量级端侧检测模型对工业产线的待检测图像序列进行逐帧缺陷初检,输出各缺陷类别的检测置信度,并在预设滑动时间窗口内记录各缺陷类别完整置信度时序,得到置信度时序波动参数;

9、上传判定模块:用于根据置信度时序波动参数计算各缺陷类别的认知饱和度指标,将认知饱和度低于预设饱和度阈值的缺陷类别标记为待上传类别,并将待上传类别对应的图像样本及检测中间特征上传至云端;

10、云端更新模块:用于在云端对待上传类别对应的缺陷进行增量学习,以更新云端检测模型中对应于待上传类别的网络参数,生成增量更新包下发至端侧;

11、固化执行模块:用于端侧根据增量更新包,更新端侧检测模型中对应类别的参数,并基于更新后的模型重新计算待上传类别的认知饱和度指标,当认知饱和度指标达到预设饱和度阈值时,冻结端侧模型对应类别全部参数,将对应类别的检测任务固化于端侧执行。

12、从上面的技术方案可知,本发明提供的基于端云协同的工业视觉检测方法及系统,具有如下有益效果:

13、本发明通过记录各缺陷类别在预设时间窗口内的置信度时序序列,计算其标准差和相邻时间步置信度差值的绝对值的平均值作为时序波动参数,进而构建认知饱和度指标,使得端侧模型对各缺陷类别的认知稳定程度得以被定量表征,克服了现有方案仅凭单帧置信度阈值无法区分“偶发性低置信度但整体稳定”与“持续性高波动性不稳定”两类情形的缺陷,实现了上传决策从“被动触发”向“主动判别”的转变。同时,本发明在端侧完成增量更新后,基于更新后的模型重新计算认知饱和度指标,并在达到预设阈值时冻结对应类别参数、停止该类别的后续上传判定,解决了现有方案中端侧模型即使在某类别上已具备足够检测能力仍持续执行冗余上传操作的问题,避免了传统更新流程中“只更新、不固化”导致的长期资源浪费。

14、另外,在实现上述精准上传与自动固化的过程中,本发明还能够显著降低端云协同系统的数据传输开销和云端增量学习的计算负载,使有限的通信带宽和云端算力资源集中于认知尚不稳定的关键缺陷类别;同时,基于认知饱和度指标构建的“上传—更新—固化”闭环机制,内蕴了端侧模型自评估与自优化的能力,在不同工业产线工况下均能自适应地调整各类别的上传策略,有效提升了端侧检测模型的长期运维效率和系统整体的智能化水平。

1.基于端云协同的工业视觉检测方法,其特征在于,所述方法包括:

2.如权利要求1所述的基于端云协同的工业视觉检测方法,其特征在于,所述端侧检测模型为轻量级卷积神经网络,包括依次连接的特征提取主干网络、特征融合颈部网络和检测头网络;

3.如权利要求1所述的基于端云协同的工业视觉检测方法,其特征在于,所述步骤1中的缺陷初检包括:

4.如权利要求1所述的基于端云协同的工业视觉检测方法,其特征在于,所述步骤2中根据置信度时序波动参数计算各缺陷类别的认知饱和度指标,包括:

5.如权利要求1所述的基于端云协同的工业视觉检测方法,其特征在于,所述步骤2中将待上传类别对应的图像样本及检测中间特征上传至云端之前,还包括:

6.如权利要求1所述的基于端云协同的工业视觉检测方法,其特征在于,所述云端检测模型为结构复杂型卷积神经网络,包括依次连接的主干特征提取网络、特征金字塔网络和检测输出网络;

7.如权利要求1所述的基于端云协同的工业视觉检测方法,其特征在于,所述步骤3中的增量学习包括:

8.如权利要求1所述的基于端云协同的工业视觉检测方法,其特征在于,所述步骤4中基于更新后的模型重新计算待上传类别的认知饱和度指标,当认知饱和度指标达到预设饱和度阈值时,冻结端侧模型对应类别全部参数,将对应类别的检测任务固化于端侧执行,包括:

9.如权利要求1所述的基于端云协同的工业视觉检测方法,其特征在于,所述预设饱和度阈值的取值范围为0.7至0.9,所述工业产线为电子元器件表面缺陷检测产线、金属工件外观检测产线或纺织品瑕疵检测产线中的任意一种,所述缺陷类别包括划痕、凹坑、脏污、形变和色差中的任意多种。

10.基于端云协同的工业视觉检测系统,其特征在于,用于实现权利要求1-9中任一项所述的基于端云协同的工业视觉检测方法,所述系统包括: