基于多任务深度元学习的精密齿轮表面缺陷智能检测与尺寸测量方法和系统

摘要: 本发明属于智能制造、计算机视觉与工业人工智能交叉,具体涉及一种基于多任务深度元学习的精密齿轮表面缺陷智能检测与尺寸测量方法和系统。背景技术:1、精密齿轮是汽车传...
基于多任务深度元学习的精密齿轮表面缺陷智能检测与尺寸测量方法和系统

本发明属于智能制造、计算机视觉与工业人工智能交叉,具体涉及一种基于多任务深度元学习的精密齿轮表面缺陷智能检测与尺寸测量方法和系统。

背景技术:

1、精密齿轮是汽车传动系统、航空发动机、机器人减速器、数控装备及高端工业传动装置中的核心传动部件,其表面加工质量直接影响传动精度、运行稳定性和服役寿命。在齿轮的加工(包括滚齿、插齿、剃齿、磨齿)、热处理、装配及服役过程中,齿面、齿根、端面和倒角等区域可能出现划伤、裂纹、麻点、压痕、磕碰、剥落、崩边等表面缺陷。上述缺陷通常具有尺寸微小(可达微米级)、形态不规则、边界模糊、与正常加工纹理相似度高等特点,若未能及时发现,极易引起局部应力集中和疲劳损伤扩展,进而导致整机传动失效乃至安全事故。因此,对精密齿轮表面缺陷进行自动化、智能化和可量化检测,具有重要的工程应用价值和现实紧迫性。

2、目前,精密齿轮表面缺陷的检测手段主要分为三大类。

3、(1)人工目视检测。该方式依赖检测人员的肉眼观察和经验判断,不仅检测效率低下、劳动强度大,而且主观性强、一致性差,难以满足大批量生产中的稳定检测需求。尤其对于微小缺陷和复杂纹理背景下的弱对比度缺陷,人眼极易发生漏检和误检。

4、(2)传统机器视觉检测方法。该类方法通常基于人工设计的图像特征,如阈值分割、边缘提取、纹理统计分析和形态学处理等,对齿轮图像进行缺陷识别。然而,精密齿轮表面往往具有复杂的磨削纹理和加工痕迹,且不同批次、不同型号齿轮的外观差异明显,传统方法的特征泛化能力严重不足,在面对复杂加工纹理、微小缺陷和光照变化时,容易出现较高的漏检率和误检率。此外,传统方法通常将缺陷检测和尺寸测量作为独立流程处理,存在特征重复计算、系统冗余度高、信息利用率低等问题。

5、(3)基于深度学习的智能检测方法。近年来,卷积神经网络、目标检测网络和语义分割网络逐渐被引入工业缺陷检测领域,显著提升了缺陷识别和定位的能力。然而,这类方法在实际工业应用中仍面临诸多瓶颈:其一,深度学习模型通常需要大量标注样本进行训练,而工业现场中的缺陷样本具有低频性、长尾分布和类别不均衡等特点,新型缺陷、新齿轮型号出现时,难以在短时间内获取充足的标注数据,导致模型泛化能力不足;其二,现有深度学习方法大多侧重于缺陷的分类或粗略定位,对缺陷边界的亚像素级恢复、像素级定位和精确尺寸测量关注不足,难以满足精密齿轮质量控制对缺陷长度、宽度、面积、位置及其与齿轮几何轮廓之间定量关系的需求;其三,现有检测流程往往将缺陷识别、缺陷分割和几何尺寸测量作为相互独立的子任务,缺乏有效的任务协同,造成特征重复计算和部署效率低下;其四,当产线换型、加工批次变化或新增缺陷类别时,现有模型通常需要重新采集大量样本并从头训练,更新周期长、成本高,难以适应工业现场快速变化的生产需求;其五,在长周期运行过程中,光源衰减、镜头污染、环境温湿度变化等因素会导致成像条件发生缓慢漂移,而静态模型无法自适应调整,检测性能随时间推移逐渐衰退,难以形成长期稳定的工业应用闭环。

6、综上所述,现有技术尚未能提供一种能够同时解决精密齿轮金属表面强反光干扰、缺陷样本稀缺条件下的模型泛化、多任务协同处理、少样本快速换型适配以及长期运行中模型自进化等综合性技术问题的检测方案。因此,亟需一种面向精密齿轮表面缺陷检测与尺寸测量的智能化方法及系统,使其能够在同一检测链路中完成缺陷识别、像素级定位和几何尺寸测量,并在小样本条件下快速适应新齿轮型号、新加工批次和新增缺陷类别,同时具备在线样本筛选、增量更新和版本管理能力,以提升模型在真实工业产线长期运行过程中的稳定性、适应性和可维护性。

技术实现思路

1、有鉴于此,本发明的目的在于提供一种基于多任务深度元学习的精密齿轮表面缺陷智能检测与尺寸测量方法和系统,以在同一检测链路中同步完成缺陷识别、像素级定位与尺寸测量,同时具备少样本快速换型适配能力和长期自进化能力,从而解决强反光干扰、样本稀缺和模型性能衰退等技术问题。

2、为达到上述目的,本发明提供如下技术方案:

3、本发明首先提出了一种基于多任务深度元学习的精密齿轮表面缺陷智能检测与尺寸测量方法,包括如下步骤:

4、步骤s1,自适应图像预处理:获取精密齿轮表面的原始rgb图像,对所述原始rgb图像进行自适应图像补偿,以抑制镜面反射干扰,并对补偿后的图像进行受约束的表面纹理重建,以恢复被强反光遮蔽的表面纹理,同时保留真实刀纹、缺陷边缘和齿廓几何信息,最终输出经自适应预处理的图像;

5、步骤s2,缺陷检测与尺寸测量:将所述经自适应预处理的图像输入至一个轻量化共享主干网络,通过多级下采样和跨层特征融合提取多尺度共享特征;基于所述多尺度共享特征,通过一个缺陷检测与分类分支输出缺陷的类别概率和像素级分割掩膜,同时通过一个几何尺寸测量分支输出齿轮几何轮廓和缺陷边界的亚像素级关键点坐标,并结合相机标定参数计算缺陷长度、宽度、面积、位置以及齿轮几何尺寸,从而通过同一次前向推理同步完成缺陷检测与尺寸测量;执行步骤s3或步骤s4;

6、步骤s3,少样本迁移:构建由多个历史检测任务组成的历史任务池,每个所述历史检测任务包含支持集和查询集,通过内外双层循环优化提取跨任务可复用的元知识,得到元初始化参数;当面向新齿轮型号或新产线时,采集少量带标签样本,以所述元初始化参数为起点进行少步快速微调,得到适配当前目标域的检测与测量模型,经验证后部署用于执行所述步骤s2;

7、步骤s4,模型自进化:在产线长周期运行期间,从在线采集的齿轮图像中提取高置信度伪标签样本和需人工复核样本,并结合历史回放样本构成增量微调数据集;在产线空闲时段,基于所述增量微调数据集对当前模型进行增量微调,生成候选模型;当所述候选模型通过新工况验证和历史工况回归验证后,生成新版本并更新在线检测端的检测与测量模型用于执行所述步骤s2。

8、进一步,步骤s1中,所述自适应图像预处理包括自适应图像补偿和表面纹理重建;

9、所述自适应图像补偿的方法为:将所述原始rgb图像转换至亮度与色度分离的颜色空间,计算色度不变量与饱和度负梯度,确定强反光区域并生成动态强反光掩膜;对所述强反光掩膜覆盖的区域,通过特征空间正交投影削弱镜面反射分量,得到补偿图像;其中:

10、所述原始rgb图像的成像过程建模为漫反射分量、镜面反射分量 与噪声 的叠加:

11、

12、所述颜色空间变换表示为:

13、

14、其中:为色调;为饱和度;为亮度;为hsv颜色空间变换函数;为图像中的像素坐标;

15、所述强反光响应值 表示为:

16、

17、其中:为强反光响应值;为归一化亮度;为归一化饱和度;为亮度梯度;、和分别为亮度、梯度和饱和度项的非负权重系数;

18、用于生成所述强反光二值掩膜的动态阈值根据局部窗口  内响应均值与标准差确定:

19、

20、所述强反光二值掩膜为:

21、

22、其中:为动态阈值调节系数;

23、所述补偿图像通过下述正交投影获得:

24、

25、其中: 为镜面反射方向向量; 为自适应剥离系数; 表示将补偿结果截断至图像允许的像素值范围;

26、所述表面纹理重建的方法为:以所述补偿图像和所述强反光二值掩膜为约束,建立包含数据保真项、局部信息熵项和全变分平滑项的能量函数,对所述强反光掩膜覆盖的区域进行纹理重建,使重建区域的纹理与周围齿面纹理连续衔接,输出所述预处理图像;其中:

27、所述能量函数  表示为:

28、

29、其中:为数据保真项;为局部信息熵项;为全变分平滑约束项;为参考梯度场引导项;、、和分别为各约束项的权重系数;

30、约束项包括:

31、

32、

33、

34、所述自适应图像预处理图像通过求解以下优化问题获得:

35、

36、其中:和分别为图像在方向和方向的偏导数;为图像的梯度向量;为由强反光边界外可靠像素估计得到的参考梯度场;为纹理重建过程中的待优化图像;为能量函数取得最优值时的重建结果,即自适应图像预处理图像;为防止平方根内出现零值的正数稳定常数;为由  的像素组成的强反光区域集合。

37、进一步,步骤s2中,所述轻量化共享主干网络提取的多尺度共享特征表示为:

38、

39、其中:为参数为  的共享主干网络;至为不同层级的特征图;

40、浅层特征和深层特征通过特征拼接或加权融合得到:

41、

42、其中:表示特征拼接或加权融合操作;

43、部署阶段通过结构重参数化将多分支卷积融合为等效卷积核:

44、

45、其中:为部署阶段的等效卷积核; 为卷积核与批归一化参数的融合变换,用于降低推理延迟;为第r个训练分支的卷积核;为第r个训练分支的批归一化参数;为训练阶段的卷积分支总数。

46、进一步,步骤s2中,所述缺陷检测与分类分支的输入为深层语义特征:

47、

48、其中:  为缺陷检测分支;为深层特征;为缺陷检测分支对深层特征的映射函数;

49、所述缺陷检测与分类分支引入可变形卷积以适应齿根圆弧、齿顶倒角和缺陷边界形态变化,可变形卷积的输出为:

50、

51、其中:为位置处的可变形卷积输出特征;为输出特征图上的采样中心位置;为常规卷积核第n个采样位置的预设偏移量; 为采样位置对应的卷积权重;为缺陷检测分支输出的特征图; 和  分别为可变形卷积的采样偏移量和调制权重;

52、缺陷类别概率向量  和像素级缺陷掩膜  分别通过以下方式输出:

53、

54、其中: 为预测缺陷类别;和分别为分类头和分割头; 为sigmoid激活函数。

55、进一步,步骤s2中,所述几何尺寸测量分支的输入为浅层高分辨率特征:

56、

57、其中:  为尺寸测量分支;为浅层特征;

58、对于第  类缺陷几何关键点,利用soft-argmax获得亚像素坐标:

59、

60、其中: 为亚像素关键点坐标; 为第  类缺陷关键点热力图;为热力图在候选位置处的响应值; 为温度系数;和分别为亚像素关键点坐标的横坐标和纵坐标;和分别为热力图求和范围内的候选横坐标和候选纵坐标;

61、根据相机标定得到的单应变换矩阵 ,将图像坐标映射至物理坐标:

62、

63、其中: 为物理坐标;

64、对于齿顶圆、齿根圆或孔径轮廓点集,采用带权圆拟合计算直径:

65、

66、其中:为第i个轮廓点映射至物理坐标系后的坐标;和分别为拟合圆心的横坐标和纵坐标; 为拟合圆心半径; 为测得的齿轮几何尺寸。

67、进一步,所述步骤s3中,所述历史任务池定义为:

68、

69、其中:为历史任务池; 为第  个历史检测任务; 和  分别为支持集和查询集;为历史检测任务的数量;

70、所述内外双层循环优化包括:

71、内循环:对于第  个任务,利用支持集计算任务损失,并执行一阶梯度更新得到在当前任务上快速适配后的参数 ,其中:为分类、分割、关键点定位和尺寸测量任务的联合损失函数;为参数为θ的检测与测量模型; 为待学习的模型初始参数; 为内循环学习率;

72、外循环:将适配后的参数作用于查询集,计算跨任务元损失,并更新模型初始参数 ,其中:为经第i个任务支持集快速适配后的检测与测量模型;表示跨任务元损失,用于学习易于迁移的模型初始化;  为外循环学习率,通过最小化所述跨任务元损失得到最优元初始化参数。

73、进一步,所述步骤s3中,所述面向新齿轮型号的快速微调方法为:

74、将新任务少样本数据集表示为,以所述最优元初始化参数 作为起点 ;其中:为第j个带标签样本及其标签;为新任务少样本数据集中的样本数量;

75、执行少步数自适应更新:,其中:和分别为第r次和第r+1次微调迭代后的模型参数;为分类、分割、关键点定位和尺寸测量任务的联合损失函数;为采用第r次微调迭代所得参数的检测与测量模型; 为新任务微调学习率; 为微调迭代次数;

76、在微调过程中,对用于提取边缘、纹理和轮廓的浅层卷积参数设置较低学习率或保持冻结,重点调整高层特征以及分类、分割、关键点和尺寸测量任务头;

77、微调损失函数引入元参数保持约束:,其中:为新任务微调的总损失函数;为模型在新任务少样本数据集上的任务损失;为当前微调的模型参数; 为元参数保持权重,用于抑制小样本条件下的过拟合。

78、进一步,步骤s4中,所述高置信度伪标签样本的提取方法为:

79、对在线采集的第  个齿轮图像  执行  次随机前向推理或模型集成推理,获得  组预测结果:

80、

81、其中:为第  次前向推理得到的预测结果;、和 分别为第 次推理得到的类别概率、缺陷掩膜和关键点坐标;为重复推理次数;

82、平均类别概率和分类置信度分别为:

83、

84、其中:为平均类别概率;为分类置信度;为平均类别概率向量中的第c类概率分量;

85、分类不确定度、分割不确定度和关键点定位不确定度分别计算为:

86、

87、

88、

89、其中:、和分别表示分类、分割和关键点定位不确定度;为第k次推理得到的第n个关键点坐标; 和  分别为平均缺陷掩膜和平均关键点坐标; 为关键点数量; 为交并比运算;

90、综合不确定度  由分类不确定度、分割不确定度和关键点定位不确定度加权融合得到:

91、

92、其中:、、 为对应的非负融合权重;

93、样本分流规则为:当所述分类置信度  不低于第一阈值  且所述综合不确定度  不高于第二阈值  时,将该样本及其预测结果组成高置信度伪标签样本,存入增量样本缓存池 ;否则将该样本推送至人工复核队列 ,由人员确认其状态。

94、进一步,步骤s4中,所述增量微调数据集由高置信度伪标签样本集、人工复核样本集和历史回放样本集构成:;

95、历史任务参数重要性通过fisher信息近似表示:

96、

97、其中: 为第  个参数对历史任务的重要性; 为增量学习前的历史模型参数;

98、增量学习目标函数为:

99、

100、其中:为增量微调的总损失函数;为模型在增量微调数据集上的任务损失; 为无遗忘约束权重;为第i个模型参数对应的fisher信息近似值;为当前模型的第i个参数,带上标星号的对应参数为增量学习前历史模型的第i个参数; 为参与弹性权重巩固算法约束的模型参数总数;

101、候选模型参数通过优化所述增量学习目标函数获得:;

102、当所述候选模型通过新工况验证且历史工况性能未明显下降时执行回部署:

103、

104、其中:  为最终部署至边缘工控机的模型参数。

105、本发明还提出了一种基于多任务深度元学习的精密齿轮表面缺陷智能检测与尺寸测量系统,用于执行如上所述基于多任务深度元学习的精密齿轮表面缺陷智能检测与尺寸测量方法,包括:

106、视觉成像系统:包括多通道可编程频闪光源与高分辨率工业相机,用于获取精密齿轮表面不同角度及光照条件下的原始rgb图像;所述多通道可编程频闪光源支持不同角度及光照条件的编程控制,所述高分辨率工业相机用于配合所述光源获取齿轮表面图像;

107、边云协同计算系统:包括边缘计算工控节点和云端模型管理服务器;所述边缘计算工控节点与所述云端模型管理服务器之间通过有线或无线网络连接,用于实现模型参数的同步、更新和回部署;

108、所述边缘计算工控节点部署有轻量化检测与测量模型,用于执行所述步骤s1和所述步骤s2;包括:

109、图像预处理引擎:用于执行所述自适应图像补偿与受约束表面纹理重建,将原始rgb图像转换为经自适应预处理的图像 ;

110、共享特征提取引擎:内置轻量化共享主干网络 ,用于通过多级下采样和跨层特征融合提取多尺度共享特征;

111、缺陷检测与分类引擎:用于基于深层语义特征 ,通过可变形卷积和分类、分割头输出缺陷类别概率  和像素级分割掩膜 ;

112、几何尺寸测量引擎:用于基于浅层特征 ,通过关键点热力图和soft-argmax机制输出亚像素级关键点坐标 ,并结合相机标定参数和带权圆拟合计算缺陷尺寸和齿轮几何尺寸;

113、其中,所述缺陷检测与分类引擎和所述几何尺寸测量引擎共享所述共享特征提取引擎输出的多尺度共享特征,通过同一次前向推理同步完成缺陷检测与尺寸测量;

114、所述云端模型管理服务器用于存储历史样本,并分别用于执行所述步骤s3的历史任务池构建、元知识提取和少样本快速微调,以及所述步骤s4的多工况数据汇总、增量微调、验证和版本管理,并将更新后的候选模型经验证合格后回部署至所述边缘计算工控节点;包括:

115、历史任务池构建模块:用于将不同齿轮型号、材料批次、缺陷类型、光照条件和加工状态下的历史图像组织为多个元学习任务,其中每个任务划分为支持集 和查询集 ;

116、元知识提取模块:用于通过内外双层循环优化提取跨任务可复用的元知识,得到最优元初始化参数 ;

117、快速微调模块:用于当产线切换至新齿轮型号时,以所述最优元初始化参数 为起点,利用少量新齿轮型号带标签样本  进行少步快速微调,生成适配当前型号的候选模型,并将经验证合格的模型回部署至所述边缘计算工控节点;

118、增量学习模块:用于在产线长周期运行期间,基于高置信度伪标签样本集 、人工复核样本集  和历史回放样本集  对模型进行增量微调,并通过新工况验证和历史工况回归验证后生成更新版本;

119、版本管理模块:用于当候选模型  通过新工况验证且历史工况性能未明显下降时,生成新版本模型并回部署至所述边缘计算工控节点;当验证失败时,保留当前在线模型 。

120、本发明的有益效果在于:

121、本发明基于多任务深度元学习的精密齿轮表面缺陷智能检测与尺寸测量方法,具有以下技术效果。

122、(1)自适应图像预处理的效果。通过对原始rgb图像进行自适应补偿与受约束纹理重建,能够有效剥离镜面反射分量并恢复被强反光遮蔽的表面纹理。与现有技术相比,本发明在抑制强反光干扰的同时保留了缺陷边缘和齿廓几何信息,显著提升了后续检测环节的输入图像质量,为高精度缺陷识别和尺寸测量奠定了基础。

123、(2)多任务联合检测与测量的效果。通过采用轻量化共享主干网络提取多尺度共享特征,并由缺陷检测与分类分支和几何尺寸测量分支同步使用。本发明一方面避免了特征的重复计算,降低了计算开销,提升了部署效率;另一方面确保了缺陷位置、分割边界和尺寸测量结果在空间上的一致性,避免了传统串行方案中因特征不对齐导致的精度损失。

124、(3)少样本迁移的效果。通过构建历史任务池进行内外双层循环优化,提取跨任务可复用的元知识,使得在新齿轮型号或新产线换型时仅需少量标注样本即可完成模型快速微调。本发明有效克服了传统深度学习依赖大规模标注数据的瓶颈,大幅缩短了换型周期,降低了数据采集和标注成本。

125、(4)模型自进化的效果。通过从在线数据中提取高置信度伪标签样本并结合历史回放与ewc约束进行增量微调,使模型能够在产线长周期运行中持续适应环境漂移(如光源衰减、镜头污染等),同时有效抑制了灾难性遗忘。候选模型须通过新工况验证和历史工况回归验证后方可部署,保障了更新安全性和检测稳定性。

126、综上所述,本发明基于多任务深度元学习的精密齿轮表面缺陷智能检测与尺寸测量方法,系统性解决了精密齿轮表面缺陷检测在成像质量、样本稀缺、多任务协同、快速换型和长期自适应等方面的多重技术难题,具有显著的协同增益效果。