一种门窗五金件装配工位自动识别方法、系统、设备及介质与流程

摘要: 本发明属于计算机,特别是涉及一种门窗五金件装配工位自动识别方法、系统、设备及介质。背景技术:1、门窗五金件装配是门窗智能制造过程中的核心环节,其装配工位的精准识...
一种门窗五金件装配工位自动识别方法、系统、设备及介质与流程

本发明属于计算机,特别是涉及一种门窗五金件装配工位自动识别方法、系统、设备及介质。

背景技术:

1、门窗五金件装配是门窗智能制造过程中的核心环节,其装配工位的精准识别与定位直接决定五金件安装精度、装配效率及产品整体性能。随着居民消费需求升级与建筑节能标准提升,门窗行业已从传统标准化生产转向多品种、小批量的个性化定制模式,定制型型材占比已提升至40%,开槽断面种类扩展至200余种,涵盖极窄边框、隐藏式排水等特殊结构,对装配工位识别的柔性适配能力提出了更高要求。然而,当前门窗五金件装配工位识别主要依赖传统人工目测、机械模板定位及早期视觉识别技术,其中人工目测与机械模板定位方式易受人为操作误差影响,孔位偏差导致的返工率较高,且不同规格开槽需对应专用模板,换产时需重新调试校准,换产时间可达小时级,难以适配柔性生产需求。而机械模板还需定期通过三坐标测量仪校验,维护成本高,且无法应对现场油污、粉尘等环境干扰带来的定位偏差问题。

2、为提升识别自动化水平,行业内逐步引入机器视觉与深度学习技术,但仍存在显著技术缺陷。一方面,传统机器视觉方法基于预设模板匹配或单一特征点检测,对门窗型材金属反光、装配工装遮挡等现场干扰敏感,鲁棒性不足,且定位精度多局限于像素级,难以满足五金件装配所需的亚毫米级精度要求,无法适配高密封、高节能门窗的装配质量标准。另一方面,现有深度学习识别方法通常依赖大规模标注样本进行模型训练,而门窗个性化定制场景下,新类型开槽的标注样本获取成本高、周期长,导致模型对小样本新类别开槽的识别效果不佳,且模型训练后对新类别适配性差,换产时需进行大规模重新训练,严重影响生产效率。

技术实现思路

1、基于此,有必要针对上述技术问题,提供一种门窗五金件装配工位自动识别方法、系统、设备及介质,旨在提高门窗五金件装配工位识别的柔性适配能力、复杂环境鲁棒性和亚像素定位精度,增强对小样本新类别的泛化识别能力。

2、第一方面,本技术提供了一种门窗五金件装配工位自动识别方法,包括:

3、基于模型无关元学习优化策略,采用元训练数据集对深度卷积神经网络进行训练,得到特征提取网络;

4、将每类开槽的模板图像输入特征提取网络,得到每个模板图像的多尺度特征向量和像素级特征图;根据模板图像中预先标注的关键点坐标,从像素级特征图中提取关键点局部特征;计算每类开槽的模板图像的多尺度特征向量的均值,得到每类开槽的特征原型,结合每类开槽的模板图像的多尺度特征向量计算平均欧氏距离,得到每类开槽的特征离散度,构建出包括各类开槽的特征原型、特征离散度及关键点局部特征的层次化特征原型库;

5、对每类开槽的模板图像进行模拟干扰,生成受干扰图像;将受干扰图像输入特征提取网络,得到受干扰特征向量;以受干扰特征向量对应的模板图像的特征原型为期望输出,训练以受干扰特征向量为输入、以校准向量为输出的动态原型校准网络,得到训练后的动态原型校准网络;

6、对待识别门窗型材的实时图像进行预处理,得到标准化查询图像;将标准化查询图像输入特征提取网络,得到标准化查询图像的多尺度查询特征向量和像素级查询特征图;

7、基于多尺度查询特征向量,在层次化特征原型库中进行粗筛选,得到候选类别集合;将多尺度查询特征向量和候选类别集合中每个候选类别的特征原型输入训练后的动态原型校准网络,得到每个候选类别的校准原型;计算多尺度查询特征向量与各校准原型的综合相似度,筛选出最高综合相似度,将最高综合相似度对应的候选类别作为识别结果;基于像素级查询特征图和识别结果对应的类别在层次化特征原型库中的关键点局部特征,生成定位热力图,对定位热力图进行解算,得到亚像素坐标;将亚像素坐标转换为机器人基坐标后输出。

8、在其中一个实施例中,基于模型无关元学习优化策略,采用元训练数据集对深度卷积神经网络进行训练,得到特征提取网络,包括:

9、从历史门窗型材开槽图像数据中随机采样生成多个小样本学习任务,构建出元训练数据集;其中,每个小样本学习任务均设置对应类别划分的支持集与查询集;

10、构建包括编码器和解码器的深度卷积神经网络,将深度卷积神经网络作为待训练的特征提取网络;

11、对于每个小样本学习任务,将支持集中的图像输入深度卷积神经网络,计算出分类损失,基于分类损失通过梯度下降算法更新深度卷积神经网络的参数,得到任务适配参数;

12、将查询集中的图像输入采用任务适配参数的深度卷积神经网络,计算出查询损失,以最小化各小样本学习任务的查询损失期望为目标,迭代更新深度卷积神经网络的初始参数,持续监测各小样本学习任务的查询损失的期望的变化量,当连续预设迭代次数内变化量小于预设变化阈值时,判定深度卷积神经网络满足收敛条件,停止迭代,保存深度卷积神经网络收敛后的网络参数,得到特征提取网络。

13、在其中一个实施例中,特征提取网络包括编码器和解码器;

14、将每类开槽的模板图像输入特征提取网络,得到每个模板图像的多尺度特征向量和像素级特征图;根据模板图像中预先标注的关键点坐标,从像素级特征图中提取关键点局部特征,包括:

15、在标准光照与无遮挡工况下采集每类开槽的初始模板图像,对每张初始模板图像中的开槽关键点的坐标进行标注,得到标注后的模板图像;

16、将每张模板图像输入特征提取网络,通过编码器输出门窗开槽的深层特征图,对深层特征图进行全局池化提取门窗开槽区域对应的全局特征向量,从深层特征图中提取开槽中心预设邻域对应的局部区域特征向量,通过解码器,根据深层特征图进行门窗开槽结构还原,输出与模板图像尺寸匹配的像素级特征图;

17、对像素级特征图进行梯度方向统计,得到边缘方向特征向量;

18、将全局特征向量、局部区域特征向量与边缘方向特征向量进行拼接,得到每张模板图像的多尺度特征向量;

19、根据模板图像中的关键点坐标,在像素级特征图的对应关键点坐标的位置进行特征向量提取,得到模板图像的关键点局部特征。

20、在其中一个实施例中,将受干扰图像输入特征提取网络,得到受干扰特征向量;以受干扰特征向量对应的模板图像的特征原型为期望输出,训练以受干扰特征向量为输入、以校准向量为输出的动态原型校准网络,得到训练后的动态原型校准网络,包括:

21、将受干扰图像输入特征提取网络,得到受干扰多尺度特征向量,将受干扰多尺度特征向量作为受干扰特征向量;

22、构建包括干扰感知编码器、注意力门控模块和校准输出层的动态原型校准网络;

23、以受干扰特征向量为动态原型校准网络的输入,以受干扰特征向量对应的受干扰图像对应模板图像的特征原型为动态原型校准网络的期望输出,构建包括原型对齐损失、特征保留损失和类别判别性损失的复合损失函数;其中,原型对齐损失用于评估校准输出层输出的校准向量与对应开槽类别的特征原型的偏差;特征保留损失用于约束校准过程中开槽关键结构特征不丢失;类别判别性损失用于强化不同开槽类别的特征区分度;

24、通过最小化复合损失函数对动态原型校准网络进行迭代训练,持续监测复合损失函数的数值变化,当复合损失函数的数值在连续预设迭代次数内均小于预设收敛阈值时,停止训练,得到训练后的动态原型校准网络。

25、在其中一个实施例中,多尺度查询特征向量包括全局特征部分、局部特征部分和边缘特征部分;

26、基于多尺度查询特征向量,在层次化特征原型库中进行粗筛选,得到候选类别集合;将多尺度查询特征向量和候选类别集合中每个候选类别的特征原型输入训练后的动态原型校准网络,得到每个候选类别的校准原型;计算多尺度查询特征向量与各校准原型的综合相似度,筛选出最高综合相似度,将最高综合相似度对应的候选类别作为识别结果;基于像素级查询特征图和识别结果对应的类别在层次化特征原型库中的关键点局部特征,生成定位热力图,对定位热力图进行解算,得到亚像素坐标,包括:

27、s1、提取多尺度查询特征向量中的全局特征部分,计算全局特征部分与层次化特征原型库中各类别特征原型的全局特征部分的余弦相似度,将余弦相似度从高到低排序,选取预设候选数量的类别组成候选类别集合,并从层次化特征原型库中获取候选类别集合中每个候选类别的特征原型和特征离散度;

28、s2、将多尺度查询特征向量和每个候选类别的特征原型同步输入训练后的动态原型校准网络,通过干扰感知编码器对多尺度查询特征向量进行干扰特征提取,得到干扰感知隐向量;根据干扰感知隐向量通过注意力门控模块进行开槽核心特征强化,得到偏移向量和置信度向量;根据偏移向量和置信度向量由校准输出层进行逐元素相乘运算,生成适配对应候选类别的校准向量;将候选类别的特征原型与校准向量叠加,得到每个候选类别的校准原型;

29、s3、分别计算多尺度查询特征向量的全局特征部分、局部特征部分和边缘特征部分,与各校准原型中对应特征部分的相似度,得到对应的第一相似度、第二相似度和第三相似度,按照预设权重进行加权求和,得到每个候选类别的综合相似度,并筛选出最高综合相似度,将最高综合相似度对应的候选类别作为识别结果;

30、s4、计算多尺度查询特征向量与识别结果的类别对应的特征原型的欧氏距离,将欧氏距离除以识别结果的类别对应的特征离散度,得到标准化距离;若标准化距离小于或等于预设阈值,则将识别结果作为最终识别类别,否则从候选类别集合中剔除识别结果对应的候选类别,返回s3重新确定新的识别结果;

31、s5、计算像素级查询特征图中各位置的特征向量与最终识别类别在层次化特征原型库中的各关键点局部特征的平均余弦相似度,生成定位热力图;

32、s6、对定位热力图应用空间软最大值函数计算概率分布,基于概率分布的期望值解算出亚像素坐标。

33、在其中一个实施例中,该方法还包括:

34、当综合相似度低于预设相似阈值时,判定当前的标准化查询图像为未知类别,触发人工标注机制,获取包括人工标注的新类别和新关键点坐标的标注图像;

35、当累积同一新类别的预设数量标注图像后,将每张标注图像输入特征提取网络,得到对应的新多尺度特征向量和新像素级特征图;根据新关键点坐标从新像素级特征图中提取新关键点局部特征,并计算新类别的新特征原型和新特征离散度;

36、将新类别的新特征原型、新特征离散度和新关键点局部特征添加至层次化特征原型库,得到更新后的层次化特征原型库;

37、利用新类别的新多尺度特征向量和新特征原型,对动态原型校准网络进行增量微调,得到优化后的动态原型校准网络。

38、在其中一个实施例中,复合损失函数的数学表达式为:

39、

40、

41、

42、

43、其中,为复合损失函数的计算结果;为原型对齐损失;为特征保留损失;为类别判别性损失;和均为损失权重系数,且满足;为单批次训练样本数量,为第个受干扰样本的校准向量;为第个受干扰样本的对应的开槽类别的特征原型;为第个受干扰样本的受干扰特征向量;为开槽类别总数;为开槽类别的样本数量;为开槽类别的样本集合;为开槽类别的判别权重向量。

44、第二方面,本技术还提供了一种门窗五金件装配工位自动识别系统,包括:

45、元学习特征预训练模块,用于基于模型无关元学习优化策略,采用元训练数据集对深度卷积神经网络进行训练,得到特征提取网络;

46、层次化原型库构建模块,用于将每类开槽的模板图像输入特征提取网络,得到每个模板图像的多尺度特征向量和像素级特征图;根据模板图像中预先标注的关键点坐标,从像素级特征图中提取关键点局部特征;计算每类开槽的模板图像的多尺度特征向量的均值,得到每类开槽的特征原型,结合每类开槽的模板图像的多尺度特征向量计算平均欧氏距离,得到每类开槽的特征离散度,构建出包括各类开槽的特征原型、特征离散度及关键点局部特征的层次化特征原型库;

47、动态原型校准模块,用于对每类开槽的模板图像进行模拟干扰,生成受干扰图像;将受干扰图像输入特征提取网络,得到受干扰特征向量;以模板图像对应的特征原型为期望输出,训练以受干扰特征向量为输入、以校准向量为输出的动态原型校准网络,得到训练后的动态原型校准网络;

48、实时特征提取模块,用于对待识别门窗型材的实时图像进行预处理,得到标准化查询图像;将标准化查询图像输入特征提取网络,得到标准化查询图像的多尺度查询特征向量和像素级查询特征图;

49、层次化匹配与定位模块,用于基于多尺度查询特征向量,在层次化特征原型库中进行粗筛选,得到候选类别集合;将多尺度查询特征向量和候选类别集合中每个候选类别的特征原型输入训练后的动态原型校准网络,得到每个候选类别的校准原型;计算多尺度查询特征向量与各校准原型的综合相似度,筛选出最高综合相似度,将最高综合相似度对应的候选类别作为识别结果;基于像素级查询特征图和识别结果对应的类别在层次化特征原型库中的关键点局部特征,生成定位热力图,对定位热力图进行解算,得到亚像素坐标;将亚像素坐标转换为机器人基坐标后输出。

50、第三方面,本技术还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现第一方面中的步骤。

51、第四方面,本技术还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面中的步骤。

52、上述一种门窗五金件装配工位自动识别方法、系统、设备及介质,首先基于模型无关元学习训练得到特征提取网络,为后续门窗开槽特征提取与快速适配奠定了基础。其次,构建包含特征原型、特征离散度与关键点局部特征的层次化特征原型库,弥补了传统方法特征刻画单一、类别区分度不足的缺陷,能够表征各类开槽核心特征,并且训练动态原型校准网络,克服了工业干扰下特征匹配偏差大的问题,提升了识别抗干扰性与鲁棒性。最后通过粗筛选、动态校准匹配完成了识别与亚像素定位,输出机器人基坐标,显著提升了门窗装配工位识别的精度、效率与柔性适配能力。