一种基于工艺语义与多模态视觉认知的协同装配引导方法及系统

摘要: 本发明涉及工业人工智能与计算机视觉,具体涉及一种基于工艺语义与多模态视觉认知的协同装配引导方法及系统。背景技术:1、当前,航空航天、大型电器装备、重型机械等高端...
一种基于工艺语义与多模态视觉认知的协同装配引导方法及系统

本发明涉及工业人工智能与计算机视觉,具体涉及一种基于工艺语义与多模态视觉认知的协同装配引导方法及系统。

背景技术:

1、当前,航空航天、大型电器装备、重型机械等高端制造业正加速向多品种、小批量、高定制化的柔性制造模式转型。装配环节作为产品制造的核心工序,其智能化引导水平直接决定生产效率与产品质量一致性。然而,现有装配引导技术在工程落地中仍存在以下关键瓶颈:

2、第一,通用开放词汇检测模型在特定工业领域存在严重的领域漂移问题。通用模型在标准公开数据集上表现优异,但面对航空插头、特种线缆、定制化支架等工业专属零件时,因缺乏领域数据训练,易产生大量漏检与误检。传统全监督方案重新标注与训练成本极高,无法适配柔性生产线快速换产需求。

3、第二,基于工程图纸的视觉认知高度依赖三维重建或复杂的规则化版面分析,工程实用性差。现有技术多通过二维图纸重建三维几何模型以辅助零件识别,但在复杂自由曲面零件或局部标注模糊时重建失败率极高,且传统版式分析模型难以跨模态理解图文映射关系。

4、第三,现有系统对无序装配与并行装配的适应性不足,且缺乏智能化的纠错闭环。绝大多数装配引导系统基于状态机架构,强制要求按严格时序执行。在实际装配中,操作员常因空间限制并行或跳序作业,现有系统不仅易出现流程锁死,且在发生装配偏差时,无法结合上下文给出具体的纠错指导。

技术实现思路

1、针对上述问题,本发明公开了一种基于工艺语义与多模态视觉认知的协同装配引导方法,无需三维重建,通过少样本微调解决检测漂移,天然适配多种装配场景,并提供智能化的偏差诊断闭环反馈。

2、技术方案:

3、一种基于工艺语义与多模态视觉认知的协同装配引导方法,包括以下步骤:

4、s1:获取包含文本描述与视觉图示的多模态装配工艺规程文档,利用多模态大语言模型对其进行图文联合解析,提取各装配工序对应的零件、工具、装配要求及工序关联关系,并基于此构建静态装配工艺知识图谱;

5、s2:利用所述多模态大语言模型的跨模态理解能力,对所述规程文档中的装配图执行免三维重建的视觉认知,输出包含零件几何特征及装配关系的结构化第一认知描述;

6、s3:基于所述第一认知描述生成装配专属检测提示先验;部署视觉-语言检测模型及视觉传感器,并对该检测模型进行现场少样本微调,使其适配当前装配场景的特定零件;通过所述视觉传感器实时采集现场图像,结合所述检测提示先验完成现场实体识别,并整合场景上下文信息生成第二认知描述;

7、s4:将从所述知识图谱中提取的工艺上下文约束、所述第一认知描述及所述第二认知描述分别编码后,融合生成统一维度的多模态条件向量;

8、s5:利用图检索增强算法,将步骤s3的现场实体识别结果与所述多模态条件向量作为查询条件,在所述知识图谱中进行匹配,以推断当前装配进度;当匹配结果与工艺要求存在偏差时,触发工艺偏差诊断,并输出相应的引导反馈。

9、进一步的,步骤s1中,所述知识图谱为有向属性图结构,节点包括装配阶段节点和实体节点,边用于表示实体与阶段的归属关系、实体间的空间约束关系及零件与工具的适配关系,且每个实体节点关联有对其所属装配阶段的语义重要性贡献权重。

10、进一步的,步骤s2中,所述视觉认知为:通过所述多模态大语言模型的视觉-语言对齐机制,建立工艺文本描述与装配图示区域的跨模态映射;引导大模型提取图示中的零件几何形态、装配基准及空间干涉关系,并将提取的视觉特征序列化为文本描述,最终输出json格式的结构化第一认知描述。

11、进一步的,步骤s3中,所述现场少样本微调具体为:采集少量包含目标实体的现场样本图像,冻结检测模型骨干网络参数,采用跨模态对比学习策略,仅对模型的特征调制单元进行参数微调,以实现对特定工业领域零件的泛化识别。

12、进一步的,跨模态对比学习策略采用的损失函数为infonce损失,表示为:

13、,

14、其中,vcond为多模态条件向量,为正样本数量,m为负样本数量,为第i个正样本区域的特征向量,为第j个负样本区域的特征向量,为温度系数,为余弦相似度函数。

15、进一步的,步骤s4中,所述多模态条件向量的融合过程表示为:

16、,

17、其中,为工艺上下文约束的编码向量,为第一认知描述的编码向量,为第二认知描述的编码向量,[·;·]表示向量拼接操作,transformerencoder为两层transformer编码器。

18、进一步的,步骤s3中,所述视觉-语言检测模型包括固定的骨干网络和可学习的条件特征调制单元;所述调制单元接收步骤s4生成的多模态条件向量,对骨干特征进行跨模态通道与空间注意力偏置调整,其特征调制过程表示为:

19、,

20、其中,为骨干检测网络输出的中间特征图,为由多模态条件向量映射生成的通道偏置权重,为映射生成的空间偏置权重,为sigmoid激活函数,表示具备广播机制的逐元素相乘操作,与为多层感知机映射网络。

21、进一步的,步骤s5中,所述推断当前装配进度是通过粗粒度的阶段级状态匹配实现的,其装配阶段激活匹配度的计算公式为:

22、,

23、其中,为第k个装配阶段的激活匹配度,d为当前检测到的实体集合,为实体对阶段的预设贡献权重,为实体的检测状态函数。

24、进一步的,步骤s5中,所述触发工艺偏差诊断并输出引导反馈具体包括:当推断的装配阶段匹配度未达到预期,或检测到的现场实体组合与静态工艺图谱要求产生逻辑冲突时,利用多模态大语言模型对比当前现场的第二认知描述与该阶段预期的工艺要求,生成装配偏差诊断结果,并将该结果转化为纠错操作提示、工艺规范重申或关键部位高亮标识等自适应人机协同引导反馈。

25、本发明还公开了一种基于工艺语义与多模态视觉认知的协同装配引导系统,用于执行上述方法,包括:

26、多模态工艺解析与静态图谱构建模块,用于接收多模态装配工艺规程文档,利用多模态大语言模型进行图文联合解析,构建并输出静态装配工艺知识图谱;

27、图文跨模态视觉先验提取模块,用于利用所述多模态大语言模型的跨模态理解能力,执行免三维重建的视觉认知,输出结构化第一认知描述;

28、提示驱动检测与现场状态认知模块,用于基于第一认知描述生成检测提示先验,部署经现场少样本微调的视觉-语言检测模型及视觉传感器,结合实时采集的图像执行现场实体识别与场景上下文特征提取,生成第二认知描述;

29、多模态条件特征融合模块,用于将工艺上下文约束、第一认知描述及第二认知描述编码融合,生成多模态条件向量,并将其作为条件输入反馈给所述提示驱动检测与现场状态认知模块;

30、鲁棒装配状态推断与协同引导模块,用于利用图检索增强算法将检测结果与多模态条件向量作为联合查询条件,在所述静态装配工艺知识图谱中进行检索匹配,推断当前装配进度,并在发生偏差时输出偏差诊断结果及自适应纠错型人机协同引导反馈。

31、进一步的,鲁棒装配状态推断与协同引导模块配置有基于工艺偏差的人机协同闭环反馈机制:当推断的装配阶段匹配度未达到预期,或检测到的现场实体组合与静态工艺图谱要求产生时序或空间逻辑冲突时,系统触发异常诊断,利用多模态大语言模型对比当前现场的第二认知描述与该阶段预期的工艺要求,生成装配偏差诊断结果,并将该结果转化为具体的纠错操作提示、工艺规范重申或关键部位高亮标识等自适应人机协同引导反馈,指导操作人员进行纠正操作,直至现场装配状态与静态图谱重新匹配。

32、进一步的,提示驱动检测与现场状态认知模块中执行的现场少样本微调被配置为:冻结检测模型的骨干网络参数,采用跨模态对比学习策略,将所述多模态条件向量作为文本端提示,与采集样本中目标实体的视觉端特征进行对齐优化;通过最小化infonce损失函数仅对特征调制单元进行参数更新,以实现对特定工业场景实体的泛化识别与精确检测。

33、有益效果:

34、(1)本发明无需进行三维重建与高精度位姿估计即可实现装配引导。现有基于工程图纸的视觉认知方案通常依赖三维重建或六自由度位姿估计,在复杂自由曲面零件、局部遮挡或图纸标注模糊时容易重建失败。本发明利用多模态大语言模型的跨模态理解能力,直接对二维装配图执行免三维重建的视觉认知,通过视觉-语言对齐机制提取零件几何形态、装配基准与空间约束关系,输出结构化第一认知描述。该方式从源头规避了三维重建失败的风险,同时摆脱了对高精度位姿估计设备的依赖,显著降低系统部署成本,提升了对复杂图纸的解析鲁棒性。

35、(2)本发明能够有效解决工业零样本检测领域的领域漂移问题。通用开放词汇检测模型在标准公开数据集上表现良好,但在航空插头、特种线缆、定制化支架等工业专属零件上易产生大量漏检与误检。本发明通过冻结骨干网络、仅对特征调制单元进行参数微调的少样本跨模态对比学习策略,仅需采集少量现场样本图像即完成特定领域适配,大幅降低换产时的数据采集成本与标注成本,同时避免了对骨干网络重新训练所导致的知识遗忘,实现了检测能力的插件化快速扩展,满足柔性生产线快速换产需求。

36、(3)本发明通过多模态条件向量的构建与双向反馈,实现了工艺语义对检测过程与匹配过程的统一调控。将工艺上下文约束、基于图纸的第一认知描述与基于现场的第二认知描述分别编码后融合为统一维度的多模态条件向量,该向量一方面反馈至检测模型的特征调制单元,从通道与空间两个维度调整骨干特征,使检测模型聚焦于当前工序所关注的实体与区域;另一方面作为图检索增强算法的查询条件参与装配进度推断,使得工艺语义进入检测、检测结果服务匹配、匹配结果反馈引导。该机制在遮挡、光照不均、背景杂乱等恶劣工业环境下,仍能保持较高的检测与匹配精度。

37、(4)本发明通过基于粗粒度阶段级状态匹配的图检索增强算法,有效支持无序装配与并行装配。现有系统多采用严格时序的状态机推进逻辑,操作员一旦并行作业或跳序作业,系统极易出现流程锁死。本发明不再要求前置工序的严格完成时序,而是利用当前视场内检测到的实体及其对装配阶段的预设贡献权重,累加计算各装配阶段的激活匹配度,以匹配度最高的阶段作为当前装配进度。

38、(5)本发明整体方案部署简单、扩展成本低。现场换产时仅需导入新零件的二维工程图纸和更新后的工艺规程文档,配合少量现场样本微调特征调制单元即可完成适配,无需重新训练大模型、无需替换检测骨干网络,也无需三维重建专家或深度学习工程师驻场。具备良好的工程推广价值与产业应用前景。