一种工业零件知识图谱构建方法

本发明涉及知识图谱构建，具体是指一种基于大小模型协同的工业零件图谱构建方法。

背景技术：

1、随着工业自动化的深入发展，基于深度学习的视觉感知技术已成为智能制造的核心。场景图生成与工业知识图谱构建旨在通过识别零件实体及其空间拓扑关系，为机器人的自主决策提供语义支撑。

2、现有场景图生成方法通常采用基于通用目标检测框架（如faster r-cnn或yolo系列）结合关系推理模块来生成场景图。然而，这类方法极度依赖于高质量的标注数据集，以训练模型学习目标的边界框与类别信息，即需要海量的样本来覆盖物体在不同视角、光照及背景下的形态变化，否则模型的泛化性能将大幅受限，难以应对真实场景中的多变性。

3、对于特定目标或跨领域任务，主流方法倾向于利用大规模预训练的通用视觉语言模型（vlm）进行零样本或小样本迁移学习，试图通过跨模态语义对齐来捕捉零件间的语义联系。然而，在实际工业作业流程中，现有的感知方案仍面临以下关键技术挑战：首先，通用大模型在垂直领域的语义对齐存在壁垒。 现有的vlm虽然具备强大的跨模态泛化能力，但在面对高度专业化的工业零件时，往往缺乏深度的垂类先验知识，导致输出的语义表示泛而不精，难以实现高精度的知识匹配。这直接限制了大模型在特定工业场景下对复杂视觉关系的理解深度，使得生成的知识图谱在专业逻辑上存在断层。

4、其次，工业环境中严重的重叠与遮挡造成了特征表达的“盲区”。 在零件散乱堆叠或流水线密集分布的场景下，目标的全局轮廓常被大幅度遮挡，导致传统的检测与识别算法因关键全局特征缺失而失效。深度神经网络通常依赖完整的形态学特征进行建模，而在遮挡条件下，模型难以仅凭残缺的视觉信息维持鲁棒的表征能力，进而引发图谱节点丢失或关系误判，无法满足高可靠性的工业需求。

5、最后，面向复杂装配与分拣任务的抓取顺序生成具有高度的逻辑不确定性。 在多目标堆叠场景中，抓取顺序不仅取决于空间几何位置，还受到零件间物理压盖、力学平衡及作业逻辑的深度耦合。传统的启发式算法或简单模型难以准确建模这种动态的先后序关系，导致生成的抓取路径易引发碰撞或由于破坏堆叠稳定性而导致作业失败，成为制约工业机器人执行复杂精细任务的瓶颈。

6、因此，如何结合垂类先验知识提升大模型在专业领域的理解力，增强模型在极端遮挡条件下的局部表征能力，并生成科学合理的抓取逻辑顺序，是当前工业视觉与智能决策领域急需解决的痛点问题。

技术实现思路

1、为了解决现有场景图生成方法在垂直工业领域中语义对齐精度低、大规模预训练模型推理成本高以及复杂堆叠环境下抓取逻辑不确定等问题，本发明提出了一种基于大-小模型协同驱动的工业零件知识图谱构建框架。该框架通过以下关键组件增强了模型在垂直领域的理解力与作业决策的可靠性：

2、首先，提出了一种基于通用-垂直跨维度语义对齐的匹配策略。该组件利用具有强大泛化能力的通用vlm qwen-vl-max作为“教师引导”，对原始工业图像进行多维度的图像描述、局部物体属性描述及初步目标定位，提取全局语义上下文,重点输出工业场景的零件类别。随后，通过引入一个基于resnet18的轻量化垂类目标分类小网络作为学生模型，将大模型输出的局部特征表示作为输入，结合预设的工业垂类先验知识库进行语义细化。该策略通过小模型对大模型模糊预测的重校准，实现了从通用语义到专业领域类别的精确映射，有效解决了大模型在特定工业场景下由于缺乏专业知识而导致的“语义幻觉”与类别误判问题。

3、此外，提出了一种基于全局-局部协同提取特征的知识图谱构建机制。针对工业环境中重叠与遮挡造成的特征缺失痛点，该机制不再单纯依赖目标的全局几何轮廓，而是通过将图片分成2x2的子图，随机掩码其中的1个子图，显式地提取零件的局部纹理、关键边缘等微弱特征。在全局表征受损时，该机制能够动态激活局部特征补偿逻辑，确保模型在极端遮挡条件下仍能维持高鲁棒性的目标表征。通过将提取到的精准实体信息与零件间的物理约束关系进行融合，再结合视觉语言模型qwen-vl-max的图像描述能力，本发明能够生成语义关系严密的专业领域知识图谱。

4、最后，提出了一种基于物理逻辑约束的动态抓取序列生成算法。在生成的知识图谱基础上，该算法通过解析图谱中实体间的空间拓扑与物理压盖关系，建立了一个动态时序决策模型。该算法解决了传统几何规则无法建模物体间力学耦合的问题，通过对抓取过程中的平衡性与作业冲突进行仿真计算，自动生成满足工业安全规范的抓取逻辑顺序，为机器人的高可靠性作业提供精准的执行路径指导。

5、本发明提供一种基于大小模型协同的工业零件图谱构建和抓取规划方法，该方法包括基于vlm引导的目标定位与语义初筛模块、基于垂类先验知识引导的小模型语义匹配与表征增强模块和基于知识图谱推理的物理逻辑约束与抓取序列生成模块三个阶段，基于vlm引导的目标定位与语义初筛模块负责执行“处理哪些区域”的第一阶段任务。基于vlm引导的目标定位与语义初筛模块利用预训练视觉语言大模型强大的零样本泛化能力，对输入的复杂工业图像进行全局上下文理解，输出初步的图像描述、目标物体定位框及粗粒度属性描述。该模块通过大模型的广义知识，为后续任务确定关键候选区域及初步语义基准，解决了垂直领域初期标注数据匮乏的难题。基于垂类先验知识引导的小模型语义匹配与表征增强模块负责执行“以何种方式进行精细表征”的核心任务。通过引入基于resnet18网络的轻量化的垂类目标分类网络作为学生模型，接收大模型输出的局部特征表示。本模块采用全局-局部协同提取框架，结合工业场景的垂类先验知识库，对大模型输出的通用语义进行校准与精细化匹配。在复杂遮挡环境下，该模块通过显式利用局部纹理特征实现实体语义的稳健表征，消除了通用大模型的语义幻觉，确保了专业领域类别的精确映射。基于知识图谱推理的物理逻辑约束与抓取序列生成模块是本发明实现任务闭环的决策阶段。将前述模块提取的精准实体信息及其空间拓扑关系进行融合，构建面向工业环境的专业领域知识图谱。在此基础上，该模块通过解析图谱中零件间的物理遮挡、力学平衡及作业时序约束，建立动态抓取逻辑推理模型。该模块解决了传统方法缺乏物理交互理解的缺陷，能够自动生成符合实际工序要求的高可靠性抓取操作序列。具体包含以下步骤：

6、s1、确定场景中有什么：采用预训练视觉语言大模型vlm中的gpt4o或qwen-vl-max对输入图像进行文本描述，提示词要求vlm明确这是一个有各自零件的工业场景，要求vlm尽可能详尽的描述图片，并将图片中所有物体的名称以列表形式列出，图像描述和物体名称保存在字典中，字典格式为{“description”:“a gear motor and a heat sink are onthe table.”,“objects”:[“gear motor”,“heat sink”]}。

7、s2、确定目标在哪里：采用预训练开放世界目标检测大模型grounding-dino对图像进行目标检测，提示词由vlm中输出的所有物体名称提供，即输出字典中“objects”键对应的值[“gear motor”,“heat sink”]，grounding-dino输出为检测到的目标框。

8、s3、确定抓取物体朝向：采用开放世界目标分割算法segmentanything对grounding-dino检测到目标框内的物体进行细粒度分割,并对分割的像素进行形状近似，找到近似斜率的最长边和最短边，将grounding-dino检测目标框进行旋转，使得旋转后的目标框拟合分割像素的最长边和最短边，这一步是为了保证目标检测框尽可能贴合目标，避免背景干扰和其他零件对目标物体遮挡造成的特征干扰。

9、s4、确定抓取目标是什么：在工业应用场景中，我们要明确每一个物体是什么，比如型号r1的散热器，但是使用开放世界图像描述得到的类别中可能没有这种类别，因此要将开放世界描述中输出的类别和垂类应用场景中已知的类别进行对应，我们使用一个专业领域的分类小模型进行垂类语义分类，该小模型以resnet18为骨干网络，以全连接层+softmax输出每个类别的置信度，根据所需工业场景的类别数，输出类别设置为25类。

10、s5、确定物体空间关系和抓取顺序：在明确工业场景中的每一个零件类别、位置和朝向后，使用视觉语言模型qwen-vl-max对零件进行空间位置的分析，主要明确堆叠关系，输出各个零件之间的空间位置，并输入抓取提示词，优先抓取上层零件和周围零件，避免执行器对零件损害或者抓取失败。

11、本发明的优势在于，给定特定工业零件抓取场景，模型能够理解每个零件的垂类语义，区别于通用世界模型给出的模糊定义，机器人能够抓取指定零件。此外，针对遮挡目标，构建的全局和局部推理框架能够有效检测目标，避免漏检和误检。最后，针对获得的零件空间位置关系，使用视觉语言模型确定抓取顺序，能够有效提高工业零件抓取成功率。