基于自然语义的智慧耳机工厂多模态环境感知方法及系统与流程

本发明属于智能制造，特别涉及基于自然语义的智慧耳机工厂多模态环境感知方法及系统。

背景技术：

1、随着消费电子制造工艺向微型化、精密化和柔性化方向持续演进，耳机产品装配过程已经由传统的工位分段作业逐步转入数据驱动的智能制造阶段。针对耳机制作过程中的复杂工况，仅依赖单一传感器难以完整表达真实加工状态，因此工业现场普遍开始引入视觉、声学、压力、触觉及文本规程等多源信息，以提升对对象状态、操作行为和工序进展的综合理解能力。如何将这些实时感知数据与工艺知识进行统一表示、关联推理与语义输出，已经成为提升耳机智能装配监测能力、过程追踪能力和工艺闭环控制能力的重要技术方向。现有的耳机工厂感知方案普遍停留在图像检测、声纹识别或压力阈值判断的单点处理层面，跨模态数据之间缺乏稳定的事件对齐机制，导致视觉结果、操作声音与扣合受力信息难以形成统一语义解释。而采用人工标注方式时，其对工序切换频繁、零部件种类繁多的装配现场适应性不足，样本构建成本高，标注尺度不一致，模型迁移能力受限。且生产规程、质量标准与设计参数多以文档形式独立存在，感知模型输出结果难以与工艺逻辑建立直接对应关系，系统虽然能够识别局部物理现象，但难以判断工序是否匹配、参数是否合规、任务是否完成，后续质量追溯与异常预警的可用性受到明显限制。

技术实现思路

1、针对现有技术中的缺陷，本发明提供基于自然语义的智慧耳机工厂多模态环境感知方法及系统，以解决上述技术问题。

2、一方面，提出基于自然语义的智慧耳机工厂多模态环境感知方法，包括以下步骤：

3、步骤s1：采集目标工位的视觉数据、多源物理信号以及生产文本数据，所述多源物理信号至少包括操作音信号和受力信号；

4、步骤s2：对所述视觉数据和多源物理信号进行特征提取，获得视觉特征、声学特征和受力特征，基于所述视觉数据识别耳机装配过程中的视觉关键事件，并以所述视觉关键事件作为逻辑锚点，对对应时间区间内的声学特征和/或受力特征依次进行同步切分、互标注和跨模态时序对齐，得到跨模态融合特征向量；

5、步骤s3：基于生产文本数据提取实体识别结果、工艺关系特征和物理参数特征，构建耳机组装工艺知识图谱，并对所述耳机组装工艺知识图谱进行向量表示学习和节点关联权重计算，以获得引导知识语义向量；将所述跨模态融合特征向量与所述引导知识语义向量映射至统一语义表示空间，进行知识锚点匹配和跨粒度语义聚合，得到感知语义标签集合，所述感知语义标签集合至少包括环境实体、交互行为和任务状态；

6、步骤s4：基于sop规程逻辑校验器对所述感知语义标签集合进行规程相符性判断，并对判断结果进行置信度评估；在置信度达到预设阈值时，输出包含环境实体、交互行为和任务状态的结构化感知报告。

7、作为优选地，所述步骤s1中，

8、所述视觉数据为耳机零部件在组装过程中的单视角图像数据或多视角图像数据；

9、所述多源物理信号为耳机装配过程中的操作音数据、扣合受力数据和/或触觉数据；

10、所述生产文本数据包括耳机设计规格说明书、标准作业程序文档、作业逻辑以及规程约束关系数据。

11、作为优选地，所述步骤s2中，特征提取采用多模态特征并行提取方式进行，具体包括以下步骤：

12、采用目标检测模型结合点云特征提取架构提取耳机零部件的位姿信息和三维几何信息，作为所述视觉特征；

13、采用掩码音频自编码器对所述操作音数据进行编码，以提取所述声学特征；

14、采用选择性状态空间模型对所述扣合受力数据和/或触觉数据进行编码以提取受力特征。

15、作为优选地，所述步骤s2中，以视觉关键事件为逻辑锚点，对声学特征和/或受力特征进行同步切分时，具体包括以下步骤：

16、基于视觉数据中零部件接触、扣合完成、点胶开始或焊接开始中的至少一种事件，确定视觉关键事件发生时刻；

17、以所述视觉关键事件发生时刻为基准，对声学特征和受力特征进行时间窗切分，形成与该视觉关键事件对应的声学片段和受力片段；

18、以所述视觉关键事件对应的事件标签为依据，对所述声学片段和受力片段进行标签关联，以建立视觉模态与声学模态、受力模态之间的跨模态样本对应关系。

19、作为优选地，所述步骤s2中，跨模态时序对齐时，具体包括以下步骤：

20、属于同一视觉关键事件的视觉特征、声学特征和受力特征进行时间同步和语义对应约束，修正不同传感器之间的采样偏移，并将对齐后的各模态特征映射为维度一致的联合表示；

21、所述跨模态融合特征向量为对齐后的视觉特征、声学特征和受力特征经融合得到的联合向量表示。

22、作为优选地，所述步骤s3中的组装工艺知识图谱通过以下步骤建立：

23、所述实体识别结果包括从耳机设计规格说明书中提取的物理尺寸、零件材质和技术规格，

24、所述工艺关系特征包括从标准作业程序文档中提取的操作步骤、操作逻辑和操作先后关系；

25、所述物理参数特征包括从质量判定标准数据库中提取的质量参数、合格品判定信息和不良品判定信息；

26、基于提取出的实体识别结果、工艺关系特征和物理参数特征建立组装工艺知识图谱。

27、作为优选地，所述实体识别结果至少包括pcb节点、驱动节点和壳体节点，所述工艺关系特征至少包括焊接节点、点胶节点和扣合节点，所述物理参数特征至少包括压力节点、湿润度节点和曲线特征节点；

28、在存在工艺依赖关系、结构配合关系或参数约束关系的节点之间建立关联边；

29、基于关联边形成组装工艺知识图谱，采用rotate模型对所述组装工艺知识图谱进行表征学习以获取向量特征，利用联合图注意力网络计算节点关联权重；

30、基于所述向量特征和节点关联权重输出所述引导知识语义向量。

31、作为优选地，所述步骤s3中，将所述跨模态融合特征向量与所述引导知识语义向量映射至统一语义表示空间时，具体包括以下步骤：

32、将所述跨模态融合特征向量与所述引导知识语义向量输入多粒度语义映射模型，并映射至统一语义表示空间；

33、将所述统一语义表示空间中的语义维度划分为环境实体感知、交互行为建模和任务状态分解三个层级；

34、通过知识锚点匹配确定实时感知特征与耳机组装工艺知识图谱中对应节点或关联边之间的语义关联关系，并基于跨粒度语义聚合输出对应于环境实体、交互行为和任务状态的语义感知结果，作为所述感知语义标签集合；

35、在映射过程中，基于工艺规则约束对不一致语义进行修正反馈。

36、作为优选地，所述步骤s4中的规程相符性判断具体包括以下步骤：

37、将所述感知语义标签集合中的环境实体、交互行为和任务状态与耳机组装工艺规程中的步骤顺序约束、对象匹配约束和参数阈值约束进行比较，以判断其是否相符；

38、当判断结果为不符合时，执行知识图谱关联关系更新、感知参数调整和跨模态标签重新对齐；

39、当判断结果为符合时，构建组装流程提示信息，并基于自然语言大模型对所述感知语义标签集合进行语义合成，对语义合成结果进行置信度评估。

40、另一方面，提出基于自然语义的智慧耳机工厂多模态环境感知系统，包括以下内容：

41、多模态数据采集模块，用于采集目标工位的视觉数据、多源物理信号以及生产文本数据，所述多源物理信号至少包括操作音信号和受力信号；

42、特征提取与互标注时空关联模块，用于对所述视觉数据和多源物理信号进行特征提取，获得视觉特征、声学特征和受力特征，基于所述视觉数据识别耳机装配过程中的视觉关键事件，并以所述视觉关键事件作为逻辑锚点，对对应时间区间内的声学特征和/或受力特征依次进行同步切分、互标注和跨模态时序对齐，得到跨模态融合特征向量；

43、知识图谱构建与语义映射模块，用于基于生产文本数据提取实体识别结果、工艺关系特征和物理参数特征，构建耳机组装工艺知识图谱，并对所述耳机组装工艺知识图谱进行向量表示学习和节点关联权重计算，以获得引导知识语义向量；将所述跨模态融合特征向量与所述引导知识语义向量映射至统一语义表示空间，进行知识锚点匹配和跨粒度语义聚合，得到感知语义标签集合，所述感知语义标签集合至少包括环境实体、交互行为和任务状态；

44、语义校验与结果合成模块，基于用于sop规程逻辑校验器对所述感知语义标签集合进行规程相符性判断，并对判断结果进行置信度评估；在置信度达到预设阈值时，输出包含环境实体、交互行为和任务状态的结构化感知报告。

45、本发明的有益效果是：本发明通过构建视觉、声学、力觉与生产文本协同驱动的多模态环境感知框架，将耳机装配现场的离散物理现象转换为具备工艺逻辑含义的结构化语义结果。以视觉关键事件作为跨模态对齐锚点，能够在同一装配动作下建立图像、声音和受力数据的样本对应关系，降低人工标注依赖程度。并且，通过耳机组装工艺知识图谱承载零部件属性、工序关系与质量参数约束，再结合统一语义空间映射和规程逻辑校验，实现环境实体、交互行为和任务状态的联合判定。不仅能提升精密装配场景的工艺合规性判断能力和异常识别精度，还能够达到在线监控和过程追溯的目的。