一种基于多源特征融合的装配操作质量监测方法与流程

本发明涉及工业装配动作识别与质量监测，特别涉及一种基于多源特征融合的装配操作质量监测方法。

背景技术：

1、在汽车零部件、电子器件和精密机械等装配生产过程中，部分精密操作和柔性操作仍由人工完成。操作人员的动作顺序、姿态、运动力度和执行时长会影响装配过程的一致性。现有生产现场通常采用作业指导书、操作视频和人工巡检对装配操作进行规范和检查。该方式依赖人工判断，难以持续记录不同操作人员的动作差异，也不便于对装配操作进行客观量化。

2、中国发明专利申请cn120597043a（公开日为2025年9月5日）公开了一种基于深度学习的工业装配动作识别与纠错训练方法。该方案利用视频图像、运动传感数据和力学数据对装配动作进行识别，例如通过rgb-d相机、惯性测量单元和力或力矩传感器同步采集骨骼数据、工具轨迹和力学信号，再分别使用图卷积网络、长短期记忆网络和一维卷积网络提取不同模态特征；融合后的特征用于动作分类、异常检测和关键帧定位，并根据轨迹一致性、姿态偏移量和力学异常指数形成质量评分。该方案能够从多个维度分析装配动作，但需要同时处理骨骼、工具轨迹和力学信号，其质量评价指标主要围绕工具轨迹、人体姿态和力学异常建立。

3、中国发明专利申请cn120765120a（公开日为2025年10月10日）公开了一种基于人工智能的生产数据监测方法及系统。该方案针对装配生产过程采集视觉图像、传感器时序数据、设备控制信号和工艺参数日志，不同来源的数据经过时间对齐、预处理、特征提取和融合后形成质量特征向量；系统将质量特征向量与质量判断阈值进行比较，并通过质量预测模型确定缺陷类型和风险等级，再根据风险等级调整监测策略。该方案侧重装配线状态、工艺参数和产品缺陷监测，对操作人员具体动作类别及其规范程度的评价相对有限。

4、还有现有方案通过作业视频和语音数据对检修行为进行同步评价。工业装配现场存在设备运行、人员交流和环境噪声，语音数据的稳定采集容易受到现场条件影响。仅依靠视频识别时，也较难同时反映操作人员的运动强度、关节运动过程和动作节奏。

5、工业相机能够记录操作人员、工具和装配对象之间的空间关系，但视觉数据容易受到遮挡和光照变化影响。可穿戴惯性测量单元能够记录加速度和角速度变化，但其输出可能受到传感噪声和漂移影响。不同装配动作对人体姿态、腕部运动和动作时长的要求也不同，采用固定评价重点难以充分反映各类装配动作的规范性差异。

6、因此，如何在复杂工业装配环境下提高装配动作识别的稳定性，并针对不同动作类型实现可解释的标准化量化评价，成为了亟待解决的技术问题。

技术实现思路

1、本发明的主要目的是提供一种基于多源特征融合的装配操作质量监测方法，旨在复杂工业装配环境下提高装配动作识别的稳定性，并针对不同动作类型实现可解释的标准化量化评价。

2、为了实现上述目的，本发明提出一种基于多源特征融合的装配操作质量监测方法，包括：

3、同步采集工业相机的视频流及可穿戴惯性测量单元的加速度、角速度时序数据，并按统一时间基准对齐；

4、将视频流转为图像帧序列，对时序数据滤波、去噪和维度规整；同步定长截取并标准化两类数据，得到装配动作样本；

5、还包括：将样本输入双分支装配操作识别网络，视觉分支经三维卷积模块、卷积压缩层和transformer编码器提取视觉特征，惯性测量分支将加速度、角速度数据分别输入长短期记忆网络，再经全连接层和transformer编码器提取惯性测量特征；融合两类特征并分类，得到装配动作类型；

6、从由规范装配操作数据建立的标准动作基准库调取对应类型的标准骨架序列特征、标准加速度时序特征和标准动作时长；提取样本的人体骨架序列特征、加速度时序特征和动作时长特征，按动作类型为骨架和加速度维度分配评价权重，分别计算两类实际特征与各自标准特征的时序相似性度量值，将加权度量值与动作时长偏差融合，得到装配动作标准化综合得分；

7、将所述得分与预设阈值比较，输出装配动作标准化程度及各评价维度的特征差异。

8、优选地，所述时间戳对齐包括：以微秒级时间戳作为所述统一时间基准，分别获取各视频帧和各惯性测量采样点的时间戳，并为各视频帧确定时间戳偏差最小的惯性测量采样点，以完成所述视频流与所述时序数据的匹配。

9、优选地，所述工业相机固定于装配工位正上方，两个所述可穿戴惯性测量单元分别佩戴于操作人员的左腕和右腕。

10、优选地，对所述时序数据进行滤波、去噪和维度规整，包括：采用滑动窗口滤波对所述加速度、角速度时序数据进行平滑处理，根据处理后的时序数据的均值和标准差，剔除与所述均值的偏差大于三倍所述标准差的数据点，并将不同惯性测量单元采集的数据转换为统一维度的时序矩阵。

11、优选地，所述定长截取包括：按照预设窗口长度和滑动步长同步截取所述图像帧序列和时序数据，所述滑动窗口的重叠率为50%；所述标准化包括：采用最大—最小归一化将图像帧的像素值映射至0至1的区间，并采用z-score标准化对所述加速度、角速度时序数据进行处理。

12、优选地，所述视觉分支包括三个依次连接的三维卷积模块、所述卷积压缩层和深度为2的所述transformer编码器；每个三维卷积模块采用3×3×3卷积核和relu激活函数，所述卷积压缩层将三维卷积模块输出特征的时序维度压缩为1，所述transformer编码器采用8头自注意力且隐藏层维度为256。

13、优选地，所述惯性测量分支将所述加速度时序数据和角速度时序数据分别输入两层长短期记忆网络，各长短期记忆网络的隐藏维度为128且dropout为0.2；将两个长短期记忆网络的输出经所述全连接层规整为256维特征，并输入深度为6、采用8头自注意力且隐藏层维度为256的所述transformer编码器。

14、优选地，所述视觉特征和惯性测量特征均为256维特征；所述融合包括将所述视觉特征和惯性测量特征沿通道方向拼接为512维融合特征，并依次通过全连接层和relu激活函数进行特征增强，再通过多层感知器分类头和softmax激活函数输出所述装配动作类型的类别概率分布。

15、优选地，提取所述人体骨架序列特征包括：采用轻量级openpose模型从所述图像帧序列中提取人体的18个关键关节点，得到原始骨架坐标序列，对所述原始骨架坐标序列进行坐标规整和归一化降噪，并对处理后的骨架坐标序列进行时序编码。

16、优选地，采用动态时间规整算法分别计算所述人体骨架序列特征与标准骨架序列特征之间的第一差异值以及所述加速度时序特征与标准加速度时序特征之间的第二差异值，根据所述装配动作类型分别为所述第一差异值和第二差异值分配评价权重，并将加权后的第一差异值、第二差异值与实际动作时长相对于标准动作时长的偏差进行融合，得到所述装配动作标准化综合得分。

17、优选地，根据所述第一差异值、第二差异值和动作时长偏差形成各评价维度的差异明细，基于所述差异明细识别偏差关节点、发力方式偏差或动作时长问题，并生成与识别结果对应的操作优化建议。

18、优选地，将所述装配动作样本按照操作类型、工人编号和采集时间戳构成的目录结构进行分类存储，并生成与所述装配动作样本对应的元数据文件，所述元数据文件包括相机帧率、惯性测量采样率、操作类型标签、采集时间戳和数据校验码。

19、采用上述技术方案具有以下优点：

20、本技术按照统一时间基准对装配操作视频流和惯性测量时序数据进行时间戳对齐，并通过定长截取和标准化处理形成对应的装配动作样本，能够减小不同传感器采集延迟、数据长度及量纲差异对特征融合的影响。视觉分支提取操作人员、工具和装配对象之间的时空特征，惯性测量分支提取加速度和角速度的时序特征，两类特征相互补充，有助于增强复杂装配场景下动作分类的稳定性。识别得到的装配动作类型用于配置骨架序列维度和加速度时序维度的评价权重，使不同装配动作采用与其动作特性对应的评价重点。通过融合骨架序列差异、加速度时序差异和动作时长偏差，可以从动作形态、运动过程和执行节奏多个维度形成装配动作标准化综合得分，并输出各评价维度的差异信息，提高装配操作质量评价的客观性和可解释性。与cn120597043a主要采用骨骼、工具轨迹和力学特征进行动作识别及质量评分的方案相比，本技术采用装配操作视频与可穿戴惯性测量数据的双分支特征提取，并根据动作类型配置评价权重；与cn120765120a侧重装配线状态、工艺参数和产品缺陷监测的方案相比，本技术面向操作人员的具体动作类型及其规范程度进行评价。