一种人手装配技能解析的方法及系统与流程

技术特征：
1.一种人手装配技能解析的方法，其特征在于，包括：采集人手装配动作演示过程中的视频特征以及指尖力特征；根据所述视频特征构建装配场景图，并利用图网络模型提取所述装配场景图的空间特征；利用时间卷积网络提取连续的所述空间特征的全局时间信息，确定所述人手装配动作演示过程中的时空特征；在提取所述时空特征的同时，利用长短期记忆网络模型，根据所述指尖力特征确定分割点特征；将所述空间特征以及所述分割点特征进行空间
‑
分割点特征池化，确定空间
‑
分割点特征；对所述时空特征以及所述空间
‑
分割点特征进行加权融合，确定基元动作序列。2.根据权利要求1所述的人手装配技能解析的方法，其特征在于，所述采集人手装配动作演示过程中的视频特征以及指尖力特征，具体包括：利用深度视觉相机采集人手装配动作演示过程中的rgb
‑
d图像，输出人手装配动作演示的视频特征；所述视频特征包括多帧rgb图像以及多帧深度图像；利用rep薄膜压力传感器采集人手装配动作演示过程中拇指和食指的指尖力变化信息，并将所述指尖力变化信息转换为电阻值变化信息；利用驱动模块将所述电阻值变化信息转换为模拟电压的变化；利用嵌入式单片机对所述模拟电压的变化进行adc处理，确定指尖力变化的电压值；所述指尖力变化的电压值为指尖力特征。3.根据权利要求2所述的人手装配技能解析的方法，其特征在于，所述根据所述视频特征构建装配场景图，并利用图网络模型提取所述装配场景图的空间特征，具体包括：识别每一帧所述rgb图像中的对象，确定对象的类型以及2d边界框位置信息；所述对象为所述rgb图像中的装配零件以及人手；根据所述2d边界框位置信息以及所述深度图像的深度信息确定所述对象的3d坐标；基于所述对象的3d坐标利用点云滤波确定对象点云信息以及所述对象的3d边界框信息；根据所述3d边界框信息判断所述对象的相对位置关系，生成装配场景图；利用图网络模型不断更新每帧所述装配场景图的节点、边和全局属性，得到每帧所述装配场景图的空间特征。4.根据权利要求3所述的人手装配技能解析的方法，其特征在于，所述利用时间卷积网络提取连续的所述空间特征的全局时间信息，确定所述人手装配动作演示过程中的时空特征，具体包括：构建单阶段的时间卷积网络；所述单阶段的时间卷积网络中的输入层后连接多个卷积层，所述卷积层使用卷积核为3的非因果卷积，引入每层加倍膨胀因子的空洞卷积以增大每层所述卷积层的感受野，最后一层隐含层每帧的感受野为完整视频帧数；多次构建单阶段的时间卷积网络，生成多阶段时间卷积网络，并将所述多阶段的时间卷积网络中最后一层隐含层的特征作为所述人手装配动作演示过程中每帧视频的时空特征。
5.根据权利要求4所述的人手装配技能解析的方法，其特征在于，所述在提取所述时空特征的同时，利用长短期记忆网络模型，根据所述指尖力特征确定分割点特征，具体包括：对所述指尖力特征进行预处理，确定多维指尖力特征；所述多维指尖力特征包括拇指数据、拇指方差、拇指斜率、食指数据、食指方差、食指斜率以及时间戳；其中，所述拇指数据与所述食指数据为当前时间戳原始指尖力电压数据，所述拇指方差与所述食指方差为当前时间戳及前后5个时间戳指尖力电压数据的方差，所述拇指斜率与所述食指斜率为当前时间戳及前后5个时间戳指尖力电压数据所拟合直线的斜率；基于所述长短期记忆网络模型，利用所述多维指尖力特征识别所述装配动作的分割点信息；所述分割点信息用n
×
1维特征向量表示，所述特征向量用数字0和数字1进行编码，所述数字0所在行对应的视频帧数不是分割点，所述数字1所在行对应的视频帧数是分割点；其中，n为视频帧数；根据所述n
×
1维特征向量确定分割点特征。6.根据权利要求5所述的人手装配技能解析的方法，其特征在于，所述将所述空间特征以及所述分割点特征进行空间
‑
分割点特征池化，确定空间
‑
分割点特征，具体包括：根据所述分割点特征内的分割点对所述空间特征进行分割，确定多段分割后的空间特征；对每段所述分割后的空间特征进行平均池化，确定空间
‑
分割点特征。7.根据权利要求6所述的人手装配技能解析的方法，其特征在于，所述对所述时空特征以及所述空间
‑
分割点特征进行加权融合，确定基元动作序列，具体包括：将所述时空特征以及所述空间
‑
分割点特征加权融合后的融合特征对应的融合矩阵按行分块，定义所述融合矩阵；根据所述融合矩阵确定每一帧视频的基元装配动作类型；合并所述基元装配动作类型相同的相邻帧，确定所述人手装配动作演示视频的基元动作序列。8.一种人手装配技能解析的系统，其特征在于，包括：特征采集模块，用于采集人手装配动作演示过程中的视频特征以及指尖力特征；空间特征提取模块，用于根据所述视频特征构建装配场景图，并利用图网络模型提取所述装配场景图的空间特征；时空特征提取模块，用于利用时间卷积网络提取连续的所述空间特征的全局时间信息，确定所述人手装配动作演示过程中的时空特征；分割点特征提取模块，用于在提取所述时空特征的同时，利用长短期记忆网络模型，根据所述指尖力特征确定分割点特征；空间
‑
分割点特征池化模块，用于将所述空间特征以及所述分割点特征进行空间
‑
分割点特征池化，确定空间
‑
分割点特征；特征融合模块，用于对所述时空特征以及所述空间
‑
分割点特征进行加权融合，确定基元动作序列。9.根据权利要求8所述的人手装配技能解析的系统，其特征在于，所述特征采集模块，具体包括：视频特征采集单元，用于利用深度视觉相机采集人手装配动作演示过程中的rgb
‑
d图
像，输出人手装配动作演示的视频特征；所述视频特征包括多帧rgb图像以及多帧深度图像；指尖力信息采集单元，用于利用rep薄膜压力传感器采集人手装配动作演示过程中拇指和食指的指尖力变化信息，并将所述指尖力变化信息转换为电阻值变化信息；转换单元，用于利用驱动模块将所述电阻值变化信息转换为模拟电压的变化；指尖力特征处理单元，用于利用嵌入式单片机对所述模拟电压的变化进行adc处理，确定指尖力变化的电压值；所述指尖力变化的电压值为指尖力特征。10.根据权利要求9所述的人手装配技能解析的系统，其特征在于，所述空间特征提取模块，具体包括：2d边界框确定单元，用于识别每一帧所述rgb图像中的对象，确定对象的类型以及2d边界框位置信息；所述对象为所述rgb图像中的装配零件以及人手；3d坐标确定单元，用于根据所述2d边界框位置信息以及所述深度图像的深度信息确定所述对象的3d坐标；3d边界框信息确定单元，用于基于所述对象的3d坐标利用点云滤波确定对象点云信息以及所述对象的3d边界框信息；装配场景图生成单元，用于根据所述3d边界框信息判断所述对象的相对位置关系，生成装配场景图；基于图网络的空间特征提取单元，用于利用图网络模型不断更新每帧所述装配场景图的节点、边和全局属性，得到每帧所述装配场景图的空间特征。

技术总结
本发明涉及一种人手装配技能解析的方法及系统。该方法包括：采集人手装配动作演示过程中的视频特征以及指尖力特征；根据所述视频特征构建装配场景图，并利用图网络模型提取所述装配场景图的空间特征；利用时间卷积网络提取连续的所述空间特征的全局时间信息，确定所述人手装配动作演示过程中的时空特征；在提取所述时空特征的同时，利用长短期记忆网络模型，根据所述指尖力特征确定分割点特征；将所述空间特征以及所述分割点特征进行空间


技术研发人员：楚中毅 高正阳 刘沛 康增信
受保护的技术使用者：北京航空航天大学
技术研发日：2021.07.09
技术公布日：2021/10/23