多模态图卷积联合双重注意力的机器人轨迹偏差检测方法
本发明涉及计算机视觉控制,具体涉及一种多模态图卷积联合双重注意力的机器人轨迹偏差检测方法。
背景技术:
1、随着人工智能与机器人技术的发展,服务机器人正逐步完善,承担物品搬运、清洁整理、陪护等各类服务任务。与工业机器人运行在结构化环境中不同,家居机器人面临的是非结构化、动态变化的家庭环境,其对任务执行的准确性和可靠性提出了更高要求。
2、家居机器人在执行任务时,其肢体运动轨迹的准确性直接关系到任务执行的成败。例如,当机器人执行将水杯从桌面拿起并递送到用户手中的任务时,其机械臂末端执行器的运动轨迹必须精确匹配预期路径,否则可能导致水杯滑落或碰撞障碍物。因此,对机器人实际肢体运动轨迹与预期轨迹之间的一致性进行校验,使家居机器人任务执行可靠性的关键技术手段。
3、目前,机器人运动轨迹的校验主要依赖关节编码器、惯性测量单元等本体传感器数据,通过比较实际关节角度与规划指令之间的偏差来判断执行精度。然而,纯本体传感器方案存在以下不足:一是关节编码器仅能反映关节角度信息,难以直接获取末端执行器在三维空间中的绝对位置;二是本体传感器难以提供机器人肢体在空间中的完整姿态信息;三是缺乏对机器人整体肢体构型中各关节间的协同运动关系的全局评估性能。
4、近年来,基于视觉的人体姿态估计技术取得进展,通过rgb-d相机可以实时获取人体骨架的三维坐标。然而,现有技术主要聚焦于对人体行为的识别与预测,尚未见到将视觉骨架感知技术应用于家居机器人自身肢体运动轨迹的预期与一致性校验的相关报道。此外,现有方法多采用单一模态特征,通常为关节点三维坐标,忽略了机器人肢体运动中连杆方向向量和关节角度等各模态间深层的语义互补关系,导致运动轨迹表征的判别力不足。因此,亟需一种能够充分利用视觉骨架数据中多模态几何信息、自适应聚焦任务关键阶段、具备高精度轨迹一致性校验性能的家居机器人肢体运动轨迹校验方法。
技术实现思路
1、为了解决上述现有技术的不足,本发明的目的在于提供一种多模态图卷积联合双重注意力的机器人轨迹偏差检测方法,通过视觉数据进行机器人肢体运动轨迹的预期与校验,是一种非接触式的纯视觉解决方案;通过关节点三维坐标、连杆方向向量和关节角度多模态的层次化融合,充分利用视觉骨架数据中蕴含的多样化几何信息,增强了机器人运动轨迹的表征性能;通过空间注意力动态识别任务执行过程中的关键驱动关节点,时间注意力自动定位任务执行的关键阶段,使模型能够自适应聚焦于机器人运动中最具判别性的时空特征;通过通道拓扑精炼机制为每个特征通道独立优化关节点连接拓扑,突破了传统图卷积单一固定拓扑的限制,能够根据各任务自适应调整关节点间的信息传递权重;根据关节位置偏差、连杆方向偏差和关节角度偏差加权融合的机器人运动轨迹一致性参数为机器人肢体运动轨迹的量化评估提供了可解释的技术指标,便于后续对机器人在相同场景下任务的运动轨迹进行校验和优化。
2、具体地,本发明提供一种多模态图卷积联合双重注意力的机器人轨迹偏差检测方法,其包括以下步骤:
3、s1:获取机器人多模态视觉骨架数据,提取机器人多模态视觉骨架特征,包括:机器人的关节点三维坐标特征为、连杆方向向量和关节角度特征;
4、s2:预处理机器人骨架数据,建立相对坐标系和空间邻接矩阵,组成标准化时空骨架图;根据s1输出的机器人多模态视觉骨架特征和空间邻接矩阵,使用层次化图卷积对机器人多模态特征进行融合,得到多模态融合特征张量;
5、s3:根据空间注意力子模块得到关节点归一化后的空间注意力权重;将空间注意力权重作用于s2中的多模态融合特征张量得到空间注意力增强特征,确定关节点空间注意力残差加权特征;根据原始时间注意力参数确定归一化后的时间注意力权重,将时间注意力权重作用于空间增强特征,得到双重注意力增强特征;
6、s4:构建多个级联的时空骨架图卷积模块,输入s3中的双重注意力增强特征,对各关节点间的运动相关性进行建模;根据精炼拓扑矩阵进行特征聚合得到拓扑矩阵聚合特征;通过多尺度时间卷积捕捉机器人运动的动态特征,得到机器人预期轨迹集合;
7、s5:获取s4输出的机器人预期轨迹集合以及机器人各关节点实际运动轨迹,确定机器人关节位置偏差、机器人连杆方向偏差和机器人关节角度偏差;加权融合生成机器人运动轨迹一致性参数,进行运动轨迹一致性校验。
8、优选地,s2具体为:
9、s21:对机器人的关节点三维坐标进行中心化处理,建立相对坐标系;以机器人各关节点为图节点,以机器人机械连杆连接关系为边构建空间邻接矩阵;沿时间维度连接相邻帧中相同关节点,组成标准化时空骨架图;
10、s22:建立用于层次化图卷积的向心子集、离心子集和根节点子集,提取高阶空间特征,输出机器人模态的层次化图卷积结果,通过卷积融合得到中间融合特征;将中间融合特征与角度特征的层次化输出再次拼接,得到多模态融合特征张量。
11、优选地,s22中的机器人模态的层次化图卷积结果为:
12、;
13、;
14、其中,为第个机器人模态的层次化图卷积结果;为机器人模态特征索引;为各模态的输入特征;为输入通道数;为第个子集的归一化邻接矩阵;为子集索引;为第个子集的邻接矩阵;为第个子集的度矩阵;为待优化边缘权重矩阵;为第个子集的权重矩阵;为逐元素相乘运算。
15、优选地,s3具体为:
16、s31:根据空间注意力子模块确定通道降维空间特征;确定关节点的中间隐层特征;生成关节点的原始注意力参数,得到关节点归一化后的空间注意力权重;
17、s32:将空间注意力权重作用于多模态融合特征张量得到空间注意力增强特征;整合原始融合特征与空间注意力增强特征,得关节点空间注意力残差加权特征;
18、s33:对空间增强特征进行通道降维,得到通道降维后的时间特征,确定中间隐层特征;根据原始时间注意力参数,得到归一化后的时间注意力权重,将时间注意力权重作用于空间增强特征,得到双重注意力增强特征。
19、优选地,s31中的空间注意力权重具体为:
20、;
21、;
22、其中:为第个关节点归一化后的空间注意力权重;为第个关节点的原始注意力参数;为自然指数函数;为第个关节点的原始空间注意力参数;第二全连接层的权重矩阵;为连接第个隐层神经元到输出神经元的参数权重;为第二全连接层的偏置;的第个分量;为关节点总数;为关节点索引;为隐层神经元索引。
23、优选地,s33中的时间注意力权重具体为:
24、;
25、;
26、其中,为时刻的归一化后的时间注意力权重;为第二时间参数;为时刻的原始时间注意力参数;为第二全连接层权重矩阵;为对应的参数权重;为第二全连接层偏置;为图像帧数;为时刻的第个分量的中间隐层特征。
27、优选地,s4具体为:
28、s41:构建多个级联的时空骨架图卷积模块;在每个时空骨架图卷积模块中,执行通道级特征变换,得到转换后的时空特征;对各关节点间的运动相关性进行建模,确定第和第个关节点运动相关性参数;进行通道级拓扑精炼,得到精炼拓扑矩阵,进行特征聚合得到拓扑矩阵聚合特征;
29、s42:通过多尺度时间卷积捕捉机器人运动的动态特征;根据拓扑矩阵聚合特征第个分支的输出确定三个多尺度卷积分支融合后的时序特征;通过回归层输出机器人第帧第个关节点三维坐标,构成机器人预期轨迹集合。
30、优选地,s41中的精炼拓扑矩阵为:
31、;
32、其中,为第个通道的精炼拓扑矩阵;为空间邻接矩阵;为第个通道的优化参数;为动态相关性张量的第个通道切片。
33、优选地,s5中的机器人关节位置偏差、机器人连杆方向偏差和机器人关节角度偏差,具体为:
34、;
35、;
36、;
37、其中,为机器人关节位置偏差;为机器人预期运动轨迹横坐标;为机器人实际运动轨迹横坐标;为机器人预期运动轨迹纵坐标;为机器人实际运动轨迹纵坐标;为机器人预期运动轨迹竖直方向坐标;为机器人实际运动轨迹竖直方向坐标;为机器人连杆方向偏差;为机器人连杆方向预期方向向量;为机器人连杆方向实际方向向量;为反余弦函数;为机器人关节角度偏差;为机器人预期关节角度;为机器人实际关节角度。
38、优选地,s5中的机器人运动轨迹一致性参数为:
39、;
40、其中,为机器人运动轨迹一致性参数;为关节位置偏差的权重系数;为连杆方向偏差的权重系数;为关节角度偏差的权重系数;为预设最大允许位置偏差阈值;为圆周率参数;为预设最大允许角度偏差阈值。
41、与现有技术相比,本发明的有益效果如下:
42、(1)本发明通过视觉数据进行机器人肢体运动轨迹的预期与校验,无需依赖关节编码器、惯性测量单元等本体传感器,是一种非接触式的纯视觉解决方案,降低了系统对机器人本体传感器的依赖。
43、(2)本发明通过关节点三维坐标、连杆方向向量和关节角度多模态的层次化融合,充分利用视觉骨架数据中蕴含的多样化几何信息,即为关节点三维坐标提供空间位置锚点,连杆方向向量描述肢体运动方向,关节角度揭示关节姿态变化,增强了机器人运动轨迹的表征性能。
44、(3)本发明设计了空间与时间双重注意力机制,空间注意力动态识别任务执行过程中的关键驱动关节点,时间注意力自动定位任务执行的关键阶段,使模型能够自适应聚焦于机器人运动中最具判别性的时空特征。
45、(4)本发明提出的通道拓扑精炼机制为每个特征通道独立优化关节点连接拓扑,突破了传统图卷积单一固定拓扑的限制,能够根据各任务自适应调整关节点间的信息传递权重。
46、(5)本发明提出了基于关节位置偏差、连杆方向偏差和关节角度偏差加权融合的机器人运动轨迹一致性参数方法,为机器人肢体运动轨迹的量化评估提供了可解释的技术指标,便于后续对机器人在相同场景下任务的运动轨迹进行校验和优化。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com