一种跟随跳舞机器人系统及姿态映射方法
本发明属于人工智能,具体涉及一种跟随跳舞机器人系统及姿态映射方法。
背景技术:
1、随着机器人技术与人工智能技术的飞速发展,机器人在工业制造、物流运输、家庭服务及教育娱乐等领域的应用日益广泛。在具身智能范式下,要求机器人不仅具备“大脑”的智能认知能力,更需拥有“身体”以实现与物理世界及人类的实时、流畅、自然交互。舞蹈作为需要高度身体协调性、节奏感与情感表达的复杂连续运动,是检验人形机器人全身运动控制水平与人机交互能力的核心指标。跟随跳舞机器人需能够精准、实时地捕获并模仿舞者的动作。
2、人类手臂具有高度灵活的自由度,而商用人形机器人等硬件设备在关节数量、连杆长度及运动限位方面与人体存在本质差异。现有机器人在舞蹈过程中模仿人体舞蹈动作时,普遍存在因跨形态运动学映射导致的失真问题。
技术实现思路
1、机器人在舞蹈过程中模仿人体舞蹈动作时,因跨形态运动学映射导致的失真问题一方面是由于手部自由度的缺失,现有技术往往忽略了腕部和手部的精细动作,使舞蹈显得僵硬死板;另一方面是现有的姿态映射方法多采用简单的 2d 关节点直接坐标映射或基于逆运动学的暴力迭代求解,前者会导致深度信息丢失,动作严重变形;后者在面对人体随意的舞蹈动作时,极易陷入运动学奇异点,导致计算不收敛、机器人关节卡死或产生不可预测的剧烈翻转。
2、针对上述不足,本发明一方面提供一种跟随跳舞机器人的姿态映射方法,技术方案如下:
3、一种跟随跳舞机器人的姿态映射方法,其特征在于,包括:
4、采集图像;
5、根据所述图像构建用户数字孪生骨架,所述用户数字孪生骨架包括人体特征点;
6、根据所述特征点构建用户基准,基于所述用户基准建立躯干动态坐标系并获取机器人躯干姿态映射关系;
7、根据所述特征点构建用户肢体向量,基于所述用户肢体向量在所述躯干动态坐标系中的投影角获取机器人肢体姿态映射关系;
8、机器人根据所述躯干姿态映射关系和所述肢体姿态映射关系执行姿态映射。
9、进一步地,所述用户基准包括:
10、由左肩部特征点与右肩部特征点构建的肩部向量;
11、由左髋部特征点与右髋部特征点构建的髋部向量;
12、由肩部中点与髋部中点构建的脊柱向量。
13、进一步地,建立所述躯干动态坐标系包括:
14、以所述肩部向量与所述脊柱向量的正交交点为所述躯干动态坐标系的原点;
15、将归一化后的肩部向量和脊柱向量分别作为所述躯干动态坐标系的横轴和纵轴;
16、利用所述肩部向量与所述脊柱向量的叉乘并归一化,生成垂直于前胸的法轴。
17、进一步地,所述躯干姿态映射关系为[θ, ψ],其中:
18、θ为躯干旋转角,反映躯干的扭转程度;
19、ψ为躯干倾斜角,反映躯干的倾斜程度。
20、进一步地,所述肢体向量包括大臂向量、小臂向量及手掌向量;所述肢体姿态映射关系包括[α1, α2, β1, β2, r],其中:
21、α1为肩部横滚角,反映手臂向身体两侧平举的程度;
22、α2为肩部俯仰角,反映手臂前后摆动的程度;
23、β1为肘部横滚角,反映手臂的弯曲程度;
24、β2为肘部偏航角,反映手臂的内外旋程度;
25、r为手腕偏航角,表征手掌的横向朝向。
26、进一步地,所述的姿态映射方法还包括:
27、根据肢体特征点获取机器人的手部张合度h,所述h通过下式计算:
28、h = d/l
29、其中,d为拇指尖特征点与食指尖特征点之间的三维欧氏距离,l为手腕特征点到食指根部特征点的三维欧氏距离。
30、进一步地,所述的姿态映射方法还包括:
31、对所述姿态映射关系进行优化处理,生成优化后的姿态映射关系;所述优化处理为方向修正、安全范围修正、直臂修正、滤波处理、平滑处理中的至少一种。
32、本发明另一方面提供一种跟随跳舞机器人的姿态映射系统,技术方案如下:
33、一种跟随跳舞机器人的姿态映射系统,其特征在于,包括:
34、图像处理模块,用于采集用户的动作视频流并获取用户的人体特征点;
35、形态解算模块,用于根据所述特征点构建用户肢体向量、用户基准、躯干动态坐标系,并获取姿态映射关系;所述用户肢体向量包括大臂向量、小臂向量、手部向量;所述形态解算模块包括:躯干解算单元,用于基于用户基准获取躯干姿态映射关系;大臂解算单元,用于基于大臂向量获取大臂姿态映射关系;小臂解算单元,用于基于小臂向量获取小臂姿态映射关系;手部解算单元,用于基于手部向量获取手部姿态映射关系;
36、优化模块,用于对所述姿态映射关系进行优化处理,生成优化后的姿态映射关系;
37、通信模块,用于将优化后的姿态映射关系发送至机器人。
38、本发明再一方面提供一种跟随跳舞机器人系统,技术方案如下:
39、一种跟随跳舞机器人系统,包括
40、客户端,所述客户端包括上述姿态映射系统和图像采集模块。
41、机器人,用于接收并执行所述客户端发送的姿态映射关系。
42、本发明再一方面提供计算机可读存储介质,技术方案如下:
43、一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述任一种跟随跳舞机器人的姿态映射方法。
44、本发明再一方面还提供一种用户数字孪生骨架,技术方案如下:
45、一种用户数字孪生骨架,包括多个人体特征点及其在世界坐标系中的三维坐标,所述多个人体特征点包括:
46、头部特征点、肩部特征点、肘部特征点、腕部特征点、髋部特征点、小指根部特征点、食指根部特征点、食指尖特征点、拇指尖特征点,所述特征点基于用户视频流利用神经网络识别。
47、本发明再一方面还提供一种用户数字孪生骨架建立方法,技术方案如下:
48、一种用户数字孪生骨架建立方法,包括:
49、采集用户图像,对各帧图像帧进行镜像翻转,得到镜像翻转帧图像;
50、在所述镜像翻转帧图像中构建世界坐标系;
51、在所述世界坐标系中,利用神经网络从图像生成人体三维网络模型;
52、在所述人体三维网络模型中利用神经网络提取人体特征点及其三维坐标,形成数字孪生骨架。
53、本发明再一方面还提供一种用于机器人舞蹈动作映射的用户基准,技术方案如下:
54、一种用于机器人舞蹈动作映射的用户基准,为由用户的肩部向量、髋部向量与脊柱向量构成的工字形结构。
55、本发明再一方面还提供一种用户基准建立方法,技术方案如下:
56、一种用户基准建立方法,包括:
57、获取用户三维数字孪生骨架中的左肩部特征点与右肩部特征点,构建肩部向量;
58、获取左髋部特征点与右髋部特征点,构建髋部向量;
59、获取肩部中点与髋部中点,构建脊柱向量;
60、由所述肩部向量、髋部向量与脊柱向量共同构成用户基准。
61、本发明再一方面还提供一种姿态映射关系修正方法,技术方案如下:
62、一种姿态映射关系修正方法,包括:
63、根据机器人左右结构的对称性,对姿态映射关系进行方向修正;和/或,
64、根据机器人关节的活动范围,对姿态映射关系进行安全范围修正;和/或,
65、根据肘关节的直臂程度,对姿态映射关系中的肘部偏航角进行直臂修正;
66、所述姿态映射关系为f = [θ, ψ, α1, α2, β1, β2, r, h]。
67、本发明再一方面还提供一种姿态映射滤波方法,技术方案如下:
68、一种姿态映射滤波方法,包括:
69、获取相邻帧的姿态映射参数;
70、根据相邻帧的姿态映射参数计算动态截止频率fc:
71、
72、其中,
73、
74、fmin为基础低通截止频率,设定为0.8~1hz;
75、δ为速度响应系数,设定为0.4~0.5;
76、x包括θ、ψ、α1、α2、β1、β2、r、h;
77、比较动态截止频率fc与阈值a;
78、根据比较结果,选择保留当前帧或前一帧的姿态映射关系作为当前帧的姿态映射关系。
79、本发明再一方面还提供一种滤波器,技术方案如下:
80、一种姿态映射滤波器,包括多个滤波单元,所述滤波单元为躯干旋转角滤波单元、躯干倾斜角滤波单元、肩部横滚角滤波单元、肩部俯仰角滤波单元、肘部横滚角滤波单元、肘部偏航角滤波单元、手腕偏航角滤波单元及手部张合度滤波单元中的至少一个;所述滤波器单元采用one-euro滤波器。
81、本发明跟随跳舞机器人的姿态映射系统、方法及跟随跳舞机器人系统,与现有技术相比具有以下显著的有益效果:
82、极高的运动保真度与表现力:本发明通过构建肩、肘、腕、掌的六自由度空间姿态映射,提出一套基于纯空间向量几何的无量纲正向映射算法,采用跨形态轻量级向量解算彻底摆脱了传统逆运动学求解的奇异点问题,并彻底解决了人形机器人舞蹈中“手部僵硬死板”的技术痛点。机器人能够实现从人类肩部、肘部至腕部、手部的全面动作复刻,精准还原舞者的指尖韵律与翻腕动作,从而呈现出媲美人类舞蹈演员的精细且富有表现力的表演。
83、彻底摆脱穿戴束缚,实现无穿戴自然交互:得益于高效的全身拓扑推理与跨形态轻量级向量解算,用户无需佩戴任何昂贵、繁琐的动作捕捉设备,仅需站在普通单目或双目摄像头前即可开始交互,极大地降低了机器人的使用门槛。
84、抗干扰能力与硬件寿命双重提升:本发明将动态自适应截止频率的滤波器深度融合于机器人全身关节空间控制模型中。该机制能够在微秒级时间内自动判断舞者动作的动静状态,完美消除因单目视觉噪点引发的高频机械震荡,极大地降低了机器人电机过热烧毁的风险;同时,结合机器人端的结构对称截断及关节限位截断,确保了机器人硬件的绝对稳定与安全。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com