基于头戴式设备的自中心人体姿态推理方法与流程
本发明涉及人体姿态估计,具体提供一种基于头戴式设备的自中心人体姿态推理方法。
背景技术:
1、随着虚拟现实、增强现实和混合现实技术的发展,头戴式设备广泛应用于沉浸式娱乐、虚拟社交、运动训练等应用。通过在头戴式设备上设置惯性传感器或视觉传感器采集人体头部和手部的运动数据,并依靠头部和手部的运动数据恢复全身人体姿态。
2、现有技术中,由于采集的手部的运动数据存在频繁遮挡、出视野和瞬时跳变等问题,因此,可以通过放弃缺失帧和线性插值对手部的运动数据进行处理,但是该处理方式会导致手部运动轨迹不连续或物理不合理,进而导致无法对手部姿态进行准确恢复的技术问题。
3、相应地,本领域需要一种新的基于头戴式设备的自中心人体姿态推理方法来解决上述问题。
技术实现思路
1、为了克服上述缺陷,提出了本技术,以提供解决或至少部分地解决现有技术中,通过放弃缺失帧和线性插值对手部的运动数据进行处理,会导致手部运动轨迹不连续或物理不合理,进而导致无法对手部姿态进行准确恢复的技术问题。
2、第一方面,本技术提供一种基于头戴式设备的自中心人体姿态推理方法,包括:
3、基于头戴式设备获取头部位姿和手部位姿;
4、将所述头部位姿和所述手部位姿进行转换,得到手部转换数据和头部转换数据;
5、将所述手部转换数据和所述头部转换数据输入至预设姿态推理模型,得到身体姿态序列;
6、根据所述身体姿态序列中的手指关节旋转数据,对手部关节的位置进行恢复和平滑处理,得到手部关节位置;
7、根据所述手部位姿和所述手部关节位置,得到对齐手部位姿;
8、根据所述头戴式设备的坐标系,对所述对齐手部位姿和所述头部位姿的坐标系进行变换,得到人体姿态。
9、在上述基于头戴式设备的自中心人体姿态推理方法的一个技术方案中,所述基于头戴式设备获取头部位姿和手部位姿,包括:
10、获取所述头戴式设备采集的原始头部位姿和原始手部位姿;
11、对所述原始手部位姿中的缺失帧和无效位姿进行处理,得到有效手部位姿;
12、对所述原始头部位姿进行筛选,得到有效头部位姿;
13、对所述有效头部位姿和所述有效手部位姿进行重定心,得到头部位姿和手部位姿。
14、在上述基于头戴式设备的自中心人体姿态推理方法的一个技术方案中,所述对所述有效头部位姿和所述有效手部位姿进行重定心,得到头部位姿和手部位姿,包括:
15、获取人体的身高、所述头戴式设备相对于头顶的偏移值和首帧头部位置;
16、根据所述身高和所述偏移值的差值,得到头部高度;
17、根据所述首帧头部位置和所述头部高度,构建全局重定心偏移量;
18、根据所述全局重定心偏移量,对所述有效头部位姿和所述有效手部位姿的平移分量进行修正,得到头部位姿和手部位姿。
19、在上述基于头戴式设备的自中心人体姿态推理方法的一个技术方案中,所述将所述头部位姿和所述手部位姿进行转换,得到手部转换数据和头部转换数据,包括:
20、将所述头部位姿和所述手部位姿的坐标进行旋转,得到第一头部位姿和第一手部位姿;
21、根据预设旋转矩阵,对所述第一手部位姿进行转换,得到第二手部位姿;
22、将所述第一头部位姿的头部朝向进行转换,得到第二头部位姿;
23、将所述第二头部位姿和所述第二手部位姿进行标准化处理,得到手部转换数据和头部转换数据。
24、在上述基于头戴式设备的自中心人体姿态推理方法的一个技术方案中,所述根据所述身体姿态序列中的手指关节旋转数据,对手部关节的位置进行恢复和平滑处理,得到手部关节位置,包括:
25、获取左手形状参数、右手形状参数、左手手指关节旋转序列和右手手指关节旋转序列;
26、将所述左手手指关节旋转序列和所述右手手指关节旋转序列分别输入至预设手部模型,得到手部关节和网格顶点;
27、从所述网格顶点提取五个指尖点;
28、将所述手部关节和所述五个指尖点进行拼接,得到二十一关节手部表示;
29、根据预设映射关系,将二十一关节手部表示的关节顺序进行重新排列,得到重排二十一关节手部表示;
30、根据手腕世界坐标系,将重排二十一关节手部表示进行转换,得到初始手部关节位置;
31、对所述初始手部关节位置进行分层时序平滑处理,得到手部关节位置。
32、在上述基于头戴式设备的自中心人体姿态推理方法的一个技术方案中,所述对所述初始手部关节位置进行分层时序平滑处理,得到手部关节位置,包括:
33、获取腕部关节轨迹;
34、对所述腕部关节轨迹进行滤波,得到平滑腕部轨迹;
35、根据所述平滑腕部轨迹和所述腕部关节轨迹,得到位移差;
36、根据所述位移差,对所述初始手部关节位置施加刚体平移,得到平移后的手部关节数据;
37、计算每个手部关节相对于腕部关节的相对偏移,得到偏移数据;
38、对所述偏移数据进行滤波,得到滤波偏移数据;
39、根据所述滤波偏移数据和所述平滑腕部轨迹,对所述平移后的手部关节数据进行重建,得到手部关节位置。
40、在上述基于头戴式设备的自中心人体姿态推理方法的一个技术方案中,所述根据所述手部位姿和所述手部关节位置,得到对齐手部位姿,包括:
41、对所述手部位姿和所述手部关节位置进行融合,得到融合手部数据;
42、对所述融合手部数据进行修正处理,得到修正数据;
43、对所述修正数据进行对齐处理,得到对齐手部位姿。
44、在上述基于头戴式设备的自中心人体姿态推理方法的一个技术方案中,所述对所述手部位姿和所述手部关节位置进行融合,得到融合手部数据,包括:
45、获取手部观测的置信度;
46、将所述手部观测的置信度映射到预设区间,得到归一化置信度;
47、确定所述归一化置信度小于预设锚点阈值,则将所述手部观测的置信度对应的帧确定为非锚点帧;
48、根据所述非锚点帧的缺失间隙长度,将所述手部位姿和所述手部关节位置进行融合,得到融合手部数据。
49、在上述基于头戴式设备的自中心人体姿态推理方法的一个技术方案中,所述对所述融合手部数据进行修正处理,得到修正数据,包括:
50、计算所述融合手部数据的每条手部骨段在有效帧上的平均长度;
51、计算掌指关节横向连接的平均距离;
52、进行以下迭代计算:对于每条手部骨段,沿父子关节方向将子关节调整至所述平均长度,并将调整至所述平均长度的位移传递给所述子关节的所有后代;对于所述掌指关节横向连接,将两端关节围绕中点调整至所述平均距离,并将调整至所述平均距离的位移传递给手指后代;
53、确定到达预设迭代停止条件,停止迭代。
54、在上述基于头戴式设备的自中心人体姿态推理方法的一个技术方案中,所述对所述修正数据进行对齐处理,得到对齐手部位姿,包括:
55、获取肩部预测位置、肘部预测位置和腕部预测位置;
56、根据所述肩部预测位置、所述肘部预测位置和所述腕部预测位置,计算上臂长度、前臂长度和目标腕部位置;
57、对肩部中心点到目标腕部位置的直线距离进行骨长可达范围钳位,得到腕部位移;
58、将所述腕部位移施加至修正数据,得到对齐手部位姿。
59、本技术提供一种基于头戴式设备的自中心人体姿态推理方法,该方法具体为:基于头戴式设备获取头部位姿和手部位姿;将头部位姿和手部位姿进行转换,得到手部转换数据和头部转换数据;将手部转换数据和头部转换数据输入至预设姿态推理模型,得到身体姿态序列;根据身体姿态序列中的手指关节旋转数据,对手部关节的位置进行恢复和平滑处理,得到手部关节位置;根据手部位姿和手部关节位置,得到对齐手部位姿;根据头戴式设备的坐标系,对对齐手部位姿和头部位姿的坐标系进行变换,得到人体姿态,实现提高手部姿态恢复准确率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com