一种基于时序骨架预测与延迟补偿的轻量化VR全身动作交互方法及系统与流程
本发明涉及虚拟现实交互、人体姿态识别、时序骨架预测、端侧数据处理和动作渲染同步,尤其涉及一种基于时序骨架预测与延迟补偿的轻量化vr全身动作交互方法及系统。本发明适用于vr一体机、vr头显外接摄像头、体感交互舱、训练模拟系统、虚拟人实时驱动系统以及需要低延迟全身动作映射的交互场景。其重点不在于单纯识别当前人体姿态,而在于根据连续骨架序列预测补偿时间后的姿态,并将该预测姿态稳定映射到虚拟骨架。
背景技术:
1、现有vr交互系统中,头部姿态一般可由头显内部传感器快速获得,但全身动作交互仍常依赖外部摄像头、手柄、基站或惯性传感器。对轻量化vr设备而言,增加外设会提高部署成本和校准难度;仅使用单目摄像头或少量端侧传感器时,又容易遇到姿态识别延迟、局部遮挡、骨骼抖动和虚拟角色动作滞后的问题。
2、在实际链路中,人体动作从被摄像头采集,到姿态模型推理,再到虚拟骨架求解、渲染和显示,中间通常存在多个时间段。若系统仍把当前识别帧直接映射到虚拟人,用户在挥手、下蹲、转身、格挡、躲避或快速踏步时,虚拟角色往往慢半拍。该滞后虽然可能只有几十毫秒,但在游戏交互、训练模拟或多人协同时,会被用户感知为拖影、动作不跟手或命中判定不一致。
3、已有方案通常从两个方向处理该问题:一种是提升姿态识别模型速度,另一种是在输出端对骨架数据做平滑。前者受限于vr端侧算力和功耗,不能无限增大模型;后者能减少抖动,却会进一步增加动作响应迟滞。还有部分方案采用固定提前量预测,但固定提前量无法适应不同设备负载、不同帧率和不同动作速度,遇到突然急停、手臂遮挡或身体转向时容易预测过冲。
4、因此,需要一种更贴近vr交互链路的技术方案:系统先估计当前端到端动作链路延迟,再根据多帧骨架序列预测相应补偿时间后的姿态;当预测可信时输出预测姿态,当预测不稳或关键点被遮挡时进入约束补偿或回退模式。这样既不依赖重型外设,也不把平滑当成唯一手段。
技术实现思路
1、发明目的
2、本发明旨在提供一种基于时序骨架预测与延迟补偿的轻量化vr全身动作交互方法及系统,用于解决现有vr全身动作交互中当前帧姿态直接映射导致的动作滞后、快速动作预测不稳、遮挡关键点跳变以及端侧部署算力受限的问题。
3、本发明的核心处理思路为:在vr设备侧或与其连接的边缘端中维护一段人体骨架时间序列;根据采集、姿态推理、映射、渲染和显示链路的时间戳估计补偿时间;使用轻量化时序模型预测补偿时间后的骨架关键点;再通过预测可信度门控、遮挡补偿和虚拟骨架比例约束,生成用于vr虚拟人驱动的输出姿态。
4、技术方案
5、一种基于时序骨架预测与延迟补偿的轻量化vr全身动作交互方法,包括如下处理过程。各处理过程可以在vr一体机本地执行,也可以在与vr设备直连的端侧计算单元中执行。
6、获取人体图像序列和设备同步时间戳。所述人体图像序列由单目图像采集摄像头、头显前置摄像头、外接摄像头或交互舱摄像头采集。所述设备同步时间戳至少包括图像采集时间戳、姿态模型输出时间戳、虚拟骨架映射时间戳、渲染提交时间戳和显示刷新时间戳。
7、采用端侧人体姿态识别模型从图像序列中提取人体骨骼关键点。骨骼关键点至少包括头部、颈部、肩部、肘部、腕部、髋部、膝部和踝部中的多类关键点,并为每一关键点生成位置、置信度和遮挡状态。对于只需要上半身交互的场景,可以降低下肢关键点更新频率;对于格斗、舞蹈、体能训练等场景,则保持下肢关键点参与预测。
8、根据vr动作链路的时间戳计算补偿时间。补偿时间不是预设常数,而是根据当前设备状态动态得到:
9、
10、其中,表示图像采集到帧可用的时间,表示姿态识别模型推理时间,表示真实骨架到虚拟骨架映射时间,表示渲染提交与排队时间,表示显示刷新相关时间。系统可按最近若干帧的滑动统计值更新,以避免单帧峰值造成预测步长剧烈跳变。
11、构建关键点时序状态。对第个关键点在时刻的位置、速度、加速度、置信度、遮挡状态和所属肢体类型进行组合,得到该关键点的时序状态:
12、
13、其中,表示关键点位置,表示关键点速度,表示关键点加速度,表示关键点置信度,表示遮挡或出画状态,表示关键点所属肢体类型。速度和加速度可由相邻帧差分得到:
14、
15、将连续帧关键点时序状态输入轻量化时序姿态预测模型,得到补偿时间后的预测关键点位置:
16、
17、所述轻量化时序姿态预测模型可以采用一维时序卷积、轻量化循环网络、低秩注意力网络或卡尔曼预测器中的一种,也可以采用上述结构的组合。优选地,历史窗口设置为6至24帧;在60hz采集条件下,短动作预测可采用8至12帧历史窗口,转身、下蹲或连续步态可采用更长窗口。预测时间不固定为一秒,而是随变化,通常以一个或多个渲染帧周期为单位进行补偿。
18、计算预测可信度门控值。系统不直接相信每个预测点,而是根据关键点置信度、运动平滑性、遮挡状态和突变程度生成门控值:
19、
20、其中,表示第个关键点在时刻的预测可信度,表示运动平滑性,表示突变程度,、、和为可配置参数。若用户做突然急停、手腕快速翻转或者关键点连续遮挡,降低,系统减少预测姿态的占比。
21、根据预测可信度进行输出姿态融合。对每一关键点,将预测姿态与当前基准姿态进行融合,得到输出姿态:
22、
23、其中,可以为当前识别关键点,也可以为经过短时惯性外推后的关键点。该处理使系统在普通连续动作中使用预测补偿,在异常动作或不可信区域中自动退回到较稳的当前姿态或惯性姿态。
24、对遮挡或出画关键点执行肢体约束补偿。若某关键点在连续若干帧内置信度低于阈值,系统根据父关节、子关节、上一帧位置和上一帧速度进行补偿:
25、
26、其中,表示第个关键点对应父关节的位置,表示对应子关节的位置,至为补偿权重。对于腕部、踝部等端点关键点,当子关节不存在时,系统可使用相邻骨段长度和关节角度范围替代项。
27、将补偿后的真实人体骨架映射到vr虚拟骨架。系统根据真实人体骨架长度、虚拟人骨架长度、关节旋转限制和脚底接触约束,生成虚拟骨架关节旋转或虚拟人动作数据:
28、
29、其中,表示第个虚拟骨架关节的旋转参数,表示用户骨架比例,表示虚拟角色骨架比例,表示关节活动范围、脚底接触、膝肘弯曲方向或角色模型绑定约束。映射时不直接复制真实坐标,而是先将真实骨架转换为归一化骨架,再映射到虚拟角色比例,减少虚拟角色穿模和关节反折。
30、输出vr交互动作数据。所述动作数据包括虚拟人关节旋转、关键点位置、预测可信度、遮挡补偿标记、回退状态和延迟补偿时间。游戏或训练程序可以使用动作数据驱动虚拟角色,也可以将预测可信度作为命中判定、交互反馈或动作评分的参考。
31、系统组成
32、一种基于时序骨架预测与延迟补偿的轻量化vr全身动作交互系统,用于执行上述方法。所述系统包括图像采集模块、端侧姿态识别模块、延迟估计模块、骨架序列缓存模块、时序姿态预测模块、预测可信度门控模块、遮挡补偿模块、虚拟骨架同步映射模块和动作输出模块。
33、图像采集模块用于采集人体图像序列并写入采集时间戳。端侧姿态识别模块用于输出人体关键点位置、置信度和遮挡状态。延迟估计模块用于根据采集、推理、映射、渲染和显示环节的时间戳计算。骨架序列缓存模块用于保存最近帧关键点状态。
34、时序姿态预测模块用于基于骨架序列预测补偿时间后的关键点位置。预测可信度门控模块用于生成,并决定预测姿态、当前姿态或惯性姿态的融合比例。遮挡补偿模块用于对低置信关键点执行父子关节约束和骨长约束补偿。虚拟骨架同步映射模块用于将补偿后的真实人体骨架转换为虚拟人动作数据。动作输出模块用于向vr游戏、训练模拟程序或虚拟人渲染程序输出动作数据和状态标记。
35、有益效果
36、本发明不是简单提高姿态识别模型帧率,而是在动作链路中显式估计补偿时间,并将预测姿态用于抵消端到端延迟。对于需要快速反馈的vr动作交互,该处理能够减少虚拟角色跟随真实动作时的滞后感。
37、与仅做平滑滤波的方案相比,本发明通过预测可信度门控保留了动作敏捷性。连续挥手、踏步或下蹲时,预测分量较高;出现突然停顿、遮挡或转身时,系统自动提高当前姿态或惯性姿态权重,从而降低预测过冲。
38、本发明将遮挡补偿和虚拟骨架比例映射放在同一输出链路中处理,适合单目或少传感器场景。它允许vr设备在不增加重型外设的情况下获得更完整的全身动作输入,同时保留关键点置信度和补偿标记,便于上层应用区分真实识别结果与预测补偿结果。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com