珠宝模拟试戴方法及系统与流程

摘要: 本发明涉及虚拟试戴,尤其涉及一种珠宝模拟试戴方法及系统。背景技术:1、虚拟试戴技术在数字化消费领域占据着至关重要的地位,姿态感知作为其中的核心支撑技术,直接决定...
珠宝模拟试戴方法及系统与流程

本发明涉及虚拟试戴,尤其涉及一种珠宝模拟试戴方法及系统。

背景技术:

1、虚拟试戴技术在数字化消费领域占据着至关重要的地位,姿态感知作为其中的核心支撑技术,直接决定了用户在线上购物时的真实体验感与购买意愿。

2、当前,现有试戴技术主要依赖于图像的二维平面贴图或简单的轮廓对齐来进行画面叠加。然而,当用户发生肢体动作改变时,虚拟物品往往无法跟随人体自然移动,极易出现画面脱节的现象。由于缺乏对人体骨骼关键点在三维空间中旋转和平移状态的精准捕捉,现有技术无法获取人体真实的运动轨迹。这种空间运动信息的缺失,直接导致虚拟珠宝的局部坐标系无法准确绑定到对应的人体骨骼节点上。以试戴虚拟项链的业务过程为例,当用户转动脖子或低头时,由于无法通过逆向运动学计算来获取颈部关节复杂的空间位姿变化,项链的模型坐标就无法与颈部骨骼的姿态同步更新。这会导致项链僵硬地悬浮在半空中,或者在用户低头时直接穿透下巴与锁骨,产生严重的穿模现象,彻底破坏了试戴的物理真实感。

3、综上,现有技术中存在虚拟珠宝试戴中颈部空间位姿追踪不精准的问题。

技术实现思路

1、本发明提供了一种珠宝模拟试戴方法及系统,以解决现有技术中虚拟珠宝试戴中颈部空间位姿追踪不精准的问题。

2、第一方面,为了解决上述技术问题,本发明提供了一种珠宝模拟试戴方法,包括:

3、对用户视频流中的原始图像帧进行卷积神经网络特征提取,得到颈部区域的骨骼节点与物理结构特征,对所述骨骼节点与物理结构特征进行运动学解算,得到颈部运动轨迹;

4、对所述颈部运动轨迹进行卡尔曼滤波及频域分析,得到运动规律特征,获取虚拟项链模型,对所述运动规律特征进行位姿解算得到颈部空间位姿矩阵,结合所述空间位姿矩阵与所述运动规律特征对所述虚拟项链模型进行刚柔耦合变换,得到目标局部坐标;

5、对所述目标局部坐标与所述骨骼节点进行坐标绑定与像素投影,得到合成图像帧及深度信息图;

6、提取所述虚拟项链模型的边缘顶点坐标与所述颈部区域的表面网格坐标,对所述合成图像帧与所述深度信息图进行穿模检测,若所述边缘顶点坐标与所述表面网格坐标在同一深度层级重叠,则沿所述表面网格坐标的法线方向对所述边缘顶点坐标进行反向偏移,得到无穿模图像帧。

7、第二方面,本发明提供了一种珠宝模拟试戴系统,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上所述的珠宝模拟试戴方法的步骤。

8、第三方面,本发明提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的珠宝模拟试戴方法的步骤。

9、相比于现有技术,本发明具有如下有益效果:

10、(1)本发明通过对颈部运动轨迹进行卡尔曼滤波及频域分析得到运动规律特征,对所述运动规律特征进行位姿解算得到颈部空间位姿矩阵,并结合所述空间位姿矩阵与所述运动规律特征对虚拟项链模型进行刚柔耦合变换,实现了刚性跟随与局部柔性形变的耦合驱动,解决了现有技术仅通过简单姿态平滑导致虚拟项链无法准确跟随颈部复杂运动、摆动轨迹与颈部真实运动脱节的问题。

11、(2)本发明通过提取虚拟项链模型的边缘顶点坐标与颈部区域的表面网格坐标,对合成图像帧与深度信息图进行穿模检测,在边缘顶点坐标与表面网格坐标在同一深度层级重叠时沿表面网格坐标的法线方向进行反向偏移,实现了穿模的精确检测与沿表面法线方向的修正,解决了现有技术仅依赖通用物理引擎碰撞器检测穿模、修正位置可能偏离颈部表面的问题。

12、(3)本发明通过距离衰减函数分配关节点权重构建三维空间映射关系,将骨骼节点的实时变换矩阵与关节点权重进行加权累加并作用于目标局部坐标,实现了基于蒙皮权重的精准坐标绑定,保证了虚拟项链在颈部不同区域的贴合度和跟随性。

1.一种珠宝模拟试戴方法,其特征在于,包括:

2.根据权利要求1所述的珠宝模拟试戴方法,其特征在于,所述对用户视频流中的原始图像帧进行卷积神经网络特征提取,得到颈部区域的骨骼节点与物理结构特征,包括:

3.根据权利要求1所述的珠宝模拟试戴方法,其特征在于,所述对所述颈部运动轨迹进行卡尔曼滤波及频域分析,得到运动规律特征,包括:

4.根据权利要求1所述的珠宝模拟试戴方法,其特征在于,所述对所述运动规律特征进行位姿解算得到颈部空间位姿矩阵,包括:

5.根据权利要求1所述的珠宝模拟试戴方法,其特征在于,所述结合所述空间位姿矩阵与所述运动规律特征对所述虚拟项链模型进行刚柔耦合变换,得到目标局部坐标,包括:

6.根据权利要求1所述的珠宝模拟试戴方法,其特征在于,所述对所述目标局部坐标与所述骨骼节点进行坐标绑定与像素投影,得到合成图像帧及深度信息图,包括:

7.根据权利要求1所述的珠宝模拟试戴方法,其特征在于,所述提取所述虚拟项链模型的边缘顶点坐标与所述颈部区域的表面网格坐标,对所述合成图像帧与所述深度信息图进行穿模检测,若所述边缘顶点坐标与所述表面网格坐标在同一深度层级重叠,包括:

8.根据权利要求1所述的珠宝模拟试戴方法,其特征在于,所述沿所述表面网格坐标的法线方向对所述边缘顶点坐标进行反向偏移,得到无穿模图像帧,包括:

9.一种珠宝模拟试戴系统,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至8任一项所述珠宝模拟试戴的方法。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至8任一项所述珠宝模拟试戴的方法。