一种数字人的生成方法、装置、计算机设备和存储介质与流程

摘要: 本技术涉及计算机,特别是涉及一种数字人的生成方法、装置、计算机设备和存储介质。背景技术:1、目前,三维数字人重建主流技术多基于多视角拍摄结合立体重建、隐式神经场...
一种数字人的生成方法、装置、计算机设备和存储介质与流程

本技术涉及计算机,特别是涉及一种数字人的生成方法、装置、计算机设备和存储介质。

背景技术:

1、目前,三维数字人重建主流技术多基于多视角拍摄结合立体重建、隐式神经场(neural radiance fields,nerf)、3d 高斯溅射(3dgs)等算法实现,核心目标是在成本可控的前提下,重建出细节丰富、几何与纹理一致,且能在不同视角、不同姿态下头身联动的高质量三维人体与人脸模型,并实现高效的动画驱动与实时渲染。

2、相关技术中,统一焦段的拍摄方式难以同时兼顾人脸高频细节与人体整体结构,导致人体与人脸的融合建模难度大,生成模型在不同视角、不同姿态及头身联动变化下,无法保持数字人外观、几何与纹理的一致性;同时单阶段训练模式难以同时优化大尺度的人体特征与小尺度的人脸细节特征,存在相机对准复杂的问题。

技术实现思路

1、基于此,有必要针对上述技术问题,提供了一种数字人的生成方法、装置、计算机设备和存储介质。

2、第一方面,本技术提供了一种数字人的生成方法。所述方法包括:

3、获取相机阵列采集的多焦段图像,所述多焦段图像包括包含目标对象的短焦图像和长焦图像;

4、基于所述多焦段图像中的目标关键点和所述相机阵列的参数,得到二维坐标系下不同位置目标关键点在三维坐标系下的同一三维坐标;

5、将所述三维坐标与预设骨骼模板对齐,确定关节位置;

6、基于每个关节相对父关节的位置变化,得到目标对象的运动路径,所述运动路径中包括静态对齐矩阵与动态驱动参数;

7、基于短焦图像构建人体高斯模型,人体高斯模型用于得到人体高斯数据;

8、基于长焦图像构建头部高斯模型,头部高斯模型用于得到头部高斯数据;

9、通过静态对齐矩阵与动态驱动参数,将所述人体高斯数据与所述头部高斯数据进行融合,得到动态的数字人。

10、在其中一个实施例中,所述基于所述多焦段图像中的目标关键点和所述相机阵列的参数,得到二维坐标系下不同位置目标关键点在三维坐标系下的同一三维坐标之后,包括:

11、将所述三维坐标重新投射到多焦段图像中,得到预测二维坐标;

12、基于预测二维坐标和多焦段图像中的原始二维坐标的距离差值,确定符合预设过滤规则的目标二维坐标;

13、基于所述目标二维坐标和所述相机阵列的参数,得到目标二维坐标在三维坐标系下的三维坐标。

14、在其中一个实施例中,所述获取相机阵列采集的多焦段图像之后,包括:

15、对短焦图像中的人体区域和长焦图像中的人脸区域进行超分辨率处理,得到超分辨率增强后的多焦段图像;

16、基于超分辨率处理的参数更新相机阵列参数,得到参数更新后的相机阵列,所述参数更新后的相机阵列与所述超分辨率增强后的多焦段图像坐标对应关系相同。

17、在其中一个实施例中,所述将所述三维坐标与预设骨骼模板对齐,确定关节位置包括:

18、将手部姿态估计模型输出的手腕全局旋转参数解耦为相对于肘关节的局部旋转参数;

19、当所述目标对象为左手时,通过镜像变换矩阵对所述局部旋转参数进行坐标系对齐,以消除手部姿态估计模型与预设骨骼模板之间的左手坐标系手性差异。

20、在其中一个实施例中,基于多个短焦图像构建人体模型包括:

21、将人体建模为规范空间与姿态依赖的变形场,其中所述规范空间为人体处于标准姿态下的基准空间,所述姿态依赖的变形场为人体姿态变化时人体及衣物产生的非刚性形变空间;

22、基于非刚性变形学习模块生成规范空间与姿态依赖的变形场之间的位置映射图与高斯属性残差,所述位置映射图用于建立规范空间与姿态依赖的变形场之间的点云对应关系,所述高斯属性残差用于修正高斯点基础属性的偏差;

23、基于位置映射图与高斯属性残差,对预设人体高斯模型中的每个高斯点进行属性优化,得到训练完成的人体高斯模型。

24、在其中一个实施例中,所述基于长焦图像构建头部高斯模型包括:

25、将预设头部高斯模型中的每一个高斯点绑定至参数化面部模型,得到显式位移偏移量,所述显式位移偏移量包括高斯点相对于绑定的参数化面部模型的几何偏移量;

26、基于显式位移偏移量优化预设头部高斯模型的高斯点核心属性,得到优化后的头部高斯模型;

27、基于长焦图像,同步调整面部模型参数与高斯点核心属性,得到训练完成的头部高斯模型。

28、第二方面,本技术还提供了一种数字人的生成装置,所述装置包括:

29、获取模块,用于获取相机阵列采集的多焦段图像,所述多焦段图像包括目标对象的短焦图像和长焦图像;

30、转换模块,用于基于所述多焦段图像中的目标关键点和所述相机阵列的参数,得到二维坐标系下不同位置目标关键点在三维坐标系下的同一三维坐标;

31、对齐模块,用于将所述三维坐标与预设骨骼模板对齐,确定关节位置;

32、基于每个关节相对父关节的位置变化,得到目标对象的运动路径,所述运动路径中包括静态对齐矩阵与动态驱动参数;

33、生成模块,用于基于短焦图像构建人体高斯模型,所述人体高斯模型用于得到人体高斯数据;

34、基于长焦图像构建头部高斯模型,头部高斯模型用于得到头部高斯数据;

35、通过静态对齐矩阵与动态驱动参数,将所述人体高斯数据与所述头部高斯数据进行融合,得到动态的数字人。

36、第三方面,本公开还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现数字人的生成方法的步骤。

37、第四方面,本公开还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现数字人的生成方法的步骤。

38、第五方面,本公开还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现数字人的生成方法的步骤。

39、上述数字人的生成方法,至少包括以下有益效果:

40、本公开提供的实施例方案,通过相机阵列采集多焦段图像,短焦图像适配人体建模需求,完整还原身体轮廓、四肢动作及衣物褶皱等全局特征,长焦图像聚焦头部细节,精准捕捉面部毛孔、唇纹、细微表情等高频特征。结合多视角几何约束将2d关键点三角化得到统一的3d坐标,再经骨骼模板对齐确定关节位置,不仅过滤了误差点、统一了空间坐标系,还让3d关节数据贴合标准人体运动学结构,避免了数据混乱或偏差导致的建模失真,为人体/头部高斯模型构建提供了高精度、高可靠性的基础约束。通过静态对齐矩阵和动态驱动参数的融合策略,静态对齐矩阵修正头身初始空间偏移,解决了头身错位、衔接不自然的问题,动态驱动参数基于关节相对父关节的运动路径生成,保证头部与身体的动作逐帧同步,实现头身模型的无缝自适应融合。

41、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。