一种三维网格模型的二维展开方法、装置、设备及介质与流程

摘要: 本技术涉及计算机,具体涉及一种三维网格模型的二维展开方法、装置、设备及介质。背景技术:1、在游戏美术资产制作流程中,需要将三维网格模型进行二维展开(uv展开),...
一种三维网格模型的二维展开方法、装置、设备及介质与流程

本技术涉及计算机,具体涉及一种三维网格模型的二维展开方法、装置、设备及介质。

背景技术:

1、在游戏美术资产制作流程中,需要将三维网格模型进行二维展开(uv展开),其质量决定贴图的采样精度和视觉表现。现有的二维展开方法均直接在三维网格模型的三维空间中处理切割线的决策问题,由于三维网格模型具有非规则性、稀疏型和拓扑多样性,直接以三维网格模型的三维数据作为深度学习模型的输入缺乏渲染视觉信息,导致得到的切割线质量不高。

技术实现思路

1、本技术实施例提供一种三维网格模型的二维展开方法、装置、设备及介质,旨在解决现有的二维展开方法得到的切割线质量不高的问题。

2、第一方面,提供一种三维网格模型的二维展开方法,二维展开方法包括以下步骤:

3、获取三维网格模型的多个采样点的多通道渲染图像和相机参数;

4、根据多个采样点的多通道渲染图像预测得到多个二维切割线概率图;

5、根据多个二维切割线概率图和相机参数在三维网格模型中进行反投影,生成切割线集合;

6、根据切割线集合确定三维网格模型对应的二维展开坐标。

7、在一些实施例中,获取三维网格模型的多个采样点的多通道渲染图像和相机参数,包括:

8、根据三维网格模型确定多个采样点的位置并确定每个采样点的相机参数;

9、在每个采样点采集三维网格模型的多通道渲染图像,多通道渲染图像包括多通道信息,多通道信息包括平面着色图像、网格边缘叠加图、深度缓冲图、表面曲率图和三角面id图中的至少两者。

10、在一些实施例中,在每个采样点采集三维网格模型的多通道渲染图像之后,还包括:

11、根据多通道渲染图像确定三维网格模型的三角面覆盖率;

12、在三角面覆盖率大于预设覆盖率阈值的情况下,输出多个采样点的多通道渲染图像和相机参数;

13、在三角面覆盖率小于预设的覆盖率阈值的情况下,增加采样点的数量,重新确定每个采样点的相机参数,并在每个采样点采集三维网格模型的多通道渲染图像。

14、在一些实施例中,根据多个采样点的多通道渲染图像预测得到多个二维切割线概率图,包括:

15、根据多个采样点的多通道渲染图像基于二维切割线预测网络模型预测得到对应的二维切割线概率图;

16、二维切割线预测模型包括编码器、瓶颈层、解码器和输出头;

17、编码器用于提取多通道渲染图像的多个不同尺度的特征图;

18、瓶颈层用于在最低尺度的特征图中应用多头自注意力进行跨视角信息交换,生成增强瓶颈特征;

19、解码器用于对多个不同尺度的特征图进行上采样;

20、输出头用于通过卷积和激活函数,将特征图映射为二维切割线概率图。

21、在一些实施例中,在最低尺度的特征图中应用多头自注意力进行跨视角信息交换,生成增强瓶颈特征,包括:

22、将其他采样点的特征图中的特征坐标通过相机参数反投影至三维空间,再重投影至其中一个采样点的特征图中,得到对应的像素坐标;

23、根据所述像素坐标与其中一个所述采样点的特征图中对应的特征坐标的相似度确定可见性权重;

24、基于可见性权重聚合像素坐标,与其中一个采样点的特征图融合,生成增强瓶颈特征。

25、在一些实施例中,二维切割线概率图包括多个被预测为切割线的像素点;

26、根据多个二维切割线概率图和相机参数在三维网格模型中进行反投影,生成切割线集合,包括:

27、基于射线投射将多个二维切割线概率图中被预测为切割线的像素点映射回三维网格模型的网格表面,确定像素点在网格表面的坐标集合以及每个像素点所在的三角面;

28、确定坐标集合中的每个像素点的坐标与像素点所在的三角面中距离最近的网格边,得到候选切割边集合;

29、根据候选切割边集合进行加权投票融合生成切割线集合。

30、在一些实施例中,根据候选切割边集合进行加权投票融合生成切割线集合,包括:

31、根据候选切割边集合中每个候选切割边所在面的法向量和相机参数确定采样点质量权重;根据采样点视角质量权重,确定每个候选切割边的置信度分数;采样点视角质量权重根据候选切割边所在面的法向量平均值、采样点的采样方向和采样点到候选切割边的距离得到;

32、筛选置信度分数大于预设的置信度阈值的候选切割边,作为切割线集合。

33、在一些实施例中,在根据切割线集合确定三维网格模型对应的二维展开坐标之前,二维展开方法还包括:

34、确定切割线集合的有效性状态;

35、在切割线集合的有效性状态指示为不满足有效性约束的情况下,对切割线集合进行拓扑修复,以使切割线集合的有效性状态为满足有效性约束。

36、在一些实施例中,对切割线集合进行拓扑修复,包括:

37、对切割线集合进行连通分量分析,去除切割线集合中的噪声切割线;

38、在切割线集合不连通的情况下,根据所述切割线集合确定所述三维网格模型中每条边的代价,在所述三维网格模型中搜索能将所述切割线集合连通,且所有边的代价的总和最小的最小代价路径,将最小代价路径上的边加入切割线集合,以使切割线集合连通;

39、在切割线集合中存在欧拉示性数不为1的连通分量的情况下,在连通分量中寻找最短非可缩环,将最短非可缩环的边加入切割线集合,以使切割线集合中的所有连通分量的欧拉示性数均为1;

40、去除切割线集合中的冗余边,得到拓扑修复后的切割线集合。

41、在一些实施例中,根据切割线集合确定三维网格模型对应的二维展开坐标,包括:

42、根据切割线集合在三维网格模型上进行切割,生成多个切割网格,切割网格由多个连通分量组成;

43、将每个连通分量映射至二维参数域,生成连通分量中所有顶点在二维参数域中的二维网格坐标集合;

44、将所有的连通分量的二维网格坐标集合在纹理空间中排列,生成在纹理空间的二维展开坐标;

45、计算二维展开坐标的畸变度量,以评估二维展开坐标的质量,生成质量度量报告。

46、在一些实施例中,二维展开方法还包括:

47、计算二维展开坐标的综合质量分数;

48、在二维展开坐标的综合质量分数小于综合质量分数阈值的情况下,生成二维畸变热力图;

49、将二维畸变热力图作为多通道渲染图像中额外的输入通道,重新预测二维切割线概率图,以对二维展开坐标进行迭代更新。

50、第二方面,本技术实施例提供一种三维网格模型的二维展开装置,二维展开装置包括:

51、采样模块,用于获取三维网格模型的多个采样点的多通道渲染图像和相机参数;

52、二维切割线概率图预测模块,用于根据多个采样点的多通道渲染图像预测得到多个二维切割线概率图;

53、反投影模块,用于根据多个二维切割线概率图和相机参数在三维网格模型中进行反投影,生成切割线集合;

54、二维展开模块,用于根据切割线集合确定三维网格模型对应的二维展开坐标。

55、第三方面,本技术实施例提供一种电子设备,包括处理器和存储器,存储器存储有多条指令;处理器从存储器中加载指令,以执行如第一方面中的二维展开方法的步骤。

56、第四方面,本技术实施例提供一种计算机可读存储介质,计算机可读存储介质存储有多条指令,指令适于处理器进行加载,以执行如第一方面中的二维展开方法的步骤。

57、本技术通过获取三维网格模型的多个采样点的多通道渲染图像,预测得到多个二维切割线概率图,再进行反投影生成切割线集合,将三维网格模型的切割线放置问题转换为在二维空间中的语义分割问题,充分利用多通道渲染图像中的渲染视觉信息,提升切割线的质量。