弱网环境下的3D模型加载方法、系统、设备及存储介质与流程
本发明涉及计算机数据处理,尤其涉及一种弱网环境下的3d模型加载方法、系统、设备及存储介质。
背景技术:
1、随着web3d技术的快速发展,三维模型在浏览器端的应用日益广泛,涵盖数字孪生、虚拟现实、在线展览、智慧城市等多个领域。gltf二进制格式文件(gltf binary,glb)格式作为一种标准的二进制3d模型文件格式,凭借其结构紧凑、自包含的特性,已成为web端3d应用的主流数据格式。然而,glb模型文件体积通常较大,少则数十兆字节,多则数百兆字节乃至数吉字节,在弱网环境下面临着加载延迟久、内存占用过高、用户交互体验不佳等突出问题。
2、目前主流的优化思路主要集中于减少网络请求资源的体积和提升模型的解析速度两个方面。在压缩模型体积方面,较为常见的方案是使用google的draco库对模型进行压缩,其原理类似于降低图片的分辨率,通过减少模型的顶点数来起到压缩体积的效果。然而,draco是一种有损压缩方式,可能带来画面模型撕裂的问题,尤其是在网格连接处容易出现视觉瑕疵。此外,仅仅压缩顶点只能将模型压缩到原模型体积的约百分之九十,压缩效果有限。更为关键的是,draco的前端解码器在h5环境中的解算效率不理想,节省下来的网络请求时间可能还不足以抵消增加的数据解算时间。在提升模型解析速度方面,主流方案是采取分步加载策略,即在模型加载时先遍历第一层网格并将所有网格隐藏起来,然后循环这些网格,每展示一个就执行一次渲染方法,从而将一次大的卡顿分散成多次小的卡顿。但这种方案只能让用户感觉上不那么卡顿,实际的等待时间并未减少,过长的等待时间仍然严重影响用户的操作体验。此外,现有方案中模型的文件操作通常采用同步io方式,高并发场景下存在明显的io瓶颈;解压缩模型采用javascript方式进行,效率低、耗时长;webassembly(wasm)插件广泛使用rust语言编写,学习曲线陡峭,开发周期较长。
技术实现思路
1、本发明实施例提供了一种弱网环境下的3d模型加载方法、系统、设备及存储介质,以解决web3d模型在弱网环境下的传输和加载速度较慢的问题。
2、第一方面,本发明实施例提供了一种弱网环境下的3d模型加载方法,包括:
3、客户端基于当前摄像机的空间位置和视线方向计算视点参数,并向服务端发送携带视点参数的分片请求;
4、服务端根据视点参数和原始3d模型文件对应的多个压缩分片的元数据信息,筛选出当前摄像机的视锥体覆盖范围内的目标压缩分片,并通过quic协议将目标压缩分片传输至客户端;
5、客户端接收目标压缩分片并进行流式解压,还原出原始3d模型数据块,并将原始3d模型数据块结合当前摄像机的视锥体进行渲染。
6、在一种可能的实现方式中,在客户端基于当前摄像机的空间位置和视线方向计算视点参数,并向服务端发送携带视点参数的分片请求之前,还包括:
7、服务端对原始3d模型文件进行解析,提取几何数据,将原始3d模型文件重组为包含三角形面片列表、材质分组信息以及模型全局包围盒的数据结构;其中,几何数据包括顶点位置、法线向量、uv坐标以及三角形索引数据;
8、服务端以模型全局包围盒作为八叉树的根节点,对原始3d模型所在三维空间进行递归分割,在当前节点的递归深度未达到预设最大值、且当前节点内包含的三角形面片数量超过设定阈值、且当前节点的尺寸大于最小分割尺寸时,将当前立方体节点均等划分为八个子节点,并将当前节点内的三角形面片分配至对应的子节点中;其中,对于跨越子节点边界的三角形面片,将其保留在父节点中;
9、服务端将各节点内的三角形面片作为一个独立分片,并对各独立分片分别进行压缩,得到原始3d模型对应的多个压缩分片和各压缩分片的元数据信息;其中,各压缩分片的大小处于预设范围内。
10、在一种可能的实现方式中,在将各节点内的三角形面片作为一个独立分片,并对各独立分片分别进行压缩,得到原始3d模型对应的多个压缩分片和各压缩分片的元数据信息之前,还包括:
11、基于边塌缩算法,按照合并代价从小到大的顺序对各三角形面片进行网格简化,并重新计算简化后各三角形面片的法线;
12、对各三角形面片的边界顶点的法线向量进行均值处理。
13、在一种可能的实现方式中,服务端将各节点内的三角形面片作为一个独立分片,并对各独立分片分别进行压缩,得到原始3d模型对应的多个压缩分片和各压缩分片的元数据信息,包括:
14、服务端针对不同lod层级版本分别生成多个独立分片;其中,每个lod层级版本的各独立分片的精度不同;
15、服务端对各lod层级版本的各独立分片分别进行压缩,得到原始3d模型对应的多个压缩分片和各压缩分片的元数据信息;
16、相应的,服务端根据视点参数和原始3d模型文件对应的多个压缩分片的元数据信息,筛选出当前摄像机的视锥体覆盖范围内的目标压缩分片,包括:
17、服务端计算每个独立分片中心点到摄像机的距离,基于距离确定该独立分片对应的目标lod级别,将处于当前摄像机的视锥体覆盖范围内且具有目标lod级别的压缩分片筛选为目标压缩分片;
18、客户端接收目标压缩分片并进行流式解压,还原出原始3d模型数据块,并将原始3d模型数据块结合当前摄像机的视锥体进行渲染,包括:
19、客户端每帧计算摄像机到原始3d模型数据块中各已加载分片的距离,根据距离自动触发各已加载分片的lod级别切换。
20、在一种可能的实现方式中,客户端每帧计算摄像机到原始3d模型数据块中各已加载分片的距离,根据距离自动触发各已加载分片的lod级别切换,包括:
21、当客户端判定当前分片需要从旧lod级别切换至新lod级别时,将新lod级别对应的模型透明度从0逐步提升至1,同时将旧lod级别对应的模型透明度从1逐步降至0,淡变持续时间为预设时长;
22、客户端在旧lod级别对应的模型完全淡出后,延迟预设延迟时间再释放旧lod级别对应的模型所占用的内存;
23、各独立分片在渲染时,识别分片边界上位置相同的顶点并记录顶点匹配关系,将同一物理位置在不同分片中的顶点坐标统一为相同值,并对边界顶点的法线向量取平均值以保证不同分片在边界区域的光照表现一致。
24、在一种可能的实现方式中,服务端通过quic协议将目标压缩分片传输至客户端,包括:
25、服务端根据视点参数中各目标压缩分片的中心点到摄像机的距离确定距离因子,根据各目标压缩分片在模型中所属区域确定重要性因子,根据各目标压缩分片当前lod级别与目标lod级别的差异确定lod因子,根据各目标压缩分片是否位于视锥体内确定可见性因子;
26、服务端按照距离因子、重要性因子、lod因子和可见性因子计算各目标压缩分片的优先级权重,并根据优先级权重从高到低确定传输顺序;
27、服务端在单个quic连接内开启多个并发流,按照传输顺序将各目标压缩分片并发传输至客户端。
28、在一种可能的实现方式中,在客户端向服务端发送携带视点参数的分片请求之前,还包括:
29、客户端执行缓存命中检查,若待加载的分片数据已在客户端的缓存中,则跳过网络传输和解压步骤,直接将缓存数据送入渲染引擎;
30、客户端采用lru缓存策略管理客户端分片缓存,设置缓存上限,当缓存数量超出上限时,淘汰最久未使用的分片;
31、客户端实时监控当前内存占用,当内存占用超过预设内存预算时,执行内存清理操作:优先卸载距离摄像机最远的分片,其次卸载超出视锥体超过预设时长的分片,再次卸载低精度lod级别的分片。
32、第二方面,本发明实施例提供了一种弱网环境下的3d模型加载系统,包括:
33、客户端用于基于当前摄像机的空间位置和视线方向计算视点参数,并向服务端发送携带视点参数的分片请求;
34、服务端用于根据视点参数和原始3d模型文件对应的多个压缩分片的元数据信息,筛选出当前摄像机的视锥体覆盖范围内的目标压缩分片,并通过quic协议将目标压缩分片传输至客户端;
35、客户端还用于接收目标压缩分片并进行流式解压,还原出原始3d模型数据块,并将原始3d模型数据块结合当前摄像机的视锥体进行渲染。
36、第三方面,本发明实施例提供了一种电子设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行该计算机程序时实现如上第一方面或第一方面的任一种可能的实现方式中的方法。
37、第四方面,本发明实施例提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现如上第一方面或第一方面的任一种可能的实现方式中的方法。
38、本发明实施例提供的弱网环境下的3d模型加载方法、系统、设备及存储介质,通过客户端基于当前摄像机的空间位置和视线方向计算视点参数,并以该视点参数向服务端请求分片,使得服务端能够依据视点参数和预先生成的元数据信息精确筛选出位于当前摄像机视锥体覆盖范围内的目标压缩分片进行传输,而非传输完整的模型数据,从而大幅减少了实际需要传输的数据量,降低了网络传输负载和传输耗时。在此基础上,采用基于udp的传输层协议(quick udp internet connections,quic)协议传输目标压缩分片,利用quic协议低连接延迟、拥塞控制等特性,进一步提升了弱网环境下的传输效率。同时,客户端在接收过程中即对流式解压后的数据块结合当前摄像机的视锥体进行渲染,将下载、解压、渲染三个阶段流水线并行处理,无需等待所有分片完整接收后再启动解压和渲染流程,有效缩短了从发起请求到首屏画面呈现的总耗时。相比于现有技术中需要完整下载并解压整个模型后方可开始渲染的方式,能够显著减少用户在弱网环境下的实际等待时间,提升web3d应用的交互流畅度。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com