一种基于语义和几何感知的三维高斯溅射模型压缩方法
本发明涉及计算机视觉、三维重建及体积视频处理,尤其涉及一种基于语义和几何感知的三维高斯溅射模型压缩方法。
背景技术:
1、随着虚拟现实、增强现实等技术的快速发展,体积视频逐渐成为三维视觉内容表达的重要形式。近年来,三维高斯溅射(3d gaussian splatting,3dgs)方法凭借显式高斯基元表示与高效光栅化渲染机制,取得了渲染质量与渲染效率之间的良好平衡,已成为三维场景表示与新视图合成领域的重要研究方向。然而,3dgs通常依赖大量的高斯基元对三维场景进行建模,导致基于3dgs的场景表示模型存储与传输开销显著增加。因此,探索高效的3dgs压缩方法具有重要的研究意义。
2、为了降低3dgs表示模型的存储与传输开销,研究人员提出了一系列3dgs压缩方法,并取得了一定进展。但现有方法通常对场景中所有区域采用统一压缩策略,缺乏对不同区域语义重要性的区分。在实际应用中,用户通常更加关注前景主体区域及其细节信息,而对背景区域的关注程度较低。
3、因此,如何在有限存储开销下有效保留关键主体区域的重建细节是提升3dgs压缩性能的关键。
技术实现思路
1、针对现有3dgs压缩方法中未充分考虑不同区域的重要性差异,导致压缩后三维场景关键主体区域重建质量下降的问题,本发明提出一种基于语义和几何感知的三维高斯溅射模型压缩方法,本发明通过建模高斯基元语义信息与几何可见性信息,构建语义感知和几何感知的高斯基元重要性评估机制,从而实现对三维场景关键主体区域和背景区域的差异化压缩,该方法能够在保证整体压缩率的同时,显著提升三维场景关键主体区域的细节重建能力与视图渲染质量,从而提高3dgs表示模型的压缩性能,详见下文描述:
2、一种基于语义和几何感知的三维高斯溅射模型压缩方法,所述方法包括:
3、利用多视图图像训练3dgs压缩网络,获得原始3dgs表示模型;
4、基于语义感知的高斯基元重要性评估机制,对场景中不同高斯基元的语义重要性进行建模,获得各高斯基元的语义感知重要性分数;
5、基于几何感知的高斯基元重要性评估机制,获得各高斯基元在所有训练视角中的几何可见次数,得到几何感知重要性分数;
6、根据高斯基元的语义感知重要性分数和几何感知重要性分数,结合相应地权重系数得到综合注意力分数,并基于此分数构建高斯基元重要性感知的差异化压缩网络,获得语义感知和几何感知的3dgs压缩模型;
7、对语义感知和几何感知的3dgs压缩模型进一步微调,输出压缩后的3dgs表示模型,将压缩后的3dgs表示模型应用到博物馆3d重建或运动会场景合成的场景中。
8、其中,所述基于语义感知的高斯基元重要性评估机制为:
9、利用预训练的语义分割sam vit-b模型中的自动掩码生成器对每个视图进行前向推理,以获取表征场景中的不同目标区域的候选掩码图;
10、采用基于面积优先级的语义标签分配策略,将面积较小的掩码区域语义标签作为重叠区域的语义标签,每个像素均被赋予对应的整数语义标签;
11、对场景中每一个可见的高斯基元,依据当前视角的相机投影关系,遍历所有训练视角,统计每一个高斯基元在语义掩码目录中保存的各语义类别下的可见频次向量,并通过取最大频次的语义标签确定其语义标签;
12、利用图生文florence-2模型对语义分割sam vit-b模型生成的语义掩码目录中的候选掩码图生成自然语言语义描述,并结合自定义关键词-语义重要性映射表,从图生文florence-2模型生成的语言描述中寻找典型的关键词,不同关键词对应着不同的语义重要性分数,根据映射表中设定的对应关系,得到各高斯基元的语义重要性分数;
13、当某语义标签区域像素数量小于阈值或图生文florence-2模型的输出为空即调用失败时,根据各语义类别的面积大小来计算对应高斯基元的语义感知重要性分数作为补充。
14、其中,所述基于几何感知的高斯基元重要性评估机制为:
15、输入为每个高斯基元的属性和每个视角的相机投影矩阵,输出为每个高斯基元的几何可见次数;
16、对于任意高斯基元,通过相机投影矩阵将其中心投影至第个视角的图像平面,得到像素坐标,若高斯基元在投影后满足几何可见性判定条件,则判定该高斯基元在当前视角下可见,并对所有训练视角进行统计,得到该高斯基元的几何可见次数。
17、其中,所述语义感知和几何感知的3dgs压缩模型为:
18、对每个高斯基元计算综合注意力分数,设置压缩后的总目标高斯基元数;
19、按照综合注意力分数对所有高斯基元进行排序,并划分为个等级,每个等级内所有的高斯基元集合称为各等级高斯集合,为不同等级分配不同保留率,在确定各等级的目标保留高斯基元数量后,进行预算归一化:
20、若各等级目标高斯基元数量之和超过,则等比例缩小;若不足,则等比例放大;对各等级内的高斯子模型分别进行k维树空间划分,将划分后的局部空间内所有的高斯基元称为局部高斯基元集合,将各等级内的聚合压缩后的局部高斯基元集合进行整合,得到聚合压缩后的各等级高斯集合;
21、将聚合压缩后的各等级高斯集合重新合并,输出语义和几何感知的3dgs压缩模型:
22、
23、其中,表示将聚合压缩后的各等级高斯集合合并之后的完整高斯集合,表示等级数量,表示第个等级聚合压缩后的高斯集合。
24、本发明提供的技术方案的有益效果是:
25、1、本方法通过建模高斯基元的语义信息与几何可见性信息,构建基于语义感知和几何感知的高斯基元重要性评估机制,从而实现对场景关键主体区域和背景区域的差异化压缩,提升3dgs的压缩性能;
26、2、本发明设计了一种基于语义感知的高斯基元重要性评估机制,该机制充分利用高斯基元语义信息,有效提升了小目标和关键区域的语义表达优先级,为后续得到综合重要性分数提供了细粒度语义依据;
27、3、本发明设计了一种基于几何可见性的高斯基元重要性评估机制,该机制通过统计不同高斯基元在全部训练视角中的几何可见次数,以有效识别在多视角下频繁可见、对整体渲染贡献更高的高斯基元,为后续得到综合重要性分数与资源分配提供可靠的几何依据;
28、4、本发明构建了基于高斯基元重要性感知的差异化压缩模型,该模型结合每个高斯基元的语义感知重要性分数与几何可见次数获得高斯基元的综合重要性分数,实现了对三维场景关键主体区域和背景区域的差异化压缩,显著提升三维场景关键主体区域的细节重建能力与视图渲染质量,从而提高了3dgs表示模型的压缩性能;
29、5、本发明构建了基于语义和几何感知的3dgs模型压缩方法,该方法可以在保证压缩率和整幅图像渲染质量的同时,显著提升关键主体区域的合成质量,在微小细节处提供更好的重建效果。
1.一种基于语义和几何感知的三维高斯溅射模型压缩方法,其特征在于,所述方法包括:
2.根据权利要求1所述的一种基于语义和几何感知的三维高斯溅射模型压缩方法,其特征在于,所述基于语义感知的高斯基元重要性评估机制为:
3.根据权利要求1所述的一种基于语义和几何感知的三维高斯溅射模型压缩方法,其特征在于,所述基于几何感知的高斯基元重要性评估机制为:
4.根据权利要求1所述的一种基于语义和几何感知的三维高斯溅射模型压缩方法,其特征在于,所述语义感知和几何感知的3dgs压缩模型为:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com