一种语义通信方法、系统、存储介质及程序产品与流程
本发明涉及语义通信,尤其涉及一种语义通信方法、系统、存储介质及程序产品。
背景技术:
1、传统的三维模型压缩方法虽然在压缩效率上取得了一定成就,但其压缩方式决定了在语义通信场景下的应用潜力不大,尤其是在新兴的语义切片模型传播(emanticslicing model propagation,sesm)技术应用中。
2、一方面是由于sesm中的语义分割模型依赖于清晰准确的语义边界来执行其任务,而传统的三维模型压缩算法生成的压缩数据文件往往剥离了可解析的语义结构,导致其无法与语义分割模型兼容,从而使得压缩数据无法进一步通过sesm中的语义分割模型进行二次压缩,语义分割模型难以完成任务,限制了传输性能。另一方面是由于传统的三维模型压缩方法在应对低信噪比信道环境时,其非语义导向的压缩策略往往导致关键信息的非选择性丢失,这些丢失的关键信息中可能包括了对于模型重建至关重要的细节,限制了语义通信场景下的应用潜力。
技术实现思路
1、针对现有技术存在的问题,本发明实施例提供一种语义通信方法、系统、存储介质及程序产品,其能实现三维模型压缩与语义分割模型的兼容,并且降低在低信噪比信道环境关键信息丢失对重建模型质量的影响。
2、第一方面,本发明实施例提供了一种语义通信方法,应用于发射端,包括:
3、根据初始化的多视角投影参数,对待传输的三维高斯泼溅模型进行可微分光栅操作,获得特征图;其中,所述初始化的多视角投影参数基于相机参数确定;
4、根据所述特征图进行三维模型重构,获得重建模型;
5、根据所述重建模型和所述三维高斯泼溅模型,对所述多视角投影参数进行优化,并根据优化后的多视角投影参数,获得多通道特征图;
6、对所述多通道特征图进行分层语义编码,获得压缩数据,并将所述压缩数据传输至接收端。
7、作为上述方案的改进,所述根据初始化的多视角投影参数,对待传输的三维高斯泼溅模型进行可微分光栅操作,获得特征图之前,所述方法还包括:
8、对所述三维高斯泼溅模型初次重建时对应的相机参数进行聚类,选取多个相机视角下的相机参数;
9、根据选取的多个所述相机视角下的相机参数,初始化多视角投影参数;其中,所述多视角投影参数包括每个所述相机视角对应的投影矩阵;所述投影矩阵基于相应相机视角对应的相机参数确定。
10、作为上述方案的改进,所述根据初始化的多视角投影参数,对待传输的三维高斯泼溅模型进行可微分光栅操作,获得特征图,包括:
11、针对所述多视角投影参数中的每个投影矩阵,通过相应投影矩阵,对所述三维高斯泼溅模型中的三维高斯球体进行均值投影,得到相应三维高斯球体的二维坐标;
12、通过相应投影矩阵,对所述三维高斯泼溅模型中的三维高斯球体进行协方差矩阵投影,得到相应三维高斯球体的二维协方差矩阵;
13、根据所述三维高斯球体的二维坐标和二维协方差矩阵,对所述三维高斯泼溅模型在二维空间上的各个像素进行颜色混合,获得所述特征图。
14、作为上述方案的改进,所述根据所述重建模型和所述三维高斯泼溅模型,对所述多视角投影参数进行优化,并根据优化后的多视角投影参数,获得多通道特征图,包括:
15、根据所述重建模型和所述三维高斯泼溅模型之间的几何信息差异,构建第一损失函数;
16、根据所述重建模型和所述三维高斯泼溅模型之间的颜色信息差异,构建第二损失函数;
17、根据所述第一损失函数和所述第二损失函数,对所述多视角投影参数进行迭代训练,获得优化后的多视角投影参数;
18、根据优化后的多视角投影参数中每个投影矩阵,对所述三维高斯泼溅模型重新进行可微分光栅操作,获得所述多通道特征图。
19、作为上述方案的改进,所述对所述多通道特征图进行分层语义编码,获得压缩数据,包括:
20、通过编码器对所述多通道特征图进行语义特征提取,得到所述多通道特征图的语义特征;
21、通过量化器对所述语义特征进行量化处理,得到量化特征;
22、根据所述量化特征,通过基于对抗网络训练的生成器进行图像重建,得到重建图像;
23、通过预训练的语义分割模型对所述重建图像进行语义掩码,生成掩码图像;
24、根据所述重建图像与所述多通道特征图之间的残差和所述掩码图像,提取感兴趣区域的残差;
25、对所述感兴趣区域的残差进行压缩,得到压缩残差;
26、将所述量化特征和所述压缩残差进行拼接,生成所述压缩数据。
27、第二方面,本发明实施例提供了一种语义通信方法,应用于接收端,包括:
28、接收压缩数据;其中,所述压缩数据采用如第一方面任一项所述的语义通信方法生成;
29、从所述压缩数据解析出量化特征和压缩残差;
30、根据所述量化特征和所述压缩残差,重建特征图;
31、对重建的特征图进行三维高斯泼溅恢复,重建三维高斯泼溅模型。
32、作为上述方案的改进,所述根据所述量化特征和所述压缩残差,重建特征图,包括:
33、对所述量化特征进行语义恢复,重建多通道特征图;
34、对所述压缩残差进行超分辨率重建,得到增强残差;
35、在所述多通道特征图上叠加所述增强残差,生成重建特征图;
36、对所述重建特征图进行三维高斯泼溅重建,得到所述特征图。
37、第三方面,本发明实施例提供了一种语义通信系统,包括:发射端和接收端;其中,所述发射端包括:逆向三维高斯泼溅光栅化模块、模型重建模块、参数优化模块、语义编码模块;所述接收端包括:三维高斯泼溅模型重建模块;
38、所述逆向三维高斯泼溅光栅化模块,用于根据初始化的多视角投影参数,对待传输的三维高斯泼溅模型进行可微分光栅操作,获得特征图;其中,所述初始化的多视角投影参数基于相机参数确定;
39、所述模型重建模块,用于根据所述特征图进行三维模型重构,获得重建模型;
40、所述参数优化模块,用于根据所述重建模型和所述三维高斯泼溅模型,对所述多视角投影参数进行优化,并根据优化后的多视角投影参数,获得多通道特征图;
41、所述语义编码模块,用于对所述多通道特征图进行分层语义编码,获得压缩数据,并将所述压缩数据传输至所述接收端;
42、所述三维高斯泼溅模型重建模块,用于根据所述压缩数据恢复出所述三维高斯泼溅模型。
43、第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如第一方面中任意一项所述的语义通信方法或者如第二方面中任意一项所述的语义通信方法。
44、第五方面,本发明实施例提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现如第一方面中任意一项所述的语义通信方法或者如第二方面中任意一项所述的语义通信方法。
45、相对于现有技术,本发明实施例提供的一种语义通信方法、系统、存储介质及程序产品的有益效果在于:在发射端,根据初始化的多视角投影参数,对待传输的三维高斯泼溅模型进行可微分光栅操作,获得特征图;其中,所述初始化的多视角投影参数基于相机参数确定;然后根据所述特征图进行三维模型重构,获得重建模型;之后根据所述重建模型和所述三维高斯泼溅模型,对所述多视角投影参数进行优化,并根据优化后的多视角投影参数,获得多通道特征图;最后对所述多通道特征图进行分层语义编码,获得压缩数据,并将所述压缩数据传输至接收端;在接收端,根据接收到的压缩数据恢复所述三维高斯泼溅模型;本发明实施例能实现三维模型压缩与语义分割模型的兼容,并且降低在低信噪比信道环境关键信息丢失对重建模型质量的影响。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com