一种频域分层有限标量量化的图像语义通信方法及装置

本申请属于通信，具体涉及一种频域分层有限标量量化的图像语义通信方法及装置。

背景技术：

1、随着智能无线通信技术的快速迭代，数字图像语义通信逐步取代传统像素级传输，成为高效图像无线传输的核心技术。

2、现有技术中，数字图像语义通信系统普遍采用学习型向量量化（vectorquantization,vq）方案，对图像整体进行量化编码与索引传输。这种整体量化方式无法实现非均匀差错保护，在信道信噪比下降、传输带宽受限的场景下，极易造成图像语义识别失效，无法满足通信任务核心需求，传输鲁棒性较低，而且传统学习型vq依赖大规模可学习码本嵌入表，需要消耗大量的资源进行收发两端的同步和存储。

技术实现思路

1、本申请实施例的目的是提供一种频域分层有限标量量化的图像语义通信方法及装置，能够解决传输鲁棒性低、资源消耗大的问题。

2、为了解决上述技术问题，本申请是这样实现的：

3、第一方面，本申请实施例提供了一种频域分层有限标量量化的图像语义通信方法，该方法应用于发送端，包括：

4、对原始图像进行目标级数的二维离散小波变换频域分解，得到低频语义分支和多尺度高频细节分支；

5、通过语义通信模型分别对所述低频语义分支和所述多尺度高频细节分支进行有限标量量化处理，得到低频量化离散索引和多尺度高频量化离散索引；

6、根据信道质量参数，从所述多尺度高频量化离散索引中选择待传输的目标高频量化离散索引；

7、将所述低频量化离散索引和所述目标高频量化离散索引通过无线信道发送至接收端。

8、第二方面，本申请实施例提供了一种频域分层有限标量量化的图像语义通信方法，该方法应用于接收端，包括：

9、接收发送端发送的量化离散索引，所述量化离散索引包括低频语义分支对应的低频量化离散索引和目标高频细节分支对应的目标高频量化离散索引；

10、通过语义通信模型对所述低频量化离散索引和所述目标高频量化离散索引进行有限标量的解量化处理，得到所述低频语义分支和所述目标高频细节分支；

11、对所述低频语义分支和所述目标高频细节分支进行小波逆变换处理，得到原始图像的重建图像。

12、第三方面，本申请实施例提供了一种频域分层有限标量量化的图像语义通信装置，应用于发送端，包括：

13、频域解耦模块，用于对原始图像进行目标级数的二维离散小波变换频域分解，得到低频语义分支和多尺度高频细节分支；

14、有限标量量化模块，用于通过语义通信模型分别对所述低频语义分支和所述多尺度高频细节分支进行有限标量量化处理，得到低频量化离散索引和多尺度高频量化离散索引；

15、传输调度模块，用于根据信道质量参数，从所述多尺度高频量化离散索引中选择待传输的目标高频量化离散索引；

16、传输模块，用于将所述低频量化离散索引和所述目标高频量化离散索引通过无线信道发送至接收端。

17、第四方面，本申请实施例提供了一种频域分层有限标量量化的图像语义通信装置，应用于接收端，包括：

18、接收模块，用于接收发送端发送的量化离散索引，所述量化离散索引包括低频语义分支对应的低频量化离散索引和目标高频细节分支对应的目标高频量化离散索引；

19、解量化模块，用于通过语义通信模型对所述低频量化离散索引和所述目标高频量化离散索引进行有限标量的解量化处理，得到所述低频语义分支和所述目标高频细节分支；

20、图像重建模块，用于对所述低频语义分支和所述目标高频细节分支进行小波逆变换处理，得到原始图像的重建图像。

21、第五方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面或第二方面所述的方法的步骤。

22、第六方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面或第二方面所述的方法的步骤。

23、第七方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面或第二方面所述的方法。

24、在本申请实施例中，通过对原始图像进行目标级数的二维离散小波变换频域分解，得到低频语义分支和多尺度高频细节分支，从物理层面实现语义信息与细节信息的解耦，为差异化保护与分级传输提供基础；通过语义通信模型分别对低频语义分支和多尺度高频细节分支进行有限标量量化处理，得到低频量化离散索引和多尺度高频量化离散索引，采用有限标量量化的方式，收发两端不需要同步存储码本嵌入表，可以节省资源消耗；而且根据信道质量参数从多尺度高频量化离散索引中选择待传输的目标高频量化离散索引，将低频量化离散索引和目标高频量化离散索引通过无线信道发送至接收端，这样可以基于信道质量来选择相应的语义分支进行传输，在信道质量差的场景下，也可以优先保证代表核心语义的低频量化离散索引能够正常传输，可以提高通信传输的鲁棒性。

1.一种频域分层有限标量量化的图像语义通信方法，其特征在于，应用于发送端，包括：

2.根据权利要求1所述的方法，其特征在于，所述语义通信模型包括：与所述低频语义分支对应的第一分支编码器和第一有限标量量化模块，以及与各尺度高频细节分支分别对应的第二分支编码器和第二有限标量量化模块；

3.根据权利要求2所述的方法，其特征在于，所述语义通信模型还包括：位于接收端的有限标量解量化模块和解码器；

4.根据权利要求1-3任一项所述的方法，其特征在于，所述信道质量参数包括信噪比；

5.一种频域分层有限标量量化的图像语义通信方法，其特征在于，应用于接收端，包括：

6.根据权利要求5所述的方法，其特征在于，所述语义通信模型包括有限标量解量化模块和重建解码器，所述有限标量解量化模块包括与低频语义分支对应的第一有限标量解量化模块和各尺度的高频细节分支对应的第二有限标量解量化模块；

7.一种频域分层有限标量量化的图像语义通信装置，其特征在于，应用于发送端，包括：

8.一种频域分层有限标量量化的图像语义通信装置，其特征在于，应用于接收端，包括：

9.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-4或5-6任一项所述的频域分层有限标量量化的图像语义通信方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-4或5-6任一项所述的频域分层有限标量量化的图像语义通信方法的步骤。