一种基于离散语义token与生成先验联合建模的图像压缩方法与流程

本发明涉及图像编解码领域，尤其是一种基于离散语义token与生成先验联合建模的图像压缩方法。

背景技术：

1、随着移动互联网、社交媒体和超高清影像应用的飞速发展，图像数据量呈爆炸式增长，对高效图像压缩技术的需求日益迫切。在极低比特率场景下，如带宽受限的无线传输、深空通信、窄带物联网以及低成本存储等应用中，传统的基于变换和预测的编码标准因依赖人工设计的线性变换与逐像素重建，当码率极度压缩时重建图像会出现严重的块效应、模糊和振铃伪影，视觉质量急剧下降。

2、近年来，基于深度学习的图像压缩方法取得了长足进步。其中，利用向量量化将图像映射为离散语义令牌，并结合生成先验进行压缩重建的框架展现出巨大潜力。此类方法在编码端将图像量化为离散令牌图，利用生成网络的预测能力筛选出部分关键令牌进行传输，解码端则利用生成模型基于已知令牌补全未传输区域。然而，现有方案在实际应用中仍面临两方面瓶颈。

3、其一，在核心令牌筛选环节，现有方法多单一依赖生成网络的重建概率作为可预测性度量。这种度量仅反映令牌被上下文推断的难易程度，并未将筛选过程与率失真目标协同优化。由此容易导致两种不良后果：一些视觉感知上高度敏感的结构性令牌，因重建概率不够突出而被误判为冗余并丢弃，造成重建图像中出现关键结构扭曲；同时，部分概率虽低但对视觉质量贡献有限的高频噪声令牌却被保留，浪费宝贵码率。筛选结果缺乏对感知质量与编码代价的联合考量，难以实现率-失真意义上的最优分配。

4、其二，在解码端生成重建环节，现有方案通常将核心令牌与全局语义条件以简单拼接或浅层条件注入的方式输入扩散生成网络。这种粗放式的融合策略未能对不同空间位置进行差异化的可信度分配。扩散模型在去噪过程中对所有区域一视同仁，导致两种典型问题：已知的核心令牌区域被生成过程过度修改，丧失了传输信息的保真度；而未传输区域在生成时无法有效继承相邻已知结构的约束，容易产生纹理断裂、空间错位和不连贯伪影，严重损害重建图像的整体视觉质量。

5、因此，亟需一种能够在核心令牌筛选阶段实现率-失真-感知联合优化，并在解码重建阶段实现空间自适应可信度融合的新型图像压缩方法。

技术实现思路

1、本发明要解决的技术问题在于，现有基于离散语义令牌与生成先验的图像压缩方法中，核心令牌筛选过程未与率失真目标协同优化，容易遗漏视觉关键结构或保留冗余信息，且解码端扩散生成模型难以充分融合稀疏核心令牌与全局语义，导致重建图像出现结构错位和纹理劣化，极低比特率下的视觉质量难以保证。

2、为解决上述技术问题，本发明提供一种基于离散语义token与生成先验联合建模的图像压缩方法，包括：

3、在编码端，对输入图像进行向量量化，得到离散语义令牌图和全局语义特征向量；基于生成先验预测器与对抗鉴别器构建率失真感知门控，计算加权可预测性分数并筛选出核心令牌子集；以全局语义特征向量为先验条件，对核心令牌子集进行概率估计与算术编码，形成传输码流。

4、在解码端，解析所述传输码流，获得恢复的全局语义特征向量与核心令牌子集；构建可信度引导的分层令牌调制扩散模型，将全局语义特征向量作为引导条件，并将核心令牌子集转换为稀疏特征图，结合可信度掩码对去噪网络中的噪声特征进行空间自适应调制，通过逐步去噪生成重建图像。

5、进一步地，向量量化过程通过编码网络提取连续空间特征图，经与预设码本最近邻匹配得到离散语义令牌图，并通过可学习语义查询的全局池化获得全局语义特征向量。率失真感知门控利用掩码自编码器形式的生成先验预测器获得各令牌位置的重建概率，利用对抗鉴别器提取各空间位置的感知敏感度分数，融合二者得到加权可预测性分数，再通过可微分门控网络和gumbel-softmax生成硬掩码，筛选出核心令牌子集。编码时，对全局语义特征向量进行量化与超先验熵编码生成语义头信息码流，以量化后的语义向量为初始条件，利用因果自回归transformer上下文熵模型估计核心令牌的出现概率并进行算术编码，最终复接形成传输码流。

6、解码端从码流中恢复全局语义特征向量和核心令牌子集；将核心令牌转换为稀疏特征图，并生成经高斯平滑的空间衰减可信度掩码；在多步条件扩散去噪中，于去噪unet的每一特征层使用令牌感知特征调制模块，通过公式f′=w⊙sproj+(1-w)⊙(γ⊙f+β)进行空间自适应融合，在可信区域注入核心令牌投影特征，在非可信区域保留全局语义调制的去噪特征，最终生成高质量重建图像。

7、有益效果，本发明通过率失真感知联合优化的核心令牌筛选与可信度引导的空间自适应扩散生成，在极低码率下提升了重建图像的结构保真度和视觉质量。

1.一种基于离散语义token与生成先验联合建模的图像压缩方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，对输入图像进行向量量化，得到离散语义令牌图和全局语义特征向量，包括：

3.根据权利要求1所述的方法，其特征在于，基于生成先验预测器与对抗鉴别器构建率失真感知门控，计算加权可预测性分数并筛选出核心令牌子集，包括：

4.根据权利要求3所述的方法，其特征在于，生成先验预测器的处理过程为：对所述离散语义令牌图进行空间邻域随机掩码，利用未被掩码的令牌预测被掩码位置的真实令牌概率，得到所述重建概率值；对抗鉴别器的处理过程为：以原始图像和利用平滑令牌重建的图像作为输入，通过对抗训练提取对视觉感知影响的空间敏感度，得到所述感知敏感度分数。

5.根据权利要求1所述的方法，其特征在于，以全局语义特征向量为先验条件，对核心令牌子集进行概率估计与算术编码，形成传输码流，包括：

6.根据权利要求1所述的方法，其特征在于，解析传输码流获得恢复的全局语义特征向量与核心令牌子集，包括：

7.根据权利要求1所述的方法，其特征在于，通过逐步去噪生成重建图像，包括：

8.根据权利要求7所述的方法，其特征在于，生成经平滑处理的空间衰减软掩码作为可信度掩码，包括：

9.根据权利要求7所述的方法，其特征在于，令牌感知特征调制模块进行空间自适应融合，具体为：