一种基于扩散友好潜在流形的图像压缩与生成一体化方法与流程

本发明涉及供应链智能决策，尤其是一种基于扩散友好潜在流形的图像压缩与生成一体化方法。

背景技术：

1、图像压缩是数字媒体存储与传输的核心技术，长期以来在经典编码框架（如jpeg、bpg）与深度学习自编码器两个方向持续演进。基于深度学习的图像压缩方法通过率失真优化，在低码率下能够重建出视觉质量更好的图像，但其潜在空间通常仅由重建损失和简单的率约束驱动训练，未对潜在变量的流形结构施加显式正则化。此类潜在空间中，微小扰动可能导致解码图像出现不可预测的剧烈变化，流形缺乏连续性和平滑性，不利于下游生成任务的复用。

2、另一方面，扩散概率模型近年来在图像生成领域展现出卓越的保真度与多样性。潜在扩散模型进一步将扩散过程从像素空间迁移到压缩后的低维潜在空间，显著降低了计算开销。然而，现有潜在扩散模型所依赖的潜在空间多由标准变分自编码器获得，其训练目标主要面向高保真重建和约束潜在分布趋近标准正态，并未考虑该空间作为扩散过程载体的几何与语义特性。这导致潜在流形在局部可能不平滑、在语义方向上不对齐、在空间结构上缺乏对象级拓扑保持能力，最终使得扩散模型需要大量采样步数才能生成可接受的结果，收敛速度慢且少步生成质量急剧退化。

3、已有尝试将视觉基础模型的特征作为压缩或生成的先验，但多局限于利用其语义特征进行简单的感知损失计算或条件引导，未深入挖掘其在潜在空间形状塑造中的深层价值。此外，细节注入与语义保护之间的矛盾也未被妥善解决，高频纹理的引入常以破坏主导语义为代价，导致压缩后的表示在语义一致性上受损。总体而言，现有技术尚缺少一种一体化的方案，能够在保持高压缩比与高重建质量的同时，显式地将潜在空间塑造为一个空间结构连贯、局部流形平滑且语义方向清晰的“扩散友好”流形，以提升下游扩散生成器的训练效率和少步采样质量。鉴于此，亟需一种能够对潜在流形进行先验对齐塑造的图像压缩与生成协同设计方法。

技术实现思路

1、发明目的，提供一种基于扩散友好潜在流形的图像压缩与生成一体化方法，旨在解决现有深度学习图像压缩框架未对潜在空间进行结构化塑造，导致其无法同时胜任高保真重建与高效扩散生成的问题。该方法通过语义-细节解耦调制、自适应半径球面归一化以及三项先验对齐正则化，将紧凑潜在空间显式构造为空间连贯、局部平滑且语义清晰的扩散友好流形，实现压缩与生成的无缝协同。

2、技术方案，一种基于扩散友好潜在流形的图像压缩与生成一体化方法，包括以下步骤：

3、获取输入图像；利用冻结参数的视觉基础模型对输入图像进行特征提取，得到高维语义特征图，并利用可训练的细节提取网络对输入图像进行高频纹理提取，得到细节特征图；

4、对细节特征图进行基于高维语义特征图的正交投影处理，得到语义正交细节分量，将语义正交细节分量以零初始化的缩放平移方式融入高维语义特征图，获得调制特征图；

5、对调制特征图进行投影降维与自适应半径球面归一化，得到由单位方向向量和内容自适应半径因子表示的球面潜在表示；

6、对球面潜在表示进行量化与熵编码以生成压缩码流，以及从压缩码流中解码重构出重构球面潜在表示，并由反投影器和像素解码器重建出重建图像；

7、在训练过程中，以包含像素级平均绝对误差损失、感知损失和对抗损失的重建损失为基础，联合施加空间结构对齐正则化、流形连续性正则化和语义一致性正则化，以将球面潜在表示所处的潜在空间塑造为扩散友好流形；

8、基于球面潜在表示的单位方向向量和内容自适应半径因子，训练球面扩散生成器，以在单位球面流形上执行去噪学习；

9、在生成阶段，利用训练后的球面扩散生成器从噪声方向向量和目标半径因子生成生成方向向量，将生成方向向量与目标半径因子相乘后输入反投影器和像素解码器，获得生成图像。

10、有益效果，本发明实现了图像压缩与扩散生成的一体化，在保持高压缩比的同时，通过显式塑造扩散友好潜在流形，提升了重建保真度及球面扩散生成器的收敛速度与少步采样质量。

1.一种基于扩散友好潜在流形的图像压缩与生成一体化方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，对细节特征图进行基于高维语义特征图的正交投影处理，得到语义正交细节分量，包括：

3.根据权利要求1所述的方法，其特征在于，对调制特征图进行投影降维与自适应半径球面归一化，得到由单位方向向量和内容自适应半径因子表示的球面潜在表示，包括：

4.根据权利要求3所述的方法，其特征在于，对球面潜在表示进行量化与熵编码以生成压缩码流，包括：

5.根据权利要求1所述的方法，其特征在于，空间结构对齐正则化为切片瓦瑟斯坦局部结构对齐损失，其计算包括：

6.根据权利要求1所述的方法，其特征在于，流形连续性正则化为测地线扰动平滑正则化，其计算包括：

7.根据权利要求1所述的方法，其特征在于，语义一致性正则化为最优传输语义对齐损失，其计算包括：

8.根据权利要求1所述的方法，其特征在于，训练球面扩散生成器包括：

9.根据权利要求1所述的方法，其特征在于，还包括：