一种概率共生式生成压缩方法与流程

本发明涉及视频压缩与生成交叉领域，尤其是一种概率共生式生成压缩方法。

背景技术：

1、随着超高清视频、增强现实与自动驾驶等场景对实时视频传输需求的急剧增长，将视频码率压缩至极低带宽（如0.01比特每像素以下）同时保持可接受的视觉质量，已成为多媒体通信领域的核心挑战。传统视频压缩标准多基于混合编码框架，通过预测、变换和熵编码消除时空冗余。然而，在极限压缩比下，这类方法因量化步长过大而丢弃了大量高频细节，导致解码端出现严重的块效应、振铃与纹理丢失，视觉质量急剧下降。

2、为解决这一问题，基于深度学习的生成式压缩方法应运而生。其核心思想是在编码端保留紧凑的结构先验，在解码端借助生成模型补全缺失的纹理与细节。早期方案通常采用卷积自编码器或循环神经网络进行压缩，但受限于生成能力，重建帧常伴有模糊与时间闪烁。近年来，扩散模型与流匹配模型展现出强大的高质量图像生成能力，部分方案尝试将其引入视频压缩解码端。这些方案的一般思路是将压缩码流恢复的特征通过简单的线性投影注入预训练扩散生成主干，借助生成先验提升重建感知质量。

3、然而，上述方案在实际应用中暴露出若干深层问题。第一，压缩编码所消除的究竟是纯粹统计冗余还是包含感知关键信息的结构基元，现有方案缺乏明确判别，导致在极高压缩比下传输信息的选择具有盲目性，生成器不得不对缺失的结构基础进行过度猜测，产生不可控的虚假纹理。第二，压缩域潜变量因离散量化而具有的多峰锐利分布，与扩散或流匹配生成模型隐空间的高斯光滑分布之间存在显著失配。现有方案多采用静态线性投影桥接两种分布，难以从根本上消除条件注入时的分布对抗，容易引发纹理漂移与语义错位。第三，现有方案在单步或少步常微分方程求解时，通常从各向同性高斯噪声出发启动生成过程，初始点与压缩先验缺乏关联，导致生成轨迹不稳定，重建帧出现伪影与时间不一致。

4、因此，如何精确分离压缩编码与生成补全的职责边界，实现压缩域特征到生成域隐空间的分布无损映射，以及构建与压缩信息深度耦合的生成初始化机制，是推动极限低带宽视频压缩走向实用的关键难题，也是本发明所着力解决的技术问题。

技术实现思路

1、发明目的，提供一种概率共生式生成压缩方法，以期能够解决现有技术存在的至少部分问题。

2、技术方案，一种概率共生式生成压缩方法，包括以下步骤：

3、获取当前待编码帧与先前已解码重建帧，提取先前已解码重建帧的高维特征金字塔，并依据运动场进行扭曲，得到多尺度时序上下文特征；将当前待编码帧划分为空间令牌序列，与多尺度时序上下文特征一同输入时空分层transformer网络，在因果掩码下执行联合自回归编码，得到深层条件特征；

4、对深层条件特征进行冗余可恢复性度量，计算每个空间令牌的结构基元得分，将空间令牌动态分离为结构基元令牌和纹理提示令牌，生成令牌掩码图；

5、对结构基元令牌进行矢量量化，对纹理提示令牌进行标量量化，并复用令牌掩码图进行熵编码，生成极紧凑离散码流；在解码端，接收并解码极紧凑离散码流，恢复出结构潜变量和纹理提示，并提取已解码先前帧的高维解码特征；

6、将结构潜变量、纹理提示和高维解码特征输入双域归一化流桥接器，执行保持分布同胚的前向映射，得到分布对齐的结构令牌和时序上下文令牌；将文本语义嵌入与所布对齐的结构令牌、时序上下文令牌拼接为条件令牌序列，并通过时间感知交叉注意力，以零初始化方式注入至流匹配生成主干的每一transformer块中；

7、合成结构锚点初始隐变量，与分布对齐的时序上下文令牌共同输入一致性学生网络，直接预测速度场；对速度场执行单步或少步常微分方程求解，从结构锚点初始隐变量生成当前重建帧的隐变量，进而解码输出重建视频帧。

8、有益效果，本发明能够在极低带宽条件下生成兼具高视觉感知质量与时序连贯性的重建视频，消除了压缩域潜变量与生成模型隐空间之间的分布错位难题。

1.一种概率共生式生成压缩方法，用于在解码端重建视频序列，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，计算每个空间令牌的结构基元得分，包括：

3.根据权利要求2所述的方法，其特征在于，依据结构基元得分将空间令牌动态分离，具体为：

4.根据权利要求1所述的方法，其特征在于，双域归一化流桥接器由一系列紧凑的可逆仿射耦合层堆叠而成，其最后一层线性变换的权重采用零初始化；

5.根据权利要求4所述的方法，其特征在于，将通过双域归一化流桥接器进行前向映射后得到的特征，分别确定为分布对齐的结构令牌和分布对齐的时序上下文令牌。

6.根据权利要求1所述的方法，其特征在于，合成结构锚点初始隐变量，包括：

7.根据权利要求1所述的方法，其特征在于，一致性学生网络是通过蒸馏预训练的流匹配教师模型而获得，其蒸馏损失为学生网络单步预测的生成结果与教师模型多步采样的生成结果之间的一致性损失。

8.根据权利要求1所述的方法，其特征在于，接收并解码极紧凑离散码流，恢复出结构潜变量和纹理提示，具体为：

9.根据权利要求1所述的方法，其特征在于，时间感知交叉注意力，以当前时间步的带噪潜变量为查询，以条件令牌序列为键和值进行计算，其输出线性层采用零初始化；

10.根据权利要求1至9中任一项所述的方法，其特征在于，流匹配生成主干为预训练的stable diffusion 3模型中的mm-dit网络，重建视频帧在文本语义、结构潜变量与时序上下文的多重条件引导下，通过单步常微分方程求解生成。