流式视频超分辨率方法与系统

本发明涉及视频超分辨率，尤其涉及一种流式视频超分辨率方法、系统、设备及存储介质。

背景技术：

1、视频超分辨率（video super-resolution，vsr）旨在根据低分辨率视频恢复对应的高分辨率视频，在在线视频传输、视频会议、云游戏、移动终端拍摄、老旧视频修复和视频增强等场景中具有重要应用。与单幅图像超分辨率相比，视频超分辨率不仅需要提升单帧空间清晰度，还需要充分利用连续帧之间的时序相关性，避免输出视频出现闪烁、纹理漂移和跨帧结构不一致等问题。

2、现有视频超分辨率方法大致可分为传统恢复型方法和生成式方法。传统深度学习视频超分辨率方法通常通过对齐、传播和聚合机制利用邻近帧信息，例如 edvr、basicvsr、basicvsr++、realbasicvsr，以及基于 transformer 或时空注意力的视频恢复模型vrt等。这类方法能够在客观保真指标上取得较好结果，但在复杂真实退化、强压缩、低码率和纹理严重缺失的场景中，恢复结果往往偏平滑，难以生成自然的细节纹理。

3、近年来，扩散模型和生成式先验被引入视频超分辨率任务。upscale-a-video、diffvsr、videogigagan等方法利用预训练图像或视频扩散模型的生成能力，在人脸、文字、标志、纹理和边缘等区域可以获得更自然的主观视觉效果。然而，常规扩散模型通常依赖多步迭代采样，推理速度慢、显存占用高；部分方法还需要离线处理整段视频或访问未来帧，难以满足实时视频增强、在线流媒体和端侧部署等应用对低时延流式处理的要求。

4、为提高推理效率，已有研究进一步探索单步生成式视频超分辨率和自回归视频生成机制。例如dove、seedvr2等方法关注单步扩散式视频恢复，flashvsr和 stream-diffvsr进一步面向低时延流式视频超分辨率。一类方法通过蒸馏或对抗后训练将多步扩散模型压缩为单步生成模型；另一类方法在视频transformer中复用历史帧 key-value缓存，使当前帧能够在不重新计算历史帧的情况下访问过去信息。此类方法为实时生成式视频超分辨率提供了基础，但直接将完整历史缓存应用到所有 transformer层，会带来较高的显存开销和注意力计算开销。

5、进一步地，在视频超分辨率任务中，当前低分辨率帧本身已经提供了明确的观测约束，上一帧高分辨率恢复结果也包含可复用的局部结构和纹理状态。因此，并非所有网络层都需要访问同样范围的历史key-value缓存。浅层、中层和深层对历史信息的需求可能不同，某些层只需要当前帧和短期上下文，某些层需要近期窗口，某些层则需要稀疏关键帧作为长程参考。现有固定窗口或全量缓存策略难以反映这种逐层差异。

6、此外，流式视频超分辨率还存在训练与推理条件不一致的问题。若训练阶段使用真实高分辨率上一帧潜变量或真实历史特征作为条件，而推理阶段只能使用模型自身生成的上一帧结果，则模型容易出现误差累积、细节抖动和时间一致性下降。现有单一全局判别器也难以同时约束整体真实感、局部纹理质量和跨帧稳定性。

7、综上，现有技术主要存在以下不足：

8、1）流式效率不足：多步扩散采样或离线视频建模带来较高时延，难以满足实时视频超分辨率需求。

9、2）历史缓存冗余：现有自回归或 transformer 流式方法往往在所有层使用相同历史缓存范围，显存和注意力计算开销较大。

10、3）逐层时间建模能力不足：不同网络层对短期、长期或无历史上下文的需求不同，现有固定缓存策略缺乏按层自适应选择能力。

11、4）训练推理不一致：训练阶段依赖真实上一帧条件会造成教师强制偏差，推理阶段使用模型自生成结果时容易发生误差累积。

12、5）生成质量与时间稳定性难以兼顾：单一损失或单一判别范围难以同时优化整体视觉真实感、局部纹理和连续帧稳定性。

13、因此，现有技术亟需一种能够面向流式场景，在保持生成式恢复质量的同时降低历史缓存开销并提升时间一致性的视频超分辨率系统。

14、有鉴于此，特提出本发明。

技术实现思路

1、本发明的目的是提供一种流式视频超分辨率方法与系统，可以在单步扩散式生成框架下实现高质量、低时延、低缓存开销的流式视频超分辨率处理。

2、本发明的目的是通过以下技术方案实现的：

3、一种流式视频超分辨率系统，包括：低分辨率因果条件构建模块、超分潜变量回收模块、静态缓存推理模块、单步扩散式生成模块与解码器；

4、低分辨率因果条件构建模块，用于从输入的原始分辨率视频流中，提取当前帧及历史帧的因果隐藏条件；其中，当前帧对应于当前时间步；

5、超分潜变量回收模块，用于保存上一时间步单步扩散式生成模块生成的超分潜变量，并在当前时间步时，将上一时间步的超分潜变量作为回收条件输入单步扩散式生成模块；

6、静态缓存推理模块，用于根据静态缓存调度表确定单步扩散式生成模块的各层的动作，根据动作读取近期帧缓存和/或关键帧锚点缓存，或者不读取历史缓存，并输入至单步扩散式生成模块；

7、单步扩散式生成模块，用于结合当前帧、因果隐藏条件、上一时间步的超分潜变量以及静态缓存推理模块的输出生成当前时间步的超分潜变量；

8、解码器，用于将当前时间步超分潜变量变换至图像空间，获得当前时间步的超分辨率视频帧；

9、其中，静态缓存调度表在训练阶段生成，其保存有单步扩散式生成模块每一层的动作，并且，在训练过程阶段，单步扩散式生成模块同样使用上一时间步的超分潜变量作为回收条件，通过对单步扩散式生成模块生成的超分潜变量进行多维判别，并构造对抗训练损失对单步扩散式生成模块进行训练，且训练阶段单步扩散式生成模块。

10、一种流式视频超分辨率方法，基于前述的系统实现，包括：

11、从输入的原始分辨率视频流中，提取当前帧及历史帧的因果隐藏条件；其中，当前帧对应于当前时间步；

12、保存上一时间步单步扩散式生成模块生成的超分潜变量，并在当前时间步时，将上一时间步的超分潜变量输入单步扩散式生成模块；

13、根据静态缓存调度表确定单步扩散式生成模块的各层的动作，并根据动作读取近期帧缓存和/或关键帧锚点缓存，或者不读取历史缓存，并输入至单步扩散式生成模块；

14、通过单步扩散式生成模块，结合当前帧、因果隐藏条件、上一时间步的超分潜变量以及静态缓存推理模块的输出生成当前时间步的超分潜变量；

15、将当前时间步超分潜变量变换至图像空间，获得当前时间步的超分辨率视频帧；

16、其中，静态缓存调度表在训练阶段生成，其保存有单步扩散式生成模块每一层的动作，并且，在训练过程阶段，通过对单步扩散式生成模块生成的超分潜变量进行多维判别，并构造对抗训练损失对单步扩散式生成模块进行训练。

17、由上述本发明提供的技术方案可以看出：（1）每个低分辨率输入帧仅通过一次生成器前向计算输出高分辨率帧，不依赖未来帧或整段视频离线处理，由此可实现单步流式视频超分辨率；（2）根据不同网络层对时间上下文的需求，学习逐层缓存读取策略，避免所有层均保存和读取完整历史 key-value（键值）缓存，由此可降低历史缓存开销：（3）将上一帧模型自生成的超分潜变量回收为当前帧条件，形成轻量级因果传播路径，减少局部纹理闪烁，由此可提高时间一致性；（4）训练阶段使用在线自生成的上一帧超分潜变量作为条件，使训练条件分布与流式推理条件分布一致，由此可缓解训练推理不一致；（5）通过多范围查询判别器同时约束整体真实感、局部空间纹理和时间管状区域的一致性，由此可提升生成质量。