面向弱网环境的端到端视频编码方法以及解码方法

本发明属于视频压缩，具体涉及一种面向弱网环境的端到端视频编码方法以及解码方法。

背景技术：

1、近年来，随着深度学习技术的快速发展，基于学习的方法在计算机视觉领域中大放异彩。在视频编码领域，传统视频编码方案通常基于块划分、预测、变换、量化与熵编码等模块构成的残差预测框架，对视频数据进行压缩。端到端视频编码方法在上述框架思想的基础上，逐步采用神经网络模型对帧内预测、帧间预测、变换与量化等人工设计模块进行替换，并进一步发展为由神经网络整体建模的端到端编码框架。由于神经网络在时域与空域冗余建模、特征表示与自适应预测等方面具有更强的表达能力，相较于传统视频编码方法，端到端视频编码在相同或相近编码条件下，通常能够获得更高的压缩效率和更优的重建视频主客观质量。

2、然而，现有端到端视频编码技术主要存在以下问题：（1）弱网环境适应性不足。现有端到端视频编码方法的体系设计与性能评估主要基于理想或相对稳定的网络传输条件，缺乏对实际工程应用中复杂多变网络环境的针对性设计。当网络带宽受限、链路质量波动或出现分组丢失时，压缩后的视频码流在传输过程中容易发生数据丢失，导致接收端解码失败或重建画面严重失真。（2）码流分配能力不足。现有方法缺乏针对弱网环境的自适应码流分配机制，无法根据网络带宽动态变化合理分配编码资源。在带宽受限条件下，难以优先保障关键视频信息的传输，造成有限带宽资源的低效利用。（3）关键信息难以优先恢复。现有技术未能有效区分视频内容中的关键信息与次要信息，缺乏关键信息优先编码与传输的能力。在弱网环境下，接收端无法在短时间内获取对场景理解或业务决策至关重要的关键视频信息，难以满足实时感知、交互展示或快速决策等应用需求。（4）缺乏渐进式解码能力。现有端到端视频编码方法通常采用全有或全无（all-or-nothing）的解码模式，接收端必须接收到完整的视频码流才能成功解码。在链路不稳定、分组丢失频繁的场景下，缺乏渐进式解码与质量可伸缩的能力，无法实现部分码流接收情况下的渐进式画面重建。（5）模型复杂度与工程化问题。现有方法在弱网环境下面临模型复杂度高、计算资源消耗大等工程性问题，难以在资源受限的终端设备上高效部署运行，无法满足弱网条件下视频传输与可靠恢复的实际应用需求。

3、综上所述，现有端到端视频编码方法在弱网环境下面临码流分配能力不足、关键信息难以优先恢复、缺乏渐进式解码能力、模型关于复杂等工程性问题，整体上难以满足弱网条件下视频传输与可靠恢复的实际需求。

技术实现思路

1、鉴于以上存在的问题，本发明提供一种面向弱网环境的端到端视频编码方法，用以采用码率-区域重要性联合调制模块以优化神经网络结构，从而将有限的比特集中在重要区域内，提升码率分配能力及关键信息恢复能力。

2、同时提供一种面向弱网环境的端到端视频解码方法，用以采用分层渐进式传输与接收端渐进式解码，可以在极窄带宽的通信条件下优先恢复重要内容，减少等待时长。

3、为解决上述技术问题，本发明采用如下的技术方案：

4、本发明第一方面提供一种面向弱网环境的端到端视频编码方法，包括以下步骤：

5、s10，进行输入获取与预处理，设输入视频的第帧；所述第帧对应生成感兴趣图，图将被进一步转换为该第帧的单通道掩膜，用于码率分配，代表为非，1代表为；

6、s20，从重建缓存队列取出输入帧的第帧的时域上一帧的重建帧作为参考帧，送入隐式时域特征提取模块中以提取时域特征；

7、s30，结合时域特征，获得输入帧的第帧的潜变量；

8、s40，将量化参数、潜变量与掩膜共同送入区域重要性联合调制模块模块参与调制，获得码率调制后的潜变量；

9、s50，将所述潜变量结合所述时域特征，输入至超先验参数预测模块以获得维度为的超先验参数；

10、s60，将输出的连续潜变量离散化，得到离散化的潜变量，用于后续熵模型参数预测；

11、s70，将离散化后的潜变量利用熵模型预测模块得到熵模型预测参数；

12、s80，根据熵模型预测参数进行熵编码，获得压缩码流。

13、优选地，s20中，所述隐式时域特征提取模块由多个深度可分离卷积块、激活函数和一个步长为2的残差块共同组成。

14、优选地，s40具体工作过程如下：

15、输入到一个掩膜特征提取层，输出维度为的掩膜特征；

16、潜变量输入至潜变量调制模块，将映射为调制系数向量，，以对调制后的结果进行放缩，最终输出调制特征；调制系数向量通过可学习的量化等级参数表表示；

17、所述的和在维度上保持一致，对二者逐元素融合，生成重要性图，所述重要性图再与输入的逐元素乘，以获得经调制潜变量。

18、优选地，s50中，()为特征融合函数，采用通道拼接与卷积结构；为基于获得的超先验潜变量，，是权重为的超先验编码模块，为离散量化函数, 是权重为的超先验解码模块，超先验解码模块的网络结构采用与相对应的镜像结构，即在网络层级组织上与的下采样编码过程相反，通过上采样与卷积变换逐级恢复空间分辨率，以输出超先验参数特征，与做特征融合，通过另一支路输出经学习的预测分组数g，其取值为。

19、优选地，s70中，离散化后的潜变量通过分组数g划分为通道数不等的g个组，每个组的通道数依据总通道数以及组数g确定，结合超先验参数进行上下文预测，获得熵模型参数辅助熵编码模块，以进一步压缩特征。

20、优选地，所述熵模型预测模块进一步包括空域上下文模块、组间上下文模块以及熵模型参数增强模块，其中，所述空域上下文模块用于建模当前分组潜变量在空间邻域上的相关性；所述的组间上下文模块用于建模潜变量不同分组之间的统计依赖关系；所述的熵模型参数增强模块用于融合上述超先验参数、空域上下文特征以及组间上下文特征，通常使用多个深度可分离卷积块和残差块进行特征增强。

21、优选地，所述s80具体包括：在获得第个分组的熵模型参数后，对潜变量分组为熵编码获得码流，超先验参数编为码流，两端码流结合一些头部信息为第帧码流。

22、本发明第二方面提供一种面向弱网环境的端到端视频解码方法，用于解码如权利要求1-7任一所述得到的码流，包括：

23、在正常网络带宽条件下，进行完整码流解码；

24、在弱网极窄带宽环境下，进行部分码流渐进式解码。

25、优选地，所述在正常网络带宽条件下，进行完整码流解码具体包括：将传输的完整码流以帧为单位分离后进行解码，得到第帧的码流，算术解码器ad将熵解码为第一个潜在特征分片的潜变量；第帧的重建帧将送入隐式时域特征提取模块fe，输出的特征与辅助潜变量一同送入超先验参数恢复模块获得重建参数；与再送入熵模型参数恢复模块em-r获得第一个潜在特征分片的熵模型参数和，该参数与潜变量共同作用于算数解码器ad，解码出第二个潜在特征分片的潜变量；之后重复上述解码过程，直到当前帧码流的所有潜在分片全部解码完毕，输出重建潜变量；进一步送入解码器，重建出第t帧的重建帧。

26、优选地，所述在弱网极窄带宽环境下，进行部分码流渐进式解码包括：

27、将码流分为基础层和(n-1)个增强层；当启用渐进式解码能力后，发送端先发送原码流一部分大小的，接收端的解码器解析后获得基础层统计参数(；进而获得第0组对应的潜变量重建；然后，将第0组的真实解码值与其余组的推测值组合为基础层潜变量：，进而获得重建帧；当网络条件正常网络带宽条件且无丢包情况，接收端继续接收增强层码流，并按组顺序逐组解码，替换推理值为真实值。

28、采用本发明具有如下的有益效果：

29、（1）提出码率-区域重要性联合调制模块r2oi (rate-region of importancemodulation module)，允许使用者控制不同的压缩等级，以获得对应大小的码流以及重建视频。除此之外，该模块还允许使用者在编码视频前，标记出感兴趣的区域（无论用何种方式）。编码模块将这些信息转换为掩膜后与视频源连接在一起共同处理，可以在给定的码流大小下，按照权重大小将更多的码字用于感兴趣区域的恢复。

30、（2）在进行熵模型参数预测时，根据超先验参数预测模块输出的可学习分组数，自适应地根据特征复杂程度对潜变量分组，以实现高效的压缩编码。该模式的好处在于，对特征复杂度低的内容，不需要过多分组进行组间上下文预测，并且基础层也可以用较少的通道数表达，这样可以在不降低重建视频质量的情况下大大降低整体预测的复杂度，同时便于实现高效的渐进式压缩。

31、（3）将码流分为基础层和多层增强层，增强层层层递进，实现多层渐进式压缩和传输。当监测到网络环境较差时，可选择只传输码流的基础层。解码该层可以得到原视频的大部分结构信息。待网络环境允许时，可进一步传输增强层用于恢复细节。这种结构与1的机制并存，因此可在弱网环境下尽可能多地将重要信息优先还原，节省带宽、等待时间。

32、（4） 不仅限定发送端的编码流程，还限定接收端按照逆向顺序完成码流解析、超先验恢复、潜变量逐组熵解码、渐进式潜变量补全、视频帧重建和缓存更新。该解码流程与分层渐进式传输机制配合，使接收端在仅获得基础层时即可快速输出可预览画面，在增强层陆续到达后逐步提升细节质量。