一种基于知识蒸馏的在线视频超分辨率方法与流程

摘要: 本发明属于图像与视频处理,具体涉及视频超分辨率重建,尤其涉及一种基于教师—学生知识蒸馏机制的在线视频超分辨率方法,用于在保持在线推理能力的同时提升轻量视频超分辨...
一种基于知识蒸馏的在线视频超分辨率方法与流程

本发明属于图像与视频处理,具体涉及视频超分辨率重建,尤其涉及一种基于教师—学生知识蒸馏机制的在线视频超分辨率方法,用于在保持在线推理能力的同时提升轻量视频超分辨率网络的重建性能。

背景技术:

1、在计算机视觉领域,视频超分辨率(video super-resolution,vsr)技术致力于将低分辨率视频序列重建为高分辨率视频序列,以提升纹理细节、边缘结构和整体视觉质量。该技术可应用于流媒体视频增强、监控视频分析、移动终端显示以及其他需要视频画质恢复的场景。视频超分辨率的关键在于有效利用相邻帧之间的时序相关性,并在运动、遮挡和形变条件下实现准确的跨帧信息融合。

2、现有视频超分辨率方法大致可以分为滑动窗口方法和循环神经网络方法。滑动窗口方法通过对固定长度的局部帧窗口进行特征提取与融合,实现图像的上采样。此方法在重建精度和计算时延之间取得了较好的折中,但受限于其固定窗口,难以有效捕捉长时序信息,从而限制了其在处理复杂动态场景中的能力。循环神经网络方法则采用递归机制,通常通过利用视频序列的前后时序信息来提高图像恢复的质量。这种方法可以通过积累历史帧和未来帧的信息,实现更为准确的时空特征融合,通常在峰值信噪比(psnr)和结构相似度(ssim)等指标上表现优异。然而,这种双向信息融合的结构往往会带来较高的计算复杂度和推理延迟,这使得其难以在实时场景或资源有限的设备上部署。

3、单向在线递归网络仅依赖当前帧和历史帧状态即可生成当前帧超分辨率结果,因而具有因果推理、低等待时间和易部署的特点。然而,轻量单向网络受模型容量和可利用时序信息范围限制,其重建能力通常低于复杂双向网络。知识蒸馏可以将高性能教师模型的知识迁移至轻量学生模型,是提高单向学生网络性能的一种有效途径。

4、但是,直接采用双向教师网络对单向在线学生网络进行逐帧蒸馏存在时序信息不对称问题:对于序列中间时刻,双向教师的输出可能利用该时刻之后的未来帧,而单向学生在实际在线推理时无法获得这些未来信息。如果直接要求学生拟合包含未来信息的教师目标,蒸馏监督与学生可用信息之间存在不一致。同时,若仅约束最终超分辨率输出,又难以充分迁移教师在重建阶段形成的高质量细节表征。

5、因此,需要一种面向单向在线视频超分辨率网络的知识蒸馏方法,在利用高性能双向教师网络重建能力的同时,限制蒸馏监督中不可获得的未来帧信息,并通过输出与重建特征的联合蒸馏提高轻量学生网络的重建性能。

技术实现思路

1、针对双向高性能模型推理开销较大、单向在线轻量模型重建性能受限,以及双向教师与单向学生之间存在未来信息不对称的问题,本发明提供一种基于随机连续子序列末帧因果蒸馏的在线视频超分辨率方法。该方法在训练阶段使单向学生网络接收完整训练帧序列,同时从所述完整训练帧序列中随机选择连续子序列作为双向教师网络的输入,并仅在所述连续子序列的最后一帧位置进行教师输出蒸馏和重建特征蒸馏。由于教师网络的输入在该末帧处终止,所述蒸馏监督不包含该时刻之后的未来视频帧信息,从而使教师监督知识与单向学生网络在对应时刻可获得的信息保持因果一致。

2、本发明的一个核心改进在于随机连续子序列末帧蒸馏机制。设学生网络训练输入为完整低分辨率帧序列,从中随机选取起始位置和终止位置形成连续教师子序列。教师网络仅处理该连续子序列,并在子序列末帧提取超分辨率输出和重建阶段特征;学生网络则从完整序列起始处按时间顺序传播,在同一末帧位置提取对应输出和重建阶段特征。学生网络在该时刻能够利用完整的历史传播状态,而教师监督不包含末帧之后的信息,因此避免了要求单向学生学习在线推理阶段不可获得的未来信息。通过在训练过程中随机改变连续子序列的位置,使不同时间位置均有机会成为蒸馏端点。

3、本发明的另一核心改进在于联合采用教师输出蒸馏和重建特征蒸馏。教师输出蒸馏约束学生网络在随机子序列末帧的最终超分辨率结果逼近教师网络输出;重建特征蒸馏进一步约束学生网络在高分辨率重建阶段形成的中间表征逼近教师网络对应表征。当教师与学生的重建特征通道维度不一致时,通过通道映射模块对学生重建特征进行维度变换。与仅约束最终输出相比,该方式能够同时迁移结果层知识和重建表征知识。

4、本发明提出一种面向单向在线视频超分辨率学生网络的光流引导的金字塔可变形卷积对齐模块(flow-guided pyramid deformable convolution alignment,fgpcda)。该模块先基于光流获得相邻帧运动先验,再在多尺度特征空间中预测可变形卷积偏移量,对历史传播特征进行逐级自适应校正,从而提高运动区域的跨帧特征对齐精度。

5、为解决上述技术问题,本发明采用如下技术方案:

6、一种基于知识蒸馏的在线视频超分辨率方法,包括以下步骤:

7、步骤1,收集并构建视频超分辨率训练数据集,并将所述训练数据集划分为训练集与测试集;

8、所述的视频超分辨率训练数据集包含低分辨率视频序列,以及与低分辨率视频序列相对应的高分辨率真值视频序列,m表示视频序列帧数;

9、步骤2,构建教师网络并完成教师模型训练;具体是采用先在大规模的视频数据集上进行预训练,再在目标场景数据集上进行微调的两阶段训练方式获得用于知识蒸馏的教师模型;

10、所述的教师网络为双向递归视频超分辨率网络;

11、步骤3,构建学生网络并进行结构配置;具体是通过学生网络接收低分辨率视频序列作为输入,输出对应的高分辨率视频序列;所述的学生网络至少包括光流估计模块、本发明提出的fgpcda模块、前向传播主干和重建头;

12、所述的学生网络为单向在线传播网络;

13、步骤4,冻结教师网络t参数,仅更新学生网络s参数;在训练过程中,教师网络与学生网络分别输出最终超分辨率结果和及中间特征和,当教师网络t与学生网络s的中间特征通道数不一致时,通过通道映射对学生网络的中间特征进行维度对齐;

14、所述中间特征至少包括传播特征、对齐特征、重建输入特征和重建阶段特征;

15、步骤5,以所述连续子序列的最后一帧为蒸馏位置,在该位置分别获得教师网络和学生网络的超分辨率输出以及重建阶段特征;计算教师输出与学生输出之间的输出蒸馏损失,并计算教师重建阶段特征与经过通道映射后的学生重建阶段特征之间的重建特征蒸馏损失;学生网络的像素级重建损失则基于完整训练帧序列的学生输出与高分辨率真值计算;联合所述重建损失、输出蒸馏损失和重建特征蒸馏损失更新学生网络参数;

16、步骤6,在完成训练后,仅保留学生网络进行在线视频超分辨率推理,按时间顺序输入低分辨率视频帧,依次执行光流估计、特征对齐、前向传播状态更新和重建头输出,实时生成高分辨率视频序列。

17、进一步地,设第i个训练样本的完整低分辨率帧序列为,随机选择连续子序列,其中1≤s≤e≤m,e表示所述连续子序列的末帧索引。所述连续子序列的起始位置和序列长度在训练过程中随机确定。

18、进一步地,所述教师网络在知识蒸馏阶段仅接收作为输入,并仅使用末帧e处的教师输出和教师重建阶段特征作为蒸馏监督。所述学生网络接收完整帧序列。

19、进一步地,所述步骤2中的教师网络为利用视频序列前向时序信息和后向时序信息进行特征融合的双向递归网络;

20、训练教师模型时采用像素级重建损失lt:

21、

22、其中,n表示一个训练批次中的样本数量;m表示视频序列帧数;和分别表示教师模型第i个样本第m帧样本的超分输出与对应的高分辨率真值帧;表示平滑项(避免梯度不稳定)。

23、进一步地,所述步骤3中的学生网络为仅依赖当前帧和历史帧状态进行推理的单向在线传播网络,其特征通道规模低于教师网络,以满足低时延实时推理需求。

24、进一步地,所述步骤3中光流估计模块用于根据当前低分辨率视频帧与相邻历史低分辨率视频帧估计前向光流;

25、所述步骤3中本发明提出的fgpcda模块用于根据所述前向光流、上一时刻传播特征和当前帧浅层特征,对历史传播特征进行跨帧对齐,输出对齐后的历史特征;

26、所述步骤3中前向传播主干和重建头,用于根据当前帧特征与对齐后的历史特征的拼接特征,输出当前帧的超分辨率结果。

27、进一步地,所述步骤4中的通道映射,采用1×1卷积实现,在不改变特征空间分辨率的条件下,对学生网络的中间特征进行通道线性变换,以使其与教师网络对应中间特征的通道维度一致。

28、进一步地,所述步骤5中损失函数包含重建损失lrec、输出蒸馏损失lout、重建特征蒸馏损失lfeat。其中,知识蒸馏相关损失仅在随机连续子序列末帧处计算:

29、

30、其中,和分别表示学生模型和教师模型第i个样本在第e帧处的超分辨率输出;s和e分别表示随机连续子序列的起始帧位置和结束帧位置,且第e帧为蒸馏位置。

31、进一步地,所述步骤5中重建特征蒸馏损失lfeat,对教师网络和学生网络输出的中间特征分别提取重建特征,并在经过通道映射模块对学生特征进行维度对齐后,计算学生网络与教师网络的重建特征蒸馏损失,进一步约束学生网络在高分辨率重建阶段形成的中间表征逼近教师网络对应表征;损失函数为:

32、

33、其中,和分别表示学生网络和教师网络对第i个样本在第e帧处提取的重建特征;表示输入学生网络的从第一帧至第e帧的视频序列,表示从完整视频序列中随机选取并输入教师网络的从第s帧至第e帧的连续子序列;表示通道映射模块,用于将学生特征映射至与教师一致的通道维度;

34、进一步地,所述重建特征为教师网络和学生网络在高分辨率重建头之前或重建阶段内部、用于生成最终超分辨率结果的中间表征。

35、进一步地,所述学生网络中的对齐模块采用本发明提出的fgpcda模块,具体是接收上一时刻传播特征、当前帧特征以及光流估计模块输出的前向光流,并在多个尺度下对所述上一时刻传播特征进行逐级对齐,输出与当前帧对齐的历史特征。

36、进一步地,所述fgpcda模块在各尺度下先利用对应尺度的光流对历史特征进行warping预对齐,再根据预对齐后的历史特征与当前帧对应尺度特征预测可变形卷积偏移量,并利用所述可变形卷积对预对齐结果进行自适应采样校正;其中,较低尺度预测得到的偏移信息和对齐特征经上采样后传递至较高尺度,以实现逐级细化对齐。

37、与现有技术相比,本发明具有以下优点:

38、(1)针对双向教师与单向学生之间的未来信息不对称问题,本发明通过随机连续子序列末帧蒸馏,将教师输入截断在蒸馏时刻,使教师蒸馏目标不包含该时刻之后的未来帧信息,提高教师监督与单向学生在线信息条件的一致性。

39、(2)在随机子序列末帧同时实施教师输出蒸馏和重建特征蒸馏,不仅约束最终超分辨率结果,还迁移教师网络在重建阶段形成的细节表征,有利于提高轻量学生网络的重建质量。

40、(3)本发明提出fgpcda模块,该模块结合光流运动先验与多尺度可变形采样,对历史传播特征进行逐级对齐和自适应校正,从而改善复杂运动区域中的跨帧特征错位问题,提高历史时序信息的有效利用程度。

41、(4)知识蒸馏仅用于训练阶段。部署时移除教师网络、通道映射及其他仅用于蒸馏的训练分支,仅保留轻量的单向学生网络,因此不会引入教师网络的在线推理开销,从而使使学生网络在保持低时延、易部署特性的同时获得更优的超分重建能力,满足在线视频场景对实时性与画质的双重要求,在整体技术路线方面实现了性能与效率的兼顾。