一种教学场景下的实时图像超分处理方法
本发明涉及图像处理与在线教育交叉,具体涉及一种教学场景下的实时图像超分处理方法。
背景技术:
1、目前,在智慧课堂及在线教育等教学场景中,图像超分辨率技术常被用于提升板书、课件及实验细节的清晰度。然而,现有超分技术多采用固定模型架构或仅基于单一维度(如仅依据图像内容或仅依据设备负载)进行自适应调整。当仅依据图像内容调整时,往往忽略终端实时算力波动,易导致高复杂度场景下处理延迟激增、画面卡顿;当仅依据设备负载调整时,又难以兼顾教学图像中文字、公式等关键信息的重建质量,造成算力浪费或细节丢失。因此,如何在有限的终端算力条件下,实现图像重建质量与处理延迟的动态平衡,成为当前亟待解决的技术问题。
技术实现思路
1、本发明的目的在于,提供一种教学场景下的实时图像超分处理方法。本发明实现了场景复杂度与设备算力的深度耦合及模型结构的动态适配,在保障教学关键信息重建质量的同时有效匹配终端实时处理能力。
2、本发明的技术方案:一种教学场景下的实时图像超分处理方法,包括以下步骤:
3、步骤s1、获取当前教学场景图像的内容复杂度以及当前设备的算力状态;
4、步骤s2、基于内容复杂度和算力状态,通过双向协同决策确定超分处理策略,所述超分处理策略包括目标处理区域和模型结构参数;
5、步骤s3、按照超分处理策略,利用超分模型对当前教学场景图像的目标处理区域进行超分处理,得到超分图像;其中,超分模型的网络结构根据模型结构参数进行动态切换。
6、上述的方法,所述内容复杂度的获取是基于所述当前教学场景图像的纹理特征和边缘特征,确定所述内容复杂度的复杂度等级;
7、所述当前设备的算力状态的获取是基于所述当前设备的计算资源占用率和网络延迟,确定所述算力状态的算力等级。
8、前述的方法,所述通过双向协同决策确定超分处理策略具体包括:
9、将复杂度等级和算力等级作为双输入状态决策机的输入;
10、根据预设的状态转移规则,映射输出超分倍率、处理模式以及模型结构参数;
11、基于处理模式确定目标处理区域。
12、前述的方法,所述确定内容复杂度的复杂度等级包括:
13、计算所述当前教学场景图像的梯度方差和边缘密度;
14、当梯度方差大于80且边缘密度大于35%时,确定复杂度等级为高复杂度;
15、当梯度方差处于40至80之间,且边缘密度处于15%至35%之间时,确定复杂度等级为中复杂度;
16、当梯度方差小于40且边缘密度小于15%时,确定复杂度等级为低复杂度;
17、所述确定所述算力状态的算力等级包括:
18、当计算资源占用率小于60%且网络延迟小于20ms时,确定算力等级为高算力;
19、当计算资源占用率处于60%至80%之间,且网络延迟处于20ms至30ms之间时,确定算力等级为中算力;
20、当计算资源占用率大于80%且网络延迟大于30ms时,确定算力等级为低算力。
21、前述的方法,根据预设的状态转移规则,映射输出超分倍率、处理模式以及所述模型结构参数,具体包括:
22、当算力等级为高算力时,映射输出处理模式为全图超分模式,超分倍率为4倍,以对全图进行最高精度重建;
23、当算力等级为中算力且复杂度等级为高复杂度或中复杂度时,映射输出处理模式为全图超分模式,超分倍率为2倍;
24、当算力等级为中算力且复杂度等级为低复杂度时,映射输出处理模式为关键区域超分模式,超分倍率为2倍,仅对定位到的关键区域进行超分;
25、当算力等级为低算力且复杂度等级为高复杂度时,映射输出处理模式为核心区域超分模式,超分倍率为2倍,仅对核心区域进行超分;
26、当算力等级为低算力且复杂度等级为中复杂度或低复杂度时,映射输出处理模式为节能超分模式,超分倍率为1.5倍,以降低计算功耗。
27、前述的方法,所述模型结构参数包括蒸馏深度和跨层注意力权重;所述根据预设的状态转移规则,映射输出超分倍率、处理模式以及所述模型结构参数,还包括:
28、当复杂度等级为高复杂度时,映射输出蒸馏深度为3层,所述跨层注意力权重为1.2,以强化深层特征提取;
29、当复杂度等级为中复杂度时,映射输出蒸馏深度为2.5层,所述跨层注意力权重为1.0;
30、当复杂度等级为低复杂度时,映射输出蒸馏深度为2层,所述跨层注意力权重为0.8,以减少计算冗余;
31、其中,所述超分处理为:
32、在超分模型的动态多路蒸馏单元中,按照映射输出的蒸馏深度执行多路并行特征蒸馏;
33、在超分模型的跨层残差融合单元中,按照映射输出的跨层注意力权重对分级残差特征执行通道注意力加权融合。
34、前述的方法,所述按照所述超分处理策略,利用超分模型对所述当前教学场景图像的目标处理区域进行超分处理,包括:
35、通过高斯金字塔将当前教学场景图像分解为1倍、0.5倍和0.25倍三个尺度的特征图,以提取多尺度上下文信息;
36、利用空间-通道双注意力机制对三个尺度的特征图进行关键区域强化,突出文字和图表边缘特征;
37、按照预设的固定权重对强化后的三个尺度的特征图进行融合,得到多尺度融合特征,其中高尺度权重为0.6至0.8,中尺度权重为0.3至0.5,低尺度权重为0.1至0.2;
38、利用窗口大小为3×3的自适应中值滤波对多尺度融合特征进行边缘保真处理,以保留教学场景中的细线条和公式结构。
39、前述的方法,在得到超分图像之后,还包括:
40、将超分图像缓存至包含前3帧历史图像的帧缓存队列中,以建立时序上下文关联;
41、当检测到当前帧与前一帧的帧间处理时间波动大于5ms时,对超分图像执行自动插值平滑处理,以消除画面闪烁和抖动;
42、对处理后的超分图像应用1.2至1.5的gamma校正系数,以提升教学场景下的文字对比度和视觉清晰度;
43、将校正后的超分图像输出至匹配当前设备分辨率的显示终端,所述显示终端的分辨率包括1080p或2k,色域为srgb。
44、与现有技术相比,本发明具有以下有益效果:
45、本发明通过构建内容复杂度与算力状态的双向协同决策机制,将图像语义特征与设备物理状态深度融合,使超分处理策略的生成不再依赖单一维度的静态判断,而是基于双输入状态决策机的动态映射,从而实现处理区域与模型结构的联合优化。该机制使得系统能够在算力充裕时自动提升重建精度,在算力受限时精准收缩处理范围并简化模型结构,从根本上解决了教学场景中画质与实时性难以兼顾的矛盾。
46、进一步地,通过将决策结果直接驱动模型内部结构参数(如蒸馏深度、跨层注意力权重)的动态切换,而非仅调整外部超参数,使超分模型具备运行时结构自适应能力。这种结构级动态适配避免了传统轻量化模型因固定结构导致的性能天花板,在极低参数量约束下仍能根据场景复杂度灵活分配计算资源,显著提升关键教学信息的还原效率。
47、此外,结合多尺度特征增强与边缘保真处理,以及帧级时序稳定输出机制,在保证超低延迟的前提下,有效抑制了教学图像中文字、公式等高频细节的重建失真与时序闪烁,使超分结果在普通终端设备上即可达到视觉可用性与计算效率的最优平衡,满足全教学场景的实时部署需求。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com