一种显示设备与视觉算法自适应调度方法与流程

本技术涉及显示设备，尤其涉及一种显示设备与视觉算法自适应调度方法。

背景技术：

1、随着流媒体视频、短视频及智能终端显示技术的快速发展，根据视频的不同风格（如动漫动画、影视实拍、综艺节目、游戏录屏等）应用专门定制的视觉算法专用模型，已成为提升终端视觉体验的核心手段。然而，现有的视频风格自适应调度方案在起播速度与调度准确性之间难以兼顾。

2、目前，业界主流的视频风格自适应调度方案，均采用单帧静态图像分类技术进行视频风格判定，即在视频起播时截取首帧或少数几帧图像，通过图像内容审核与分类网络输出风格标签，并基于该标签调用对应的视觉算法专用模型进行后续全部播放过程的处理。

3、但这些主流方案均缺少对视频时空多模态特征的动态校验与纠偏机制，导致仅依赖单帧静态图像进行风格预判时极易因首帧代表性不足而产生全局误判，且误判一旦发生便无法纠正，使得后续全部播放过程中调用的视觉算法专用模型与视频真实风格持续不匹配。单模态静态截帧无法有效捕捉视频中的运动轨迹、动作周期等动态时序信息，也无法利用音频声学特征进行跨模态协同分析，一旦首帧受光照不足、片头全黑帧或遮挡等因素影响缺乏代表性，即导致全局调度策略失效。

技术实现思路

1、本技术提供一种显示设备与视觉算法自适应调度方法，以解决现有视频风格自适应调度方案缺少对视频时空多模态特征的动态校验与纠偏机制，导致仅依赖单帧静态图像进行风格预判时极易因首帧代表性不足而产生全局误判，且误判一旦发生便无法纠正的问题。

2、第一方面，本技术实施例提供一种显示设备，包括：

3、显示器；

4、控制器，被配置为：

5、响应于视频起播指令，获取视频的元数据及首帧图像；

6、提取所述首帧图像的多维浅层特征；

7、根据所述元数据和所述多维浅层特征，在候选分类标签库中确定初始分类标签；所述候选分类标签库包括分类标签和视觉算法专用模型标识的映射关系；

8、通过所述初始分类标签对应的第一视觉算法专用模型播放所述视频；

9、在所述视频起播后的前n秒内，获取所述视频的音频特征、帧间运动特征及关键帧视觉特征；

10、将所述音频特征、所述帧间运动特征及所述关键帧视觉特征进行多模态分布融合，输出精确分类标签；

11、比较所述初始分类标签与所述精确分类标签；

12、若所述初始分类标签与所述精确分类标签一致，则保持所述第一视觉算法专用模型的调度状态；

13、若所述初始分类标签与所述精确分类标签不一致，则通过与所述精确分类标签对应的第二视觉算法专用模型播放所述视频。

14、这样，控制器在接收到视频起播指令后，通过轻量级多维浅层特征与元数据的快速分析，在视频载入瞬间即可从候选分类标签库中确定初始分类标签，并立即调用对应的第一视觉算法专用模型进行起播，消除了传统重度前置分类带来的起播延迟；与此同时，在视频起播后的前n秒内后台异步执行多模态动态校验，提取音频特征、帧间运动特征及关键帧视觉特征进行融合分析，得出高置信度的精确分类标签；通过与初始分类标签的比对，实现对首帧预判结果的动态验证与纠偏。整个流程兼顾了冷启动的低延迟性能与调度的高准确性，有效解决了单帧静态预判误判后无法纠正的问题，提升视频播放的视觉体验。

15、在一些可行的实施例中，所述控制器执行提取所述首帧图像的多维浅层特征，具体被配置为：

16、将所述首帧图像降采样至预设分辨率；

17、通过轻量级卷积神经网络从降采样后的首帧图像中提取图像语义特征；

18、提取所述首帧图像的传统视觉特征，所述传统视觉特征包括色彩直方图、亮度和边缘密度作为传统视觉特征中的至少一类；

19、将所述图像语义特征与所述传统视觉特征拼接为所述多维浅层特征。

20、这样，控制器首先对首帧图像进行降采样以大幅降低输入分辨率，减少卷积神经网络的计算量；随后利用小型轻量级卷积神经网络提取具有代表性的图像语义特征，同时并行提取色彩直方图、亮度分布和边缘密度等传统视觉特征；最终将两类特征拼接为多维浅层特征作为分类输入。这种轻量级复合特征提取方式既利用了神经网络对高层语义的感知能力，又结合了传统图像处理算法在颜色、纹理方面的快速描述能力，在极短时间内完成首帧特征提取，确保冷启动预判的时效性，同时保留足够丰富的特征信息以支撑初始分类标签的准确输出。

21、在一些可行的实施例中，所述控制器执行所述根据所述元数据和所述多维浅层特征，在候选分类标签库中确定初始分类标签，具体被配置为：

22、根据所述元数据中的编码格式和封装格式信息，确定所述视频的初步属性约束；

23、将所述多维浅层特征输入轻量级分类器，以通过所述轻量级分类器基于所述多维浅层特征和所述初步属性约束，输出所述候选分类标签库中各分类标签的置信度概率分布；

24、选取置信度最高的分类标签作为所述初始分类标签。

25、这样，控制器首先从视频元数据中解析编码格式与封装格式信息，作为初步属性约束辅助缩小候选类别范围；随后将多维浅层特征输入轻量级分类器，结合属性约束输出各分类标签的置信度概率分布；通过选取置信度最高的分类标签作为初始分类标签，实现在极低计算代价下对视频风格的快速初步定性。元数据约束的引入有效降低了因首帧视觉信息不足导致的类别混淆概率，置信度概率分布的输出方式也为后续精确校验阶段的对比分析提供了参考基准，提升了整体调度流程的鲁棒性。

26、在一些可行的实施例中，所述控制器执行通过所述初始分类标签对应的第一视觉算法专用模型播放所述视频，具体被配置为：

27、根据所述初始分类标签，在候选分类标签库中确定所述第一视觉算法专用模型标识；

28、基于查询到的视觉算法专用模型标识调用所述第一视觉算法专用模型；

29、通过所述第一视觉算法专用模型对所述视频执行画质增强处理，以播放所述视频。

30、这样，控制器通过在候选分类标签库中检索初始分类标签对应的模型标识，快速定位并调用第一视觉算法专用模型，立即对视频帧执行针对该风格类别深度优化的画质增强处理。相较于使用统一通用模型处理所有风格视频，专用模型能够根据特定风格的画面特性（如动漫风格的锐利轮廓、影视风格的细腻纹理）进行定制化的画质提升，在快速起播的同时确保视觉体验的针对性优化，避免了通用模型带来的画质妥协。

31、在一些可行的实施例中，所述控制器执行将所述音频特征、所述帧间运动特征及所述关键帧视觉特征进行多模态分布融合，输出精确分类标签，具体被配置为：

32、将所述音频特征、所述帧间运动特征及所述关键帧视觉特征分别通过对应的模态编码器映射至共享潜在表示空间，得到音频嵌入向量、运动嵌入向量和视觉嵌入向量；

33、在所述共享潜在表示空间中，对所述音频嵌入向量、所述运动嵌入向量和所述视觉嵌入向量进行对齐；

34、向所述音频嵌入向量融合全局语义权重，和，向所述运动嵌入向量融合局部运动一致性权重，和，向所述视觉嵌入向量融合场景内容权重；

35、基于融合相应权重的音频嵌入向量、运动嵌入向量和视觉嵌入向量确定所述精确分类标签。

36、这样，控制器通过为音频、运动和视觉三类模态特征分别构建对应的编码器，将异构的多模态信息统一映射至共享潜在表示空间，实现跨模态语义对齐；在对齐空间内，针对各模态的信息特性赋予差异化的融合权重——音频嵌入向量侧重全局语义的连贯性描述，运动嵌入向量侧重局部动作序列的一致性描述，视觉嵌入向量侧重场景内容的整体描述；三类加权嵌入向量联合推断输出精确分类标签。相较于单一模态的视觉分析，多模态协同分析能够有效规避首帧因光照不足、遮挡或片头logo等异常情况导致的视觉信息失真，显著提高风格分类的准确性与抗干扰能力。

37、在一些可行的实施例中，所述控制器执行若所述初始分类标签与所述精确分类标签不一致，则通过与所述精确分类标签对应的第二视觉算法专用模型播放所述视频，具体被配置为：

38、在后台加载所述精确分类标签对应的第二视觉算法专用模型；

39、在预设数量帧的播放过程中，通过所述第一视觉算法专用模型和所述第二视觉算法专用模型播放所述预设数量帧的融合画面；

40、在所述预设数量帧播放结束的情况下，释放所述第一视觉算法专用模型的计算资源；

41、通过所述第二视觉算法专用模型独立播放剩余的所述视频。

42、这样，当多模态校验发现初始分类标签与精确分类标签不一致时，控制器首先在后台热加载精确标签对应的第二视觉算法专用模型，避免阻塞前台播放；在模型加载完成后，通过设置预设数量帧的融合过渡窗口，同时运行第一视觉算法专用模型和第二视觉算法专用模型并对其输出进行加权融合，实现两套模型之间的平滑视觉过渡；过渡结束后释放第一视觉算法专用模型的计算资源，由第二视觉算法专用模型独立处理剩余播放过程。这种渐进式切换策略彻底消除了模型硬切换导致的画面突变与视觉闪烁，在保证调度准确性的同时确保了用户视觉体验的连续性。

43、在一些可行的实施例中，所述控制器执行在预设数量帧的播放过程中，通过所述第一视觉算法专用模型和所述第二视觉算法专用模型播放所述预设数量帧的融合画面，具体被配置为：

44、基于所述预设数量帧创建融合窗口；

45、在播放所述融合窗口内的每一帧时，获取所述第一视觉算法专用模型输出的第一增强帧和所述第二视觉算法专用模型输出的第二增强帧；

46、加权融合所述第一增强帧和所述第二增强帧，得到所述融合窗口内的每一帧的过渡帧；其中，所述第一视觉算法专用模型的权重随帧序号递增而线性递减，所述第二视觉算法专用模型的权重随帧序号递增而线性递增；

47、根据所述帧序号的顺序播放所述预设数量帧对应的过渡帧。

48、这样，控制器在融合窗口内对每一帧执行动态加权融合操作：随着帧序号从窗口起始推进至窗口末尾，第一视觉算法专用模型的贡献权重从高到低线性衰减，第二视觉算法专用模型的贡献权重从低到高线性增长，两者之和在任意帧位置保持恒定。这种线性渐变的alpha blending方式确保了模型切换过程中相邻帧之间不存在突变阶跃，用户观看体验中模型过渡过程平滑且不可察觉，在融合窗口结束后自然过渡至第二视觉算法专用模型的独立输出。

49、在一些可行的实施例中，所述控制器执行通过所述第二视觉算法专用模型独立播放剩余的所述视频，还被配置为：

50、将所述第二视觉算法专用模型设为全局调度状态；所述第二视觉算法专用模型的全局调度状态在所述视频的剩余播放期间保持不变；

51、停止分析所述视频的分类标签。

52、这样，当精确分类标签经多模态校验确认后，控制器将对应的第二视觉算法专用模型设定为全局锁定的调度状态，并停止对后续视频帧的分类分析。这种"校验纠偏后即锁定"的策略避免了系统在视频剩余播放期间因局部画面变化而频繁切换模型，一方面节省了持续分析所消耗的计算资源，另一方面防止了因算法模型频繁热替换而引发的画面抖动与不连贯问题，使得整个视频播放过程在确认调度策略后保持稳定、高效的运行状态。

53、在一些可行的实施例中，候选分类标签库还包括所述视觉算法专用模型的调用次数，所述控制器还被配置为：

54、在所述显示设备的播放状态为未播放的情况下，从所述候选分类标签库中确定调用次数最大的目标视觉算法专用模型；

55、在所述显示设备的内存缓存区中预先加载所述目标视觉算法专用模型。

56、这样，控制器在设备处于空闲状态时，主动分析候选分类标签库中各视觉算法专用模型的历史调用次数统计，将调用次数最高的模型提前加载至内存缓存区进行热备。由于最常被调用的模型在用户下一次视频播放时被命中的概率最大，预加载该模型可进一步压缩起播时的模型加载等待时间，使得大概率场景下的视频起播延迟趋近于零，提升高频使用场景下的用户体验一致性。

57、第二方面，本技术实施例提供一种视觉算法自适应调度方法，包括：

58、响应于视频起播指令，获取视频的元数据及首帧图像；

59、提取所述首帧图像的多维浅层特征；

60、根据所述元数据和所述多维浅层特征，在候选分类标签库中确定初始分类标签；所述候选分类标签库包括分类标签和视觉算法专用模型标识的映射关系；

61、通过所述初始分类标签对应的第一视觉算法专用模型播放所述视频；

62、在所述视频起播后的前n秒内，获取所述视频的音频特征、帧间运动特征及关键帧视觉特征；

63、将所述音频特征、所述帧间运动特征及所述关键帧视觉特征进行多模态分布融合，输出精确分类标签；

64、比较所述初始分类标签与所述精确分类标签；

65、若所述初始分类标签与所述精确分类标签一致，则保持所述第一视觉算法专用模型的调度状态；

66、若所述初始分类标签与所述精确分类标签不一致，则通过与所述精确分类标签对应的第二视觉算法专用模型播放所述视频。