一种基于决策质量评估的自适应码率流媒体方法及系统

本技术涉及视频流媒体智能传输，例如涉及一种基于决策质量评估的自适应码率流媒体方法及系统。

背景技术：

1、自适应码率（adaptive bitrate, abr）流媒体技术广泛应用于在线视频点播、直播、云游戏及远程教育等场景。abr技术通过将视频内容预先编码为多个不同码率版本，使客户端播放器能够根据实时网络条件动态选择每个视频片段的传输码率，在保证播放连续性的同时最大化用户观看体验（quality of experience，qoe）。如何设计高效的自适应码率决策算法以应对复杂多变的网络环境，已成为业界关注的核心问题。

2、目前，abr算法主要分为基于规则的方法和基于学习的方法两大类。基于规则的方法（如bba、mpc）依据预定义启发式规则进行码率选择，但难以适应高度动态的网络环境。基于深度强化学习的方法（如pensieve、genet、merina）通过神经网络从历史经验数据中学习码率决策策略，取得了优于传统方法的性能。近年来，研究人员开始将大语言模型应用于abr决策任务，利用其强大的序列建模和推理能力学习码率选择策略。然而，现有的大语言模型abr方法普遍采用模仿学习进行训练，即利用已有abr算法生成的大量决策轨迹作为训练样本，默认所有经验数据具有相同的重要性，而忽略了不同决策样本之间的质量差异。由于网络环境高度动态，训练数据中往往同时包含大量高质量和低质量的码率决策，低质量决策会在模型训练过程中对参数更新产生误导，使模型可能继承甚至放大已有算法的错误决策行为，限制了大语言模型性能的进一步提升。因此，迫切需要一种自适应码率流媒体优化方式来解决上述问题。

3、需要说明的是，在上述背景技术部分公开的信息仅用于加强对本技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。

2、本公开实施例提供了一种基于决策质量评估的自适应码率流媒体方法及系统，以解决现有基于大语言模型的自适应码率方法中经验数据质量难以有效评估、模型训练易受低质量决策样本影响以及在线码率决策缺乏实时质量指导的技术问题。

3、在一些实施例中，基于决策质量评估的自适应码率流媒体方法，包括：

4、训练决策质量评估器，决策质量评估器用于根据播放器状态和候选码率动作输出对应的决策质量值，决策质量值用于表征码率动作的长期决策质量；

5、获取由多个自适应码率算法分别生成的视频播放轨迹，基于决策质量评估器输出的决策质量值从多条视频播放轨迹中确定专家视频播放轨迹；

6、基于专家视频播放轨迹离线训练大语言模型，其中，根据专家视频播放轨迹中的码率动作所对应的决策质量值确定用于更新所述大语言模型的训练损失；以及，

7、在视频播放过程中，获取大语言模型针对候选码率动作输出的动作概率以及决策质量评估器针对候选码率动作输出的决策质量值，并根据动作概率和决策质量值确定待执行码率动作。

8、在一些实施例中，训练决策质量评估器包括：

9、获取经验样本，经验样本包含播放器状态、码率动作、即时奖励和下一播放器状态，其中，即时奖励根据当前视频片段的感知质量收益、卡顿时长惩罚以及相邻片段码率切换惩罚确定，其中感知质量收益由所选码率映射得到，卡顿时长惩罚为卡顿时长与预设惩罚系数的乘积，码率切换惩罚为相邻片段感知质量之差的绝对值；

10、初始化决策质量评估器、估值器、目标估值器和辅助器，其中，估值器用于估计状态-动作对的长期决策质量，目标估值器为所述估值器的软更新副本，辅助器以播放器状态为输入并输出该状态的质量估计；

11、利用目标估值器根据播放器状态和码率动作确定目标决策质量，利用辅助器根据播放器状态确定状态质量估计，并根据目标决策质量与状态质量估计之间的差异更新所述辅助器；

12、利用更新后的辅助器根据下一播放器状态确定下一状态质量估计，根据即时奖励和经折扣的下一状态质量估计确定目标价值，基于目标价值更新估值器，并对目标估值器进行软更新；以及

13、对目标价值进行归一化以获得决策质量标签，并根据决策质量标签训练决策质量评估器。

14、在一些实施例中，归一化包括：

15、针对各网络轨迹，在已知完整未来吞吐量信息的条件下，通过动态规划确定使相应视频会话的用户体验质量最大的码率动作序列；

16、将所述码率动作序列对应的用户体验质量确定为相应网络轨迹的离线最优用户体验质量；以及

17、将所述目标价值除以所述离线最优用户体验质量，得到归一化后的决策质量标签。

18、在一些实施例中，根据目标决策质量与状态质量估计之间的差异更新辅助器包括：

19、当目标决策质量不低于状态质量估计时，以第一超参数作为损失函数的权重系数；

20、当目标决策质量低于状态质量估计时，以第二超参数作为损失函数的权重系数；

21、其中，第一超参数大于第二超参数，使得辅助器对不低于当前状态质量估计的目标决策质量给予更大的参数更新权重。

22、在一些实施例中，从多条视频播放轨迹中确定专家视频播放轨迹包括：

23、针对同一网络轨迹，获取由多个自适应码率算法分别生成的多条视频播放轨迹；

24、分别调用决策质量评估器计算各视频播放轨迹中各状态-动作对所对应的决策质量值，并对同一视频播放轨迹中各状态-动作对的决策质量值进行累加，得到各视频播放轨迹的整体决策质量评分；

25、将整体决策质量评分最大的一条视频播放轨迹确定为专家视频播放轨迹，并保持专家视频播放轨迹中各视频片段的原有播放顺序。

26、在一些实施例中，训练损失基于以下三项构建：

27、大语言模型针对专家视频播放轨迹中专家码率动作的交叉熵损失，作为模仿损失项；

28、以大语言模型输出的各候选码率动作的动作概率为权重、对决策质量评估器输出的各候选码率动作的决策质量值进行加权平均，得到期望决策质量，并在训练损失中以负值形式纳入期望决策质量，用于惩罚与高质量决策不一致的动作概率分布；以及

29、将专家码率动作对应的决策质量值，作为模仿损失项的权重系数。

30、在一些实施例中，训练损失具体为：

31、

32、其中，为当前训练步骤从专家视频播放轨迹中采样的训练序列长度，为视频片段索引，为大语言模型在视频片段处针对专家码率动作的交叉熵损失，为大语言模型在视频片段处输出的动作概率分布与各候选码率动作决策质量值之间的期望决策质量，为专家码率动作对应的决策质量值，为权重超参数。

33、在一些实施例中，离线训练所述大语言模型时，仅更新大语言模型中的部分可训练参数并保持主体参数不变；

34、当大语言模型具有模型结构专属损失项时，将模型结构专属损失项与训练损失共同用于参数更新。

35、在一些实施例中，待执行码率动作通过以下方式确定：

36、对于各候选码率动作，将大语言模型输出的动作概率的对数作为第一项，将决策质量评估器输出的决策质量值乘以融合系数作为第二项，将第一项与第二项相加，得到各候选码率动作的融合评分；

37、将融合评分最大的候选码率动作确定为待执行码率动作。

38、在一些实施例中，基于决策质量评估的自适应码率流媒体系统，包括：

39、评估器训练模块，被配置为训练决策质量评估器，决策质量评估器用于根据播放器状态和候选码率动作输出对应的决策质量值，决策质量值用于表征码率动作的长期决策质量；

40、轨迹确定模块，被配置为获取由多个自适应码率算法分别生成的视频播放轨迹，基于决策质量评估器输出的决策质量值从多条视频播放轨迹中确定专家视频播放轨迹；

41、模型训练模块，被配置为基于专家视频播放轨迹离线训练大语言模型，其中，根据专家视频播放轨迹中的码率动作所对应的决策质量值确定用于更新大语言模型的训练损失；以及，

42、在线决策模块，被配置为在视频播放过程中，获取大语言模型针对候选码率动作输出的动作概率以及决策质量评估器针对候选码率动作输出的决策质量值，并根据动作概率和决策质量值确定待执行码率动作。

43、本公开实施例提供的基于决策质量评估的自适应码率流媒体方法及系统，可以实现以下技术效果：

44、本技术通过构建统一的决策质量评估机制，实现了对码率动作长期决策质量的细粒度量化，首先训练决策质量评估器，该评估器能够根据当前播放器状态与候选码率动作，快速输出对应的决策质量值，从而克服了传统用户观看体验指标仅能在视频会话结束后进行评价的时序滞后性缺陷，为后续环节提供了实时、细粒度的质量判别依据。在此基础上，本技术利用该评估器从多个自适应码率算法生成的历史轨迹中筛选出决策质量最优的专家视频播放轨迹，以构建高质量训练数据集，从数据源头筛除低质量决策样本。进而，在离线训练大语言模型时，本方案依据专家轨迹中各码率动作所对应的决策质量值确定训练损失，使模型参数更新过程能够差异化地利用不同质量的经验数据，高质量样本发挥更大的引导作用，低质量样本的负面影响被有效抑制，从而解决了现有模仿学习将所有经验等权重处理所导致的策略偏差问题。最后，在在线推理阶段，本技术将大语言模型输出的动作概率与评估器实时输出的决策质量值进行融合以确定最终码率动作，使决策过程同时受益于大语言模型的全局序列建模能力和评估器的即时质量验证能力，在复杂动态网络环境下实现了更准确、更鲁棒的码率选择。综上，本技术通过决策质量评估器，将数据筛选、模型训练与在线推理三个环节贯通，实现了离线优化与在线决策的协同统一，有效提升了视频流媒体系统在复杂网络环境下的整体播放性能和运行稳定性。

45、以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本技术。