一种切片大小预测和自适应码率控制方法、系统及介质与流程

1.本发明涉及http自适应流媒体服务技术领域，具体地，涉及一种切片大小 预测和自适应码率控制方法、系统及介质。


背景技术：

2.在过去十年中，由于网络技术、设备能力和音频视频压缩方案的进步，视频 交付已经发展成为当今互联网流量的主要部分。思科在其年度可视化网络指数中 报告中写道，视频流量和占据2016年全球互联网流量的67％，并预测在2021 年将达到80％的占比。这一趋势要求在现有互联网上提供最优的qoe(体验质量) 的视频传输服务，但是互联网在设计之初只是一种尽力而为，非实时的数据传输 方式。在2005年前后，move networks推出了一种优雅而简单的视频传输模式， 由于其更好的功能和更低廉的部署成本，比渐进式下载和其他专有的流媒体方法 更受欢迎。这种新的模式，称之为http自适应流(has)，将媒体内容像常规 web内容一样处理，并通过http协议以小块形式交付。has迅速被领先的服 务和内容提供商所采用，成为视频传输的主导方式。公共互联网上的视频传输也 被称为ott视频流，因为内容或流服务提供商通常不是网络提供商。具有高处 理和渲染能力的移动终端用户设备的出现对流媒体视频流量的增长起着关键作 用，这也为has提供了大量的应用场景。
3.svc作为avc扩展，最著名的两对编码方式为h.264/avc和h.264/svc 以及h.265/hevc和h.265/shvc。svc将视频编码为一个基本层(bl)和若干个 增强层(el)，每一个el依赖它之前的所有层进行编解码。svc能够减少服务器 的存储消耗，提供更好的抗误差能力。并且，svc可以通过逐步增加el来渐进 提升质量。但是svc也会导致编码的复杂度提升，大约每增加一层，编码会出 产生10％的多余开销。
4.一些学者提出将svc应用于abr场景，并做了不错的尝试，提出使用svc 与dash结合去减少客户端的缓冲区和服务器存储的要求，进一步提升用户qoe。 第一个真正对svc
‑
dash系统做了qoe管理的文章是将svc切片的质量选择 转化为一个优化问题，并提出使用lbp算法来求解该优化问题，并在仿真和真 实lte环境下验证了算法的有效性。也有学这研究了如何利用quic特性进行 shvc编码内容的自适应流传输。有学者提供了一个dash/svc的数据集。也 有第一次提出利用svc层间相关性去优化dash调度。然而他们选择的编码视 频只有较少的层数，而且只使用了bl去做预测，仍然有可以提升的空间。而且， 他们的方法需要首先建立一个初始缓冲区，导致存在很大的首开延迟。由于视频 场景在变化，真实码率和视频切片大小也是波动的，而大多数算法使用mpd文 件中的平均码率去计算视频切片大小，这种粗粒度的切片大小表示有较大误差， 为优化提供了突破点。


技术实现要素：

5.针对现有技术中存在的上述不足，本发明的目的是提供一种切片大小预测和 自适应码率控制方法、系统及介质，能够准确预测视频切片大小，为传输性能带 来了提升。
6.本发明的第一方面，提供一种切片大小预测方法，包括：
7.s1，对于前start_num个切片提供优化缓冲区精度、优化首开延迟两种下载 策略，用于在首开延迟和精度缓冲区之间进行权衡；
8.s2，在s1的基础上，获取自适应流媒体过程中的缓冲区信息，对于优化首 开延迟策略未下载的增强层切片大小做补齐操作，建立完整的参考缓冲区历史信 息；
9.s3，利用所述参考缓冲区历史信息和当前切片的下载情况，预测当前时间槽 处的增强层切片大小。
10.可选地，所述优化缓冲区精度，是指：以优化缓冲区精度为目标，选择对前 start_num个切片下载全部层，从而建立一个完成的初始缓冲区。
11.可选地，所述优化首开延迟，是指：以减少首开延迟为目标，选择对前 start_num个切片进行正常的abr决策，不去主动下载全部层。
12.可选地，所述对于优化首开延迟策略未下载的增强层切片大小做补齐操作， 其中，根据增强层预测方式采用以下两种补齐策略中任一种：
13.参考基本层：在该策略当中，未下载增强层通过按照mpd文件中的平均码 率对比，对所在时间槽的基本层大小进行放大计算；
14.参考所有更低层：在该策略当中，未下载增强层通过按照mpd文件中的平 均码率对比，对所在时间槽的之前所有更低层大小进行放大计算。
15.可选地，利用所述参考缓冲区历史信息和当前切片的下载情况，预测当前时 间槽处的增强层切片大小，其中根据预测参考信息的不同采用以下预测方式1～4 中任一种：
16.预测方式1：只参考当前时间槽的基本层大小，使用已经获取到的基本层大 小，按照mpd文件中各层的评价码率进行放大，得到所求增强层切片大小；
17.预测方式2：只参考当前时间槽的基本层大小，使用已经获取到的所有层大 小，按照mpd文件中各层的评价码率进行放大，得到所求增强层切片大小；
18.预测方式3：参考之前所有时间槽的基本层大小，使用已经获取到的所有时 间槽的基本层大小和要计算的增强层大小，建立二者之间的线性回归关系，并将 当前时间槽的基本层大小带入回归方程中，得到所求增强层切片大小；
19.预测方式4：参考之前所有时间槽的基本层大小，使用已经获取到的所有时 间槽的要计算的增强层大小和该增强层之前所有层的切片大小之和，建立二者之 间的线性回归关系，并将当前时间槽的基本层大小带入回归方程中，得到所求增 强层切片大小。
20.本发明的第二方面，提供一种切片大小预测系统，包括：
21.下载策略模块，该模块对于前start_num个切片提供优化缓冲区精度、优化 首开延迟两种下载策略，用于在首开延迟和精度缓冲区之间进行权衡；
22.参考缓冲区历史信息建立模块，在所述下载策略模块的基础上，获取自适应 流媒体过程中的缓冲区信息，对于优化首开延迟策略未下载的增强层切片大小做 补齐操作，建立完整的参考缓冲区历史信息；
23.预测模块，该模块利用所述参考缓冲区历史信息和当前切片的下载情况，预 测当前时间槽处的增强层切片大小。
24.本发明的第三方面，提供一种自适应码率控制方法，包括：
25.采用切片大小预测模块结合构建的参考缓冲区历史信息，预测当前时间槽位 置
的某增强层切片大小，得到预测值；其中，所述切片大小预测模块采用所述切 片大小预测方法；
26.采用自适应码率模块，对所述预测值交进行决策处理。
27.本发明的第四方面，提供一种自适应码率控制系统，包括：
28.切片大小预测模块，该模块结合构建的参考缓冲区历史信息，预测当前时间 槽位置的某增强层切片大小，得到预测值；其中，所述切片大小预测模块采用所 述切片大小预测方法；
29.自适应码率模块，对所述切片大小预测模块得到的预测值交进行决策处理。
30.本发明的第五方面，提供一种计算机设备，包括存储器和处理器，所述存储 器存储有计算机程序，所述处理器执行所述计算机程序时实现所述的切片大小预 测方法或所述的自适应码率控制方法。
31.本发明的第六方面，提供一种计算机可读存储介质，其上存储有计算机程序， 所述计算机程序被处理器执行时实现所述的切片大小预测方法或所述的自适应 码率控制方法。
32.与现有技术相比，本发明实施例具有以下有益效果：
33.本发明上述的切片大小预测和自适应码率控制方法、系统及介质，采用建立 的参考缓冲区历史信息设计了一个切片大小预测模块，去代替传统自适应码率 (abr)算法中切片大小的平均表示，并将该模块加在现有自适应码率(abr) 算法之上，能够准确预测视频切片大小，为传输性能带来了提升。
附图说明
34.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其 它特征、目的和优点将会变得更明显：
35.图1是本发明一实施例中自适应流媒体的系统示意图；
36.图2是本发明一实施例中的实验使用网络轨迹图；
37.图3是本发明一实施例中的流媒体传输质量评价结果；
38.图4是本发明一实施例中的切片预测模块预测准确度概率分布图。
具体实施方式
39.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的 技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本 领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形 和改进。这些都属于本发明的保护范围。
40.dash是一种自适应网络状况和异质客户端设备的协议。客户端首先从服务 器请求和解析mpd文件，获取包括平均码率和切片url等基本信息。之后， abr算法根据网络和缓冲区状况去决定下一个要请求的切片的质量。但是由于 视频内容在不断变化，因此真实码率是在不断波动的，这与mpd文件提供的平 均码率有很大的偏差。这个偏差对于vbr编码视频更加突出，并且对于abr 算法是透明未知的。本发明首先建立一个参考缓冲区历史信息，并在此基础之上， 使用切片大小预测模块去预测增强层大小，并将预测信息传送给自适应
码率决策 模块，进行码率决策。参照图1所示，本发明通过设计了一个切片大小预测模块 去代替传统abr算法中切片大小的平均表示，并将该模块加在现有abr算法 之上，能够准确预测视频切片大小，带来了很大的性能提升。
41.具体的，参照图1所示，本实施例中提供一种切片大小预测方法，包括如下 步骤：
42.s1，对于前start_num个切片提供优化缓冲区精度、优化首开延迟两种下载 策略，用于在首开延迟和精度缓冲区之间进行权衡；
43.本步骤中，两种首开策略具体为：
44.优化缓冲区精度：对于该策略，以优化缓冲区精度为目标，因此该策略选择 对前start_num个切片下载全部层，从而建立一个完成的初始缓冲区，为s2进 行的增强层切片大小预测提供更多参考信息。
45.优化首开延迟：对于该策略，以减少首开延迟为目标，因此该策略选择对前 start_num个切片进行正常的abr决策，不去主动下载全部层，对于未下载的 高层切片，可以使用s2提到的补齐策略去建立一个完整的参考缓冲区历史信息。
46.s2，在s1的基础上，获取自适应流媒体过程中的缓冲区信息，对于优化首 开延迟策略未下载的增强层切片大小做补齐操作，建立完整的参考缓冲区历史信 息；
47.本步骤中，在获取历史缓冲区信息时，可能并非所有增强层都被请求下载， 为了更好的进行当前时间槽的增强层大小预测，需要对历史缓冲区信息进行补齐 操作，根据增强层预测方式设计了两种补齐策略：
48.参考基本层：在该策略当中，未下载增强层通过按照mpd文件中的平均码 率对比，对所在时间槽的基本层大小进行放大计算，公式为：
[0049][0050]
其中segment[i][j]表示第i个切片的第j个增强层大小，bitrate[j]表示第j个 增强层的平均码率，bitrate[0]表示基本层的平均码率。
[0051]
参考所有更低层：在该策略当中，未下载增强层通过按照mpd文件中的平 均码率对比，对所在时间槽的之前所有更低层大小进行放大计算。公式为：
[0052][0053]
其中segment[i][j]表示第i个切片的第j个增强层大小，bitrate[j]表示第j个 增强层的平均码率，bitrate[q]表示第q个增强层(基本层表示为0)的平均码率。
[0054]
s3，利用所述参考缓冲区历史信息和当前切片的下载情况，预测当前时间槽 处的增强层切片大小。
[0055]
本步骤中，当前时间槽的某增强层切片大小预测，根据预测参考信息的不同 可以分成四种：
[0056]
预测方式1：只参考当前时间槽的基本层大小，该预测方法使用已经获取到 的基本层大小，按照mpd文件中各层的评价码率进行放大，得到所求增强层切 片大小，计算公式为：
[0057][0058]
其中segment[i][j]表示第i个切片的第j个增强层大小，bitrate[j]表示第j个 增强层的平均码率，bitrate[0]表示基本层的平均码率。
[0059]
预测方式2：只参考当前时间槽的基本层大小，该预测方法使用已经获取到 的所有层大小，按照mpd文件中各层的评价码率进行放大，得到所求增强层切 片大小，计算公式为：
[0060][0061]
其中segment[i][j]表示第i个切片的第j个增强层大小，bitrate[j]表示第j个 增强层的平均码率，bitrate[q]表示第q个增强层(基本层表示为0)的平均码率。
[0062]
预测方式3：参考之前所有时间槽的基本层大小，该预测方法使用已经获取 到的所有时间槽的基本层大小和要计算的增强层大小，建立二者之间的线性回归 关系，并将当前时间槽的基本层大小带入回归方程中，得到所求增强层切片大小， 计算公式为：
[0063]
segment[i][j]＝a
i,j
*segment[i][0] b
i,j
[0064]
其中segment[i][j]表示第i个切片的第j个增强层大小，a
i,j
和b
i,j
是线性回归 系数
[0065][0066][0067]
其中b代表参考缓冲区历史信息的基本层切片大小向量，e代表参考缓冲区 历史信息的增强层层切片大小向量，a和b是线性回归系数。
[0068]
预测方式4：参考之前所有时间槽的基本层大小，该预测方法使用已经获取 到的所有时间槽的要计算的增强层大小和该增强层之前所有层的切片大小之和， 建立二者之间的线性回归关系，并将当前时间槽的基本层大小带入回归方程中， 得到所求增强层切片大小，计算公式为：
[0069][0070][0071][0072]
其中segment[i][j]表示第i个切片的第j个增强层大小，b代表参考缓冲区历 史信息的所有底层层切片大小之和向量，e代表参考缓冲区历史信息的增强层层 切片大小向量，a和b是线性回归系数。
[0073]
预测方式一和预测方式二由于只参考当前时间槽的信息，因此可以更及时的 计算出要求的增强层大小，但是这样缺乏对于历史信息的参考。其中预测方式二 由于参考了要求增强层之前所有的更低层，因此计算量大，但预测更准确。
[0074]
预测方式三和预测方式四建立的是参考层与预测层的线性回归关系，参考了 更多的历史信息，因此预测更加准确，但是计算量相比于预测方式一和预测方式 二提升很多。其中预测方式四由于参考了要求增强层之前所有的更低层，因此计 算量大，但预测更准确。
[0075]
因此对于计算能力较弱的场景，可以选择预测方式一或者预测方式二；如果 对于预测精度有更多要求，可以选择预测方式三和预测方式四。进一步地，由于 预测方式一和预测方式二，以及预测方式三和预测方式四之间的计算复杂度差别 不大，在部分优选实施例中，更推荐分别使用预测方式二和预测方式四。当然， 具体的可以根据实际应用的场合和需求进行选择。本步骤中上述操作，利用了可 分级编码层间相关性来进行自适应码率控制。
[0076]
在上述实施例基础上，基于相同的技术构思，在本发明另一实施例中，提供 一种切片大小预测系统，包括：下载策略模块、参考缓冲区历史信息建立模块和 预测模块，其中：下载策略模块对于前start_num个切片提供优化缓冲区精度、 优化首开延迟两种下载策略，用于在首开延迟和精度缓冲区之间进行权衡；参考 缓冲区历史信息建立模块在下载策略模块的基础上，获取自适应流媒体过程中的 缓冲区信息，对于优化首开延迟策略未下载的增强层切片大小做补齐操作，建立 完整的参考缓冲区历史信息；预测模块利用参考缓冲区历史信息和当前切片的下 载情况，预测当前时间槽处的增强层切片大小。
[0077]
本实施例中各模块的具体技术可以参照切片大小预测方法实施例中对应的 步骤的实现技术，在此不再赘述。
[0078]
在本发明另一实施例中，提供一种自适应码率控制方法，包括：
[0079]
s100，采用切片大小预测模块结合构建的参考缓冲区历史信息，预测当前时 间槽位置的某增强层切片大小，得到预测值；其中，切片大小预测模块采用以下 切片大小预测方法：
[0080]
s1，对于前start_num个切片提供两种下载策略，在首开延迟和精准缓冲区 之间进行权衡；
[0081]
s2，获取自适应流媒体过程中的缓冲区信息，对于未下载的增强层切片大小 做补齐操作，建立完整的参考缓冲区历史信息；
[0082]
s3，利用参考缓冲区历史信息和当前切片的下载情况，预测当前时间槽处的 增强层切片大小。
[0083]
s200，采用自适应码率模块，对预测值交进行决策处理。
[0084]
基于相同的技术构思，在本发明另一实施例中，提供一种利用可分级编码层 间相关性的自适应码率控制系统，包括：切片大小预测模块和自适应码率模块， 其中，切片大小预测模块结合构建的参考缓冲区历史信息，预测当前时间槽位置 的某增强层切片大小，得到预测值；其中，切片大小预测模块采用上述实施例中 的切片大小预测方法；自适应码率模块对切片大小预测模块得到的预测值交进行 决策处理。
[0085]
本实施例中各模块的具体技术可以参照切片大小预测方法实施例中对应的 步骤的实现技术，在此不再赘述。
[0086]
基于相同的技术构思，在本发明另一实施例中，提供一种计算机设备，包括 存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述 实施例的切片
大小预测方法，或，上述实施例的自适应码率控制方法。
[0087]
基于相同的技术构思，在本发明另一实施例中，提供一种计算机可读存储介 质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例的切片 大小预测方法，或，上述实施例的自适应码率控制方法。
[0088]
进一步的，本发明实施例中设计了一个仿真平台去进行实验，并对切片大 小预测准确度提出了一个精准预测区间的概念。其中仿真平台为是在sabre的基 础之上，修改拓展为符合可分级编码内容的请求逻辑。精准预测区间定义为：真 实切片大小的0.8倍到1.2倍定义为精准预测区间，也即预测大小落入盖区间可 以认为预测准确。
[0089]
基于上述各实施例，下面提供具体的实验来说明本发明实施例的情况。
[0090]
一、实验配置
[0091]
sabre是一个针对avc
‑
abr场景的仿真工具，其改成了适合svc请求逻辑， 并开发了3种实验床。tb1是只提供svc逻辑的简单版本，tb2和tb3都加入 了大小预测模块，二者的区别在于如何建立初始缓冲区。tb2不改变abr请求 逻辑，所前start_num个切片做正常的质量决策与下载工作，对为下载的el层 做补齐处理。而tb3是选择先完整地下载前start_num个切片地所有层，再去 做abr决策和正常播放。
[0092]
对于基础abr算法，本实验选择了bola(基于缓冲)，throughput(基于带宽) 和dynamic(混合)三种。
[0093]
图2展示了进行仿真使用地网络trace的波形图，它们是带有持续波动的方 波，平均带宽是5182kbps，rtt是20ms。
[0094]
测试视频本实验选择了big buck bunny(bbb),tears of steel(tos)和 elephants dream(ed)来进行分析，每一个视频都有5层，并且以2秒为单位进行 了切片处理。
[0095]
系统质量评价指标本实验选择平均码率，平均增强层个数，平均码率切换和 平均缓冲次数。同时选择落入精准预测区间的概率来评价预测准确度。
[0096]
二、结果评估
[0097]
在本实验的测试配置下，图展示了3种测试床，3个基础abr算法，4种切 片大小预测方法，5条网路轨迹下的平均测试结果。
[0098]
图3给出了具体结果数值，图4给出了预测模块预测准确度概率分布图。
[0099]
经过对比发现，本发明上述实施例在平均比特率，平均增强层个数，平均码 率切换，平均缓冲次数以及预测准确度等指标方面，相比其他技术都有明显的改 善。
[0100]
需要说明的是，本发明提供的所述方法中的步骤，可以利用所述系统中对应 的模块、装置、单元等予以实现，本领域技术人员可以参照所述系统的技术方案 实现所述方法的步骤流程，即，所述系统中的实施例可理解为实现所述方法的优 选例，在此不予赘述。
[0101]
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的 系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提 供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及 嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装 置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以 视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方 法的软件模块又可以是硬件部件内的结构。
[0102]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于 上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修 改，这并不影响本发明的实质内容。