一种基于分区率失真建模的360度流媒体传输方法

1.本发明涉及流媒体传输技术领域，更具体的说是涉及一种基于分区率失真建模的360度流媒体传输方法。


背景技术：

2.360度流媒体传输的数据量是普通流媒体的数倍，因此此类视频的传输可能会遇到带宽瓶颈。改进360度流媒体传输方案以提高传输效率是当前的一项关键任务，是视频编码与传输中至关重要的一环。为了实现高效的360度流媒体传输技术，近年来一些学者提出了基于视频分片的流媒体传输方法。该类方法通过强调感知用户的视野域(fov)变化，能够显着降低流媒体传输码率并保持用户视野域的体验质量。
3.由于可视范围和vr设备的限制，vr用户只能观察到名为fov的局部区域，每帧最大约110度
×
110度。针对这一特点，提出动态自适应360度流媒体传输方案，以保持fov区域的高质量，减少fov区域外的数据量，克服传输瓶颈。这种流媒体方案是一种将视频分成多个片段(在时间域中)并在分片中(在空间域中)传输的机制。视频片段被编码为具有固定播放持续时间的多个视频质量级别。视频块的传输是动态决定的，以避免用户qoe降级并减少网络带宽使用。为了最大限度地减少传输延迟并利用网络带宽，采用fov感知的边缘缓存算法、基于群聚的传输方案、基于用户请求模型的qoe感知的360度流流媒体传输方法都在一定程度上提高了传输效率。尽管上述算法实现了一些qoe收益，但仍有一些挑战需要克服。首先，需要预测划分每一帧的视点、边缘和未观看区域。但是随着预测时间的增加，fov预测的准确度会下降，这是播放流畅度和预测准确度之间不可调和的矛盾。一旦预测不正确，用户将出现低质量的播放体验或播放卡顿问题，从而导致qoe损失。如何平衡这一固有问题对于提高传输效率至关重要。其次，不同地区的率失真模型不同。如何在一帧中建模和更新参数对于避免不正确的质量期望很重要，这将进一步影响码率选择决策。常用的视频质量预测设计可能会导致意外的码率波动并导致qoe损失。如果没有参数更新策略，码率控制算法可能很容易部署，但在实际网络环境下，它们可能会导致意想不到的质量波动。最后，大多数最先进的方法都没有考虑用户的异构性，这使得它们无法有效地调度fov区域的流媒体，或者它们很难应用于具有海量用户的流媒体传输场景。
4.因此，如何提供一种基于分区率失真建模的360度流媒体传输方法，是本领域技术人员亟需解决的问题。


技术实现要素：

5.有鉴于此，本发明提供了一种基于分区率失真建模的360度流媒体传输方法，提高了流媒体的传输性能，实现了传输过程中流媒体分片的码率分配以及率失真模型参数的更新，提高了传输准确性。
6.为了实现上述目的，本发明采用如下技术方案：
7.一种基于分区率失真建模的360度流媒体传输方法，步骤包括，
8.获取视频段，并将所述视频段分割成多个视频分片；
9.将所述多个视频分片输入至预先构建的率失真模型中，并计算所述多个视频分片的估计失真；
10.根据所述多个视频切片的估计失真，计算出最优码率分配策略，并根据所述最优码率分配方案对所述多个视频分片进行视频码率分配；
11.计算码率分配后的视频分片的真实失真；
12.根据所述估计失真和所述真实失真对所述率失真模型进行参数更新。
13.进一步的，所述率失真模型为：
14.d(br)＝da
·
br-db
；
15.其中，d(br)为视频分片失真，da与db均为与视频内容相关的模型参数，br表示视频段码率。
16.进一步的，根据所述多个视频切片的估计失真，决策提取出最优码率分配方案包括，
17.根据所述率失真模型，构建视频分配在lambda-域的失真函数：
[0018][0019]
根据lambda-域失真情况，构建自适应码率分配模型；
[0020]
所述自适应码率分配模型为：
[0021][0022]
其中，和表示第1-n
sm
片率失真模型；为视频段片数；λi表示第i片视频段；d(λi)表示第i片视频段在lambda域的失真；cap
sm
表示当前估计的可用网络带宽；
[0023]
计算所述自适应码率分配模型的最优解，得到最优的码率分配策略。
[0024]
进一步的，并根据所述最优码率分配方案对所述多个视频分片进行视频码率分配包括：
[0025]
构建拉格朗日代价函数，
[0026][0027]
其中，μ表示拉格朗日乘数子，以λi和μ作为拉格朗日乘数，得到拉格朗日函数：
[0028]
[0029]
求解得到码率分配集：
[0030][0031]
其中，
[0032]
进一步的，根据所述视频码率分配控制结果对所述率失真模型进行更新包括，
[0033]
根据率失真模型的模型参数计算估计失真；
[0034]
根据码率分配后的模型参数计算真实失真；
[0035]
根据所述估计失真和所述真实失真，计算平方误差：
[0036]
e2＝(lnd
r-lnd
p
)2；
[0037]
根据所述平方误差，得到更新后的模型参数：
[0038][0039][0040]
其中，dr为真实失真；d
p
为估计失真；da
′
old
为更新前的模型参数；λ
p
表示在lambda域的估计失真；λr表示在lambda域的真实失真；δ
da
和δ
db
为更新加权参数，δ
da
＝0.1，δ
db
＝0.05；
[0041]
进一步的，所述生成多片视频段包括，
[0042]
对于单用户，采用截断线性预测方法生成视频段；
[0043]
对于跨用户，采用显着图预测方法来生成视频段；
[0044]
进一步的，在将所述视频段分割成多个视频分片后还包括，
[0045]
将所述多个视频分片划分为视点区域和边缘区域；
[0046]
所述视点区域包括预测为完全观看的分片；所述边缘区域包括预测会被部分查看的分片。
[0047]
进一步的，所述根据所述视频段在lambda域的失真结果进行视频码率分配还包括，
[0048]
不同的分片将根据它们所属的区域分配到不同的码率；视点区域中的分片级码率将被分配为r
vp
。边缘区域中的分片级码率将被分配为较低的码率rm。
[0049]
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于分区率失真模型的360度流媒体传输方法，首先，提出了一种新的率失真模型来提高传输性能。其次，提出了一种全局优化的自适应码率传输控制算法，使用率失真模型和视点图来调整传输段中每个分片的码率。最后，提出了一种对区域变化具有鲁棒性的率失真模型参数更新策略，以进一步减少传输错误。
附图说明
[0050]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0051]
图1附图为本发明提供一种基于分区率失真建模的360度流媒体传输方法示意图；
[0052]
图2附图为流媒体传输流程示意图。
具体实施方式
[0053]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0054]
本发明实施例公开了一种基于分区率失真建模的360度流媒体传输方法，其特征在于，步骤包括，
[0055]
获取视频段，并将视频段分割成多个视频分片；
[0056]
将多个视频分片输入至预先构建的率失真模型中，并计算多个视频分片的估计失真；
[0057]
根据多个视频切片的估计失真，计算出最优码率分配策略，并根据最优码率分配方案对多个视频分片进行视频码率分配；
[0058]
计算码率分配后的视频分片的真实失真；
[0059]
根据估计失真和真实失真对率失真模型进行参数更新。
[0060]
下面，结合图2对本发明进一步说明：
[0061]
首先，获取用户的视频画面的播放状态和视点的轨迹，对视点轨迹进行预测，生成预测的fov图，即视频段，每个fov图可以分割成多个视频分片；
[0062]
为了降低决策时间成本，本发明提出了一种低复杂度和低时间消耗的fov预测方法来生成fov图，预测范围小于50毫秒，具体包括：对于单用户，采用截断线性预测方法生成单用户的视频段预测结果；对于跨用户，采用显着图预测方法来生成跨用户的视频段预测结果；最后，可以通过以下等式将两种用户端的预测结果进行合成生成最终的视频段：
[0063]
fov
′
i 1
＝θsufov
′
i 1
(1-θ)smfov
′
i 1
；
[0064]
其中，sufov
′
i 1
和smfov
′
i 1
分别代表每帧的单用户和跨用户的视频段预测结果；θ表示为预测结果的选取权重参数；
[0065]
然后，根据预测结果进行区域的划分。生成fov图后，fov图中的视频分片可以被分配到三个区域：视点区域包括预测为完全观看的分片；边缘区域包括预测会被部分查看的分片；未查看区域包括用户不会查看的分片，位于fov区域之外。
[0066]
根据率失真模型，对fov图进行全局码率分配，不同的分片将根据它们所属的区域分配到不同的码率。视点区域中的分片级码率将被分配为r
vp
。边缘区域中的分片级码率将被分配为较低的码率rm。
[0067]
在另一实施例中，率失真模型为：
[0068]
d(br)＝da
·
br-db
；
[0069]
其中，d(br)为视频段失真；br表示视频段码率；da与db分别表示与视频内容相关的模型参数，其获得方式是当编码完成后，视频段失真d(br)通过原视频与编码后的视频求差值得到，通过d(br)以及br，可以得到能够拟合两者关系的参数da与db。
[0070]
在另一实施例中，根据所述多个视频切片的估计失真，决策提取出最优码率分配方案包括，
[0071]
根据所述率失真模型，构建视频分配在lambda-域的失真函数：
[0072][0073]
根据lambda-域失真情况，构建自适应码率分配模型；
[0074]
所述自适应码率分配模型为：
[0075][0076]
其中，和表示第1、2和n
sm
个视频切片在lambda域的失真函数；n
sm
为视频分片总数；λi表示第i个视频分片；d(λi)表示第i个视频分片在lambda域的失真；cap
sm
表示当前估计的可用网络带宽，其取值为上一个视频段的下载时间与码率的乘机；
[0077]
计算所述自适应码率分配模型的最优解，得到最优的码率分配策略。
[0078]
在本实施例中，具体步骤包括：
[0079]
构造拉格朗日代价函数：
[0080][0081]
其中，μ表示拉格朗日乘数子，函数的最优解可以通过求解求解karush-kuhn-tucker(kkt)条件来获得。让λ和μ作为拉格朗日乘数；构建拉格朗日函数：
[0082][0083]
令
[0084]
则
[0085]
由于br
i*
属于不同的区域，通过所有属于视点区域片的码率br
i*
相加得到码率r
vp
，通过所有属于边缘区域片的码率br
i*
相加得到码率rm；
[0086]
服务器端接收来自客户端的段请求后，对码率分配好的视频分片进行编码与封包，同时对率失真模型的模型参数进行更新。
[0087]
在另一实施例中，由于在传输过程之前很难依靠视频内容来获得模型参数，因此本发明使用更新策略来估计最佳参数。假设当前待编码帧为i，本发明旨在根据第i-1帧的编码统计来估计参数：
[0088]
根据视频码率分配控制结果对率失真模型进行更新包括，
[0089]
根据率失真模型的模型参数计算估计失真；
[0090]
根据码率分配后的模型参数计算真实失真；
[0091]
根据估计失真和真实失真，计算同位分片平方误差：
[0092]
e2＝(lnd
r-lnd
p
)2；
[0093]
上述方程可以通过自适应最小均方(lms)方法求解：
[0094][0095][0096]
根据同位分片平方误差，得到更新后的模型参数：
[0097][0098][0099]
其中，dr为真实失真；d
p
为估计失真；da
′
old
为更新前的模型参数；λ
p
表示在lambda域的估计失真；λr表示在lambda域的真实失真，δ
da
和δ
db
为更新加权参数，δ
da
＝0.1，δ
db
＝0.05。
[0100]
在另一实施例中，本发明可以用于诸如高清电视、移动终端或个人计算设备(例如，平板电脑、笔记本电脑和台式机)、信息亭、打印机、数码相机、扫描仪或复印机或具有内置或外围电子显示器的用户终端。该用户终端至少包括用于执行算法的机器指令；其中，机器指令可以使用通用或专用计算设备、计算机处理器或电子电路来执行，包括但不限于专用集成电路、现场可编程门阵列和其他可编程逻辑器件。
[0101]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0102]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的
一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。