一种利用分层技术的流媒体传输质量提升方法与流程

1.本发明涉及互联网技术领域，特别涉及一种利用分层技术的流媒体传输质量提升方法。


背景技术：

2.在互联网时代，近几年来各种机构对流媒体和网络进行了大量的研究，对现有传输策略进行了各种改进，提出了多种对于视频传输中网络流量控制的方法。比如为在网络上实时发布视频数据，提出了多种分层组播策略，这些传输策略大大提高了视频数据传输的效率。但是，现有的分层策略普遍存在着各层之间有这优先级限制不同、灵活性不高的缺点，本发明对以上问题进行了改正，提出了一种利用分层编码传输策略来实现网络流量控制的方法。
3.网络传输的问题
4.现有的网络一般都是异质性网络，即网络由特性不同的子网组成，这些特性包括网络由不同的带宽，不同的qos质量保证，和具体不同的传输时延，这些特性都会对数据的网络传输造成不良影响。所以在网络上传输视频等流媒体数据时，一定要解决网络传输中的三类问题：数据丢失/错误、延迟和传输时延变化也就是网络抖动的问题。


技术实现要素：

5.针对上述背景内容中提出的实质性缺陷和不足，本发明提供一种利用分层技术的流媒体传输质量提升方法，可以解决背景技术中所指出的问题。
6.一种利用分层技术的流媒体传输质量提升方法，结合rtp实时传输协议，利用分层编码传输策略，先分层后编码，将流媒体按照某种标准分配到不同的传输通道传输，客户端根据自身的特点有选择地接收各个通道的数据，分层编码策略包括：质量分层、空间分层、时间分层、频率分层或者这些方式的组合，其中，
7.对分层组播做如下的几点规定：
8.1、所有的组(层)使用同一个组播ip地址，各组之间以rtp端口号区分；
9.2、rtp端口号从小到大，帧率依次增加。并假设客户可以通过其他途径得到最小的端口号；
10.3、由于流媒体内容的改变，编码后的码流流量有可能有所变化，所以流媒体服务器需要及时通过rtcp app流媒体应用程序定义的数据包通知各客户端系统中各层的数据流量；
11.提升流媒体传输质量的方法具体为：
12.客户端加入会话以后，首先加入端口号最小的层中接收流媒体数据，这时客户单得到主观质量最差的视频流；
13.当客户端接收到rtcp app流媒体应用程序定义的数据包的数据报文后，将各层的流量进行组合并排序后，保存在以上数组中；
14.客户端使用上述数组中的组合进行尝试接收数据，直到得到一个合适流量为止。
15.在上述技术方案中，当在接收数据过程中，rtp数据报文丢失率增高时表明，网络上的可用带宽在减少，则客户端尝试通过数据流量低的组合接收数据，直到得到一个合适的流量为止；在顺利接收到流媒体数据一段时间之后，客户端尝试使用流量更高的组合接收数据，并在得到一个合适的流量后为止。
16.本发明提供的一种利用分层技术的流媒体传输质量提升方法，通过巧妙的设计，结合rtp实时传输协议，这种分层策略可以较好地解决网络视频传输中的数据丢失和视频抖动等问题，提升流媒体的传输质量。在网络状况较好的情况下，客户端选择较多的接收数据可以得到质量更高的视频图像，成本较低，便于推广使用。
附图说明
17.图1为本发明一种利用分层技术的流媒体传输质量提升方法的分层方法的结构示意图。
具体实施方式
18.下面对本发明的一个具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
19.rtcp翻译为实时控制协议rtcp协议，英文是real time control protocol，rtcp协议和rtp协议是互相配合共同完成对视频流、音频流的承载工作。rctp app的意思为流媒体应用程序定义的数据包。
20.流媒体应用，无论是采用分布式应用还是采用交互式应用，都是c/s结构的应用(即使b/s结构，一般也是在客户端浏览器中，通过利用相应的组件处理流媒体数据)，所以对流媒体传输质量提升的方法一般分为两类：一类是基于服务器的提升方法，其中基于服务器的流媒体传输质量提升方法，是利用服务器根据客户端接收状况调节编码输出的码率的一种流量调节方法；基于客户端的流媒体传输质量提升方法，是通过客户端选择接收流的方式，用以调控网络上的流媒体数据流量。
21.本发明阐述的是利用多种分层编码技术以及相应的传输控制策略，来实现网络流量的控制。分层技术的策略是指将流媒体按照不同的标准，分配到不同的传输通道传输，而作为客户端，将有选择行地接收各个通道的流媒体数据的一种流量控制策略。分层编码策略有多种实现方法，其中包括：质量分层策略、空间分层策略、时间分层策略、频率分层策略，同时也可以是上述这些方式的自由组合。
22.质量分层策略的技术原理基于提升流媒体质量，从流媒体图像的原始数据出发，从基本层开始进行分层及量化，以越来越精细的量化步长进行量化，从而得到不同质量的几层数据量。接收端通过逐步加入并接收解码这些数据流，可以得到越来越清晰的图像。
23.空间分层策略的技术原理是把原始图像在空间上划分为几部分，然后进行编码传输，基本层解码后可以获得分辨率较低的图像，各增强层解码后可增加现有图像的分辨率。
24.时间分层策略的技术原理从时间的角度出发，在流媒体服务器编码时，按照时间把图像分配到不同的层上，即客户端可以通过逐步加入不同的层，解码得到不同帧率的视频流。实现方法是将编码后的视频流，按照每帧在解码时的重要性分配到不同的层中，客户
端可以通过接收解码不同的层，得到不同质量的视频。
25.时间分层策略的方法应用场景为：对图像质量要求较高，但是对帧率没有过高要求的应用，而其他分层策略方法一般应用于对时间连贯性比较高的应用中。
26.由上述分层方法可以看出，由于增强层的流媒体的解码需要基本层或前一层的码流数据，所以，当基本层或层数比较低的数据流中出现丢帧时，丢帧所造成的解码错误有可能扩散到之后的解码过程中，而且客户端必须按顺序加入各层，带宽调整方面也不是十分灵活，为了解决这些问题，本发明提出了一种为了提升流媒体传输质量的方法，该方法先对流媒体进行分层后再进行编码的时间分层策略，这种策略使传输的各层之间没有非常严格的制约关系，都各自编码解码，使客户端的选择更加灵活。
27.(一)分层原理
28.我们观看的数字视频信息，都是由一串动作连贯的图片做成。之所以图像连贯，是因为图像中动作的运动频率远远低于图像的采样视频，所以相邻的两幅图片之间的差异也就比较小。
29.同时rgb流媒体的视频流，是由一串连续的未压缩的图片依次组成的，帧和帧之间没有依赖关系，一帧数据的显示并不要求其他帧的数据。在rgb视频序列中抽取部分帧之后，视频仍然可以正常播放，只不过帧率有所降低，只要抽取的帧不是太多，对视频主观质量的影响并不严重。
30.根据上述两个条件，如果我们将视频采集设备所采集到的原始rgb视频序列，按照一定的规律，均匀地分成几个视频序列，则各个视频序列都能以不同的视频质量反映原始视频序列所描述的内容，如果我们将这些流媒体的视频序列参照原来的排列顺序，再重新进行排列，则可以得到原来的视频序列，如图1所示。这就是本发明所提出的先分层后编码传输的流量控制策略的思想基础。
31.(二)基于分层技术的提升流媒体传输质量的方法
32.提升流媒体传输质量的方法是指，流媒体的客户端通过选择如何加入和退出各层，从而得到一个最为优化的网络流量。为了方便地对各层进行控制，对分层组播做如下的几点规定：
33.1、所有的组(层)使用同一个组播ip地址，各组之间以rtp端口号区分。
34.2、rtp端口号，按照从小到大的顺序排列，帧率依次增加。并假设客户可以通过其他途径得到最小的端口号。
35.3、由于流媒体内容的改变，编码后的码流流量有可能有所变化，所以流媒体服务器需要及时通过rtcp app数据包通知各客户端系统中各层的数据流量。
36.app数据包中application-dependent data部分的格式如下表所示。
[0037][0038]
(count of layers 32bits：32位整数，表示在会话中的层数；port-1-port-n：16位，表示各层的rtp端口好：flow rate：16位，表示该等每秒发送的字节数。)
[0039]
客户端加入会话以后，首先加入端口号最小的层，并用这个端口号最小的层使之接收流媒体数据，这时客户端得到观看质量最差的流媒体视频。当客户端接收到app rtcp数据报文后，将各层的流量进行重新组合，并排序后，保存在以数组中。客户端使用上述数组中的重新组合的流量，并进行尝试接收数据，直到得到一个观看效果合适流量为止，这里所谓的合适效果的流量是指此流量是该客户端可以接收到的最好质量数据量。
[0040]
当在接收数据过程中，rtp数据报文丢失率增高时说明一种现象，那就是网络上的可用带宽在减少，则客户端通过尝试(一般为3-4次)进行流媒体数据流量低的组合，进行数据的接收，直到得到一个观看效果合适的流量为止。在顺利接收到观看效果合适流媒体数据一段时间之后，客户端通过尝试(一般为3-4次)进行流媒体数据流量更高的组合，进行数据的接收，并在得到一个合适的流量后为止。
[0041]
根据提升流媒体传输质量的先分层后编码传输的设计思想和实现方法，可以分析出，这种流量控制策略有如下特点：实现简单，系统实现过程中不必考虑图像的具体内容，只需处理原始的rgb视频流，而rgb视频流，结构简单，容易对其进行操作；对编码格式没有依赖性，流媒体的传输策略中，只规定了传输的原始数据为rgb格式的流媒体数据流，解码后的流媒体数据流也应该是与原始数据相同的rgb格式的流媒体数据流，而对编码后的流媒体数据流其相应的格式没有做任何要求；适合实时应用，由于在流媒体处理时，主要的操作是对原始的未压缩的rgb数据流进行相应的分层，此策略的运用，适合于获得rgb数据的实时应用场景，比如实时组播或实时点对点传输。
[0042]
本发明还提出了一种利用分层技术的流媒体传输质量提升方法的而定制的一种自适应的流媒体智能传输装置，这种装置包括3个模块，其一是动态链路信息收集模块，该模块具有探针功能，能够收集流媒体传输链路的流媒体传输质量信息，并对数据进行汇总；同时因为传输链路的质量是实时变化的，因此动态信息收集模块对传输链路质量实时更新。其二是分析模块，该模块具备根据所采集的流媒体传输质量信息进行分析的功能，计算出流媒体最优的传输路径。其三是智能路由模块，该模块具有智能路由功能，能根据链路的质量对流媒体进行合理的调度和传输，为流媒体选择最合适的传输路径，有效提升流媒体传输质量。
[0043]
以上公开的仅为本发明的几个具体实施例，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。