视频处理方法和装置、电子设备、存储介质与流程

1.本技术涉及媒体信息处理领域，尤其涉及一种视频处理方法和装置、电子设备、存储介质。


背景技术：

2.随着互联网的普及和多媒体技术的发展，流式传输技术及流媒体在视频点播、远程教育、视频会议、网络直播、网上新闻发布、网络广告等方面的应用空前广泛。流媒体指在网络中使用流式传输技术的连续时基媒体，如：音频、视频或多媒体文件，它在播放前并不下载整个文件，只将开始部分内容存入内存，其他的数据流随时传送随时播放。与传统的单纯的下载相比较，流媒体具有明显的优点：(1)由于不需要将全部数据下载，因此等待时间可以大大缩短；(2)由于流文件往往小于原始文件的数据量，并且用户也不需要将全部流文件下载到硬盘，从而节省了大量的磁盘空间；(3)由于采用了rstp(rapid spanning tree protocol，即快速生成树协议)等实时传输协议，更加适合动画、视音频在网上的实时传输。
3.目前，在流媒体的播放过程中，如果出现网络抖动导致服务端数据堆积，服务端会丢数据，服务端丢帧的时候要么同时丢弃音频帧和视频帧，要么只丢视频帧，由于用户端获得的数据质量较差，导致用户播放视频画面跳变，不连续，有时只听见声音，但是画面卡顿，影响播放质量，严重影响用户体验。
4.针对相关技术中服务端数据堆积时丢帧造成画面跳变的问题，目前尚未提出有效的解决方案。


技术实现要素：

5.本技术提供了一种视频处理方法和装置、电子设备、存储介质，以至少解决相关技术中服务端数据堆积时丢帧造成画面跳变的技术问题。
6.根据本技术实施例的一个方面，提供了一种视频处理方法，包括：获取第一gop，其中，第一gop为视频终端所请求的目标视频中待播放片段的原始画面组gop；丢弃第一gop中的部分视频帧，得到第二gop；按照第一gop的播放时长调整第二gop中视频帧的时间戳，以使调整后的第二gop的播放时长与第一gop的播放时长相同；将第二gop发送给视频终端。
7.根据本技术实施例的另一方面，还提供了一种视频处理装置，包括：获取模块，用于获取第一gop，其中，第一gop为视频终端所请求的目标视频中待播放片段的原始画面组gop；丢弃模块，用于丢弃第一gop中的部分视频帧，得到第二gop；调整模块，用于按照第一gop的播放时长调整第二gop中视频帧的时间戳，以使调整后的第二gop的播放时长与第一gop的播放时长相同；发送模块，用于将第二gop发送给视频终端。
8.根据本技术实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的方法。
9.根据本技术实施例的另一方面，还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器通过计算机程序执行上述的方
法。
10.根据本技术的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方法中任一实施例的步骤。
11.在本技术实施例中，采用获取第一gop，第一gop为视频终端所请求的目标视频中待播放片段的原始画面组gop；丢弃第一gop中的部分视频帧，得到第二gop；按照第一gop的播放时长调整第二gop中视频帧的时间戳，以使调整后的第二gop的播放时长与第一gop的播放时长相同；将第二gop发送给视频终端的方式，通过对丢弃部分视频帧后的gop进行处理，将gop中剩余视频帧的时间戳分布在丢帧之前的播放时长内，达到了使丢帧后的视频画面连续的目的，进而解决了相关技术中服务端数据堆积时丢帧造成画面跳变的技术问题，从而实现了提升用户体验的技术效果。
附图说明
12.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
13.图1是根据本技术实施例的视频处理方法的硬件环境的示意图；
14.图2是根据本技术实施例的一种可选的视频处理方法的流程图；
15.图3是根据本技术实施例的视频处理前一个gop的示意图；
16.图4是根据本技术实施例的视频处理后一个gop的示意图；
17.图5是根据本技术实施例的一种可选的视频处理装置的示意图；以及，
18.图6是根据本技术实施例的一种终端的结构框图。
具体实施方式
19.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
20.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
21.首先，在对本技术实施例进行描述的过程中出现的部分名词或者术语适用于如下解释：
22.gop：gop(group of picture)图像组，在视频编码中图像以gop图像组为单位进行
组织，一个gop是一段图像编码后的数据流，以关键帧(i帧)开始，到下一个关键帧结束，里面包含了音频帧，视频帧，其中音视频帧的时间戳都是单调递增的。
23.i帧：i帧(intra coded frames)，i帧图像采用帧内编码方式，即只利用了单帧图像内的空间相关性，而没有利用时间相关性。i帧使用帧内压缩，不使用运动补偿，由于i帧不依赖其它帧，所以是随机存取的入点，同时是解码的基准帧。i帧主要用于接收机的初始化和信道的获取，以及节目的切换和插入，i帧图像的压缩倍数相对较低。i帧图像是周期性出现在图像序列中的，出现频率可由编码器选择。
24.p帧：p帧(predicted frames)，前向预测帧，p帧采用帧间编码方式，即同时利用了空间和时间上的相关性。p帧图像只采用前向时间预测，可以提高压缩效率和图像质量。p帧图像中可以包含帧内编码的部分，即p帧中的每一个宏块可以是前向预测，也可以是帧内编码。
25.b帧：b帧(bi-directional predicted frames)双向预测内插编码帧，利用视频序列两个时间方向上的相关性进行压缩，b帧以前面的i或p帧和后面的p帧为参考帧，由于b帧的编解码顺序打乱了视频图像的自然顺序，因此b帧不用作参考帧。
26.时间戳：dts(decoding time stamp)，解码时间戳，播放器根据每一帧的dst确定解码这一帧的数据的时间。
27.根据本技术实施例的一方面，提供了一种视频处理的方法实施例。
28.可选地，在本实施例中，上述视频处理方法可以应用于如图1所示的由视频终端101(后文简称终端)和服务器103所构成的硬件环境中。如图1所示，服务器103通过网络与终端101进行连接，可用于为终端或终端上安装的客户端提供视频处理服务，可在服务器上或独立于服务器设置数据库105，用于为服务器103提供数据存储服务，上述网络包括但不限于：广域网、城域网或局域网，终端101并不限定于pc、手机、平板电脑等。
29.本技术实施例的视频处理方法可以由服务器103来执行，也可以由服务器103和终端101共同执行。后续以在服务器上执行本技术实施例的一种视频处理方法为例进行说明。
30.图2是根据本技术实施例的一种可选的视频处理方法的流程图，如图2所示，该方法可以包括以下步骤：
31.步骤s202，服务器获取第一gop，第一gop为视频终端所请求的目标视频中待播放片段的原始画面组gop。
32.上述视频终端上安装有包括但不限于提供视频点播、视频会议、网络直播等服务的客户端(或者应用)；上述目标视频中待播放片段是由于网络问题产生的堆积数据，包含多个gop，所述视频处理方法用于对其中的每个gop进行相似的处理。
33.步骤s204，服务器丢弃第一gop中的部分视频帧，得到第二gop。
34.步骤s206，服务器按照第一gop的播放时长调整第二gop中视频帧的时间戳，以使调整后的第二gop的播放时长与第一gop的播放时长相同。
35.上述播放时长是指一个gop中第一帧的时间戳与最后一帧的时间戳之间的时长。
36.步骤s208，服务器将第二gop发送给视频终端。
37.例如，用户在视频终端上观看网络直播时，出现网络抖动导致数据堆积，服务器采用上述视频处理方法对堆积数据中的每个gop进行处理，将处理后的gop发送给视频终端，使用户在观看时画面连续，不会出现卡顿、跳变、黑屏。
38.通过上述步骤s202至步骤s208，通过对丢弃部分视频帧后的gop进行处理，将gop中剩余视频帧的时间戳分布在丢帧之前的播放时长内，达到了使丢帧后的视频画面连续的目的，进而解决了相关技术中服务端数据堆积时丢帧造成画面跳变的技术问题，从而实现了提升用户体验的技术效果。
39.在步骤s202提供的技术方案中，服务器获取第一gop，第一gop为视频终端所请求的目标视频中待播放片段的原始画面组gop。
40.在步骤s204提供的技术方案中，服务器丢弃第一gop中的部分视频帧，得到第二gop。
41.可选地，服务器从第一gop的所有视频帧中提取预测帧，其中，预测帧是参考其它帧生成的且只包含差异部分编码的视频帧；服务器丢弃第一gop中的部分预测帧，得到第二gop。
42.例如，gop中的视频帧包含i帧、b帧、p帧，由于i帧是关键帧，是随机存取的入点，同时是解码的基准帧，所以不丢弃i帧，而是从gop的所有视频帧中提取预测帧，预测帧包括b帧和p帧，将gop中的部分b帧或部分p帧丢弃，得到第二gop。丢弃部分预测帧的方式包括但不局限于如下几种：
43.(1)只丢弃b帧：由于b帧需要参考i帧或p帧解码，b帧不能作为参考帧，当丢弃的视频帧是b帧时，可以选择丢弃任意一个或多个b帧。
44.(2)丢弃包含最后一个p帧的连续的多个p帧：由于p帧是前向预测帧，表示跟前一参考帧的差别，解码时需要参考前一帧，如果丢弃前面的参考帧会导致后面的p帧无法解码、出现花屏，因此，当丢弃的部分视频帧为p帧时，可以丢弃包含最后一个p帧的连续的多个p帧。
45.(3)按照某种规则均匀的丢弃帧：例如，每间隔两帧，丢弃一帧，采用这种方式，可以均匀地丢弃视频帧，确保画面均匀变化，使用户在观看时难以感知到进行丢帧处理后的变化，但这种方式可能会丢弃部分参考帧，使需要参考丢弃的参考帧解码的预测帧无法解码，因此需要对丢弃的参考帧进行额外的处理，将丢弃的参考帧中的数据恢复或叠加到与之相邻的视频帧中，如，丢弃了p2帧之前的p1帧，p1帧是p2帧的参考帧，则将p1帧中的数据恢复到p2帧中，以确保p2帧正常解码。
46.作为一种优选的实施例，服务器丢弃第一gop中的多个连续的p帧，得到第二gop，其中，多个连续的p帧包括第一gop中的最后一个p帧。采用这种丢弃p帧的方式，无需恢复丢弃的p帧中的数据，不会增加服务器的工作负荷。
47.例如，可以将一个gop中最后1/3的p帧丢弃，也可以将一个gop中最后10个p帧丢弃，丢弃数量可自行配置。
48.在步骤s206提供的技术方案中，服务器按照第一gop的播放时长调整第二gop中视频帧的时间戳，以使调整后的第二gop的播放时长与第一gop的播放时长相同。
49.可选地，服务器利用第一gop的首帧视频帧的时间戳和尾帧视频帧的时间戳，确定第一gop的播放时长；按照如下公式确定目标时间间隔：tm＝l/(n-1)，其中，tm表示目标时间间隔，l表示第一gop的播放时长，n表示第二gop中视频帧的数量。
50.例如，第一gop的播放时长为600毫秒，第二gop中视频帧的数量为21个，则目标时间间隔为tm＝600/(21-1)＝30毫秒。
51.可选地，服务器按照如下公式将第二gop中第i个视频帧的时间戳调整为ti：ti＝(i-1)*tm t1，其中，t1表示调整前的第二gop中首帧视频帧的时间戳，tm表示目标时间间隔。
52.例如，调整前的第二gop中首帧视频帧的时间戳为t1,目标时间间隔为tm，则第2个视频帧的时间戳t2＝(2-1)*tm t1。
53.可选地，在按照第一gop的播放时长调整第二gop中视频帧的时间戳之后，在第一gop中存在音频帧的情况下，服务器按照如下方式将第一gop中的每帧音频帧按照时间戳插入第二gop：从第一gop中获取目标音频帧，其中，目标音频帧为第一gop中时间戳最早的音频帧或时间戳位于前一次获取的音频帧之后的音频帧；在第二gop中查找时间戳与目标音频帧的时间戳最接近的目标视频帧；在目标音频帧的时间戳早于目标视频帧的时间戳的情况下，将目标音频帧插入到目标视频帧之前；在目标音频帧的时间戳晚于目标视频帧的时间戳的情况下，将目标音频帧插入到目标视频帧之后。
54.例如，第一音频帧是gop中的第一个音频帧，当第一音频帧的时间戳为t3，第一视频帧的时间戳为t5，t3《t5时,服务器将第一视频帧插入到第一视频帧之前；第二音频帧是gop中的第二个音频帧，当第二音频帧的时间戳为t4，t4《t5时,服务器将第二音频帧插入到第一视频帧之前、第一音频帧之后。
55.在步骤s208提供的技术方案中，服务器将第二gop发送给视频终端。
56.本方案旨在在网络不好的情况下，服务端出现数据堆积时，丢弃部分视频帧，然后把剩余的视频帧再均匀地分布在本gop内，从而达到减少数据堆积的目的，既能基本不影响用户体验，还能保证播放质量。在相关技术中，直接将视频帧和音频帧一起丢弃会导致视频跳变，影响用户体验，直接丢弃视频帧则会导致有声音没有画面的黑屏现象，本方案将剩余的视频帧均匀分布在原本的播放时间内，既保留了音频帧避免出现视频跳变，又能够避免gop内的音频还在播放时，视频画面出现黑屏的现象。
57.作为一种可选的实施例，下文结合具体实施方式示意性的描述本技术的技术方案：
58.图3是根据本技术实施例的视频处理前一个gop的示意图，图4是根据本技术实施例的视频处理后一个gop的示意图，i表示i帧，p表示p帧，a表示音频帧(audio)。
59.获取堆积数据，统计一个gop内的视频帧数，gop时长，如图3所示，丢弃一个gop里面最后1/3的p帧(p5，p6和p7)，然后将剩余视频帧修改dts时间戳，根据时间戳大小均匀的分布到本gop中，如图4所示，把剩下的p帧(p1，p2，p3和p4)均匀的分布在整个gop内，gop中的每一帧按时间戳排序。修改视频帧的时间戳只是改变了音频帧和视频帧在gop中的相对位置，如图3和图4所示，调整p1帧的时间戳后，p1帧与第一个i帧之间的时间间隔增加了，时间间隔内包含的a(音频帧)的数量也增加了。
60.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本技术所必须的。
61.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施
例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例所述的方法。
62.根据本技术实施例的另一个方面，还提供了一种用于实施上述视频处理方法的视频处理装置。图5是根据本技术实施例的一种可选的视频处理装置的示意图，如图5所示，该装置可以包括：
63.获取模块52，用于获取第一gop，其中，第一gop为视频终端所请求的目标视频中待播放片段的原始画面组gop；
64.丢弃模块54，用于丢弃第一gop中的部分视频帧，得到第二gop；
65.调整模块56，用于按照第一gop的播放时长调整第二gop中视频帧的时间戳，以使调整后的第二gop的播放时长与第一gop的播放时长相同；
66.发送模块58，用于将第二gop发送给视频终端。
67.需要说明的是，该实施例中的获取模块52可以用于执行本技术实施例中的步骤s202，该实施例中的丢弃模块54可以用于执行本技术实施例中的步骤s204，该实施例中的调整模块56可以用于执行本技术实施例中的步骤s206，该实施例中的发送模块58可以用于执行本技术实施例中的步骤s208。
68.此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现。
69.通过上述模块，可以解决了相关技术中服务端数据堆积时丢帧造成画面跳变的技术问题，进而达到提升用户体验的技术效果。
70.可选地，丢弃模块54还包括：提取单元，用于从第一gop的所有视频帧中提取预测帧，其中，预测帧是参考其它帧生成的且只包含差异部分编码的视频帧；丢弃单元，用于丢弃第一gop中的部分预测帧，得到第二gop。
71.作为一种可选的实施例，丢弃单元还用于丢弃第一gop中的多个连续的p帧，得到第二gop，其中，多个连续的p帧包括第一gop中的最后一个p帧。
72.可选地，调整模块56还包括：确定单元，用于根据第一gop的播放时长和第二gop中视频帧的数量确定目标时间间隔；调整单元，用于按照目标时间间隔调整第二gop中视频帧的时间戳，其中，调整后的第二gop中相邻视频帧之间的时间间隔为目标时间间隔，所有视频帧在调整后的第二gop中的排列顺序与调整前的排列顺序相同。
73.作为一种可选的实施例，确定单元还用于：利用第一gop的首帧视频帧的时间戳和尾帧视频帧的时间戳，确定第一gop的播放时长；按照如下公式确定目标时间间隔：tm＝l/(n-1)，其中，tm表示目标时间间隔，l表示第一gop的播放时长，n表示第二gop中视频帧的数量。
74.作为一种可选的实施例，调整单元还用于：按照如下公式将第二gop中第i个视频帧的时间戳调整为ti：ti＝(i-1)*tm t1，其中，t1表示调整前的第二gop中首帧视频帧的时间戳，tm表示目标时间间隔。
75.作为一种可选的实施例，调整单元还用于：在按照第一gop的播放时长调整第二gop中视频帧的时间戳之后，在第一gop中存在音频帧的情况下，按照如下方式将第一gop中的每帧音频帧按照时间戳插入第二gop：从第一gop中获取目标音频帧，其中，目标音频帧为第一gop中时间戳最早的音频帧或时间戳位于前一次获取的音频帧之后的音频帧；在第二gop中查找时间戳与目标音频帧的时间戳最接近的目标视频帧；在目标音频帧的时间戳早于目标视频帧的时间戳的情况下，将目标音频帧插入到目标视频帧之前；在目标音频帧的时间戳晚于目标视频帧的时间戳的情况下，将目标音频帧插入到目标视频帧之后。
76.此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。
77.根据本技术实施例的另一个方面，还提供了一种用于实施上述视频处理方法的服务器或终端。
78.图6是根据本技术实施例的一种终端的结构框图，如图6所示，该终端可以包括：一个或多个(图6中仅示出一个)处理器601、存储器603、以及传输装置605，如图6所示，该终端还可以包括输入输出设备607。
79.其中，存储器603可用于存储软件程序以及模块，如本技术实施例中的视频处理方法和装置对应的程序指令/模块，处理器601通过运行存储在存储器603内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的视频处理方法。存储器603可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器603可进一步包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
80.上述的传输装置605用于经由一个网络接收或者发送数据，还可以用于处理器与存储器之间的数据传输。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置605包括一个网络适配器(network interface controller，nic)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置605为射频(radio frequency，rf)模块，其用于通过无线方式与互联网进行通讯。
81.其中，具体地，存储器603用于存储应用程序。
82.处理器601可以通过传输装置605调用存储器603存储的应用程序，以执行下述步骤：获取第一gop，其中，第一gop为视频终端所请求的目标视频中待播放片段的原始画面组gop；丢弃第一gop中的部分视频帧，得到第二gop；按照第一gop的播放时长调整第二gop中视频帧的时间戳，以使调整后的第二gop的播放时长与第一gop的播放时长相同；将第二gop发送给视频终端。
83.采用本技术实施例，提供了一种视频处理的方案。通过对丢弃部分视频帧后的gop进行处理，将gop中剩余视频帧的时间戳分布在丢帧之前的播放时长内，达到了使丢帧后的视频画面连续的目的，进而解决了相关技术中服务端数据堆积时丢帧造成画面跳变的技术问题，从而实现了提升用户体验的技术效果。
84.可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例
在此不再赘述。
85.本领域普通技术人员可以理解，图6所示的结构仅为示意，终端可以是智能手机(如android手机、ios手机等)、平板电脑、掌上电脑以及移动互联网设备(mobile internet devices，mid)、pad等终端设备。图6其并不对上述电子设备的结构造成限定。例如，终端还可包括比图6中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图6所示不同的配置。
86.本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(read-only memory，rom)、随机存取器(random access memory，ram)、磁盘或光盘等。
87.本技术的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于执行视频处理方法的程序代码。
88.可选地，在本实施例中，上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
89.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：s1，获取第一gop，其中，第一gop为视频终端所请求的目标视频中待播放片段的原始画面组gop；s2，丢弃第一gop中的部分视频帧，得到第二gop；s3，按照第一gop的播放时长调整第二gop中视频帧的时间戳，以使调整后的第二gop的播放时长与第一gop的播放时长相同；s4，将第二gop发送给视频终端。
90.可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
91.可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
92.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
93.上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。
94.在本技术的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
95.在本技术所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
96.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
97.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
98.以上所述仅是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。