一种降低直播延时的方法以及相关设备与流程

1.本发明涉及直播领域，尤其涉及一种降低直播延时的方法以及相关设备。


背景技术：

2.在如今视频越来越广泛作为信息载体的互联网时代，视频直播成为一种新的 娱乐或生活方式，特别是近两年疫情时代，大规模出现的电商直播，对直播延时 提出了近乎实时的低延时要求。传统直播通常基于http-flv协议进行分发，为 了保证首屏延时服务端必须下发的gop，以及对抗网络延时抖动，客户端会设定 固定大小的播放缓冲，这两个因素导致http-flv的直播延时通常在5～10秒左 右。
3.随着谷歌webrtc技术的成熟及推广，越来越多的低延时直播借助于webrtc 来实现。webrtc技术借助于udp传输及动态抖动缓冲技术，将直播延时降低到1 秒左右。然而其协议改造成本高昂，需要在整个cdn分发网络内实现webrtc的 协议改造，webrrtc的强制加密，给服务端和客户端都带来了不小的性能开销。


技术实现要素：

4.本发明实施例提供了一种降低直播延时的方法及相关设备，可以最大限度的 减小目前直播分发链路的改造，同时减低直播的延时。
5.本发明实施例的第一方面提供了一种降低直播延时的方法，该方法包括：
6.从直播所对应的内容分发网络进行拉流，以获取对应的直播数据；
7.对所述直播数据进行解析，以得到所述直播数据所对应的音频信号的音频信 息和视频信号的视频信息；
8.根据所述音频信息和所述视频信息分别计算目标时间窗口内的目标音频信号 所对应的音频抖动时长以及所述目标时间窗口内的视频信号所对应的视频抖动时 长，所述目标时间窗口为所述直播数据所对应的多个时间窗口中的任意一个；
9.根据所述音频抖动时长以及所述视频抖动时长确定所述直播数据在所述目标 时间窗口内的目标延时；
10.根据所述目标延时以及当前缓存时长对所述目标音频信号进行调速处理，所 述当前缓存时长为逐渐逼近所述目标延时的递进变量；
11.根据所述目标延时以及所述当前缓存时长修改所述目标视频信号的播放时间 戳；
12.将调速处理后的所述音频信号以及时间戳修改后的所述视频信号进行封装；
13.基于封装后的所述音频信号和所述视频信号进行播放。
14.本发明第二方面提供了一种降低直播延时的装置，包括：
15.获取单元，用于从直播所对应的内容分发网络进行拉流，以获取对应的直播 数据；
16.解析单元，用于对所述直播数据进行解析，以得到所述直播数据所对应的音 频信
号的音频信息和视频信号的视频信息；
17.计算单元，用于根据所述音频信息和所述视频信息分别计算目标时间窗口内 的目标音频信号所对应的音频抖动时长以及所述目标时间窗口内的视频信号所对 应的视频抖动时长，所述目标时间窗口为所述直播数据所对应的多个时间窗口中 的任意一个；
18.确定单元，用于根据所述音频抖动时长以及所述视频抖动时长确定所述直播 数据在所述目标时间窗口内的目标延时；
19.调速单元，用于根据所述目标延时以及当前缓存时长对所述目标音频信号进 行调速处理，所述当前缓存时长为逐渐逼近所述目标延时的递进变量；
20.修改单元，用于根据所述目标延时以及所述当前缓存时长修改所述目标视频 信号的播放时间戳；
21.封装单元，用于将调速处理后的所述音频信号以及时间戳修改后的所述视频 信号进行封装；
22.播放单元，用于基于封装后的所述音频信号和所述视频信号进行播放。
23.一种可能的设计中，所述调速单元具体用于：
24.判断所述目标延时与所述当前缓存时长的差值是否处于预设阈值内；
25.若所述差值处于所述预设阈值内，则对所述目标音频信号不进行调速处理；
26.若所述差值大于所述预设阈值，则对所述目标音频信号进行慢速处理；
27.若所述差值小于所述预设阈值，则对所述目标音频信号进行加速处理。
28.一种可能的设计中，所述修改单元具体用于：
29.根据所述目标时间窗口所对应的发送时间戳以及所述目标延时确定理想到达 时刻；
30.根据所述理想到达时刻以及所述当前缓存时长确定目标视频播放时间戳；
31.将所述目标视频信号的视频播放时间戳调整为所述目标视频播放时间戳。
32.一种可能的设计中，所述计算单元具体用于：
33.确定所述目标时间窗口内首帧音频所对应的第一发送时刻和第一接收时刻；
34.确定所述目标时间窗口内末帧音频所对应的第二发送时刻和第二接收时刻；
35.根据所述第一发送时刻、所述第一接收时刻、所述第二发送时刻和所述第二 接收时刻确定所述音频抖动时长；
36.确定所述目标时间窗口内首帧视频所对应的第三发送时刻和第三接收时刻；
37.确定所述目标时间窗口内末帧视频所对应的第四发送时刻和第四接收时刻；
38.根据所述第三发送时刻、所述第三接收时刻、所述第四发送时刻和所述第四 接收时刻确定所述视频抖动时长。
39.一种可能的设计中，所述计算单元根据所述第一发送时刻、所述第一接收时 刻、所述第二发送时刻和所述第二接收时刻确定所述音频抖动时长包括：
40.确定所述第一发送时刻与所述第二发送时刻之间的发送时间差；
41.确定所述第一接收时刻与所述第二接收时刻之间的接收时间差；
42.将所述接收时间差与所述发送时间差之间的差值确定为所述音频抖动时长。
43.一种可能的设计中，所述确定单元具体用于：
44.对所述音频抖动时长和所述视频抖动时长进行比对，以得到比对结果；
45.若所述比对结果为所述目标音频抖动时长大于所述目标视频抖动时长，则将 所述目标音频抖动时长确定为所述目标延时；
46.若所述比对结果为所述目标音频抖动时长小于所述目标视频抖动时长，则将 所述目标视频抖动时长确定为所述目标延时。
47.一种可能的设计中，所述确定单元还用于：
48.将处理后的所述音频信号缓存至音频缓存模块；
49.将修改时间戳后的所述视频信号缓存至视频缓存模块；
50.所述封装单元具体用于：
51.按照固定时长周期循环的从所述音频缓存模块中提取所述音频信号所对应的 音频脉冲编码调制pcm数据；
52.将当前时刻确定为所述视频信号所对应的播放时刻；
53.基于所述播放时刻以及所述视频播放时间戳从所述视频缓存模块提取所述视 频信号所对应的视频帧；
54.将所述音频pcm数据以及所述视频信号所对应的视频帧按照特定格式进行 封装。
55.本发明实施例第三方面提供了一种电子设备，包括存储器、处理器，所述处 理器用于执行存储器中存储的计算机管理类程序时实现如上述第一方面所述的降 低直播延时的方法的步骤。
56.本发明实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机 管理类程序，所述计算机管理类程序被处理器执行时实现如上述第一方面所述的 降低直播延时的方法的步骤。
57.综上所述，可以看出，本发明提供的实施例中，以时间窗口为时间周期进行 动态监控用户网络抖动，并基于网络抖动对音频和视频进行调整，进而可以实时 调整客户端的直播缓冲，由此可以在最小化改动目标http-flv的分发体系下， 无需改造服务端，在用户大多数时候网络优质的情况下取得低延时的播放体验。
附图说明
58.图1为本发明实施例提供的降低直播延时的方法的流程示意图；
59.图2为本发明实施例提供的降低直播延时的装置的虚拟结构示意图；
60.图3为本发明实施例提供的一种降低直播延时的设备的硬件结构示意图；
61.图4为本发明实施例提供的一种电子设备的实施例示意图；
62.图5为本发明实施例提供的一种计算机可读存储介质的实施例示意图。
具体实施方式
63.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、
ꢀ“
第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先 后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施 例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具 有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤 或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元， 而是可包括没有清楚地列出的或对于这些过
程、方法、产品或设备固有的其它步 骤或单元。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进 行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不 是全部的实施例。
64.深入分析http-flv直播的分发路径，gop初始延时和客户端固定抖动缓冲 是造成目前http-flv高直播延时的主要原因。gop初始延时是保证首屏耗时不 可或缺的必要手段，因此关键在于降低客户端的缓冲时长，同时不降低用户的播 放流畅体验。有鉴于此，本技术实施例提供了一种降低直播延时的方法，可以在 最小化改动目标http-flv的分发体系下，无需改造服务端，便可以通过动态监 测用户网络抖动延时来调整客户端播放缓冲的方法，在用户大多数时候网络优质 的情况下取得低延时的播放体验。
65.下面从降低直播延时的装置的角度对降低直播延时的方法进行说明，该降低 直播延时的装置可以为服务器，也可以为服务器中的服务单元。
66.请参阅图1，图1为本发明实施例提供的降低直播延时的方法的一个实施例 示意图，该降低直播延时的方法包括：
67.101、从直播所对应的内容分发网络进行拉流，以获取对应的直播数据。
68.本实施例中，降低直播延时的装置可以以http-flv协议向直播所对应的内 容分发网络进行拉流，以获取对应的直播数据。http-flv，即将音视频数据封 装成flv格式，然后通过http协议传输给客户端，协议中，每一个音视频数据 都被封装成了包含时间戳信息头的数据包。而当播放器拿到这些数据包解包的时 候能够根据时间戳信息把这些音视频数据和之前到达的音视频数据连续起来播放。 客户端每次请求http-flv直播流，服务器先发送flv header、script tag以及audioconfig tag和video config tag，再发送当前时间点flv音视频数据。拉流是指服务 器已有直播内容，客户端根据协议类型(如http-flv协议)，与服务器建立连 接并接收数据，进行拉取的过程。
69.102、对直播数据进行解析，以得到直播数据所对应的音频信号的音频信息和 视频信号的视频信息。
70.本实施例中，降低直播延时的装置在进行拉流得到直播数据之后，可以对直 播数据进行解析，以得到直播数据所对应的音频信号和视频信号，并记录该音频 信号以及视频信号所对应的标签和接收到的时刻等信息。例如若是http-flv协 议，该直播数据为flv格式，降低直播延时的装置可以对flv格式的直播数据 进行解析，解析除音频标签和视频标签，同时记录接收到音频标签和视频标签的 当前时刻。
71.103、根据音频信息和视频信息计算目标时间窗口内的目标音频信号的音频抖 动时长以及目标时间窗口内的目标视频信号的视频抖动时长。
72.本实施例中，降低直播延时的装置可以根据记录的音频信息计算目标音频信 号的音频抖动时长，并根据记录的视频信息计算目标时间窗口内视频信号的视频 抖动时长。下面进行具体说明：
73.确定目标时间窗口内首帧音频所对应的第一发送时刻和第一接收时刻；
74.确定目标时间窗口内末帧音频所对应的第二发送时刻和第二接收时刻；
75.根据第一发送时刻、第一接收时刻、第二发送时刻和第二接收时刻确定音频 抖动时长；
76.确定目标时间窗口内首帧视频所对应的第三发送时刻和第三接收时刻；
77.确定目标时间窗口内末帧视频所对应的第四发送时刻和第四接收时刻；
78.根据第三发送时刻、第三接收时刻、第四发送时刻和第四接收时刻确定视频 抖动时长。
79.上述已经记录了的音频信息和视频信息中均包括了接收时刻，同时也可以获 取到发送时刻，由此可以确定出目标时间窗口内第一个音频帧所对应的发送时刻 和接收时刻，以及，目标时间窗口内最后一个音频帧所对应的发送时刻和接收时 刻，并根据目标时间窗口内第一个音频帧所对应的发送时刻和接收时刻，以及目 标时间窗口内最后一个音频帧所对应的发送时刻和接收时刻来计算音频抖动时长， 具体的，可以确定第一发送时刻与第二发送时刻之间的发送时间差；确定第一接 收时刻与第二接收时刻之间的接收时间差；并将接收时间差与发送时间差之间的 差值确定为音频抖动时长。
80.可以理解的是，视频抖动时长的计算方式与音频抖动时长的计算方式类似， 上述已经对音频抖动时长的计算方式进行详细说明，具体此处不再赘述。
81.104、根据音频抖动时长以及视频抖动时长确定直播数据在目标时间窗口内的 目标延时。
82.本实施例中，降低直播延时的装置在确定音频抖动时长以及视频抖动时长之 后，可以根据音频抖动时长以及视频抖动时长确定直播数据在所述目标时间窗口 内的目标延时。具体的，可以将音频抖动时长和视频抖动进行比对，得到比对结 果，若比对结果为目标音频抖动时长大于目标视频抖动时长，则将目标音频抖动 时长确定为目标延时；若比对结果为目标音频抖动时长小于目标视频抖动时长， 则将目标视频抖动时长确定为目标延时。
83.105、根据目标延时以及当前缓存时长对目标音频信号进行调速处理。
84.本实施例中，降低直播延时的装置可以根据目标延时以及当前缓存时长对目 标音频信号进行调速处理，其中，该当前缓存时长为逐渐逼近目标延时的递进变 量，具体的，降低直播延时的装置可以判断目标延时与当前缓存时长的差值是否 处于预设阈值内；若差值处于预设阈值内，则对音频信号不进行调速处理；若差 值大于预设阈值，则对音频信号进行慢速处理；若差值小于预设阈值，则对音频 信号进行加速处理。
85.106、根据目标延时以及当前缓存时长修改目标视频信号的播放时间戳。
86.本实施例中，降低直播延时的装置可以根据目标时间窗口所对应的发送时间 戳以及目标延时确定理想到达时刻；并根据理想到达时刻以及当前缓存时长确定 目标视频播放时间戳(也即将目标视频播放时间戳定义为理想达到时刻与当前缓 存时长的和值)；最后，将目标视频信号的视频播放时间戳调整为目标视频播放 时间戳。
87.需要说明的是，通过步骤105可以对目标音频信号进行调速处理，通过步骤106 可以更改目标视频信号的播放时间戳，然而，这两个步骤并没有先后执行顺序的 限制，可以先执行步骤105，也可以先执行步骤106，或者同时执行，具体不做限 定。
88.107、将调速处理后的音频信号以及时间戳修改后的视频信号进行封装。
89.本实施例中，降低直播延时的装置可以将处理后的音频信号缓存至音频缓存 模块；将修改时间戳后的视频信号缓存至视频缓存模块；并按照固定时长(例如10 毫秒)周期循环的从音频缓存模块中提取音频信号所对应的音频脉冲编码调制 pcm数据；并将当前时刻确定为视频信号所对应的播放时刻；基于播放时刻以及 视频播放时间戳从视频缓存模块提取视频信号所对应的视频帧；并将音频pcm数 据以及视频信号所对应的视频帧按照特
定格式进行封装，该特定格式与从直播所 对应的内容分发网络拉流时使用的协议相对应，例如http-flv协议，该特定格 式即为flv格式。
90.108、基于封装后的音频信号和视频信号进行播放。
91.本实施例中，降低直播延时的装置在将音频信号和视频信号进行封装之后， 可以将该音频信号和视频信号发送至播放器，以使得该播放器按照新的播放时间 戳播放音频和视频。
92.综上所述，可以看出，本发明提供的实施例中，以时间窗口为时间周期进行 动态监控用户网络抖动，并基于网络抖动对音频和视频进行调整，进而可以实时 调整客户端的直播缓冲，由此可以在最小化改动目标http-flv的分发体系下， 无需改造服务端，在用户大多数时候网络优质的情况下取得低延时的播放体验。
93.上面从降低直播延时的方法对本发明实施例进行了描述，下面从降低直播延 时的装置对本发明实施例进行描述。
94.请参阅图2，本发明实施例中降低直播延时的装置的虚拟结构示意图，该降 低直播延时的装置200包括：
95.获取单元201，用于从直播所对应的内容分发网络进行拉流，以获取对应的 直播数据；
96.解析单元202，用于对所述直播数据进行解析，以得到所述直播数据所对应 的音频信号的音频信息和视频信号的视频信息；
97.计算单元203，用于根据所述音频信息和所述视频信息分别计算目标时间窗 口内的目标音频信号所对应的音频抖动时长以及所述目标时间窗口内的视频信号 所对应的视频抖动时长，所述目标时间窗口为所述直播数据所对应的多个时间窗 口中的任意一个；
98.确定单元204，用于根据所述音频抖动时长以及所述视频抖动时长确定所述 直播数据在所述目标时间窗口内的目标延时；
99.调速单元205，用于根据所述目标延时以及当前缓存时长对所述目标音频信 号进行调速处理，所述当前缓存时长为逐渐逼近所述目标延时的递进变量；
100.修改单元206，用于根据所述目标延时以及所述当前缓存时长修改所述目标 视频信号的播放时间戳；
101.封装单元207，用于将调速处理后的所述音频信号以及时间戳修改后的所述 视频信号进行封装；
102.播放单元208，用于基于封装后的所述音频信号和所述视频信号进行播放。
103.一种可能的设计中，所述调速单元205具体用于：
104.判断所述目标延时与所述当前缓存时长的差值是否处于预设阈值内；
105.若所述差值处于所述预设阈值内，则对所述目标音频信号不进行调速处理；
106.若所述差值大于所述预设阈值，则对所述目标音频信号进行慢速处理；
107.若所述差值小于所述预设阈值，则对所述目标音频信号进行加速处理。
108.一种可能的设计中，所述修改单元206具体用于：
109.根据所述目标时间窗口所对应的发送时间戳以及所述目标延时确定理想到达 时刻；
110.根据所述理想到达时刻以及所述当前缓存时长确定目标视频播放时间戳；
111.将所述目标视频信号的视频播放时间戳调整为所述目标视频播放时间戳。
112.一种可能的设计中，所述计算单元203具体用于：
113.确定所述目标时间窗口内首帧音频所对应的第一发送时刻和第一接收时刻；
114.确定所述目标时间窗口内末帧音频所对应的第二发送时刻和第二接收时刻；
115.根据所述第一发送时刻、所述第一接收时刻、所述第二发送时刻和所述第二 接收时刻确定所述音频抖动时长；
116.确定所述目标时间窗口内首帧视频所对应的第三发送时刻和第三接收时刻；
117.确定所述目标时间窗口内末帧视频所对应的第四发送时刻和第四接收时刻；
118.根据所述第三发送时刻、所述第三接收时刻、所述第四发送时刻和所述第四 接收时刻确定所述视频抖动时长。
119.一种可能的设计中，所述计算单元203根据所述第一发送时刻、所述第一接 收时刻、所述第二发送时刻和所述第二接收时刻确定所述音频抖动时长包括：
120.确定所述第一发送时刻与所述第二发送时刻之间的发送时间差；
121.确定所述第一接收时刻与所述第二接收时刻之间的接收时间差；
122.将所述接收时间差与所述发送时间差之间的差值确定为所述音频抖动时长。
123.一种可能的设计中，所述确定单元204具体用于：
124.对所述音频抖动时长和所述视频抖动时长进行比对，以得到比对结果；
125.若所述比对结果为所述目标音频抖动时长大于所述目标视频抖动时长，则将 所述目标音频抖动时长确定为所述目标延时；
126.若所述比对结果为所述目标音频抖动时长小于所述目标视频抖动时长，则将 所述目标视频抖动时长确定为所述目标延时。
127.一种可能的设计中，所述确定单元204还用于：
128.将处理后的所述音频信号缓存至音频缓存模块；
129.将修改时间戳后的所述视频信号缓存至视频缓存模块；
130.所述封装单元207具体用于：
131.按照固定时长周期循环的从所述音频缓存模块中提取所述音频信号所对应的 音频脉冲编码调制pcm数据；
132.将当前时刻确定为所述视频信号所对应的播放时刻；
133.基于所述播放时刻以及所述视频播放时间戳从所述视频缓存模块提取所述视 频信号所对应的视频帧；
134.将所述音频pcm数据以及所述视频信号所对应的视频帧按照特定格式进行 封装。
135.上面图2从模块化功能实体的角度对本发明实施例中的降低直播延时的装置 进行了描述，下面从硬件处理的角度对本发明实施例中的降低直播延时的设备进 行详细描述，请参阅图3，本发明实施例中的降低直播延时的设备300的实施例 示意图，该降低直播延时的设备300包括：
136.输入装置301、输出装置302、处理器303和存储器304(其中处理器303的 数量可以一个或多个，图3中以一个处理器303为例)。在本发明的一些实施例 中，输入装置301、输出装置302、处理器303和存储器304可通过通信总线或其 它方式连接，其中，图3中以通信总线连接为例。
137.其中，通过调用存储器304存储的操作指令，处理器303，用于执行如下步 骤：
138.从直播所对应的内容分发网络进行拉流，以获取对应的直播数据；
139.对所述直播数据进行解析，以得到所述直播数据所对应的音频信号的音频信 息和视频信号的视频信息；
140.根据所述音频信息和所述视频信息分别计算目标时间窗口内的目标音频信号 所对应的音频抖动时长以及所述目标时间窗口内的视频信号所对应的视频抖动时 长，所述目标时间窗口为所述直播数据所对应的多个时间窗口中的任意一个；
141.根据所述音频抖动时长以及所述视频抖动时长确定所述直播数据在所述目标 时间窗口内的目标延时；
142.根据所述目标延时以及当前缓存时长对所述目标音频信号进行调速处理，所 述当前缓存时长为逐渐逼近所述目标延时的递进变量；
143.根据所述目标延时以及所述当前缓存时长修改所述目标视频信号的播放时间 戳；
144.将调速处理后的所述音频信号以及时间戳修改后的所述视频信号进行封装；
145.基于封装后的所述音频信号和所述视频信号进行播放。
146.通过调用存储器304存储的操作指令，处理器303，还用于执行图1对应的 实施例中的任一方式。
147.请参阅图4，图4为本发明实施例提供的电子设备的实施例示意图。
148.如图4所示，本发明实施例提供了一种电子设备，包括存储器410、处理器420 及存储在存储器420上并可在处理器420上运行的计算机程序411，处理器420 执行计算机程序411时实现以下步骤：
149.从直播所对应的内容分发网络进行拉流，以获取对应的直播数据；
150.对所述直播数据进行解析，以得到所述直播数据所对应的音频信号的音频信 息和视频信号的视频信息；
151.根据所述音频信息和所述视频信息分别计算目标时间窗口内的目标音频信号 所对应的音频抖动时长以及所述目标时间窗口内的视频信号所对应的视频抖动时 长，所述目标时间窗口为所述直播数据所对应的多个时间窗口中的任意一个；
152.根据所述音频抖动时长以及所述视频抖动时长确定所述直播数据在所述目标 时间窗口内的目标延时；
153.根据所述目标延时以及当前缓存时长对所述目标音频信号进行调速处理，所 述当前缓存时长为逐渐逼近所述目标延时的递进变量；
154.根据所述目标延时以及所述当前缓存时长修改所述目标视频信号的播放时间 戳；
155.将调速处理后的所述音频信号以及时间戳修改后的所述视频信号进行封装；
156.基于封装后的所述音频信号和所述视频信号进行播放。
157.在具体实施过程中，处理器420执行计算机程序411时，可以实现图1对应 的实施例中任一实施方式。
158.由于本实施例所介绍的电子设备为实施本发明实施例中一种锚杆加固效果降 低直播延时的装置所采用的设备，故而基于本发明实施例中所介绍的方法，本领 域所属技术
人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形 式，所以在此对于该电子设备如何实现本发明实施例中的方法不再详细介绍，只 要本领域所属技术人员实施本发明实施例中的方法所采用的设备，都属于本发明 所欲保护的范围。
159.请参阅图5，图5为本发明实施例提供的一种计算机可读存储介质的实施例 示意图。
160.如图5所示，本发明实施例还提供了一种计算机可读存储介质500，其上存 储有计算机程序511，该计算机程序511被处理器执行时实现如下步骤：
161.从直播所对应的内容分发网络进行拉流，以获取对应的直播数据；
162.对所述直播数据进行解析，以得到所述直播数据所对应的音频信号的音频信 息和视频信号的视频信息；
163.根据所述音频信息和所述视频信息分别计算目标时间窗口内的目标音频信号 所对应的音频抖动时长以及所述目标时间窗口内的视频信号所对应的视频抖动时 长，所述目标时间窗口为所述直播数据所对应的多个时间窗口中的任意一个；
164.根据所述音频抖动时长以及所述视频抖动时长确定所述直播数据在所述目标 时间窗口内的目标延时；
165.根据所述目标延时以及当前缓存时长对所述目标音频信号进行调速处理，所 述当前缓存时长为逐渐逼近所述目标延时的递进变量；
166.根据所述目标延时以及所述当前缓存时长修改所述目标视频信号的播放时间 戳；
167.将调速处理后的所述音频信号以及时间戳修改后的所述视频信号进行封装；
168.基于封装后的所述音频信号和所述视频信号进行播放。
169.在具体实施过程中，该计算机程序511被处理器执行时刻以实现图1对应的 实施例中任一实施方式。
170.需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实 施例中没有详细描述的部分，可以参见其它实施例的相关描述。
171.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算 机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软 件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计 算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、 光学存储器等)上实施的计算机程序产品的形式。
172.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品 的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图 中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可 提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可 编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据 处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方 框图一个方框或多个方框中指定的功能的装置。
173.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以 特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令 产生包括
指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或 方框图一个方框或多个方框中指定的功能。
174.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得 在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从 而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多 个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
175.本发明实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机 软件指令，当计算机软件指令在处理设备上运行时，使得处理设备执行如图1对 应实施例中的降低直播延时的方法中的流程。
176.所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所 述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。 所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。 所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储 介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站 点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digitalsubscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站 站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计 算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数 据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、 磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘(solid statedisk，ssd))等。
177.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的 系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在 此不再赘述。
178.在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法， 可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例 如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时刻以有另外的划分 方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可 以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信 连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机 械或其它的形式。
179.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单 元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可 以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来 实现本实施例方案的目的。
180.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也 可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。 上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实 现。
181.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使 用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技 术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可 以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括 若干指令用以使得一台计算
机设备(可以是个人计算机，服务器，或者网络设备 等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括： u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器 (random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介 质。
182.以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管 参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解： 其依然可以对前述各实施例所记载的技术方案进行修该，或者对其中部分技术特 征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明 各实施例技术方案的精神和范围。