一种流媒体音视频同步方法及终端设备、控制装置、介质与流程

1.本发明涉及计算机技术领域，特别涉及一种流媒体音视频同步方法及终端设备、控制装置、介质。


背景技术：

2.流媒体指以流方式在网络中传送音频数据、视频数据等多媒体文件的形式，流媒体的典型特征是把连续的音频数据和视频数据压缩后放到网络服务器，在客户端发出请求后从网络服务器中获取音频数据和视频数据，但是不必等待音频数据和视频数据完全下载完毕，而是缓存一部分后即可进行播放。
3.但是当出现网络波动或者其他异常情况时，视频和音频的播放有可能存在卡顿，甚至会因为造成音频和视频的每一帧无法对应上，这种误差逐步累积，以至于严重影响用户的使用体验。因此，在播放的过程中，需要将缓存的音频数据和视频数据同步，以往的做法一般是将音频数据按视频数据的时间帧来处理播放，或者将视频数据按音频数据的采样率来处理播放，但是由于在流媒体上，不管是音频数据还是视频数据，都只是缓存的部分数据，以上方式比较复杂，处理量较大，给处理器带来较大处理压力。


技术实现要素：

4.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种流媒体音视频同步方法及终端设备、控制装置、介质，处理高效，能够较好地实现音视频数据同步播放。
5.根据本发明的第一方面实施例的一种流媒体音视频同步方法，包括以下步骤：发送需求播放时长均为第一时间值的音频获取请求以及视频获取请求；获取音频缓存数据以及视频缓存数据，其中，所述音频缓存数据的音频缓存播放时长为第二时间值，所述视频缓存数据的视频缓存播放时长为第三时间值；计算所述音频缓存播放时长与所述需求播放时长的差值以得出音频延时时长，若音频延时时长大于同步播放延时阈值，调节所述音频缓存数据的播放速度以使得所述音频延时时长小于同步播放延时阈值；计算所述视频缓存播放时长与所述需求播放时长的差值以得出视频延时时长，若视频延时时长大于同步播放延时阈值，调节所述视频缓存数据的播放速度以使得视频延时时长小于同步播放延时阈值。
6.根据本发明实施例的一种流媒体音视频同步方法，至少具有如下有益效果：
7.本发明流媒体音视频同步方法，利用本地客户端时钟生成并发送需求播放时长均为第一时间值的音频获取请求以及视频获取请求，此时网络服务器会响应本地客户端的请求，向本地客户端发送传输音频缓存数据以及视频缓存数据，但是因为网络波动或者其他情况，音频缓存数据以及视频缓存数据的缓存播放时长不一定等于需求播放时长，由于利用同一个需求播放时长来分别对音频和视频请求获取，音频缓存数据以及视频缓存数据两者的时长偏差不会过大，此时再利用同一个同步播放延时阈值来分别对音频延时时长和视频延时时长来进行判断，若大于同步播放延时阈值，则相应地对音频缓存数据或者视频缓
存数据的播放速度进行调整，最终使得音频延时时长和视频延时时长小于同步播放延时阈值，此时音频缓存数据和视频缓存数据的播放时长虽然仍然存在偏差，但是经过上述处理，偏差已经减少至较小值，能够满足播放要求，实现基本同步，本设计处理高效、简捷，能够较好地实现音视频数据同步播放。
8.根据本发明的一些实施例，在所述计算所述音频缓存播放时长与所述需求播放时长的差值以得出音频延时时长，若音频延时时长大于同步播放延时阈值，调节所述音频缓存数据的播放速度中包括：s310、计算所述音频缓存播放时长与所述需求播放时长的差值以得出音频延时时长；s320、判断音频延时时长是否大于同步播放延时阈值；s330、若音频延时时长大于同步播放延时阈值，调节所述音频缓存数据的播放速度以更新所述音频缓存播放时长；循环s310－s330直至所述音频延时时长小于同步播放延时阈值。
9.根据本发明的一些实施例，在所述s330中，通过调节所述音频缓存数据的音频采样率来调节所述音频缓存数据的播放速度，其中，所述音频采样率为单位时间内对音频模拟信号的采样量。
10.根据本发明的一些实施例，在所述计算所述视频缓存播放时长与所述需求播放时长的差值以得出视频延时时长，若视频延时时长大于同步播放延时阈值，调节所述视频缓存数据的播放速度中包括：s410、计算所述视频缓存播放时长与所述需求播放时长的差值以得出视频延时时长；s420、判断视频延时时长是否大于同步播放延时阈值；s430、若视频延时时长大于同步播放延时阈值，调节所述视频缓存数据的播放速度以更新所述视频缓存播放时长；循环s410－s430直至所述视频延时时长小于同步播放延时阈值。
11.根据本发明的一些实施例，在所述s430中，通过调节所述视频缓存数据中单位时间内播放的图像帧数来调节所述视频缓存数据的播放速度。
12.根据本发明的一些实施例，同步方法还包括：在发送音频获取请求以及视频获取请求之前设定所述需求播放时长；并且根据所述需求播放时长修正所述同步播放延时阈值。
13.根据本发明的一些实施例，所述需求播放时长和所述同步播放延时阈值呈线性关系。
14.根据本发明第二方面实施例的终端设备，包括：传输模块，用于发送需求播放时长均为第一时间值的音频获取请求以及视频获取请求，并且获取音频缓存数据以及视频缓存数据；处理模块，用于计算所述音频缓存播放时长与所述需求播放时长的差值以得出音频延时时长，若音频延时时长大于同步播放延时阈值，调节所述音频缓存数据的播放速度以使得所述音频延时时长小于同步播放延时阈值；以及计算所述视频缓存播放时长与所述需求播放时长的差值以得出视频延时时长，若视频延时时长大于同步播放延时阈值，调节所述视频缓存数据的播放速度以使得视频延时时长小于同步播放延时阈值；播放模块，以调节后的播放速度播放所述音频缓存数据以及所述视频缓存数据。
15.根据本发明实施例的终端设备，至少具有如下有益效果：
16.本发明终端设备，利用本地客户端的时钟生成并通过传输模块发送需求播放时长均为第一时间值的音频获取请求以及视频获取请求，此时网络服务器会响应本地客户端的请求，向本地客户端发送传输音频缓存数据以及视频缓存数据，但是因为网络波动或者其他情况，音频缓存数据以及视频缓存数据的缓存播放时长不一定等于需求播放时长，由于
利用同一个需求播放时长来分别对音频和视频请求获取，音频缓存数据以及视频缓存数据两者的时长偏差不会过大，此时处理模块再利用同一个同步播放延时阈值来分别对音频延时时长和视频延时时长来进行判断，若大于同步播放延时阈值，则相应地对音频缓存数据或者视频缓存数据的播放速度进行调整，最终使得音频延时时长和视频延时时长小于同步播放延时阈值，此时音频缓存数据和视频缓存数据的播放时长虽然仍然存在偏差，但是经过上述处理，偏差已经减少至较小值，能够满足播放要求，实现基本同步，本设计处理高效、简捷，能够较好地实现音视频数据同步播放。
17.根据本发明第三方面实施例的控制装置，包括：一个或多个存储器；一个或多个处理器，用于执行存储在所述一个或多个存储器中的一个或多个计算机程序，还用于执行上述任一实施例公开的一种流媒体音视频同步方法。
18.根据本发明第四方面实施例的计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述任一实施例公开的一种流媒体音视频同步方法。
19.本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
20.本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
21.图1为本发明流媒体音视频同步方法其中一种实施例的主流程图；
22.图2为本发明流媒体音视频同步方法其中一种实施例的音频缓存数据的处理流程图；
23.图3为本发明流媒体音视频同步方法其中一种实施例的视频缓存数据的处理流程图；
24.图4为本发明终端设备其中一种实施例的原理结构框图；
25.图5为本发明控制装置其中一种实施例的原理结构框图。
26.附图标记：
27.传输模块100；处理模块200；播放模块300；存储器400；处理器500。
具体实施方式
28.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
29.在本发明的描述中，需要理解的是，涉及到方位描述，例如术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
30.在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、
第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
31.本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
32.如图1－3所示，根据本发明的第一方面实施例的一种流媒体音视频同步方法，包括以下步骤：
33.s100、发送需求播放时长均为第一时间值的音频获取请求以及视频获取请求；
34.s200、获取音频缓存数据以及视频缓存数据，其中，音频缓存数据的音频缓存播放时长为第二时间值，视频缓存数据的视频缓存播放时长为第三时间值；
35.s300、计算音频缓存播放时长与需求播放时长的差值以得出音频延时时长，若音频延时时长大于同步播放延时阈值，调节音频缓存数据的播放速度以使得音频延时时长小于同步播放延时阈值；
36.s400、计算视频缓存播放时长与需求播放时长的差值以得出视频延时时长，若视频延时时长大于同步播放延时阈值，调节视频缓存数据的播放速度以使得视频延时时长小于同步播放延时阈值。
37.其中，需要说明的是，需求播放时长均为第一时间值的音频获取请求以及视频获取请求的制定，是通过客户端的本地时钟作为参考，而网络服务器则是根据音频获取请求以及视频获取请求来为客户端提供相应的音频缓存数据以及视频缓存数据。
38.本发明流媒体音视频同步方法，利用本地客户端发送需求播放时长均为第一时间值的音频获取请求以及视频获取请求，此时网络服务器会响应本地客户端的请求，向本地客户端发送传输音频缓存数据以及视频缓存数据，但是因为网络波动或者其他情况，音频缓存数据以及视频缓存数据的缓存播放时长不一定等于需求播放时长，由于利用同一个需求播放时长来分别对音频和视频请求获取，音频缓存数据以及视频缓存数据两者的时长偏差不会过大，此时再利用同一个同步播放延时阈值来分别对音频延时时长和视频延时时长来进行判断，若大于同步播放延时阈值，则相应地对音频缓存数据或者视频缓存数据的播放速度进行调整，最终使得音频延时时长和视频延时时长小于同步播放延时阈值，此时音频缓存数据和视频缓存数据的播放时长虽然仍然存在偏差，但是经过上述处理，偏差已经减少至较小值，能够满足播放要求，实现基本同步，本设计处理高效、简捷，能够较好地实现音视频数据同步播放。
39.在本发明的一些实施例中，如图2所示，在计算音频缓存播放时长与需求播放时长的差值以得出音频延时时长，若音频延时时长大于同步播放延时阈值，调节音频缓存数据的播放速度中包括：
40.s310、计算音频缓存播放时长与需求播放时长的差值以得出音频延时时长；
41.s320、判断音频延时时长是否大于同步播放延时阈值；
42.s330、若音频延时时长大于同步播放延时阈值，调节音频缓存数据的播放速度以更新音频缓存播放时长；
43.循环s310－s330直至音频延时时长小于同步播放延时阈值。
44.具体地，需求播放时长的第一时间值为t0，音频缓存播放时长的第二时间值为t1，视频缓存播放时长的第三时间值为t2，音频延时时长δt1＝t1－t0，利用音频延时时长δt1与同步播放延时阈值进行判断，当音频延时时长大于同步播放延时阈值，则调节音频缓存数据的播放速度，而后可以更新出音频缓存播放时长，不断循环s310－s330直至以使得最终的音频延时时长符合同步播放延时阈值为止。
45.在本发明的一些实施例中，可以通过对采集率、采样格式和通道布局等方式来调节音频缓存数据的播放速度，具体地，在s330中，通过调节音频缓存数据的音频采样率来调节音频缓存数据的播放速度，其中，音频采样率为单位时间内对音频模拟信号的采样量。
46.其中，可以根据以下公式来对音频采样率进行调节，一帧的音频播放时间ty＝音频样本总量samples/音频采样率。通过改变音频采样率来调节音频播放时间ty，从而调节音频缓存数据的播放速度。
47.在本发明的一些实施例中，如图3所示，在计算视频缓存播放时长与需求播放时长的差值以得出视频延时时长，若视频延时时长大于同步播放延时阈值，调节视频缓存数据的播放速度中包括：
48.s410、计算视频缓存播放时长与需求播放时长的差值以得出视频延时时长；
49.s420、判断视频延时时长是否大于同步播放延时阈值；
50.s430、若视频延时时长大于同步播放延时阈值，调节视频缓存数据的播放速度以更新视频缓存播放时长；
51.循环s410－s430直至视频延时时长小于同步播放延时阈值。
52.视频延时时长δt2＝t2－t0，利用视频延时时长δt2与同步播放延时阈值进行判断，当视频延时时长大于同步播放延时阈值，则调节视频缓存数据的播放速度，而后可以更新出视频缓存播放时长，不断循环s410－s430直至以使得最终的视频延时时长符合同步播放延时阈值为止。
53.在本发明的一些实施例中，在s430中，通过调节视频缓存数据中单位时间内播放的图像帧数来调节视频缓存数据的播放速度，具体地，可以增加单位时间内播放的图像帧数来提高播放速度，从而减少视频缓存播放时长。
54.在本发明的一些实施例中，步骤s200中获取音频缓存数据以及视频缓存数据时，客户端从网络服务器中进行拉流，并选择其中一种服务器的拉流协议，然后开始拉流，应用层协议是hls、rtsp和rtmp，传输层协议是rtcp和rtp，网络层协议是rsvp，其次是使用硬编码和软编码进行解码，视频数据格式最终是yuv和rgb，音频数据格式为pcm。
55.在本发明的一些实施例中，同步方法还包括：在发送音频获取请求以及视频获取请求之前设定需求播放时长；并且根据需求播放时长修正同步播放延时阈值。
56.其中，需求播放时长可以由用户或者厂家根据实际情况来制定，需求播放时长不宜过大，一般可以设置为500ms左右，而随着需求播放时长的改变，导致音频延时时长以及视频延时时长也会随之改变，因此同步播放延时阈值也需要相应地修正，从而使得音频和视频的播放能够更好地同步。
57.在本发明的一些实施例中，需求播放时长和同步播放延时阈值呈线性关系，从而可以合理地根据需求播放时长的变化修正同步播放延时阈值，使得音频和视频的播放能够
更好地同步。
58.具体地，可以根据线性公式来修正同步播放延时阈值，y＝ax b，x为需求播放时长，y为同步播放延时阈值，a以及b为厂家根据实际情况设定的常数。
59.根据本发明第二方面实施例的终端设备，如图4所示，包括：传输模块100，用于发送需求播放时长均为第一时间值的音频获取请求以及视频获取请求，并且获取音频缓存数据以及视频缓存数据；处理模块200，用于计算音频缓存播放时长与需求播放时长的差值以得出音频延时时长，若音频延时时长大于同步播放延时阈值，调节音频缓存数据的播放速度以使得音频延时时长小于同步播放延时阈值；以及计算视频缓存播放时长与需求播放时长的差值以得出视频延时时长，若视频延时时长大于同步播放延时阈值，调节视频缓存数据的播放速度以使得视频延时时长小于同步播放延时阈值；播放模块300，以调节后的播放速度播放音频缓存数据以及视频缓存数据。
60.其中，传输模块100可以是网络端口、移动通信芯片等，处理模块200可以由mcu、cpu等处理器及附属电路构成，播放模块300可以包括显示屏以及扬声器。
61.本发明终端设备，利用本地客户端的时钟生成并通过传输模块100发送需求播放时长均为第一时间值的音频获取请求以及视频获取请求，此时网络服务器会响应本地客户端的请求，向本地客户端发送传输音频缓存数据以及视频缓存数据，但是因为网络波动或者其他情况，音频缓存数据以及视频缓存数据的缓存播放时长不一定等于需求播放时长，由于利用同一个需求播放时长来分别对音频和视频请求获取，音频缓存数据以及视频缓存数据两者的时长偏差不会过大，此时处理模块200再利用同一个同步播放延时阈值来分别对音频延时时长和视频延时时长来进行判断，若大于同步播放延时阈值，则相应地对音频缓存数据或者视频缓存数据的播放速度进行调整，最终使得音频延时时长和视频延时时长小于同步播放延时阈值，此时音频缓存数据和视频缓存数据的播放时长虽然仍然存在偏差，但是经过上述处理，偏差已经减少至较小值，能够满足播放要求，实现基本同步，本设计处理高效、简捷，能够较好地实现音视频数据同步播放。
62.根据本发明第三方面实施例的控制装置，如图5所示，包括：一个或多个存储器400；一个或多个处理器500，用于执行存储在一个或多个存储器400中的一个或多个计算机程序，还用于执行上述任一实施例公开的一种流媒体音视频同步方法。
63.需要说明的是，本实施例的具体实现过程可参见上述方法实施例的具体实现过程，在此不再叙述。
64.根据本发明第四方面实施例的计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述任一实施例公开的一种流媒体音视频同步方法。
65.需要说明的是，本实施例的具体实现过程可参见上述方法实施例的具体实现过程，在此不再叙述。
66.本技术实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。
67.本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(read－only memory，rom)、随机存储器(random access memory，ram)、可编程只读存储器(programmable read－only memory，prom)、可擦除可编程只读存
储器(erasable programmable read only memory，eprom)、一次可编程只读存储器(one－time programmable read only memory，otprom)、电子抹除式可复写只读存储器(electrically－erasable programmable read－only memory，eeprom)、只读光盘(compact disc read－only memory，cd－rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
68.以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
69.尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。